JP2005293248A - アノテーションルールデータ作成装置、及びアノテーションシステム - Google Patents

Abstract

【課題】 コンテンツサーバにアノテーションの表示に必要なデータ及びプログラムを記憶させることなく、そして、ユーザの操作に動的（インタラクティブ）に表示可能となるアノテーションシステム、及びインタラクティブな表示するためのアノテーションの表示用のトリガ（表示用ルール）を簡易に作成できるアノテーションルールデータ作成装置を提供することを目的とする。
【解決手段】 アノテーションを付加する画面を表示し、例示操作によって発生するイベントの情報を記憶し、それらのイベント毎にポイントを演算して、重要度の高いと思われる順に一覧表示し、この一覧表示の中から選択したイベントを再現表示して確認可能とすると共に、選択したイベントのデータに基づいてアノテーションルールデータ作成する。
【選択図】 図１

Description

本願発明は、ＨＴＭＬ文書やＸＭＬ文書に代表される構造化文書に付加されるアノテーションを出力する条件となるアノテーションルールデータを作成するアノテーションルールデータ作成装置と、このアノテーションルールデータ作成装置によって作成されたアノテーションルールデータを用いて、アノテーションを出力するアノテーションシステムに関するものである。

ブラウザに表示されたＷｅｂページに対してアノテーション（コメント、ヘルプ、装飾等の注釈）を付ける技術及びその技術を利用する技術が注目を集めている。特に、銀行のオンラインシステムや企業の販売システム等、多くのレガシーアプリケーションがＷｅｂベースのシステムに移行しつつある。そして、それらＷｅｂ上のアプリケーションを利用するユーザに対しての操作支援を行うシステムも望まれている。

アノテーションは通常構造化文書を作成した後に、付加的に付けられ、その表示もユーザの状態や操作等に応じて付加的に行われることが多い。ユーザの状態に応じて表示する例としては、教育目的のアプリケーションにおいて、ユーザの理解度や興味の度合いに応じてアノテーションの表示を切り替えることが挙げられる。また、操作に応じて表示する例としては、Ｗｅｂアプリケーションのヘルプシステムにおいて、ユーザが間違った操作をしたときや、どうすればよいか分からずウロウロしているときに、アノテーションを表示することが挙げられる。

また、アノテーションを表示するために必要なデータやプログラム等をＷｅｂサーバに組み込んでＷｅｂページにアノテーションを付加したり、アノテーションサーバ及びプロキシサーバにアノテーションを表示するために必要なデータやプログラムを記憶させてアノテーションを付加したりしている。

また、Ｗｅｂサーバと複数のユーザ端末との間に仲介サーバを設けて、この仲介サーバは、ユーザ端末からの要求に基づいてＷｅｂサーバからＷｅｂページを取得して記憶し、この取得したＷｅｂページとアノテーションを付加するためのプログラムとをユーザ端末に送信している。そして、Ｗｅｂページ及び前記プログラムを受信したユーザ端末は、Ｗｅｂページを表示すると共に、前記プログラムを実行して、アノテーションを付加するために必要なアノテーション情報を仲介サーバに送信し、仲介サーバは該アノテーション情報と該Ｗｅｂページと対応させて記憶する。そして、他のユーザ端末からこのＷｅｂページの取得要求があった場合には、該Ｗｅｂページとアノテーション情報の双方を該ユーザ端末に送信する。このＷｅｂページのデータとアノテーション情報を受信したユーザ端末は、Ｗｅｂページを表示すると共に、受信したアノテーション情報に基づいて、Ｗｅｂページの画面に設けられたアノテーション用のボタンをユーザが押下することで、アノテーションを表示でき、ユーザが作成したアノテーションを他のユーザにも共有できるアノテーションシステムがある（例えば、特許文献１参照。）。
特開２００３−１５０５４２号公報

しかしながら、アノテーションを表示するために必要なデータやプログラム等をＷｅｂサーバに組み込むときは、このサーバの管理者の権限を有していないとアノテーションを付加することができなかった。また、基となるＷｅｂページのデータを変更する必要があり、コンテンツ管理の面で不便さがあった。

また、特許文献１に開示されているアノテーションのシステムは、ブラウザに表示されたボタンを押下すると、そのボタンに対応する共通のアノテーションの画面が表示する静的なアノテーションを対象としたシステムである。つまり、どのユーザにも同じように表示される静的なアノテーションを対象としており、ユーザの操作によって表示が変化するような動的なインタラクティブ型アノテーションを管理・作成するものではなかった。

本願発明が前述の状況に鑑み、解決しようとするところは、Ｗｅｂサーバにアノテーションの表示に必要なデータ及びプログラムを記憶させることなく、そして、ユーザの操作に動的（インタラクティブ）に表示可能となるアノテーションシステム、及びインタラクティブな表示するためのアノテーションの表示用のトリガ（表示用ルール）を簡易に作成できるアノテーションルールデータ作成装置を提供することを目的とする。

本願発明に係るアノテーションルールデータ作成装置は、構造化文書データを含むコンテンツデータを表示した画面内を、人が入力手段を操作することで発生するイベントの種類、該イベントの種類の発生回数、該イベントの発生位置、該発生位置における画面内のオブジェクト情報を少なくとも検知し、これら検知した情報と該イベントの発生時刻とを含む操作イベントデータを記憶する操作イベント記憶手段と、この記憶されたイベントの種類毎及びオブジェクトの種類毎に、予め設定された重み付けに基づいてポイントを演算し、このポイントが高い順に前記操作イベントデータを並び替えて表示する操作イベントデータ表示手段と、前記並び替えられた操作イベントデータの中から、人が入力手段を操作して１つの操作イベントデータを選択する操作イベントデータ選択手段と、前記操作イベントデータ選択手段によって選択された操作イベントデータ、及び、該操作イベントデータより以前に記憶された複数の操作イベントデータを、各データの発生時刻の順序に従って、表示部に再現する再現手段と、前記操作イベントデータ選択手段によって選択された操作イベントデータのイベントの種類、該イベントの発生回数、該イベントが発生した画面に表示されているコンテンツのコンテンツ識別情報、該イベントの発生位置における画面内のオブジェクト情報から少なくとも設定されるルール条件データ部と、該ルール条件データ部に設定されたイベントと同一のイベントが発生したときに出力するアノテーション出力データのアノテーション種類情報、及び該アノテーション出力データのアドレスから設定されるルール実行データ部とからアノテーションルールデータを作成するアノテーションルールデータ作成手段とを、コンピュータに備えさせている。

したがって、アノテーションルールデータの作成者は、表示されているコンテンツ内で、マウスやキーボード等の入力手段を操作することで発生するイベントに関する多数の情報を記憶させ、その中からアノテーションを付加すると考えられるイベントを推薦するので、作成者はアノテーションを付加したいイベントを容易に見つけることができるようになる。また、アノテーションを付加したいイベントを選択すると、選択されたイベントまでの発生したイベントを再現して表示するので、イベント（操作）を確認してアノテーションを付加することができ、アノテーションルールデータの作成に不慣れな人でも容易に作成することができる。

また、前記操作イベント記憶手段は、予め設定されたイベント種類と一致するイベントを検知した場合、発生したイベントの種類、該イベントの発生位置、及び該イベントの発生時刻のみを記憶して、「mousemove（マウスのカーソルの移動）」のように発生回数は多くても重要性が低いと思われるイベントによって生じるコンピュータの負荷を軽減してもよい。

また、前記アノテーション出力データは、文字、静止画像、動画像、音声、プログラムのなかの少なくとも１つを含んだデータファイルであってもよい。

また、前記アノテーションルールデータ作成装置によって作成されたアノテーションルールデータを用いてアノテーションを出力するアノテーションシステムは、構造化文書データを含むコンテンツデータを記憶するコンテンツサーバと、前記コンテンツデータを取得するユーザマシンと、前記ユーザマシンからの前記コンテンツデータの取得要求に基づいて該ユーザマシンに代わって該コンテンツデータを取得するプロキシサーバと、前記プロキシサーバによって取得されたコンテンツデータに対応するアノテーションルールデータ、及び該アノテーションルールデータに対応するアノテーション出力データを記憶するアノテーションサーバとが通信可能であり、前記ユーザマシンからのコンテンツデータの要求信号を受信するコンテンツデータ要求受信手段と、前記コンテンツデータ要求受信手段によって受信されたコンテンツデータの要求信号に基づき、前記コンテンツサーバから該コンテンツデータを取得するコンテンツデータ取得手段と、前記コンテンツデータ取得手段によって取得されたコンテンツデータに、前記ユーザマシンに表示された画面内のイベントを検出してアノテーションを出力するアノテーション出力プログラムのＵＲＬ、及び該ユーザマシンが前記アノテーションサーバに予め記憶されているアノテーションルールデータを取得するアノテーションルールデータ取得プログラムのＵＲＬを付加するＵＲＬ付加手段と、前記ＵＲＬ付加手段によってＵＲＬが付加されたコンテンツデータを前記ユーザマシンに送信するコンテンツデータ送信手段とを、備えたプロキシサーバと、前記コンテンツデータ送信手段から送信されたＵＲＬが付加されたコンテンツデータを受信し、このコンテンツデータを表示し、該コンテンツデータに付加されたＵＲＬに基づいて前記アノテーション出力プログラム及び前記アノテーションルールデータ取得プログラムをプロキシサーバから取得するブラウザと、この取得したアノテーションルールデータ取得プログラムによって、該ブラウザに表示されているコンテンツデータを識別するコンテンツ識別情報及びユーザＩＤを少なくとも含む識別データを前記アノテーションサーバに送信する識別データ送信手段を備える、前記ユーザマシンと、前記識別データ送信手段によって送信された識別データを受信する識別データ受信手段と、少なくとも前記コンテンツ識別情報及び前記ユーザＩＤの双方の識別データ毎に予め設定されている前記アノテーションルールデータの複数を記憶する第１アノテーションルールデータ記憶手段と、前記第１アノテーションルールデータ記憶手段に記憶されているアノテーションルールデータの中から、前記識別データ受信手段によって受信された識別データに対応したアノテーションルールデータを選択するアノテーションルールデータ選択手段と、この選択されたアノテーションルールデータを前記ユーザマシンに送信するアノテーションルールデータ送信手段とを備えたアノテーションサーバと、さらに、前記ユーザマシンは、前記ブラウザにて取得したアノテーションルールデータ取得プログラムによって、前記アノテーションルールデータ送信手段から送信されたアノテーションルールデータを記憶する第２アノテーションルールデータ記憶手段４４を備えると共に、前記ブラウザにて取得したアノテーション出力プログラムによって、人が入力手段を操作することで発生するイベントの種類、該イベントの種類の発生回数、該イベントの発生位置、該発生位置における画面内のオブジェクト情報を少なくとも検知するイベント検知手段と、前記イベント検知手段によって検知されたイベントと前記第２アノテーションルールデータ記憶手段４４に記憶されているアノテーションルールデータのルール条件データ部とが一致するか否かを判断するイベント判断手段と、前記イベント判断手段によってイベントが一致した場合には、該ルール条件データ部に対応したルール実行部のアノテーションの種類情報、アノテーション出力データのアドレスに基づき、前記アノテーションサーバからアノテーション出力データを取得するアノテーション出力データ取得手段と、このアノテーション出力データを表示部若しくは音声出力部に出力するアノテーション出力手段として機能させる。

したがって、アノテーションを出力するために必要なアノテーションルールデータ及びアノテーション出力データをコンテンツサーバに記憶させる必要性がなく、コンテンツサーバの管理者権限を有しない者でも、コンテンツに対して自由にインタラクティブ型のアノテーションを付加することができるようになる。
また、コンテンツサーバのコンテンツをブラウザに表示はするものの、そのコンテンツデータをユーザマシンにダウンロードすることがなく、コンテンツの著作権を侵害したりすることがない。

また、前記ユーザマシンから同じＩＰアドレスで前記アノテーションサーバ及びプロキシサーバに通信可能に構成して、ＪＡＶＡ（登録商標）セキュリティモデルに準拠するようにしてもよい。

また、前記イベント判断手段は、予め設定したイベントの種類の場合には、該イベントの発生位置のオブジェクトが一致するか否かの判断を中止して、イベントの発生によるユーザマシンの負荷を軽減するようにしてもよい。

以上にしてなる本願発明に係るアノテーションルールデータ作成装置は、アノテーションルールデータの作成者は、表示されているコンテンツ内で、マウスやキーボード等の入力手段を操作することで発生するイベントに関する多数の情報を記憶させ、その中からアノテーションを付加すると考えられるイベントを推薦するので、作成者はアノテーションを付加したいイベントを容易に見つけることができるようになる。また、アノテーションを付加したいイベントを選択すると、選択されたイベントまでの発生したイベントを再現して表示するので、イベント（操作）を確認してアノテーションを付加することができ、アノテーションルールデータの作成に不慣れな人でも容易に作成することができる。また、アノテーションルールデータは、イベントの種類、その発生回数、オブジェクト情報などの複数の情報から設定されているので、同じオブジェクトでも、異なったイベントの種類であれば、異なったアノテーションを出力することができるアノテーションルールとなる。

また、重要度の低いイベントが発生した場合には、発生したイベントの種類、該イベントの発生位置、該イベントの発生時刻のみを記憶するので、コンピュータの処理の負荷を軽減することができる。

本願発明に係るアノテーションシステムは、コンテンツサーバに、アノテーションルールデータ、アノテーション出力データ、アノテーション出力プログラム、アノテーションルールデータ取得プログラムを記憶させる必要がなく、それらをプロキシサーバ及びアノテーションサーバが記憶するので、コンテンツサーバの管理者でなくても、自由にアノテーションを付加することができる。
また、コンテンツサーバに記憶するコンテンツデータをアノテーションシステムのために改変する必要性が無いので、この改変による手間を必要としない。
また、ユーザマシンに表示するコンテンツは、プロキシサーバを介して取得しているが、このプロキシサーバに記録する必要がないので、コンテンツデータの著作権を侵害することもない。

まず、ブラウザに表示されるアノテーションの表示用のトリガ（条件ルール）となるアノテーションルールデータの作成に関して説明する。

本願発明に係るアノテーションルールデータ作成装置（コンピュータ）１は、図１に示すように、コンテンツデータ２を読み取り表示部に表示するブラウザ３、マウスやキーボード等の入力手段４、操作イベント記憶手段５、操作イベントデータ表示手段６、操作イベントデータ選択手段７、再現手段８、アノテーションルールデータ作成手段９、アノテーションルールデータ記憶手段１０、アノテーション出力データ記憶手段１１とを備え、これらの手段は、コンピュータ１に搭載されているハードウエア及びソフトウエアが協働して実現している。

コンテンツデータ２は、ＨＴＭＬ文書ＸＭＬ文書等の構造化文書のデータ、この構造化文書によって表示部に表示される画像（動画像、静止画像）情報や文字情報、音声出力部（スピーカー等）から出力される音声（人の声、音楽等の音）情報等のデータである。

ブラウザ３は、コンテンツサーバ（Ｗｅｂサーバ）等にコンテンツデータ２の取得要求を行い、取得したコンテンツデータを表示部に表示する手段であり、図２で示す画面を表示したり、スクリプトやアプレット等のプログラムを実行可能なものである。このブラウザ３は、Internet Explorer、Netscape（登録商標）等のパーソナルコンピュータにインストールされているものであってもよいし、専用のブラウザであってもよい。

操作イベント記憶手段５は、操作者がマウスやキーボード等の入力手段４を操作して、ブラウザ３内で発生するイベント（例えば、キーボードを操作して文字が入力されたり、マウスを操作してカーソルを移動させたり、クリックする等）の種類、該イベントの種類の発生回数（繰り返し回数）、該イベントが発生した画面内の発生位置、該発生位置における画面内のオブジェクト情報を検知し、これらの情報と該イベントが発生した時刻とを操作イベントデータとして記憶する手段である。これらのイベントは、イベントハンドラを用いて検知さるものであり、イベントの種類とは、「クリックした（click）」、「入力内容が変更された（change）」、「フォーカスが当たった（focus）」、「フォーカスが外れた（blue）」等を示す。また、イベントの発生回数とは、発生するイベントの記録を開始してから、同一の種類のイベントが繰り返し発生した回数を示す。また、イベントの発生位置とは、該イベントが発生した画面上の位置を示し、通常Ｘ−Ｙ座標を用いて示される情報であり、カーソル１３（図２参照）の位置等の情報である。また、イベントの発生位置におけるオブジェクト情報とは、ブラウザ３内でイベントが発生した位置に表示されているボタン、入力欄１４、選択欄１５、表などのオブジェクトの種類とオブジェクト同士を識別するオブジェクトＩＤ等のオブジェクトに関する情報である。イベントが発生した時刻とは、該イベントが発生したときのコンピュータ１のマシンタイムや、イベントの記録を開始してからの経過時間等の時間である。
なお、「mousemove」のように発生回数が多いイベントの種類の場合には、発生したイベントの種類、該イベントの発生位置、該イベントの発生時刻の情報のみを記憶し、その他の情報に関しては記憶せずに、コンピュータ１のデータ処理の付加を軽減すると共に、記憶すべき情報量を削減してもよい。

操作イベントデータ表示手段６は、イベントの種類毎及びオブジェクトの種類毎に、予め設定された重み付けに基づいてポイントを記憶しておき、このポイントに基づいて前記操作イベント記憶手段５によって記録されたイベントに対してポイントを演算し、ポイントが高い順に並び替えて、図４に示すような一覧表にして表示する手段である。ポイントの演算方法としてはイベントの種類に基づいてポイントを演算する方法と、イベントの種類とオブジェクトの種類の双方のに基づいてポイントを演算する方法とが考えられる。なお、予めイベント毎に設定されているポイントは、「click」や「change」のように重要性が高いと思われるイベントにはポイントを高く設定し、逆に「mousemove」のように重要性が低いと思われるイベントにはポイントを低く設定する。
これによって、操作者は、アノテーションを付加する必要性が高いイベントを容易に選択することができるようになる。

前記操作イベントデータ選択手段７は、前記操作イベントデータ表示手段６によってポイントの高い順に並び替えて表示された操作イベントデータの中から、人が入力手段を操作して１つの操作イベントデータを選択する手段であり、図４で示すような操作イベント一覧の中から１つのイベントを選択する手段である。

前記再現手段８は、前記操作イベントデータ選択手段７によって選択された操作イベントデータと、前記操作イベント記憶手段５に記憶されている複数の操作イベントの中から選択された操作イベントの数秒から数十秒（例えば、１５秒）程度前から該選択された操作イベントを選び出し、それらを発生時刻順に並び替えて、画面上にその一連の動作を再現する。より具体的には、DynamicHTMLの機能を用いて実現する。なお、DynamicHTMLでは、システムのマウスを操作することはできないので、ＨＴＭＬ文書上に、新たなマウスポインタ用の画像をオブジェクトとして追加し、その画像の位置を移動させる。また、スクロール座標とボタンの状態に変更のあるものは、対応するオブジェクトの属性値を更新する。入力されたキーがある場合は、その入力されたキーを使って、対象となるオブジェクトの入力テキストを表す属性値を更新する。
このように、選択した操作イベントを再現することによって、アノテーションルールデータを作成すべきイベントを確認することができ、容易にアノテーションを付加したい操作イベントを選択することができる。

前記アノテーションルールデータ作成手段９は、前記操作イベントデータ選択手段７によって選択された操作イベントデータの中からイベントの種類、該イベントの発生回数、該イベントの発生位置における画面内のオブジェクト情報を選択し、ブラウザ３から該イベントが発生した画面に表示されているコンテンツのコンテンツ識別情報とを対応させて、ルール条件データ部１０ａとし、さらに、このルール条件データ部該ルール条件データ部に設定されたイベントと同一のイベントが発生したときに出力する、アノテーション出力データ記憶手段１１に記憶されているアノテーション出力データのアノテーション種類情報、及び該アノテーション出力データのＵＲＬ（アドレス）から設定されるルール実行データ部１０ｂとからアノテーションルールデータを作成する手段である。そして、作成されたアノテーションルールデータは、アノテーションルールデータ記憶手段１０に記憶される。
なお、図１では、アノテーションルールデータ記憶手段１０及びアノテーション出力データ記憶手段１１は、アノテーションルールデータ作成装置１に備えられているが、後述するアノテーションサーバＡＳ（図７参照）に備えて、前記アノテーションルールデータ作成手段９によって作成したデータをアノテーションサーバＡＳに送信して記憶させてもよい。

つぎに、該アノテーションルールデータ作成装置１を用いて、図２で示す、曜日選択欄１５ａの選択状態を変更したときにアノテーションが表示するためのアノテーションルールデータを作成手順を説明する。

まず、アノテーションルールデータの作成者は、コンピュータ（アノテーションルールデータ作成装置）１の入力手段４を操作してブラウザ３にコンテンツデータのＵＲＬ（例えば、http://www.abcd.com）を入力し、コンテンツデータ２を取得させて、図２で示すように、表示部に表示させる。画面１２には、複数の文字情報以外にも、名前や住所等のデータを入力する入力欄１４，…，１４、複数のデータの選択肢の中から１つを選択可能となる選択欄１５，…，１５が備えられており、各欄にデータを入力可能となっている。さらに、図３に示すイベント記憶画面１６を表示させて、操作イベントデータの記録を開始する。この画面１６の記録ボタン１７を押下することにより、ブラウザ３内で発生するイベントを検知して記憶を開始する。前記作成者は、マウスやキーボード等の入力手段４を用いて、アノテーションを付加する例示操作を行い、操作イベント記憶手段５はこの例示操作を記憶する。例示操作としては、図２に示した画面の曜日選択欄１５ａの選択した内容を、「金（曜日）」に変更する等、通常、入力手段４を操作するときと同じ動作を行う。記憶する操作イベント情報としては、図４に示すような各種のデータである。図４は、複数の操作イベントデータ５５の一例であり、各データを「，」で区切っており、左から「イベント発生時刻」、「イベントの発生位置のＸ座標」、「イベントの発生位置のＹ座標」、「イベントの種類」、「オブジェクトＩＤ（オブジェクト情報）」、「オブジェクトの種類」、「その他の情報」の順に配列して記憶する。例示操作が終了すると、図３に示す停止ボタン１８を押下して、イベントの記憶を終了すると、コンピュータ１は、図５で示す、操作イベント一覧画面を表示する。なお、例示操作して記憶した操作イベントデータを記録媒体に保存するときには、図３に示す保存ボタン２０を押下することで、該データを記録してもよい。また、既に記録されている操作イベントデータを読み込むときには、読込ボタン２１を押下して、記録媒体に記録されている操作イベントデータを読み込んでもよい。

図５に示した操作イベント一覧画面２２は、記録された操作イベントデータを、予め設定していた重み付けに基づきポイントを演算し、このポイントの高い順にデータを並び替えて、一覧表２３に表示している。一覧表には、６つのデータが表示されているが、当然、これに限定するものではない。なお、画面に全てのデータが収まりきらない場合には、スクロールバーを一覧表２３に備えさせて、全てのイベントデータを表示できるようにする。この一覧表２３の画面の１番には、イベントの種類が「click」のデータが、２番目には「change」のデータが表示されている。前述のように、図２で示す、曜日選択欄１５ａの内容を変更した場合に、アノテーションを表示する場合には、２番目のデータを選択し（入力手段４を操作して、２番目のデータをクリックし）、ルール作成ボタン２４を押下する。

ルール作成ボタン２４が押下されると、コンピュータ１は、図６で示すように、ルール設定画面２６を表示する。この画面には、前記操作イベント一覧画面２２で選択した操作イベントデータとＵＲＬ（コンテンツ識別情報）に基づいて、動作対象ＵＲＬ欄２７、イベント種類欄２８、オブジェクト名欄２９ａ、オブジェクトＩＤ２９ｄ、オブジェクト種類欄２９ｂ、発生回数欄２９ｃの各欄にそれぞれのデータが引き継がれて表示される。また、前記作成者は、プログラミングを行うことなく、イベントの種類、イベントの発生回数、コンテンツ識別情報、オブジェクト情報からルール条件データ部１０ａ（図１参照）を設定することができる。
そして、再生ボタン３５を押下すると、選択した操作イベントデータより数十秒前（例えば、２０秒前）からのイベントを再現して、アノテーションを付加するイベントを表示部に表示して、視覚的にイベントを確認できる。

また、前記ルール条件データ部１０ａの条件と一致する操作を行ったときに出力するアノテーションは、図６に示すアノテーション種類欄３０、アノテーションメッセージ欄３１、データファイル欄３２にデータを入力（選択）して、アノテーション出力データ部を作成する。前記アノテーション種類欄３０はアノテーションとして出力するデータの種類を選択することができ、「アバター表示」、「音声出力」、「画像表示」、「警告ウインドウ表示」、「ページ移動」、「別ウインドウでのページ表示」、「オブジェクトの非表示」、「入力禁止化」、「他ページの埋め込み」、「フォーカス移動」、「バルーンヘルプ表示」、「テキスト表示」、「アイコン表示」、「背景色変更」、「下線表示」、「太字化」等の複数のアノテーションの種類の中から１つを選択することができ、例えば、「アバター表示」を選択した場合には、図９で示すように、アバター５４ａを表示する。なお、アノテーション種類としては、前述した１つのアノテーションであってもよいが、２つ以上のアノテーションの種類を組み合わせてもよい。前記アノテーションメッセージ欄３１は、アノテーションとして表示する文字情報を入力する欄であり、このアノテーションメッセージ欄３１に入力した文字情報が、図９に示す、アノテーションメッセージ５４ｂとして表示される。また、データファイル欄３２には、アノテーションサーバＡＳ（図７参照）に記憶されている音声データファイル、画像（動画像、静止画像）データファイルのアドレス（ＵＲＬ，パス）を入力する欄である。そして、アノテーションとして出力するデータの入力が終了して、アノテーションルールデータを作成する場合には、登録ボタン３３を押下すると、アノテーション種類情報、アノテーション出力データのアドレス（ＵＲＬ）、文字情報からルール実行データ部を設定する。

そして、作成者は所望のルール条件データ部と、該ルール条件データ部に対応するルール実行データ部との設定が終了して、登録ボタン３３を押下すると、アノテーションルールデータ作成手段９は、該ルール条件データ部と、ルール実行データ部のデータをアノテーションルールデータ記憶手段１０に記憶させる。

上述した実施例では、図９に示すように、曜日選択欄１５ａの選択を変更したときに、アノテーション５４が出力されるアノテーションルールデータを作成したが、該曜日選択欄１５ａにフォーカスが２回当たったときに、別のアノテーションを出力するアノテーションルールデータを作成することもできる。そして、作成された複数のアノテーションルールデータを前記アノテーションルールデータ記憶手段１０に記憶させる。このように、同じオブジェクトに対し、イベントの種類や、その発生回数が異なっていれば、違った内容のアノテーションを出力するアノテーションルールデータを作成することができる。

次に、前記アノテーションルールデータ作成装置１で作成されたアノテーションルールデータを用いたアノテーションシステムに関して説明する。

本願発明に係るアノテーションシステムは、図７に示すように、ＨＴＭＬやＸＭＬ等の構造化文書、画像等のコンテンツデータを記憶しているコンテンツサーバＣＳと、複数のユーザマシンＴ，…，Ｔと、前記ユーザマシンＴとネットワークＮを介して通信接続し、且つ前記コンテンツサーバＣＳとも通信接続可能なプロキシサーバＰＳと、前記アノテーションルールデータ作成装置１によって作成されたアノテーションルールデータとアノテーション出力データを記憶するアノテーションサーバＡＳとによって主に構成される。

前記コンテンツサーバＣＳは、Ｗｅｂサーバとしての機能を備えており、前記ユーザマシンＴや前記プロキシサーバからのコンテンツデータの取得要求に基づき対応するコンテンツデータを該ユーザマシンＴや該プロキシサーバに送信する機能を備えたコンピュータである。

前記プロキシサーバＰＳは、図８に示すように、前記ユーザマシンＴからの前記コンテンツデータの取得要求に基づいて該ユーザマシンＴに代わって該コンテンツデータを取得するコンピュータであり、プロキシサーバＰＳには、コンテンツデータ要求受信手段３６、コンテンツデータ取得手段３７、ＵＲＬ付加手段３８、コンテンツデータ送信手段３９、アノテーションルールデータ取得プログラム記憶手段４０、アノテーション出力プログラム記憶手段４１とを備えている。なお、プロキシサーバＰＳには、コンテンツサーバＣＳから取得したデータを一時的に記憶するキャッシュ手段を備え、頻繁に取得要求があるコンテンツデータを該キャッシュ手段に記憶し、プロキシサーバＰＳとコンテンツサーバＣＳ間のトラフィックを軽減してもよい。

前記アノテーションサーバＡＳは、図８に示すように、ユーザマシンＴからの要求に基づき、アノテーションルールデータ及びアノテーション出力データを送信する機能を備えたコンピュータである。このアノテーションサーバＡＳは、アノテーションルールデータ選択手段５０、アノテーションルールデータ送信手段５１、第１アノテーションルールデータ記憶手段５２、アノテーション出力データ記憶手段５３を備えている。なお、前記プロキシサーバＰＳと前記アノテーションサーバＡＳとは、個別のコンピュータから構成されていたり、それぞれが異なったＩＰアドレスに設定されていてもよいが、同じＩＰアドレスで前記ユーザマシンＴから前記プロキシサーバＰＳと前記アノテーションサーバＡＳとの双方に通信可能となっていることが好ましい。また、前記のプロキシサーバＰＳの各手段、及び前記アノテーションサーバＡＳの各手段とが、同一マシンに備えられてもよい。このように、同一のＩＰアドレスで、ユーザマシンＴからプロキシサーバＰＳとアノテーションサーバＡＳとが通信接続できるので、ＪＡＶＡ（登録商標）セキュリティモデルに準拠するシステムとすることができる。

また、ユーザマシンＴは、パーソナルコンピュータ等のコンピュータであり、前記プロキシサーバＰＳを介して、若しくは前記コンテンツサーバＣＳに直接に通信接続し、コンテンツデータを取得し、表示部に該コンテンツデータを表示するブラウザ３を備えている。

前記アノテーションルールデータ取得プログラム記憶手段４０は、前記ユーザマシンＴに表示されたブラウザ３の画面内のイベントを検出してアノテーションを出力するアノテーションルールデータ取得プログラムを記憶する手段であり、スクリプト若しくはアプレットと称されるプログラムを記憶する手段である。そして、前記ブラウザ３からの取得要求に基づいて、アノテーションルールデータ取得プログラムは送信される。
また、前記アノテーション出力プログラム記憶手段４１は、アノテーション出力プログラムを記憶する手段であり、スクリプト若しくはアプレットと称されるプログラムを記憶する手段である。そして、前記ブラウザ３からの取得要求に基づいて、アノテーション出力プログラムは送信される。
前記コンテンツデータ要求受信手段３６は、前記ブラウザ３から送信されたＵＲＬ（コンテンツデータのアドレス）を含んだ要求信号を受信する手段である。
前記コンテンツデータ取得手段３７は、前記コンテンツデータ要求受信手段３６によって受信されたコンテンツデータの要求信号に基づき、前記コンテンツサーバＣＳから該コンテンツデータを取得する手段である。
前記ＵＲＬ付加手段３８は、前記コンテンツデータ取得手段３７によって取得されたコンテンツデータに、前記アノテーションルールデータ取得プログラム記憶手段４０に記憶されているアノテーションルールデータ取得プログラムのＵＲＬ（アドレス）、及び前記アノテーション出力プログラム記憶手段４１に記憶されているアノテーション出力プログラムのＵＲＬ（アドレス）を付加する手段である。
前記コンテンツデータ送信手段３９は、前記ＵＲＬ付加手段３８によって、前記アノテーションルールデータ取得プログラム及びアノテーション出力プログラムのＵＲＬが付加されたコンテンツデータを前記ユーザマシンＴに送信する手段である。

前記ブラウザ３は、前記コンテンツデータ送信手段３９から送信されたＵＲＬが付加されたコンテンツデータを受信し、このコンテンツデータを表示する。また、送信されたコンテンツデータに付加されたアノテーションルールデータ取得プログラムのＵＲＬに基づいて、前記プロキシサーバＰＳからアノテーションルールデータ取得プログラム４２を取得し、且つ該コンテンツデータに付加されたアノテーション出力プログラムのＵＲＬに基づいて、前記アノテーション出力プログラム４５をプロキシサーバＰＳから取得する。

前記ユーザマシンＴは、プロキシサーバＰＳから取得した前記アノテーションルールデータ取得プログラム４２と協働することによって、前記ブラウザ３に表示されているコンテンツデータを識別するコンテンツ識別情報及びユーザＩＤを少なくとも含む識別データを前記アノテーションサーバＡＳに送信する識別データ送信手段４３と、前記アノテーションサーバＡＳのアノテーションルールデータ送信手段５１から送信されたアノテーションルールデータを記憶する第２アノテーションルールデータ記憶手段４４とを備える。

また、前記ユーザマシンＴは、プロキシサーバＰＳから取得した前記アノテーション出力プログラム４５と協働することによって、人が入力手段を操作することで発生するイベントの種類、該イベントの種類の発生回数（繰り返し回数）、該イベントの発生位置、該発生位置における画面内のオブジェクト情報を少なくとも検知するイベント検知手段４６と、前記イベント検知手段４６によって検知されたイベントの情報と前記第２アノテーションルールデータ記憶手段４４に記憶されているアノテーションルールデータの前記ルール条件データ部とが一致するか否かを判断するイベント判断手段４７と、前記イベント判断手段４７によってイベントが一致した場合には、該ルール条件データ部に対応したルール実行部のアノテーションの種類情報、アノテーション出力データのアドレスに基づき、前記アノテーションサーバＡＳからアノテーション出力データを取得するアノテーション出力データ取得手段４８と、このアノテーション出力データを表示部若しくは音声出力部に出力するアノテーション出力手段４９とを備える。

前記アノテーションサーバＡＳに備えられる第１アノテーションルールデータ記憶手段５２は、前記アノテーションルールデータ作成装置１（図１参照）にて作成されたアノテーションルールデータの複数を記憶する手段であり、前記コンテンツ識別情報（ＷｅｂページのＵＲＬ）とユーザＩＤの双方の識別データ毎に、該アノテーションルールデータが対応付けられている。前記コンテンツ識別情報は、ＷｅｂページのＵＲＬを用いてブラウザに表示されているコンテンツを識別し、ユーザＩＤは、Ｃｏｏｋｉｅを用いてそのユーザを識別する。
また、前記アノテーション出力データ記憶手段５３は、アノテーションとして出力する文字、静止画像、動画像、音声、プログラム等の情報を含んだデータファイルからなるアノテーション出力データの複数を記憶する手段である。
前記識別データ受信手段５６は、前記ユーザマシンＴに備えられた前記識別データ送信手段４３から送信された前記識別データを受信する手段である。
前記アノテーションルールデータ選択手段５０は、前記第１アノテーションルールデータ記憶手段５２に記憶されているアノテーションルールデータの中から、前記識別データ受信手段５６によって受信された識別データに対応したアノテーションルールデータを選択する手段である。
そして、アノテーションルールデータ送信手段５１は、前記アノテーションルールデータ選択手段５０によって選択されたアノテーションルールデータを前記ユーザマシンに送信する手段である。したがって、ユーザマシンＴには、ユーザ毎に異なったアノテーションルールデータを送信することができ、ユーザ毎に異なったアノテーションを出力することができる。

つぎに、図２で示したＷｅｂページの画面にアノテーションを出力するとき、本願発明に係るアノテーションシステムを用いた場合について述べる。

ユーザマシンＴのブラウザ３は、図８に示すように、ブラウザ３はユーザに指定されたコンテンツのＵＲＬに基づき、プロキシサーバＰＳに該コンテンツの取得要求を行う。プロキシサーバＰＳを仲介する方法としては、
（１）ブラウザのプロキシの設定を変更し、この設定に基づいて、プロキシサーバＰＳを介してアクセスする。
（２）外部のＷｅｂサーバをプロキシサーバと見なして、このＷｅｂサーバ（プロキシサーバＰＳ）を介して、コンテンツサーバにアクセスする。
の方法などがある。

プロキシサーバＰＳは、受け取った対象コンテンツのＵＲＬをそのコンテンツサーバＣＳに送信し、コンテンツのＨＴＭＬファイルを受信する。そして、前記ＵＲＬ付加手段３８は、アノテーションルールデータ取得プログラムのＵＲＬと、アノテーション出力プログラムのＵＲＬを挿入し、この改変されたＨＴＭＬファイルを前記ブラウザ３に送り返す。

改変されたＨＴＭＬファイルを読み込んだブラウザ３は、図２で示す画面１２を表示し、前記アノテーションルールデータ取得プログラムと前記アノテーション出力プログラムを自動的にダウンロードする。ダウンロードしたアノテーションルールデータ取得プログラム４２を組み込んだブラウザ３は、対象のコンテンツのＵＲＬとユーザＩＤ（Ｃｏｏｋｉｅ）を識別データとして、前記アノテーションサーバＡＳに送信する。プロキシサーバＰＳとアノテーションサーバＡＳが同一マシン（同一のＩＰアドレス）の場合は、既にアクセスしているプロキシサーバＰＳに対してアクセスし、プロキシサーバＰＳとアノテーションサーバＡＳとが異なったマシン（異なったＩＰアドレス）の場合には、前記アノテーションルールデータ取得プログラムに設定されているアノテーションサーバのアドレスに基づいてアクセスする。

アノテーションサーバＡＳは、送信された前記識別データに基づき、ＵＲＬ及びユーザＩＤに対応したアノテーションルールデータを選択し、ブラウザ３に送信する。したがって、ＵＲＬ毎（画面毎）のアノテーションルールデータを選択するだけでなく、ユーザ毎のアノテーションルールデータを選択するので、ユーザの理解度や興味の度合いに応じてアノテーションを設定することができる。

また、前記アノテーション出力プログラム４５を組み込んだブラウザ３は、その画面１２（図２参照）内で発生したイベントを検知し、このイベントと、前記アノテーションサーバＡＳから受信したアノテーションルールデータ（ルール条件部データ）とが一致した場合には、そのアノテーションルールデータに対応したアノテーション出力データを、アノテーションサーバＡＳから取得して、図９に示すアノテーション５４を表示する。アノテーションサーバＡＳから取得するアノテーション出力データは、アノテーションルールデータ（ルール条件部データ）と発生したイベントが一致する度に、アノテーションサーバＡＳから取得しているが、アノテーション５４をすぐに表示できるように、アノテーションルールデータを取得したときに、ブラウザ３が必要なアノテーション出力データをダウンロードして、ユーザマシンＴに記憶してもよい。
なお、前記イベント判断手段は、「mousemove」のような発生する頻度が高く且つ重要性の低いイベントの種類の場合には、該イベントの発生位置のオブジェクトが一致するか否かの判断を中止して、ユーザマシンＴの負荷を軽減することもできる。

このように、本願発明に係るアノテーションシステムは、コンテンツデータを取得するときに、プロキシサーバＰＳを介してデータを取得し、ブラウザ３に表示しているので、プロキシサーバＰＳにデータを記録させておく必要性もなく、コンテンツデータの著作権を侵害することもない。

アノテーションルールデータ作成装置の概要を示したブロック図である。 コンテンツを表示したブラウザの画面図である。 イベント記憶画面の説明図である。 操作イベントデータの説明図である。 操作イベント一覧画面の説明図である。 ルール設定画面の説明図である。 アノテーションシステムの概要を示した説明図である。 アノテーションシステムのブロック図である。 アノテーションを表示した画面の説明図である。

符号の説明

１ アノテーションルールデータ作成装置，コンピュータ
２ コンテンツデータ
３ ブラウザ
４ 入力手段
５ 操作イベント記憶手段
６ 操作イベントデータ表示手段
７ 操作イベントデータ選択手段
８ 再現手段
９ アノテーションルールデータ作成手段
１０ アノテーションルールデータ記憶手段
１０ａ ルール条件データ部
１０ｂ ルール実行データ部
１１ アノテーション出力データ記憶手段
１２ 画面
１３ カーソル
１４ 入力欄
１５ 選択欄
１５ａ 曜日選択欄
１６ イベント記憶画面
１７ 記録ボタン
１８ 停止ボタン
２０ 保存ボタン
２１ 読込ボタン
２２ 操作イベント一覧画面
２３ 一覧表
２４ ルール作成ボタン
２６ ルール設定画面
２７ 動作対象ＵＲＬ欄
２８ イベント種類欄
２９ａ オブジェクト名欄
２９ｂ オブジェクト種類欄
２９ｃ 発生回数欄
２９ｄ オブジェクトＩＤ
３０ アノテーション種類欄
３１ アノテーションメッセージ欄
３２ データファイル欄
３３ 登録ボタン
３４ キャンセルボタン
３５ 再生ボタン
３６ コンテンツデータ要求受信手段
３７ コンテンツデータ取得手段
３８ ＵＲＬ付加手段
３９ コンテンツデータ送信手段
４０ アノテーションルールデータ取得プログラム記憶手段
４１ アノテーション出力プログラム記憶手段
４２ アノテーションルールデータ取得プログラム
４３ 識別データ送信手段
４４ 第２アノテーションルールデータ記憶手段
４５ アノテーション出力プログラム
４６ イベント検知手段
４７ イベント判断手段
４８ アノテーション出力データ取得手段
４９ アノテーション出力手段
５０ アノテーションルールデータ選択手段
５１ アノテーションルールデータ送信手段
５２ 第１アノテーションルールデータ記憶手段
５３ アノテーション出力データ記憶手段
５４ アノテーション
５４ｂ アノテーションメッセージ
５４ａ アバター
５５ 操作イベントデータ
５６ 識別データ受信手段
ＡＳ アノテーションサーバ
ＣＳ コンテンツサーバ
ＰＳ プロキシサーバ
Ｔ ユーザマシン
Ｎ ネットワーク

Claims (6)

1. アノテーションルールデータを作成する装置であって、
   構造化文書データを含むコンテンツデータを表示した画面内を、人が入力手段を操作することで発生するイベントの種類、該イベントの種類の発生回数、該イベントの発生位置、該発生位置における画面内のオブジェクト情報を少なくとも検知し、これら検知した情報と該イベントの発生時刻とを含む操作イベントデータを記憶する操作イベント記憶手段と、
   この記憶されたイベントの種類毎及びオブジェクトの種類毎に、予め設定された重み付けに基づいてポイントを演算し、このポイントが高い順に前記操作イベントデータを並び替えて表示する操作イベントデータ表示手段と、
   前記並び替えられた操作イベントデータの中から、人が入力手段を操作して１つの操作イベントデータを選択する操作イベントデータ選択手段と、
   前記操作イベントデータ選択手段によって選択された操作イベントデータ、及び、該操作イベントデータより以前に記憶された複数の操作イベントデータを、各データの発生時刻の順序に従って、表示部に再現する再現手段と、
   前記操作イベントデータ選択手段によって選択された操作イベントデータのイベントの種類、該イベントの発生回数、該イベントが発生した画面に表示されているコンテンツのコンテンツ識別情報、該イベントの発生位置における画面内のオブジェクト情報から少なくとも設定されるルール条件データ部と、該ルール条件データ部に設定されたイベントと同一のイベントが発生したときに出力するアノテーション出力データのアノテーション種類情報、及び該アノテーション出力データのアドレスから設定されるルール実行データ部とからアノテーションルールデータを作成するアノテーションルールデータ作成手段とを、
   コンピュータに備えさせることを特徴とするアノテーションルールデータ作成装置。
2. 前記操作イベント記憶手段は、予め設定されたイベント種類と一致するイベントを検知した場合、発生したイベントの種類、該イベントの発生位置、及び該イベントの発生時刻のみを記憶してなる請求項１記載のアノテーションルールデータ作成装置。
3. 前記アノテーション出力データは、文字、静止画像、動画像、音声、プログラムのなかの少なくとも１つを含んだデータファイルである請求項１記載のアノテーションルールデータ作成装置。
4. 請求項１から３のいずれかに記載されたアノテーションルールデータ作成装置によって作成されたアノテーションルールデータを用いてアノテーションを出力するアノテーションシステムであって、
   構造化文書データを含むコンテンツデータを記憶するコンテンツサーバと、前記コンテンツデータを取得するユーザマシンと、前記ユーザマシンからの前記コンテンツデータの取得要求に基づいて該ユーザマシンに代わって該コンテンツデータを取得するプロキシサーバと、前記プロキシサーバによって取得されたコンテンツデータに対応するアノテーションルールデータ、及び該アノテーションルールデータに対応するアノテーション出力データを記憶するアノテーションサーバとが通信可能であり、
   前記ユーザマシンからのコンテンツデータの要求信号を受信するコンテンツデータ要求受信手段と、前記コンテンツデータ要求受信手段によって受信されたコンテンツデータの要求信号に基づき、前記コンテンツサーバから該コンテンツデータを取得するコンテンツデータ取得手段と、前記コンテンツデータ取得手段によって取得されたコンテンツデータに、前記ユーザマシンに表示された画面内のイベントを検出してアノテーションを出力するアノテーション出力プログラムのＵＲＬ、及び該ユーザマシンが前記アノテーションサーバに予め記憶されているアノテーションルールデータを取得するアノテーションルールデータ取得プログラムのＵＲＬを付加するＵＲＬ付加手段と、前記ＵＲＬ付加手段によってＵＲＬが付加されたコンテンツデータを前記ユーザマシンに送信するコンテンツデータ送信手段とを、備えたプロキシサーバと、
   前記コンテンツデータ送信手段から送信されたＵＲＬが付加されたコンテンツデータを受信し、このコンテンツデータを表示し、該コンテンツデータに付加されたＵＲＬに基づいて前記アノテーション出力プログラム及び前記アノテーションルールデータ取得プログラムをプロキシサーバから取得するブラウザと、この取得したアノテーションルールデータ取得プログラムによって、該ブラウザに表示されているコンテンツデータを識別するコンテンツ識別情報及びユーザＩＤを少なくとも含む識別データを前記アノテーションサーバに送信する識別データ送信手段を備える、前記ユーザマシンと、
   前記識別データ送信手段によって送信された識別データを受信する識別データ受信手段と、少なくとも前記コンテンツ識別情報及び前記ユーザＩＤの双方の識別データ毎に予め設定されている前記アノテーションルールデータの複数を記憶する第１アノテーションルールデータ記憶手段と、前記第１アノテーションルールデータ記憶手段に記憶されているアノテーションルールデータの中から、前記識別データ受信手段によって受信された識別データに対応したアノテーションルールデータを選択するアノテーションルールデータ選択手段と、この選択されたアノテーションルールデータを前記ユーザマシンに送信するアノテーションルールデータ送信手段とを備えたアノテーションサーバと、
   さらに、前記ユーザマシンは、
   前記ブラウザにて取得したアノテーションルールデータ取得プログラムによって、前記アノテーションルールデータ送信手段から送信されたアノテーションルールデータを記憶する第２アノテーションルールデータ記憶手段を備えると共に、
   前記ブラウザにて取得したアノテーション出力プログラムによって、人が入力手段を操作することで発生するイベントの種類、該イベントの種類の発生回数、該イベントの発生位置、該発生位置における画面内のオブジェクト情報を少なくとも検知するイベント検知手段と、前記イベント検知手段によって検知されたイベントと前記第２アノテーションルールデータ記憶手段に記憶されているアノテーションルールデータのルール条件データ部とが一致するか否かを判断するイベント判断手段と、前記イベント判断手段によってイベントが一致した場合には、該ルール条件データ部に対応したルール実行部のアノテーションの種類情報、アノテーション出力データのアドレスに基づき、前記アノテーションサーバからアノテーション出力データを取得するアノテーション出力データ取得手段と、このアノテーション出力データを表示部若しくは音声出力部に出力するアノテーション出力手段として機能させる、
   ことを特徴とするアノテーションシステム。
5. 前記ユーザマシンから同じＩＰアドレスで前記アノテーションサーバ及びプロキシサーバに通信可能に構成されてなる請求項４記載のアノテーションシステム。
6. 前記イベント判断手段は、予め設定したイベントの種類の場合には、該イベントの発生位置のオブジェクトが一致するか否かの判断を中止してなる請求項４記載のアノテーションシステム。

Images