JP2000076266A - System/method for automatically executing browser operation - Google Patents

System/method for automatically executing browser operation

Info

Publication number
JP2000076266A
JP2000076266A JP10243854A JP24385498A JP2000076266A JP 2000076266 A JP2000076266 A JP 2000076266A JP 10243854 A JP10243854 A JP 10243854A JP 24385498 A JP24385498 A JP 24385498A JP 2000076266 A JP2000076266 A JP 2000076266A
Authority
JP
Japan
Prior art keywords
event
browser
recording
content
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10243854A
Other languages
Japanese (ja)
Other versions
JP3083805B2 (en
Inventor
Yoshinori Aoki
義則 青木
Shiro Ando
史郎 安藤
Shu Nakajima
周 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP10243854A priority Critical patent/JP3083805B2/en
Publication of JP2000076266A publication Critical patent/JP2000076266A/en
Application granted granted Critical
Publication of JP3083805B2 publication Critical patent/JP3083805B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide automatic execution system/method for recording/ reproducing an operation on a web browser. SOLUTION: An event recording/reproduction program is read into a browser and the browser displaying contents is started. A page where an event handler collecting information required for event recording/reproduction is buried is read into the browser displaying the contents. An event is generated by following the event handler in accordance with the browser operation of a user in the browser displaying the contents (830). The event generated by the event recording/reproduction program is recorded and the recorded event is read by the event recording/reproduction program. The browser displaying the contents is operated in accordance with the event which is read.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本願は、ウェブブラウザ(Web
Browser)操作自動実行システムおよびその方
法に関し、特に既存のウェブブラウザへの操作イベント
を記録/編集/再生するプログラムによって記録した操
作イベントをウェブブラウザで再生する、自動実行シス
テムおよびその方法に関する。なお、本願明細書中にお
いて、ウェブブラウザとはネットスケープ社のネットス
ケープコミュニケータ(Netscape Communicator)、マ
イクロソフト社のインターネットエクスプローラ(Inte
rnet Explorer)などの典型的なウェブ上のコンテンツ
を見るためのブラウザを指すものとする。
This invention relates to a web browser (Web browser).
The present invention relates to an automatic execution system and a method therefor, and more particularly, to an automatic execution system and a method for playing back an operation event recorded by a program for recording / editing / reproducing an operation event to an existing web browser. In the specification of the present application, the term “web browser” refers to Netscape Communicator of Netscape, Inc.
rnet Explorer), which is a browser for viewing typical web content.

【0002】[0002]

【従来の技術】従来、ウェブ上で操作の記録/再生を行
う技術として、以下のものが知られている。 (1)SMIL (Synchronized Multimedia Integration La
nguage) XML1.0を適用した記述言語で、動画、音声、図形、テキ
ストなど異なるメディアのオブジェクトを同期させるこ
とができる。SMILを使用することで、ウェブ上でスライ
ド、音声、ビデオ映像、文書を同期させたマルチメディ
ア・プレゼンテーションを実現することができる。リア
ルシステムG2(RealNetworks社のRealSystem G2)
は、SMILに対応したストリーミング・メディア・プレイ
ヤーである。しかしながらこの技術では、コンテンツを
SMILで記述する必要があり、既存のHTML (Hyper Text M
arkup Language) コンテンツがそのままでは使えない。
またコンテンツを表示するウィンドウのサイズ変更、位
置変更などのウィンドウ操作、およびマウスの移動など
を扱えない。さらにコンテンツを表示するウィンドウ上
への任意の図形や文字の表示機能が無い。 (2)サイトクルーズ/パーソナル(SiteCruise/Perso
nal) NEC社によるウェブページ自動閲覧ソフトで、URL (Unif
orm Resource Locator)遷移とスクロールの自動実行を
行なう。記録したデータは”シナリオ”と呼ばれ、専用
のエディタによって作成、編集される。このソフトウェ
アでは、ボタン、テキストフィールド、ラジオ・ボタン
などのフォームに対する操作、ウィンドウ操作、および
マウスの動きの記録・再生はできない。また専用のエデ
ィタを用いて”シナリオ”を書く必要があるため、専用
エディタの操作に習熟する必要がある。その他、事前に
ソフトウェアをクライアントにインストールする必要が
あること、図形の描画機能が無いなどの欠点がある。 (3)VDOLive3.0 画像にあわせてウェブブラウザにコンテンツをプッシュ
型配信するソフトウェアである。映像に同期してコンテ
ンツを読み込む機能を実現している。このソフトウェア
では、ブラウザ操作を記録してシナリオを記述する機能
が無い点、コンテンツを表示するウィンドウへのウィン
ドウ操作やフォームへの操作を記録・再生する機能が無
い点、図形の描画機能が無い点。また、事前にVDOLive
3.0をシステムにインストールしておく必要がある。 (4)ロータス・スクリーンカム 画面イメージを、そのままビデオのように記録するソフ
トウェア。このソフトウェアは画面イメージをそのまま
記録するためデータ・サイズが肥大化する。また、実際
にアプリケーションを起動しているわけではないため、
再生を一時停止し、途中からユーザが操作の続きを行な
うといった使い方ができない。図形の描画機能も無い。
記録したデータの編集ができない。また、事前にロータ
ス・スクリーンカムをシステムにインストールしておく
必要がある。 (5)マイクロソフト カムコーダー(Mirosoft Camcor
der) 画面イメージをそのままビデオのように記録・再生する
ソフトウェア。特徴は、ロータス・スクリーンカムと同
じである。 (6)ビジュアルエイジテスト(VisualAge Test) IBM社製のデバッグ・ツールで、GUIアプリケーションの
テストを支援するプログラムである。ビジュアルエイジ
テストにはレコーダーとプレーヤーの機能があり、レコ
ーダーとプレーヤーはユーザのキー操作とマウス操作を
記録し、再生する。操作の記録はレコーダーによりロー
タススクリプト言語で記録され、スクリプト・ファイル
に保管される。プレーヤーは、そのスクリプト・ファイ
ルに従ってユーザーの操作を再現できる。このプログラ
ムはウェブブラウザに対する操作のうち、いくつかの情
報を記録できない。例えば、HTML中に記述されたアンカ
ーをクリックする操作を記録できないため、URLの遷移
を記録できない。これは、ビジュアルエイジテストのレ
コーダーで記録できる情報が、OSが提供する標準のGUI
コンポーネントに対する操作のみに限定されるからであ
る。また、ビジュアルエイジテストのプレーヤーを用い
た再生では、コンテンツの読込み終了を確認しないた
め、再生時にネットワーク環境などによってコンテンツ
の読込みが遅くなった場合などに対応できない。更に、
図形の描画機能が無い。可変速再生や特定の操作のみを
再生するなどの特殊記録・再生ができない。
2. Description of the Related Art Conventionally, the following techniques are known as techniques for recording / reproducing operations on a web. (1) SMIL (Synchronized Multimedia Integration La
nguage) A description language that applies XML1.0, and can synchronize objects of different media such as moving images, sounds, figures, and texts. With SMIL, you can create multimedia presentations that synchronize slides, audio, video, and documents on the web. Real System G2 (RealNetworks RealSystem G2)
Is a streaming media player that supports SMIL. However, this technology does not
Must be written in SMIL and existing HTML (Hyper Text M
arkup Language) Content cannot be used as it is.
In addition, it cannot handle window operations such as changing the size and position of a window for displaying content, and moving the mouse. Furthermore, there is no function of displaying arbitrary figures and characters on a window for displaying contents. (2) SiteCruise / Perso
nal) Web page automatic browsing software by NEC, Inc.
orm Resource Locator) transition and automatic execution of scrolling. The recorded data is called "scenario" and is created and edited by a special editor. This software does not allow you to operate buttons, text fields, radio buttons, and other forms, do window operations, or record and play back mouse movements. Also, since it is necessary to write "scenarios" using a dedicated editor, it is necessary to master the operation of the dedicated editor. Other disadvantages are that software must be installed on the client in advance, and there is no graphic drawing function. (3) VDOLive3.0 This software pushes content to web browsers according to images. A function to read content in synchronization with video is realized. With this software, there is no function to record the browser operation and describe the scenario, there is no function to record / play the window operation to the window that displays the contents or the operation to the form, and there is no drawing function of the figure. . Also, beforehand VDOLive
3.0 must be installed on the system. (4) Lotus ScreenCam Software that records a screen image as it is as a video. Since this software records the screen image as it is, the data size increases. Also, since you are not actually launching the application,
It cannot be used to pause the playback and allow the user to continue the operation from the middle. There is no drawing function for figures.
Cannot edit recorded data. Also, it is necessary to install Lotus ScreenCam in the system in advance. (5) Microsoft Camcord
der) Software that records and plays back a screen image as it is like a video. The features are the same as the Lotus Screencam. (6) VisualAge Test (VisualAge Test) This is a debugging tool made by IBM Corporation, which is a program that supports testing of GUI applications. The visual age test has the functions of a recorder and a player, and the recorder and the player record and reproduce the user's key operation and mouse operation. The operation record is recorded by the recorder in the LotusScript language and stored in a script file. The player can reproduce the user's operation according to the script file. This program cannot record some information about the operation of the web browser. For example, since the operation of clicking the anchor described in HTML cannot be recorded, the transition of the URL cannot be recorded. This is because the information that can be recorded by the visual age test recorder is the standard GUI provided by the OS.
This is because the operation is limited to only the operation on the component. In addition, in the reproduction using the player of the visual age test, the completion of the reading of the content is not confirmed, so that it is not possible to cope with a case where the reading of the content is delayed due to a network environment or the like during the reproduction. Furthermore,
There is no drawing function for figures. Special recording / playback such as variable speed playback or playback of only specific operations cannot be performed.

【0003】以上のように、従来技術では、既存のHTML
コンテンツをそのまま使用して、ウェブブラウザに対す
る全ての操作を記録・再生する方法を提供しない。
[0003] As described above, the conventional technology uses the existing HTML.
It does not provide a method for recording and reproducing all operations on a web browser using the content as it is.

【0004】[0004]

【発明が解決しようとする課題】従って、本発明が解決
しようとする課題は、ウェブブラウザに対する操作(ブ
ラウザ操作とも言う)を記録/再生する自動実行システ
ムおよび方法を提供することである。また別の課題は、
クライアント側にウェブブラウザ以外の特殊なソフトウ
ェアをインストールする必要の無い自動実行システムお
よび方法を提供することである。また別の課題は、再生
時にネットワーク環境の変化に対応できる、ブラウザ操
作自動実行システムおよび方法を供することである。ま
た別の課題は、ウェブ上のコンテンツを用いた自動実行
型プレゼンテーションや、協調作業(コラボレーショ
ン)を実現する方法及びシステムを提供することであ
る。また別の課題は、URLの遷移を記録できる、ブラウ
ザ操作自動実行システムおよび方法を供することであ
る。また別の課題は、図形の描画機能の付加したブラウ
ザ操作自動実行システムおよび方法を提供することであ
る。また別の課題は、可変速再生や特定の操作のみを再
生するなどの特殊記録・再生ができる、ブラウザ操作自
動実行システムおよび方法を供することである。また別
の課題は、操作記録データサイズを従来技術より小さく
する、ブラウザ操作自動実行システムおよび方法を提供
することである。また別の課題は、記録したデータを専
用のエディタを用いず容易に編集できる、ブラウザ操作
自動実行システムおよび方法を提供することである。ま
た別の課題は、ウェブブラウザに対する操作を記録・再
生するためのイベントを発生させるメカニズムを HTML
ファイルに挿入する方法を提供することである。
SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide an automatic execution system and method for recording / reproducing operations on a web browser (also referred to as browser operations). Another challenge is
An object of the present invention is to provide an automatic execution system and method that do not require installing special software other than a web browser on a client side. Yet another object is to provide a browser operation automatic execution system and method that can respond to changes in the network environment during playback. Another object is to provide a method and a system for realizing an automatic execution type presentation using contents on the web and a cooperative work (collaboration). Yet another object is to provide a browser operation automatic execution system and method capable of recording URL transitions. Another object is to provide a browser operation automatic execution system and method to which a function of drawing a figure is added. Still another object is to provide a browser operation automatic execution system and method capable of performing special recording / reproduction such as variable speed reproduction or reproduction of only a specific operation. Still another object is to provide a browser operation automatic execution system and method that reduce the operation record data size compared to the related art. Yet another object is to provide a browser operation automatic execution system and method that can easily edit recorded data without using a dedicated editor. Another challenge is to create a mechanism for generating events to record and play back web browser operations using HTML.
Is to provide a way to insert it into the file.

【0005】[0005]

【課題を解決するための手段】上記課題を解決するため
に、まずブラウザにイベント記録/再生プログラムを読
み込み、コンテンツを表示するブラウザを起動する。次
にコンテンツを表示するブラウザに、イベント記録また
は再生に必要な情報を収集するイベントハンドラの埋め
込まれたページを読み込む。そしてコンテンツを表示す
るブラウザにおけるユーザのブラウザ操作に応じて、イ
ベントハンドラに従い、イベントを発生させる。イベン
ト記録/再生プログラムにより前記発生したイベントを
記録し、記録したイベントをイベント記録/再生プログ
ラムにより読み込む。読み込んだイベントに応じて、前
記コンテンツを表示するブラウザを動作させる。
In order to solve the above-mentioned problems, an event recording / reproducing program is first loaded into a browser, and a browser for displaying contents is started. Next, a page in which an event handler for collecting information necessary for event recording or reproduction is loaded into a browser for displaying the content. Then, an event is generated according to an event handler according to a user's browser operation on a browser that displays the content. The generated event is recorded by an event recording / reproducing program, and the recorded event is read by an event recording / reproducing program. A browser for displaying the content is operated according to the read event.

【0006】なおブラウザを起動する手段は、コンテン
ツを表示するブラウザを起動し、イベント記録/再生プ
ログラムを読み込むブラウザを起動してもよい。またブ
ラウザへイベント記録/再生プログラムを読み込む際、
まずイベント記録プログラムだけを読み込み、再生時に
イベント再生プログラムを読み込むようにしてもよい。
本発明の本質を避けることなく適宜変更可能である。イ
ベントハンドラの埋め込まれたページは、好ましくは、
プロキシ・サーバでHTMLファイルにイベントハンドラを
埋め込むことにより作成される。プロキシ・サーバは、
専用のプロキシサーバでもよいし、通常のプロキシサー
バにイベントハンドラの埋め込みを行わせてもよい。そ
の他、イベントハンドラの埋め込み行う別のプログラム
(アプレット)を用意してもよい。何れにしても本発明
の本質を外すことなく実施可能である。収集した情報
は、好ましくは全て Javaアプレットにより記録され
る。再生は、JavaアプレットとJavaScriptによりウェブ
ブラウザを制御することによって行なう。
[0006] The means for activating the browser may activate a browser for displaying the content and activate a browser for reading an event recording / reproducing program. Also, when loading the event recording / playback program into the browser,
First, only the event recording program may be read, and the event reproduction program may be read at the time of reproduction.
Changes can be made as appropriate without avoiding the essence of the present invention. The page with the embedded event handler is preferably
Created by embedding the event handler in the HTML file on the proxy server. The proxy server
A dedicated proxy server may be used, or an ordinary proxy server may embed an event handler. In addition, another program (applet) for embedding the event handler may be prepared. In any case, the present invention can be implemented without departing from the essence of the present invention. All information collected is preferably recorded by a Java applet. Reproduction is performed by controlling a web browser with a Java applet and JavaScript.

【0007】図8にイベント記録のフローチャートを示
す。ステップ810でイベント記録用のプログラムを起
動し、ステップ820でイベントハンドラーの埋め込ま
れたページの読み込みを行う。次にステップ830でユ
ーザの操作に従い、イベントを発生させる。そしてステ
ップ840で発生したイベント記録する。図9に記録し
たイベントを実行するフローチャートを示す。まずステ
ップ910で記録されたイベント(イベントシーケン
ス)を読み込み、ステップ920で操作イベント(イベ
ントシーケンス)の再生をブラウザに実行させる。
FIG. 8 shows a flowchart of event recording. In step 810, a program for event recording is started, and in step 820, a page in which an event handler is embedded is read. Next, in step 830, an event is generated according to the operation of the user. Then, the event generated in step 840 is recorded. FIG. 9 shows a flowchart for executing the recorded event. First, in step 910, the recorded event (event sequence) is read, and in step 920, the operation event (event sequence) is reproduced by the browser.

【0008】イベントを発生させるメカニズムを途中で
HTMLファイルに挿入することにより、記録を考慮(レコ
ーディング・アウェア)していない既存のウェブコンテ
ンツを使った操作の記録・再生が可能となる。また記録
したデータと、記録/再生を行なうソフトウェアの両者
をウェブサーバ上に置くことにより、ウェブブラウザが
利用できる環境であれば、記録/再生が可能である。ユ
ーザの操作を記録するソフトウェア(以降、レコーダ
ー)は全てJavaアプレットとJavaScriptで記述されるた
め、クライアント側では、ウェブブラウザ以外の特殊な
ソフトウェアを必要としない。つまりクライアント側に
ウェブブラウザ以外の特殊なソフトウェアをインストー
ルする必要が無い。さらに、記録したデータには、コン
テンツのURLとユーザが行なった操作に関する情報しか
含んでおらず、従来技術に比べてデータのサイズが小さ
くなる。そして記録するデータをテキストファイルとす
ることで記録データの編集を容易にする。記録・再生す
る操作を選択したり、可変速度再生などの特殊操作も可
能となる。また、複数のウェブブラウザの提供する機能
に対して共通のコードを多く用いて、既存のウェブコン
テンツへの任意の図形や文字の図形描画機能を提供す
る。このような自動実行機能や、図形描画機能により、
ウェブ上のコンテンツを用いた自動実行型プレゼンテー
ションや、協調作業を実現する。
[0008] A mechanism for generating an event
By inserting it into an HTML file, it is possible to record and play back operations using existing Web content that does not take recording into account (recording aware). By placing both recorded data and software for recording / reproducing on a web server, recording / reproducing is possible in an environment where a web browser can be used. Since all software that records user operations (hereinafter referred to as a recorder) is described in Java applets and JavaScript, no special software other than a web browser is required on the client side. That is, there is no need to install special software other than a web browser on the client side. Further, the recorded data includes only information on the URL of the content and the operation performed by the user, and the data size is smaller than that of the related art. By editing the data to be recorded as a text file, the editing of the recorded data is facilitated. Special operations such as recording / reproducing operations and variable speed reproduction can be performed. Also, a graphic drawing function for arbitrary graphics and characters on existing web content is provided by using a large number of codes common to functions provided by a plurality of web browsers. With such automatic execution function and figure drawing function,
Achieve automatic execution type presentation and collaborative work using contents on the Web.

【0009】記録できる情報はウェブブラウザに対する
操作(URLの遷移、ウェブのコンテンツが提供するテキ
スト・フィールド、ラジオ・ボタン、選択リストなどの
フォームへの操作、ウェブのコンテンツが表示されてい
るウィンドウへのウィンドウ操作、およびポインタ(マ
ウス等)の移動)に対して行われる。さらにウェブのコ
ンテンツが表示されているブラウザ・ウィンドウ上への
任意の図形や文字の描画機能も提供し、この操作も記録
する。
The information that can be recorded is an operation on a web browser (transition of a URL, an operation on a form such as a text field, a radio button, or a selection list provided by the web content, an operation on a window on which the web content is displayed). Window operation and movement of a pointer (such as a mouse). Furthermore, it provides a function of drawing arbitrary figures and characters on a browser window displaying Web contents, and records this operation.

【0010】再生時は、記録した全ての操作イベントを
再生することができる。この時、ブラウザの動作状況の
確認を取りながら処理を進めることにより、ネットワー
ク環境の違いなどによるコンテンツの読込み時間の変化
に対応する。たとえばウェブブラウザを用いたキオスク
(Kiosk)やホームバンキング(Home Banking)で操作
上のトラブルがあった場合に、それを再生することによ
り問題の再現ができる。
At the time of reproduction, all recorded operation events can be reproduced. At this time, by proceeding while checking the operation status of the browser, it is possible to cope with a change in the content reading time due to a difference in the network environment or the like. For example, if there is an operational trouble at a kiosk or home banking using a web browser, the problem can be reproduced by playing back the trouble.

【0011】さらに記録した操作イベントをネットワー
ク経由でリアルタイムに再生することにより、複数のノ
ードでのウェブブラウザの同期を取ることが可能とな
る。たとえば先生が複数の生徒に対して、同一のコンテ
ンツを表示操作したり、文字図形を描画して教育を行う
などに応用できる。さらに記録したコンテンツの再生速
度、再生する操作イベントの種類などを制御することに
より、より柔軟な再生が可能となる。例えば、URLの遷
移のみを再生することにより、複数のウェブコンテンツ
のキャッシングを行なうことが可能となる。
Further, by reproducing the recorded operation event in real time via a network, it becomes possible to synchronize the web browsers at a plurality of nodes. For example, a teacher can display and operate the same content for a plurality of students, or draw a character figure to provide education. Further, by controlling the reproduction speed of the recorded content, the type of operation event to be reproduced, and the like, more flexible reproduction becomes possible. For example, by reproducing only the transition of the URL, it becomes possible to cache a plurality of web contents.

【0012】[0012]

【発明の実施の形態】以下に本発明のブラウザ操作自動
実行システムの実施例を説明する。 (1)操作イベント取得機能(図1〜2) まず、記録の操作を行なうためのレコーダー・ウィンド
ウのページをウェブサーバから読み込む(図1の
(1))。レコーダー・ウィンドウは、レコーダーのJava
アプレット、通信用のJavaアプレットを含んでいる。こ
れらはイベント記録用のプログラムである。このページ
中のJavaScriptのメソッドでコンテンツ・ウィンドウを
開く(図1の(2))。コンテンツ・ウィンドウは、ユー
ザが見たいウェブページを表示するためのブラウザウィ
ンドウである。従ってレコーダウインドウとコンテンツ
ウィンドウ2つのブラウザが起動している。なお最初に
イベント記録用プログラムを読み込むブラウザ(レコー
ダウィンドウ)を起動し、コンテンツを表示するブラウ
ザ(コンテンツウィンドウ)を起動するか、逆にコンテ
ンツを表示するブラウザを起動し、イベント記録用プロ
グラムを読み込むブラウザを起動するかは、実装上の自
由選択であり、好ましいほうを選択してよい。コンテン
ツ・ウィンドウがプロキシ・サーバにコンテンツ読込み
を要求すると(図1の(3))、プロキシ・サーバは指定
されたウェブサーバからコンテンツを読み込み(図1の
(4))、読み込んだHTMLファイルに埋め込みエンジン
(エンベッディング・エンジン)でイベント・ハンドラ
を埋め込み、コンテンツ・ウィンドウに返す(図1の
(5))。なおコンテンツウィンドウには URL遷移を容易
にできるようURLの入力フィールド表示しておいてもよ
い。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of a browser operation automatic execution system according to the present invention will be described below. (1) Operation Event Acquisition Function (FIGS. 1 and 2) First, a page of a recorder window for performing a recording operation is read from a web server (FIG. 1).
(1)). The recorder window is the recorder Java
Contains applets and Java applets for communication. These are programs for recording events. The content window is opened by the JavaScript method in this page ((2) in FIG. 1). The content window is a browser window for displaying a web page desired by the user. Therefore, two browsers, a recorder window and a content window, are running. Start the browser (recorder window) that loads the event recording program first, and then start the browser (content window) that displays the content, or start the browser that displays the content and read the event recording program. Is a free choice in implementation, and the preferred one may be selected. When the content window requests the proxy server to read the content (FIG. 1 (3)), the proxy server reads the content from the designated web server (FIG. 1).
(4)) Embed an event handler with the embedded engine (embedding engine) in the read HTML file and return it to the content window (Fig. 1)
(Five)). In the content window, a URL input field may be displayed so that a URL transition can be easily performed.

【0013】埋め込まれたイベント・ハンドラは、コン
テンツ・ウィンドウで発生したイベントと再生に必要な
情報を、レコーダー・ウィンドウに通知する。図2に、
HTMLファイルにイベント・ハンドラを埋め込んだ様子の
例を示す。この例は、ウェブページの読込みが完了した
ときに、そのイベントをレコーダー・ウィンドウに通知
する例である。図2中、"*"がつけられた行が埋め込ま
れた部分である(bodyタグの行に付いては、onLoad="no
tify"の部分のみ)。図2のHTMLファイル中の"notif
y()"がイベントを通知するメソッドである。この"notif
y()"メソッドが呼ばれると、変数"msg"にイベント情報
(時刻、イベントの種類、読み込んだコンテンツのUR
L、タイトル、および最終更新日)がセットされ、レコ
ーダー・ウィンドウの"record()"メソッドに渡され
る。"recorder()"メソッドでレコーダーのJavaアプレッ
トにイベント情報が渡されて記録される。
The embedded event handler notifies the recorder window of an event that has occurred in the content window and information necessary for reproduction. In FIG.
Here is an example of how an event handler is embedded in an HTML file. In this example, when reading of the web page is completed, the event is notified to the recorder window. In FIG. 2, the line with "*" is embedded (the line of the body tag is onLoad = "no
tify ")." notif "in the HTML file of Fig. 2
y () "is a method that notifies events. This" notif
When the y () "method is called, the event information (time, event type, UR
L, title, and last update date) are set and passed to the "record ()" method of the recorder window. Event information is passed to the recorder's Java applet and recorded using the "recorder ()" method.

【0014】JavaScriptではこのように、ウィンドウの
サイズ変化、ページの読込み、ボタンなどのクリック、
フォームの内容の変化、フォームのサブミット、マウス
の移動などについて、それぞれonResize、onLoad、onCl
ick、onChange、onSubmit、onMouseMoveなどでイベント
・ハンドラを定義できる。これによって、再生時に必要
な情報の発生をレコーダー・ウィンドウに通知すること
ができる。スクロールに関する情報は、定期的にウェブ
ブラウザのwindow.pageXOffsetプロパティとwindow.pag
eYOffsetプロパティを調べることで変化を通知すること
ができる。
In JavaScript, the window size changes, the page is read, the button is clicked, and so on.
OnResize, onLoad, onCl for form changes, form submission, mouse movement, etc.
You can define event handlers with ick, onChange, onSubmit, onMouseMove, etc. Thus, the occurrence of necessary information during reproduction can be notified to the recorder window. Information about scrolling is regularly updated in the web browser's window.pageXOffset property and window.pag
Changes can be notified by checking the eYOffset property.

【0015】イベント・ハンドラの埋め込みをプロキシ
・サーバで自動的に行なうことにより、ユーザがコンテ
ンツに変更を加えることなく既存のコンテンツを利用で
きる。上記のようにJavaScriptでは、onXXXによってイ
ベント・ハンドラを定義できるため、HTMLで書かれたオ
リジナルのコンテンツをパッケージングすることによ
り、適切な位置にそれぞれのイベント・ハンドラを挿入
できる。また、埋め込みエンジンを持つプロキシ・サー
バを置くことができない場合、埋め込みエンジンをもつ
アプレットをウェブサーバからダウンロードし、そのア
プレットをローカル・プロキシ・サーバとして利用する
ことにより、HTMLファイルにイベント・ハンドラを埋め
込むことも可能である。その他、図1の(3)のリクエス
ト時にコンテンツウィンドウからのリクエストであるこ
とを判断することにより、汎用のプロキシサーバにHTML
ファイルにイベント・ハンドラを埋め込む機能をもたせ
るようにしてもよい。
[0015] By automatically embedding the event handler in the proxy server, the user can use the existing content without changing the content. As described above, in JavaScript, event handlers can be defined by onXXX. Therefore, by packaging original content written in HTML, each event handler can be inserted at an appropriate position. If a proxy server with an embedded engine cannot be installed, an applet with an embedded engine is downloaded from a web server, and the event handler is embedded in the HTML file by using the applet as a local proxy server. It is also possible. In addition, by judging that the request is from the content window at the time of the request shown in (3) of FIG. 1, HTML is sent to the general-purpose proxy server.
A function for embedding an event handler in a file may be provided.

【0016】(2)操作イベント記録機能(図3) 操作イベントの記録は、レコーダー・ウィンドウで走行
するレコーダー・アプレットが行なう。レコーダー・ウ
ィンドウでは、コンテンツ・ウィンドウのイベント・ハ
ンドラから通知されてきた情報の取捨選択と整形を行な
い、必要に応じてローカルファイルやネットワークに送
る。それぞれについて以下に示す。 (a) ネットワークへの送信 アプレットの通信機能を用いてネットワークへ送る。ネ
ットワークの先で誰がどのように利用しているかはレコ
ーダーは知る必要が無い。例えば、ウェブサーバ上にお
いてあるプログラムが受け取ってそのままライブラリと
してウェブサーバ上に公開することも可能であるし、他
のノードで走行するプレーヤーが受け取って、リアルタ
イムでのウェブブラウザの同期を行なうことも可能であ
る。ただし、アプレットのセキュリティ上の制限がある
ため、アプレットは、自分がダウンロードされてきたサ
ーバ(以降、自サーバ)としか通信コネクションを張る
ことができない。それ以外のノードと通信コネクション
を張る場合には、自サーバ上に中継をしてくれるプログ
ラムを置くか、もしくはアプレットに電子署名を付与す
ることにより可能となる。 (b) ローカル・ファイルへの記録 アプレットに電子署名を付与することによりローカル・
ファイルに記録することができる。
(2) Operation Event Recording Function (FIG. 3) Operation event recording is performed by a recorder applet running in a recorder window. In the recorder window, the information notified from the event handler of the content window is selected and formatted, and sent to a local file or a network as needed. Each is shown below. (a) Transmission to the network Send to the network using the communication function of the applet. The recorder does not need to know who or how to use it beyond the network. For example, a program on a web server can receive it and publish it on the web server as it is, or a player running on another node can receive it and synchronize the web browser in real time. It is. However, due to the security restrictions of the applet, the applet can establish a communication connection only with the server from which the applet has been downloaded (hereinafter, its own server). To establish a communication connection with other nodes, it is possible to place a relay program on its own server or to attach a digital signature to an applet. (b) Recording to a local file
Can be recorded in a file.

【0017】(3)図形描画機能(図4) 図形描画機能は、DynamicHTMLの機能を用いて実現す
る。本発明の図形描画機能はネットスケープコミュニケ
ータ(Netscape Communicator 以下、NC)とインターネ
ットエクスプローラ(Internet Explorer 以下、IE)で
実現方法が異なる。これは、両者が採用しているDynami
cHTMLに互換性が無いためである。図4(a)にNCでの
実現方法を示す。マウス・ポインタの動きにより、コン
テンツ・ウィンドウ上に、小さな正方形のイメージを貼
りつけたレイヤーを1つずつ作っていく。(なお色をつ
けたレイヤーを作成してもよい)レイヤー1上にイメー
ジd1、レイヤー2上にイメージd2を作る。これを続けて
いくことにより、図4(b)のような図形が作成でき
る。マウス・ポインタの動きについては、マウス・イベ
ントによりマウス・ポインタの動きを記録し、コンテン
ツ・ウィンドウ上のマウス・ポインタが通過した場所に
レイヤを作り、マウス・ポインタのイメージを貼ること
により実現する。また、IEはレイヤーをサポートしてい
ないため、マウス・ポインタが通過した場所にIEが提供
するJavaScriptメソッド "insertAdjacentHTML()" によ
りイメージを貼りつけ、スタイル・シートの機能を利用
して位置を調整する。
(3) Graphic Drawing Function (FIG. 4) The graphic drawing function is realized by using DynamicHTML functions. The graphic drawing function of the present invention is implemented differently between a Netscape Communicator (NC) and an Internet Explorer (IE). This is the Dynami that both employ
This is because cHTML is not compatible. FIG. 4A shows an implementation method using the NC. With the movement of the mouse pointer, layers with small square images are created one by one on the content window. (You may create a colored layer.) Create image d1 on layer 1 and image d2 on layer 2. By continuing this, a figure as shown in FIG. 4B can be created. The movement of the mouse pointer is realized by recording the movement of the mouse pointer by a mouse event, creating a layer on the content window where the mouse pointer has passed, and pasting an image of the mouse pointer. Also, since IE does not support layers, paste the image using the JavaScript method "insertAdjacentHTML ()" provided by IE where the mouse pointer passes, and adjust the position using the style sheet function .

【0018】(4)操作イベント読込み機能(図5) 操作イベントの読み込みは、ネットワークやローカル・
ファイルから行なう。 (a) ネットワークからの読み込み ウェブサーバ上で公開されている操作イベント・シーケ
ンスは、通常のウェブコンテンツと同様にHTTPなどのプ
ロトコルを用いてダウンロードすることができる。 (c) ローカル・ファイルからの読み込み 電子署名が付与されたアプレットにより、ローカル・フ
ァイルから読み込むことができる。
(4) Operation event reading function (FIG. 5) Operation event reading is performed by a network or local
From a file. (a) Reading from the network The operation event sequence published on the web server can be downloaded using a protocol such as HTTP in the same manner as ordinary web content. (c) Reading from a local file An applet with a digital signature can read from a local file.

【0019】(5)操作イベント再生機能(図5) コンテンツ・ウィンドウの操作は、レコーダー・ウィン
ドウ上で走行するJavaアプレットとJavaScriptにより行
われる。また、時間管理はJavaアプレットで行なう。
(5) Operation Event Playback Function (FIG. 5) The operation of the content window is performed by a Java applet and JavaScript running on the recorder window. Time management is performed by Java applet.

【0020】(5−1)コンテンツ・ウィンドウの操作 レコーダー・ウィンドウがコンテンツ・ウィンドウを開
くときに(図1の(2))コンテンツ・ウィンドウに名前
を付与することで、レコーダー・ウィンドウからコンテ
ンツ・ウィンドウをJavaScriptのメソッドを用いて制御
できる。レコーダーアプレットは、再生時にレコーダー
・ウィンドウのJavaScriptメソッドを呼び、そこからJa
vaScriptによってコンテンツ・ウィンドウを制御する。
コンテンツ・ウィンドウに"win"という名前が付与され
ている場合、ウィンドウのサイズ変更、移動は、JavaSc
riptのwin.resizeTo(x,y)、win.moveTo(x,y)メソッドで
再生できる。また URLの遷移はコンテンツウィンド
ウのdocument.location.hrefプロパティに移動先のURL
を代入することで再生できる。しかしブラウザのセキュ
リティのためレコーダウィンドウから直接コンテンツウ
ィンドウのdocument.location.hrefプロパティを変更す
ることはできない。そのため図1の埋め込みエンジンに
よってあらかじめコンテンツウィンドウにdocument.loc
ation.hrefプロパティを変更するメソッドを埋め込んで
おきレコーダからそのメソッドを呼ぶことによってURL
遷移を再生できる。このように、JavaScriptメソッドを
利用することによって、操作イベントを再生することが
できる。
(5-1) Operation of the content window When the recorder window opens the content window ((2) in FIG. 1), by giving a name to the content window, the content window can be changed from the content window to the content window. Can be controlled using JavaScript methods. The recorder applet calls the JavaScript method of the recorder window during playback, from which the Ja
Control the content window with vaScript.
If the content window is given the name "win", resizing and moving the window is done using JavaSc
It can be played with ript's win.resizeTo (x, y) and win.moveTo (x, y) methods. The URL transition is shown in the document.location.href property in the content window.
Can be reproduced by substituting However, the document.location.href property of the content window cannot be changed directly from the recorder window due to browser security. Therefore, document.loc is added to the content window in advance by the embedded engine shown in Fig. 1.
Embed a method to change the ation.href property and call the method from the recorder to get the URL
Play transitions. As described above, the operation event can be reproduced by using the JavaScript method.

【0021】(5−2)時間管理(図6) 通常の再生時は、各イベント間の時間が記録時と同じよ
うになるようにイベントの再生を行なう。ただし、ネッ
トワークなどの状態によって、ウェブコンテンツの読み
込み時間(Loding Time)は大きく変化する恐れがあ
る。ウェブコンテンツの読み込み時間は、図6(A)に
示すように、load開始イベントからload終了イベントま
での間の時間T1である。図6(B)に示すように、再生
時にプレーヤーは、次ページの読み込みをコンテンツ・
ウィンドウに指示したら、記録時の読込み時間T3に関係
なくコンテンツ・ウィンドウからload終了イベントを受
け取るまで待つ。また、記録時にload終了イベント前に
行なわれた操作Aに関しては、読み込みが終了しないと
操作できない危険性があるので、再生時にはコンテンツ
・ウィンドウからload終了イベントを受け取った直後に
行なう。通常速度再生では、読込み時の表示時間(Brows
ing Time) T2と同じ長さだけウェブページを表示する。
つまり、図6においてT4=T2とする。
(5-2) Time Management (FIG. 6) During normal reproduction, events are reproduced so that the time between events becomes the same as during recording. However, depending on the state of the network or the like, the reading time (Loding Time) of the web content may greatly change. Loading time of the web content, as shown in FIG. 6 (A), the time T 1 of the period from load start event to load end event. As shown in FIG. 6B, at the time of reproduction, the player reads the next page with the content
When you instruct the window, wait from without content windows related to the read time T 3 at the time of recording until it receives a load end event. In addition, the operation A performed before the load end event at the time of recording may not be able to be operated unless reading is completed. Therefore, at the time of reproduction, the operation A is performed immediately after receiving the load end event from the content window. In normal speed playback, the display time (Brows
by the same length as the ing Time) T 2 to display the web page.
That is, T 4 = T 2 in FIG.

【0022】(5−3)特殊再生 (a) 再生情報の選択 再生時に、再生する情報種類を選択できる。これによ
り、URL遷移のみの再生したり、マウスの動作のみ再生
しない、などの設定が可能となる。 (b) 再生開始ポイントの設定 任意のウェブページ読み込みイベントから再生させるこ
とが可能。 (c) 可変速再生 再生速度を変化させるために、図6の表示時間を調節す
る。2倍速再生の場合、読込み時間(Loading Time)まで
の時間は変更せず、再生時の表示時間(BrowsingTime)
を半分にする。つまり、T4=T2/2とする。 (d) リアルタイムでの再生時のQoS制御 リアルタイムで再生する場合、ネットワークの遅延など
により、記録側に対して再生側がどんどん遅れていく危
険性がある。そこで、再生側では、再生する情報の種類
ごとに遅延を認める閾値を決めておき、再生時に再生す
るか否かを決定することで、再生の遅延と再生の精度の
バランスを調節できる。記録された情報をすべて再生し
なくても、次のURLの読込みで再生側はすべて同じ状態
になる。
(5-3) Special reproduction (a) Selection of reproduction information At the time of reproduction, the type of information to be reproduced can be selected. This makes it possible to make settings such as reproducing only the URL transition or not reproducing only the operation of the mouse. (b) Setting of playback start point It is possible to play from any web page loading event. (c) Variable speed playback In order to change the playback speed, the display time in FIG. 6 is adjusted. In the case of 2x speed playback, the time until the reading time (Loading Time) is not changed, and the display time during playback (BrowsingTime)
Halved. That, and T 4 = T 2/2. (d) QoS control during real-time playback In the case of real-time playback, there is a risk that the playback side will lag behind the recording side due to network delays. Therefore, on the reproducing side, a threshold value for allowing a delay is determined for each type of information to be reproduced, and whether or not to reproduce at the time of reproducing is determined, so that the balance between the reproduction delay and the reproducing accuracy can be adjusted. Even if all the recorded information is not reproduced, the reproduction side will be in the same state when the next URL is read.

【0023】図7に、本発明のブラウザ操作自動実行を
行うシステムのハードウェア構成例を示す。システム1
00は、中央処理装置(CPU)1とメモリ4とを含ん
でいる。CPU1とメモリ4は、バス2を介して、補助
記憶装置としてのハードディスク装置13(またはM
O、CD−ROM23、DVD等の記憶媒体駆動装置)
とIDEコントローラ25を介して接続してある。同様
にCPU1とメモリ4は、バス2を介して、補助記憶装
置としてのハードディスク装置30(またはMO28、
CD−ROM23、DVD等の記憶媒体駆動装置)とS
CSIコントローラ27を介して接続してある。フロッ
ピーディスク装置20はフロッピーディスクコントロー
ラ19を介してバス2へ接続されている。
FIG. 7 shows a hardware configuration example of a system for automatically executing a browser operation according to the present invention. System 1
Reference numeral 00 includes a central processing unit (CPU) 1 and a memory 4. The CPU 1 and the memory 4 are connected via the bus 2 to a hard disk device 13 (or M
O, CD-ROM 23, storage medium drive such as DVD)
And an IDE controller 25. Similarly, the CPU 1 and the memory 4 are connected via the bus 2 to the hard disk device 30 (or the MO 28,
Storage medium drive for CD-ROM 23, DVD, etc.) and S
It is connected via the CSI controller 27. The floppy disk device 20 is connected to the bus 2 via a floppy disk controller 19.

【0024】フロッピーディスク装置20には、フロッ
ピーディスクが挿入され、このフロッピーディスク等や
ハードディスク装置13(またはMO、CD−ROM、
DVD等の記憶媒体)、ROM14には、オペレーティ
ングシステムと協働してCPU等に命令を与え、本発明
を実施するためのコンピュータ・プログラムのコード若
しくはデータを記録することができ、メモリ4にロード
されることによって実行される。該コンピュータ・プロ
グラムにはOS,ブラウザ(NC,IE)等のアプリケーシ
ョン、その他のプログラムからなる。このコンピュータ
・プログラムのコードは圧縮し、または、複数に分割し
て、複数の媒体に記録することもできる。
A floppy disk is inserted into the floppy disk device 20, and the floppy disk or the like or the hard disk device 13 (or MO, CD-ROM,
A storage medium such as a DVD) and a ROM 14 can cooperate with an operating system to give instructions to a CPU and the like, and record computer program codes or data for implementing the present invention. It is performed by being done. The computer program includes an OS, applications such as a browser (NC, IE), and other programs. The code of the computer program can be compressed or divided into a plurality of pieces and recorded on a plurality of media.

【0025】システム100は更に、ユーザ・インター
フェース・ハードウェアを備え、入力をするためのポイ
ンティング・デバイス(マウス、ジョイスティック等)
7またはキーボード6や、視覚データをユーザに提示す
るためのディスプレイ12を有することができる。ま
た、パラレルポート16を介してプリンタを接続するこ
とや、シリアルポート15を介してモデムを接続するこ
とが可能である。このシステム100は、シリアルポー
ト15およびモデムまたは通信アダプタ18(イーサネ
ットやトークンリング・カード)等を介してネットワー
クに接続し、他のコンピュータ等と通信を行う。たとえ
ばウェブサーバ、プロキシサーバ等とコミュニケーショ
ンする。またシリアルポート15若しくはパラレルポー
ト16に、遠隔送受信機器を接続して、赤外線若しくは
電波によりデータの送受信を行うことも可能である。な
おウェブサーバ、プロキシサーバは上記システム100
と同様の構成としても構わないし、専用のハードウェア
を使用してよい。
The system 100 further comprises user interface hardware and a pointing device (mouse, joystick, etc.) for inputting.
7 or a keyboard 6 and a display 12 for presenting visual data to the user. Further, it is possible to connect a printer via the parallel port 16 and to connect a modem via the serial port 15. The system 100 is connected to a network via a serial port 15 and a modem or a communication adapter 18 (Ethernet or token ring card) or the like, and communicates with another computer or the like. For example, it communicates with a web server, a proxy server, and the like. It is also possible to connect a remote transmission / reception device to the serial port 15 or the parallel port 16 to transmit / receive data by infrared rays or radio waves. The web server and the proxy server correspond to the system 100
The configuration may be the same as that described above, or dedicated hardware may be used.

【0026】スピーカ23は、オーディオ・コントロー
ラ21によってD/A(デジタル/アナログ変換)変換
された音声信号を、アンプ22を介して受領し、音声と
して出力する。また、オーディオ・コントローラ21
は、マイクロフォン24から受領した音声情報をA/D
(アナログ/デジタル)変換し、システム外部の音声情
報をシステムにとり込むことを可能にしている。
The speaker 23 receives via the amplifier 22 the audio signal that has been D / A (digital / analog converted) by the audio controller 21 and outputs it as audio. Also, the audio controller 21
Converts the audio information received from the microphone 24 into an A / D
(Analog / Digital) conversion, and audio information outside the system can be taken into the system.

【0027】このように、本発明のシステムは、通常の
パーソナルコンピュータ(PC)やワークステーショ
ン、ノートブックPC、パームトップPC、ネットワー
クコンピュータ、コンピュータを内蔵したテレビ等の各
種家電製品、通信機能を有するゲーム機、電話、FA
X、携帯電話、PHS、電子手帳、等を含む通信機能有
する通信端末、または、これらの組合せによって実施可
能であることを容易に理解できるであろう。ただし、こ
れらの構成要素は例示であり、その全ての構成要素が本
発明の必須の構成要素となるわけではない。
As described above, the system of the present invention has various home electric appliances such as a normal personal computer (PC), a workstation, a notebook PC, a palmtop PC, a network computer, a television with a built-in computer, and a communication function. Game console, telephone, FA
It can be easily understood that the present invention can be implemented by a communication terminal having a communication function including X, a mobile phone, a PHS, an electronic organizer, or the like, or a combination thereof. However, these components are merely examples, and not all of them are essential components of the present invention.

【0028】[0028]

【発明の効果】本発明により、既存のウェブブラウザへ
の操作を記録することにより、ウェブコンテンツを用い
た自動実行型のプレゼンテーション・パッケージを容易
に作成することができる。記録を行なうレコーダーは全
てJavaアプレットとJavaScriptで記述されるため、クラ
イアント側では、ウェブブラウザ以外の特殊なソフトウ
ェアを必要としない。再生時にウェブブラウザの動作状
況を確認しながら処理を進めることにより、ネットワー
ク環境の違いなどによるコンテンツの読み込み時間の変
化などに対応できる。ウェブのコンテンツを表示するウ
ィンドウ上への図形描画機能を提供することにより、よ
り柔軟なプレゼンテーションが可能となる。記録した操
作イベントをネットワーク経由でリアルタイムに再生す
ることにより、複数のノードでのウェブブラウザの同期
を取ることが可能となる。記録したコンテンツの再生速
度、再生する操作イベントの種類などを制御することに
より、より柔軟な再生が可能となる。例えば、URLの遷
移のみを再生することにより、複数のウェブコンテンツ
のキャッシングを行なうことが可能となる。
According to the present invention, an automatic execution type presentation package using web contents can be easily created by recording an operation on an existing web browser. All recorders that record are written in Java applets and JavaScript, so no special software other than a web browser is required on the client side. By proceeding while checking the operation status of the web browser at the time of reproduction, it is possible to cope with a change in content reading time due to a difference in network environment and the like. Providing a graphic drawing function on a window for displaying web contents enables more flexible presentation. By playing back the recorded operation events in real time via a network, it becomes possible to synchronize web browsers at a plurality of nodes. By controlling the playback speed of the recorded content, the type of operation event to be played back, and the like, more flexible playback becomes possible. For example, by reproducing only the transition of the URL, it becomes possible to cache a plurality of web contents.

【図面の簡単な説明】[Brief description of the drawings]

【図1】操作イベントの取得方法を示す図である。FIG. 1 is a diagram illustrating a method of acquiring an operation event.

【図2】HTMLへのイベントハンドラの埋め込み例を
示す図である。
FIG. 2 is a diagram illustrating an example of embedding an event handler in HTML.

【図3】操作イベント記録機能を説明する図である。FIG. 3 is a diagram illustrating an operation event recording function.

【図4】図形描画機能を説明する図である。FIG. 4 is a diagram illustrating a graphic drawing function.

【図5】操作イベント読込み/再生機能を説明する図で
ある。
FIG. 5 is a diagram illustrating an operation event reading / reproducing function.

【図6】再生時の時間管理を説明する図である。FIG. 6 is a diagram illustrating time management during reproduction.

【図7】本発明の自動実行システムに使用されるハード
ウェアの1実施例を示す図である。
FIG. 7 is a diagram showing one embodiment of hardware used in the automatic execution system of the present invention.

【図8】本発明のイベント記録のフローチャートであ
る。
FIG. 8 is a flowchart of event recording according to the present invention.

【図9】本発明の記録イベント実行フローチャートであ
る。
FIG. 9 is a recording event execution flowchart of the present invention.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 青木 義則 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 (72)発明者 安藤 史郎 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 (72)発明者 中島 周 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 Fターム(参考) 5B042 GA09 GB02 HH30 JJ10 LA19 MA05 MA08 MC37 NN29 5B075 KK02 ND16 PP03 PQ02  ──────────────────────────────────────────────────の Continuing on the front page (72) Inventor Yoshinori Aoki 1623-14 Shimotsuruma, Yamato-shi, Kanagawa Prefecture Inside the Tokyo Research Laboratory, IBM Japan, Ltd. (72) Inventor Shiro Ando Shimotsuruma, Yamato-shi, Kanagawa Prefecture 1623-14 Japan IBM Japan, Ltd.Tokyo Basic Research Laboratories (72) Inventor Shu Nakajima 1623 Shimotsuruma, Yamato-shi, Kanagawa Prefecture Japan IBM Japan, Ltd.Tokyo Basic Research Laboratory F-term ( Reference) 5B042 GA09 GB02 HH30 JJ10 LA19 MA05 MA08 MC37 NN29 5B075 KK02 ND16 PP03 PQ02

Claims (16)

【特許請求の範囲】[Claims] 【請求項1】ブラウザ操作を記録する、操作イベント記
録システムであって、(1)イベント記録プログラムを
読み込むブラウザを起動し、コンテンツを表示するブラ
ウザを起動する手段と、(2)前記コンテンツを表示す
るブラウザに、イベント記録に必要な情報を収集するイ
ベントハンドラの埋め込まれたページを読み込む手段
と、(3)前記コンテンツを表示するブラウザにおける
ユーザのブラウザ操作に応じて、前記イベントハンドラ
に従い、イベントを発生させる手段と、(4)前記イベ
ント記録プログラムにより前記発生したイベントを記録
する手段と、を具備することを特徴とする、操作イベン
ト記録システム。
1. An operation event recording system for recording a browser operation, comprising: (1) means for activating a browser for reading an event recording program and activating a browser for displaying content; and (2) displaying the content. Means for reading a page in which an event handler for collecting information necessary for event recording is read in a browser to be executed; and (3) in response to a user's browser operation on a browser for displaying the content, an event is generated in accordance with the event handler. An operation event recording system, comprising: means for generating; and (4) means for recording the generated event by the event recording program.
【請求項2】前記ブラウザを起動する手段(1)が、コ
ンテンツを表示するブラウザを起動し、イベント記録プ
ログラムを読み込むブラウザを起動する手段である、請
求項1記載のシステム。
2. The system according to claim 1, wherein said means for activating said browser is means for activating a browser for displaying contents and activating a browser for reading an event recording program.
【請求項3】ブラウザ操作を自動実行する、自動実行シ
ステムであって、(1)ブラウザにイベント記録/再生
プログラムを読み込み、コンテンツを表示するブラウザ
を起動する手段と、(2)前記コンテンツを表示するブ
ラウザに、イベント記録または再生に必要な情報を収集
するイベントハンドラの埋め込まれたページを読み込む
手段と、(3)前記コンテンツを表示するブラウザにお
けるユーザのブラウザ操作に応じて、前記イベントハン
ドラに従い、イベントを発生させる手段と、(4)前記
イベント記録/再生プログラムにより前記発生したイベ
ントを記録する手段と、(5)記録したイベントを前記
イベント記録/再生プログラムにより読み込む手段と、
(6)前記読み込んだイベントに応じて、前記コンテン
ツを表示するブラウザを動作させる手段と、を具備する
ことを特徴とする、自動実行システム。
3. An automatic execution system for automatically executing a browser operation, comprising: (1) means for reading an event recording / reproducing program into a browser and activating a browser for displaying the content; and (2) displaying the content. Means for reading a page in which an event handler for collecting information necessary for event recording or reproduction is read in a browser to be executed; and (3) in accordance with the event handler in accordance with a user's browser operation in a browser for displaying the content, Means for generating an event, (4) means for recording the event generated by the event recording / reproduction program, and (5) means for reading the recorded event by the event recording / reproduction program.
(6) means for operating a browser that displays the content in response to the read event.
【請求項4】前記ブラウザを起動する手段(1)が、コ
ンテンツを表示するブラウザを起動し、イベント記録/
再生プログラムを読み込むブラウザを起動する手段であ
る、請求項3記載のシステム。
4. The means (1) for activating a browser activates a browser for displaying contents, and executes event recording /
4. The system according to claim 3, wherein the system is means for activating a browser that reads a reproduction program.
【請求項5】前記イベントを記録する手段(4)が、UR
Lの遷移、ポインタの移動、ウェブのコンテンツが提供
するテキストフィールドまたはラジオボタンまたは選択
リストなどのフォームへの操作、前記コンテンツを表示
するブラウザへのウィンドウ操作を含む、操作を記録す
る手段である、請求項1または3の何れかに記載のシス
テム。
5. The method according to claim 1, wherein the means for recording the event comprises:
L transition, movement of the pointer, operation on a form such as a text field or a radio button or a selection list provided by web content, including a window operation on a browser that displays the content, a means for recording the operation, The system according to claim 1.
【請求項6】前記イベントを記録する手段(4)が、前
記コンテンツを表示するブラウザへの特定の操作のイベ
ントのみを記録する手段である、請求項1または3の何
れかに記載のシステム。
6. The system according to claim 1, wherein the means for recording the event is a means for recording only an event of a specific operation on a browser that displays the content.
【請求項7】前記イベントを記録する手段(4)が、前
記コンテンツを表示するブラウザへの文字または図形の
描画操作のイベントを記録する手段を含む、請求項1ま
たは3の何れかに記載のシステム。
7. The method according to claim 1, wherein the means for recording the event includes means for recording an event of a character or graphic drawing operation on a browser for displaying the content. system.
【請求項8】前記コンテンツを表示するブラウザを動作
させる手段(6)が、可変速再生または特定の操作のみ
の再生を行う手段を含む、請求項3記載のシステム。
8. The system according to claim 3, wherein the means for operating a browser for displaying the content includes means for performing variable speed playback or playback of only a specific operation.
【請求項9】前記イベントを記録する手段(4)が、前
記発生したイベントをテキストファイルに記録すること
を特徴とする、請求項1または3の何れかに記載のシス
テム。
9. The system according to claim 1, wherein said event recording means records said event in a text file.
【請求項10】前記コンテンツウィンドウを動作させる
手段(6)が、前記テキストファイルを編集して、ブラ
ウザの再生動作を変化させる手段を含む、請求項9記載
のシステム。
10. The system according to claim 9, wherein the means for operating the content window includes means for editing the text file to change a reproduction operation of a browser.
【請求項11】ブラウザ操作を記録する、操作イベント
記録方法であって、(1)イベント記録プログラムを読
み込むブラウザを起動し、コンテンツを表示するブラウ
ザを起動する段階と、(2)前記コンテンツを表示する
ブラウザに、イベント記録に必要な情報を収集するイベ
ントハンドラの埋め込まれたページを読み込む段階と、
(3)前記コンテンツを表示するブラウザにおけるユー
ザのブラウザ操作に応じて、前記イベントハンドラに従
い、イベントを発生させる段階と、(4)前記イベント
記録プログラムにより前記発生したイベントを記録する
段階と、を有することを特徴とする、操作イベント記録
方法。
11. An operation event recording method for recording a browser operation, comprising: (1) activating a browser for reading an event recording program and activating a browser for displaying content; and (2) displaying the content. Loading a page with an event handler that collects information needed for event recording into a browser
(3) generating an event according to the event handler according to a user's browser operation on a browser that displays the content; and (4) recording the generated event by the event recording program. An operation event recording method, characterized in that:
【請求項12】前記ブラウザを起動する段階(1)が、
コンテンツを表示するブラウザを起動し、イベント記録
プログラムを読み込むブラウザを起動する段階である、
請求項11記載の方法。
12. The method according to claim 1, wherein the step of activating the browser comprises:
This is the stage of launching the browser that displays the content and launching the browser that loads the event recording program.
The method of claim 11.
【請求項13】ブラウザ操作を自動実行する、自動実行
方法であって、(1)ブラウザにイベント記録/再生プ
ログラムを読み込み、コンテンツを表示するブラウザを
起動する段階と、(2)前記コンテンツを表示するブラ
ウザに、イベント記録または再生に必要な情報を収集す
るイベントハンドラの埋め込まれたページを読み込む段
階と、(3)前記コンテンツを表示するブラウザにおけ
るユーザのブラウザ操作に応じて、前記イベントハンド
ラに従い、イベントを発生させる段階と、(4)前記イ
ベント記録/再生プログラムにより前記発生したイベン
トを記録する段階と、(5)記録したイベントを前記イ
ベント記録/再生プログラムにより読み込む段階と、
(6)前記読み込んだイベントに応じて、前記コンテン
ツを表示するブラウザを動作させる段階と、を有するこ
とを特徴とする、自動実行方法。
13. An automatic execution method for automatically executing a browser operation, comprising: (1) loading an event recording / playback program into a browser and activating a browser for displaying the content; and (2) displaying the content. Loading a page in which an event handler for collecting information necessary for event recording or reproduction is loaded into a browser to perform (3) responding to a user's browser operation on a browser for displaying the content, in accordance with the event handler, Generating an event, (4) recording the generated event by the event recording / playback program, and (5) reading the recorded event by the event recording / playback program.
(6) operating a browser that displays the content in response to the read event.
【請求項14】前記ブラウザを起動する段階(1)が、
コンテンツを表示するブラウザを起動し、イベント記録
/再生プログラムを読み込むブラウザを起動する段階で
ある、請求項13記載の方法。
14. The method according to claim 1, wherein the step of activating the browser comprises:
14. The method of claim 13, further comprising activating a browser that displays the content and activating a browser that loads an event recording / playback program.
【請求項15】ブラウザ操作を記録するためのプログラ
ムを含む媒体であって、該プログラムが、(1)イベン
ト記録プログラムを読み込むブラウザを起動し、コンテ
ンツを表示するブラウザを起動する機能と、(2)前記
コンテンツを表示するブラウザに、イベント記録に必要
な情報を収集するイベントハンドラの埋め込まれたペー
ジを読み込む機能と、(3)前記コンテンツを表示する
ブラウザにおけるユーザのブラウザ操作に応じて、前記
イベントハンドラに従い、イベントを発生させる機能
と、(4)前記イベント記録プログラムにより前記発生
したイベントを記録する機能と、を有することを特徴と
する、プログラムを含む媒体。
15. A medium including a program for recording a browser operation, the program comprising: (1) a function of activating a browser for reading an event recording program and activating a browser for displaying contents; A) a function for reading a page in which an event handler for collecting information necessary for event recording is loaded into a browser for displaying the content, and (3) a function for reading the event in response to a user's browser operation on the browser for displaying the content. A medium including a program, comprising: a function of generating an event according to a handler; and (4) a function of recording the generated event by the event recording program.
【請求項16】ブラウザ操作を自動実行するためのプロ
グラムを含む媒体であって、該プログラムが、(1)ブ
ラウザにイベント記録/再生プログラムを読み込み、コ
ンテンツを表示するブラウザを起動する機能と、(2)
前記コンテンツを表示するブラウザに、イベント記録ま
たは再生に必要な情報を収集するイベントハンドラの埋
め込まれたページを読み込む機能と、(3)前記コンテ
ンツを表示するブラウザにおけるユーザのブラウザ操作
に応じて、前記イベントハンドラに従い、イベントを発
生させる機能と、(4)前記イベント記録/再生プログ
ラムにより前記発生したイベントを記録する機能と、
(5)記録したイベントを前記イベント記録/再生プロ
グラムにより読み込む機能と、(6)前記読み込んだイ
ベントに応じて、前記コンテンツを表示するブラウザを
動作させる機能と、を有することを特徴とする、プログ
ラムを含む媒体。
16. A medium including a program for automatically executing a browser operation, the program comprising: (1) a function of reading an event recording / reproducing program into a browser and activating a browser for displaying contents; 2)
A function of reading a page in which an event handler for collecting information necessary for event recording or reproduction is loaded into a browser that displays the content, and (3) the browser that displays the content in response to a user's browser operation. A function of generating an event according to an event handler; (4) a function of recording the generated event by the event recording / reproducing program;
(5) A program comprising: a function of reading a recorded event by the event recording / reproducing program; and (6) a function of operating a browser that displays the content according to the read event. A medium containing
JP10243854A 1998-08-28 1998-08-28 Browser operation automatic execution system and method Expired - Fee Related JP3083805B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10243854A JP3083805B2 (en) 1998-08-28 1998-08-28 Browser operation automatic execution system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10243854A JP3083805B2 (en) 1998-08-28 1998-08-28 Browser operation automatic execution system and method

Publications (2)

Publication Number Publication Date
JP2000076266A true JP2000076266A (en) 2000-03-14
JP3083805B2 JP3083805B2 (en) 2000-09-04

Family

ID=17109956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10243854A Expired - Fee Related JP3083805B2 (en) 1998-08-28 1998-08-28 Browser operation automatic execution system and method

Country Status (1)

Country Link
JP (1) JP3083805B2 (en)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002023350A1 (en) * 2000-09-08 2002-03-21 Digital-Knowledge Co., Ltd Technique for superimposingly display additional information on display screen
JP2002330414A (en) * 2001-05-02 2002-11-15 Fkd Lab:Kk Internet advertisement method and device
JP2003044318A (en) * 2001-08-02 2003-02-14 Fujitsu Ltd Program and method for supporting test
JP2004171570A (en) * 2002-11-20 2004-06-17 O Jinko Virtual operation method for digital contents
JP2005165600A (en) * 2003-12-02 2005-06-23 Nec Corp Transaction processing system and method, and program
WO2005062619A1 (en) * 2003-12-18 2005-07-07 Matsushita Electric Industrial Co., Ltd. Content reproduction device
WO2006001491A1 (en) * 2004-06-23 2006-01-05 Nec Corporation Information complementing device, system, method and program
JP2006011358A (en) * 2004-05-27 2006-01-12 Sharp Corp Apparatus, method, and program for displaying information, and recording medium
JP2006048144A (en) * 2004-07-30 2006-02-16 Tenik Kk Autopilot device, client terminal and autopilot method
US7246126B2 (en) 2001-01-19 2007-07-17 Matsushita Electric Industrial Co., Ltd. Communications system for retrieving instruction files from a server
JP2008502038A (en) * 2004-06-03 2008-01-24 インターナショナル・ビジネス・マシーンズ・コーポレーション Save multiple browser instances as one selectable web project
JP2008015790A (en) * 2006-07-06 2008-01-24 Fujitsu Ltd File processor and file processing program
JP2008117093A (en) * 2006-11-02 2008-05-22 Hitachi Ltd User operation recording/reproducing method and device
JP2008234279A (en) * 2007-03-20 2008-10-02 Fujitsu Ltd Scenario preparing program and scenario preparing device
WO2008126796A1 (en) * 2007-04-06 2008-10-23 International Business Machines Corporation Service program generation technology
WO2009001921A1 (en) * 2007-06-27 2008-12-31 Sprasia Inc. Moving image delivery system and moving image delivery method
JP2009053740A (en) * 2007-08-23 2009-03-12 Internatl Business Mach Corp <Ibm> System, method, and computer program for recording operation log
US7685260B2 (en) 2005-12-22 2010-03-23 International Business Machines Corporation Method for analyzing state transition in web page
JP2010123047A (en) * 2008-11-21 2010-06-03 Ntt Docomo Inc Information processor and screen data display method
JP2012008853A (en) * 2010-06-25 2012-01-12 Hitachi Ltd Operation reproduction method of web application and system
WO2012042559A1 (en) * 2010-09-28 2012-04-05 株式会社野村総合研究所 Operation verification device, operation verification method, and operation verification program
WO2012086217A1 (en) * 2010-12-24 2012-06-28 株式会社日立製作所 Operation log collection method and device
US8505025B2 (en) 2007-10-22 2013-08-06 Hitachi, Ltd. Method and apparatus for recording web application process
CN108595168A (en) * 2018-03-30 2018-09-28 武汉斗鱼网络科技有限公司 Automatically dotting method, apparatus, readable storage medium storing program for executing and equipment
CN113221042A (en) * 2021-05-31 2021-08-06 京东科技控股股份有限公司 Webpage operation process recording method and device, electronic equipment and computer readable medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0567150A (en) * 1991-09-06 1993-03-19 Fujitsu Ltd Presentation device accumulating and re-using operation history of user in hypermedium system
JPH05242166A (en) * 1992-02-28 1993-09-21 Fuji Xerox Co Ltd Multi-media data editing and display system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0567150A (en) * 1991-09-06 1993-03-19 Fujitsu Ltd Presentation device accumulating and re-using operation history of user in hypermedium system
JPH05242166A (en) * 1992-02-28 1993-09-21 Fuji Xerox Co Ltd Multi-media data editing and display system

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002023350A1 (en) * 2000-09-08 2002-03-21 Digital-Knowledge Co., Ltd Technique for superimposingly display additional information on display screen
US7246126B2 (en) 2001-01-19 2007-07-17 Matsushita Electric Industrial Co., Ltd. Communications system for retrieving instruction files from a server
JP2002330414A (en) * 2001-05-02 2002-11-15 Fkd Lab:Kk Internet advertisement method and device
JP2003044318A (en) * 2001-08-02 2003-02-14 Fujitsu Ltd Program and method for supporting test
JP2004171570A (en) * 2002-11-20 2004-06-17 O Jinko Virtual operation method for digital contents
JP2005165600A (en) * 2003-12-02 2005-06-23 Nec Corp Transaction processing system and method, and program
WO2005062619A1 (en) * 2003-12-18 2005-07-07 Matsushita Electric Industrial Co., Ltd. Content reproduction device
US8406615B2 (en) 2003-12-18 2013-03-26 Panasonic Corporation Content reproduction device
JP4684626B2 (en) * 2004-05-27 2011-05-18 シャープ株式会社 Information display device, information display method, information display program, and recording medium
JP2006011358A (en) * 2004-05-27 2006-01-12 Sharp Corp Apparatus, method, and program for displaying information, and recording medium
JP2008502038A (en) * 2004-06-03 2008-01-24 インターナショナル・ビジネス・マシーンズ・コーポレーション Save multiple browser instances as one selectable web project
US8244797B2 (en) 2004-06-23 2012-08-14 Nec Corporation Information supplementing device, system, method and program
WO2006001491A1 (en) * 2004-06-23 2006-01-05 Nec Corporation Information complementing device, system, method and program
JP4883407B2 (en) * 2004-06-23 2012-02-22 日本電気株式会社 Information complementing apparatus, system, method, and program
CN101006436B (en) * 2004-06-23 2011-04-06 日本电气株式会社 Information complementing device, system and method
JP2006048144A (en) * 2004-07-30 2006-02-16 Tenik Kk Autopilot device, client terminal and autopilot method
US7685260B2 (en) 2005-12-22 2010-03-23 International Business Machines Corporation Method for analyzing state transition in web page
JP2008015790A (en) * 2006-07-06 2008-01-24 Fujitsu Ltd File processor and file processing program
JP2008117093A (en) * 2006-11-02 2008-05-22 Hitachi Ltd User operation recording/reproducing method and device
JP2008234279A (en) * 2007-03-20 2008-10-02 Fujitsu Ltd Scenario preparing program and scenario preparing device
WO2008126796A1 (en) * 2007-04-06 2008-10-23 International Business Machines Corporation Service program generation technology
JP5089684B2 (en) * 2007-04-06 2012-12-05 インターナショナル・ビジネス・マシーンズ・コーポレーション Technology for generating service programs
JP2009010654A (en) * 2007-06-27 2009-01-15 Sprasia Inc System and method for distributing moving picture
WO2009001921A1 (en) * 2007-06-27 2008-12-31 Sprasia Inc. Moving image delivery system and moving image delivery method
JP2009053740A (en) * 2007-08-23 2009-03-12 Internatl Business Mach Corp <Ibm> System, method, and computer program for recording operation log
US8554740B2 (en) 2007-08-23 2013-10-08 International Business Machines Corporation Recording a log of operations
US8505025B2 (en) 2007-10-22 2013-08-06 Hitachi, Ltd. Method and apparatus for recording web application process
JP2010123047A (en) * 2008-11-21 2010-06-03 Ntt Docomo Inc Information processor and screen data display method
JP2012008853A (en) * 2010-06-25 2012-01-12 Hitachi Ltd Operation reproduction method of web application and system
CN102597965A (en) * 2010-09-28 2012-07-18 株式会社野村综合研究所 Operation verification device, operation verification method, and operation verification program
WO2012042559A1 (en) * 2010-09-28 2012-04-05 株式会社野村総合研究所 Operation verification device, operation verification method, and operation verification program
JP5379911B2 (en) * 2010-09-28 2013-12-25 株式会社野村総合研究所 Operation verification apparatus, operation verification method, and operation verification program
CN102597965B (en) * 2010-09-28 2015-04-01 株式会社野村综合研究所 Operation verification device, operation verification method
WO2012086217A1 (en) * 2010-12-24 2012-06-28 株式会社日立製作所 Operation log collection method and device
CN108595168A (en) * 2018-03-30 2018-09-28 武汉斗鱼网络科技有限公司 Automatically dotting method, apparatus, readable storage medium storing program for executing and equipment
CN113221042A (en) * 2021-05-31 2021-08-06 京东科技控股股份有限公司 Webpage operation process recording method and device, electronic equipment and computer readable medium
CN113221042B (en) * 2021-05-31 2024-05-17 京东科技控股股份有限公司 Webpage operation process recording method and device, electronic equipment and computer readable medium

Also Published As

Publication number Publication date
JP3083805B2 (en) 2000-09-04

Similar Documents

Publication Publication Date Title
JP3083805B2 (en) Browser operation automatic execution system and method
US9135228B2 (en) Presentation of document history in a web browsing application
US8566301B2 (en) Document revisions in a collaborative computing environment
RU2533451C2 (en) Synchronising presentation states between multiple applications
US7725812B1 (en) Authoring system for combining temporal and nontemporal digital media
US5537529A (en) Apparatus and method for creating versions of computer models and creating communications incorporating created versions therefrom
JP3943635B2 (en) Method for controlling session playback points in a computer controlled display system
JP3444471B2 (en) Form creation method and apparatus readable storage medium for causing digital processing device to execute form creation method
US20010023450A1 (en) Authoring apparatus and method for creating multimedia file
US20080235588A1 (en) Media player playlist creation and editing within a browser interpretable document
EP1528466A2 (en) Controlling a presentation of digital content
JP2000222324A (en) Web page customization system
JP2003530726A (en) Convergence enable DVD and web system
JPH09179710A (en) Computer controlled display system
US7437673B2 (en) System and method for using a standard composition environment as the composition space for video image editing
JP2007328510A (en) Content conversion device, content display device, content browsing device, content conversion method, content browsing method and program
US7502808B2 (en) Synchronized multimedia integration language extensions
US10269388B2 (en) Clip-specific asset configuration
JP2002208022A (en) Display control method, information display device and medium
JP2000250902A (en) Computer readable recording medium recording contents production tool
KR0175060B1 (en) How to edit a multimedia document and author a presentation
JP2003099447A (en) Document data structure, storage medium and information processor
JP2000347778A (en) Multimedia contents editor
JPH11296274A (en) Automatic display of music data in home page and its control method
KR100577611B1 (en) The method of composing for multimedia

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees