JP4574113B2 - Device for creating file for displaying additional information superimposed on display screen and magnetic recording medium - Google Patents
Device for creating file for displaying additional information superimposed on display screen and magnetic recording medium Download PDFInfo
- Publication number
- JP4574113B2 JP4574113B2 JP2002527932A JP2002527932A JP4574113B2 JP 4574113 B2 JP4574113 B2 JP 4574113B2 JP 2002527932 A JP2002527932 A JP 2002527932A JP 2002527932 A JP2002527932 A JP 2002527932A JP 4574113 B2 JP4574113 B2 JP 4574113B2
- Authority
- JP
- Japan
- Prior art keywords
- file
- information
- audio
- recording
- button
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
技術分野
本発明は、様々なオブジェクトや音声・動画等の付加情報を表示画面に重畳表示する技術に属し、例えば、インターネットのホームページのコンテンツの表現力を向上させる技術に関する。
背景技術
インターネットの発展により、パーソナルコンピュータが急速に普及した。そして、老若男女を問わず非常に多くの人が、主に、電子メールを送受信したりホームページを閲覧するために利用している。そして、昨今、インターネットの新しい利用法（ビジネスモデル）が次々と誕生しており、無限の可能性を秘めていることから、インターネットは第二の産業革命といわれている。
ところで、そのような新しい利用法が次々と登場する中、既存のファイル、特にインターネットでやりとりをする文書ファイル（典型的にはＨＴＭＬ形式のファイル）は、余りに味気なく面白味に欠ける。他方、何らかのオブジェクトや音声等を載せた文書ファイルもあるが、その作成が素人には難しく、一般的には余り行われていないのが現状である。このような状況下、ファイルに様々な付加情報を簡単に組み込む技術が存在すれば極めて有意義であり、インターネットの利用が益々盛んになることに疑いない。例えば、ホームページを閲覧しているときに、重要な部分や疑問のある部分等に、丸を付けたり音声を入力することができたら便利であろう。また、既存の静止画像のみのホームページに、描画や音声を簡単に組込むことができたら、より魅力的なホームページになるであろう。また、パーソナルコンピュータの操作に不慣れなユーザにとり、例えば、指などのキャラクタの移動に従い、記載内容を音声で説明してくれるホームページがあれば、非常に分かりやすく、親しみが湧くはずである。
しかし、従来のグラフィックツールを用いて、ホームページにこのような書き込みを行ったファイルをサーバに転送する場合、例えばファイル形式が文書ファイルであったときには、文書ファイルの画像上に描画した後、画像ファイルの形式で保存されるので、元の文書ファイル形式に戻すことはできないという問題がある。
本発明は、極めて簡単に、様々なオブジェクトや音声・動画等の付加情報を表示画面に重畳する技術を提供することを目的としている。
発明の開示
本発明は、第１のファイルを呼び出し、その画像を第１の画面上に表示するステップと；音声又は動画を入力しながら、上記第１の画面上に仮想的に存在する第２の画面内で、付加されるべき画像オブジェクトを移動又は配置するステップと；上記画像オブジェクトの第２の画面における位置情報を時間と関連づけて得るステップと；入力された音声情報又は動画情報に基づき、音声ファイル又は動画ファイルを作成するステップと；上記画像オブジェクトを特定する情報と上記位置情報と上記時間情報に基づき、オブジェクト情報ファイルを作成するステップと；第１のファイルを、上記音声ファイル又は上記動画ファイル及び上記オブジェクト情報ファイルと関連づけるステップと；第１のファイルを第１の画面で表示させつつ、入力された音声又は動画とリンクして、第２の画面内で上記画像オブジェクトを経時的に移動又は配置して表示するステップとを含む、表示画面に付加情報を重畳表示する方法に関する（１）。
また、本発明は、第１のファイルを呼び出し、その画像を第１の画面上に表示するステップと；上記第１の画面上に仮想的に存在する第２の画面内で、付加されるべき画像オブジェクトを移動又は配置するステップと；上記画像オブジェクトの上記第２の画面上における位置の情報を得るステップと；上記画像オブジェクトを特定する情報と上記位置情報に基づき、オブジェクト情報ファイルを作成するステップと；第１のファイルを、上記オブジェクト情報ファイルと関連づけるステップと；第１のファイルを第１の画面で表示させつつ、第２の画面内で上記画像オブジェクトを表示するステップとを含む、表示画面に付加情報を重畳表示する方法に関する（２）。
更に、本発明は、第１のファイルを呼び出し、その画像を第１の画面上に表示するステップと；上記第１の画面上に仮想的に存在する上記第２の画面の所定の位置に、音声ファイル又は動画ファイルとリンクした、付加されるべき画像オブジェクトを表示するステップと；上記画像オブジェクトの第２の画面における位置情報を得るステップと；上記音声ファイル又は動画ファイルの出力順序を特定するステップと；特定された出力順序に従い、上記音声ファイル又は動画ファイルを出力しつつ、上記音声ファイル又は動画ファイルとリンクした上記画像オブジェクトを第２の画面内で表示するステップとを含む、表示画面に付加情報を重畳表示する方法に関する（３）。
また、本発明は、第１のファイルにはいかなるリンク情報も付加しない、前記方法（１）ないし（３）に関する（４）。
更に、本発明は、音声又は動画を入力しながら、第１の画面の画面上に仮想的に存在する第２の画面内で、画像オブジェクトを上記第２の画面内で移動又は配置するステップと；上記画像オブジェクトの第２の画面における位置情報を時間と関連づけて得るステップと；入力された音声又は動画に基づき、音声ファイル又は動画ファイルを作成するステップと；上記画像オブジェクトを特定する情報と上記位置情報と上記時間情報とを関連づけて、オブジェクト情報ファイルを作成するステップと；上記第１の画面の上記画面表示にかかるファイルを、上記音声ファイル又は上記動画ファイル及び上記オブジェクト情報ファイルと関連づけるステップとを含む、表示画面に付加情報を重畳表示するソースファイルの作成方法に関する（５）。
また、本発明は、第１の画面の画面上に仮想的に存在する第２の画面内で、付加されるべき画像オブジェクトを上記第２の画面内で移動又は配置するステップと；上記画像オブジェクトの上記第２の画面上における上記位置の情報を得るステップと；上記画像オブジェクトを特定する情報と上記位置情報に基づき、オブジェクト情報ファイルを作成するステップと；上記第１の画面の上記画面表示にかかるファイルを上記オブジェクト情報ファイルと関連づけるステップとを含む、表示画面に付加情報を重畳表示するソースファイルの作成方法に関する（６）。
更に、本発明は、第１の画面上に仮想的に存在する上記第２の画面の所定の位置に、音声ファイル又は動画ファイルとリンクした、付加されるべき画像オブジェクトを表示するステップと；上記画像オブジェクトの第２の画面における位置情報を得るステップと；上記音声ファイル又は動画ファイルの出力順序を特定するステップを含む、表示画面に付加情報を重畳表示するソースファイルの作成方法に関する（７）。
また、本発明は、第１の画面にかかるファイルにはいかなるリンク情報も付加しない、前記方法（５）ないし（７）に関する（８）。
更に、本発明は、前記方法（１）ないし（８）に規定されたステップを実行するプログラムを格納する、磁気記録媒体に関する（９）。
また、本発明は、前記媒体（９）に規定された磁気記録媒体を有する、コンピュータシステムに関する（１０）。
まず、上記及び請求の範囲で用いられる用語につき説明する。「第１のファイル」とは、付加情報が組み込まれるファイル（被処理ファイル）をいう。ファイルの種類は特に限定されず、文書ファイル、表計算ファイル、音声ファイル、画像ファイル、動画ファイルが挙げられる。また、その形式も特に限定されず、文書ファイルであれば、ＨＴＭＬ形式のファイルが例示される。「動画」とは、音声のない動画のみならず、音声のある動画を含む。「仮想的に存在する第２の画面」とは、第１の画面と独立した画面であり、第１の画面上に存在する、透明（第２の画面から第１の画面が透けて見える限り、半透明や有色透明を含む）な仮想画面をいう。「音声ファイル」や「動画ファイル」は、特に限定されず、様々な形式のものを含む。「画像オブジェクト」とは、第１のファイルに付加される画像情報をいう。例えば、静止画像（可動画像）の移動情報、描画情報、テロップ、固定画像等が挙げられる。「音声又は動画を入力しながら」とは、画像オブジェクトの入力の際、音声の録音や動画の録画を行なうことの他、画像オブジェクトの入力の際、既存の音声ファイルや動画ファイルを再生することを含む。「オブジェクト情報ファイル」とは、画像オブジェクトを被処理ファイル画像上に指示通りに表示させるために必要な情報が盛り込まれているファイルをいう。一般的にデータファイルといわれている。「第１のファイルを、上記音声ファイル又は上記動画ファイル及び上記オブジェクト情報ファイルと関連づける」とは、第１のファイルにリンク情報を書き込むことの他、第１のファイルリンク情報を書き込まず、例えば、オブジェクト情報ファイルのＵＲＬと、音声ファイルや動画ファイルのＵＲＬと、被処理ファイルのＵＲＬとを関連づけたデータをデータベースに記録することも含む。「上記音声ファイル又は動画ファイルの出力順序を特定する」とは、音声ファイル又は動画ファイルの出力順序を特定する他、音声ファイル又は動画ファイルとリンクした画像オブジェクトの出力順序を特定することにより、間接的に音声ファイル又は動画ファイルの出力順序を特定することも含む。なお、特定された表示順序に従い、貼付されたパーツ（オブジェクト情報ファイルと画像又は動画ファイルとのセット）を統合することの他、パーツを統合させないで、各パーツの表示順序が記録された管理ファイルが好適には作成される。
発明を実施するための最良の形態
本発明をより詳細に説述するために、添付の図面に従ってこれを説明する。なお、以下では、被処理ファイルとしてＨＴＭＬファイルを用いるが、本発明はこれに限定されるものではない。
図１は、本発明に係る一実施形態のシステム構成図である。図１中、符号１はインターネットであり、符号２はユーザ（操作者）端末（例えば、パーソナルコンピュータ）であり、符号３はサーバである。そして、ユーザ端末及びサーバは、通信回線を介してインターネットに接続している。
図２は、本発明に係る一実施形態のハードウエア構成図であり、基本的には市販のパーソナルコンピュータと同じである。但し、外部の音声を録音するための音声録音部、外部の動画を録画するための動画録画部が設けられている。なお、本図では、被処理ファイル（ＨＴＭＬファイル）及び音声（動画）ファイルは外部にあり、オブジェクト情報やプログラムはローカルにあるものが示されている。但し、本質的には、被処理ファイル、音声（動画）ファイル、オブジェクト情報及びプログラムの所在は、特に限定されるものではない。
本発明は、第一の態様、第二の態様及び第三の態様に大別される。したがって、以下では、それぞれの態様に分けて説明する。
１．第一の態様
本発明の第一の態様は、音声や動画情報とオブジェクト情報とが組み込まれた被処理ファイルを簡単に作成する技術である。作成方式としては、既存の音声ファイルや動画ファイルを用いつつ、オブジェクト情報を入力する方式（以下、方式▲１▼という）、及び、音声や動画を入力しつつ、オブジェクト情報を入力する方式（以下、方式▲２▼という）の二通りある。以下では、第一の態様に係るシステムおける、各機能、操作手順及び内部処理につき説明する。
（ａ）各機能の説明
システムを起動させ、被処理ＨＴＭＬファイルの特定と、方式▲１▼又は▲２▼のいずれにより作成するかの決定を行なった後、オブジェクト情報入力可能状態になる（なお、図１４及び図１５が上記特定及び決定に関連した図であるが、これらの図は、方式▲１▼のみを想定したものであるので、方式▲２▼の場合には、別のパネルが表示されることになる）。その際、画面上に操作パネルが表示される（図１６参照）。操作パネル１０上には、各種入力制御機能（録画ボタン１９、再生ボタン２０、一時停止ボタン２１、停止ボタン２２、削除ボタン等）、各種時間制御機能（時間を制御するためのスライドバー１８、再生速度変更機能２３等）、オブジェクト選択機能（可動な画像の一覧１２、描画可能な基本的な図形の一覧１３、テロップ入力１４、固定画像一覧１５等）、結果物作成支援機能（保存ファイルの保存、プレビュー、再生ボタン配置等）が設けられている。この操作パネルは、常に画面上に表示されている為、入力中の様々なタイミングでこれらの機能を使用することができる。以下、上記各種機能につき説明する。
★各種入力制御機能（図１６参照）
＊録画ボタン１９：このボタンを押すと、方式▲１▼（既存の音声ファイルや動画ファイルを用いる方式）の場合には再生が始まり、方式▲２▼（音声や動画を入力する方式）の場合には録音や録画が始まり、このボタンを押した後に指示されたオブジェクト情報の記録を開始する。
＊再生ボタン２０：このボタンを押すと、記録部より入力済みのオブジェクト情報を読込み、その内容に従い音声又は動画に合わせてオブジェクトを配置、動作させる。
＊一時停止ボタン２１：このボタンを押すと、オブジェクト情報の記録、音声や動画の記録・再生が一時停止する。このボタンはトグルボタンになっており、一度押すと再度押されるまで再開しない。なお、本システムにおいては、一時停止の方法が他に二つある。一つ目は、マウスのキャンセルボタン（右ボタン）を押す方法である。二つ目は、マウスカーソルの位置によって自動的に一時停止・再開させる方法である。例えば、マウスカーソルが被処理ＨＴＭＬファイル画面の表示領域外（ここで、操作パネル上も被処理ＨＴＭＬファイル画面の表示領域外とする）にある場合、音声や動画の記録・再生を一時停止し、被処理ＨＴＭＬファイルの表示領域内にあるときは、音声や動画の記録・再生の一時停止を解除し、記録・再生を再開する。
＊停止ボタン２２：このボタンを押すと、音声や動画の記録・再生を停止し、オブジェクト情報の記録を停止する。なお、方式▲１▼（既存の音声ファイルや動画ファイルを用いる方式）の場合、このボタンを押さなくとも、既存ファイルの再生が終了すると自動的に停止する。
＊削除ボタン（２２の右のボタン）：このボタンを押すと、入力したオブジェクト情報（一時記憶領域に保存されている）が消去される。
★各種時間制御機能（図１６参照）
＊スライドバー１８：これは、操作パネルの時間制御機能の一つで、既存の音声や動画の再生ツールと同じように、ファイルの再生時間を直線で表し、両端が再生開始位置と終了位置であり、現在の再生位置がどのあたりかがつまみで表されている。このつまみをドラッグして変更することにより、入力する時間の位置が変更される。例えば、入力中にオブジェクト情報を挿入する必要のない時間帯がある場合には、不必要な時間帯を飛ばす；入力のタイミングが合わなかった場合に少し時間を戻す；ある時間帯に複数のオブジェクト情報を挿入したい場合に、あるオブジェクト情報を記録した後、再びその時間帯に戻し、別のオブジェクト情報を記録させる、といった使用例が挙げられる。
＊速度変更機能２３：これは、方式▲１▼（既存の音声ファイルや動画ファイルを用いる方式）の場合、これらファイルの再生速度を変更したいときに用いる。例えば、音声ファイルの再生速度を遅く設定することにより時間軸が伸びる結果、余裕を持って入力が可能となり、落ち着いてオブジェクト情報を入力することが可能となる。
★オブジェクト選択機能（図１７〜図２０参照）
＊可動な画像の一覧１２：システムに登録されている「可動な画像」の画像データの一覧が表示されている（図１７の符号２５）。操作者は、この中から使用したい可動な画像を選択する。なお、操作者が、新規な「可動な画像」の画像データをシステムに追加した場合には一覧に追加される。可動な画像の動きは軌跡が残らない為、説明している部分を指したり、動きを表現したい場合に有効である。
＊描画可能な基本的な図形の一覧１３：描画可能な基本的な図形として、自由線、直線、四角形などが登録されている（図１８の符号２６）。この描画図形は軌跡が残るため、強調したい部分にマーカーをいれるときや、お絵かきソフトのように被処理ＨＴＭＬファイル画面上に自由に書き込み・描き込みを行うとき等に有効である。
＊テロップ１４：これを選択すると、操作パネル上の所定部分（符号２７）に文字列を入力することが可能となり、入力された文字列は、被処理ＨＴＭＬファイル画面の指定の場所に貼り付けられる（図１９参照）。補足説明等に利用できる。
＊固定画像１５：システムに記録されている固定画像を選択することにより、シールのように画像内に貼り付けることができる（図２０参照）。
★結果物作成支援機能
＊保存ボタン：このボタンを押すことにより、入力したオブジェクト情報を反映したオブジェクト情報ファイル（データファイル）が作成される。また、同時録音・録画の場合には、それぞれ音声ファイル・動画ファイルが作成される。また、被処理ＨＴＭＬファイルと、オブジェクト情報ファイルと、音声ファイル又は動画ファイルとをリンクさせる作業が行なわれる。
＊再生ボタン配置ボタン：このボタンを押すことにより、ボタン配置ウィンドゥを表示させる。ボタン配置ウインドゥには、複数のボタン候補が一覧になっており、操作者は、この中から好みのボタンを選択し、被処理ＨＴＭＬファイル画像内の希望の場所に配置する。ここで配置した再生ボタンを押すことにより、入力した内容に従って動作させる事ができる。
★オブジェクト情報の入力方法
オブジェクト情報は、記録時（一時停止や停止状態でない場合）、マウスの決定ボタン（左ボタン）が押されている間のみ記録される。なお、オブジェクト情報は、マウスカーソルの位置にあわせて表示される。
★オブジェクト情報の入力可能範囲
被処理ＨＴＭＬファイル画面の左上を基点（０，０）として、正の方向への制限はない（すなわち、右方向、下方向に制限はない）のに対し、上・左方向の負の方向へは制限が設けられており、負の方向への移動は不可能になっている（オブジェクトはそこで止まってしまう）。
（ｂ）操作手順の説明
まず、操作者は、本システムを起動させる。次に、起動後、入力方法選択ウインドウが表示されるので、「既存ファイルを使用し、新しく指示を入力」（方式▲１▼）、「同時入力で、新しく指示を入力」（方式▲２▼）、「既存のファイルに指示を追加」、「ｗｅｂ公開用のＨＴＭＬを作成」のいずれかを選択する（なお、図１４では、方式▲１▼のみの入力を前提としているので、上記の入力方法選択ウインドウとは異なっている）。以下では方式▲１▼又は▲２▼を選択した場合につき詳細に説明し、その他の「既存のファイルに指示を追加」及び「ｗｅｂ公開用のＨＴＭＬを作成」を選択した場合（図１４参照）については、本項の最後で簡単に触れることとする。
方式▲１▼又は▲２▼のいずれを選択した場合でも、被処理ＨＴＭＬファイルのパス・ファイル名を入力する（図１５参照）。または、入力の代わりに、表示されたファイル選択ウインドゥよりファイルを選択してもよい。なお、入力（選択）するＨＴＭＬファイルは、ローカルのコンピュータ上でもインターネット上でもどちらでもよい。また、別の方式として、被処理ＨＴＭＬファイルに本システムを読み込むための指定がされている場合には、被処理ＨＴＭＬファイルを読み込んだ後、本システムは自動的に起動する。（なお、この場合は、予め本システムを呼び出すための行を追加した被処理ＨＴＭＬファイルを作成しておく必要がある）。但し、以下では、エンジン部分のアドレスが指定されていないＨＴＭＬファイルを使用するものとして説明する。
そして、方式▲１▼では、使用する音声ファイル名又は動画ファイル名を入力（または選択）する（なお、図１５では音声ファイルのみを前提としている）。方式▲２▼では、作成される音声ファイルや動画ファイルの名称、作成先のパス、ファイル形式（音声や動画保存形式の細かい設定を含む）を入力する。その後、完了ボタンを押す。
完了ボタンを押した後、画面内に、被処理ＨＴＭＬファイル画像５と操作パネル１０が表示される（図１６参照）。初期表示時、入力されるオブジェクトはデフォルトの設定になっている（符号９で示されるように、画像オブジェクトとして、可動な画像の「指」が選択されている）が、初期設定されているオブジェクトと異なったオブジェクトを入力したい場合には、操作パネル１０より希望のオブジェクトを選択する。
次に、録画ボタン１９を押すことにより、オブジェクト情報の入力を開始する（図２２）。方式▲１▼の場合は、指定した音声又は動画ファイルが再生されるので、この再生された音声や動画に合わせて、マウスを用いて、オブジェクトを表示させたり移動させたりする。例えば、図２２の場合、可動な画像３０を、符号３１で示された方向に移動させる。なお、この方式の場合、既存ファイルの再生が終了すると自動的に停止するので、操作者は終了前に入力を完了させる必要がある。また、方式▲２▼の場合は、録音や録画をしながら、マウスを用いて、オブジェクトを表示させたり移動させたりする。同時入力の場合は、記録部（例えば、補助記憶装置）の容量が許す限り入力が可能である。なお、いずれの方式の場合も、前記のように三通りの一時停止手段があるので、これらを使い分けることにより、落ち着いて入力することができる。
オブジェクト情報の入力が終了したら、操作者は、停止ボタン２２を押す。但し、方式▲１▼の場合は、再生後自動的に停止する（すなわち、スライドバー１８が右端に到達した時）ので、この場合は必ずしも停止ボタン２２を押す必要はない。
次に、操作者は、被処理ＨＴＭＬファイル画面上に、再生時の再生ボタンを配置する。
最後に、保存ボタンを押し、ブラウザを閉じることにより、本操作は終了する。
（ｃ）内部処理の説明
次に、内部処理につき、図３〜図７のフローチャートに従い説明する。
まず、本システム起動後、方式▲１▼又は▲２▼のいずれによりオブジェクト情報を入力するのかの選択指示を出す（ステップ２０２）。
次に、操作者が方式▲１▼を選択した場合（既存の音声ファイル又は動画ファイルを使用する場合）には、ファイル選択ウインドゥ（図１５の符号４）を表示し、被処理ＨＴＭＬファイルのパス・ファイル名と、使用する音声ファイルまたは動画ファイルのパス・ファイル名の入力（選択）指示を出す（ステップ２０４）。また、操作者が方式▲２▼を選択した場合（同時に音声又は動画を入力することを選択した場合）には、被処理ＨＴＭＬファイルのパス・ファイル名と、これから作成される音声ファイルまたは動画ファイルを保存するためのパス・ファイル名・保存形式の入力（選択）指示を出す（ステップ２０７）。
これらのファイルにつき、操作者によりパス・ファイル名等が入力（選択）された後、方式▲１▼の場合は、入力された音声ファイルまたは動画ファイルのパス・ファイル名を音声再生部または動画再生部へ送り、音声再生部または動画再生部は指定されたファイルを読み込む（ステップ２０５）。また、方式▲２▼の場合は、作成される音声ファイルまたは動画ファイルに関し、音声録音部または動画録画部へパス・ファイル名・保存形式を送り、音声録音部または動画録画部は、送られた情報を基に音声ファイルまたは動画ファイル作成の準備をする（ステップ２０８）。
次に、方式▲１▼及び▲２▼のいずれにおいても、入力された被処理ＨＴＭＬファイルを操作者が使用しているブラウザで読み込み表示する（ステップ２０９、図１６参照）。そして、被処理ＨＴＭＬファイル画像５上に操作パネル１０及びプレビューウインドゥを表示する（ステップ２１０）。
操作パネル１０表示後、デフォルトのオブジェクトの識別番号を記録部に送る（ステップ２１１）。なお、図１６の場合、デフォルトとして、可動な画像の「指」が選択されているので、その識別番号を記録部に送る。また、操作者が変更した場合、その変更後のオブジェクトの識別番号を記録部へ送り（ステップ２２０）、その識別番号に対応したオブジェクトを読み込む（ステップ２２１）。この段階で内部での準備が完了し、操作者の指示を待つ。
録画ボタン１９が押されると、ステップ２３２において、方式▲１▼の場合（既存ファイル使用の場合）は、音声再生部は音声再生を開始し（音声ファイルの使用を選択した場合）、動画再生部は動画のプレビューウインドウを開き動画再生を開始する（動画ファイルの使用を選択した場合）。また、方式▲２▼の場合は、ステップ２３３において、音声録音部は録音を開始し（音声を同時録音する場合）、動画録画部は録画を開始する（動画を同時録画する場合）。
再生や録音（録画）と同時に、ポインティングデバイス検出部は、マウスカーソルの位置情報の検出を開始する（ステップ２３４）。以後、マウスカーソルの位置を常に監視する。そして、マウスカーソルがＨＴＭＬファイル画像５の表示領域外（ここで、操作パネル１０上もＨＴＭＬファイル画像の表示領域外である）にあるとき、音声・動画の記録・再生を一時停止する（ステップ２３６）。また、ＨＴＭＬファイル画像５の表示領域内にマウスカーソルが移動したときには、音声・動画の記録・再生の一時停止を解除し、記録・再生を再開する（ステップ２３８）。なお、操作者によりマウスのキャンセルボタン（右ボタン）が押された場合も、音声・動画の記録・再生を一時停止する（ステップ２４３）。そして、再度一時停止が押されたとき、一時停止を解除し、記録・再生を再開する（ステップ２４５）。
そして、録画ボタン１９が押された後停止ボタン２２が押されるまでの間、一時停止状態である場合を除き、マウスの決定ボタン（左ボタン）が押されている場合には、現在選択されているオブジェクトをマウスカーソルの位置に表示する（ステップ２４７）。また、オブジェクトの表示と共に、音声再生部又は動画再生部（方式▲１▼の場合）或いは音声録音部又は動画録画部（方式▲２▼の場合）よりサンプリング周期ごとに一定間隔で現在時刻を取得（具体的には、再生・記録の０秒からの時間軸上のどの位置にいるかで現在の時刻を取得）し、時間情報として記録部へ送ると同時に、現在のマウスカーソルの位置情報を取得（具体的には、被処理ＨＴＭＬファイルの左上を基点としてＸ及びＹ座標を取得し、Ｘ又はＹ座標の値が負になる場合には切り捨てられ０で記録し、他方、正の方向への制限はなくその値を記録する）して記録部へ送る（ステップ２４９）。そして、マウスの決定ボタン（左ボタン）が押され続けている限り、上記の現在時刻及び位置情報の取得を繰り返す。
その後、操作者により停止ボタン２２が押される（ステップ２５０）と、方式▲１▼の場合は音声再生部又は動画再生部は再生を停止し、方式▲２▼の場合は音声録音部又は動画録画部の記録を停止する（ステップ２５１）。また、方式▲１▼の場合は、音声や動画の再生が終了すると、停止ボタン２２が押されていなくとも停止処理を行なう（ステップ２４１）。そして、ポインティングデバイス検出部は、マウスカーソルの位置情報の検出と監視を停止する（ステップ２５２）。停止を解除すると操作者の命令待ちの状態となる。
次に、再生ボタン配置ボタンが操作者によって押される（ステップ２２６）と、ボタン配置ウィンドウを表示し（ステップ２２７）、操作者により再生ボタンの種類や位置が決定された後（ステップ２２８）、オブジェクトの場合と同様に、再生ボタンの種類（識別番号）と位置情報を記録部へ送る（ステップ２２９）。
その後、保存ボタンが押されると（ステップ２２４）、方式▲１▼の場合は、動画録画部が記録した動画（同時録画の場合）または音声録音部が録音した音声（同時録音の場合）につき、ステップ２０８、ステップ２３３、ステップ２３８及びステップ２４５で受け取った情報を基にして、それぞれ動画ファイル又は音声ファイルを作成する。また、ステップ２１２、ステップ２２０、ステップ２２９及びステップ２４９において記録部に書き込まれた情報を基にして、オブジェクト情報ファイル（例えば、ＪＳファイルの形式）を作成する（ステップ２５５）。オブジェクト情報ファイルには、使用された音声ファイル又は動画ファイルのパス及びファイル名（方式▲１▼の場合）或いは作成された音声ファイル又は動画ファイルのパス及びファイル名（方式▲２▼の場合）；入力されたオブジェクトに関する情報｛例えば、オブジェクトの識別番号、オブジェクトに必要な情報（例えば、描画オブジェクトの場合は線の太さや色、テロップの場合はテロップで表示するテキストの内容）、時間軸と対応させた位置情報｝；再生ボタンの識別番号及び位置情報、等を書き込む。このように、入力されたオブジェクトの数だけ、オブジェクト単位でオブジェクト情報ファイルに情報を追加していくため、オブジェクト同士は独立している。なお、ひとつの時間軸（音声ファイル又は動画ファイル）につき作成されるオブジェクト情報ファイル、配置する再生ボタンはひとつである。
次に、被処理ＨＴＭＬファイルに修正を加える。修正内容は、被処理ＨＴＭＬファイルと作成したオブジェクト情報ファイルとをリンクさせる情報（例えば、オブジェクト情報ファイルのパス及びファイル名）と、オブジェクト情報ファイルを読み込むためのエンジン（駆動部分）の場所を特定する情報（例えば、エンジンのパス及びファイル名）の書き込みである（ステップ２６０）。なお、この修正は、被処理ＨＴＭＬファイルのソースに数行追加するのみなので、動作入力後に被処理ＨＴＭＬファイルを修正することも可能である。但し、被処理ＨＴＭＬファイル作成ソフトによっては、本システムで追加した内容を無効にするものもあるため、ソースレベルでの修正が望ましい。なお、被処理ＨＴＭＬファイルを修正しない方式も可能であり（ステップ２５９）、これについての詳細は第二の態様の項目で述べる。更に、時間軸として動画を使用しているか否か判断し（ステップ２５６）、使用している場合は、被処理ＨＴＭＬファイルを修正し、被処理ＨＴＭＬファイル画像を画面に表示させたときに、被処理ＨＴＭＬファイル画像の横の部分に、動画を閲覧できるように配置する（ステップ２５７）。
なお、このステップ２０１からステップ２５７の作業を繰り返しひとつの被処理ＨＴＭＬファイルに対して行うことにより複数の時間軸（音声ファイル又は動画ファイル）を割当てることができるが、この場合はオブジェクト情報ファイル、配置する再生ボタンも複数となる。
ブラウザを閉じる指示入力後、操作パネル１０を閉じ（ステップ２６１）、本プログラムを終了する。
（ｄ）「既存のファイルに指示を追加」及び「ｗｅｂ公開用のＨＴＭＬを作成」に関する説明
最後に、入力方法選択ウインドゥ中の他の選択項目である、「既存のファイルに指示を追加」及び「ｗｅｂ公開用のＨＴＭＬを作成」つき説明する。
★「既存のファイルに指示を追加」
この項目は、本システムにより既にオブジェクト情報が組み込まれた被処理ＨＴＭＬファイルに追加で指示を入力する際に選択する。操作方法は、ファイル選択ウインドウから「既存のファイルに指示を追加」の項目を選択し、次いで、追加入力を行う被処理ＨＴＭＬファイルを選択する。但し、時間軸となる音声ファイルや動画ファイルは既に被処理ＨＴＭＬファイルとリンクしているため、選択する必要はなく、また、同時入力も必要ない。被処理ＨＴＭＬファイルを選択し、そのファイルを読込んだ後、リンクしているオブジェクト情報ファイルを読込み（記録部へ送る）、音声ファイル名や動画ファイル名を音声再生部や動画再生部へ送る。その後ステップ２０９に進み、以降は方式▲１▼の場合と同じである。
★「ｗｅｂ公開用のＨＴＭＬファイルを作成」
通常、被処理ＨＴＭＬファイルに追加されるエンジン部分のファイルの位置指定はＵＲＬで記述される。通常は使用しているローカルマシンのパスが指定されている。そこで、「ｗｅｂ公開用のＨＴＭＬファイルを作成」の項目を選択し、エンジン部分のアドレスをインターネット上のＵＲＬを指定することにより、作成した被処理ＨＴＭＬファイルをｗｅｂ上で使用することができるようになる。なお、以下の第二の態様で用いられるＨＴＭＬファイル（予めエンジンのＵＲＬ指定がなされているもの）も、この項目を選択することにより作成される。
２．第二の態様
本発明の第二の態様は、第一の態様の時間軸をなくしたものである。すなわち、音声ファイルや動画ファイルの使用や作成をせず、オブジェクト情報の書き込みと被処理ファイルとのリンクを行うというものである。以下では、まず、第二の態様に係るシステムにおける、各機能、操作手順及び内部処理につき説明する。
（ａ）各機能の説明
システムを起動させ、被処理ＨＴＭＬファイルの特定を行なった後、オブジェクト情報入力可能状態になる。その際、画面上に操作パネルが表示される。操作パネル上には、各種入力制御機能（削除ボタン等）、オブジェクト選択機能（静止画像、描画可能な基本的な図形の一覧、テロップ入力、動画像等）、結果物作成支援機能（保存ファイルの保存、プレビュー、再生ボタン配置等）が設けられている。以下、上記各種機能につき説明する。
★各種入力制御機能
＊削除ボタン：このボタンを押すと、入力したオブジェクト情報（一時記憶領域に保存されている）が消去される。
＊表示・非表示切替ボタン：被処理ＨＴＭＬファイル画像上に配置したオブジェクトの表示・非表示の切替えを行なう。
★オブジェクト選択機能
＊静止画像の一覧：システムに登録されている「静止画像」の画像データの一覧が表示されている。操作者は、この中から使用したい静止画像を選択する。なお、操作者が、新規な「静止画像」の画像データをシステムに追加した場合には一覧に追加される。操作者は、静止画像を被処理ＨＴＭＬファイル画像にシールのように貼り付ける。
＊描画可能な基本的な図形の一覧：描画可能な基本的な図形として、自由線、直線、四角形などが登録されている。この描画図形は軌跡が残るため、強調したい部分にマーカーをいれるときや、お絵かきソフトのように被処理ＨＴＭＬファイル画面上に自由に書き込み・描き込みを行うとき等に有効である。
＊テロップ：これを選択すると、操作パネル上の所定部分に文字列を入力することが可能となり、入力された文字列は、被処理ＨＴＭＬファイル画面の指定の場所に貼り付けられる。補足説明等に利用できる。
＊動画像：システムに記録されている動画像を選択することにより、シールのように画像内に貼り付けることができる。
★結果物作成支援機能
＊保存ボタン：このボタンを押すことにより、入力したオブジェクト情報を反映したオブジェクト情報ファイル（データファイル）が作成される。また、被処理ＨＴＭＬファイルとオブジェクト情報ファイルとをリンクさせる作業が行なわれる。
＊再生ボタン配置ボタン：このボタンを押すことにより、ボタン配置ウィンドゥを表示させる。ボタン配置ウインドゥには、複数のボタン候補が一覧になっており、操作者は、この中から好みのボタンを選択し、被処理ＨＴＭＬファイル画像内の希望の場所に配置する。
★オブジェクト情報の入力方法
オブジェクト情報は、記録時（保存ボタンが押されるまで）、マウスの決定ボタン（左ボタン）が押されている間のみ記録される。なお、オブジェクト情報は、マウスカーソルの位置にあわせて表示される。
★オブジェクト情報の入力可能範囲
被処理ＨＴＭＬファイル画面の左上を基点（０，０）として、正の方向への制限はない（すなわち、右方向、下方向に制限はない）のに対し、上・左方向の負の方向へは制限が設けられており、負の方向への移動は不可能になっている（オブジェクトはそこで止まってしまう）。
（ｂ）操作手順の説明
まず、操作者は、本システムを起動させる。次に、起動後、被処理ＨＴＭＬファイルのパス・ファイル名を入力する。または、入力の代わりに、表示されたファイル選択ウインドゥよりファイルを選択してもよい。なお、この場合、入力（選択）するＨＴＭＬファイルは、ローカルのコンピュータ上にあることが好ましい。別のシステム起動方法として、被処理ＨＴＭＬファイルをブラウザで読込む際にシステムを自動的に起動することも可能である。この場合、被処理ＨＴＭＬファイルはローカルのコンピュータ上、インターネット上のどちらでもよい。
その後、画面内に、被処理ＨＴＭＬファイル画像と操作パネルが表示される。そして、操作パネルのオブジェクト選択機能により、希望のオブジェクトを選択する。
この段階で、オブジェクト情報の入力待機状態となっている。操作者は、マウスを用いてオブジェクトを希望の位置に配置する。なお、描画オブジェクトを選択した場合には、描画中マウスの左ボタンを押しながらマウスを移動させる（図２７参照、ただし図２７では操作パネルは画面外、または閉じている）。描画オブジェクト以外のオブジェクトを選択した場合には、貼付位置の決定を行なう。
オブジェクト情報の入力が終了したら、被処理ＨＴＭＬファイル画面上に再生時の再生ボタンを配置する。
最後に、保存ボタンを押し、ブラウザを閉じることにより、本操作は終了する。
（ｃ）内部処理の説明
次に、内部処理につき、図８及び図９のフローチャートに従い説明する。なお、以下では、被処理ＨＴＭＬファイルに本システムのＵＲＬが書き込まれている場合の内部処理につき説明する。
まず、操作者がブラウザで被処理ＨＴＭＬファイル画像を画面に表示する（ステップ４０１）と共に、被処理ＨＴＭＬファイルに書き込まれた本システム（エンジン部分）のＵＲＬに従い、本システムを起動し、操作パネルを表示する（ステップ４０２）。この際、操作パネルは、被処理ＨＴＭＬファイル画像に被さらないようにする。
操作パネル表示後、オブジェクトの識別番号を記録部へ送り（ステップ４０７）、その識別番号に対応したオブジェクトを読み込む。
そして、ポインティングデバイス検出部は、マウスカーソルの位置情報の検出を開始する。そして、描画オブジェクトが選択されている場合には、保存ボタンが押されるまでの間、被処理ＨＴＭＬファイル画像内でマウスの左ボタンが押されている場合には、描画オブジェクトの軌跡を画面に表示する（ステップ４１１〜ステップ４１３）と共に、マウスカーソルの位置情報を取得（具体的には、被処理ＨＴＭＬファイルの左上を基点としてＸ及びＹ座標を取得し、Ｘ又はＹ座標の値が負になる場合には切り捨てられ０で記録し、他方、正の方向への制限はなくその値を記録する）して記録部へ送る（ステップ４１２）。そして、マウスの決定ボタン（左ボタン）が押され続けている限り、軌跡の表示と位置情報の取得を繰り返す。また、その他のオブジェクトが選択されている場合には、そのオブジェクトの識別番号やそのオブジェクトに必要な情報（例えば、テロップの場合は表示する文字列の内容）を記録部に送り（ステップ４０７）、カーソルの位置にそのオブジェクトを表示し、決定ボタンが押された場合（ステップ４０９）には、その位置情報を記録部へ送る（ステップ４１０）。
次に、再生ボタン配置ボタンが操作者によって押されると、ボタン配置ウィンドウを表示し、操作者により再生ボタンの種類や位置が決定された後、オブジェクトの場合と同様に、識別番号と位置情報を記録部へ送る（フローチャートには表示せず）。
その後、保存ボタンが押されると、ステップ４０７、ステップ４１０及びステップ４１２において記録部に書き込まれた情報を基にして、オブジェクト情報ファイル（データファイル）を作成する（ステップ４１４）。オブジェクト情報ファイルには、入力されたオブジェクトに関する情報｛例えば、オブジェクトの識別番号、オブジェクトに必要な情報（例えば、描画オブジェクトの場合は線の太さや色、テロップの場合はテロップで表示するテキストの内容）、位置情報｝；再生ボタンの識別番号及び位置情報、等を書き込む。なお、オブジェクト情報ファイルの作成先は、ローカルコンピュータ上でもサーバ上どちらでもよく、用途により適当に指定する。
次に、オブジェクト情報ファイルと被処理ＨＴＭＬファイルとを関連付けたデータ（具体的には、オブジェクト情報ファイルと被処理ＨＴＭＬファイルとのリンク情報、これらのパス・アドレス、必要に応じて操作者を特定する情報）を所定のデータベースに記録する（被処理ＨＴＭＬファイルには修正を加えない）。なお、このデータベースの場所は、本システムが読み込むため、本システムと同じコンピュータ上に存在することが好ましい。この方式を採用することにより、操作者を特定する情報がデータベースに記録されている場合には、本システムで被処理ＨＴＭＬファイルに書き込んだ内容を本人のみに表示可能にしたり、特定の相手に書き込んだ内容を見せたり、不特定多数の相手に見せることも可能となる。
被処理ＨＴＭＬファイルを表示しているブラウザを閉じることにより、操作パネルを閉じ、本プログラムを終了する（ステップ４１６）。
以上、予め被処理ＨＴＭＬファイルにエンジンのＵＲＬ指定を記述している場合について説明したが、それ以外に、ブラウザの機能に本システムを追加（拡張）する方法、プロキシを使用する方法（ＨＴＴＰデーモンに機能を追加する）がある。これらの場合は、被処理ＨＴＭＬ、ファイルに全く修正を加えることなく本システムを使用することが可能となる。
３．第三の態様
第三の態様は、音声ファイル又は動画ファイルとオブジェクト情報ファイルとをセットにし（パーツ化）、被処理ファイル画像にそのパーツを組み込む技術である。
パーツの作成方式は、第一の態様と基本的には同じであり、既存の音声ファイルや動画ファイルを用いつつ、オブジェクト情報を入力する方式、及び、音声や動画を入力しつつ、オブジェクト情報を入力する方式の二通りある。簡略化したフローチャートを図１０及び図１１に示す。但し、パーツ作成の際には、第一の態様と異なり、被処理ＨＴＭＬファイルを入力する必要がなく、雛型のＨＴＭＬファイルを用意し、それをデフォルトの設定にしておき、必要に応じ設定変更を行なえばよい。
そして、パーツ作成後（保存ボタンを押した後）、オブジェクト情報ファイルと音声ファイル又は動画ファイルとは、リンクした状態で（セットで）保存される。また、パーツ再生順表示ウインドゥやパーツ一覧表示ウインドゥに表示されるパーツ指標ファイル｛例えば、そのパーツの最終静止画像、パーツの名称や説明（メモ）｝もこのパーツの構成要素である（図２８参照）。更に、このパーツを特定するＩＤ情報もこのパーツの構成要素である。
以下では、作成された様々なパーツを被処理ＨＴＭＬファイルに組み込むシステムにおける、各機能、操作手順及び内部処理につき説明する。
（ａ）各機能の説明
システムを起動させ、被処理ＨＴＭＬファイルの特定を行なった後、パーツ組込み可能状態になる。その際、画面上に操作パネルが表示される。操作パネル上には、主に、パーツ一覧表示ウインドゥとパーツ再生順表示ウインドゥが備わっている。以下、これらにつき説明する。
★パーツ一覧表示ウインドゥ
パーツ一覧表示ウインドゥには、データベースに記録されているパーツのリスト（パーツの指標）が表示される（図２８参照）。操作者は、このウインドゥで被処理ＨＴＭＬファイル画像に組み込みたいパーツを選択する。
★パーツ再生順表示ウインドゥ
パーツ再生順指定ウインドゥは、被処理ＨＴＭＬファイルの全体の時間を管理する機能を有する。パーツが被処理ＨＴＭＬファイル画像上に配置されると、そのパーツの指標（例えば、そのパーツの最終静止画像）を再生順指定ウインドウに表示する。なお、パーツが配置される度に、このパーツ再生順指定ウインドゥに順番に追加する。但し、表示されたパーツの指標をドラッグさせることにより、パーツ再生順指定ウインドゥ内におけるそのパーツの順番を変更することができる。
（ｂ）操作手順
まず、操作者は、被処理ＨＴＭＬファイルを入力（選択）する。なお、入力（選択）する被処理ＨＴＭＬファイルは、ローカルのコンピュータ上でもインターネット上でもどちらでもよい。
次に、表示された操作パネル上のパーツ一覧ウインドゥ（図２８参照）から、被処理ＨＴＭＬファイル画像に貼付したいパーツを選択する。そして、矩形に表示されたそのパーツのサイズを参考にして、画面からその矩形がはみ出ないようにマウスカーソルで希望の位置まで移動し、貼付位置でマウスの左ボタンを押す。この操作を、貼付を希望するパーツ分繰り返す。
次に、パーツの表示順序を決定する。すべてのパーツを貼付した段階では、貼付順に、各パーツの目印がパーツ再生順表示ウインドゥに並んでいる。そこで、操作者は、順序を変えたいパーツの指標をドラッグし、パーツ再生順表示ウインドゥ内の希望の順番の場所に移動させる。
最後に保存ボタンを押して組込み作業を終了する。
（ｃ）内部処理の説明
パーツ貼り込みの内部処理を、図１２のフローチャートに従い説明する。
まず、入力された被処理ＨＴＭＬファイルをブラウザで読み込み表示する。そして、被処理ＨＴＭＬファイル画像に被さらないように、操作パネルを表示する。
そして、その操作パネル内に、データベースに登録されているパーツにつき、パーツ一覧表示ウインドゥに表示するパーツの指標データ｛例えば、パーツの名称や説明（メモ）｝、パーツ再生順表示ウインドゥに表示するパーツの指標データ（例えば、最終静止画像）、オブジェクト情報ファイル・音声ファイル・動画ファイルのファイル名を記録部に送る（ステップ６４１）。そして、記録部に送られた情報を基に、パーツ一覧をディスプレイ上に表示する（ステップ６４２、図２８参照）。また、パーツ再生順指定ウインドウも表示する（ステップ６４３）。
操作者によりパーツが選択される（ステップ６４４）と、選択されたパーツのオブジェクト情報ファイルを読み込み、そのオブジェクト情報ファイルに書かれている位置情報（Ｘ，Ｙ座標）の最大値に基づきそのパーツのサイズ（動作範囲）を把握し（ステップ６４５）、そのサイズをマウスカーソルの位置に合わせて矩形で表示する（ステップ６４６）。
次に、マウスの左ボタンが押された場合、そのパーツの基点の位置をＨＴＭＬファイルより取得する（ステップ６４８）。また、パーツ再生順表示ウインドゥ内に、このパーツの指標（例えば、最終静止画像）を、現在配置済みのパーツの指標の後に追加する（ステップ６４９）。そして、配置されたパーツを特定する情報（ＩＤ）、基点の位置情報、再生順情報を記録部へ送る。この処理をパーツの数だけ繰り返す。
次に、パーツ再生順の変更があった場合は、変更内容をパーツ再生順表示ウインドゥに反映させる（ステップ６５２）と共に、変更後の再生順を記録部へ送る（ステップ６５１）。
そして、保存ボタンが押されると、時間軸となっているファイル（音声ファイルや動画ファイル）を再生順に合成し、パーツ毎にばらばらになっていたこれらファイルを合成する（ステップ６５５）。具体的には、各パーツの音声ファイルや動画ファイルがもっている時間情報もばらばらのため、再生順に時間情報も再計算を行なう。また、オブジェクト情報ファイルに関しても、記録部のデータ（位置データ）を再計算し、パーツ毎にばらばらになっていたこれらファイルを合成する（ステップ６５４）。具体的には、複数のパーツのオブジェクト情報を、パーツの基点情報を基に、現在のＨＴＭＬファイルのＸＹ軸に変換し、時間情報をパーツ再生順にひとつの時間軸に変換する。
最後に、被処理ＨＴＭＬファイルに修正を加える（ステップ６５６）が、これは第一の態様の場合と同じである。そして、本システムを閉じる指示の後、表示したウインドゥをすべて閉じ（ステップ６５８）、本システムを終了する。
４．本システムの利用例
（１）インターネット学習
教師（クライアント）は、本システムを利用して、ＨＴＭＬ形式で作成した教材に音声や動画を追加した後、サーバ上にアップロードする（なお、このファイル中には、エンジンのＵＲＬが指定されている）。生徒側（クライアント）は、サーバ上のＨＴＭＬファイルを閲覧する。そして、ＨＴＭＬ上の再生ボタンを押すことにより、指定されているエンジンを起動し、オブジェクト情報ファイルに書かれているデータをもとに、音声又は動画に合わせてオブジェクトの動作、配置が行われる。これによれば、例えば、先生が黒板で行うような説明を、時間や物理的な距離に関係無く、何度でも受けることができる。
（２）掲示板、ＨＴＭＬファイル上への書きこみ
インターネット上のＨＴＭＬファイルは、基本的に作成者しか編集できないため、第三者が情報を付加したい場合は、掲示板に書きこみを行う方法が主である。ところが、このシステムを利用することによりＨＴＭＬファイル上に情報（書きこみ、画像の添付）を付加することが可能となる。
システムを利用する手段を説明する。まず、ホームページの制作者が、エンジンのＵＲＬ指定をＨＴＭＬに付加し、ホームページに反映させる。これにより、エンジンのＵＲＬが指定されているＨＴＭＬファイルをブラウザで読込んだ利用者すべてが、そのＨＴＭＬファイルに書きこみを行うことができるようになる。この場合、起動するエンジンが読込むデータベースにＨＴＭＬファイルとリンクしているオブジェクト情報ファイルのＵＲＬも登録されるが、ここでユーザ情報を登録し、管理することにより、書きこんだ内容を不特定多数の人が閲覧が可能であったり、本人のみが閲覧可能であったり、特定の相手のみが閲覧可能といった設定も行うことが可能となる。なお、ユーザを管理することにより、書きこんだ内容を不特定多数の人が閲覧が可能であったり、本人のみが閲覧可能であったり、特定の相手のみが閲覧可能といった設定も行うことが可能となる。
（３）商品説明
Ｗｅｂ上で商品を販売している店が増えているが、当然に、写真と説明のみで、実際に店頭で店員が商品を説明している場合と比べると押しが弱く、顧客側に高い購買意欲がないとなかなか購入には至らない。そこで本システムを利用することにより、販売側が商品のポイント等を詳しく音声付きで説明できるために、より購買意欲を高めることが可能となる。
（４）説明書、ヘルプ
例えば、ビデオの操作や、パソコンの操作等で分からない所があった場合、問題を解決するまで、ユーザは説明書の中から説明されているところを探し出し、さらに対応しているボタンを探し・・・といった大変な作業が必要になる。しかし、本システムを利用することにより、簡単な説明の場合は、ボタンが並んでいる操作部の写真上で「ここを押すと・・・」といった直接画面上を指して説明することが可能になる。また、パソコンのヘルプの場合にも、通常はヘルプの画面を別ウインドウで開いて、そこで画面を表示して説明するが、本システムを利用することにより、別ウインドウを開くことなくユーザの画面上で説明することができる。どちらも、ひとつの画面上で音声付きで説明が可能になるため非常に分かりやすくなる。
（５）動画、ビデオの説明
動画に合わせて説明が可能になるため、映画、ビデオの紹介を行うホームページや、手話の教材、楽器の指の使い方など、今までは動画の中にテキストや絵を含めて（テレビ、ビデオなどで）配信されていたが、本システムを利用することにより、動画とテキストを別に分けての説明が可能となるため、動画を邪魔することなくテキストや、絵を表示し詳しく説明することが可能となる。
（６）音楽教材の説明
音声、動画に合わせて説明が可能なため、実際に音楽を流し、楽譜に書きこみを行いながら説明することができる。
【図面の簡単な説明】
図１は、本発明に係る一実施形態のシステム構成図である。図２は、本発明に係る一実施形態のハードウエア構成図である。図３〜図７は、第一の態様の内部処理フローチャートである。図８及び図９は、第二の態様の内部処理フローチャートである。図１０は、第三の態様の操作フローチャートである。図１１は、第三の態様におけるパーツ作成の内部処理フローチャートである。図１２及び図１３は、第三の態様におけるパーツ組込みの内部処理フローチャートである。図１４は、第一の態様のシステムを起動した後の、入力方法選択ウインドウが表示された状態を示す図である。図１５は、第一の態様において、入力方法選択ウインドウで「新しく指示を入力」が選択された後の、被処理ファイル（対象ＨＴＭＬ）と音声ファイル（対象ｓｏｕｎｄ）の入力指示ウインドウが表示された状態を示す図である。図１６は、第一の態様において、被処理ファイルの画像（符号５）と操作パネル（符号１０）が表示された状態を示す図である。図１７は、画像オブジェクトのうち、可動な画像の一覧が表示された状態を示す図である。図１８は、画像オブジェクトのうち、描画可能な基本的な図形の一覧が表示された状態を示す図である。なお、線の色は符号６で、線の太さは符号７で選択可能である（図１６参照）。図１９は、テロップを示す。テロップとして表示する文字や記号等は、符号２７の枠内に入力する。図２０は、固定画像の一覧が表示された状態を示す図である。本図においては、１２個の固定画像が登録されている（符号２８）。図２１は、制御ボタンが表示された状態を示す図である。図２２は、第一の態様において、音声ファイルを介して音声を入力しながら、可動な画像（指）３０を、線３１の軌跡で移動させている状態を示す図である。図２３は、入力時の音声ファイルの時間軸を変更するために、操作パネルから速度変更一覧３２を表示させた状態を示す図である。図２４は、付加情報が組み込まれた被処理ファイルを再生する前の状態を示す図である。符号３３は再生ボタンを示し、これを押すと再生動作が始まる。図２５は、図２４における再生ボタンを押した後の、可動な画像（指）の動きを示した図である。図中、符号３５は、可動な画像（指）の軌跡を示す。符号３４は、再生時に、早送り、巻き戻し、停止及び一時停止させるための操作ボタンを示す。図２６は、第二の態様において、システムを起動した後に表示される画面を示す図である。符号３６は、被処理ファイルを示す。図２７は、第二の態様において、画像オブジェクト（線）を移動させた後の軌跡を示す図である。符号３７及び３８が、オブジェクト情報として記録される線の軌跡である。図２８は、第三の態様において用いられる、パーツ一覧表を示す。本図では、５個のパーツ（Ｎｏ．１〜５）が表示されている。図２９は、第三の態様における、複数のパーツ（オブジェクト情報ファイルと音声ファイルとの複数のセット）と被処理ファイル（ＨＴＭＬファイル）とがリンクした状態を示す図である。Technical field
The present invention relates to a technique for superimposing and displaying various objects and additional information such as sound and moving images on a display screen, and relates to a technique for improving the expressiveness of content on a homepage on the Internet, for example.
Background art
With the development of the Internet, personal computers have spread rapidly. And a very large number of people regardless of age or gender use it mainly for sending and receiving e-mails and browsing homepages. In recent years, new uses of the Internet (business model) have been born one after another, and the Internet is said to be the second industrial revolution because it has infinite possibilities.
By the way, with such new usages appearing one after another, existing files, especially document files (typically HTML format files) exchanged over the Internet are too tasty and uninteresting. On the other hand, there is a document file on which some object, sound, etc. are placed, but it is difficult for an amateur to create the document file, and in general, it is not so often performed. Under such circumstances, there is no doubt that the use of the Internet will become more and more significant if there is a technology for easily incorporating various additional information into a file. For example, when browsing a home page, it would be useful to be able to circle or enter voices on important or questionable parts. Also, if drawing and audio can be easily incorporated into an existing still image-only homepage, it will be a more attractive homepage. For a user unfamiliar with the operation of a personal computer, for example, if there is a home page that explains the contents of the description by voice according to the movement of a character such as a finger, it should be very easy to understand and familiar.
However, when using a conventional graphic tool to transfer a file written on the homepage to the server, for example, when the file format is a document file, the image file is drawn after drawing on the image of the document file. In this case, the original document file format cannot be restored.
An object of the present invention is to provide a technique for superimposing various objects and additional information such as sound and moving images on a display screen very easily.
Disclosure of the invention
The present invention calls up a first file and displays the image on the first screen; while inputting a voice or a moving image, in the second screen virtually existing on the first screen Moving or arranging the image object to be added; obtaining the positional information of the image object on the second screen in association with time; an audio file based on the input audio information or video information; A step of creating a moving image file; a step of creating an object information file based on the information specifying the image object, the position information and the time information; and the first file as the audio file or the moving image file and the Associating with the object information file; while displaying the first file on the first screen, Speech or by video link, to a method of the second screen and displaying it over time move or positioning the image object, to superimpose the additional information on the display screen (1).
Further, the present invention calls for the first file and displays the image on the first screen; and should be added in the second screen virtually existing on the first screen. Moving or arranging the image object; obtaining information on the position of the image object on the second screen; creating an object information file based on the information specifying the image object and the position information; A display screen comprising: associating a first file with the object information file; and displaying the image object in a second screen while displaying the first file on the first screen. (2).
Furthermore, the present invention calls for the first file and displaying the image on the first screen; and at a predetermined position on the second screen virtually existing on the first screen, Displaying an image object to be added linked to an audio file or a video file; obtaining position information of the image object on a second screen; and specifying an output order of the audio file or video file And displaying the image object linked to the audio file or the moving image file in the second screen while outputting the audio file or the moving image file in accordance with the specified output order. It relates to a method for displaying information superimposed (3).
The present invention also relates to the method (1) to (3) (4), wherein no link information is added to the first file.
Furthermore, the present invention includes a step of moving or arranging an image object in the second screen in the second screen virtually existing on the screen of the first screen while inputting sound or a moving image. Obtaining the position information of the image object on the second screen in association with time; creating an audio file or movie file based on the input audio or movie; information identifying the image object; Associating position information with the time information and creating an object information file; associating a file for the screen display of the first screen with the audio file or the moving image file and the object information file; (5) The present invention relates to a method for creating a source file that superimposes and displays additional information on the display screen.
The present invention also includes a step of moving or arranging an image object to be added in the second screen virtually existing on the screen of the first screen; the image object; Obtaining information on the position on the second screen; creating an object information file based on the information specifying the image object and the position information; and displaying the screen on the first screen. And (6) a method of creating a source file that superimposes additional information on a display screen, including the step of associating the file with the object information file.
Furthermore, the present invention displays an image object to be added linked to an audio file or a moving image file at a predetermined position on the second screen virtually existing on the first screen; And (7) a method of creating a source file for superimposing and displaying additional information on a display screen, including a step of obtaining position information of an image object on a second screen; and a step of specifying an output order of the audio file or moving image file.
The present invention also relates to the method (5) to (7), wherein no link information is added to the file relating to the first screen (8).
Furthermore, the present invention relates to a magnetic recording medium (9) for storing a program for executing the steps defined in the methods (1) to (8).
The present invention also relates to a computer system (10) having a magnetic recording medium defined as the medium (9).
First, terms used in the above and claims will be described. The “first file” refers to a file (processed file) in which additional information is incorporated. The type of file is not particularly limited, and examples include a document file, a spreadsheet file, an audio file, an image file, and a moving image file. Also, the format is not particularly limited, and an HTML format file is exemplified as long as it is a document file. The “moving image” includes not only a moving image without sound but also a moving image with sound. The “second screen that exists virtually” is a screen that is independent of the first screen, and exists on the first screen, and is transparent (as long as the first screen can be seen through the second screen). Virtual screens (including translucent and colored transparent). The “audio file” and “moving image file” are not particularly limited, and include various types of files. “Image object” refers to image information added to the first file. For example, moving information of still images (movable images), drawing information, telops, fixed images, and the like can be given. “While inputting audio or video” means recording an audio or video when inputting an image object, or playing an existing audio or video file when inputting an image object. including. An “object information file” refers to a file that contains information necessary to display an image object on a file image to be processed as instructed. It is generally called a data file. “Associating the first file with the audio file or the moving image file and the object information file” does not write the first file link information in addition to writing the link information in the first file. It also includes recording in the database data associating the URL of the object information file, the URL of the audio file or moving image file, and the URL of the file to be processed. “Specify the output order of the above-mentioned audio file or video file” means indirect by specifying the output order of the image object linked to the audio file or the video file in addition to specifying the output order of the audio file or the video file. In particular, it also includes specifying the output order of audio files or moving image files. In addition to integrating the pasted parts (a set of object information file and image or video file) according to the specified display order, the management file records the display order of each part without integrating the parts. Is preferably made.
BEST MODE FOR CARRYING OUT THE INVENTION
In order to describe the present invention in more detail, it will be described with reference to the accompanying drawings. In the following, an HTML file is used as the file to be processed, but the present invention is not limited to this.
FIG. 1 is a system configuration diagram of an embodiment according to the present invention. In FIG. 1,
FIG. 2 is a hardware configuration diagram of an embodiment according to the present invention, which is basically the same as a commercially available personal computer. However, an audio recording unit for recording external audio and a moving image recording unit for recording external moving images are provided. In the drawing, the file to be processed (HTML file) and the audio (moving image) file are external, and the object information and the program are local. However, the location of the file to be processed, the audio (moving image) file, the object information, and the program is not particularly limited.
The present invention is roughly divided into a first aspect, a second aspect, and a third aspect. Therefore, in the following, description will be made separately for each aspect.
1. First aspect
The first aspect of the present invention is a technique for easily creating a file to be processed in which audio and video information and object information are incorporated. As a creation method, a method of inputting object information while using an existing audio file or moving image file (hereinafter referred to as method (1)), and a method of inputting object information while inputting sound or a moving image (hereinafter referred to as method 1). And method (2)). Hereinafter, each function, operation procedure, and internal processing in the system according to the first aspect will be described.
(A) Explanation of each function
After the system is activated and the processing HTML file is specified and the method (1) or (2) is determined, the object information can be input (see FIGS. 14 and 15). Although these figures are related to the above identification and determination, these figures assume only the method (1), and therefore, in the case of the method (2), another panel will be displayed. . At that time, an operation panel is displayed on the screen (see FIG. 16). On the
★ Various input control functions (see Fig. 16)
* Record button 19: When this button is pressed, playback starts in the case of method (1) (method using an existing audio file or video file), and in the case of method (2) (method for inputting audio or video) Starts recording the object information after pressing this button.
* Play button 20: When this button is pressed, the input object information is read from the recording unit, and the object is arranged and operated in accordance with the sound or video according to the content.
* Pause button 21: When this button is pressed, the recording of object information and the recording / playback of audio and moving images are paused. This button is a toggle button, and once pressed, it will not resume until it is pressed again. In this system, there are two other pause methods. The first is a method of pressing the cancel button (right button) of the mouse. The second is a method of automatically pausing and resuming depending on the position of the mouse cursor. For example, when the mouse cursor is outside the display area of the processed HTML file screen (here, the operation panel is also outside the display area of the processed HTML file screen), recording / playback of audio and video is paused, When it is within the display area of the HTML file to be processed, the pause of recording / playback of audio and moving images is released and recording / playback is resumed.
* Stop button 22: When this button is pressed, recording / playback of audio and moving images is stopped, and recording of object information is stopped. In the case of method {circle around (1)} (a method using an existing audio file or moving image file), even if this button is not pressed, the reproduction automatically stops when the reproduction of the existing file is completed.
* Delete button (button on the right of 22): When this button is pressed, the input object information (stored in the temporary storage area) is deleted.
★ Various time control functions (see Fig. 16)
* Slide bar 18: This is one of the time control functions on the operation panel. Like the existing audio and video playback tools, the playback time of the file is represented by a straight line, and both ends are the playback start and end positions. Yes, the current playback position is indicated by a knob. By dragging and changing this knob, the position of the input time is changed. For example, if there is a time zone during which there is no need to insert object information during input, skip the unnecessary time zone; if the input timing does not match, return a little time; multiple objects in a time zone For example, when information is to be inserted, a certain example of object information is recorded and then returned to that time period, and another object information is recorded.
* Speed change function 23: This is used in the case of method {circle around (1)} (a method using an existing audio file or moving image file) to change the playback speed of these files. For example, when the playback speed of the audio file is set to be slow, the time axis is extended. As a result, the input can be performed with a margin, and the object information can be input calmly.
★ Object selection function (See Figs. 17-20)
* List of movable images 12: A list of image data of “movable images” registered in the system is displayed (
* List of basic figures that can be drawn 13: As basic figures that can be drawn, free lines, straight lines, squares, etc. are registered (reference numeral 26 in FIG. 18). Since this drawing figure has a trajectory, it is effective when a marker is put in a portion to be emphasized, or when writing or drawing freely on a processing HTML file screen like drawing software.
* Telop 14: When this is selected, it becomes possible to input a character string to a predetermined portion (reference numeral 27) on the operation panel, and the input character string is pasted to a designated place on the processing HTML file screen. (See FIG. 19). It can be used for supplementary explanations.
* Fixed image 15: By selecting a fixed image recorded in the system, it can be pasted into the image like a sticker (see FIG. 20).
★ Result creation support function
* Save button: By pressing this button, an object information file (data file) reflecting the input object information is created. In the case of simultaneous recording / recording, an audio file and a moving image file are created respectively. Further, an operation for linking the HTML file to be processed, the object information file, and the audio file or moving image file is performed.
* Play button layout button: Press this button to display the button layout window. In the button arrangement window, a plurality of button candidates are listed, and the operator selects a desired button from the list and arranges it at a desired location in the processed HTML file image. By pressing the play button arranged here, it is possible to operate according to the input contents.
★ How to enter object information
The object information is recorded only when the determination button (left button) of the mouse is pressed during recording (when it is not paused or stopped). The object information is displayed according to the position of the mouse cursor.
★ Input range of object information
With the upper left corner of the HTML file screen being processed as the base point (0, 0), there is no limit in the positive direction (that is, there is no limit in the right direction or the downward direction), but in the negative direction in the upper or left direction. Is restricted and cannot move in the negative direction (the object stops there).
(B) Explanation of operation procedure
First, the operator activates the system. Next, after starting, an input method selection window is displayed. "Use an existing file and enter a new instruction" (method (1)), "Simultaneous input, new instruction" (method (2) ), “Add instructions to existing file” or “Create HTML for web publishing” is selected (in FIG. 14, it is assumed that only the method {circle around (1)} is input. It is different from the method selection window). In the following, the case where the method (1) or (2) is selected will be described in detail, and the other cases where “Add instruction to existing file” and “Create HTML for web publishing” are selected (see FIG. 14). Will be briefly discussed at the end of this section.
Regardless of which method {circle over (1)} or {circle over (2)} is selected, the path / file name of the HTML file to be processed is input (see FIG. 15). Alternatively, instead of inputting, a file may be selected from the displayed file selection window. The HTML file to be input (selected) may be on a local computer or on the Internet. As another method, when the system HTML file is specified to be read into the processed HTML file, the system is automatically started after reading the processed HTML file. (In this case, it is necessary to create a processed HTML file to which a line for calling this system is added in advance). However, in the following description, it is assumed that an HTML file in which the engine part address is not specified is used.
In method {circle around (1)}, an audio file name or moving image file name to be used is input (or selected) (note that only an audio file is assumed in FIG. 15). In method {circle around (2)}, the name of the audio file or moving image file to be created, the destination path, and the file format (including detailed settings for the audio and moving image storage format) are input. Then press the completion button.
After the completion button is pressed, the processed
Next, input of object information is started by pressing the recording button 19 (FIG. 22). In the case of method {circle around (1)}, since the designated audio or moving image file is reproduced, the object is displayed or moved using the mouse in accordance with the reproduced audio or moving image. For example, in the case of FIG. 22, the
When the input of the object information is completed, the operator presses the
Next, the operator places a playback button at the time of playback on the HTML file screen to be processed.
Finally, this operation is completed by pressing the save button and closing the browser.
(C) Explanation of internal processing
Next, internal processing will be described with reference to the flowcharts of FIGS.
First, after the present system is activated, a selection instruction for inputting object information by either method (1) or (2) is issued (step 202).
Next, when the method (1) is selected by the operator (when an existing audio file or moving image file is used), a file selection window (
For these files, after the path / file name, etc. is input (selected) by the operator, in the case of method (1), the path / file name of the input audio file or video file is input to the audio playback unit or video playback. The audio playback unit or the video playback unit reads the designated file (step 205). Also, in the case of method (2), regarding the created audio file or video file, the path, file name and storage format are sent to the audio recording unit or video recording unit, and the audio recording unit or video recording unit is sent Based on the information, preparation for creating an audio file or moving image file is made (step 208).
Next, in both methods {circle around (1)} and {circle around (2)}, the input HTML file to be processed is read and displayed by the browser used by the operator (
After the
When the
Simultaneously with playback and recording (recording), the pointing device detection unit starts detecting the position information of the mouse cursor (step 234). Thereafter, the position of the mouse cursor is constantly monitored. When the mouse cursor is outside the
Then, except when the
After that, when the
Next, when the playback button arrangement button is pressed by the operator (step 226), a button arrangement window is displayed (step 227), and after the operator determines the type and position of the playback button (step 228), the object is displayed. As in the case of, the type (identification number) of the playback button and the position information are sent to the recording unit (step 229).
After that, when the save button is pressed (step 224), in the case of method (1), for the video recorded by the video recording unit (in the case of simultaneous recording) or the audio recorded by the audio recording unit (in the case of simultaneous recording), Based on the information received in
Next, a modification is made to the HTML file to be processed. The correction contents specify information for linking the HTML file to be processed and the created object information file (for example, the path and file name of the object information file) and the location of the engine (driving part) for reading the object information file. Information (eg, engine path and file name) is written (step 260). Since this correction only adds a few lines to the source of the processed HTML file, the processed HTML file can be corrected after the operation is input. However, depending on the HTML file creation software to be processed, the contents added in this system are invalidated, so correction at the source level is desirable. A method in which the HTML file to be processed is not modified is also possible (step 259), and details thereof will be described in the item of the second aspect. Further, it is determined whether or not a moving image is used as the time axis (step 256). If it is used, the processed HTML file is corrected and the processed HTML file image is displayed on the screen. It arrange | positions so that a moving image can be browsed in the horizontal part of a process HTML file image (step 257).
A plurality of time axes (audio files or moving image files) can be assigned by repeating the operations from
After inputting the instruction to close the browser, the
(D) Explanation regarding “add instruction to existing file” and “create HTML for web publishing”
Finally, other selection items in the input method selection window, “Add instruction to existing file” and “Create HTML for web publication” will be described.
★ “Add instructions to existing file”
This item is selected when an instruction is additionally input to the processed HTML file in which the object information has already been incorporated by this system. As an operation method, an item “add instructions to an existing file” is selected from a file selection window, and then an HTML file to be processed for additional input is selected. However, since an audio file and a moving image file serving as a time axis are already linked to the HTML file to be processed, it is not necessary to select them, and simultaneous input is not necessary. After selecting the HTML file to be processed and reading the file, the linked object information file is read (sent to the recording unit), and the audio file name and video file name are sent to the audio playback unit and video playback unit. Thereafter, the process proceeds to step 209, and the subsequent steps are the same as those in the method (1).
★ "Create HTML file for web release"
Normally, the location designation of the engine part file added to the HTML file to be processed is described by a URL. Normally, the path of the local machine being used is specified. Therefore, by selecting the item “Create HTML file for web publication” and specifying the URL of the engine part on the Internet, the created processed HTML file can be used on the web. Become. It should be noted that an HTML file used in the second mode described below (a URL for which the engine URL is specified in advance) is also created by selecting this item.
2. Second aspect
In the second aspect of the present invention, the time axis of the first aspect is eliminated. That is, the object information is written and the file to be processed is linked without using or creating an audio file or a moving image file. In the following, each function, operation procedure, and internal processing in the system according to the second aspect will be described first.
(A) Explanation of each function
After the system is activated and the HTML file to be processed is specified, the object information can be input. At that time, an operation panel is displayed on the screen. On the operation panel, various input control functions (deletion buttons, etc.), object selection functions (still images, list of basic graphics that can be drawn, telop input, moving images, etc.), result creation support functions (save file Save, preview, play button layout, etc.). Hereinafter, the various functions will be described.
★ Various input control functions
* Delete button: When this button is pressed, the entered object information (stored in the temporary storage area) is deleted.
* Display / non-display switching button: Switches display / non-display of objects arranged on the HTML file image to be processed.
★ Object selection function
* List of still images: A list of image data of “still images” registered in the system is displayed. The operator selects a still image to be used from among them. When the operator adds new “still image” image data to the system, the image data is added to the list. The operator pastes the still image on the HTML file image to be processed like a sticker.
* List of basic figures that can be drawn: Free lines, straight lines, rectangles, etc. are registered as basic figures that can be drawn. Since this drawing figure has a trajectory, it is effective when a marker is put in a portion to be emphasized, or when writing or drawing freely on a processing HTML file screen like drawing software.
* Telop: When this is selected, it becomes possible to input a character string to a predetermined part on the operation panel, and the input character string is pasted to a designated place on the processing HTML file screen. It can be used for supplementary explanations.
* Moving image: By selecting a moving image recorded in the system, it can be pasted into the image like a sticker.
★ Result creation support function
* Save button: By pressing this button, an object information file (data file) reflecting the input object information is created. Also, an operation for linking the HTML file to be processed and the object information file is performed.
* Play button layout button: Press this button to display the button layout window. In the button arrangement window, a plurality of button candidates are listed, and the operator selects a desired button from the list and arranges it at a desired location in the processed HTML file image.
★ How to enter object information
The object information is recorded only while the determination button (left button) of the mouse is pressed during recording (until the save button is pressed). The object information is displayed according to the position of the mouse cursor.
★ Input range of object information
With the upper left corner of the HTML file screen being processed as the base point (0, 0), there is no limit in the positive direction (that is, there is no limit in the right direction or the downward direction), but in the negative direction in the upper or left direction Is restricted and cannot move in the negative direction (the object stops there).
(B) Explanation of operation procedure
First, the operator activates the system. Next, after activation, the path and file name of the HTML file to be processed are input. Alternatively, instead of inputting, a file may be selected from the displayed file selection window. In this case, the HTML file to be input (selected) is preferably on a local computer. As another system activation method, the system can be automatically activated when the processed HTML file is read by a browser. In this case, the processed HTML file may be on a local computer or on the Internet.
Thereafter, the HTML file image to be processed and the operation panel are displayed on the screen. Then, the desired object is selected by the object selection function of the operation panel.
At this stage, it is in an object information input standby state. The operator uses the mouse to place the object at a desired position. When a drawing object is selected, the mouse is moved while pressing the left button of the drawing mouse (see FIG. 27, but in FIG. 27, the operation panel is outside the screen or closed). When an object other than a drawing object is selected, the pasting position is determined.
When the input of the object information is completed, a playback button for playback is arranged on the processed HTML file screen.
Finally, this operation is completed by pressing the save button and closing the browser.
(C) Explanation of internal processing
Next, internal processing will be described with reference to the flowcharts of FIGS. In the following, internal processing when the URL of this system is written in the HTML file to be processed will be described.
First, the operator displays an HTML file image to be processed on the screen with a browser (step 401), starts the system according to the URL of the system (engine part) written in the HTML file to be processed, and displays the operation panel. Display (step 402). At this time, the operation panel does not cover the processed HTML file image.
After the operation panel is displayed, the object identification number is sent to the recording unit (step 407), and the object corresponding to the identification number is read.
Then, the pointing device detection unit starts detecting the position information of the mouse cursor. When a drawing object is selected, the locus of the drawing object is displayed on the screen when the left button of the mouse is pressed in the processed HTML file image until the save button is pressed. (Step 411 to Step 413) and position information of the mouse cursor is acquired (specifically, the X and Y coordinates are acquired with the upper left corner of the HTML file to be processed as the base point, and the X or Y coordinate value becomes negative) In this case, it is rounded down and recorded as 0, and on the other hand, the value is recorded without any restriction in the positive direction) and sent to the recording unit (step 412). As long as the determination button (left button) of the mouse is kept pressed, the display of the locus and the acquisition of the position information are repeated. If another object is selected, the identification number of the object and information necessary for the object (for example, the contents of the character string to be displayed in the case of a telop) are sent to the recording unit (step 407). When the object is displayed at the cursor position and the enter button is pressed (step 409), the position information is sent to the recording unit (step 410).
Next, when the play button placement button is pressed by the operator, a button placement window is displayed, and after the operator determines the type and position of the play button, the identification number and the position information are displayed as in the case of the object. It is sent to the recording unit (not displayed in the flowchart).
Thereafter, when the save button is pressed, an object information file (data file) is created based on the information written in the recording unit in
Next, data that associates the object information file with the HTML file to be processed (specifically, link information between the object information file and the HTML file to be processed, their path address, and an operator is specified if necessary) Information) is recorded in a predetermined database (the HTML file to be processed is not modified). Note that the location of this database is preferably present on the same computer as this system because it is read by this system. By adopting this method, when information specifying the operator is recorded in the database, the contents written in the HTML file to be processed by this system can be displayed only to the person or written to a specific partner. It is also possible to show the content or show it to an unspecified number of opponents.
By closing the browser displaying the HTML file to be processed, the operation panel is closed and the program is terminated (step 416).
The case where the URL specification of the engine is previously described in the HTML file to be processed has been described above. In addition to this, the method of adding (extending) this system to the browser function, the method of using a proxy (the HTTP daemon) Add functions). In these cases, it becomes possible to use the present system without modifying the processed HTML and files.
3. Third aspect
The third aspect is a technique in which an audio file or a moving image file and an object information file are set (parts) and the parts are incorporated into the processed file image.
The part creation method is basically the same as the first mode, and the object information is input using the existing audio file or video file, and the object information is input while inputting the audio or video. There are two ways to input. Simplified flowcharts are shown in FIGS. However, when creating a part, unlike the first mode, it is not necessary to input the HTML file to be processed. Prepare a template HTML file, set it as the default setting, and change the settings as necessary. Should be done.
After the parts are created (after the save button is pressed), the object information file and the audio file or moving image file are saved in a linked state (in a set). In addition, the part index file {for example, the final still image of the part, the name of the part and the description (memo)} displayed in the part playback order display window and the part list display window is also a component of this part (see FIG. 28). ). Further, ID information for specifying this part is also a component of this part.
In the following, each function, operation procedure, and internal processing in a system that incorporates various created parts into a processed HTML file will be described.
(A) Explanation of each function
After the system is started and the HTML file to be processed is specified, the parts can be assembled. At that time, an operation panel is displayed on the screen. On the operation panel, a parts list display window and a parts playback order display window are mainly provided. These will be described below.
★ Parts list window
In the parts list display window, a list of parts (part index) recorded in the database is displayed (see FIG. 28). The operator selects a part to be incorporated into the processed HTML file image using this window.
★ Parts playback order display window
The parts playback order designation window has a function of managing the entire time of the processed HTML file. When a part is arranged on the HTML file image to be processed, an index of the part (for example, the final still image of the part) is displayed in the reproduction order designation window. Each time a part is placed, it is added in order to this part playback order designation window. However, by dragging the index of the displayed part, the order of the part in the part playback order designation window can be changed.
(B) Operating procedure
First, the operator inputs (selects) a processed HTML file. The processed HTML file to be input (selected) may be on a local computer or on the Internet.
Next, a part to be pasted on the HTML file image to be processed is selected from the displayed parts list window (see FIG. 28) on the operation panel. Then, referring to the size of the part displayed in the rectangle, move to the desired position with the mouse cursor so that the rectangle does not protrude from the screen, and press the left button of the mouse at the pasting position. Repeat this operation for the parts you want to paste.
Next, the display order of the parts is determined. At the stage where all the parts are pasted, the mark of each part is arranged in the part playback order display window in the pasting order. Therefore, the operator drags the index of the part whose order is to be changed, and moves it to the place in the desired order in the part playback order display window.
Finally, press the save button to finish the installation process.
(C) Explanation of internal processing
The internal processing of part pasting will be described with reference to the flowchart of FIG.
First, the input HTML file to be processed is read and displayed by a browser. Then, an operation panel is displayed so as not to cover the processed HTML file image.
In the operation panel, for the parts registered in the database, the part index data {eg, part name and description (memo)} displayed in the parts list display window, the parts displayed in the part playback order display window The index data (for example, the final still image) and the file names of the object information file, the audio file, and the moving image file are sent to the recording unit (step 641). Based on the information sent to the recording unit, a parts list is displayed on the display (step 642, see FIG. 28). Also, a parts reproduction order designation window is displayed (step 643).
When a part is selected by the operator (step 644), the object information file of the selected part is read, and based on the maximum value of the position information (X, Y coordinates) written in the object information file, The size (operation range) is grasped (step 645), and the size is displayed in a rectangle in accordance with the position of the mouse cursor (step 646).
Next, when the left button of the mouse is pressed, the position of the base point of the part is acquired from the HTML file (step 648). Also, the part index (for example, the final still image) is added to the part playback order display window after the currently arranged part index (step 649). Then, information (ID) for specifying the arranged parts, base point position information, and reproduction order information are sent to the recording unit. This process is repeated for the number of parts.
Next, if there is a change in the part playback order, the changed content is reflected in the part playback order display window (step 652), and the changed playback order is sent to the recording unit (step 651).
When the save button is pressed, files (audio files and moving image files) that are on the time axis are combined in the order of playback, and these files that are separated for each part are combined (step 655). Specifically, since the time information held by the audio file and the moving image file of each part varies, the time information is recalculated in the order of reproduction. Also, regarding the object information file, the data (position data) of the recording unit is recalculated, and these files that have been separated for each part are synthesized (step 654). Specifically, the object information of a plurality of parts is converted into the XY axes of the current HTML file based on the base point information of the parts, and the time information is converted into one time axis in the order of parts reproduction.
Finally, a modification is made to the HTML file to be processed (step 656), which is the same as in the first embodiment. After the instruction to close the system, all displayed windows are closed (step 658), and the system is terminated.
4). Examples of using this system
(1) Internet learning
The teacher (client) uses this system to add audio and video to the teaching material created in HTML format, and then uploads to the server (Note that the URL of the engine is specified in this file) ). The student side (client) browses the HTML file on the server. Then, by pressing a play button on HTML, the designated engine is started, and the operation and arrangement of the object are performed in accordance with the sound or the moving image based on the data written in the object information file. According to this, for example, an explanation that a teacher gives on a blackboard can be received any number of times regardless of time or physical distance.
(2) Writing on bulletin boards and HTML files
Since an HTML file on the Internet can basically be edited only by a creator, when a third party wants to add information, a method of writing on a bulletin board is mainly used. However, by using this system, information (writing, image attachment) can be added to the HTML file.
Means for using the system will be described. First, the creator of the homepage adds the URL designation of the engine to HTML and reflects it on the homepage. As a result, all users who read the HTML file in which the URL of the engine is designated by the browser can write to the HTML file. In this case, the URL of the object information file linked to the HTML file is also registered in the database read by the engine to be started. However, by registering and managing user information here, the written contents are unspecified. Can be set such that the person can browse, only the person can browse, or only a specific partner can browse. In addition, by managing users, it is possible to make settings so that an unspecified number of people can view the written content, only the person can view it, or only a specific person can view it. It becomes.
(3) Product description
The number of stores that sell products on the Web is increasing, but of course, only with photos and explanations, the push is weak compared to the case where the store clerk explains the products at the storefront, and high purchases to customers If there is no willingness to buy, it will not be possible to purchase. Therefore, by using this system, since the sales side can explain the points of the product and the like in detail with a voice, it is possible to further increase the willingness to purchase.
(4) Manual and help
For example, if there is a place you do not understand by operating a video or computer, until the problem is solved, the user will search for the explanation in the manual and then search for a corresponding button.・ A lot of work is required. However, by using this system, in the case of a simple explanation, it is possible to point and explain directly on the screen such as "Press here ..." on the photograph of the operation unit where buttons are arranged. Become. Also, in the case of help on a personal computer, the help screen is usually opened in a separate window, and the screen is displayed there for explanation. However, by using this system, the user's screen can be opened without opening another window. Can be explained. Both are very easy to understand because they can be explained with sound on one screen.
(5) Video and video description
Because it is possible to explain according to the video, the homepage that introduces movies, videos, sign language teaching materials, how to use the fingers of the instrument, etc., so far has included text and pictures in the video (TV, video, etc.) However, since the video and text can be explained separately by using this system, text and pictures can be displayed and explained in detail without disturbing the video. It becomes.
(6) Explanation of music teaching materials
Since explanations can be made according to audio and video, it is possible to explain while actually playing music and writing down the score.
[Brief description of the drawings]
FIG. 1 is a system configuration diagram of an embodiment according to the present invention. FIG. 2 is a hardware configuration diagram of an embodiment according to the present invention. 3 to 7 are internal process flowcharts of the first mode. 8 and 9 are internal process flowcharts of the second mode. FIG. 10 is an operation flowchart of the third embodiment. FIG. 11 is an internal process flowchart of parts creation in the third mode. 12 and 13 are internal processing flowcharts for parts incorporation in the third mode. FIG. 14 is a diagram showing a state where the input method selection window is displayed after the system according to the first aspect is activated. FIG. 15 shows the input instruction window for the file to be processed (target HTML) and the sound file (target sound) after “input new instruction” is selected in the input method selection window in the first mode. It is a figure which shows a state. FIG. 16 is a diagram illustrating a state in which an image (reference numeral 5) and an operation panel (reference numeral 10) of a file to be processed are displayed in the first mode. FIG. 17 is a diagram illustrating a state in which a list of movable images among image objects is displayed. FIG. 18 is a diagram showing a state in which a list of basic graphics that can be drawn is displayed among the image objects. The line color can be selected with
Claims (6)
前記主制御部は、 The main control unit
入力された被処理ファイルを読み込んで画面に表示し、 Read the input file to be processed and display it on the screen.
記録操作が行われたとき、次の第１ステップ乃至第５ステップを実行し、 When the recording operation is performed, the following first to fifth steps are executed,
（１）入力された音声を録音し又は外部から入力された動画を録画し、あるいは、予め用意された前記音声情報に基づき音声の再生を開始し又は予め用意された前記動画情報に基づき動画の再生を開始する第１ステップ、(1) Recording the input voice or recording the video input from the outside, or starting the reproduction of the voice based on the voice information prepared in advance or moving the video based on the video information prepared in advance The first step of starting playback,
（２）前記ポインティングデバイスの位置情報を検出する第２ステップ、(2) a second step of detecting position information of the pointing device;
（３）予め選択されているオブジェクトを前記ポインティングデバイスの位置に表示する第３ステップ、(3) a third step of displaying a preselected object at the position of the pointing device;
（４）前記音声の録音又は動画の録画、あるいは、前記音声の再生又は前記動画の再生のサンプリング周期に基づき現在時刻を取得し、時間軸の情報として前記記録部へ送る第４ステップ、(4) a fourth step of acquiring the current time based on a sampling period of the audio recording or moving image recording, or the audio reproduction or moving image reproduction, and sending the current time as time axis information to the recording unit;
（５）前記ポインティングデバイスの現在の位置情報を取得して前記記録部へ送る第５ステップ、(5) Fifth step of acquiring current position information of the pointing device and sending it to the recording unit;
保存操作が行われたとき、前記記録部を参照して、次の第６ステップ乃至第８ステップを実行する、 When a save operation is performed, the following sixth to eighth steps are executed with reference to the recording unit.
（６）入力された音声を録音し又は外部から入力された動画を録画しているときは、前記記録操作が行われている間に録音又は録画された前記音声又は動画の音声ファイル又は動画ファイルを作成する第６ステップ、(6) When recording the input audio or recording the video input from the outside, the audio or video audio file or video file of the audio or video recorded or recorded during the recording operation The sixth step to create
（７）前記音声ファイル又は前記動画ファイルの識別情報、前記オブジェクトの識別情報、前記オブジェクトの属性情報、及び、前記時間軸と対応させた前記位置情報を含む前記オブジェクトに関する情報を含むオブジェクト情報ファイルを作成する第７ステップ、(7) An object information file including identification information of the audio file or the moving image file, identification information of the object, attribute information of the object, and information regarding the object including the position information associated with the time axis. The seventh step to create,
（８）前記被処理ファイルと前記オブジェクト情報ファイルをリンクさせる情報と、前記オブジェクト情報ファイルを読み込むための駆動部分の場所を特定する情報を前記被処理ファイルに書き込み、その書き込み後の前記被処理ファイルを出力する第８ステップ、(8) Information for linking the file to be processed and the object information file, and information for specifying the location of the drive part for reading the object information file are written to the file to be processed, and the file to be processed after the writing The eighth step of outputting
ことを特徴とする表示画面に付加情報を重畳表示するためのファイルを作成する装置。 A device for creating a file for superimposing and displaying additional information on a display screen.
前記ポインティングデバイスの位置情報が予め定められた領域外にあるとき、第１ステップ乃至第５ステップの実行を停止し、 When the position information of the pointing device is outside the predetermined area, the execution of the first step to the fifth step is stopped,
前記ポインティングデバイスの位置情報が予め定められた領域内に移動したとき、第１ステップ乃至第５ステップの実行を再開することを特徴とする請求項１記載の表示画面に付加情報を重畳表示するためのファイルを作成する装置。 2. The display of claim 1, wherein when the position information of the pointing device moves into a predetermined area, execution of the first to fifth steps is resumed. A device that creates files.
再生ボタン配置操作が行われたとき、 When the play button placement operation is performed,
予め用意されたボタン配置ウィンドウを表示させ、 Display the button arrangement window prepared in advance,
前記ボタン配置ウィンドウに表示された複数のボタン候補のうちで選択されたものを、前記被処理ファイルにより表示された画面内に配置し、 The one selected from the plurality of button candidates displayed in the button arrangement window is arranged in the screen displayed by the file to be processed,
選択されたボタン候補の識別情報と位置情報を前記記録部へ送り、 Send the identification information and position information of the selected button candidate to the recording unit,
前記第７ステップにおいて、前記オブジェクト情報ファイルに、前記選択されたボタン候補の識別情報と位置情報を加えることを特徴とする請求項１記載の表示画面に付加情報を重畳表示するためのファイルを作成する装置。 6. The file for superimposing additional information on the display screen according to claim 1, wherein in the seventh step, identification information and position information of the selected button candidate are added to the object information file. Device to do.
記録操作が行われたときの前記第１ステップ乃至第５ステップの実行、及び、保存操作が行われたときの前記第６ステップ乃至第８ステップの実行を繰り返し、複数の前記音声ファイル又は動画ファイルに対して、複数の前記時間軸を割り当てることを特徴とする請求項１記載の表示画面に付加情報を重畳表示するためのファイルを作成する装置。 Repeating the execution of the first to fifth steps when the recording operation is performed and the execution of the sixth to eighth steps when the storage operation is performed, a plurality of the audio files or moving image files The apparatus for creating a file for superimposing and displaying additional information on the display screen according to claim 1, wherein a plurality of the time axes are assigned to the display screen.
（９）前記時間軸に基づき、複数の前記音声ファイル又は動画ファイルを再生順に並べ替えて合成し、複数の前記オブジェクト情報ファイルを再生順に並べ替えて合成する第９ステップを実行することを特徴とする請求項４記載の表示画面に付加情報を重畳表示するためのファイルを作成する装置。(9) performing a ninth step of arranging and synthesizing a plurality of the audio files or moving image files in the order of reproduction based on the time axis, and arranging and synthesizing the plurality of object information files in the order of reproduction. An apparatus for creating a file for superimposing and displaying additional information on the display screen according to claim 4.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2000/006164 WO2002023350A1 (en) | 2000-09-08 | 2000-09-08 | Technique for superimposingly display additional information on display screen |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2002023350A1 JPWO2002023350A1 (en) | 2004-05-27 |
| JP4574113B2 true JP4574113B2 (en) | 2010-11-04 |
Family
ID=11736442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002527932A Expired - Lifetime JP4574113B2 (en) | 2000-09-08 | 2000-09-08 | Device for creating file for displaying additional information superimposed on display screen and magnetic recording medium |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP4574113B2 (en) |
| WO (1) | WO2002023350A1 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7417645B2 (en) * | 2003-03-27 | 2008-08-26 | Microsoft Corporation | Markup language and object model for vector graphics |
| JP2006323793A (en) * | 2005-05-17 | 2006-11-30 | Norio Goto | Slide show program and slide show web browser program |
| JP5162164B2 (en) * | 2007-06-27 | 2013-03-13 | 株式会社スプラシア | Moving image distribution system and moving image distribution method |
| JP4834639B2 (en) | 2007-09-28 | 2011-12-14 | 株式会社東芝 | Electronic device and image display control method |
| JP4834640B2 (en) | 2007-09-28 | 2011-12-14 | 株式会社東芝 | Electronic device and image display control method |
| JP4888469B2 (en) | 2008-02-05 | 2012-02-29 | コニカミノルタビジネステクノロジーズ株式会社 | Image distribution apparatus, image distribution method, and image distribution program |
| KR101334526B1 (en) * | 2011-03-02 | 2013-11-28 | 박재현 | Method for drawing using a transparent window |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0883224A (en) * | 1994-09-14 | 1996-03-26 | Hitachi Ltd | Multimedia mail system and mail terminal device |
| JPH1040058A (en) * | 1996-07-26 | 1998-02-13 | Fuji Xerox Co Ltd | Method for managing cooperative work information and system for supporting cooperative work |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05242166A (en) * | 1992-02-28 | 1993-09-21 | Fuji Xerox Co Ltd | Multi-media data editing and display system |
| JP4077525B2 (en) * | 1995-08-04 | 2008-04-16 | 松下電器産業株式会社 | Multimedia information reproducing apparatus and multimedia information recording apparatus |
| JP3471526B2 (en) * | 1995-07-28 | 2003-12-02 | 松下電器産業株式会社 | Information provision device |
| US5710897A (en) * | 1995-08-15 | 1998-01-20 | International Business Machines Corporation | Manager for selecting a pointer graphics folder and customizing pointers |
| JPH11232299A (en) * | 1998-02-18 | 1999-08-27 | Fujitsu Ltd | Information adding device and its program storage medium |
| CN1155199C (en) * | 1998-02-23 | 2004-06-23 | 国际商业机器公司 | Sequential chaining thermal target and continuous flow video browsing device in wanwei network browsing device |
| JP3083805B2 (en) * | 1998-08-28 | 2000-09-04 | インターナショナル・ビジネス・マシーンズ・コーポレ−ション | Browser operation automatic execution system and method |
| JP3961691B2 (en) * | 1998-09-14 | 2007-08-22 | 株式会社東芝 | Program sending system and program receiving apparatus for digital broadcasting system |
-
2000
- 2000-09-08 WO PCT/JP2000/006164 patent/WO2002023350A1/en active Application Filing
- 2000-09-08 JP JP2002527932A patent/JP4574113B2/en not_active Expired - Lifetime
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0883224A (en) * | 1994-09-14 | 1996-03-26 | Hitachi Ltd | Multimedia mail system and mail terminal device |
| JPH1040058A (en) * | 1996-07-26 | 1998-02-13 | Fuji Xerox Co Ltd | Method for managing cooperative work information and system for supporting cooperative work |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2002023350A1 (en) | 2002-03-21 |
| JPWO2002023350A1 (en) | 2004-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4201154B2 (en) | Digital story creation and playback method and system | |
| US20090055406A1 (en) | Content Distribution System | |
| US20030164847A1 (en) | Device for editing animating, mehtod for editin animation, program for editing animation, recorded medium where computer program for editing animation is recorded | |
| JP2007115180A (en) | Information processor, information display method and information display program | |
| TWI606384B (en) | Engaging presentation through freeform sketching | |
| JP2007535018A (en) | Multimedia digital content visualization and control technology | |
| KR20050094865A (en) | A programmable virtual book system | |
| Wempen | PowerPoint 2010 Bible | |
| TW201115362A (en) | System, method, and program for editing electronic document | |
| JP2015141664A (en) | Method for dynamically creating moving image on the basis of structured document, and electronic device, electronic system, and electronic device program therefor | |
| JP2014149634A (en) | Input/output device | |
| JP4010094B2 (en) | Lecture information presentation device for remote locations | |
| JP4514671B2 (en) | CONTENT EDITING DEVICE, COMPUTER-READABLE PROGRAM, AND RECORDING MEDIUM CONTAINING THE SAME | |
| JP4574113B2 (en) | Device for creating file for displaying additional information superimposed on display screen and magnetic recording medium | |
| Palaniappan et al. | Linking active anchors: A stage in the evolution of hypermedia | |
| JP2006050469A (en) | Content generating apparatus, content generating method, program and recording medium | |
| JP2004038283A (en) | Contents management program, information processor, and information processing method | |
| US20040145611A1 (en) | Method, program, and system for editing contents of multimedia | |
| JP2006113976A (en) | Content display device and method | |
| JP2011095809A (en) | Presentation support system | |
| JP2000250902A (en) | Computer readable recording medium recording contents production tool | |
| JP2004128724A (en) | Media editor, media editing method, media editing program, and recording medium | |
| JP2003067421A (en) | Information processing device, information processing method, recording medium and program | |
| JP3542293B2 (en) | Multimedia title editing apparatus, multimedia title editing method, and recording medium recording multimedia title editing program | |
| JP4096670B2 (en) | Image playback system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070821 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100601 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100728 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100817 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100818 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4574113 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |