JP2001052026A - ドキュメント処理装置 - Google Patents

ドキュメント処理装置

Info

Publication number
JP2001052026A
JP2001052026A JP11229738A JP22973899A JP2001052026A JP 2001052026 A JP2001052026 A JP 2001052026A JP 11229738 A JP11229738 A JP 11229738A JP 22973899 A JP22973899 A JP 22973899A JP 2001052026 A JP2001052026 A JP 2001052026A
Authority
JP
Japan
Prior art keywords
document
data
display
annotation
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11229738A
Other languages
English (en)
Other versions
JP2001052026A5 (ja
JP3945081B2 (ja
Inventor
Yuji Kobayashi
裕二 小林
Nobuo Suzuki
信雄 鈴木
Toru Ishigaki
徹 石垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP22973899A priority Critical patent/JP3945081B2/ja
Publication of JP2001052026A publication Critical patent/JP2001052026A/ja
Publication of JP2001052026A5 publication Critical patent/JP2001052026A5/ja
Application granted granted Critical
Publication of JP3945081B2 publication Critical patent/JP3945081B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 注釈として音声データを含んだドキュメント
の再生や、注釈を或る条件の下で再生するドキュメント
処理装置を提供する。 【解決手段】 記述内容を含む透過的レイヤを複数重ね
て画面に表示することにより、当該複数のレイヤに記述
された内容からなるドキュメント(データ構造)を構成
して画面表示するドキュメント処理装置であり、音声入
力手段から音声入力を受け付け、注釈作成手段が音声デ
ータを含む注釈レイヤを作成し、文書情報保持手段が当
該注釈レイヤをベースドキュメントに関連付けて保存す
る。また、表示データ作成手段7が文書情報保持手段に
保持されたレイヤデータから表示用ドキュメントデータ
を作成し、文書情報表示手段が作成された透過性レイヤ
を重ねて成るドキュメントを画面表示し、音声データ再
生手段が音声データに基づいて音声を再生出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数の電子的なレ
イヤデータから構成されたドキュメントを処理するドキ
ュメント処理装置に関し、特に、注釈として音声データ
を含んだドキュメントの再生や、注釈を或る条件の下で
再生するドキュメント処理装置に関する。
【0002】
【従来の技術】電子データとして構成されるドキュメン
トには、記述内容を含む透過的レイヤを複数重ねて画面
に表示することにより一体のドキュメントとして構成さ
れたものがあり、このようなドキュメントでは、ベース
となる記述を含んだレイヤにコメントなどの注釈を含ん
だレイヤを追加することによりドキュメントに記述内容
を追加して行くことができる。
【0003】より具体的には、ドキュメントは透明な複
数のレイヤから成っており、ユーザは各レイヤ上に任意
の書き込みを行うことができる。これら複数のレイヤを
重ねて画面表示することで各レイヤの記述内容を重ねて
表示し、1つのドキュメントとして画面表示することが
できる。また、ユーザがコメント等の新たな記述内容を
ドキュメントに追加するときには、新規レイヤ(作業用
レイヤ)を一時的に作成してこれにコメントを書き込
み、当該新規レイヤを確定操作によりドキュメントに追
加することで、ドキュメントに新たな記述内容が追加さ
れる。
【0004】ここで、会議の形態を考えると、従来の会
議では、関係者が会議室に集まり、資料ドキュメントを
出席者に配布したり、OHPで資料ドキュメントを投影
しながら会議が行われる。また、最近では、プロジェク
ターに接続されたPCを用いて電子文書ドキュメントを
表示しながら会議が行われることも多い。会議中には、
資料ドキュメントをもとにして発表者がプレゼンテーシ
ョンを行い、引き続き質疑応答やディスカッションなど
が行われる。
【0005】一方、インターネットやイントラネットが
急速に浸透してきた今日のネットワーク社会では、従来
と異なったワークスタイルで仕事が行われるようになっ
てきており、特にネットワークを介したコミュニケーシ
ョンを通じて、遠隔地に勤務するもの同士が共同で仕事
を行うようになってきている。このようなワークスタイ
ルでの会議を考えた場合、従来のように会議室等に一堂
に会して同期的かつ対面形式で行う会議より、むしろネ
ットワークを通じて非同期的かつ非対面で行う会議の機
会が増加していく傾向にある。
【0006】このような非同期的かつ非対面で行う会議
に適用できるものとして、マイクロソフト社のパワーポ
イント(PowerPoint:登録商標)が知られている。この
パワーポイントでは、従来プレゼンテーション時に説明
者が行っていた説明を、作成するプレゼンテーション用
電子文書ドキュメントに予め情報として含めておく必要
があり、そのためには複雑なオーサリング作業が必要と
なるが、音声注釈付きのプレゼンテーション用電子文書
ドキュメントを作成でき、また、音声に同期したアニメ
ーション効果を設定することも可能で、視聴者は、その
電子文書ドキュメントを音声注釈付きで表示/再生する
ことができる。
【0007】しかしながら、このパワーポイントでは、
プレゼンテーション時の自然行為(すなわち、音声と同
期した注釈の書込みや再生)ができず、話し手が聞き手
に情報を伝える一方向のコミュニケーションであり、プ
レゼンテーションを視聴した後に、引き続きディスカッ
ションを行いたい場合は、例えば電子メールなどの別の
手段を用いなければならないものであった。このため、
ディスカッションはテキストデータ中心の表現力の乏し
いものとなり、また、プレゼンテーションの内容とディ
スカッションの内容や論点を密接に関連付けることが難
しいものであった。
【0008】これに対して、特開平9−237264号
公報に記載される発明では、ドキュメントに注釈として
コメントを書き込むことができ、また、音声を入力しな
がらコメントを書き込むことができる。そして、このド
キュメントを表示再生するとドキュメントとともに音声
による注釈が再生され、音声に同期して書きこんだコメ
ントが表示される。しかしながら、この発明にあって
も、話し手が聞き手に情報を伝える一方向のコミュニケ
ーションであり、プレゼンテーションを視聴した後に、
引き続きディスカッションを行いたい場合は、例えば電
子メールなどの別の手段を用いなければならないもので
あった。
【0009】
【発明が解決しようとする課題】本発明は上記従来の事
情に鑑みなされたもので、音声注釈付きの電子ドキュメ
ントを簡便に作成でき、これを再生することができるド
キュメント処理装置を提供することを目的とする。ま
た、本発明は、音声入力と同期したコメントや画像の書
き込み及び再生ができるドキュメント処理装置を提供す
ることを目的とする。また、本発明は、プレゼンテーシ
ョンやディスカッションなどの種々な条件にしたがった
注釈の表示再生をすることができるドキュメント処理装
置を提供することを目的とする。なお、本発明の更なる
目的は、以下の説明において明らかなところである。
【0010】
【課題を解決するための手段】本発明は、記述内容を含
む透過的レイヤを複数重ねて画面に表示することによ
り、当該複数のレイヤに記述された内容からなるドキュ
メントを構成して画面表示するドキュメント処理装置で
あり、音声入力手段によりユーザからの音声入力を受け
付けると、注釈作成手段がこの音声データを含む注釈レ
イヤを作成し、文書情報保持手段が当該注釈レイヤを現
時点で画面表示されている等のユーザ指定されたドキュ
メントに関連付けて保存する。そして、再生処理におい
ては、表示データ作成手段が文書情報保持手段に保持さ
れたレイヤデータから表示用ドキュメントデータを作成
し、文書情報表示手段が作成された表示用データに基づ
いて複数の透過性レイヤを重ねて成るドキュメントを画
面表示するととともに、音声データ再生手段が画面表示
されたドキュメント中の音声データに基づいて音声を再
生出力する。
【0011】また、本発明に係るドキュメント処理装置
は、ユーザからの音声入力に同期した記述に付したアン
ダーラインや記述を囲む自由曲線などの描画入力を受け
付け付ける描画入力手段を有し、注釈作成手段はこの描
画データと音声データとを関係付けて含む注釈レイヤを
作成する。そして、音声データ再生手段はドキュメント
中の描画データに基づく画像が画面表示されるに同期し
て対応する音声データに基づいて音声を再生出力する。
また、本発明に係るドキュメント処理装置は、ユーザか
らの音声入力に同期したテキスト入力を受け付け付ける
コメント入力手段を有し、注釈作成手段はこのテキスト
データと音声データとを関係付けて含む注釈レイヤを作
成する。そして、音声データ再生手段はドキュメント中
のテキストデータに基づくコメントが画面表示されるに
同期して対応する音声データに基づいて音声を再生出力
する。
【0012】また、本発明に係るドキュメント処理装置
は、画面表示するか否かのレイヤ毎の設定入力をユーザ
から受け付ける表示設定入力手段と、受け付けた設定入
力に応じて非表示設定されたレイヤを除いた表示用ドキ
ュメントデータを表示用ドキュメントデータ作成手段に
作成させる表示状態設定手段とを有し、表示することが
設定されている注釈だけを再生出力する。
【0013】また、本発明に係るドキュメント処理装置
は、文書情報保持手段には作成時刻情報が付加された注
釈レイヤがドキュメントに関連付けて保存されており、
再生制御手段が注釈レイヤをその作成時刻順に管理し
て、この管理下で、表示データ作成手段が文書情報保持
手段に保持されたレイヤデータから注釈レイヤをその作
成時刻順に表示させる表示用ドキュメントデータを作成
して、文書情報表示手段が作成された表示用データに基
づいて注釈レイヤを順次画面表示させて複数の透過性レ
イヤを重ねて成るドキュメントを画面表示する。また、
本発明に係るドキュメント処理装置は、注釈の表示期間
指示をユーザから受け付ける表示開始時期入力手段を有
し、再生制御手段は受け付けた表示期間に合致する注釈
レイヤをその作成時刻順に表示させる表示用ドキュメン
トデータを表示データ作成手段に作成させ、一連の注釈
を或る時間の範囲に制限して再生する。
【0014】また、本発明に係るドキュメント処理装置
は、文書情報保持手段には目的種別情報が付加された注
釈レイヤをドキュメントに関連付けて保存しており、再
生制御手段が注釈レイヤをその目的種別情報に基づいて
管理する。そして、目的入力手段により用途やプレゼン
テーションの対象者などの表示する注釈の目的指示をユ
ーザから受け付けると、再生制御手段による管理下に、
表示データ作成手段が文書情報保持手段に保持されたレ
イヤデータから受け付けた目的指示に合致する注釈レイ
ヤを表示させる表示用ドキュメントデータを作成し、文
書情報表示手段が作成された表示用データに基づいて注
釈レイヤを画面表示させて複数の透過性レイヤを重ねて
成るドキュメントを画面表示する。
【0015】また、本発明に係るドキュメント処理装置
は、文書情報保持手段には作成者情報が付加された注釈
レイヤをドキュメントに関連付けて保存しており、再生
制御手段が注釈レイヤをその作成者情報に基づいて管理
する。そして、作成者入力手段により表示する注釈の作
成者指示をユーザから受け付けると、再生制御手段によ
る管理下に、表示データ作成手段が文書情報保持手段に
保持されたレイヤデータから受け付けた作成者指示に合
致する注釈レイヤを表示させる表示用ドキュメントデー
タを作成し、文書情報表示手段が作成された表示用デー
タに基づいて注釈レイヤを画面表示させて複数の透過性
レイヤを重ねて成るドキュメントを画面表示する。
【0016】
【発明の実施の形態】本発明を、図に示す一実施例を用
いて具体的に説明する。図1には本実施例に係るドキュ
メント処理装置の構成を示してある。なお、本例では、
下記に説明する各機能手段はコンピュータハードウエア
資源を用いて本発明に係るプログラムを実行することに
より構成されている。
【0017】ユーザイベント入力手段1は、キーボード
やマウスなどのユーザ入力インタフェース機器を有して
おり、後述するように、注釈コメントなどのテキストデ
ータ、注釈のためのアンダーラインや矢印などの描画デ
ータ、レイヤに対する表示或いは非表示の設定入力、表
示開始の期間入力、表示目的の設定入力、表示するレイ
ヤ作成者の設定入力、その他の各種指示入力をユーザか
らのイベント入力として受け付ける。ユーザイベント解
釈手段2は、ユーザイベント入力手段1から受け付けた
ユーザイベントを解釈して、対応する機能手段へ当該イ
ベント指示を入力する。
【0018】音声入力手段3は、マイクロホンを有して
おり、ユーザが発した音声コメントデータを受け付け
る。注釈作成手段4は、上記のようにして受け付けたテ
キストデータ、描画データ、音声データを含む注釈レイ
ヤデータを作成する。文書情報保持手段5は、読み書き
自在なメモリを有しており、作成された注釈レイヤを当
該注釈の対象となるドキュメントデータに関連付けて保
持する。
【0019】なお、文書情報保持手段5は、注釈を関連
付けるベースとなるドキュメントデータも保持するよう
にしてもよいが、本例では、べースドキュメントデータ
は外部のローカルファイルシステム16や文書管理サー
バ17に格納されており、当該ベースドキュメントデー
タと注釈レイヤデータとが関連付けられる。ここで、本
例では以下に説明するようにドキュメントが画面表示さ
れている時に注釈データが入力されると、当該ドキュメ
ントデータに対してその注釈レイヤを関連付けて保持す
るようにしているが、任意の格納ドキュメントを指定し
て注釈レイヤを関連付けるようにしてもよい。
【0020】文書表示状態設定手段6は、ユーザから受
け付けた注釈レイヤに対する表示或いは非表示の設定入
力に応じて、表示用データにいずれの注釈レイヤを含ま
せるかを制御する。なお、文書表示状態設定手段6は、
画面表示されている表示用データに現在どのような注釈
レイヤが含まれているか管理するカレント状態保持手段
6aを有しており、このカレント状態は後述する再生制
御において利用される。
【0021】表示データ作成手段7は、文書情報保持手
段5から供給されるベースドキュメントデータ及び当該
ベースドキュメントデータに関連付けられた注釈レイヤ
データに基づいて、画面表示のための表示用データ及び
音声再生用の音声データを作成する。なお、表示データ
作成手段7は、この表示用データの作成に際して、文書
表示状態設定手段6による制御を受けて、非表示に設定
された注釈レイヤを除いた表示用データを作成する。ま
た、文書情報保持手段5からの注釈レイヤデータの供給
は後述する再生制御手段10による受けて、表示データ
作成手段7は供給される注釈レイヤデータが更新される
毎に表示用データを更新して、これを画面表示させる。
【0022】文書情報表示手段8はディスプレイ画面を
有しており、表示データ作成手段7から供給された表示
用データに基づいて透過性レイヤを複数重ねて成るドキ
ュメントを画面表示する。なお、画面表示構成について
は図4を参照して後述する。音声データ再生手段9はス
ピーカを有しており、表示データ作成手段7から供給さ
れる画面表示された注釈レイヤに含まれる音声データを
再生制御手段10による制御の下に再生出力する。
【0023】再生制御手段10は、ユーザから入力され
た各種の設定や指示に応じて、文書情報保持手段5から
の注釈レイヤデータの供給を制御して表示データ作成部
7が作成する表示用データを更新させて、文書情報表示
手段8で画面表示される注釈内容を制御する。すなわ
ち、再生制御手段10は、1つの注釈レイヤに含まれて
いる複数の注釈データの再生タイミングをスケジュール
するコメントスケジュール生成手段10aと、作成され
たコメントスケジュールに基づいてこれら注釈データ毎
の再生タイミング(すなわち、文書情報保持部5から供
給して表示用データに含ませるタイミング)を制御する
コメントスケジュール制御手段10bと、ベースドキュ
メントを共に再生する複数の注釈レイヤの再生タイミン
グをスケジュールするレイヤスケジュール生成手段10
cと、作成されたレイヤスケジュールに基づいてこれら
注釈レイヤ毎の再生タイミング(すなわち、文書情報保
持部5から供給して表示用データに含ませるタイミン
グ)を制御するレイヤスケジュール制御手段10dとを
有しており、注釈レイヤに関する画面表示制御を行う。
【0024】本例で扱うドキュメントは、図2に示すよ
うな構成となっている。ベースとなるドキュメント(文
書)は複数のページ(Page1、Page2、・・)
から構成されており、各ページには透過性の複数の注釈
レイヤ(レイヤ1.1、1.2、・・、2.1、2.2、・
・)が重ねて表示される。そして、各注釈レイヤは複数
の注釈データを含むことが可能であり、例えば、描画デ
ータと音声データとが同期して再生されるように関連付
けられて含まれる。
【0025】このようなドキュメントは、図3に示すよ
うなデータ構造となっている。複数(n)ページのベー
スドキュメントから成る文書のデータには、文書名や文
書IDなどと共にページリストが含まれており、このペ
ージリストによって各ページを構成するベースドキュメ
ントデータに関連付けられている。各ページ(ベースド
キュメント)のデータには、ページIDなどと共にレイ
ヤリストが含まれており、このレイヤリストによって当
該ページに注釈レイヤ(レイヤ)データが関連付けられ
ている。
【0026】各レイヤデータには、レイヤIDやレイヤ
名と共に、当該注釈レイヤを作成した作成者名(すなわ
ち、注釈を行ったユーザ名)と、当該注釈レイヤの作成
時刻(すなわち、注釈を行った時刻)、当該注釈レイヤ
がどのような目的を持っているかを示すキーワード(す
なわち、「重要」「営業用」など注釈の使用目的を示す
キーワード)、当該注釈レイヤがどのようなプレゼンテ
ーションにおいて作成されたか(すなわち、どのプレゼ
ンテーションにおいてなされた注釈か)を示すプレゼン
テーション名、当該注釈レイヤに参照のために関連付け
られた他のレイヤのIDやその参照再生を行うタイミン
グ、当該注釈レイヤに含まれる注釈データ(コメント)
のリストが含まれており、このコメントリストによって
当該注釈レイヤに含まれる各注釈データ(コメント)に
関連付けられている。
【0027】各コメントデータには、コメントID、当
該コメントを作成した時刻(すなわち、当該注釈を行っ
た時刻)、当該コメントがテキストによるのもか音声に
よるのもか描画によるものか等を示すコメントタイプ、
コメントタイプが音声であるときのその音声データの再
生時間長、当該コメントの注釈レイヤ上における再生表
示位置を示す座標、テキストデータや音声データや描画
データなどから成る注釈内容の実データ(コメントデー
タ)が含まれている。
【0028】上記した文書情報表示手段8の画面には、
図4に示すような表示がなされ、ユーザに対するドキュ
メントの表示出力やユーザイベント入力手段1からの入
力を受け付ける。メニューバーには、ユーザコマンドを
選択するための各種ボタンが設けられており、ツールバ
ーには、ユーザコマンドのショートカットアイコンが設
けられている。文書構造表示部には、図5に詳示するよ
うに、ベースドキュメントの各ページ(No.1、No.
2、・・)のアイコンと、各ページに関連付けられてい
る注釈レイヤのアイコン及びタイトル(個人レイヤ、共
有レイヤ、・・)が一覧表示される。
【0029】また、各ページアイコンにはチェックボッ
クスが付設されており、このチェックボックスをユーザ
操作でチェックすると当該ページが画面表示される。ま
た、各注釈レイヤアイコンにはチェックボックスが付設
されており、このチェックボックスをユーザ操作でチェ
ックすると当該注釈レイヤはベースドキュメントともに
画面表示され、チェックを消去すると画面表示されない
非表示に設定される。
【0030】図4に示すように、画面中の文書表示部に
は、チェックボックスによって表示選択されたページ
と、当該ページに関連付けられている内でチェックボッ
クスによって表示選択された注釈レイヤとが重ねて表示
され、これによって、ベースドキュメントページの記述
内容と注釈レイヤの記述内容とがマージして表示され
る。
【0031】次に、上記構成のドキュメント処理装置に
よる各種処理を説明する。まず、注釈レイヤを追加する
場合には、ユーザがイベント入力手段1から指示入力を
行って、注釈を付したいベースドキュメントのページを
文書情報表示手段8の画面に表示して、メニューバーか
ら「意見追加」コマンドを選択すると、注釈作成手段4
が新規のレイヤを作成して当該表示ページに関連付けて
文書情報保持部5に格納する。なお、この新規レイヤに
は、レイヤID、レイヤ名、作成者名、作成時刻、など
が注釈作成手段4によって自動的に与えられる。
【0032】また、ユーザがイベント入力手段1から指
示入力を行って、既存の注釈レイヤを選択した状態で、
メニューバーから「関連意見追加」コマンドを選択する
と、注釈作成手段4が新規のレイヤを作成して表示ペー
ジに関連付けて文書情報保持部5に格納する。なお、こ
れによって作成されたレイヤは参照レイヤとなり、選択
された既存レイヤとの参照関係が注釈作成手段4によっ
て自動的に与えられる。ここで、ユーザがイベント入力
手段1から指示入力を行って、メニューバーから「レイ
ヤプロパティ」を選択すると、画面上にレイヤのプロパ
ティ設定ダイアログが開き、「プレゼンテーション名」
や「キーワード」を任意のテキストで入力することがで
きる。
【0033】また、ユーザがイベント入力手段1から指
示入力を行って、新規に追加されたレイヤを選択し、メ
ニューバーから「コメント収録」コマンドを選択する
と、当該選択レイヤに対して注釈データを書き込むこと
ができる。すなわち、ユーザがイベント入力手段1から
入力したテキストデータや描画データのコメントや、ユ
ーザが音声入力手段3から入力した音声データのコメン
トが、注釈作成手段4がによって当該注釈レイヤに書き
込まれて文書情報保持部5に格納される。なお、音声コ
メントを入力する場合には、図6に示すように画面上に
音声収録ダイアログが開いて、音声入力手段3を操作す
ることができる。ここで、これらコメントデータには注
釈作成手段4がによってそれぞれの作成時刻が付加さ
れ、同一の注釈レイヤに複数のコメントデータが書きこ
まれた場合でもこれらコメントの入力順序が管理され
る。
【0034】次いで、文書情報保持手段5に格納されて
いる注釈レイヤの再生処理について説明する。まず、ユ
ーザがイベント入力手段1から指示入力を行うと、文書
情報表示部8の画面には図4に示したような表示がなさ
れ、文書構造表示部にはベースとなるページドキュメン
トとその注釈レイヤの一覧が表示される。そして、ユー
ザがイベント入力手段1から指示入力を行って、チェッ
クボックスにより表示させたいページ及び注釈レイヤを
選択すると、これら表示選択されたペースページ上に注
釈レイヤを重ねたドキュメントページが画面の文書表示
部に表示される。
【0035】次いで、ユーザが1つの注釈レイヤのみを
選択した場合の再生処理について説明する。まず、この
ような選択指示をユーザがイベント入力手段1から入力
すると、コメントスケジュール作成手段10aがカレン
ト状態保持手段6aから現在画面表示されているベース
ページの情報及びユーザによって表示選択された注釈レ
イヤのIDを取得して、文書情報保持部5から当該注釈
レイヤのデータを取得する。
【0036】そして、コメントスケジュール作成手段1
0aは、取得したレイヤデータから、当該注釈レイヤに
含まれる各注釈(コメント)の作成時刻に基づいて、こ
れらコメントを再生するコメントスケジュールを作成す
る。このコメントスケジュールは同一の注釈レイヤに含
まれている複数のコメントを再生するためのタイムテー
ブルであり、例えば音声コメントと音声に同期して入力
された描画コメントとが含まれている場合には、音声コ
メントと描画コメントとが入力状況を再現できるように
タイミングスケジュールされる。
【0037】そして、コメントスケジュール制御手段1
0bが、生成されたコメントスケジュールにしたがっ
て、文書表示状態設定手段6及び文書情報保持部5を制
御して、表示データ作成手段7にコメントスケジュール
にしたがって表示用データの更新を行わせて、文書情報
表示手段8および音声データ再生手段9にコメントスケ
ジュールにしたがって各コメントを再生させる。
【0038】次いで、ユーザが複数の注釈レイヤの連続
再生を選択した場合の再生処理について説明する。ま
ず、このような連続再生指示をユーザがイベント入力手
段1から入力すると、図7〜図10を参照して後述する
ような指示された要求条件に応じた種々な態様の再生が
なされるが、基本的には下記のような処理が行われる。
すなわち、レイヤスケジュール作成手段10cが、カレ
ント状態保持手段6aから現在画面表示されているベー
スページの情報及び当該ページに関連付けられている複
数の注釈レイヤIDを取得して、文書情報保持部5から
当該注釈レイヤのデータを取得する。
【0039】そして、レイヤスケジュール作成手段10
cは、取得したレイヤデータから、ユーザの要求条件に
応じて、これら複数の注釈レイヤを再生するレイヤスケ
ジュールを作成する。このレイヤスケジュールは表示さ
れたページに対して複数の注釈レイヤ再生するためのタ
イムテーブルである。なお、この各注釈レイヤの再生に
おいて上記のように複数のコメントが含まれているとき
には、上記のコメントスケジュール制御も併用される。
【0040】そして、レイヤスケジュール制御手段10
dが、生成されたレイヤスケジュールにしたがって、文
書表示状態設定手段6及び文書情報保持部5を制御し
て、表示データ作成手段7にレイヤスケジュールにした
がって表示用データの更新を行わせて、文書情報表示手
段8および音声データ再生手段9にレイヤスケジュール
にしたがって各注釈レイヤを再生させる。
【0041】このような連続再生の第1の態様例とし
て、ユーザがイベント入力手段1から「プレゼンテーシ
ョン再生」を指示した場合を、ベースドキュメントペー
ジ及び注釈レイヤのデータ構造を示す図7を参照して説
明する。画面表示されているドキュメントに設定されて
いるプレゼンテーションのリストをユーザに対して提示
して、ユーザから所望のプレゼンテーションが選択され
ると、再生制御手段10が選択されたプレゼンテーショ
ンに対応するレイヤスケジュールを作成して、当該スケ
ジュールにしたがった再生処理を行う。
【0042】ここで、プレゼンテーションリストは、レ
イヤデータに含まれているプレゼンテーション名情報に
基づいて作成され、また、ユーザに選択されたプレゼン
テーションに対応するスケジュールは対応するプレゼン
テーション名が含まれる注釈レイヤデータを用いて作成
される。また、このレイヤスケジュールの作成に際し
て、注釈レイヤが複数ある場合にはその作成時刻順に再
生されるスケジュールを作成し、また、ドキュメントが
複数のページからなる場合には、第1ページから順次各
ページことのレイヤスケジュールが作成される。したが
って、このような作成されたレイヤスケジュールにした
がって注釈の再生が行われることにより、ベースドキュ
メントを用いてコメントを付記したり音声コメントを付
けたりしながら行ったプレゼンテーションが文書情報表
示手段8及び音声データ再生手段9によりそのときの状
況のままに再現される。
【0043】次に、連続再生の第2の態様例として、ユ
ーザがイベント入力手段1から「ディスカッション経緯
再生」を指示した場合を、ベースドキュメントページ及
び注釈レイヤのデータ構造を示す図8を参照して説明す
る。画面表示されているドキュメントに関連付けられて
いる所望の注釈レイヤを、ユーザが画面の文書構造表示
部のリストから選択すると、再生制御手段10が選択さ
れた注釈レイヤに至るまでに時系列でなされた種々の注
釈(すなわち、これら注釈を複数のユーザが付け合うこ
とによりなされたディスカッション)をスケジュールし
て再生させる。すなわち、関連付けられている複数の注
釈レイヤデータの作成時刻に基づいて、選択された注釈
レイヤの作成時刻に至るまでの時間を遡ったディスカッ
ションを、文書情報表示手段8及び音声データ再生手段
9からスケジュールにしたがって作成時刻順に注釈レイ
ヤを再生させることにより再現する。
【0044】次に、連続再生の第3の態様例として、ユ
ーザがイベント入力手段1から「ディスカッション展開
再生」を指示した場合を、図8を参照して説明する。画
面表示されているドキュメントに関連付けられている所
望の注釈レイヤを、ユーザが画面の文書構造表示部のリ
ストから選択すると、再生制御手段10が選択された注
釈レイヤを基点として展開された参照関係にある他の注
釈レイヤからなるスケジュールを作成して、これら注釈
レイヤをスケジュールにしたがって再生させる。すなわ
ち、注釈レイヤデータの参照レイヤ情報に基づいて、選
択された注釈レイヤに参照関係があるレイヤIDを取得
し、参照レイヤが複数ある場合には作成時刻の古い順に
整理してスケジュールを作成し、文書情報表示手段8及
び音声データ再生手段9からスケジュールにしたがって
これら注釈レイヤを再生させることにより、或る注釈コ
メントを基点として展開されたディスカッションを再現
する。
【0045】次に、連続再生の第4の態様例として、ユ
ーザがイベント入力手段1から「ディスカッション時系
列再生」を指示した場合を、図8を参照して説明する。
画面表示されているドキュメントページを、ユーザが画
面の文書構造表示部のリストから選択すると、再生制御
手段10が選択されたドキュメントページに関連付けら
れている全ての注釈レイヤをその作成時刻の古い順に再
生させるスケジュールを作成して、これら注釈レイヤを
スケジュールにしたがって再生させる。
【0046】次に、連続再生の第5の態様例として、ユ
ーザがイベント入力手段1から「キーワード再生」を指
示した場合を、ベースドキュメントページ及び注釈レイ
ヤのデータ構造を示す図9を参照して説明する。このよ
うな指示がなされると画面上にキーワード入力用のダイ
アログが開き、ユーザからキーワードが入力されると、
再生制御手段10が当該キーワードに対応する注釈レイ
ヤの再生スケジュールを作成し、これら注釈レイヤをス
ケジュールにしたがって再生させる。すなわち、注釈レ
イヤデータのキーワード(KeyWord)情報に基づ
いて、ユーザが指定したキーワードが設定されている注
釈レイヤIDを取得し、これら注釈レイヤを作成時刻の
古い順に整理してスケジュールを作成し、文書情報表示
手段8及び音声データ再生手段9からスケジュールにし
たがってこれら注釈レイヤを再生させることにより、例
えば、営業のためのプレゼンテーションをこれら注釈コ
メントの再生により実現する。
【0047】次に、連続再生の第6の態様例として、ユ
ーザがイベント入力手段1から「発言者別再生」を指示
した場合を、図9を参照して説明する。このような指示
と共にユーザから発言者(すなわち、注釈の作成者)を
指定する入力がなされると、再生制御手段10が当該発
言者が作成した注釈レイヤの再生スケジュールを作成
し、これら注釈レイヤをスケジュールにしたがって再生
させる。すなわち、注釈レイヤデータの作成者情報に基
づいて、ユーザが指定した発言者(作成者)が設定され
ている注釈レイヤIDを取得し、これら注釈レイヤを作
成時刻の古い順に整理してスケジュールを作成し、文書
情報表示手段8及び音声データ再生手段9からスケジュ
ールにしたがってこれら注釈レイヤを再生させることに
より、表示されたドキュメントに対して或るユーザがど
のような注釈コメントをどのような経緯で行ったかを再
生することができる。
【0048】次に、連続再生の第7の態様例として、ユ
ーザがイベント入力手段1から「自分中心再生」を指示
した場合を、図8を参照して説明する。この態様は、上
記の第6の態様の一形態でもあり、このような指示がユ
ーザから入力がなされると、再生制御手段10が当該ユ
ーザが作成した注釈レイヤの再生スケジュールを作成
し、これら注釈レイヤをスケジュールにしたがって再生
させる。すなわち、注釈レイヤデータの作成者情報に基
づいて、当該ユーザが作成者に設定されている注釈レイ
ヤIDを取得し、これら注釈レイヤを作成時刻の古い順
に整理してスケジュールを作成し、文書情報表示手段8
及び音声データ再生手段9からスケジュールにしたがっ
てこれら注釈レイヤを再生させる。
【0049】次に、連続再生の第8の態様例として、ユ
ーザがイベント入力手段1から「目的別プレゼンテーシ
ョン」を指示した場合を、図7を参照して説明する。こ
のような指示がなされると画面上にキーワード及びプレ
ゼンテーション名の入力用のダイアログが開き、ユーザ
からキーワード及びプレゼンテーション名が入力される
と、再生制御手段10が当該キーワード及びプレゼンテ
ーション名に対応する注釈レイヤの再生スケジュールを
作成し、これら注釈レイヤをスケジュールにしたがって
再生させる。すなわち、注釈レイヤデータのキーワード
(KeyWord)情報及びプレゼンテーション名情報
に基づいて、ユーザが指定したキーワードとプレゼンテ
ーション名とが共に設定されている注釈レイヤIDを取
得し、これら注釈レイヤを作成時刻の古い順に整理して
スケジュールを作成し、文書情報表示手段8及び音声デ
ータ再生手段9からスケジュールにしたがってこれら注
釈レイヤを再生させることにより、例えば、営業のため
で且つ「説明1」のためのプレゼンテーションをこれら
注釈コメントの再生により実現する。
【0050】次に、連続再生の第9の態様例として、ユ
ーザがイベント入力手段1から「ディスカッション途中
参照再生」を指示した場合を、ベースドキュメントペー
ジ及び注釈レイヤのデータ構造を示す図10を参照して
説明する。ここで、図3にも示したように、注釈レイヤ
データには参照レイヤの属性としてポーズ中の参照レイ
ヤIDとポーズした時点の経過時間(参照タイム)が設
定されており、例えば、或る注釈レイヤを再生中にポー
ズ状態として、「関連意見の追加」コマンドを実行する
と、注釈作成手段4によって参照レイヤの属性としてポ
ーズ中のレイヤのID及びポーズした時点の再生経過時
間が記録されたレイヤが作成される。
【0051】このような指示がなされると、再生制御手
段10が、注釈レイヤデータの参照レイヤ属性に基づい
て注釈レイヤIDを取得し、これら注釈レイヤのスケジ
ュールを作成し、文書情報表示手段8及び音声データ再
生手段9からスケジュールにしたがってこれら注釈レイ
ヤを再生させる。例えば、注釈レイヤAの再生時間が全
部で3分50秒だとし、注釈レイヤBの参照がレイヤA
の2分10秒時点で成されていたとすると、これらを
「ディスカッション途中参照再生」により連続再生する
と、まず、注釈レイヤAを2分10秒のところまで再生
し、次いで、注釈レイヤBを再生し、この注釈レイヤB
の再生が終了したところで、注釈レイヤAの2分10秒
以降の部分が再生される。
【0052】
【発明の効果】以上説明したように、本発明によれば、
音声注釈付きの電子ドキュメントを簡便に作成でき、ま
た、これを注釈が付された状況を再現して再生すること
ができる。また、本発明によれば、音声入力と同期した
コメントや画像の書き込み及び再生が行え、また、プレ
ゼンテーションやディスカッションなどの種々な条件に
したがった注釈の表示再生を行うことができる。これに
より、本発明によれば、遠隔非同期でのプレゼンテーシ
ョンやディスカッションを、簡便かつ円滑に行うことが
できる。
【図面の簡単な説明】
【図1】 本発明の一実施形態に係るドキュメント処理
装置の構成図である。
【図2】 ベースドキュメント及び注釈レイヤにより構
成されるドキュメントを説明する概念図である。
【図3】 ベースドキュメント及び注釈レイヤのデータ
構造を説明する概念図である。
【図4】 画面表示の一例を説明する概念図である。
【図5】 文書構造の画面表示の一例を説明する概念図
である。
【図6】 音声収録ダイアログの一例を説明する概念図
である。
【図7】 注釈レイヤの連続再生の具体的な態様例を説
明する概念図である。
【図8】 注釈レイヤの連続再生の具体的な態様例を説
明する概念図である。
【図9】 注釈レイヤの連続再生の具体的な態様例を説
明する概念図である。
【図10】 注釈レイヤの連続再生の具体的な態様例を
説明する概念図である。
【符号の説明】
1:ユーザイベント入力手段、 2:ユーザイベント解
釈手段、3:音声入力手段、 4:注釈作成手段、5:
文書情報保持手段、 6:文書表示状態設定手段、7:
表示データ作成手段、 8:文書情報表示手段、9:音
声データ再生手段、 10:再生制御手段、
───────────────────────────────────────────────────── フロントページの続き (72)発明者 石垣 徹 神奈川県足柄上郡中井町境430 グリーン テクなかい 富士ゼロックス株式会社内 Fターム(参考) 5B075 ND03 ND06 ND14 ND16 NK02 NK06 NK13 NK25 NK44 NR03 NR12 NS01 PP03 PP07 PP13 PP22 PP24 PQ02 PQ04 PQ29 PQ32 PQ40 PQ46 PQ69 PQ76 UU06 UU40

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 記述内容を含む透過的レイヤを複数重ね
    て画面に表示することにより、当該複数のレイヤに記述
    された内容からなるドキュメントを構成して画面表示す
    るドキュメント処理装置において、 ユーザからの音声入力を受け付ける音声入力手段と、 受け付けた音声データを含む注釈レイヤを作成する注釈
    作成手段と、 作成された注釈レイヤをユーザ指定されたドキュメント
    に関連付けて保存する文書情報保持手段と、 文書情報保持手段に保持されたレイヤデータから表示用
    ドキュメントデータを作成する表示データ作成手段と、 作成された表示用データに基づいて複数の透過性レイヤ
    を重ねて成るドキュメントを画面表示する文書情報表示
    手段と、 画面表示されたドキュメント中の音声データに基づいて
    音声を再生出力する音声データ再生手段と、 を備えたことを特徴とするドキュメント処理装置。
  2. 【請求項2】 請求項1に記載のドキュメント処理装置
    において、 ユーザからの音声入力に同期した描画入力を受け付ける
    描画入力手段を有し、 注釈作成手段は受け付けた描画データと音声データとを
    関係付けて含む注釈レイヤを作成し、 音声データ再生手段はドキュメント中の描画データに基
    づく画像が画面表示されるに同期して対応する音声デー
    タに基づいて音声を再生出力することを特徴とするドキ
    ュメント処理装置。
  3. 【請求項3】 請求項1又は請求項2に記載のドキュメ
    ント処理装置において、 ユーザからの音声入力に同期したテキスト入力を受け付
    けるコメント入力手段を有し、 注釈作成手段は受け付けたテキストデータと音声データ
    とを関係付けて含む注釈レイヤを作成し、 音声データ再生手段はドキュメント中のテキストデータ
    に基づくコメントが画面表示されるに同期して対応する
    音声データに基づいて音声を再生出力することを特徴と
    するドキュメント処理装置。
  4. 【請求項4】 請求項1乃至請求項3のいずれか1項に
    記載のドキュメント処理装置において、 画面表示するか否かのレイヤ毎の設定入力をユーザから
    受け付ける表示設定入力手段と、 受け付けた設定入力に応じて非表示設定されたレイヤを
    除いた表示用ドキュメントデータを表示用ドキュメント
    データ作成手段に作成させる表示状態設定手段と、 を有したことを特徴とするドキュメント処理装置。
  5. 【請求項5】 記述内容を含む透過的レイヤを複数重ね
    て画面に表示することにより、当該複数のレイヤに記述
    された内容からなるドキュメントを構成して画面表示す
    るドキュメント処理装置において、 作成時刻情報が付加された注釈レイヤをドキュメントに
    関連付けて保存する文書情報保持手段と、 注釈レイヤをその作成時刻順に管理する再生制御手段
    と、 再生制御手段による管理下に文書情報保持手段に保持さ
    れたレイヤデータから注釈レイヤをその作成時刻順に表
    示させる表示用ドキュメントデータを作成する表示デー
    タ作成手段と、 作成された表示用データに基づいて注釈レイヤを順次画
    面表示させて複数の透過性レイヤを重ねて成るドキュメ
    ントを画面表示する文書情報表示手段と、 を備えたことを特徴とするドキュメント処理装置。
  6. 【請求項6】 請求項5に記載のドキュメント処置装置
    において、 注釈の表示期間指示をユーザから受け付ける表示開始時
    期入力手段を有し、 再生制御手段は受け付けた表示期間に合致する注釈レイ
    ヤをその作成時刻順に表示させる表示用ドキュメントデ
    ータを表示データ作成手段に作成させることを特徴とす
    るドキュメント処理装置。
  7. 【請求項7】 記述内容を含む透過的レイヤを複数重ね
    て画面に表示することにより、当該複数のレイヤに記述
    された内容からなるドキュメントを構成して画面表示す
    るドキュメント処理装置において、 目的種別情報が付加された注釈レイヤをドキュメントに
    関連付けて保存する文書情報保持手段と、 注釈レイヤをその目的種別情報に基づいて管理する再生
    制御手段と、 表示する注釈の目的指示をユーザから受け付ける目的入
    力手段と、 再生制御手段による管理下に文書情報保持手段に保持さ
    れたレイヤデータから受け付けた目的指示に合致する注
    釈レイヤを表示させる表示用ドキュメントデータを作成
    する表示データ作成手段と、 作成された表示用データに基づいて注釈レイヤを画面表
    示させて複数の透過性レイヤを重ねて成るドキュメント
    を画面表示する文書情報表示手段と、 を備えたことを特徴とするドキュメント処理装置。
  8. 【請求項8】 記述内容を含む透過的レイヤを複数重ね
    て画面に表示することにより、当該複数のレイヤに記述
    された内容からなるドキュメントを構成して画面表示す
    るドキュメント処理装置において、 作成者情報が付加された注釈レイヤをドキュメントに関
    連付けて保存する文書情報保持手段と、 注釈レイヤをその作成者情報に基づいて管理する再生制
    御手段と、 表示する注釈の作成者指示をユーザから受け付ける作成
    者入力手段と、 再生制御手段による管理下に文書情報保持手段に保持さ
    れたレイヤデータから受け付けた作成者指示に合致する
    注釈レイヤを表示させる表示用ドキュメントデータを作
    成する表示データ作成手段と、 作成された表示用データに基づいて注釈レイヤを画面表
    示させて複数の透過性レイヤを重ねて成るドキュメント
    を画面表示する文書情報表示手段と、 を備えたことを特徴とするドキュメント処理装置。
JP22973899A 1999-08-16 1999-08-16 ドキュメント処理装置及び処理方法 Expired - Fee Related JP3945081B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22973899A JP3945081B2 (ja) 1999-08-16 1999-08-16 ドキュメント処理装置及び処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22973899A JP3945081B2 (ja) 1999-08-16 1999-08-16 ドキュメント処理装置及び処理方法

Publications (3)

Publication Number Publication Date
JP2001052026A true JP2001052026A (ja) 2001-02-23
JP2001052026A5 JP2001052026A5 (ja) 2004-11-25
JP3945081B2 JP3945081B2 (ja) 2007-07-18

Family

ID=16896922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22973899A Expired - Fee Related JP3945081B2 (ja) 1999-08-16 1999-08-16 ドキュメント処理装置及び処理方法

Country Status (1)

Country Link
JP (1) JP3945081B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004282186A (ja) * 2003-03-13 2004-10-07 Fuji Xerox Co Ltd 連続データへのユーザデータ関連付け装置
WO2006051716A1 (ja) * 2004-11-12 2006-05-18 Justsystems Corporation 文書処理装置及び文書処理方法
JP2006519443A (ja) * 2003-02-28 2006-08-24 アペリオ・テクノロジーズ・インコーポレイテッド バーチャルスライドを閲覧するためのシステムおよび方法
JP2011044877A (ja) * 2009-08-20 2011-03-03 Sharp Corp 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム
JP2012113722A (ja) * 2010-11-26 2012-06-14 Samsung Electronics Co Ltd 携帯端末における電子書籍サービス提供方法及び装置
US8620047B2 (en) 2005-01-27 2013-12-31 Leica Biosystems Imaging, Inc. Viewing three dimensional digital slides

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012059290A (ja) * 2003-02-28 2012-03-22 Aperio Technologies Inc バーチャルスライドを閲覧するためのシステムおよび方法
JP2006519443A (ja) * 2003-02-28 2006-08-24 アペリオ・テクノロジーズ・インコーポレイテッド バーチャルスライドを閲覧するためのシステムおよび方法
JP2010061678A (ja) * 2003-02-28 2010-03-18 Aperio Technologies Inc バーチャルスライドを閲覧するためのシステムおよび方法
JP2004282186A (ja) * 2003-03-13 2004-10-07 Fuji Xerox Co Ltd 連続データへのユーザデータ関連付け装置
WO2006051716A1 (ja) * 2004-11-12 2006-05-18 Justsystems Corporation 文書処理装置及び文書処理方法
JPWO2006051716A1 (ja) * 2004-11-12 2008-05-29 株式会社ジャストシステム 文書処理装置及び文書処理方法
US8620047B2 (en) 2005-01-27 2013-12-31 Leica Biosystems Imaging, Inc. Viewing three dimensional digital slides
US8953859B2 (en) 2005-01-27 2015-02-10 Leica Biosystems Imaging, Inc. Viewing three dimensional digital slides
US9349208B2 (en) 2005-01-27 2016-05-24 Leica Biosystems Imaging, Inc. Viewing three dimensional digital slides
CN101998106A (zh) * 2009-08-20 2011-03-30 夏普株式会社 信息处理装置、会议系统以及信息处理方法
JP2011044877A (ja) * 2009-08-20 2011-03-03 Sharp Corp 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム
JP2012113722A (ja) * 2010-11-26 2012-06-14 Samsung Electronics Co Ltd 携帯端末における電子書籍サービス提供方法及び装置
US9164974B2 (en) 2010-11-26 2015-10-20 Samsung Electronics Co., Ltd. Method and apparatus for providing an electronic book service in a mobile device

Also Published As

Publication number Publication date
JP3945081B2 (ja) 2007-07-18

Similar Documents

Publication Publication Date Title
US11003842B2 (en) System and methodologies for collaboration utilizing an underlying common display presentation
US10127003B2 (en) Systems and methodologies relative to a background image in interactive media and video gaming technology
US5786814A (en) Computer controlled display system activities using correlated graphical and timeline interfaces for controlling replay of temporal data representing collaborative activities
US5717869A (en) Computer controlled display system using a timeline to control playback of temporal data representing collaborative activities
US5717879A (en) System for the capture and replay of temporal data representing collaborative activities
US11611595B2 (en) Systems and methodologies providing collaboration among a plurality of computing appliances, utilizing a plurality of areas of memory to store user input as associated with an associated computing appliance providing the input
CN104221047B (zh) 用于共享演示数据和注释的方法和设备
US6332147B1 (en) Computer controlled display system using a graphical replay device to control playback of temporal data representing collaborative activities
US7954049B2 (en) Annotating multimedia files along a timeline
US8875011B2 (en) Systems and methodologies providing for collaboration among a plurality of users at a plurality of computing appliances
US7707502B2 (en) Method to manage speaker notes in a computer implemented slide show
US8990677B2 (en) System and methodology for collaboration utilizing combined display with evolving common shared underlying image
US8027998B2 (en) Minutes production device, conference information management system and method, computer readable medium, and computer data signal
US20010023450A1 (en) Authoring apparatus and method for creating multimedia file
JPH1040058A (ja) 共同作業情報の管理方法および共同作業支援システム
JP2000187542A (ja) プレゼンテ―ション資料のシナリオ生成装置およびシナリオ生成方法
JP2006146415A (ja) 会議支援システム
JPWO2006028154A1 (ja) 情報管理システム、情報管理方法、情報管理プログラムおよびその記録媒体
JP4010094B2 (ja) 遠隔地用講座情報提示装置
JP2000099524A (ja) マルチメディア情報視聴装置
JP3945081B2 (ja) ドキュメント処理装置及び処理方法
KR20030072374A (ko) 표시 제어 방법, 정보 표시 장치 및 매체
JP4686990B2 (ja) コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム
JP2000098985A (ja) マルチメディア情報処理装置
JP3710777B2 (ja) メディア編集装置、メディア編集方法、メディア編集プログラムおよび記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070320

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070402

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110420

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120420

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140420

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees