JP2000099524A - マルチメディア情報視聴装置 - Google Patents

マルチメディア情報視聴装置

Info

Publication number
JP2000099524A
JP2000099524A JP26482798A JP26482798A JP2000099524A JP 2000099524 A JP2000099524 A JP 2000099524A JP 26482798 A JP26482798 A JP 26482798A JP 26482798 A JP26482798 A JP 26482798A JP 2000099524 A JP2000099524 A JP 2000099524A
Authority
JP
Japan
Prior art keywords
information
media
mark
scenario
multimedia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP26482798A
Other languages
English (en)
Inventor
Nobuo Suzuki
信雄 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP26482798A priority Critical patent/JP2000099524A/ja
Priority to US09/385,031 priority patent/US6470356B1/en
Publication of JP2000099524A publication Critical patent/JP2000099524A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99944Object-oriented database structure
    • Y10S707/99945Object-oriented database structure processing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99948Application of database or data structure, e.g. distributed, multimedia, or image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】本発明は、ストリーミングメディアにマーク情
報を適切に対応付けて管理することができ、さらに、プ
レゼンテーションを効果的に視聴することのできる情報
視聴装置を提供することを目的とする。 【解決手段】ストリーミングメディアを含むメディア情
報を管理するメディア情報管理部1と、シナリオ情報を
管理する再生シナリオ管理部2と、視覚メディア情報を
再生する視覚情報再生部3と、音声メディア情報を再生
する音声情報再生部4と、シナリオ情報に基づいてメデ
ィア情報を再生させるシナリオ解釈部5とを備えた情報
視聴装置において、シナリオ情報に記述されているメデ
ィア情報と、当該メディア情報に関連するマーク情報
と、前記マーク情報が前記メディア情報に関連するプレ
ゼンテーションにおける時間巾と、を対応付けるマーク
付け情報を管理するマーク付け情報管理部9を備えるよ
うに構成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、静止画、テキスト
等のドキュメントメディアや、音声、動画、アニメーシ
ョン、グラフィックス等のストリーミングメディアを含
むメディア情報が複合されて構成されるプレゼンテーシ
ョンを視聴するためのマルチメディア情報視聴装置に関
する。
【0002】
【従来の技術】従来、印刷物ドキュメントに対してメモ
を書き込んだり、マーカーを付けたりするのと同様に、
デジタルドキュメントに対してマーク付けを行ったり、
個人的なメモを書き込んだり、あるいは注釈(アノテー
ション)を付けて著者に対してフィードバックを行った
りするシステムが提案されている。今後、ネットワーク
化がさらに進みマルチメディアドキュメントが普及する
にしたがってこのようなデジタルドキュメントに対する
編集行為の支援技術はネットワーク上での共同作業を行
う場面においては非常に重要になってくる。
【0003】例えば、いわゆるOHPを用いたプレゼン
テーションのようなページ単位で構成されたドキュメン
トに対して注釈を付けることのできるシステムが、特開
平5−189431号公報に記載されている。この公報
に記載されたシステムは、テキスト、図形、イメージと
いったストリーミングメディアを含まないドキュメント
メディアに対して、元の文書の保全性を損なわずに注釈
を付けることができるようになっている。このシステム
では、注釈をドキュメントとは別のレイヤーに書き込む
ことにより、元のドキュメントに対して編集行為を行な
わないようになっている。これはデジタルドキュメント
でこそ可能な技術である。また、マルチメディアドキュ
メント中のあるポイントを検索する方法としては、特開
平8−235209号公報に記載されている方法があ
る。この公報には、複数のメディアにより構成されるマ
ルチメディア情報から所望の場面を検索することを目的
として、ストリーミングメディア(時間軸メディア)に
対して時間軸上のある一点を指し示す方法が記載されて
いる。
【0004】
【発明が解決しようとする課題】前述のように、プレゼ
ンテーション中のある場所(空間的、時間的な)を特定
して”しおり”やその他の情報を付加する従来の技術と
しては、主としてページ単位で構成されるドキュメント
メディアに関するものであり、時間軸を持ったストリー
ミングメディアに関しては、検索を目的として時間軸上
のある特定の「ポイント」を指し示すといった技術が存
在するのみで、ストリーミングメディアのある範囲につ
いて”しおり”を付加するような技術は開示されていな
い。
【0005】ここで、例えば比較的長い時間(例えば、
数日以上)をかけて非同期に行なわれるネットワーク上
の会議(ネットワーク会議)について考えることにす
る。ユーザは自分がネットワーク会議から離れていた間
に何が起こったのかを把握する場合には、会議の履歴を
呼び出して他のメンバーの発言を順に辿りながら読むこ
とになる。現在、このようなネットワーク会議のほとん
どは、テキストデータのみで行なわれているので、時刻
順や参照リンクを辿ることで会議の進行状況を把握する
ことはさほど困難ではない。
【0006】ところで、近い将来には、ネットワーク会
議もマルチメディア化され、発言者の意見や資料もマル
チメディア情報で保存されることが予想され、さらに、
会議システムがリアルタイムにマルチメディア議事録を
作成するようになることが予想される。このようなマル
チメディア議事録を視聴したユーザが、時間をおいてさ
らに後の更新されたマルチメディア議事録を視聴しよう
とする場合において、どの部分が更新されたのか(未読
なのか)、どの部分を見終わったのか(既読なのか)等
がわからないと、何度も同じ場面を見なくてはならず、
非常に効率が悪いという問題が考えられる。
【0007】従来技術では、マルチウィンドウによりパ
ラレルに複数のメディアが再生されるようなプレゼンテ
ーション(メディアミックスプレゼンテーション)での
未読部分あるいは既読部分の特定を詳細に行うことがで
きない。つまり、従来技術では、ストリーミングメディ
アに対して1本の時間軸上の1点を指すことしかでき
ず、メディアミックスプレゼンテーションに対して既読
であるかあるいは未読であるか等のマーク情報を対応付
けても、「(時間軸上の)どこからどこ」「プレゼンテ
ーションのどの部分、あるいはどのメディアコンテン
ツ」といった内容が抜け落ちてしまう。昨今、デジタル
ドキュメントに対する汎用的な処理方法が種々提案され
ているが、ストリーミングメディアに対応付けるマーク
情報についての管理方法等は報告されていない。
【0008】本発明の目的は、プレゼンテーションを構
成するストリーミングメディアにマーク情報を適切に対
応付けて管理することのできるマルチメディア情報視聴
装置を提供することを目的とする。さらに、本発明は、
プレゼンテーションを効果的に視聴することのできるマ
ルチメディア情報視聴装置を提供することにある。
【0009】
【課題を解決するための手段】上記目的は、時間軸を持
ったストリーミングメディアを含むメディア情報を管理
するメディア情報管理手段と、プレゼンテーションを実
行するための前記メディア情報の時間的空間的組み合わ
せを記述するシナリオ情報を管理する再生シナリオ管理
手段と、前記メディア情報の中の視覚メディア情報を再
生する視覚情報再生手段と、前記メディア情報の中の音
声メディア情報を再生する音声情報再生手段と、前記シ
ナリオ情報に基づいて前記メディア情報管理手段から前
記メディア情報を読み出し、当該メディア情報を前記視
覚情報再生手段または前記音声情報再生手段に再生させ
るシナリオ解釈手段とを備えたマルチメディア情報視聴
装置において、シナリオ情報に記述されているメディア
情報と、当該メディア情報に関連するマーク情報と、前
記マーク情報が前記メディア情報に関連するプレゼンテ
ーションにおける時間巾と、を対応付けるマーク付け情
報を管理するマーク付け情報管理手段を備えたことを特
徴とするマルチメディア情報視聴装置によって達成され
る。
【0010】
【発明の実施の形態】本発明の一実施の形態によるマル
チメディア情報視聴装置を図1乃至図13を用いて説明
する。まず、本実施の形態によるマルチメディア情報視
聴装置の全体構成を図1を用いて説明する。本マルチメ
ディア情報視聴装置は、複数のメディア情報を時間的空
間的に組み合わせて再生することでマルチメディア情報
のプレゼンテーションを行なう。
【0011】メディア情報管理部1は、音声100、テ
キスト101、静止画102、動画103、アニメーシ
ョン104等の各メディアコンテンツをそれぞれ独立し
たメディアとして記憶する。再生シナリオ管理部2は、
プレゼンテーションにおける各メディアを再生する際の
時間的な順序、空間的レイアウトなどを記述した再生シ
ナリオファイル200を記憶する。再生シナリオファイ
ル200の一例を図2を用いて説明する。再生シナリオ
ファイル200は、大別するとヘッダ部200aとボデ
ィー部200bとを有している。
【0012】ヘッダ部200aには、当該再生シナリオ
ファイル200に基づいて実行されるプレゼンテーショ
ンで用いるウィンドウのレイアウトがウィンドウの個数
分(図2では3つ)記述されている。ボディー部200
bには、どのコンテンツ(メディア)をどのタイミング
でどの再生するかが記述されている。具体的には、ボデ
ィー部200bは実行開始時刻200c、ウィンドウ番
号200d、メディア200e、および再生時間長さ2
00fを有している。
【0013】実行開始時刻200cには、メディアの再
生を開始する時刻が設定される。ウインドウ番号200
dには、再生するメディアが映像メディアである場合に
当該メディアを再生させるウインドウの番号が設定さ
れ、また、再生するメディアが音声メディアである場合
に、”audio”が設定される。メディア200eに
は、再生するメディアの識別名が設定される。再生時間
長さ200fにおいては、時間軸を持たない静止画など
のメディアの場合には、当該メディアを表示させる時間
の長さが記述される。また、再生時間長さ200fに
は、動画/アニメーション等の時間軸を持つストリーミ
ングメディアを通常の速度で再生する際には何も記述す
る必要がないが、倍速再生/スロー再生など再生するメ
ディアを通常の速度と異なる再生を行なう際には、再生
トータル時間を記述する必要がある。再生シナリオファ
イル200では、同一の実行開始時刻に対してメディア
200eに2つ以上のメディアを記述することにより、
同時に2以上のメディアの再生を始めるようにすること
ができる。
【0014】ここで、図2に示す再生シナリオファイル
に基づくマルチメディアプレゼンテーションの再生スケ
ジュール(スコア)の概念を図3および図4を用いて説
明する。図3では、横軸に時間を取り、縦軸に再生する
空間(ウインドウ番号あるいはaudio)を取ってお
り、各矩形が各メディアを示している。図4は、時刻t
=tpにおけるマルチメディアプレゼンテーションの様
子を示している。図3および図4によると、時刻t=t
pにおいて、ウィンドウW1でメディアaが再生され、
ウィンドウW2でメディアbが再生され、ウィンドウW
3でメディアcが再生され、オーディオでメディアdが
再生されることがわかる。
【0015】次に、本マルチメディア情報視聴装置の基
本的なマルチメディアの再生動作について図5を用いて
説明する。この動作は図4に示す表示画面上においてプ
レゼンテーションの再生ボタンPLAYがユーザに押下
されることにより開始される。まず、シナリオ解釈部5
が再生シナリオ管理部2から該当するプレゼンテーショ
ンの再生シナリオ200を読み出す(ステップS1)。
次いで、シナリオ解釈部5は、再生シナリオ200のヘ
ッダ部200aを読み込んでウィンドウのレイアウト情
報を取得する(ステップS2)。
【0016】その後、シナリオ解釈部5のボディー部2
00bを頭から順に読み込んで、所定の実行開始時刻に
再生するメディアをメディア情報管理部1から読み出し
(ステップS3)、取り出したメディアが音声メディア
か否かを検出する(ステップS4)。この検出により、
当該メディアが音声メディアでなく視覚メディア、すな
わち、テキスト101、静止画102、動画103、ま
たはアニメ104である場合には、当該メディアを再生
するウィンドウのレイアウト情報とともに、当該メディ
アを視覚情報再生部4に出力する。視覚情報再生部4
は、入力されたウインドウのレイアウト情報に基づい
て、ウインドウを作成し、入力されたメディアを当該ウ
インドウに再生する(ステップS5)。一方、メディア
情報管理部1から読み出したメディアが音声メディア1
00の場合には当該メディアを音声情報再生部4に出力
する。音声情報再生部4は、入力されたメディアに基づ
いてスピーカから音声を再生する(ステップS6)。そ
して、上記処理(ステップS3〜S6)をボディー部2
00bの記述に対して実行する(ステップS7)。
【0017】次に、プレゼンテーションに含まれるメデ
ィアに対応付けるマーク情報について図6を用いて説明
する。図6は、default(デフォルト)で用意さ
れているマーク情報と、ユーザが定義したマーク情報と
を1つのファイル(ユーザ定義ファイル201)で管理
している例を示している。ユーザ定義ファイル201は
マーク定義部8に記憶されている。ユーザ定義ファイル
201に含まれている各マーク情報は、マーク情報を知
覚可能に表わすシンボル(音情報も含む)、マーク情報
の内容を示すコメント、関連する情報のリンク情報(例
えば、URL)、マーク情報に対応する処理方法(処理
スクリプト)、マーク情報を定義した人等を有してい
る。
【0018】図6に示すユーザ定義ファイルにおいて
は、例えば、デフォルトで設定され、視聴済みであるこ
とを表わし、シンボルが既であり、skip処理させる
というマーク情報が定義されている。また、デフォルト
で設定され、重要個所であることを表わし、シンボルが
◎であるマーク情報、ユーザ自身(me)が設定し、後
にゆっくりと再生すべき部分であることを表わし、シン
ボルが★であり、slow play処理させるという
マーク情報や、ユーザ自身が設定し、常識である部分で
あることを表わし、シンボルが△であり、fast p
lay処理させるというマーク情報も定義されている。
また、ユーザ自身が設定し、熟考すべき部分であること
を表わし、シンボルが※であり、pauseさせるとい
うマーク情報等が定義されている。マーク情報は、ユー
ザがマーク定義部8を用いて定義することができるよう
になっている。これによって、ユーザはプレゼンテーシ
ョンに対して必要に応じてカスタマイズ、パーソナライ
ズして自分だけのプレゼンテーションを作成して視聴す
ることができる。
【0019】マーク情報として予め汎用的なものを定義
しておくことは有益である。例えば、重要を表わすマー
ク情報(シンボル◎)を定義しておき、プレゼンテーシ
ョンの著者が必ず見て欲しいと思う重要なメディアに対
してマーク情報(シンボル◎)を付けておくようにする
と、プレゼンテーションのメディアを再生する際にマー
ク情報に対応付けられているメディアについて、後述す
るようにシンボル◎を表示させることができ、受け手側
は注意を払うことができる。また、マーク情報が対応付
けられたメディアの部分のみ拾って再生することで時間
の節約をすることができる。
【0020】次に、プレゼンテーションに含まれるメデ
ィアにマーク情報を対応付ける動作を説明する。プレゼ
ンテーションの実行中にユーザが特定のメディアに対し
てマーク情報を対応付けたいと思った場合には、マーク
付け部7を用いて視覚情報再生部4により再生されてい
るプレゼンテーションの所望のメディアを指示すること
によりマーク付け情報管理部9により後述するよにマー
ク情報を対応付けることができる。音声メディアに対し
ては、プレゼンテーションウィンドウ中のオーディオメ
ディアのアイコン(図4中のアイコンI)に対して指示
することによりマーク情報を対応付けることができる。
対応付けるマーク情報は、マーク定義部8に登録されて
いる複数のマークからマーク付け部7により選択するこ
とができ、同じメディアに異なる複数のマーク情報を同
時に対応付けることもできるようになっている。
【0021】例えば、シンボル★のマーク情報を対応付
ける場合には、画面上においてマーク付け部7を用いて
マーク情報のシンボル★を選択し、当該シンボルを所望
のメディア上に移動させた状態でマーク付け部7のマウ
スをクリックすればよく、これにより、当該メディアの
当該時間についてマーク情報(シンボル★)を対応付け
られるようになっている。所望のメディアの所望の時間
巾に対してマーク情報を対応付ける場合には、マーク付
け部7のマウスを所望の時間クリックダウンするなどに
より実現できる。
【0022】また、同じメディアに対して同時に複数の
意味内容を対応付ける場合には、複数のマーク情報を対
応付けたり、既に対応付けられているマーク情報に別の
意味内容の定義を加えたりすることにより可能である。
複数のマーク情報を対応付ける場合には、プレゼンテー
ションを一旦巻き戻して再生し、再度他のマーク情報を
対応付けるようにすればよく、既に対応付けられている
マーク情報に別の意味内容の定義を加える場合には、マ
ーク定義部8により、当該マーク情報に複数の意味内容
を定義するようにすればよい。また、一旦対応付けたマ
ーク情報に対する定義をユーザがマーク定義部8により
再定義することで、一括してマーク情報の意味を変更す
ることができる。例えば、定義した処理がもはや必要で
なくなった場合などに処理の定義を削除すれば、当該処
理のマーク情報が対応付けられた部分での処理が行われ
なくなる。これによると、マーク情報の対応付けを1ヶ
所ずつ変更する手間がかからない。
【0023】次に、マーク情報をメディアの所定の時間
に対応付けて管理するマーク付け情報ファイルというの
一例を図7を用いて説明する。本実施の形態では、プレ
ゼンテーションの再生シナリオとの関連がわかりやすい
ように2次元マップのマーク付け情報ファイルを用いて
いる。マーク付け情報ファイルはマーク情報の数だけの
レイヤーを有し、各レイヤーは、各マーク情報に関する
対応付けを記憶するようになっている。各レイヤーは横
軸を時間に取り、縦軸をメディアに取った2次元マップ
となっている。横軸の時間のサンプリング間隔は、任意
の間隔(例えば1秒単位)でよい。図7において、各レ
イヤーは、メディア毎に1秒単位で1ビットの情報を持
つようになっている。初期状態では、各レイヤーのすべ
てのビットは”0”の状態となっている。
【0024】次に、マーク情報を対応付ける動作を説明
する。マーク付け情報管理部9は、マーク付け部7によ
る指示に基づいて、対応するメディアおよび時間のビッ
トを”1”にする。例えば、ユーザがマーク付け部7に
よりメディアBの時刻2秒から10秒まで★マークを指
定したとすると、図7に示すように★マークに対応する
マーク情報のレイヤーのメディアBの行の2〜10まで
のビットのすべてを”1”にする。このようにマーク情
報を管理することで、後述するようにマーク情報に定義
された処理を施す際に演算を簡単に行なうことができ
る。
【0025】次に、既に再生したメディアに対して既読
であることを示すマーク情報(未読既読マーク情報)を
対応付ける動作について説明する。未読既読マーク情報
をメディアに対して対応付ける動作は、ユーザが未読既
読マークを付けるオプションをオンにしてプレゼンテー
ションの再生を開始することにより実行される。この動
作においては、上述の図5に示す基本的なマルチメディ
ア再生動作が行われ、再生シナリオ200にしたがって
シナリオ解釈部5は対応するメディアを順次読み出し、
視覚情報再生部4および音声情報再生部4はメディアを
再生する。このような動作と共に、既読情報管理部10
は図8に示すように各メディアのどの部分を再生したか
を検知し、マーク付け情報ファイルの未読既読マーク情
報のレイヤーの検知したメディアおよび時間に対応する
ビットを”1”にする。
【0026】次に、ユーザが図8の時刻tcにおいてプ
レゼンテーションの再生を中断させ、その後、続きのプ
レゼンテーションを再生させる指示を行った場合のプレ
ゼンテーションの再生動作を説明する。ユーザが再生シ
ナリオ演算部6に対して未読部分のみのシナリオ生成を
指示すると、再生シナリオ演算部6はマーク付け情報フ
ァイルをマーク付け情報管理部9より読み出し、その中
から未読既読マーク情報のレイヤーを解釈して未読部分
のみが含まれている再生シナリオを作成する。
【0027】具体的には、再生シナリオ演算部6は、該
当するプレゼンテーションのシナリオファイルをスコア
に展開し、当該スコアに基づいて各メディアと、当該メ
ディアの再生時間との2次元マップを求める。次に、マ
ーク付け情報ファイルから未読既読マーク情報のレイヤ
ーを呼び出す。そして、前者と後者とのANDをとり既
読の部分のみを取り出す。次いで、再生シナリオ演算部
6は、マーク定義部8のユーザ定義ファイル201から
未読既読マーク情報に含まれている処理(メディアの再
生を行わないスキップ(Skip)処理)を取り出し、
既読部分に対してスキップ処理を行うようなスコアを求
め、当該スコアをシナリオへ逆変換する。上記の動作に
よると、既読の部分はスキップされ、その他の部分はな
にもされないシナリオ、すなわち、未読部分のみ再生す
るシナリオファイルが生成される。この作成された再生
シナリオファイルを用いて上述の図5に示すようにプレ
ゼンテーション再生を行うと、時刻tcからのプレゼン
テーションが再生される。
【0028】次に、複数のマーク情報の対応付けに基づ
いてプレゼンテーションを再生する場合の動作を図9を
用いて説明する。ここで、マーク付け情報管理部9のマ
ーク付け情報ファイルには、著者が付けた重要マーク情
報(シンボル◎)、ユーザが付けたスロー再生を行わせ
るスロー再生マーク情報(シンボル★)のレイヤーがあ
り、各マーク情報は通常の再生におけるスコアに重ねて
示すと図10に示すように対応付けられているものとす
る。さらに、ユーザ定義ファイル201において、重要
マーク情報には処理が定義されておらず、スロー再生マ
ーク情報に対してはスロー再生処理が定義されているも
のとする。
【0029】ユーザによりプレゼンテーションの再生の
指示がされ、さらにマーク付け情報管理部9でレイヤー
が管理されている各マーク情報をプレゼンテーションの
再生に有効にするか否か(On、Off)が入力される
と(ステップS11)、各マーク情報に対する(On、
Off)が再生シナリオ演算部6に送られる(ステップ
S12)。本例では、スロー再生マーク情報および重要
マーク情報はOnに設定されているものとする。
【0030】次いで、再生シナリオ演算部6は、書き出
す2次元マップの初期化を行い(ステップS13)、O
nが設定されたマーク情報をマーク定義部8のユーザ定
義ファイル201から読み出し(ステップS14)、マ
ーク情報に処理が定義されているか否かを検出する(ス
テップS15)。この結果、処理が定義されていない場
合には、再生シナリオ演算部6は、レイヤーの”1”が
設定されたビットに対応する2次元マップ上の位置にシ
ンボルを表示させる処理を書き加える(ステップS1
6)。これにより、重要マーク情報のレイヤーの”1”
が設定されたビットに対応する2次元マップ上の位置に
シンボルを表示させる処理が書き加えられる。一方、処
理が定義されている場合には、再生シナリオ演算部6
は、定義されている処理を2次元マップに反映させる
(ステップS17)。これにより、スロー再生マーク情
報のレイヤーの”1”が設定されたビットに対応する部
分について時間軸が伸ばされて再生されるように2次元
マップ上に反映される。
【0031】上記処理(ステップS14〜S17)をO
nが設定されたすべてのマーク情報に対して行う(ステ
ップS18)。これにより、図11に示すような複数の
マーク情報の対応付けが加味された2次元マップが作成
される。図11中の◎はシンボルを表示する処理を行う
ことを表わし、★はスロー再生を行うことを表わしてい
る。この後、再生シナリオ演算部6が2次元マップに基
づいてスコアを作成する。すなわち、2次元マップの◎
に対応する部分においてシンボルを表示する処理を行
い、★に対応する部分においてスロー再生を行うスコア
を作成する。これにより、図10に示すスコアに対して
スロー再生マーク情報が対応付けられている時間軸が伸
ばされた図12に示すようなスコアが作成される。次い
で、再生シナリオ演算部6が作成したスコアに基づいて
再生シナリオファイルを生成する(ステップS19)。
ここで、重要マーク情報が対応付けられている部分の再
生において、その部分の再生中にウィンドウにシンボル
◎が表示されるように再生シナリオファイルが記述され
る。
【0032】上記のように生成された再生シナリオファ
イルに基づいて、シナリオ解釈部5がプレゼンテーショ
ンを実行すると、スロー再生マーク情報が対応付けられ
ている部分(時間)においてスロー再生を行い、重要マ
ーク情報が対応付けられている部分においてはプレゼン
テーション中の該当するメディアの表示ウインドウ中に
シンボル◎を表示する。このとき、重要マーク情報に対
応するシンボル◎を表示する時間を重要マーク情報が対
応付けられている時間より長く表示することが好まし
く、特に、対応付けれれている時間より前から表示する
ようにすることが望ましい。これは、プレゼンテーショ
ンの再生中にユーザがマーク付け部7により重要マーク
情報を対応付けるようになっており、再生中に重要な部
分を見つけてから実際に対応付けるまでの間に時間が空
いてしまうことがあるからである。
【0033】なお、上記処理において、スコア上の同じ
部分に異なるマーク情報が付けられていて、マーク情報
の処理を両立できないような場合が有り得るが、これに
対しては、何れのマーク情報を優先するかの優先順位に
基づいて処理を行えばよく、例えば、演算する順序を変
えることでマーク情報の処理に優先順位をつけることは
容易である。
【0034】次に、シナリオファイルの既読した範囲に
おいて、新たにメディアが追加された場合に未読のメデ
ィアを検出する処理について説明する。まず、再生シナ
リオ演算部6は、再生シナリオファイルをスコアに変換
すると共に、マーク付け情報管理部9から未読既読マー
ク情報のレイヤーを取り出して当該レイヤーに基づいて
スコアに相当する2次元マップを生成する。次いで、再
生シナリオ演算部6は、前記未読既読マーク情報による
2次元マップをマスクにして前記再生シナリオのスコア
に重ねあわせ、マスクのかかっていない部分を検出す
る。図13には、前記未読既読マーク情報による2次元
マップをマスクにして前記再生シナリオのスコアを重ね
あわせた状態を示している。図13に示すようにマスク
のかかっていない部分は、新たに加わったコンテンツ若
しくは未読のコンテンツである。このように、新たに追
加されたメディアを容易に検出することができ、追加さ
れたメディアを支障なく再生することができるようにな
る。
【0035】このように、ユーザは複数のメディアから
構成される複雑なプレゼンテーションに対して特定の部
分にアノテーション、メモ書き、メディア処理などのマ
ーク情報を自由に対応付けることができる。また、既読
未読を詳細に管理できたり、プレゼンテーションの重要
部分を容易に把握できたりして、プレゼンテーションを
効率的に視聴することができる。
【0036】
【発明の効果】本発明によると、プレゼンテーションを
構成するストリーミングメディアにマーク情報を適切に
対応付けて管理することができ、プレゼンテーションを
効果的に視聴することができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態によるマルチメディア情
報視聴装置の全体構成を示す図である。
【図2】本発明の一実施の形態による再生シナリオファ
イルの一例を示す図である。
【図3】本発明の一実施の形態によるプレゼンテーショ
ンのスコアを示す図である。
【図4】本発明の一実施の形態によるマルチメディアプ
レゼンテーションの表示例を示す図である。
【図5】本発明の一実施の形態による基本的なマルチメ
ディアの再生動作のフローチャートである。
【図6】本発明の一実施の形態によるユーザ定義ファイ
ルを示す図である。
【図7】本発明の一実施の形態によるマーク付け情報フ
ァイルを示す図である。
【図8】本発明の一実施の形態による未読既読マーク情
報の対応付けに基づくスコアを示す図である。
【図9】本発明の一実施の形態による再生シナリオの演
算動作のフローチャートである。
【図10】本発明の一実施の形態による再生シナリオフ
ァイルのスコアに重要マーク情報およびスロー再生マー
ク情報の対応付けを重ねた図である。
【図11】本発明の一実施の形態による重要マーク情報
およびスロー再生マーク情報の対応付けに基づいて演算
された2次元マップを示す図である。
【図12】本発明の一実施の形態による重要マーク情報
およびスロー再生マーク情報の対応付けに基づく演算に
よりもとめられたスコアを示す図である。
【図13】本発明の一実施の形態による更新されたシナ
リオに基づくスコアと、未読既読マーク情報の対応付け
に基づくスコアとを重ねあわせた状態の図である。
【符号の説明】
1 メディア情報管理部 2 再生シナリオ管理部 3 視覚情報再生部 4 音声情報再生部 5 シナリオ解釈部 6 再生シナリオ演算部 7 マーク付け部 8 マーク定義部 9 マーク付け情報管理部 10 既読情報管理部 100 音声メディア 101 テキストメディア 102 静止画 103 動画 104 アニメーション 200 再生シナリオファイル 201 ユーザ定義ファイル

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】時間軸を持ったストリーミングメディアを
    含むメディア情報を管理するメディア情報管理手段と、
    プレゼンテーションを実行するための前記メディア情報
    の時間的空間的組み合わせを記述するシナリオ情報を管
    理する再生シナリオ管理手段と、前記メディア情報の中
    の視覚メディア情報を再生する視覚情報再生手段と、前
    記メディア情報の中の音声メディア情報を再生する音声
    情報再生手段と、前記シナリオ情報に基づいて前記メデ
    ィア情報管理手段から前記メディア情報を読み出し、当
    該メディア情報を前記視覚情報再生手段または前記音声
    情報再生手段に再生させるシナリオ解釈手段とを備えた
    マルチメディア情報視聴装置において、 前記シナリオ情報に記述されている前記メディア情報
    と、当該メディア情報に関連するマーク情報と、前記マ
    ーク情報が前記メディア情報に関連するプレゼンテーシ
    ョンにおける時間巾と、を対応付けるマーク付け情報を
    管理するマーク付け情報管理手段を備えたことを特徴と
    するマルチメディア情報視聴装置。
  2. 【請求項2】請求項1記載のマルチメディア情報視聴装
    置において、 前記マーク情報は、マーク情報を知覚可能に表わすシン
    ボル、テキスト情報、リンク情報、処理スクリプトの少
    なくともいずれか1つの情報を含んでいることを特徴と
    するマルチメディア情報視聴装置。
  3. 【請求項3】請求項2記載のマルチメディア情報視聴装
    置において、 前記マーク情報は、既に再生された前記メディア情報の
    範囲を示す情報を含んでおり、 前記マーク付け情報管理手段は、前記マーク情報と、前
    記既に再生されたメディア情報と、当該メディア情報が
    再生された時間巾とのマーク付け情報を管理することを
    特徴とするマルチメディア情報視聴装置。
  4. 【請求項4】請求項2または3に記載のマルチメディア
    情報視聴装置において、 前記視覚情報再生手段または前記音声情報再生手段は、
    前記メディア情報の再生中に、当該メディア情報に対応
    付けられている前記マーク情報が含む前記シンボルを、
    当該マーク情報が対応付けられている前記時間巾におい
    て再生表示することを特徴とするマルチメディア情報視
    聴装置。
  5. 【請求項5】請求項4記載のマルチメディア情報視聴装
    置において、 前記再生シナリオ解釈手段は、前記マーク情報が対応付
    けられている前記時間巾より長い時間前記シンボルを再
    生することを特徴とするマルチメディア情報視聴装置。
  6. 【請求項6】請求項1乃至5のいずれかに記載のマルチ
    メディア情報視聴装置において、 さらに、前記マーク情報に含まれる情報を定義するマー
    ク定義手段を有することを特徴とするマルチメディア情
    報視聴装置。
  7. 【請求項7】請求項1乃至6のいずれかに記載のマルチ
    メディア情報視聴装置において、 さらに、再生中の前記メディア情報に対して、所定のマ
    ーク情報を対応付ける時間巾を指定するマーク付け手段
    を備え、 前記マーク付け情報管理手段は、前記メディア情報と、
    前記マーク情報と、前記指定された時間巾とをマーク付
    け情報として管理することを特徴とするマルチメディア
    情報視聴装置。
  8. 【請求項8】請求項1乃至7のいずれかに記載のマルチ
    メディア情報視聴装置において、 さらに、前記マーク情報と、前記マーク付け情報と、前
    記シナリオ情報とに基づいて、第2シナリオ情報を生成
    する再生シナリオ演算手段を備え、 前記再生シナリオ解釈手段は前記第2シナリオ情報に基
    づいてメディア情報を再生させることを特徴とするマル
    チメディア情報視聴装置。
  9. 【請求項9】請求項8記載のマルチメディア情報視聴装
    置において、 前記再生シナリオ演算手段は、前記マーク情報に含まれ
    ている処理スクリプトを解釈および処理することにより
    前記第2シナリオ情報を作成することを特徴とするマル
    チメディア情報視聴装置。
  10. 【請求項10】請求項8または9に記載のマルチメディ
    ア情報視聴装置において、 前記再生シナリオ演算手段は、前記マーク情報と、前記
    マーク付け情報と、前記シナリオ情報とに基づいて新た
    に前記シナリオ情報に付加されたメディア情報を検出す
    ることを特徴とするマルチメディア情報視聴装置。
JP26482798A 1998-09-18 1998-09-18 マルチメディア情報視聴装置 Pending JP2000099524A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP26482798A JP2000099524A (ja) 1998-09-18 1998-09-18 マルチメディア情報視聴装置
US09/385,031 US6470356B1 (en) 1998-09-18 1999-08-30 Multimedia information audiovisual apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26482798A JP2000099524A (ja) 1998-09-18 1998-09-18 マルチメディア情報視聴装置

Publications (1)

Publication Number Publication Date
JP2000099524A true JP2000099524A (ja) 2000-04-07

Family

ID=17408768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26482798A Pending JP2000099524A (ja) 1998-09-18 1998-09-18 マルチメディア情報視聴装置

Country Status (2)

Country Link
US (1) US6470356B1 (ja)
JP (1) JP2000099524A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100367824B1 (ko) * 2000-02-18 2003-01-10 주식회사 메세지 베이 아시아 인터넷을 통한 컨텐츠 서비스 방법
WO2003056459A1 (fr) * 2001-12-27 2003-07-10 Sony Corporation Systeme de traitement d'information de reseau et procede de traitement d'information
JP2004080769A (ja) * 2002-07-30 2004-03-11 Fuji Xerox Co Ltd マルチメディア又はビデオストリームの注釈の共同インデックスをフィルタリングして、見るための方法、システム、ユーザインタフェース、及び実行させるためのプログラム
JP2004266831A (ja) * 2003-02-28 2004-09-24 Fuji Xerox Co Ltd ライブのおよび記録されたマルチメディアドキュメントをブックマークするシステムと方法
WO2004095841A1 (ja) * 2003-04-23 2004-11-04 Sharp Kabushiki Kaisha コンテンツ再生方法
JP2006148730A (ja) * 2004-11-24 2006-06-08 Hitachi Omron Terminal Solutions Corp 会議システム及び会議情報提供方法
JP2006317875A (ja) * 2005-05-16 2006-11-24 Nippon Telegr & Teleph Corp <Ntt> 音声読み上げ装置およびプログラム
JP2010288163A (ja) * 2009-06-15 2010-12-24 Internatl Business Mach Corp <Ibm> 評価システム、マーカー表示の制御方法およびプログラム
US8737812B2 (en) 2011-02-28 2014-05-27 Kabushiki Kaisha Toshiba Content playback apparatus and content playback method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120925A1 (en) * 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
US7788339B1 (en) * 2000-03-02 2010-08-31 Qwest Communications International Inc. System and method for automated download of multimedia files
KR100438697B1 (ko) * 2001-07-07 2004-07-05 삼성전자주식회사 재생장치 및 그 북마크 정보 제공방법
US20050160113A1 (en) * 2001-08-31 2005-07-21 Kent Ridge Digital Labs Time-based media navigation system
US20040201621A1 (en) * 2001-10-10 2004-10-14 Stevens Bruce W. Presentation program and method
JP2006268800A (ja) * 2005-03-25 2006-10-05 Fuji Xerox Co Ltd 議事録作成支援装置、議事録作成支援方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2045907C (en) 1991-06-28 1998-12-15 Gerald B. Anderson A method for storing and retrieving annotations and redactions in final form documents
JP3548900B2 (ja) 1995-02-28 2004-07-28 富士通株式会社 マルチメディア情報処理装置
JP3484838B2 (ja) * 1995-09-22 2004-01-06 ソニー株式会社 記録方法及び再生装置
US5966121A (en) * 1995-10-12 1999-10-12 Andersen Consulting Llp Interactive hypervideo editing system and interface
US5719937A (en) * 1995-12-06 1998-02-17 Solana Technology Develpment Corporation Multi-media copy management system
US5819286A (en) * 1995-12-11 1998-10-06 Industrial Technology Research Institute Video database indexing and query method and system
JP3816572B2 (ja) * 1996-03-15 2006-08-30 パイオニア株式会社 情報記録装置及び情報記録方法並びに情報再生装置及び情報再生方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100367824B1 (ko) * 2000-02-18 2003-01-10 주식회사 메세지 베이 아시아 인터넷을 통한 컨텐츠 서비스 방법
CN100388273C (zh) * 2001-12-27 2008-05-14 索尼株式会社 网络信息处理系统和信息处理方法
WO2003056459A1 (fr) * 2001-12-27 2003-07-10 Sony Corporation Systeme de traitement d'information de reseau et procede de traitement d'information
JP2004080769A (ja) * 2002-07-30 2004-03-11 Fuji Xerox Co Ltd マルチメディア又はビデオストリームの注釈の共同インデックスをフィルタリングして、見るための方法、システム、ユーザインタフェース、及び実行させるためのプログラム
US7730407B2 (en) 2003-02-28 2010-06-01 Fuji Xerox Co., Ltd. Systems and methods for bookmarking live and recorded multimedia documents
JP2004266831A (ja) * 2003-02-28 2004-09-24 Fuji Xerox Co Ltd ライブのおよび記録されたマルチメディアドキュメントをブックマークするシステムと方法
JP2004328188A (ja) * 2003-04-23 2004-11-18 Sharp Corp コンテンツ再生装置、コンピュータプログラム、及び記録媒体
WO2004095841A1 (ja) * 2003-04-23 2004-11-04 Sharp Kabushiki Kaisha コンテンツ再生方法
JP2006148730A (ja) * 2004-11-24 2006-06-08 Hitachi Omron Terminal Solutions Corp 会議システム及び会議情報提供方法
JP2006317875A (ja) * 2005-05-16 2006-11-24 Nippon Telegr & Teleph Corp <Ntt> 音声読み上げ装置およびプログラム
JP4514144B2 (ja) * 2005-05-16 2010-07-28 日本電信電話株式会社 音声読み上げ装置およびプログラム
JP2010288163A (ja) * 2009-06-15 2010-12-24 Internatl Business Mach Corp <Ibm> 評価システム、マーカー表示の制御方法およびプログラム
US8619096B2 (en) 2009-06-15 2013-12-31 International Business Machines Corporation Instant message analytics of historical conversations in relation to present communication
US8643672B2 (en) 2009-06-15 2014-02-04 International Business Machines Corporation Instant message analytics of historical conversations in relation to present communication
US8737812B2 (en) 2011-02-28 2014-05-27 Kabushiki Kaisha Toshiba Content playback apparatus and content playback method

Also Published As

Publication number Publication date
US6470356B1 (en) 2002-10-22

Similar Documents

Publication Publication Date Title
US6546405B2 (en) Annotating temporally-dimensioned multimedia content
JP3826604B2 (ja) プレゼンテーション資料のシナリオ生成装置およびシナリオ生成方法
CN101950578B (zh) 一种视频信息添加方法及装置
EP1062598B1 (en) Apparatus and method for collaborative dynamic video annotation
US7979801B2 (en) Media presentation driven by meta-data events
JP2701724B2 (ja) シナリオ編集装置
JP2000099524A (ja) マルチメディア情報視聴装置
JP2003530726A (ja) コンバージェンスエネーブルdvdおよびウエブシステム
JP2009055152A (ja) 動画作成装置、動画作成方法、およびプログラム
CN103530320A (zh) 多媒体文件处理方法、装置及终端
JPH056251A (ja) コンピユータシステム上に上映を事前記録、編集及び再生するための装置
JP4010094B2 (ja) 遠隔地用講座情報提示装置
JP3601314B2 (ja) マルチメディア情報処理装置
US20040051727A1 (en) Display control method, information display device and medium
JP2003116095A (ja) 映像処理装置
JP2008242301A (ja) プレゼンテーション装置、プレゼンテーション方法及びプログラム
JP2000267639A (ja) 情報処理装置
JP4308235B2 (ja) 共有ホワイトボード履歴再現方法、共有ホワイトボードシステム、プログラム、および記録媒体
JP2008523759A (ja) 映像メッセージを合成する方法及びシステム
CN102572601A (zh) 一种视频信息显示方法及装置
JP2002008052A (ja) プレゼンテーションシステムおよび記録媒体
JP3945081B2 (ja) ドキュメント処理装置及び処理方法
JP2004266578A (ja) 動画像編集方法および装置
JP3439034B2 (ja) 要約映像ブラウジング方法および装置
JP2005167822A (ja) 情報再生装置及び情報再生方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060907

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061212