JP2005539346A - インタラクティブモードでavデータを再生する装置、そのユーザ入力処理方法及びその情報保存媒体 - Google Patents

インタラクティブモードでavデータを再生する装置、そのユーザ入力処理方法及びその情報保存媒体 Download PDF

Info

Publication number
JP2005539346A
JP2005539346A JP2005501238A JP2005501238A JP2005539346A JP 2005539346 A JP2005539346 A JP 2005539346A JP 2005501238 A JP2005501238 A JP 2005501238A JP 2005501238 A JP2005501238 A JP 2005501238A JP 2005539346 A JP2005539346 A JP 2005539346A
Authority
JP
Japan
Prior art keywords
event
engine
key input
av
markup document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005501238A
Other languages
English (en)
Other versions
JP4290695B2 (ja
Inventor
ジョン,ギル−ス
ジョン,ヒョン−グォン
パク,ソン−ウック
ホー,ジョン−グォン
ムン,ソン−ジン
Original Assignee
サムスン エレクトロニクス カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR20020050524 priority Critical
Priority to KR20020073476 priority
Priority to KR20030057991A priority patent/KR100517506B1/ko
Application filed by サムスン エレクトロニクス カンパニー リミテッド filed Critical サムスン エレクトロニクス カンパニー リミテッド
Priority to PCT/KR2003/001724 priority patent/WO2004019318A2/en
Publication of JP2005539346A publication Critical patent/JP2005539346A/ja
Application granted granted Critical
Publication of JP4290695B2 publication Critical patent/JP4290695B2/ja
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Characteristics of or Internal components of the client
    • H04N21/42646Characteristics of or Internal components of the client for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4431OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438Window management, e.g. event handling following interaction with the user interface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry
    • H04N5/4403User interfaces for controlling a television receiver or set top box [STB] through a remote control device, e.g. graphical user interfaces [GUI]; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Abstract

再生装置、そのユーザ入力処理方法及びその情報保存媒体が開示される。前記情報保存媒体は、AVデータと、前記AVデータをインタラクティブモードで再生するために必要なマークアップ文書と、前記マークアップ文書には、ユーザからのキー入力イベントが前記マークアップ文書を解釈して実行するENAVエンジンに伝えられることを要求する第1イベント情報とを含むことを特徴とする。これにより、制限されたユーザ入力装置でも効果的にインタラクティブコンテンツを制御できる。

Description

本発明は、AVデータをインタラクティブモードで再生する装置、そのユーザ入力処理方法及び情報保存媒体に関する。

PCを基盤にAVデータをインタラクティブモードで再生できるDVD(以下“インタラクティブDVD”という)が販売されている。インタラクティブDVDには、従来DVD−ビデオの規格によってAVデータが記録されている一方、インタラクティブ機能を支援するためのマークアップ文書がさらに記録されている。インタラクティブDVDに記録されたAVデータは、2つのモードでディスプレイされうる。一つは、一般DVD−ビデオと同じ方式でディスプレイされるビデオモードであり、他の一つは、AVデータが再生されて表示されるAV画面がマークアップ文書に定義された表示窓に埋め込まれて、マークアップ文書と共にディスプレイされるインタラクティブモードである。例えば、AVデータが映画タイトルである場合、表示窓には映画が上映され、残りの部分には映画の台本、あらすじ、出演俳優の写真など多様な付加情報が表示されうる。付加情報は、タイトル(AVデータ)と同期されて表示されることもある。例えば、特定出演俳優が登場し始める時、その俳優についての履歴情報が含まれたマークアップ文書が呼び出されて表示される場合が挙げられる。

インタラクティブモードの場合、マークアップ文書を解釈して示すための再生エンジンとDVD−VIDEOフォーマットのAVデータを再生するためのAV再生エンジン、すなわち、2個の再生エンジンが必要になる。言い換えれば、インタラクティブモードでは、ユーザがナビゲーションできる2つの大きなドメイン、すなわち、マークアップ文書とDVD−VIDEOとが存在する。この2つのドメインは、制御方式及びナビゲーション方式が異なるため、制御命令キーとナビゲーションのためのキーとがそれぞれ存在することが望ましい。実際に、従来インタラクティブDVDの場合、マークアップ文書のための再生エンジンの役割は、PCに搭載されたブラウザーが担当し、ナビゲーションのためのナビゲーションキーとしてPCのユーザ入力装置、すなわち入力キーの数が比較的多いキーボード及びマークアップ文書のどこでもポインティング可能なマウスを使用したので、大きい問題はなかった。

しかし、リモートコントローラのように、キーの数が制限されたユーザ入力装置を使用する家庭用機器として、インタラクティブモードを支援する再生装置を具現しようとする場合、ナビゲーションキーをそれぞれ備えることが効率的でないという問題点がある。

本発明が解決しようとする目的は、制限された数のキーのみを有するユーザ入力装置でも効果的にユーザ入力を処理して、AVデータをインタラクティブモードで再生できる再生装置、そのユーザ入力処理方法、及びその情報保存媒体を提供することである。

本発明が解決しようとする他の目的は、インタラクティブコンテンツ製作者が、さらに効率的なユーザインタラクションの可能なインタラクティブコンテンツを製作できるように、ユーザ入力を適切に処理できる再生装置、そのユーザ入力処理方法及びその情報保存媒体を提供することである。

前記目的は、本発明によって、AVデータと、前記AVデータをインタラクティブモードで再生するために必要なマークアップ文書と、前記マークアップ文書には、ユーザからのキー入力イベントが前記マークアップ文書を解釈して実行するENAVエンジンに伝えられることを要求する第1イベント情報とを含むことを特徴とする情報保存媒体によっても達成される。

前記第1イベント情報は、ユーザによってイベントが発生したか否かを検査するためのイベント登録情報、及びキー入力イベントが発生した時にAV再生エンジンの動作を制御することによって前記イベントを処理するためのイベント処理情報を含むことが望ましい。

前記イベント登録情報は、前記マークアップ言語に定義されたオンクリックイベントを使用して記録され、前記イベント処理情報は、前記オンクリックイベントに応答して前記AV再生エンジンをして対応動作を行う関数によって具現されるか、またはキー入力イベントの発生如何を検査するためのキー入力イベントリスナーを使用して記録され、前記イベント処理情報は、前記AV再生エンジンの動作を制御するためのキー入力イベントハンドラーを使用して記録されることが望ましい。

前記キー入力イベントハンドラーは、ユーザが押したキーに対応するようにあらかじめ定義された前記AV再生エンジンの動作を行わせる再生制御命令を伝達することが望ましい。

前記マークアップ文書には、前記キー入力イベントを、前記AVデータをデコーディングするAV再生エンジンに伝達することを禁止する第2イベント情報が記録されることが望ましい。

また、前記目的は、再生されたAVデータがマークアップ文書と共に表示されるインタラクティブモードでユーザ入力を処理する方法において、(a)ユーザからキー入力イベントが発生すれば、前記マークアップ文書を解釈して実行するプレゼンテーションエンジンに伝達する段階と、(b)前記ENAVエンジンは、前記キー入力イベントをデフォルトによって前記AVデータを再生するためのAV再生エンジンに伝達する段階とを含むことを特徴とする方法によっても達成される。

また、前記目的は、再生されたAVデータがマークアップ文書と共に表示されるインタラクティブモードでユーザ入力を処理する方法において、(a)ユーザからキー入力イベントをデフォルトによって前記AVデータをデコーディングするAV再生エンジンに伝達する段階と、(b)前記マークアップ文書に記録された第2イベント情報による第2イベントが発生すれば、前記キー入力イベントを前記AV再生エンジンに伝達することを禁止する段階と、を含むことを特徴とする方法によっても達成される。

一方、本発明の他の分野によれば、前記目的は、AVデータをインタラクティブモードで再生する装置において、前記AVデータを再生するAV再生エンジンと、マークアップ文書を解釈して実行するENAVエンジンと、前記ENAVエンジンは、ユーザ入力によるキー入力イベントが発生すれば、これをデフォルトによって前記AV再生エンジンに伝達することを特徴とする装置によっても達成される。

前記ENAVエンジンは、前記マークアップ文書に記録された第2イベント情報による第2イベントが発生すれば、前記キー入力イベントを前記AV再生エンジンに伝達しないことが望ましい。

前記ENAVエンジンは、前記キー入力イベントを前記AV再生エンジンに伝達するインターフェースハンドラーを含むことが望ましい。

以下、添付された図面を参照して、本発明望ましい実施例を詳細に説明する。以下で、「インタラクティブコンテンツ」は、インタラクティブモードでユーザに見られるか、または見られることができるコンテンツを網羅する意味として使われる。すなわち、インタラクティブコンテンツは、AVデータはもとより、マークアップ文書及び前記マークアップ文書に挿入またはリンクされたプログラムコード及び/またはリソースファイルを称す。例えば、DVD−VIDEOをインタラクティブモードで再生する時、インタラクティブコンテンツは、DVD−VIDEOコンテンツ(AVコンテンツ)及びマークアップ文書に大別される。「マークアップ文書」は、XML、HTMLなどのマークアップ言語で作成された文書であって、A.xmlのような文書はもとより、A.xmlに挿入されるA.png、A.jpg、A.mpegを含むマークアップリソースを意味する。言い換えれば、本実施例で、マークアップ文書は、AVデータをインタラクティブモードで再生するために必要なアプリケーションの役割を行う一方、AVデータと共にユーザにディスプレイされるインタラクティブコンテンツの役割を同時に行う。

図1は、本発明の望ましい実施例による再生システムの概要図である。

図1を参照するに、再生システムは、本実施例による情報保存媒体であるDVD 300、再生装置200、本実施例によるディスプレイ装置としてTV 100、ユーザ入力装置としてリモートコントローラ400を含む。リモートコントローラ400は、ユーザの制御命令を入力されて再生装置200に伝達する。再生装置200は、DVD 300に記録されたAVデータをインタラクティブモードで再生する。再生装置200に備えられたDVDドライブにDVD 300がロードされ、ユーザがインタラクティブモードを選択すれば、再生装置200は、対応するマークアップ文書を使用して当該AVデータをインタラクティブモードで再生してTV 100に伝達する。TV 100には、再生されたAVデータによるAV画面がマークアップ文書から得られたマークアップ画面に埋め込まれて共に表示される。「インタラクティブモード」は、AV画面をマークアップ文書に定義された表示窓にディスプレイする方式、すなわち、マークアップ画面にAV画面が埋め込まれるようにディスプレイする方式を称す。ここで、AV画面は、DVD 300に記録されたDVD−VIDEOデータが再生装置200によって再生されてTV 100に表示される画面を指し、マークアップ画面は、DVD 300に記録されたマークアップ文書が再生装置200によって解釈されかつ実行されてTV 100に表示される画面を指す。AV画面が埋め込まれたマークアップ画面、すなわち、インタラクティブモードで見られる画面は、インタラクティブ画面と称す。一方、「ビデオモード」は、AVデータを従来DVD−VIDEOに定義されたように再生する方式、すなわち、当該AVデータを再生して得られたAV画面のみをディスプレイする方式を称す。本実施例で、再生装置200は、インタラクティブモードとビデオモードとを支援するだけでなく、インタラクティブモードの下位ディスプレイモードとしてフルスクリーンモードを支援する。フルスクリーンモードは、本出願人によって2002年2月7日付で出願された韓国特許出願第02−7031号公報の「モード表示情報が記録された情報保存媒体、その再生装置及び再生方法」に定義されたディスプレイモードであって、インタラクティブモードでAV画面が拡大されて画面一杯に見られるモードを意味する。さらに、本実施例で、再生装置200は、ネットワークからマークアップ文書を読み込むことができる。

図2は、図1のリモートコントローラ400の一例を示す図である。

図2を参照するに、リモートコントローラ400には、多様な機能キーが設けられている。TVボタン41は、外部から受信された放送信号をTV 100を通じて視聴するためのキーであり、DVDボタン42は、再生装置200から提供されたAVデータとして本実施例によるビデオタイトルをTV 100を通じて視聴するためのキーである。リモートコントローラ400の上段前面には、チャンネル番号を選択するための数字/特殊文字キー43が配置されている。Setup 44は、再生装置200をセットアップするためにOSD(オンスクリーンディスプレイ)メニューを呼び出すキーであり、H/E 45は、言語転換キーであり、SP 46は、Spaceキーであり、DEL 47は、デリートキーである。Screen(スクリーン)48は、インタラクティブモードでAV画面のディスプレイモード(埋め込みモードとフルスクリーンモード相互間)を変換するためのキーであり、Menu(メニュー)49は、メニュー画面を呼び出すためのキーであり、Content(コンテント)50は、インターネットから所定情報をダウンロードするためのキーである。インタラクティブ画面でフォーカスまたはハイライト情報を移動させる方向キーであって、52はup(アップ)キー、53はleft(レフト)キー、54はdown(ダウン)キー、55はright(ライト)キーである。OK 51は、フォーカスまたはハイライト情報が位置したマークアップ文書のエレメントまたはメニューを選択するためのキーである。

ビデオタイトルを再生するためのキーであって、56はpreview(プレビュー)キーであり、57はnext(ネクスト)キーであり、58はfast rewind(早戻し)キーであり、59はstop(停止)キーであり、60はplay/pause(再生/ポーズ)キーであり、61はfast forward(早送り)キーである。ビデオタイトルを再生する時、ユーザは、Audio(オーディオ)62を使用してオーディオの言語を転換でき、Sub title(サブタイトル)63を使用して字幕の言語を転換でき、Angle(アングル)64を使用して画面のアングルを転換できる。

Focus change(フォーカスチェンジ)65は、本実施例によってインタラクティブ画面上で相異なるドメイン、すなわち、AV画面でマークアップ画面またはマークアップ画面からAV画面にフォーカスを移動させるのに使われる。言い換えれば、ユーザがFocus change 65を押せば、本発明によってそのユーザ入力が処理される。その詳細な説明は、後述する。

Return(リターン)66は、階層構造よりなるメニューにおいて、階層間の移動のために使われる。Exit(エクジット)67は、メニュー画面からビデオタイトルの再生画面に移動するためのキーである。図2のリモートコントローラ400は、ビデオタイトルが記録されたDVD 300に対応するように設けられた一例であるので、具体的な機能キー及びその数は変更されうる。また、機能キーのうち少なくとも一部をOSDメニューで編入させることができ、逆に、OSDメニューの一部を機能キーで具現できる。

図3は、本発明の望ましい実施例による再生装置200のブロック図である。

図3を参照するに、再生装置は、リーダ2、ENAVエンジン3、AV再生エンジン4、及びブレンダ7を含む。

リーダ2は、ENAVエンジン3からの制御信号によってDVD 300からAVデータ、すなわち、本実施例でのDVD−VIDEOデータ及びマークアップ文書を読み出す。マークアップ文書には、本発明によるイベント情報として、第1イベント情報、第2イベント情報及び第3イベント情報のうち少なくとも一つが記録される。第1イベント情報は、インタラクティブモードでAV画面を制御するための情報、すなわちDVD−VIDEOデータの再生のためのAV再生エンジン4の動作を制御するための情報であり、第2イベント情報は、ユーザ入力がAV再生エンジン4に伝えられることを禁止するための情報である。第3イベント情報は、ユーザ入力がAV再生エンジン4に伝達または禁止される時、ENAVエンジン3の動作を制御する情報を称す。

第1イベント情報によって第1イベントが発生し、第2イベント情報によって第2イベントが発生し、第3イベント情報によって第3イベントが発生する。

AV再生エンジン4は、読み出されたAVデータを再生する。本実施例で、AVデータは、DVD−VIDEOデータとして記録されているので、本実施例で、AV再生エンジン4は、DVD−VIDEOデータを再生するDVD−VIDEO再生エンジンに具現される。AV再生エンジン4は、API(Application Program Interface)を通じてENAVエンジン3とコミュニケーションする。すなわち、ENAVエンジン3からの要求に応答して、AV再生エンジン4の動作状態を示す属性をENAVエンジン3に知らせ、トリガーをENAVエンジン3に伝送する。トリガーとは、例えば、インタラクティブモードで映画「スターウォーズ」が上映される時、AV画面に戦闘場面が表示されれば、対応するクイズがマークアップ画面に表示されるようにする場合、戦闘場面が表示される時点を前後にENAVエンジン3にこれを知らせることを称す。

さらに、AV再生エンジン4は、リモートコントローラ400に設けられた所定キーを通じたユーザからのキー入力イベントが発生すれば、これをENAVエンジン3を経由して受信する。言い換えれば、ユーザがリモートコントローラ400に設けられた所定キーを押せば、キー入力イベントが発生し、発生したキー入力イベントは、AV再生エンジン3に伝えられてDVD−VIDEOの再生を制御する。または、第1イベントが発生すれば、第1イベントによって定義される動作を行う。但し、前述したように、第2イベントが発生すれば、AV再生エンジン4は、ユーザからのキー入力イベントを伝達されなくなる。

ENAVエンジン3は、マークアップ言語、スクリプト言語及び/またはその他のプログラム言語で作成されたマークアップ文書を検証しかつ解釈して実行する解釈エンジンである。本実施例で、ENAVエンジン3は、インタラクティブモードでDVD 300に記録されたDVD−VIDEOデータをインタラクティブモードで再生するために、マークアップ文書を検証しかつ解釈してレイアウトする。特に、ENAVエンジン3は、本発明によってマークアップ文書に第1イベント情報が記録されており、それによる条件が充足されて第1イベントが発生すれば、これをAV再生エンジン4に伝達するか、またはユーザからのキー入力イベントが発生すれば、これをデフォルトによってAV再生エンジン4に伝達する。特定の場合、マークアップ文書に第2イベント情報が記録されており、それによる条件が充足されて第2イベントが発生すれば、ユーザからのキー入力イベントの伝達を禁止する。さらに、ENAVエンジン3は、ユーザ入力が直接AV再生エンジン4に伝達または禁止される時、マークアップ文書に第3イベント情報が記録されており、それによる条件が充足されて第3イベントが発生すれば、それに対応する動作を行う。

一方、ENAVエンジン3は、多様なプラグインを含みうる。プラグインは、マークアップ文書に含まれるか、またはマークアップ文書にリンクされた多様なフォーマットのファイルを再生可能にする。例えば、ウィンドウメディアプレイヤ用AVデータを再生するために、ENAVエンジン3は、ウィンドウメディアプレイヤを実行させうる。また、ENAVエンジン3は、ネットワークに接続してマークアップ文書など必要な情報を読み込むことができる。

ブレンダ7は、再生されたDVD−VIDEOストリームと解釈されたマークアップ文書とをブレンディングして出力する。これにより、TV 100には、マークアップ画面22及びAV画面21より構成されたインタラクティブ画面が表示される。

図4は、本発明によるENAVエンジン3の動作をさらに詳細に説明するための図3の部分詳細ブロック図である。

図4を参照するに、ENAVエンジン3は、パーサ&インタープリタ15、デコーダ25及びインターフェースハンドラー35を備える。インターフェースハンドラー35は、ユーザからキー入力イベントが発生すれば、これをデフォルトによってAV再生エンジン4に伝達する。

パーサ&インタープリタ15は、マークアップ文書をパーシングし、マークアップ文書及びマークアップ文書に記録されたスクリプトコードを解釈する。スクリプトコードは、インタラクティブモードでマークアップ文書に含まれたオブジェクトをダイナミックにコントロールするために使われる。イベントは、オブジェクトをコントロールするためのイベントハンドラー(関数)を活性化させるためのトリガーの役割を行う。本実施例で、パーサ&インタープリタ15は、マークアップ文書にマークアップ言語及び/またはスクリプト言語で記録されたイベント情報を解釈し、インターフェースハンドラー35から伝えられたイベントが、解釈されたイベント情報によって処理されるように対応コマンドをインターフェースハンドラー35に伝達する。

また、インターフェースハンドラー35は、AV再生エンジン4からのトリガーをパーサ&インタープリタ15が解釈できるイベントに変換し、AV再生エンジン4から伝えられた状態をパーサ&インタープリタ15が理解できる属性に変換し、パーサ&インタープリタ15からのコマンドをイベントハンドラーを通じて処理するか、またはAV再生エンジン4が理解できる制御命令コントローラに変換させて伝達する。

本実施例で、インターフェースハンドラー35は、インタラクティブモードでAV画面を制御するために、第1イベント情報による第1イベントが発生すれば、これをAV再生エンジン4に伝達する。また、ユーザからキー入力イベントが発生すれば、リモートコントローラ400に設けられたキーに割当てられたKeycodeを媒介変数として有するAPIコマンドInputRCKeyを使用して、経路Aを通じて制御命令をAV再生エンジン4に伝達する。また、第2イベント情報による第2イベントが発生すれば、ユーザからキー入力イベントが発生しても、これをAV再生エンジン4に伝達しない。さらに、インタラクティブモードでマークアップ画面を制御するためのユーザ入力、すなわち第3イベント情報による第3イベントが発生すれば、対応する動作を行えるように、これをパーサ&インタープリタ15に伝達する。

デコーダ25は、パーサ&インタープリタ15からの命令によってインタラクティブコンテンツをデコーディングしかつレンダリングする。レンダリングとは、マークアップ文書のページレイアウト及びAV出力をコントロールすることを意味する。

以下では、本発明によるイベントについて詳述する。

第1イベント情報は、ユーザによってイベントが発生したか否かを検査するためのイベント登録情報を含み、第1イベントが発生した時、AV再生エンジン4の動作を制御することによってこれを処理するためのイベント処理情報を含む。第1イベント情報は、第1イベントが発生するようにマークアップ文書に記録された情報であって、イベント登録情報は、第1イベントを登録するためのものであり、イベント処理情報は、第1イベントを処理するためのものである。

<第1イベント具現例1>
第1イベントの登録は、キー入力イベントの発生如何を検査するためのキー入力イベントリスナーによって具現され、第1イベントの処理は、AV再生エンジン4の動作を制御するためのキー入力イベントハンドラーによって具現される。

<第1イベント具現例2>
第1イベントの登録は、マークアップ言語に定義されたオンクリックイベントによって具現され、第1イベントの処理は、オンクリックイベントに応答してAV再生エンジン4をして対応動作を行わせる関数によって具現される。ここで、キー入力イベントハンドラーまたは関数は、ユーザが押したキーまたはボタンに対応する制御命令を、AV再生エンジン4に伝達する役割を行う。

次は、<第1イベント具現例1>によるマークアップ文書のソースコードを表す。


<第1イベント具現例1>のマークアップ文書によれば、次のように、イベント登録情報がJava(登録商標)Script言語で記録されている。


これによれば、rckeypressというイベントが発生すれば(ユーザがリモートコントローラ400の所定キーを押せば)、関数RcKeyEventHandlerが呼び出されることが分かる。

また、イベント処理情報は、次のように、JavaScript言語で記録されている。


これによれば、RcKeyEventHandlerは、キーコードが12である時、dvdVideo.InputRCKey 12を実行することが分かる。すなわち、ユーザが押したキーに割当てられたコードが12である時、ENAVエンジン3は、AV再生エンジン4をしてキーコード12に割当てられた再生制御動作を行わせるようにコマンドAPI dvdVideo.InputRCKeyを使用して対応制御命令をAV再生エンジン4に伝達することが分かる。

すなわち、マークアップ文書のbody内にリモートコントローラ400のキー入力イベントを登録してユーザがリモートコントローラ400のキーを押せば、これをENAVエンジン3から受信してAV再生エンジン4に伝達させうる。マークアップ文書製作者は、リモートコントローラ400に設けられたキーを選別し、ユーザが選別されたキーを押せば、それに該当する制御命令をAV再生エンジン4に伝送する方式によってDVD−videoの再生を制御できる。

次は、<第1イベント具現例2>によるマークアップ文書のソースコードを表す。


<第1イベント具現例2>のマークアップ文書によれば、次のように、イベント登録情報がマークアップ言語で記録されている。


すなわち、図6に示されたように、AV画面26とPlay/Pauseキー36が備えられたマークアップ画面16とが共に表示されたインタラクティブ画面において、オンクリックイベントが発生すれば(ユーザがPlay/Pauseキー36を押せば)、関数Btn_PlayPause()が呼び出されることが分かる。

また、イベント処理情報は、次のように、JavaScript言語で記録されている。


これによれば、関数Btn_PlayPauseは、APIコマンドdvdVideo.InputRCKey 12を実行することが分かる。すなわち、ユーザがインタラクティブ画面上に表示されたPlay/Pauseキー36を押せば、ENAVエンジン3は、AV再生エンジン4をしてキーコード12に割当てられた再生制御動作を行わせるように、APIコマンドdvdVideo.InputRCKeyを使用して対応制御命令をAV再生エンジン4に伝達することが分かる。

マークアップ文書内に存在するボタンのonclick()イベントにAPIコマンドdvdVideo.InputRCKey(keyCode);を連結して使用することによって、ユーザがマークアップ文書のボタンをクリックすれば、対応する制御命令をAV再生エンジン4に伝達可能にする方式によって、インタラクティブコンテンツ製作者の意図によってDVD−videoの再生を制御できる。

このように第1イベント情報をマークアップ文書に記録する方式を使用して、ユーザからのキー入力イベントをAV再生エンジン4に伝達すれば、インタラクティブコンテンツ製作者をして、必要に応じてユーザの入力をAV再生エンジン4に伝達せしめうる。

もちろん、第1イベント情報をマークアップ文書に記録して置くことによって、ユーザからのキー入力イベントを処理する方式を使用せずとも、ENAVエンジン3は、キー入力イベントが発生すれば、APIコマンドを通じて対応する制御命令をデフォルトによってAV再生エンジン4に伝達することによって、キー入力イベントを処理できる。

本発明による第2イベントは、APIコマンドを通じて具現される。APIコマンドEnableRCKeyInput()は、インタラクティブコンテンツが保存された情報保存媒体であるDVD 300の再生を支援するためのAV再生エンジン4とENAVエンジン3とのインターフェースのためのAPIコマンドであって、次のように定義される。

[object].EnableRCKeyInput(x)
1.要約
このコマンドは、ユーザ入力をAV再生エンジン4に伝達することを禁止するAPIであって、本実施例で[object]はdvdVideoである。

2.パラメータ
x=0:disable
x=1:enable
3.返還値


マークアップ文書内にスクリプト言語で記録された第2イベント情報を通じて第2イベント、すなわち、EnableRCKeyInput(0)が発生すれば、ユーザ入力は、ENAVエンジン3には伝えられるが、AV再生エンジン4には伝えられることが禁止される。例えば、インタラクティブコンテンツ製作者が、所定ユーザ入力によってマークアップ文書のディスプレイのみを変更させるために、ユーザ入力がAV再生エンジン4への伝達を禁止するAPIコマンドEnableRCKeyInput(0)を発生させる第2イベント情報が記録されたマークアップ文書を製作する場合がこれに該当する。

次は、第2イベント情報が記録されたマークアップ文書の一例である。


前記例のように、第2イベント情報が記録されたマークアップ文書を処理するAV再生エンジン4は、デフォルト動作が定義されているユーザ入力である方向キー52,53,54,55が入ってもその動作を行わない。

このような状態で、コンテンツ製作者は、所望のユーザ入力に反応するENAVエンジン3の動作を定義する第3イベント情報をさらに追加できる。

第3イベント情報は、ユーザ入力が直ちにAV再生エンジン4に伝えられる場合でも、ENAVエンジン3は、ユーザ入力を伝達されて所定動作を行うようにするためのものである。但し、図7A及び図7Bを参照して後述するように、OKキー51及び方向キー52,53,54,55以外には、いかなるデフォルト動作も定義していない。したがって、この場合には、OKキー51及び方向キー52,53,54,55以外に、いかなるユーザ入力が入ってもENAVエンジン3は動作を行わない。しかし、場合によって、マークアップ文書製作者は、定義されたデフォルト動作を行わないようにするために、第3イベント情報をマークアップ文書に記録することによって、ユーザがOKキー51及び方向キー52,53,54,55を押しても、フォーカスやハイライト情報が移動しないようにできる。

図7A及び図7Bは、「あらかじめ決定されたAV再生エンジン4及びENAVエンジン3の動作情報」の一例を示す。

「あらかじめ決定されたAV再生エンジン4及びENAVエンジン3の動作情報」は、ユーザがリモートコントローラ400に設けられたキーを押した時(すなわち、ユーザによってキー入力イベントRCKeyEventが発生した時)、AV再生エンジン4の動作及び/またはENAVエンジン3の動作を定義したものである。リモートコントローラ400に設けられたキーに対応するようにAV再生エンジン4及びENAVエンジン3の動作を定義することによって、通常、再生装置製作者とコンテンツ製作者とが別個に存在する可能性が高い状況でも、「あらかじめ決定されたAV再生エンジン4及びENAVエンジン3の動作情報」によって製作された再生装置とコンテンツとは相互整合性が高まる。また、複数のコンテンツ製作者が存在するとしても、「あらかじめ決定されたAV再生エンジン4及びENAVエンジン3の動作情報」に基づいて、本発明によるユーザ入力処理方法を使用してコンテンツを製作すれば、AV再生エンジン4と整合されつつも、AVコンテンツとマークアップコンテンツとをさらにインタラクティブに制御可能に製作できる。

図7A及び図7Bによれば、ENAVエンジン3のデフォルト動作は、ほとんど定義されていない。インタラクティブコンテンツ製作者は、スクリプト言語を使用してENAVエンジン3をして所望の動作を行わせるようにマークアップ文書を製作できる。“keyCode”属性は、ユーザが押したキーにあらかじめ決定されたキーコードを表し、“keyName”は、押されたキーの名称を表す。AV再生エンジン4の動作説明は、DVD−video Specifications for Read Only Disc/Part 3.Video Specifications Version 1.0に基づいて記述された。

一方、注1)、注2)、注3)、注4)、注5)、注6)、注7)、及び注8)についての説明は、次の通りである。

注1)−ENAVエンジン3でデフォルト動作が設定されていないキーについては、その“keyCode”または“keyName”をマークアップ文書で“accesskey”属性値として使用することによって、特定エレメントを直接フォーカシングできる接続キーとして使用できる。

注2)−基本的にScreenキー48については、ENAVエンジン3のデフォルト動作が定義されていないが、インタラクティブモード(埋め込みモード)でフルスクリーンモードを支援するためのスクリプトコードが記録されたマークアップ文書を製作した場合、次のような動作が定義される。

[object].FullScreen(x)
1.要約
DVD−Videoを埋め込みモードやフルスクリーンモードでセッティングする。本実施例で、object[object]はdvdVideoである。

2.パラメータ
x=0:埋め込みモードでセッティング
x=1:フルスクリーンモードでセッティング
3.返還値


注3)−マークアップ文書のエレメントのうち、DVD−Videoを埋め込んでいるオブジェクトエレメントにフォーカスを移動し、DVD−Videoをナビゲーション可能な状態に転換する。言い換えれば、図2の方向キー52,53,54,55を使用してハイライト情報を移動させ、OKキー51を使用して当該メニューを選択するか、またはDVD再生制御キーを使用してDVD−Videoをナビゲーションできる。DVD−Videoをナビゲーションする方法の一例は、本出願人が2002年6月27日付で出願した韓国特許出願第02−37515号公報「インタラクティブモードでのフォーカシング方法、その装置及び情報保存媒体」に詳細に記述されている。

既にDVD−Videoをナビゲーションしている状態であれば、以前にフォーカシングされたマークアップ文書のエレメントにフォーカシングを移動する。

注4)−Play/Pauseキー60は、DVD−videoの再生及び一時停止を共に行うために、次のようなアルゴリズムによる。AV再生エンジン4の動作状態、すなわち、DVD−Videoの再生状態が停止であれば、DVD−videoの第1再生プログラムチェーンを再生し、再生状態が再生中であれば、Pause_On()を行い、再生状態が一時停止であれば、Pause_Off()を行う。Pause_On()とPause_Off()とは、DVD−video Specifications for Read Only Disc/Part 3.Video Specifications Version 1.0に定義されたユーザ動作機能のうち一つである。

注5)−現在PTT(Part of Title)numberから以前PTT numberに移動して再生する機能を提供する。同じタイトル内で現在PTT numberより1が小さなPTT numberが存在していなければ、現在タイトルの以前タイトルに存在する最後のPTT numberを再生する。タイトル番号が最も小さなタイトルの第1 PTT numberでは、タイトル番号が最も大きいタイトルの最後のPTT numberに移動して再生する。PTT numberについての詳細な説明は、DVD−Video Specifications for Read Only Disc/Part 3.Video Specifications Version 1.0に記述されている。

注6)−現在PTT numberから次のPTT numberに移動して再生する機能を提供する。同じタイトル内で現在PTT numberより1が大きいPTT numberが存在していなければ、現在タイトルの次のタイトルに存在する第1 PTT numberを再生する。タイトル番号が最も大きいタイトルの最後のPTT numberでは、タイトル番号が最も小さなタイトルの第1 PTT numberに移動して再生する。

注7)−サブピクチャー転換を行う。基本的に、サブピクチャーは、画面に表示しないことがデフォルトとして設定されている。したがって、画面にサブピクチャーを表示しようとする場合、ユーザは、サブピクチャーを表示するように再生装置200の設定を変換しなければならない。サブピクチャーが表示されるように設定を変換すれば、再生装置200に設定された0ないし31のうち何れか一つのサブピクチャーストリーム番号を有する特定サブピクチャーストリームが表示される。ユーザがSubtitleキー63を押す度に、特定サブピクチャーストリーム番号に1を加算したサブピクチャーストリーム番号を有するサブピクチャーストリームが表示される。但し、最後のサブピクチャーストリーム番号後には、再び0番ストリーム番号に転換される。サブピクチャー転換についての詳細な説明は、DVD−Video Specifications for Read Only Disc/Part 3.Video Specifications Version 1.0に記述されている。

注8)−アングル転換を行う。アングル番号1とディスプレイされることがデフォルトであり、ユーザが、Angleキー64を押してアングルを転換する度に、アングル番号に1を加算したアングル番号が表示される。最後のアングル番号で再びAngleキー64を押せば、再びアングル番号1となる。アングル転換についての詳細な説明は、DVD−Video Specifications for Read Only Disc/Part 3.Video Specifications Version 1.0に記述されている。

注9)−オーディオ転換が行われる。基本的に、オーディオストリームは、含まれていないか、または選択されていないことがデフォルトである。オーディオストリームが選択された後には、Audioキー62を押す度に、オーディオストリーム番号に1を加算した番号を有するオーディオストリームが表示される。最後のオーディオストリーム番号で再びAudioキー62を押せば、再びオーディオストリーム番号1となる。オーディオストリーム転換についての詳細な説明は、DVD−video Specifications for Read Only Disc/Part 3.Video Specifications Version 1.0に記述されている。

次の表は、RCKeyEventのキーの動作を定義したものである。


前記構成に基づいて、本発明の望ましい実施例によって、インタラクティブモードでユーザ入力を処理する方法を説明すれば、次の通りである。

図7は、本発明の一実施例によってインタラクティブモードでユーザ入力を処理する方法を説明するためのフローチャートである。

図7を参照するに、マークアップ文書に記録された第1イベント情報を通じて第1イベントとしてキー入力イベントが発生するか、またはユーザがリモートコントローラ400の所定キーを押してキー入力イベントが発生すれば(701段階)、これはENAVエンジン3を通じてAV再生エンジン4に伝えられる(702段階)。ENAVエンジン3は、第2イベントが発生すれば(703段階)、今後のユーザ入力が直接AV再生エンジン4に伝えられることを禁止する(704段階)。

一方、ENAVエンジン3は、ユーザ入力がマークアップ文書に記録された第2イベント情報にマッチングされて、それによる第2イベントが発生すれば(703段階)、相応する再生制御命令をAV再生エンジン4に伝達する(704段階)。

図8は、本発明の他の実施例によって、インタラクティブモードでユーザ入力を処理する方法を説明するためのフローチャートである。

図8を参照するに、マークアップ文書に記録された第1イベント情報を通じて第1イベントとしてキー入力イベントが発生するか、またはユーザがリモートコントローラ400の所定キーを押してキー入力イベントが発生すれば(801段階)、これは、ENAVエンジン3を通じてAV再生エンジン4に伝えられる(802段階)。また、ENAVエンジン3は、第3イベントが発生すれば(803段階)、第3イベントに対してあらかじめ決まった動作を行う(804段階)。

図9は、本発明のさらに他の実施例によってインタラクティブモードでユーザ入力を処理する方法を説明するためのフローチャートである。

図9を参照するに、ユーザがリモートコントローラ400の所定キーを押せば(901段階)、キー入力イベントが発生し(902段階)、ENAVエンジン3のインターフェースハンドラー35は、発生したキー入力イベントに相応する再生制御命令をAV再生エンジン4に伝達することによってキー入力イベントを処理する(903段階)。

図10は、本発明のさらに他の実施例によってインタラクティブモードでユーザ入力を処理する方法を説明するためのフローチャートである。

図10を参照するに、ユーザがリモートコントローラ400の所定キーを押せば(1001段階)、キー入力イベントは、ENAVエンジン3のインターフェースハンドラー35に伝えられ、ENAVエンジン3のインターフェースハンドラー35は、キー入力イベントをAV再生エンジン4に伝達する(1002段階)。これにより、AV再生エンジン4は、当該動作を行う(1003段階)。例えば、ユーザがfastforwardキー61を押せば、図6A及び図6Bに定義されている「あらかじめ決定されたENAVエンジン3及びAV再生エンジン4の動作情報」によってAV再生エンジン4は、FORWARD_SCAN(SPEED)を行う。

図11は、本発明のさらに他の実施例によってインタラクティブモードでユーザ入力を処理する方法を説明するためのフローチャートである。

図11を参照するに、ユーザがマークアップ文書に設けられたボタンをクリックして(1101段階)、オンクリックイベントが発生すれば(1102段階)、ENAVエンジン3のインターフェースハンドラー35は、オンクリックイベントに相応する再生制御命令をAV再生エンジン4に伝達することによってオンクリックイベントを処理する(1103段階)。

一方、前述したインタラクティブモードでユーザ入力処理方法は、コンピュータプログラムとして作成可能である。前記プログラムを構成するコード及びコードセグメントは、当該分野のコンピュータプログラマーによって容易に推論されうる。また、前記プログラムは、コンピュータ可読情報保存媒体に保存され、コンピュータによって読取られかつ実行されることによって、前記インタラクティブモードでユーザ入力処理方法を具現する。前記情報保存媒体は、磁気記録媒体、光記録媒体、及びキャリアウェーブ媒体を含む。

前述したように、本発明によれば、インタラクティブモードで制限されたユーザ入力装置でも効果的にインタラクティブコンテンツを制御できる方法、その装置及びその情報保存媒体が提供される。これによれば、ユーザ入力がENAVエンジンに伝えられた後、必要に応じてENAVエンジンが対応再生制御命令をAV再生エンジンに伝達するか、またはユーザ入力がENAVエンジンを通じずに直接AV再生エンジンに伝達させることによって、インタラクティブモードでマークアップコンテンツとAVコンテンツとをインタラクティブに制御できる。

言い換えれば、従来のマークアップ文書を解釈してディスプレイするマークアップ文書ビューア(例:ブラウザ)が使用するユーザ入力についての方式及び定義を活用しつつも、インタラクティブモードでユーザ入力を適切に処理できる。これにより、インタラクティブモードでも、ユーザは、キー入力の混同なしに便利にインタラクティブ画面(マークアップ画面及びAV画面)をナビゲーションするか、またはインタラクティブ画面に表示された(マークアップ文書に含まれた)オブジェクトを制御できる。

本発明の望ましい実施例による再生システムの概要図である。 リモートコントローラ400の一例を示す図である。 本発明の望ましい実施例による再生装置200のブロック図である。 本発明によるENAVエンジン5の動作をさらに詳細に説明するための図3の部分詳細ブロック図である。 インタラクティブ画面の一例を示す図である。 「あらかじめ決定されたENAVエンジン5及びAV再生エンジン4の動作情報」の一具現例である。 「あらかじめ決定されたENAVエンジン5及びAV再生エンジン4の動作情報」の一具現例である。 本発明の一実施例によってインタラクティブモードでユーザ入力を処理する方法を説明するためのフローチャートである。 本発明の他の実施例によってインタラクティブモードでユーザ入力を処理する方法を説明するためのフローチャートである。 本発明の他の実施例によってインタラクティブモードでユーザ入力を処理する方法を説明するためのフローチャートである。 本発明のさらに他の実施例によってインタラクティブモードでユーザ入力を処理する方法を説明するためのフローチャートである。 本発明のさらに他の実施例によってインタラクティブモードでユーザ入力を処理する方法を説明するためのフローチャートである。

Claims (33)

  1. AVデータと、
    前記AVデータをインタラクティブモードで再生するために必要なマークアップ文書とを含み、
    前記マークアップ文書は、ユーザアクションに対応するキー入力イベントの発生を、前記AVデータを再生するAV再生エンジンにデフォルトによって知らせる第1イベント情報を含むことを特徴とする情報保存媒体。
  2. 前記第1イベント情報は、ユーザによってイベントが発生しか否かを検査するためのイベント登録情報及びキー入力イベントが発生した時、AV再生エンジンの動作を制御することによって前記イベントを処理するためのイベント処理情報を含むことを特徴とする請求項1に記載の情報保存媒体。
  3. 前記イベント登録情報は、前記マークアップ言語に定義されたオンクリックイベントを使用して記録され、前記イベント処理情報は、前記オンクリックイベントに応答して前記AV再生エンジンに対応動作を行うようにする関数によって具現されることを特徴とする請求項2に記載の情報保存媒体。
  4. 前記イベント登録情報は、キー入力イベントの発生如何を検査するためのキー入力イベントリスナーを使用して記録され、前記イベント処理情報は、前記AV再生エンジンの動作を制御するためのキー入力イベントハンドラーを使用して記録されることを特徴とする請求項2に記載の情報保存媒体。
  5. 前記AV再生エンジンは、前記マークアップ文書をインタープリトしかつ実行するENAVエンジンを通じて、前記キー入力イベントの発生を通報されることを特徴とする請求項1に記載の情報保存媒体。
  6. 前記AV再生エンジンは、前記マークアップ文書をインタープリトしかつ実行するENAVエンジンのインターフェースハンドラーを通じて、前記キー入力イベントの発生を通報されることを特徴とする請求項1に記載の情報保存媒体。
  7. 前記インターフェースハンドラーは、前記キー入力イベントに対応する前記AV再生エンジンの所定の動作を具現する再生制御命令を伝送することを特徴とする請求項6に記載の情報保存媒体。
  8. 前記第1イベント情報は、スクリプト言語及びマークアップ言語のうち少なくとも一つを使用して記録されることを特徴とする請求項1に記載の情報保存媒体。
  9. 前記第1イベント情報のうち少なくとも一つは、Javaスクリプト及びXMLのうち少なくとも一つを使用して記録されることを特徴とする請求項8に記載の情報保存媒体。
  10. 前記マークアップ文書には、
    前記キー入力イベントを、前記AVデータをデコーディングするAV再生エンジンに伝達することを禁止する第2イベント情報が記録されることを特徴とする請求項1に記載の情報保存媒体。
  11. 前記第2イベント情報は、アプリケーションプログラムインターフェースを利用して記録されることを特徴とする請求項10に記載の情報保存媒体。
  12. 再生されたAVデータがマークアップ文書と共に表示されるインタラクティブモードでユーザ入力を処理する方法において、
    ユーザアクションに対応するキー入力イベントが発生すれば、前記マークアップ文書を解釈して実行するENAVエンジンに前記キー入力イベントの発生を通報する段階と、
    前記ENAVエンジンは、前記キー入力イベントをデフォルトによって前記AVデータを再生するためのAV再生エンジンに通報する段階とを含むことを特徴とする方法。
  13. 前記ENAVエンジンにキー入力イベントの発生を通報する段階は、
    前記マークアップ文書に記録されたイベント情報を利用して、キー入力イベントを生成する段階を含み、
    前記AV再生エンジンに前記キー入力イベントの発生を通報する段階は、
    前記キー入力イベントを処理するために前記AV再生エンジンに、前記キー入力イベントに対応する再生制御命令を伝送する段階を含むことを特徴とする請求項12に記載の方法。
  14. 前記ENAVエンジンに前記キー入力イベントの発生を通報する段階は、
    前記マークアップ文書に記録された第1イベント情報であり、前記マークアップ文書に作られたボタンをクリックすることによって発生するオンクリックイベントを利用して、キー入力イベントを生成する段階を含み、
    前記AV再生エンジンに前記キー入力イベントの発生を通報する段階は、
    前記オンクリックイベントを処理する前記AV再生エンジンに、前記オンクリックイベントに対応する再生制御命令を伝送する段階を含むことを特徴とする請求項12に記載の方法。
  15. 再生されたAVデータがマークアップ文書と共に表示されるインタラクティブモードでユーザ入力を処理する方法において、
    ユーザからキー入力イベントの発生をデフォルトによって前記AVデータをデコーディングするAV再生エンジンに通報する段階と、
    前記マークアップ文書に記録された第2イベント情報による第2イベントが発生すれば、前記キー入力イベントを前記AV再生エンジンに伝達することを禁止する段階とを含むことを特徴とする方法。
  16. AVデータをインタラクティブモードで再生する装置において、
    前記AVデータを再生するAV再生エンジンと、
    マークアップ文書を解釈して実行するENAVエンジンとを含み、
    前記ENAVエンジンは、ユーザ入力によるキー入力イベントが発生すれば、前記キー入力イベントの発生をデフォルトによって前記AV再生エンジンに伝達することを特徴とする装置。
  17. 前記ENAVエンジンは、前記マークアップ文書に記録された第1イベント情報によって前記キー入力イベントを発生させることを特徴とする請求項16に記載の装置。
  18. 前記ENAVエンジンは、ユーザからのキー入力イベントに応答して前記AV再生エンジンを制御するAPIコマンドを発生させることを特徴とする請求項16に記載の装置。
  19. 前記ENAVエンジンは、
    前記マークアップ文書に記録された第2イベント情報による第2イベントが発生すれば、前記キー入力イベントの発生を前記AV再生エンジンに伝達しないことを特徴とする請求項16に記載の装置。
  20. 前記ENAVエンジンは、前記第1イベント情報によってキー入力イベントが発生すれば、発生したキー入力イベントに相応する再生制御命令を前記AV再生エンジンに伝達することによって前記キー入力イベントを処理することを特徴とする請求項16に記載の装置。
  21. 前記ENAVエンジンは、前記第1イベント情報によってオンクリックイベントが発生すれば、発生したオンクリックイベントに相応する再生制御命令を、前記オンクリックイベントを処理するAV再生エンジンに伝達することを特徴とする請求項16に記載の装置。
  22. 前記ENAVエンジンは、
    前記キー入力イベントの発生を前記AV再生エンジンに伝達するインターフェースハンドラーを含むことを特徴とする請求項16に記載の装置。
  23. 再生装置において、
    AVデータを読み込むリーダと、
    前記リーダ、ブレンダ、及びAV再生エンジンに結合されたENAVエンジンであって、ユーザ入力によって前記AV再生エンジンにキー入力イベント信号を出力し、前記AV再生エンジンからトリガー信号を受信し、前記AV再生エンジンに制御信号を伝送し、マークアップ文書を受信し、前記トリガー信号によってマークアップ文書を検証しかつ解釈して実行し、解釈されたマークアップ文書を前記ブレンダに伝送するENAVエンジンと、
    前記ENAVエンジン、前記ブレンダ、前記リーダに結合された前記AV再生エンジンであって、前記ENAVエンジンから前記キー入力イベント信号を受信すれば、前記マークアップ文書をトリガーし、前記ENAVエンジンにトリガー信号を伝送し、前記ENAVエンジンから前記キー入力イベント信号によってDVD−VIDEOデータの再生を制御するために要求されるタイムポイントを決定するAV再生エンジンと、
    前記ENAVエンジンと前記AV再生エンジンとに結合されたブレンダであって、前記解釈されたマークアップ文書と共に再生されるDVD−VIDEOストリームをブレンドして出力するブレンダとを含むことを特徴とする再生装置。
  24. 前記AVデータは、DVD−VIDEOデータとマークアップ文書とを含むことを特徴とする請求項23に記載の再生装置。
  25. 前記再生装置は、インタラクティブモード、ビデオモード、前記インタラクティブモードのサブディスプレイであるフルスクリーンモードのうち一つで動作することを特徴とする請求項23に記載の再生装置。
  26. 前記再生装置は、ネットワークからマークアップ文書を読み込むことを特徴とする請求項23に記載の再生装置。
  27. 第1イベント情報が前記マークアップ文書に記録され、第1イベントが前記第1イベント情報を利用して発生する時、前記ENAVエンジンは、前記第1イベントの発生を前記AV再生エンジンに通報するか、
    ユーザアクションに対応するキー入力イベントが発生する時、前記ENAVエンジンは、デフォルトによって前記AV再生エンジンに前記キー入力イベントの発生を通報するか、
    前記マークアップ文書に第2イベント情報が記録され、前記第2イベント情報を利用して第2イベントが発生する時、前記ENAVエンジンは、前記第2イベントのユーザアクションに対応するキー入力イベントの発生を前記AV再生エンジンに通報することを禁止するか、
    前記マークアップ文書に第3イベント情報が記録され、前記ユーザ入力が直接的に前記AV再生エンジンにフォワードされるか、または前記AV再生エンジンにフォワードされることが禁止されて、前記第3イベント情報を利用して第3イベントが発生する時、前記ENAVエンジンは、前記第3イベントに対応する動作を行うことを特徴とする請求項23に記載の再生装置。
  28. 前記ENAVエンジンは、
    パーサ及びインタープリタと、
    ユーザ入力を受信するように結合され、前記パーサとインタープリタ、前記AV再生エンジン及びデコーダに結合されたインターフェースハンドラーと、
    前記パーサ、インタープリタ、及びインターフェースハンドラーに結合されたデコーダとを含むことを特徴とする請求項23に記載の再生装置。
  29. インタラクティブモードでユーザ入力を処理する方法において、
    マークアップ文書に記録された第1イベント情報による第1イベントとして、またはユーザによって押されたリモートコントローラの所定のキーを通じて、キー入力イベントが発生するか否かを決定する段階と、
    前記キー入力イベントが発生すれば、前記ENAVエンジンを通じて前記キー入力イベントの発生をAV再生エンジンに通報する段階と、
    第2イベントが発生するか否かを決定する段階と、
    前記第2イベントが発生すれば、前記キー入力イベントの発生が前記ENAVエンジンによって直接的に前記AV再生エンジンに通報されることを禁止する段階と、
    前記キー入力イベントが、前記第2イベントが発生するように前記マークアップ文書に記録された第2イベント情報とマッチングされれば、前記ENAVエンジンによって前記第2イベントに対応する制御命令を前記AV再生エンジンに伝送する段階と、を含むことを特徴とする方法。
  30. インタラクティブモードでユーザ入力を処理する方法において、
    マークアップ文書に記録された第1イベント情報による第1イベントとして、またはユーザによって押されたリモートコントローラの所定のキーを通じて、キー入力イベントが発生するか否かを決定する段階と、
    前記キー入力イベントが発生すれば、前記ENAVエンジンを通じて前記キー入力イベントの発生をAV再生エンジンに通報する段階と、
    次のイベントを参照して、ユーザ入力が直接的にAV再生エンジンにフォワードされるか、または前記AV再生エンジンにフォワードされることが禁止されるか決定する段階と、
    前記次のイベントが発生すれば、前記ENAVエンジンによって前記次のイベントに対応する所定の動作を行う段階とを含むことを特徴とする方法。
  31. インタラクティブモードでユーザ入力を処理する方法において、
    ユーザによってキー入力イベントを発生させるためにリモートコントローラの所定のキーを押す段階と、
    ENAVエンジンのインターフェースハンドラーによって、前記キー入力イベントに対応する再生制御命令をAV再生エンジンに伝送することによって前記キー入力イベントを処理する段階とを含むことを特徴とする方法。
  32. インタラクティブモードでユーザ入力を処理する方法において、
    ユーザによってキー入力イベントを発生させるためにリモートコントローラの所定のキーを押す段階と、
    前記キー入力イベントの発生をENAVエンジンのインターフェースハンドラーに通報する段階と、
    前記ENAVエンジンの前記インターフェースハンドラーによって、前記キー入力イベントの発生をAV再生エンジンに通報する段階と、
    前記AV再生エンジンによって前記キー入力イベントに対応する動作を行う段階とを含むことを特徴とする方法。
  33. インタラクティブモードでユーザ入力を処理する方法において、
    ユーザによってオンクリックイベントを発生させるためにマークアップ文書に作られたボタンをクリックする段階と、
    ENAVエンジンのインターフェースハンドラーによって、前記オンクリックイベントに対応する再生制御命令をAV再生エンジンに伝送することによって前記オンクリックイベントを処理する段階とを含むことを特徴とする方法。
JP2005501238A 2002-08-26 2003-08-26 インタラクティブモードでavデータを再生する装置、そのユーザ入力処理方法及びその情報保存媒体 Expired - Fee Related JP4290695B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR20020050524 2002-08-26
KR20020073476 2002-11-25
KR20030057991A KR100517506B1 (ko) 2002-08-26 2003-08-21 인터랙티브 모드로 av 데이터를 재생하는 장치, 그사용자 입력 처리 방법 및 그 정보저장매체
PCT/KR2003/001724 WO2004019318A2 (en) 2002-08-26 2003-08-26 Apparatus for reproducing av data in interactive mode, method of handling user input, and information storage medium therefor

Publications (2)

Publication Number Publication Date
JP2005539346A true JP2005539346A (ja) 2005-12-22
JP4290695B2 JP4290695B2 (ja) 2009-07-08

Family

ID=36273500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005501238A Expired - Fee Related JP4290695B2 (ja) 2002-08-26 2003-08-26 インタラクティブモードでavデータを再生する装置、そのユーザ入力処理方法及びその情報保存媒体

Country Status (11)

Country Link
US (3) US20040114915A1 (ja)
EP (1) EP1540647A4 (ja)
JP (1) JP4290695B2 (ja)
CN (1) CN1679105B (ja)
AU (1) AU2003253468A1 (ja)
BR (1) BR0313688A (ja)
CA (1) CA2494560A1 (ja)
MX (1) MXPA05002034A (ja)
PL (1) PL374881A1 (ja)
TW (1) TWI234392B (ja)
WO (1) WO2004019318A2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004019318A2 (en) * 2002-08-26 2004-03-04 Samsung Electronics Co., Ltd. Apparatus for reproducing av data in interactive mode, method of handling user input, and information storage medium therefor
TWI352342B (ja) * 2003-10-10 2011-11-11 Panasonic Corp
WO2005036544A1 (ja) 2003-10-10 2005-04-21 Sharp Kabushiki Kaisha 再生装置、再生装置の制御方法、コンテンツ記録媒体、データ構造、制御プログラム、制御プログラムを記録したコンピュータ読み取り可能な記録媒体
KR100694123B1 (ko) * 2004-07-30 2007-03-12 삼성전자주식회사 동영상 데이터와 어플리케이션 프로그램이 기록된 저장매체 및 그 재생 장치 및 방법
JP4257303B2 (ja) * 2005-02-17 2009-04-22 株式会社東芝 再生装置、プログラムおよび方法
JP2007115293A (ja) 2005-10-17 2007-05-10 Toshiba Corp 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法
US8307403B2 (en) * 2005-12-02 2012-11-06 Microsoft Corporation Triggerless interactive television
JP4963661B2 (ja) * 2007-10-16 2012-06-27 アルパイン株式会社 ビデオ再生装置
KR20100039017A (ko) * 2008-10-07 2010-04-15 한국전자통신연구원 메뉴 마크업 언어를 이용한 원격 제어 장치
KR101677638B1 (ko) * 2010-09-29 2016-11-18 엘지전자 주식회사 이동 단말기 및 그 제어 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1312549C (zh) * 1995-02-13 2007-04-25 英特特拉斯特技术公司 用于安全交易管理和电子权利保护的系统和方法
US6580870B1 (en) * 1997-11-28 2003-06-17 Kabushiki Kaisha Toshiba Systems and methods for reproducing audiovisual information with external information
JPH11298881A (ja) 1998-04-14 1999-10-29 Sony Corp 情報処理装置
JPH11306317A (ja) 1998-04-16 1999-11-05 Sony Corp 情報処理装置
US6266733B1 (en) 1998-11-12 2001-07-24 Terarecon, Inc Two-level mini-block storage system for volume data sets
JP2000330794A (ja) 1999-03-16 2000-11-30 Nec Corp Mheg文書をhtml文書に変換する方法
JP2000353353A (ja) 1999-04-05 2000-12-19 Nippon Columbia Co Ltd 光ディスク再生装置
US20020078144A1 (en) * 1999-04-21 2002-06-20 Lamkin Allan B. Presentation of media content from multiple media
US7178106B2 (en) * 1999-04-21 2007-02-13 Sonic Solutions, A California Corporation Presentation of media content from multiple media sources
JP4313926B2 (ja) 2000-03-30 2009-08-12 キヤノン株式会社 信号処理装置及び信号処理方法
AU6339701A (en) * 2000-05-24 2001-12-03 Stars 1 To 1 Interactive voice communication method and system for information and entertainment
JP2001346148A (ja) 2000-06-06 2001-12-14 Victor Co Of Japan Ltd 動画再生制御方法および画像再生装置
US20030044171A1 (en) * 2001-05-03 2003-03-06 Masato Otsuka Method of controlling the operations and display mode of an optical disc player between a video playback mode and a user agent mode
KR20030067459A (ko) 2002-02-07 2003-08-14 삼성전자주식회사 모드 표시정보가 기록된 정보저장매체, 그 재생장치 및재생방법
KR100866790B1 (ko) 2002-06-29 2008-11-04 삼성전자주식회사 인터렉티브 모드에서의 포커싱 방법 및 그 장치
WO2004019318A2 (en) * 2002-08-26 2004-03-04 Samsung Electronics Co., Ltd. Apparatus for reproducing av data in interactive mode, method of handling user input, and information storage medium therefor
KR100517506B1 (ko) 2002-08-26 2005-09-28 삼성전자주식회사 인터랙티브 모드로 av 데이터를 재생하는 장치, 그사용자 입력 처리 방법 및 그 정보저장매체

Also Published As

Publication number Publication date
US20040114915A1 (en) 2004-06-17
CA2494560A1 (en) 2004-03-04
BR0313688A (pt) 2005-06-21
CN1679105A (zh) 2005-10-05
WO2004019318A3 (en) 2004-06-24
US20040114914A1 (en) 2004-06-17
AU2003253468A1 (en) 2004-03-11
CN1679105B (zh) 2010-12-08
MXPA05002034A (es) 2005-10-19
EP1540647A2 (en) 2005-06-15
PL374881A1 (xx) 2005-11-14
US7962015B2 (en) 2011-06-14
AU2003253468A8 (en) 2004-03-11
TW200423715A (en) 2004-11-01
JP4290695B2 (ja) 2009-07-08
US20040131334A1 (en) 2004-07-08
WO2004019318A2 (en) 2004-03-04
EP1540647A4 (en) 2010-08-18
TWI234392B (en) 2005-06-11

Similar Documents

Publication Publication Date Title
US6434326B1 (en) Information reproducing apparatus and method
JP3195284B2 (ja) 動画再生制御方法およびその方法が適用される画像表示装置
CA2409083C (en) Method and apparatus for reproducing contents from information storage medium in interactive mode
KR101070562B1 (ko) 동화상 데이터의 편집 장치 및 동화상 데이터의 편집 방법
JP5204282B2 (ja) ビデオ、オーディオおよび補助データ用のデジタルビデオ処理およびインターフェースシステム
US8208788B2 (en) Information storage medium, information reproducing apparatus, and information reproducing method
CN100355278C (zh) 光盘装置和光盘处理方法以及光盘
US7983526B2 (en) Information storage medium, information reproducing apparatus, and information reproducing method
US20080031595A1 (en) Method of controlling receiver and receiver using the same
JP5142453B2 (ja) 再生装置
US20070180466A1 (en) Information reproducing system using information storage medium
US20070077037A1 (en) Information playback system using information storage medium
KR100871527B1 (ko) 기록매체, 재생장치, 기록방법, 컴퓨터 프로그램을 기록한 컴퓨터 판독가능한 기록매체, 재생방법
JP2015028816A (ja) 階層メニュー型のグラフィカルユーザインタフェース
US8090240B2 (en) Moving picture data edition device and moving picture data edition method
EP1628478B1 (en) Multimedia playback device and playback method
KR101111537B1 (ko) 컨텐츠 시청 지원 장치 및 컨텐츠 시청 지원 방법
KR100491399B1 (ko) 디지털 정보 매체를 이용하는 향상된 내비게이션 시스템
US8146118B2 (en) Recording medium having a data structure for managing reproduction of menu data and recording and reproducing apparatuses and methods
US20030012558A1 (en) Information storage medium containing multi-language markup document information, apparatus for and method of reproducing the same
EP1583098B1 (en) Reproduction device, reproduction method, reproduction program, and recording medium
KR100594701B1 (ko) 전자기기제어시스템및방법,재생장치,출력장치,및전송매체
EP1531475A2 (en) Reproducing apparatus and reproducing method
US20020194618A1 (en) Video reproduction apparatus, video reproduction method, video reproduction program, and package media for digital video content
EP1604519B1 (en) Apparatus and method for simultaneously utilizing audio visual data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080502

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080902

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081201

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090303

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090401

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130410

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140410

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees