JP2001525635A - ディジタルビデオ映像の発生装置 - Google Patents

ディジタルビデオ映像の発生装置

Info

Publication number
JP2001525635A
JP2001525635A JP2000523802A JP2000523802A JP2001525635A JP 2001525635 A JP2001525635 A JP 2001525635A JP 2000523802 A JP2000523802 A JP 2000523802A JP 2000523802 A JP2000523802 A JP 2000523802A JP 2001525635 A JP2001525635 A JP 2001525635A
Authority
JP
Japan
Prior art keywords
video
sub
data
image
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000523802A
Other languages
English (en)
Other versions
JP4478327B2 (ja
Inventor
ヴィンター，マルコ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Thomson Brandt GmbH
Original Assignee
Deutsche Thomson Brandt GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsche Thomson Brandt GmbH filed Critical Deutsche Thomson Brandt GmbH
Publication of JP2001525635A publication Critical patent/JP2001525635A/ja
Application granted granted Critical
Publication of JP4478327B2 publication Critical patent/JP4478327B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H04N5/7755—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver the recorder being connected to, or coupled with, the antenna of the television receiver

Abstract

(57)【要約】 ディジタルビデオ映像の発生装置を提案する。この場合ビデオ映像は主映像（１３）と２次映像（１１）を含む。２次映像は、装置の状態に関する情報または、選択できる案内を提供する。映像のデータたディジタル的に供給される。副映像（１２）のデータは、主映像（１３）のビットストリーム内に付加的に含まれる。副映像（１２）は、同様に主映像と共に表示され、例えば、主映像に関する字幕等の情報を提供する。主映像と副映像の復号器が設けられる。復号データを正しいタイミングで出力する多重装置（４７）も設けられ、これにより、主映像（１３）と副映像（１３）が結合して表示される。装置は、符号化された形式の２次映像（１１）を蓄積する蓄積装置（５５）を有する。符号化された２次映像（１１）のデータは、受信された命令に応じて、副映像データの復号装置（４５）にロードされる。副映像（１２）のデータの復号は中止され、かわりに、２次映像（１１）のデータの復号が起こる。本発明の更なる改良では、表示可能な２次映像（１１）の復号に使用される、第２の副映像復号装置（６１）が設けられる。この場合、副映像と２次映像は同時にビデオ映像に挿入できる。

Description

【発明の詳細な説明】
【０００１】 本発明は、ビデオ映像が特に主映像と２次映像の複数の構成要素により構成さ
れる、ディジタルビデオ映像の発生装置に関する。
【０００２】 従来技術 本発明は、独立請求項１及び、２の一般的な形式のディジタルビデオ映像を発
生するための装置に基づいている。ビデオ技術では、テレビジョンセットの画面
上に例えば、字幕を表示する、いわゆる副映像復号装置を、例えば、ＤＶＤ再生
装置の中に設けることが知られている。この種のＤＶＤ再生装置は、既に販売さ
れており、上述の副映像復号装置を有する。しかし、このような副映像復号装置
は、ディジタルテレビジョン（セットトップボックス）に関する受信器でも考え
られている。上述の副映像復号装置は、既に販売されており、そして、従って、
当業者に知られている。副映像復号装置の説明に関しては、１９９６年８月の、
ＤＶＤ規格、読み出し専用ディスク、パート３、ビデオ仕様、第１．０版、５．
４．３副映像ユニット（ＳＰＵ）に更に示されている。そのような、副映像復号
装置に関しては、ＥＰ−Ａ−０７２５５４１にも記載されている。
【０００３】 上述の電子装置（ＤＶＤ再生装置及び、セットトップボックス）の場合には、
民生用装置に関係する他の装置の様に、ビデオ映像の出力にそれぞれの装置から
の状態情報を挿入するのが通常である。更に、操作案内のためのいわゆるオンス
クリーン表示メニュー（ＯＳＤ）の使用が広く知られている。そのようなメニュ
ーは、例えば、テレビジョンセットの場合には、表示されたバー表示器による音
量の設定、バランス、色コントラスト、明るさ等の設定、テレビジョンセットの
場合には、蓄積されたＴＶ番組位置に関する表示されたテーブルによる番組位置
の選択、テレビジョン受信器の場合には、ビデオレコーダの録画のための特定の
メニュー等に関する。そのようなＯＳＤメニュー又は、他の状態表示を発生する
ために、今日では、通常は、内部又は外部ＲＯＭ及びＲＡＭを有する特別なマイ
クロコントローラ回路が使用される。これらの回路は通常は、各表示可能な文字
のドットマトリクス上のパターンがＲＯＭに蓄積されるように設計される。例え
ば、対応するバーチャートを構成できるグラフィックス文字も、表示可能な文字
と呼ばれる。ＯＳＤメニューに関しては、必要な文字コードが文字発生器に転送
され、関連するドットマトリクスデータがＲＯＭから削除され、映像の正しい位
置で関連するＲＧＢ信号が発生され、そして、それを映像に挿入する。ディジタ
ル信号処理装置（ディジタルフレームメモリを含む）では、画素データが文字発
生器により個々に発生され、フレームメモリの対応する位置に書き込まれる。
【０００４】 そのような従来のＯＳＤ回路が、更に、上述の装置（ＤＶＤ再生装置、セット
トップボックス等）で操作案内のための状態情報及びメニューの挿入に使用され
るなら、既に述べた副映像復号装置は更にハードウェアを要するばかりでなく、
ＯＳＤ回路も要するという問題が発生する。これは、副映像／２次映像の挿入に
関して、非常に異なる２つの回路を開発し適用しなけらばなら無いので、装置開
発のコストが上昇するということを引き起こす。
【０００５】 発明 本発明の目的は、統合された副映像復号装置で、操作メニューと状態情報を発
生する回路を減少させることである。本目的は、独立請求項１及び、３の特徴に
より達成される。本発明に従った第１の解決方法は、請求項１に従って、どのよ
うな場合にも既に存在する副映像復号装置を、状態情報又は、操作メニューを発
生するのに使用することよりなる。このために、装置は、対応した符号化形式で
、表示できる状態情報又は操作メニューのデータを蓄積する蓄積装置を有し、そ
のような２次映像のデータは副映像復号装置にロードされ、対応する命令による
要求に続いて、たぶん活性化された異なる副映像（例えば、字幕）のデータの復
号が停止された後に前記復号装置内で復号される。この解決方法の場合には、字
幕の挿入が抑圧されるが代わりに、状態情報又は、操作メニューを伴う２次映像
が表示される。これは、例えば、どのような場合にも操作メニューに注意が向い
ているユーザからの入力された命令に応じて操作メニューが発生されるので、欠
点ではない。
【０００６】 本発明による第２の解決方法の場合には、字幕の出力のための副映像復号装置
に加えて、状態情報と操作メニューのための第２の副映像復号装置が設けられる
。両副映像復号装置は同様に構成され、即ちこの場合でも、操作メニューと状態
情報のデータは、字幕のデータのように同じ符号化規則で符号化される。この解
決方法では、第２の副映像復号装置を設けることが必要であるが、両副映像復号
装置は同様に構成されるので、実行の支出はかなり減少される。この解決方法の
優位点は、主に、字幕と操作メニュー及び/又は状態情報が同時に挿入されるこ とである。これは、例えば、日時の挿入、再生時間の挿入、残り時間の挿入等の
ように、態情報が、映像に加えて挿入されるときに特に優位である。
【０００７】 本発明の更なる解決方法は請求項４に記載されている。この解決方法の場合に
は、第２の解決方法に従った２つの別の副映像復号装置が結合され、共通の強力
な復号装置を構成する。しかし、これは、副映像復号装置は、少なくとも、２つ
の異なる副映像を蓄積するための且つ、ビデオフレーム又は、フィールドの継続
中は正しいタイミングで前記データを連続して処理するための十分なメモリを有
する程度に新たに開発されることを前提とする。
【０００８】 以下は全ての３つの解決方法に関して正しい。例えば動作モードの表示の単純
なシンボルの挿入のような、単純なＯＳＤメニューのみが表示される場合には、
副映像復号装置が不揮発性メモリ（ＲＯＭ）から直接関連するデータを復号でき
るように設計されているなら、副映像データユニットのデータを副映像復号装置
へロードすることは必須ではない。
【０００９】 本発明の解決方法は、上述の優位点に加えて以下の優位点を有する。副映像の
データは、第１にいわゆる副映像のビットマップデータを有し、第２に、いわゆ
る表示制御命令シーケンスを有する。副映像のビットマップデータが使用される
ということのために、実際にＯＳＤメニューはどのような望まれている配置も簡
単に可能である。ビットマップデータがラン長符号化されているのも優位である
。これはメモリ空間を節約する。
【００１０】 副映像復号装置は、ビットマップデータを線順次に復号するということは、メ
モリ内に復号された副映像の全体をバッファに蓄積する必要が無いことを意味す
る。
【００１１】 発明の説明 図１では、参照番号１０は従来のＴＶセットを示す。参照番号１４はＤＶＤ再
生装置を示す。ＤＶＤ再生装置は、例えば、同軸線を介してＴＶセット１０に接
続される。ＤＶＤ再生装置１４は、アナログテレビジョン信号を発生し、アナロ
グテレビジョン信号は例えば、アンテナソケットを介してＴＶセット１０に送ら
れる。参照番号１３は主映像又は、背景映像を示す。参照番号１１は、挿入され
た２次映像を示し、図示されている場合には、ＤＶＤ再生装置１４の状態情報”
再生モード”を示す。参照番号１２は挿入された副映像を示し、字幕を表示する
ために設けられる。この挿入された副映像は、本発明の第１の解決方法にしたが
って、２次映像と同時に表示されないので、破線で示される。
【００１２】 図２は挿入された２次映像の例を示す。再生モード、ストップモード、ポーズ
モード、早送りモード、早戻しモード、前方スキップ、後方スキップ、再生時間
、日時に対応するシンボルは、状態情報項目の例である。更に、図の下部は、操
作メニューの例として、番組位置テーブルを示す。現在設定されている番組位置
は背景により強調されている。この操作メニューには、ディジタルテレビジョン
信号を受信するための装置（セットトップボックス）の項目が設けられても良い
。
【００１３】 図３は、いわゆる副映像ユニット（ＳＰＵ）の既知のデータフォーマットの概
略を示す。このような副映像ユニットは、映像の字幕にそれぞれ設けられている
。参照番号２０は、副映像ユニットのヘッダ（ＳＰＵＨ）のデータフィールドを
示す。参照番号２１は、副映像の第１フィールドの圧縮された画素データのデー
タフィールド（ＰＸＤＴＦ）を示し、参照番号２２は、副映像の対応する第２フ
ィールドの圧縮された画素データのデータフィールド（ＰＸＤＢＦ）を示す。最
後に、参照番号２３は、表示制御命令シーケンステーブル（ＳＰ＿ＤＣＳＱＴ）
のデータフィールドを示す。いわゆる表示制御命令シーケンス（ＳＰ＿ＤＣＳＱ
）は、データフィールド２３に蓄積される。ＰＸＤＴＦとＰＸＤＢＦデータの配
置は、１つの可能な配置の例である。しかし、異なって選択もできる。個々の表
示制御命令は、本特許出願では詳細に説明しない。これらは、例えば、既知のＤ
ＶＤ規格（１．０版）で個々に正確に説明されており、それゆえ、本発明の開示
にこの文献を特に参照する。
【００１４】 データフィールド２１と２２の画素データは、副映像の表示されるパターンを
決定する。副映像のラインの各画素に対して、２ビット幅のデータワードは、画
素が、バックグランド画素か、フォアグランド画素か、第１の方法でハイライト
されるか、又は、第２の方法でハイライトされるかを規定する。２ビットを使用
して、４つが区別される。特にこれらの２値の値は、００＝バックグランド画素
、０１＝フォアグランド画素、１０＝ハイライト１で表示される画素、１１＝ハ
イライト２で表示される画素を示す。
【００１５】 ここで、個々の画素データは、メモリにこの純粋な形で蓄積されず、むしろ圧
縮形式で蓄積されることを考慮すべきである。ラン長符号化方法を、図４を参照
して以下に更に詳細に説明する。
【００１６】 ＤＶＤ規格では、７つの符号化規則が、ラン長符号化に規定されている。ラン
長符号化は、表示されるべき副映像のフィールドのそれぞれのラインがラン長符
号化されるように動作する。ラン長符号化の第１の規則は次の様である。 １．ライン中で同じデータワードを有する画素が１個から３個続く場合には、最
初のラン長符号化ワードの最初の２ビットに画素の数が入力され、次の２ビット
に画素データワードが入力される。４ビットが単位とされる。これは図３の一番
上の部分に示される。参照番号３０は、画素数のデータフィールドを示し、この
データフィールドは、２ビットのメモリ空間である。一方、参照番号３１は、画
素の形式のデータフィールド、即ち画素のデータワードを示す。このデータフィ
ールドは同様に２ビット長である。
【００１７】 ラン長符号化の第２の規則は次の様である。 ２．同じデータワードを有する画素が４個から１５個続く場合には、ラン長符号
化ワードの最初の２ビットにゼロが入力され、且つ、次の４ビットに画素数が入
力され、且つ、最後の２ビットに画素の形式が入力される。これにより、図４の
２つ目の部分に当る８ビット長を有するラン長符号化ワードとなる。
【００１８】 ラン長符号化の第３の規則は次の様である。 ３．同じデータワードを有する画素が１６個から６３個続く場合には、ラン長符
号化ワードの最初の４ビットにゼロが入力され、且つ、次の６ビットに画素数が
入力される。そして、最後の２ビットに画素の形式が入力される。これにより、
１２ビット長を有するラン長符号化ワードを生成する。これは、図３の真中の部
分に示されている。
【００１９】 ラン長符号化の第４の規則は次の様である。 ４．同じデータワードを有する画素が６４個から２５５個続く場合には、ラン長
符号化ワードの最初の６ビットにゼロが入力され、且つ、次の８ビットに画素数
が入力され、そして、最後の２ビットに画素の形式が入力される。この手続によ
り、１６ビット長を有するラン長符号化ワードを生成する。これは、図３の下か
ら２番目の部分に示されている。
【００２０】 ラン長符号化の第５の規則は次の様である。 ５．同じデータワードを有する画素がラインの右端まで続く場合には、ラン長符
号化ワードの最初の１４ビットにゼロが入力され、且つ、、最後の２ビットに画
素の形式が入力される。この手続により、単位とする１６ビット長を有するラン
長符号化ワードを再び生成する。これは、図４の最後の部分に示されている。
【００２１】 ラン長符号化の第６の規則は次の様である。 ６．ラン長符号化に基づいて、全体のラインに対して、ラン長符号化ワードの集
積バイト分割されるができない場合には、ラインの最後で、最後のビット位置に
４つのゼロが入力される。
【００２２】 次はラン長符号化の最後の規則である。 ７．ライン内のラン長符号化されたデータの両は１４４０ビット以下でなければ
ばらない。
【００２３】 所定の簡単な映像コンテンツでは、ラン長符号化により大きな圧縮率が達成で
きる。図５はラン長符号化ワードの例を示す。この場合には、ＤＶＤ再生装置の
状態情報項目の４つの例を示す。上から下に、ストップモード、再生モード、 早送りモード、前方スキップモードの状態情報項目である。表示されるべき関連
するシンボルは、図５の左端に示されている。全てのシンボルは、９ｘ１３画素
を有する。アステリクスは、フォアグランド画素として符号化されるそれぞれの
画素を示す。ドットはバックグランド要素を示す。シンボルの各ラインに対して
行われたラン長符号化の形式は、各場合ともそれぞれのラインの右側に示されて
いる。この場合には、略号ＢＰは、バックグランド画素を示す。略号ＰＰは、フ
ォアグランド画素（パターン画素）を示す。
【００２４】 ラン長符号化の結果のデータビットは、図５の右端に、１０進表記の近くに、
１６進数表記で示されている。スクリーンの上部右端に関連するシンボルが配置
される少なくとも１つの表示制御命令シーケンス（ＳＰ＿ＤＣＳＱ）と関連する
これらのデータは、関連する副映像ユニットのデータを表す。
【００２５】 スクリーン上に図５に従ってストップシンボルを挿入するためのプログラムの
例は図６に示される。ＳＰＵＨで示される部分は、副映像ユニットのヘッダに対
応する。副映像ユニットのサイズは、命令ＳＰＤＳＺにより規定される。図６の
左手の全ての番号は１６進数である。１０進数は、図６の右手の部分に規定され
ている。表示制御命令のプログラム領域の先頭は、命令ＳＰ＿ＤＣＳＱＴＡによ
り規定される。ＰＸＤ領域は、ストップシンボルのビットマップデータを有する
（図５参照）。第１及び、第２のフィールドは続いてこの領域内に記載される。
第１フィールドに対応するライン１，３，５及び、７のデータは、最初であり、
第２フィールドに対応するライン２，４，６及び、８はそのあとに続く。
【００２６】 表示制御命令は、領域ＳＰ＿ＤＣＳＱＴに連続して記述される。命令ＳＰ＿Ｄ
ＣＳＱ＿ＳＴＭは、表示制御命令シーケンスが処理されるべき瞬間を規定する。
この例は、副映像ユニットの開始後すぐに開始される表示制御命令シーケンスの
みを有する。命令ＳＰ＿ＮＸＴ＿ＤＣＳＱ＿ＳＡは、次の表示制御命令シーケン
スの先頭を示す。この例では、単一の表示制御命令シーケンスの先頭が規定され
る。その結果、表示制御命令シーケンスは終わりなく繰り返される。バックグラ
ンド及び、フォアグランド等の副映像ユニットの画素の色は、命令ＳＥＴ＿ＣＯ
ＬＯＲにより定義される。次の命令ＳＥＴ＿ＣＯＮＴＲは副映像ユニットの画素
のコントラストを設定する。命令ＳＥＴ＿ＤＡＲＥＡは、映像が表示されるべき
矩形領域の開始及び、終了点のｘ及びｙ座標を規定する。命令ＳＥＴ＿ＤＳＰＸ
Ａは、第１及び、第２フィールドのビットマップデータの領域の先頭を規定する
。表示されるべきシンボルの表示は命令ＳＴＡ＿ＤＳＰにより開始される。終了
命令ＣＭＤ＿ＥＮＤは、表示制御命令シーケンスの最後を示す。既に述べたよう
に、図示した例では、副映像ユニットＳＰＵが時間外で又は、外部ＣＰＵの部分
の副映像復号装置の制御レジスタが外部割り込みにより停止されるまで、表示制
御命令シーケンスは、終わりなく繰り返される。ユーザは、例えば、遠隔制御器
のキーを押すことにより、この動作を開始できる。
【００２７】 本発明に従った配置の第１のブロック図を図７を参照して説明する。参照番号
４１はシリアルデータ入力を示す。ここで、ビットストリームは、ビデオデータ
とオーディオデータと、表示されるべき字幕のデータを含む。データは光蓄積デ
ィスク（ＤＶＤ）から読み出されるか又は、放送局から、アンテナ／衛星アンテ
ナ又は、広帯域ケーブルを介して受信される。最初の場合には、装置はＤＶＤ再
生装置が使用され、他の場合には、衛星受信器又はディジタルテレビジョン受信
のためのセットトップボックスが使用される。入力されるデータは、先ず最初に
訂正装置４２で誤り検出及び訂正が行われる。続いて、分離回路４３に入力し、
まだ混合されているビデオ、オーディオ及び、副映像データが分離される。そし
て、各場合とも、ビデオ復号装置４４、副映像復号装置４５又は、オーディオ復
号装置４６へ転送される。復号されたビデオと副映像データは、多重装置４７へ
入力される。多重装置４７は、副映像復号装置により制御される。分離装置４７
の出力で、ビデオ映像の個々の画素のデータは連続してＴＶ信号符号化装置４８
に入力される。ＴＶ信号符号化装置の出力で、規格に従った輝度及び、色差信号
（Ｙ，Ｃ）がディジタル形式（ＰＡＬ、ＳＥＣＯＭ、ＮＴＳＣ）で出力される。
続いて、これらの信号は、ディジタル／アナログ変換器４９でアナログ信号に変
換される。そして、対応する出力５５，５６へ出力される。関連するオーディオ
信号は復号装置４６で規格に従って既に生成され、、ディジタル／アナログ変換
器５０で、アナログオーディオ信号（ここではモノ信号のみを図示している）に
変換される。このオーディオ信号は、出力５８に出力される。
【００２８】 一方、アナログ輝度及び、色差信号とオーディオ信号は変調器５１で異なるキ
ャリアで変調され１つの出力５７を介して対応するＴＶ信号として出力されるよ
うに設計される。
【００２９】 更に、赤外線入力は、参照番号５２で示される。この入力は、遠隔制御装置か
らの赤外線信号を受信するのに使用される。参照番号５３は、受信した赤外線信
号を分析する対応するインターフェース回路を示す。参照番号５４は、マイクロ
コントローラを示す。マイクロコントローラは、条件付けされた命令ワードを赤
外線インターフェースから受信する。マイクロコントローラ５４は、対応する制
御バスを介して、装置４２−４６を制御する様に働く。例えば、制御で、上述の
装置は特定の開始値に初期化される。例えば、”早送り”を活性化する入力のＩ
Ｒ命令が起こると、マイクロコントローラ５４は対応する制御信号をＤＶＤ再生
装置のドライブへ送る。更に、マイクロコントローラ５４はＲＯＭメモリ５５か
ら、早送りモードのシンボルを表示する関連する副映像ユニットを読み出す。マ
イクロコントローラ５４は、副映像復号装置４５に、制御バスを介して、最後の
有効な副映像の表示が停止されねばならないことを通知する。マイクロコントロ
ーラ５４は、次に、表示されるべきシンボルの新たな副映像ユニットを、分離し
たデータバスを介して副映像復号措置４５の内部メモリへ、ロードする。新たに
ロードされた副映像ユニットは、同時に制御バスを介して開始される。副映像復
号装置は復号されたデータをプログラムされた位置で、全体のビデオ映像のビッ
トストリームに挿入する。このために、副映像復号装置４５は、ＴＶ信号符号化
装置４８から入力される水平及び、垂直同期パルスに関する信号と、画素クロッ
ク信号に従って正しいタイミングで、分離装置４７を駆動する。副映像復号装置
４５の構造と動作の方法の更なる詳細は、ＥＰ−Ａ−０７２５５４１に含まれて
いる。この点で、この文献を参照する。
【００３０】 動的なコンテンツの操作メニュー又は、状態表示の場合には、各々の場合に副
映像の粗い枠組みのみがＲＯＭ５５に蓄積され、マイクロコントローラ５４内で
更に補足されるべきそれぞれの副映像データユニットユニットが必要であること
も述べなければならない。このためには、マイクロコントローラ５４内には、十
分な読み／書きメモリ空間がなければならない。それゆえ、時刻を表示する場合
には、それぞれに有効な番号の画素データは、各場合に更に挿入されねばならな
い。この目的は、出願人のドイツ国特許出願ＤＥ１９６５３０７１．７に従った
発明の使用により達成できる。即ち、後者は、副映像（例えば、文字と番号）の
可変部分が、行われねばならない画素データの復号無しに簡単に交換できるため
には、どのように副映像のラン長符号化が行われなければならいかを開示する。
【００３１】 図８は、マイクロコントローラ５４の部分の副映像復号装置の制御のためのフ
ローチャート図を示す。参照番号７０はプログラムの開始を示す。参照番号７１
は、副映像復号装置内の現在の副映像ユニットが停止されるプログラムステップ
を示す。参照番号７２は、状態情報又は、操作メニューの挿入に関する新たな副
映像ユニットが、副映像復号装置４５にロードされるプログラムステップを示す
。参照番号７３は、プログラムステップ７１で前に設定されたレジスタ位置が再
びクリアされるプログラムステップを示す。参照番号７４は、副映像復号装置４
５に新たにロードされた副映像ユニットが開始されるプログラムステップを示す
。プログラムは、プログラムステップ７５で終了する。
【００３２】 次に、図９を参照して、本発明にしたがった第２の解決方法の実施例を詳細に
説明する。この場合には、図９で、図７と対応する参照番号は同じ構成要素を示
す。第２の副映像復号装置６１が更に設けられる。第２の副映像復号装置６１は
、同様に多重装置４７に接続される。更に、第２の副映像復号装置６１から、多
重装置４７へ制御線が接続される。多重装置４７は、両副映像復号装置４５と６
１によって制御される。状態情報又は、操作メニューの挿入のための命令がマイ
クロコントローラ５４へ入力されると、マイクロコントローラ５４は、ＲＯＭ５
５から対応する副映像ユニットを読み、そして、完了後に、副映像ユニットを、
第２の副映像復号装置６１へロードする。副映像ユニットは同時に開始する。２
つの副映像復号装置は、各々、その副映像ユニットを別々に処理し、関連する画
素データを正しいタイミングで多重装置４７へ出力する。
【００３３】 図７に従った実施例の変形した副映像復号装置を図１０に示す。ここで、示さ
れている副映像復号装置は、異なる副映像ユニットを平行して処理することがで
きるように設計される。このために、ＲＭＡ６０に２つの副映像ユニットＳＰＵ
１とＳＰＵ２のための十分なメモリ空間が設けられている。さらに、２つのバッ
ファメモリ６２と６３が設けられ復号されたデータが書き込まれる。実際の復号
装置６４は、最初に、副映像ユニットＳＰＵ１のデータを復号する。処理中に、
復号されたデータを第１のバッファメモリ６２に書き込む。続いて、復号装置は
、第２の副映像ユニットＳＰＵ２のデータを復号し関連するデータを第２のバッ
ファメモリ６３に書き込む。水平及び、垂直同期信号と画素クロックの状態によ
り、復号されたデータは第１又は、第２のバッファメモリから読み出される。こ
の場合には、復号装置６４は、画素クロックを参照してデータの出力が要求され
るときに復号されたデータが既に利用できるように十分に高い速度で行わなけれ
ばならない。しかし、副映像の正確な映像出力を守る必要が無く、少なくとも状
態情報及び、オンスクリーン操作メニューは遅延して出力しても十分なときには
、これは、常に達成される。
【００３４】 本発明は、上述の例示の実施例に制限されない。変形及び、変更が可能である
。単純な副映像復号装置は４色のみを生成できる様に設計できる。これに関して
、ＤＶＤ規格に規定されているカラオケ機能即ち、ＣＨＧ＿ＣＯＬＣＯＮに関す
る特別な命令を含まない副映像復号装置を参照する。そのような副映像復号装置
は、フレーム当りの副映像に４色のみ発生できるが、副映像復号装置のハードウ
ェアが少なくできるという優位点がある。
【００３５】 ＤＶＤ規格に従った５３，２２０バイトの代わりに、最大サイズが６４ｋバイ
トを有する副映像ユニットを処理できる、拡張された副映像復号装置を提供する
ことも可能である。この場合には、ＤＶＤ規格１．０版に従った副映像復号装置
で可能なよりも更に複雑な副映像ユニットも発生できる。必要なハードウェア消
費は低く押さえられる。
【００３６】 更なる利用では、ＤＶＤ規格に従った１６ビット長を有する相対ポインタの代
わりに３２ビット長を有する相対ポインタ使用するように副映像復号装置を設計
できる。そのような、副映像復号装置は、４，２９４，９６７，２９６バイトの
サイズまでの副映像を処理することができる。この場合には、更に解像度の高い
副映像も簡単に実現できる。
【図面の簡単な説明】
【図１】 テレビジョン受信器のスクリーン上への、副映像と状態情報項目の表示を示す
図である。
【図２】 異なる状態情報項目と操作メニューの例を示す図である。
【図３】 副映像データフレームフォーマットの例を示す図である。
【図４】 副映像のラインの画素データのラン長符号化の規則の概略を示す図である。
【図５】 状態情報項目と関連するラン長符号化ワードの４つの例を示す図である。
【図６】 スクリーン上にストップ記号を挿入するのに使用される副映像ユニットの例を
示す図である。
【図７】 本発明による第１の装置のブロック図である。
【図８】 本発明による第１の解決方法に従った副映像復号装置を制御するプログラムの
フロー図を示す図である。
【図９】 本発明に従った第２の解決方法のブロック図である。
【図１０】 本発明による第３の解決方法に従った副映像復号装置の改良されたブロック図
である。
【手続補正書】特許協力条約第３４条補正の翻訳文提出書
【提出日】平成１１年１２月３日（１９９９．１２．３）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ， ＢＹ，ＣＡ，ＣＮ，ＣＵ，ＣＺ，ＥＥ，ＧＥ，ＧＨ，Ｇ Ｍ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ， ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，Ｎ Ｚ，ＰＬ，ＲＯ，ＲＵ，ＳＤ，ＳＧ，ＳＩ，ＳＫ，ＳＬ ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ， ＶＮ，ＹＵ，ＺＷ 【要約の続き】 場合、副映像と２次映像は同時にビデオ映像に挿入でき る。

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】 ビデオ映像は主映像（１３）と２次映像（１１）を有し、２
    次映像（１１）は装置の状態又は選択できる案内に関する情報を含む映像であり
    、 ビットストリームを主映像のビットストリームと副映像のビットストリームへ
    分離するための分離装置（４３）を有し、副映像（１２）は主映像（１３）と共
    に表示可能であり且つ、主映像（１３）に関する字幕等の情報を提供し、 主映像のビットストリームを復号するための第１の復号装置（４４）を有し、 副映像のビットストリームを復号するための第２の復号装置（４５）を有し、 第１（４４）及び第２の復号装置（４５）からの復号されたデータを、ビデオ
    映像中に結合して表示するための、正しいタイミングで出力する多重装置（４７
    ）を有するディジタルビデオ映像を発生する装置であって、 装置は表示可能な２次映像（１１）のデータが符号化された形式で蓄積された
    蓄積装置（５５）を有し、副映像（１２）と２次映像（１１）は同じ規則に従っ
    て符号化されており、 命令に応じて、副映像（１２）のデータの復号が停止され、且つ、代わりに２
    次映像（１１）のデータの復号が行われることを特徴とする装置。
  2. 【請求項２】 要求された２次映像（１１）の符号化されたデータを、第２
    の復号装置（４５）にロードすることができる請求項１記載の装置。
  3. 【請求項３】 ビデオ映像は主映像（１３）と２次映像（１１）を有し、２
    次映像（１１）は装置の状態又は選択できる案内に関する情報を含む映像であり
    、 ビットストリームを主映像のビットストリームと副映像のビットストリームへ
    分離するための分離装置（４３）を有し、副映像（１２）は主映像（１３）と共
    に表示可能であり且つ、主映像（１３）に関する字幕等の情報を提供し、 主映像のビットストリームを復号するための第１の復号装置（４４）を有し、 副映像のビットストリームを復号するための第２の復号装置（４５）を有する
    ディジタルビデオ映像を発生する装置であって、 装置は表示可能な２次映像（１１）のデータが符号化された形式で蓄積された
    蓄積装置（５５）を有し、２次映像（１１）のデータを復号するための第３の復
    号装置（６１）が設けられ、副映像（１２）と２次映像（１１）は同じ規則に従
    って符号化されており、且つ、第２（４５）と第３の復号装置（６１）は対応し
    て同様に構成され、且つ、更に、ビデオ映像中に結合して表示するために、第１
    （４４）、第２（４５）及び第３の復号装置（６１）からの復号されたデータを
    正しいタイミングで出力するための多重装置（４７）が設けられることを特徴と
    する装置。
  4. 【請求項４】 第２（４５）と第３の復号装置（６１）は、共通の強力な復
    号装置を形成するために結合され、ビデオ映像に対し、各場合とも、副映像と２
    次映像のデータを連続して復号し、且つ、主映像（１３）中に結合して挿入する
    ための多重装置（４７）へ正しいタイミングで与える請求項３記載の装置。
  5. 【請求項５】 蓄積装置（５５）は不揮発性メモリである請求項１乃至４の
    いずれか一項記載の装置。
JP2000523802A 1997-11-27 1998-11-18 ディジタルビデオ映像の発生装置 Expired - Lifetime JP4478327B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE19752507.5 1997-11-27
DE19752507A DE19752507A1 (de) 1997-11-27 1997-11-27 Vorrichtung zur Erzeugung eines digitalen Videobildes
PCT/EP1998/007399 WO1999029104A1 (en) 1997-11-27 1998-11-18 Apparatus for generating a digital video picture

Publications (2)

Publication Number Publication Date
JP2001525635A true JP2001525635A (ja) 2001-12-11
JP4478327B2 JP4478327B2 (ja) 2010-06-09

Family

ID=7849939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000523802A Expired - Lifetime JP4478327B2 (ja) 1997-11-27 1998-11-18 ディジタルビデオ映像の発生装置

Country Status (7)

Country Link
US (1) US6678008B1 (ja)
EP (1) EP1034655B1 (ja)
JP (1) JP4478327B2 (ja)
CN (1) CN1130905C (ja)
AU (1) AU1755399A (ja)
DE (2) DE19752507A1 (ja)
WO (1) WO1999029104A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005204315A (ja) * 2004-01-14 2005-07-28 Samsung Electronics Co Ltd ユーザの要求により活性化されるインタラクティブ・グラフィック・ストリームを保存した保存媒体、再生装置及びその再生方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001069475A (ja) * 1999-08-27 2001-03-16 Pioneer Electronic Corp ケーブルテレビジョンの端末装置
DE19950490A1 (de) 1999-10-20 2001-04-26 Thomson Brandt Gmbh Verfahren zur Kodierung einer Bildsequenz sowie Teilbilddateneinheit zur Verwendung in einem elektronischen Gerät und Datenträger
KR100383843B1 (ko) * 1999-12-27 2003-05-14 엘지전자 주식회사 외부 연결기기에 대한 영상기기의 메뉴 원격제어방법
DE10004348A1 (de) 2000-01-27 2001-08-30 Deutsche Telephonwerk Kabel Telekommunikationsanlage
JP2001298675A (ja) * 2000-04-12 2001-10-26 Sony Corp 情報処理装置および方法、並びに記録媒体
US8091106B1 (en) * 2000-06-26 2012-01-03 Thomson Licensing Method and apparatus for using DVD subpicture information in a television receiver
JP3601781B2 (ja) * 2000-10-17 2004-12-15 インターナショナル・ビジネス・マシーンズ・コーポレーション コンピュータ装置、表示装置、表示制御装置、記憶媒体、プログラム伝送装置、表示制御方法
US20030223735A1 (en) * 2001-02-28 2003-12-04 Boyle William B. System and a method for receiving and storing a transport stream for deferred presentation of a program to a user
US20020188955A1 (en) * 2001-06-11 2002-12-12 Thompson Calvin Eugene Digital video recording and playback system for television
JP2004080675A (ja) * 2002-08-22 2004-03-11 Funai Electric Co Ltd ディジタル放送受信装置
US7444664B2 (en) * 2004-07-27 2008-10-28 Microsoft Corp. Multi-view video format
US20060168631A1 (en) * 2005-01-21 2006-07-27 Sony Corporation Method and apparatus for displaying content information
KR20060118876A (ko) * 2005-05-17 2006-11-24 삼성전자주식회사 디스플레이 장치 및 그 제어방법
JP4322867B2 (ja) * 2005-12-22 2009-09-02 株式会社東芝 情報再生装置及び再生状況表示方法
AT503668B1 (de) * 2006-06-21 2007-12-15 H P R Electronics Gmbh Entwick Verfahren und vorrichtung zur darstellung von signalen auf einer anzeigevorrichtung
US8387197B2 (en) * 2007-10-03 2013-03-05 Colgate-Palmolive Company Oral care implement having an adjustable mass centroid

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4998171A (en) * 1988-07-05 1991-03-05 Samsung Electronics Co., Ltd. Automatic shift circuit for a sub-picture screen for picture-in-picture feature
US5008740A (en) * 1989-04-14 1991-04-16 North American Philips Corp. Apparatus and method for creating digitally remodulated video from digital components
KR930007256A (ko) * 1991-09-10 1993-04-22 오오가 노리오 작동메뉴를 나타내는 비디오 디스플레이장치 및 그의 텔레비전 수상기
DK0775413T3 (da) * 1994-04-15 2002-12-23 Koninkl Philips Electronics Nv System til afkodning af digitale videosignaler
KR0144260B1 (ko) * 1994-11-15 1998-07-15 구자홍 피아이피 기능의 에이치디티브이
CA2168641C (en) * 1995-02-03 2000-03-28 Tetsuya Kitamura Image information encoding/decoding system
DE69732062T2 (de) * 1996-03-29 2005-06-02 Matsushita Electric Industrial Co., Ltd., Kadoma Rundfunkempfangsgerät für Fernsehsignale und Programmanzeigeverfahren
JPH1023348A (ja) 1996-05-02 1998-01-23 Matsushita Electric Ind Co Ltd テレビ放送番組送信装置，受信装置
US6367080B1 (en) * 1996-08-02 2002-04-02 Sanyo Electric Co., Ltd. Internet information displaying apparatus
US5995160A (en) * 1996-12-19 1999-11-30 Thomson Consumer Electronics, Inc. Video signal processing system providing independent image modification in a multi-image display
US6266098B1 (en) * 1997-10-22 2001-07-24 Matsushita Electric Corporation Of America Function presentation and selection using a rotatable function menu

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005204315A (ja) * 2004-01-14 2005-07-28 Samsung Electronics Co Ltd ユーザの要求により活性化されるインタラクティブ・グラフィック・ストリームを保存した保存媒体、再生装置及びその再生方法
JP2007068199A (ja) * 2004-01-14 2007-03-15 Samsung Electronics Co Ltd ユーザの要求により活性化されるインタラクティブ・グラフィック・ストリームを保存した保存媒体及び再生装置
JP2007089195A (ja) * 2004-01-14 2007-04-05 Samsung Electronics Co Ltd ユーザの要求により活性化されるインタラクティブ・グラフィック・ストリームの再生方法
JP2007089194A (ja) * 2004-01-14 2007-04-05 Samsung Electronics Co Ltd ユーザの要求により活性化されるインタラクティブ・グラフィック・ストリームを保存した保存媒体及び再生装置
JP2007087577A (ja) * 2004-01-14 2007-04-05 Samsung Electronics Co Ltd ユーザの要求により活性化されるインタラクティブ・グラフィック・ストリームの再生方法
JP4658013B2 (ja) * 2004-01-14 2011-03-23 三星電子株式会社 ユーザの要求により活性化されるインタラクティブ・グラフィック・ストリームの再生方法
JP4658012B2 (ja) * 2004-01-14 2011-03-23 三星電子株式会社 ユーザの要求により活性化されるインタラクティブ・グラフィック・ストリームを保存した保存媒体及び再生装置
JP4657732B2 (ja) * 2004-01-14 2011-03-23 三星電子株式会社 インタラクティブ・グラフィックデコーダ
JP4658014B2 (ja) * 2004-01-14 2011-03-23 三星電子株式会社 ユーザの要求により活性化されるインタラクティブ・グラフィック・ストリームの再生方法
US8175444B2 (en) 2004-01-14 2012-05-08 Samsung Electronics Co., Ltd. Method of reproducing from storage medium storing interactive graphics stream activated in response to user's command
US8180201B2 (en) 2004-01-14 2012-05-15 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
US8190003B2 (en) 2004-01-14 2012-05-29 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
US8275235B2 (en) 2004-01-14 2012-09-25 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
US8396344B2 (en) 2004-01-14 2013-03-12 Samsung Electronics Co., Ltd. Method of reproducing from storage medium storing interactive graphics stream activated in response to user's command
US8538248B2 (en) 2004-01-14 2013-09-17 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
US8542977B2 (en) 2004-01-14 2013-09-24 Samsung Electronics Co., Ltd. Method of reproducing from storage medium storing interactive graphics stream activated in response to user's command

Also Published As

Publication number Publication date
DE19752507A1 (de) 1999-06-02
AU1755399A (en) 1999-06-16
DE69805545T2 (de) 2002-10-31
WO1999029104A1 (en) 1999-06-10
EP1034655B1 (en) 2002-05-22
DE69805545D1 (de) 2002-06-27
US6678008B1 (en) 2004-01-13
CN1279859A (zh) 2001-01-10
EP1034655A1 (en) 2000-09-13
CN1130905C (zh) 2003-12-10
JP4478327B2 (ja) 2010-06-09

Similar Documents

Publication Publication Date Title
US6297797B1 (en) Computer system and closed caption display method
EP1079610B1 (en) Moving-picture processing method, and apparatus therefor
US5218432A (en) Method and apparatus for merging video data signals from multiple sources and multimedia system incorporating same
JP4478327B2 (ja) ディジタルビデオ映像の発生装置
EP1675395A1 (en) Reproducing device, reproducing method, reproducing program, and recording medium
EP1628477A1 (en) Reproduction device and program
US20030043142A1 (en) Image information transmission system
JPH07203396A (ja) 字幕データ復号化装置
KR19990021919A (ko) 앰팩 영상 신호 처리 시스템용 애니메이트 온 스크린디스플레이 장치
JP2898807B2 (ja) 画像データ処理装置
US6249640B1 (en) System and method for rapidly decoding sub-pictures in a DVD player
US6480238B1 (en) Apparatus and method for generating on-screen-display messages using field doubling
JP2000032388A (ja) ビデオ及び／又はオ―ディオ信号の記録及び再生用の方法並びに装置
US6489933B1 (en) Display controller with motion picture display function, computer system, and motion picture display control method
US20040234236A1 (en) Data recording and reproduction apparatus displaying channels
EP0932977B1 (en) Apparatus and method for generating on-screen-display messages using field doubling
EP1051845B1 (en) Apparatus for generating the digital data for the pictures of an animation/information sequence for an electronic device
JP3164020B2 (ja) デジタルディスク再生装置
CN1312651B (zh) 视频设备，尤其是录像机，及用于该视频设备的方法
JP2000036940A (ja) コンピュータシステムおよびデコーダ装置
JP2000236490A (ja) キャプションディスプレイのためのｍｐｅｇデコーダ及びデコーディング方法
JP4288442B2 (ja) 記録再生装置および映像処理方法
JPH0283579A (ja) 画像データ表示装置と画像データ表示方法
JP2000209588A (ja) 画像の符号化方法及び復号方法、電子装置のための副映像デ―タユニットの構成方法、電子装置、及び、電子装置で使用されるデ―タ担体
KR0165199B1 (ko) 퍼스널 컴퓨터의 멀티미디어 제어장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081010

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081020

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090324

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090622

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100315

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 4

EXPY Cancellation because of completion of term