JP4515607B2 - デジタルtv受像機の順次走査ビデオ信号処理におけるメモリ管理方法およびバッファリング・システム - Google Patents

デジタルtv受像機の順次走査ビデオ信号処理におけるメモリ管理方法およびバッファリング・システム Download PDF

Info

Publication number
JP4515607B2
JP4515607B2 JP2000213844A JP2000213844A JP4515607B2 JP 4515607 B2 JP4515607 B2 JP 4515607B2 JP 2000213844 A JP2000213844 A JP 2000213844A JP 2000213844 A JP2000213844 A JP 2000213844A JP 4515607 B2 JP4515607 B2 JP 4515607B2
Authority
JP
Japan
Prior art keywords
signal
buffering
format
video
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000213844A
Other languages
English (en)
Other versions
JP2001069422A (ja
JP2001069422A5 (ja
Inventor
ウィリアム ウォーレル チャールズ
エバン クラブ マイケル
ケント フリックナー アンドリュー
リー ウェンフー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2001069422A publication Critical patent/JP2001069422A/ja
Publication of JP2001069422A5 publication Critical patent/JP2001069422A5/ja
Application granted granted Critical
Publication of JP4515607B2 publication Critical patent/JP4515607B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4435Memory management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/641Multi-purpose receivers, e.g. for auxiliary information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、デジタルTV受像機の順次ビデオ信号の処理におけるメモリ管理およびバッファリング・システムに関するものである。
【0002】
【従来の技術】
標準デジタルTV受像機アーキテクチャでは、デジタル化アナログ信号(digitized analog signals)の処理にMPEGデジタル・ビデオ処理回路を再利用する。このアプローチはデジタル化アナログ・インタレース信号(たとえば、480iまたは1080i垂直形式(vertical formats)のNTSCおよびPAL信号)の処理に適している。
【0003】
【発明が解決しようとする課題】
しかしながら、標準デジタルTV受像機はビデオ・カセット・レコーダ(VCRs)、ビデオ・ゲーム・コンソール(video game consoles)、およびケーブル・システム・テキスト・ジェネレータによって多くの場合出力される順次走査信号(progressively scanned signals)(たとえば、240p垂直形式の順次走査信号)を処理することが困難である。本発明はこの困難を克服することを目指している。
【0004】
さまざまな形式のデジタルビデオデータ(つまり、順次、インターレース、CCIR 601/656準拠、およびMPEG準拠形式)を、第1と第2のバッファに分割されているビデオ・メモリにバッファリングするメモリ・マネージメント(メモリ管理)方法。
【0005】
【課題を解決するための手段】
本発明は、このような目的を達成するために、請求項1に記載の発明は、ビデオ信号を、第1と第2のバッファに分割されているメモリにバッファリングするメモリ管理方法であって、ビデオ信号を受信すること、前記ビデオ信号の受信に応答して、標準バファリング信号を生成すること、前記標準バッファリング信号を処理して、前記受信したビデオ信号が第1の形式かあるいは第2の形式かを決定すること、前記受信したビデオ信号が前記第1の形式である場合に、前記標準バファリング信号にしたがって、前記第1の形式のビデオ信号が、前記第1と第2のバッファに交互に書き込まれ、前記第1と第2のバッファから交互に読み出される形で、前記受信したビデオ信号を前記メモリ内にバッファリングすること、前記受信した信号が第2の形式である場合に、前記標準バッファリング信号を部分的にオーバーライドして、変更されたバッファリング信号を生成すること、前記変更されたバッファリング信号にしたがって、前記メモリ内に前記第2の形式のビデオ信号をバッファリングすることを備え、前記第2の形式のビデオ信号が、データの損失なく前記メモリにバッファされることを特徴とする
【0006】
また、請求項2に記載の発明は、前記メモリ管理方法であって、前記第2の形式がデジタル化アナログ順次(p)形式であることを特徴とするものである。
【0007】
また、請求項3に記載の発明は、前記メモリ管理方法であって、前記第2の形式が240p垂直形式であることを特徴とするものである。
【0008】
また、請求項4に記載の発明は、前記メモリ管理方法であって、前記第2の形式で受信した前記信号はビデオ・ゲーム・コンソール、ビデオ・カセット・レコーダ、およびケーブルテキスト・ジェネレータのいずれかにより生成されることを特徴とするものである。
【0009】
また、請求項5に記載の発明は、前記メモリ管理方法であって、前記第1の形式はインターレース形式、CCIR 601/656準拠形式、およびMPEG準拠形式のいずれかであることを特徴とするものである。
【0010】
また、請求項6に記載の発明は、前記メモリ管理方法であって、前記標準バッファリング信号は、標準書き込み信号と標準読み出し信号を含み、前記標準バッファリング信号に部分的にオーバーライドして変更されたバッファリング信号を生成する前記ステップは、前記標準読み出し信号を変更することを含み、前記変更されたバッファリング信号の受信に応答して、前記メモリ内に前記第2の形式のビデオ信号をバッファリングするステップは、前記標準書き込み信号にしたがって、前記第1および第2のバッファのうちの一つに前記第2の形式のビデオを書き込むこと、前記変更された読み出し信号にしたがって、前記第1および第2のバッファのうちの一つから、前記第2の形式のビデオを読み出すこと
を備えることを特徴とする。
【0011】
また、請求項7に記載の発明は、前記メモリ管理方法であって、前記標準バッファリング信号は、標準書き込み信号と標準読み出し信号を含み、前記標準バッファリング信号に部分的にオーバーライドして変更されたバッファリング信号を生成する前記ステップは、前記標準読み出し信号を変更することを含み、前記変更されたバッファリング信号の受信に応答して、前記メモリ内に前記第2の形式のビデオ信号をバッファリングするステップは、前記変更された書き込み信号にしたがって、前記第1および第2のバッファのうちの一つに前記第2の形式のビデオを交互に書き込むこと、前記標準読み出し信号にしたがって、前記第1および第2のバッファのうちの一つから、前記第2の形式のビデオを交互に読み出すことを備えることを特徴とする
【0012】
請求項8に記載の発明は、複数の形式を持つビデオ信号を処理するためのデジタルテレビ受像機のバッファリング・システムであって、前記ビデオ信号をバッファリングするための、第1と第2のバッファを有するメモリと、前記ビデオ信号の受信に応答して、標準バファリング信号を生成する手段と、前記標準バッファリング信号を処理して、前記受信したビデオ信号が第1の形式かあるいは第2の形式かを決定する手段と、前記受信したビデオ信号が前記第1の形式である場合に、前記標準バファリング信号にしたがって、前記第1の形式のビデオ信号が、前記第1と第2のバッファに交互に書き込まれ、前記第1と第2のバッファから交互に読み出される形で、前記受信したビデオ信号を前記メモリ内にバッファリングするための手段と、前記受信した信号が第2の形式である場合に、前記標準バッファリング信号を部分的にオーバーライドして、変更されたバッファリング信号を生成する手段と、前記変更されたバッファリング信号にしたがって、前記メモリ内に前記第2の形式のビデオ信号をバッファリングするための手段とを備え、前記第2の形式のビデオ信号が、データの損失なく前記メモリにバッファされることを特徴とするものである。
【0013】
また、請求項9に記載の発明は、前記バッファリング・システムであって、前記第1の形式は、インターレース形式、CCIR 601/656準拠形式、およびMPEG準拠形式のうちの一つであることを特徴とするものである。
【0014】
また、請求項10に記載の発明は、前記バッファリング・システムであって、前記第2のフォーマットは、順次走査形式であることを特徴とするものである。
【0015】
また、請求項11に記載の発明は、前記バッファリング・システムであって、前記標準バッファリング信号は、標準書き込み信号と標準読み出し信号を含み、前記変更されたバッファリング信号は、標準書き込み信号と変更された読み出し信号を含み、前記第2の形式のビデオ信号をバッファリングする前記手段は、前記標準書き込み信号にしたがって、前記第1および第2のバッファのうちの一つに前記第2の形式のビデオを書き込む手段と、前記変更された読み出し信号にしたがって、前記第1および第2のバッファのうちの一つから、前記第2の形式のビデオを読み出す手段とを備えることを特徴とするものである。
【0016】
また、請求項12に記載の発明は、前記バッファリング・システムであって、前記標準バッファリング信号は、標準書き込み信号と標準読み出し信号を含み、前記変更されたバッファリング信号は、変更された書き込み信号と標準読み出し信号を含み、前記第2の形式のビデオ信号をバッファリングする前記手段は、前記変更された書き込み信号にしたがって、前記第1および第2のバッファに前記第2の形式のビデオを交互に書き込む手段と、前記標準の読み出し信号にしたがって、前記第1および第2のバッファから、前記第2の形式のビデオを交互に読み出す手段とを備えることを特徴とするものである。
【0020】
【発明の実施の形態】
本発明の他の特徴および利点は、実施形態の方法として示す、次の説明からさらに明白になるであろう。
【0021】
図1には、標準デジタルTV受像機のビデオ処理回路10が示されている。ビデオ入力インターフェース12は、メモリ14とメモリ・コントローラ16に結合されている。メモリ・コントローラ16は、以下に詳しく説明するように、メモリ14内のMPEG準拠ビデオ・データ、CCIR601/656準拠ビデオ・データ、およびデジタル化アナログ信号のバッファリングを制御する。ラスタ・ジェネレータ(raster generator)22はさらに、メモリ・コントローラ16に結合され、また表示形式変換回路とOSD(オンスクリーン・ディスプレイ)オーバーレイ回路を含む表示ユニット24にも結合されている。
【0022】
ビデオ入力インターフェース12は、入力ビデオ信号の逆多重化、同期処理、およびフィールド・タイプ検出を管理するビデオ入力ポートである。ビデオ入力インターフェース12は、2種類の動作モードを持つ。1つはCCIR601/656準拠ビット・ストリームを受信するモードで、もう1つはデジタル化アナログ信号を受信するモードである。第1のモードでは、ビデオ入力インターフェース12は知られている上/下(トップ/ボトム)フィールド指標をCCIR601/656準拠ビット・ストリームから抽出する。第2のモードでは、ブランキング情報がビデオ入力インターフェース12のH同期とV同期入力で供給され、ビデオ入力インターフェース12は上/下(トップ/ボトム)フィールド指標をH同期およびV同期入力の相対的タイミングから導き出す。具体的に述べると、インターレース信号では、V同期入力がH同期入力に一致する場合と、連続するH同期入力間に発生する場合とでV同期入力により切り替えられる(トグルされる)。順次信号では、V同期入力は、切り替える(トグルする)ことはせず、H同期入力と一致する場合と、連続するH同期入力間に発生する場合のどちらかでしょう。したがって、インターレース信号のときに上(トップ)インジケータと下(ボトム)インジケータの交互に取り出され、順次信号のときは上(トップ)または下(ボトム)インジケータのいずれか一方が取り出される。上(トップ)/下(ボトム)フィールド指標が抽出(CCIR準拠ビット・ストリームの場合)または導出(デジタル化アナログ信号の場合)されると、ビデオ入力インターフェース12は、上(トップ)/下(ボトム)フィールド指標に基づいて入力BnotT(T(トップ)でないB(ボトム))信号を発生し、その信号をメモリ・コントローラ16に受け渡す。具体的に述べると、ビデオ入力インターフェース12内のフィールド・タイプ検出器(図には示されていない)は、下(ボトム)フィールド・インジケータに応じて「ハイ(高)」入力BnotT信号を発生し、上(トップ)フィールド・インジケータに応じて「ロー(低)」入力BnotT信号を発生する。
【0023】
MPEG準拠ビット・ストリームのデコードを行うMPEGデコード回路(図面をわかりやすくするため示していない)は、当業者であればわかるように、ビデオ入力インターフェース12と別にすることも、また一体にすることも可能であることに注意すべきである。MPEG準拠ビット・ストリームのデコードの際に、メモリ・コントローラ16は、MPEGデコード回路によって発生した信号に応じて、メモリ14を使用し、受信した圧縮ビット・ストリームをバッファリングし、アンカー・フレームを格納し、デコードされたビデオ・フレームを格納する。1フレーム分のビデオは、メモリ14に格納された後、後述のCCIR601/656準拠インターレース・ビデオ信号の処理と同じようにして、表示ユニット24によって処理される。
【0024】
メモリ・コントローラ16は、メモリ14との間で行うビデオ・データ(たとえば、MPEG準拠データ、CCIR601/656準拠データ、インターレースフィールド、および順次走査フレーム)の転送を管理する。具体的に述べると、メモリ14は2つのバッファ(上(トップ)フィールド・メモリ18と下(ボトム)フィールド・メモリ20)に分割され、メモリ・コントローラ16は、ビデオ入力インターフェース12によって送信された入力BnotT信号の状態に基づいて、あるいは、MPEG準拠データストリームの受信の場合には、MPEGデコード回路で発生する信号に基づいて、バッファ18および20へのビデオ・データの入力を管理する。メモリ・コントローラ16はさらに、バッファ18および20から、次々とデータを目的の表示形式に変換し、目的のOSDを組み合わせるように出力データを処理する表示ユニット24に、格納されているビデオ・データを出力する、動作を管理する。メモリ・コントローラ16は、ラスタ・ジェネレータ22によって送信されたラスタBnotT信号の状態に基づいてバッファ18およびバッファ20からビデオ・データを出力する動作を管理する。
【0025】
ラスタBnotTおよび入力BnotT信号は、別々に生成され、位相ロックまたは周波数ロックされてはいない。ビデオ入力インターフェース12は、CCIR601/656準拠ビット・ストリームから抽出した上(トップ)/下(ボトム)フィールド・インジケータまたはデジタル化アナログ信号(たとえば、インターレースまたは順次信号)のH同期入力とV同期入力との関係から取り出された上(トップ)/下(ボトム)フィールド指標(インジケータ)に基づいて入力BnotT信号を発生する。ラスタ・ジェネレータ22は、入力BnotT信号と非同期にラスタBnotT信号を発生する。ラスタBnotT信号は、VCXO派生ピクセル・クロックから駆動されるカウンタによって生成される独立のラスタ信号である。ラスタBnotT信号は、ディスプレイ・ユニット24の偏向システムに安定した駆動信号を送り、メモリから取り出されたフィールドのシーケンス(順序)を制御する。入力BnotT信号とラスタBnotT信号との非同期の関係は、MPEG準拠データ、CCIR601/656準拠データ、およびインターレース・ビデオ・データの格納および取り出しの動作と干渉を起こさないが、以下に示すように、非同期の関係は、順次走査ビデオ・データ(たとえば、240p垂直形式のビデオ・データ)の格納と取り出しの動作と干渉を起こす。
【0026】
図2には、インターレース信号の格納および取り出しのタイミング図が示されている。具体的に述べると、入力ビデオ・データ、出力ビデオ・データ、入力BnotT信号、およびラスタBnotT信号の関係が示されている。インデックスが付けられたフィールド・シーケンスは、T=上(トップ)フィールド・メモリ、B=下(ボトム)フィールド・メモリとしたときに、入力および出力ビデオ信号データのメモリ位置を表している。メモリ・コントローラ16は、「ハイ」入力BnotT信号を受信すると入力データを下(ボトム)フィールド・メモリ20に書き込み、「ロー」入力BnotT信号を受信すると入力データを上(トップ)フィールド・メモリ18に書き込む。同様に、メモリ・コントローラ16は、「ハイ」ラスタBnotT信号を受信すると出力データを下(ボトム)メモリ16から読み込み、「ロー」ラスタBnotT信号を受信すると出力データを上(トップ)フィールド・メモリ18から読み込む。図2に示されているように、入力BnotT信号とラスタBnotT信号との非同期の関係は、インターレース・ビデオ信号については、ビデオ・データの適切な格納と取り出しと干渉を起こさない。
【0027】
図3には、インターレース・ビデオ信号の後に順次ビデオ信号が続く場合のビデオ・データの格納および取り出しを説明するタイミング図が示されている。フィールド1−4は、インターレース・ビデオ・データのフィールドに対応し、図2の説明で述べたように、上(トップ)フィールド・メモリ18および下(ボトム)フィールド・メモリ20に格納し、取り出す。フィールド5は、順次走査ビデオ・データ(たとえば、ユーザがオンにしたゲーム・コンソールまたはVCRから受信した順次ビデオ信号)の最初のフレームに対応する。フィールド5では、入力BnotT信号は「ハイ」のままであり、このタイミング例の図の場合、順次走査ビデオ・データはインターレース・ビデオ・データのフィールド4の部分と同じH同期/V同期の関係を持つことを示している。入力BnotTは「ハイ」のままなので、メモリ・コントローラ16は、順次走査ビデオ・データのフレームを下(ボトム)フィールド・メモリ20に書き込む。フィールド6および7では、順次走査ビデオ・データのフレームに関連付けられた上(トップ)/下(ボトム)指標は変化しないため、メモリ・コントローラ16は順次走査ビデオ・データのフレームを下(ボトム)フィールド・メモリ20に連続して書き込む。ラスタBnotT信号の受信に応じて、メモリ・コントローラ16はメモリ14(フィールド1−4)からインターレース・ビデオ・データのフィールドを正しく読み込む。ただし、メモリ・コントローラ16は、順次走査ビデオ・データのフレームをメモリ14(フィールド5−7)から不正に読み込む。具体的に述べると、ラスタ・ジェネレータ22から「ロー」BnotT信号を受信したことで、フィールド5と7においてメモリ・コントローラ16はメモリ14から古くなったビデオ・データを読み込む(つまり、フィールド3のインターレース・ビデオ・データ)。この古くなったデータは、順次走査ビデオ・データの処理中に上(トップ)フィールド・メモリ14から連続して読み出され、ユーザに対して表示されるビデオ画像に著しい歪みを引き起こす。本発明はこの問題を是正することを目指した。
【0028】
図4では、本発明のビデオ処理回路30のブロック図が示されており、図1のビデオ処理要素10に結合されているシステム・マイクロ・コントローラ26を含む。具体的に述べると、システム・マイクロ・コントローラ26は、メモリ・コントローラ16、ラスタ・ジェネレータ22、および表示ユニット24に結合され、順次走査形式、インターレース形式、CCIR601/656準拠形式、またはMPEG準拠形式のビデオ・データを正しくメモリ14に格納し、取り出すことができる。
【0029】
図5には、図4とともに、順次走査ビデオ・データを処理する方法32が示されている。順次走査ビデオ・データは、ビデオ・ゲーム・コンソール、ビデオ・カセット・レコーダ、ケーブル・システム・テキスト・ジェネレータなどにより生成される240p入力であることがある。最初、システム・マイクロ・コントロー26はステップ34で、メモリ・コントローラ16で受信した入力BnotT信号を読み込むことによりビデオ入力インターフェース12で受信したビデオ・データの形式を決定する。上述のように、入力BnotT信号は「ハイ」状態から「ロー」状態へ、「ロー」状態から「ハイ」状態へ切り替わるときに、ビデオ形式は順次ではない(たとえば、図3のフィールド1−4)。入力BnotT信号が連続する2期間以上一定のままであれば(つまり、「ロー」または「ハイ」)、ビデオ形式は順次である(たとえば、図3のフィールド5−7)。システム・マイクロ・コントロー26は、当業者であれば理解できるように、MPEGデコード回路によって生成された信号を監視することによりMPEG準拠形式のビデオ・データが受信されたかどうかを判別することができることに注意されたい。次に、ステップ36で、システム・マイクロ・コントローラ26は、ビデオ・データが順次走査形式かどうかを判別する。順次走査形式でなければ、システム・マイクロ・コントローラ26は、ステップ38で、上述の標準メモリ管理方法を使用してビデオ・データを処理し続ける。順次走査形式であれば、システム・マイクロ・コントローラ26は、ステップ40で、詳細を後述するように、本発明に基づきメモリ管理方法を修正または一部オーバーライドする。その後、ステップ42で、システム・マイクロ・コントローラ26は、メモリ・コントローラ16によって受信された入力BnotT信号を監視し続けて、ビデオ・データがそのまま順次走査形式で受信されているかどうかを判別する。順次走査形式で受信されていなければ、システム・マイクロ・コントローラ26は、ステップ44で、非順次ビデオ・データの処理に使用される標準メモリ管理方法に戻る。順次走査形式で受信されていれば、システム・マイクロ・コントロー26は、ステップ46で、ステップ40の修正されたメモリ管理方法を使用して順次走査ビデオ・データを処理し続けて、ステップ42に戻り、入力BnotT信号を監視する。
【0030】
図6と図7には、図4とともに、本発明の一メモリ管理方法50が示されている。ビデオ入力インターフェース12によって受信されたビデオ・データの形式が順次形式であると識別された後、システム・マイクロ・コントローラ26は、ステップ52で、入力BnotT信号の状態を監視して、順次走査ビデオ・データがどのメモリ・バッファ(つまり、上(トップ)フィールド・メモリ18または下(ボトム)フィールド・メモリ20)に書き込まれているかを識別する。メモリが識別されると、システム・マイクロ・コントローラ26は、ステップ54で、メモリ・コントローラ16が識別されたメモリ・バッファ(つまり、上(トップ)フィールド・メモリ18または下(ボトム)フィールド・メモリ20)から順次走査ビデオ・データを正しく読み取るようにラスタ・ジェネレータ22を動的に再プログラムする。図7のタイミング例の図に示されているように、システム・マイクロ・コントロー26は、順次ビデオ・データが下(ボトム)フィールド・メモリ20に書き込んでいる(つまり、入力BnotT信号が「ハイ」である)と判別した場合、システム・マイクロ・コントローラ26はラスタ・ジェネレータ22を動的に再プログラムして、「ハイ」ラスタBnoT信号を出力する。「ハイ」ラスタBnotT信号により強制的に、メモリ・コントローラ16は下(ボトム)フィールド・メモリ20から順次ビデオ・データを読み出す。システム・マイクロ・コントローラ26は、ステップ56で、さらに、メモリ14の識別されたメモリ・バッファから受信した順次走査ビデオ・データを処理するため表示ユニット24を動的に再プログラムする。たとえば、システム・マイクロ・コントローラ26は、表示ユニット24を動的に再プログラムして、メモリ14から受け取った240p信号を540p、1080i、またはモニタやTVによって要求されるその他の垂直形式に変換する。
【0031】
図8には、図4とともに、本発明の他のメモリ管理方法60が示されている。ビデオ入力インターフェース12によって受信されたビデオ・データの形式が順次形式であると識別された後、システム・マイクロ・コントローラ26は、ステップ62で、入力BnotT信号の状態を監視して、順次走査ビデオ・データがどのメモリ・バッファ(つまり、上(トップ)フィールド・メモリ18または下(ボトム)フィールド・メモリ20)に書き込まれているかを識別する。次に、ステップ64で、システム・マイクロ・コントローラ26は、メモリ・コントローラ16がメモリ14の上(トップ)および下(ボトム)フィールド・メモリ18および20に順次走査ビデオ・データを交互に書き込むようにメモリ・コントローラ16を動的に管理する。
【0032】
メモリ・コントローラ16に順次走査ビデオ・データを強制的に交互に書き込ませるために、システム・マイクロ・コントローラ26は入力BnotT信号をオーバーライドする(無効にする)必要がある。前述のように、ビデオ入力インターフェース12内のフィールド・タイプ検出器は入力BnotT信号を発生する。代表的なフィールド・タイプ検出器70のブロック図を図9に、フィールド・タイプ検出器70のタイミング図を図10に示す。フィールド・タイプ検出器70は、ピクセル・クロックとH同期を入力として備え、出力がフィールド・タイプ検出器ロジック78に結合されている水平サンプル・カウンタ72を含む。フィールド・タイプ検出器ロジック78の入力はさらに、第1のレジスタ74の出力に結合され、さらに、これはシステム・マイクロ・コントローラ26(図9には示されていない)に結合されている。同様に、フィールド・タイプ検出器ロジック78の他の入力は、第2のレジスタ76の出力に結合され、さらに、これはシステム・マイクロ・コントロー26(図9には示されていない)に結合されている。フィールド・タイプ検出器ロジック78の出力は、ラッチ80の入力に結合されている。ラッチ80は、入力BnotT信号を発生し、V同期信号によってトリガされる。
【0033】
動作時に、水平サンプル・カウント72は、入力ピクセル・クロックによって駆動され、H同期信号によってリセット、リスタートされる。カウンタ72の出力を、レジスタ74および76にそれぞれ格納されているシステム・マイクロ・コントローラがプログラム可能な値L1およびL2と比較する。標準動作時(入力BnotTがオーバーライドされていない場合)に、カウンタ72の出力が値L1と値L2の間にある場合(時間t1<t<t2のとき)、フィールド・タイプ検出ロジック78の出力は高となり、ラッチ80からの入力BnotT信号は「ハイ」となる。「ハイ」入力BnotT信号に応じて、メモリ・コントローラ16はデータを下(ボトム)フィールド・メモリ20に読み込む。標準動作時に、カウンタ72の出力が値L1よりも小さいか、値L2よりも大きい場合(時間t<t1またはt>t2のとき)、フィールド・タイプ検出ロジック78の出力は「ロー」となり、入力BnotT信号は「ロー」となる。その結果、メモリ・コントローラ16は、ビデオ・データを上(トップ)フィールド・メモリ18に書き込む。
【0034】
上述のように、システム・マイクロ・コントローラ26は、2つ以上の同一の入力BnotT信号を監視して、順次走査ビデオ・データの存在を検出する。順次走査ビデオ信号が検出されると、レジスタ74と76の値を調整し、入力BnotT信号を強制的に望む状態(つまり、メモリ・コントローラ16が、順次走査ビデオ・データを上(トップ)および下(ボトム)のメモリ18および20に交互に書き込むようにする状態)にすることができる。
【0035】
図11では、図9および図10とともに、オーバーライド・モードにおけるフィールド・タイプ検出器70の動作を説明するタイミング図が示されている。1番から4番までのフィールドについては、入力信号はインターレースされている。フィールド5では、入力信号は順次走査信号となる。マイクロ・コントローラ26は順次走査信号を検出し、順次走査信号の第1のセグメント(たとえば、240pフレーム)が上(トップ)フィールド・メモリ18または下(ボトム)フィールド・メモリ20に格納されているかどうかを判別する。順次走査信号の第1のセグメントが下(ボトム)フィールド・メモリ20に格納されている場合(図のように)、マイクロ・コントローラ26はレジスタ74と76を順次走査信号の次のセグメントの値と同じ値(たとえば、L2)に設定する。これにより強制的に、フィールド6で入力BnotTは「ロー」になるが、それは、両方のレジスタに同じ値が入っていると、カウンタの出力が決してレジスタ74中の値と76中の値の間の値になりえないからである。入力BnotTを強制的に「ロー」にすると、フィールド6は上(トップ)フィールド・メモリ18の古いデータ(つまり、フィールド3に対応するデータ)を上書きする。その後、システム・マイクロ・コントローラ26は、入力BnotTを「ハイ」にする動作と入力BnotTを強制的に「ロー」にする操作を交互に行い、順次走査ビデオ・データを上(トップ)および下(ボトム)フィールド・メモリ18および20に書き込む。順次走査信号の第1のセグメントが上(トップ)フィールド・メモリ18(図11には示されていない)に格納されている場合、マイクロ・コントローラ26はレジスタ74を「0」にセットし、レジスタ76をカウンタ72がH同期入力によるリセットの前に到達できる最大値以上の値にセットする。これにより、カウンタの出力は決してレジスタ74に格納されている値未満になることも、レジスタ76に格納されている値以上になることもあり得ないため、強制的に、入力BnotTは「ハイ」になる。入力BnotTを強制的に「ハイ」にすると、順次走査信号の次のセグメントは下(ボトム)フィールド・メモリ20に存在する古いデータを上書きする。その後、システム・マイクロ・コントローラ26は、図11に示されているのと同様の方法で、上(トップ)フィールド・メモリ18と下(ボトム)フィールド・メモリ20に順次走査信号を交互に書き込む。
【0036】
そこで、本発明の原理により、さまざまな形式のデジタルビデオデータ(つまり、順次、インターレース、CCIR 601/656準拠、およびMPEG準拠形式)を第1と第2のバッファに分割されているビデオ・メモリにバッファリングするメモリ管理の方法が実現される。
【0037】
本発明は、好ましい実施形態に関して述べたが、添付されている特許請求の範囲で定義されているように、さまざまな変更を実施形態に加えても本発明の精神と範囲を逸脱することにならないことは明白である。
【0038】
【発明の効果】
以上説明したように本発明によれば、システム・マイクロ・コントローラ26は、2つ以上の同一の入力BnotT信号を監視して順次走査ビデオ・データの存在を検出し、順次走査ビデオ信号が検出されると、レジスタ74と76の値を調整し、入力BnotT信号を強制的に望む状態(つまり、メモリ・コントローラ16が、順次走査ビデオ・データを上(トップ)および下(ボトム)のメモリ18および20に交互に書き込むようにする状態)にするので、さまざまな形式のデジタルビデオデータ、順次走査形式、インターレース形式、CCIR601/656準拠形式、またはMPEG準拠形式のビデオ・データを正しくメモリ14に格納し、取り出すことができる。
【図面の簡単な説明】
【図1】標準デジタルTV受像機のビデオ処理回路の論理システムブロック図である。
【図2】インターレース入力信号を処理する標準受像機のタイミング図である。
【図3】順次走査入力信号を処理する標準受像機のタイミング図である。
【図4】本発明によるビデオ処理回路の論理システムブロック図である。
【図5】本発明による順次走査ビデオ信号を処理する方法を説明するフローチャートである。
【図6】本発明によるビデオ・メモリ管理方法を説明するフローチャートである。
【図7】図4のビデオ・メモリ管理方法により順次走査入力信号を処理する改良されたシステムのタイミング図である。
【図8】本発明による他のメモリ管理方法を説明する流れ図である。
【図9】図4のビデオインタフェースのフィールド・タイプ検出器回路(field type detector circuitry)のブロック図である。
【図10】図9のフィールド・タイプ検出器回路のタイミング図である。
【図11】図8の他のメモリ管理方法により順次走査入力信号を処理する改良されたシステムのタイミング図である。
【符号の説明】
1−4 フィールド
5 フィールド
10 ビデオ処理回路
12 ビデオ入力インターフェース
14 メモリ
16 メモリ・コントローラ
22 ラスタ・ジェネレータ
18、20 バッファ
24 表示ユニット
26 システム・マイクロ・コントロー
30 ビデオ処理回路
32 順次走査ビデオ・データを処理する方法
50 メモリ管理方法
60 メモリ管理方法
70 フィールド・タイプ検出器
72 水平サンプル・カウンタ
74 第1のレジスタ
76 第2のレジスタ
80 ラッチ

Claims (12)

  1. ビデオ信号を、第1と第2のバッファに分割されているメモリにバッファリングするメモリ管理方法であって、
    ビデオ信号を受信すること、
    前記ビデオ信号の受信に応答して、標準バファリング信号を生成すること、
    前記標準バッファリング信号を処理して、前記受信したビデオ信号が第1の形式かあるいは第2の形式かを決定すること、
    前記受信したビデオ信号が前記第1の形式である場合に、前記標準バファリング信号にしたがって、前記第1の形式のビデオ信号が、前記第1と第2のバッファに交互に書き込まれ、前記第1と第2のバッファから交互に読み出される形で、前記受信したビデオ信号を前記メモリ内にバッファリングすること、
    前記受信した信号が第2の形式である場合に、前記標準バッファリング信号を部分的にオーバーライドして、変更されたバッファリング信号を生成すること、
    前記変更されたバッファリング信号にしたがって、前記メモリ内に前記第2の形式のビデオ信号をバッファリングすること
    を備え、前記第2の形式のビデオ信号が、データの損失なく前記メモリにバッファされることを特徴とするメモリ管理方法。
  2. 前記第2の形式がデジタル化アナログ順次(p)形式であることを特徴とする請求項1に記載のメモリ管理方法。
  3. 前記第2の形式が240p垂直形式であることを特徴とする請求項1に記載のメモリ管理方法。
  4. 前記第2の形式で受信した前記信号はビデオ・ゲーム・コンソール、ビデオ・カセット・レコーダ、およびケーブルテキスト・ジェネレータのいずれかにより生成されることを特徴とする請求項1に記載のメモリ管理方法。
  5. 前記第1の形式はインターレース形式、CCIR 601/656準拠形式、およびMPEG準拠形式のいずれかであることを特徴とする請求項1に記載のメモリ管理方法。
  6. 前記標準バッファリング信号は、標準書き込み信号と標準読み出し信号を含み、前記標準バッファリング信号に部分的にオーバーライドして変更されたバッファリング信号を生成する前記ステップは、前記標準読み出し信号を変更することを含み、前記変更されたバッファリング信号の受信に応答して、前記メモリ内に前記第2の形式のビデオ信号をバッファリングするステップは、
    前記標準書き込み信号にしたがって、前記第1および第2のバッファのうちの一つに前記第2の形式のビデオを書き込むこと、
    前記変更された読み出し信号にしたがって、前記第1および第2のバッファのうちの一つから、前記第2の形式のビデオを読み出すこと
    を備えることを特徴とする請求項1に記載のメモリ管理方法。
  7. 前記標準バッファリング信号は、標準書き込み信号と標準読み出し信号を含み、前記標準バッファリング信号に部分的にオーバーライドして変更されたバッファリング信号を生成する前記ステップは、前記標準読み出し信号を変更することを含み、前記変更されたバッファリング信号の受信に応答して、前記メモリ内に前記第2の形式のビデオ信号をバッファリングするステップは、
    前記変更された書き込み信号にしたがって、前記第1および第2のバッファのうちの一つに前記第2の形式のビデオを交互に書き込むこと、
    前記標準読み出し信号にしたがって、前記第1および第2のバッファのうちの一つから、前記第2の形式のビデオを交互に読み出すこと
    を備えることを特徴とする請求項1に記載のメモリ管理方法。
  8. 複数の形式を持つビデオ信号を処理するためのデジタルテレビ受像機のバッファリング・システムであって、
    前記ビデオ信号をバッファリングするための、第1と第2のバッファを有するメモリと、
    記ビデオ信号の受信に応答して、標準バファリング信号を生成する手段と、
    前記標準バッファリング信号を処理して、前記受信したビデオ信号が第1の形式かあるいは第2の形式かを決定する手段と、
    前記受信したビデオ信号が前記第1の形式である場合に、前記標準バファリング信号にしたがって、前記第1の形式のビデオ信号が、前記第1と第2のバッファに交互に書き込まれ、前記第1と第2のバッファから交互に読み出される形で、前記受信したビデオ信号を前記メモリ内にバッファリングするための手段と、
    前記受信した信号が第2の形式である場合に、前記標準バッファリング信号を部分的にオーバーライドして、変更されたバッファリング信号を生成する手段と、
    前記変更されたバッファリング信号にしたがって、前記メモリ内に前記第2の形式のビデオ信号をバッファリングするための手段と
    を備え、前記第2の形式のビデオ信号が、データの損失なく前記メモリにバッファされることを特徴とするバッファリング・システム。
  9. 前記第1の形式は、インターレース形式、CCIR 601/656準拠形式、およびMPEG準拠形式のうちの一つであることを特徴とする請求項8に記載のバッファリング・システム。
  10. 前記第2のフォーマットは、順次走査形式であることを特徴とする請求項8に記載のバッファリング・システム。
  11. 前記標準バッファリング信号は、標準書き込み信号と標準読み出し信号を含み、前記変更されたバッファリング信号は、標準書き込み信号と変更された読み出し信号を含み、前記第2の形式のビデオ信号をバッファリングする前記手段は、
    前記標準書き込み信号にしたがって、前記第1および第2のバッファのうちの一つに前記第2の形式のビデオを書き込む手段と、
    前記変更された読み出し信号にしたがって、前記第1および第2のバッファのうちの一つから、前記第2の形式のビデオを読み出す手段と
    を備えることを特徴とする請求項8に記載のバッファリング・システム。
  12. 前記標準バッファリング信号は、標準書き込み信号と標準読み出し信号を含み、前記変更されたバッファリング信号は、変更された書き込み信号と標準読み出し信号を含み、前記第2の形式のビデオ信号をバッファリングする前記手段は、
    前記変更された書き込み信号にしたがって、前記第1および第2のバッファに前記第2の形式のビデオを交互に書き込む手段と、
    前記標準の読み出し信号にしたがって、前記第1および第2のバッファから、前記第2の形式のビデオを交互に読み出す手段と
    を備えることを特徴とする請求項8に記載のバッファリング・システム。
JP2000213844A 1999-07-15 2000-07-14 デジタルtv受像機の順次走査ビデオ信号処理におけるメモリ管理方法およびバッファリング・システム Expired - Fee Related JP4515607B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14415299P 1999-07-15 1999-07-15
US60/144152 1999-07-15

Publications (3)

Publication Number Publication Date
JP2001069422A JP2001069422A (ja) 2001-03-16
JP2001069422A5 JP2001069422A5 (ja) 2009-01-08
JP4515607B2 true JP4515607B2 (ja) 2010-08-04

Family

ID=22507311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000213844A Expired - Fee Related JP4515607B2 (ja) 1999-07-15 2000-07-14 デジタルtv受像機の順次走査ビデオ信号処理におけるメモリ管理方法およびバッファリング・システム

Country Status (8)

Country Link
US (1) US6633344B1 (ja)
EP (1) EP1069768B1 (ja)
JP (1) JP4515607B2 (ja)
KR (1) KR100671985B1 (ja)
CN (1) CN1226876C (ja)
DE (1) DE60013968T2 (ja)
MX (1) MXPA00006970A (ja)
MY (1) MY125108A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6559890B1 (en) * 1999-04-21 2003-05-06 Ascent Media Group, Inc. Methods and apparatus for correction of 2-3 field patterns
US20040061530A1 (en) * 2002-08-12 2004-04-01 Satoru Tanigawa Clock conversion apparatus, clock conversion method, video display apparatus, and memory address setting method
US7301582B2 (en) * 2003-08-14 2007-11-27 Broadcom Corporation Line address computer for providing line addresses in multiple contexts for interlaced to progressive conversion
WO2006129280A2 (en) * 2005-06-03 2006-12-07 Nxp B.V. Video decoder with hybrid reference texture
US8072443B2 (en) * 2005-06-29 2011-12-06 Intel Corporation Techniques to switch between video display modes
US20080030615A1 (en) * 2005-06-29 2008-02-07 Maximino Vasquez Techniques to switch between video display modes
JP2008301014A (ja) 2007-05-30 2008-12-11 Fujifilm Corp 撮影装置および方法並びにプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3719496A1 (de) 1987-06-11 1988-12-29 Bosch Gmbh Robert Speicheranordnung fuer ein digitales videobandgeraet
JP2698105B2 (ja) 1987-07-28 1998-01-19 三洋電機株式会社 ディジタルテレビジョン受像機
JP2559478B2 (ja) 1988-10-14 1996-12-04 株式会社日立製作所 ビデオメモリ回路
JP3020528B2 (ja) * 1989-12-14 2000-03-15 キヤノン株式会社 画像処理装置
US5170251A (en) * 1991-05-16 1992-12-08 Sony Corporation Of America Method and apparatus for storing high definition video data for interlace or progressive access
KR0159109B1 (ko) * 1991-09-19 1999-01-15 강진구 화상신호의 종횡비 및 주사선 수 변환장치
GB2260053B (en) * 1991-09-27 1995-03-08 Sony Broadcast & Communication Image signal processing
GB2264417B (en) * 1992-02-17 1995-12-06 Sony Broadcast & Communication Video standards conversion
JP3154190B2 (ja) * 1992-04-10 2001-04-09 ソニー株式会社 汎用走査周期変換装置
US5861894A (en) 1993-06-24 1999-01-19 Discovision Associates Buffer manager
JPH07236117A (ja) 1994-02-24 1995-09-05 Nec Corp 画像処理装置
US5610661A (en) 1995-05-19 1997-03-11 Thomson Multimedia S.A. Automatic image scanning format converter with seamless switching
JP3378710B2 (ja) 1995-10-16 2003-02-17 三洋電機株式会社 縮小画像の書き込み/読み出し方法及び縮小画像処理回路
JP3617573B2 (ja) * 1996-05-27 2005-02-09 三菱電機株式会社 フォーマット変換回路並びに該フォーマット変換回路を備えたテレビジョン受像機
GB9704027D0 (en) * 1997-02-26 1997-04-16 Discovision Ass Memory manager for mpeg decoder
US6177922B1 (en) * 1997-04-15 2001-01-23 Genesis Microship, Inc. Multi-scan video timing generator for format conversion
US5949441A (en) * 1997-08-01 1999-09-07 International Business Machines Corporation Multimedia terminal with an encoder for converting analog video data to compressed digitized video data
US6297848B1 (en) * 1998-11-25 2001-10-02 Sharp Laboratories Of America, Inc. Low-delay conversion of 3:2 pulldown video to progressive format with field averaging

Also Published As

Publication number Publication date
MXPA00006970A (es) 2003-12-12
MY125108A (en) 2006-07-31
KR100671985B1 (ko) 2007-01-19
CN1281312A (zh) 2001-01-24
US6633344B1 (en) 2003-10-14
EP1069768A3 (en) 2002-06-26
KR20010015258A (ko) 2001-02-26
DE60013968D1 (de) 2004-10-28
EP1069768B1 (en) 2004-09-22
DE60013968T2 (de) 2005-10-13
CN1226876C (zh) 2005-11-09
JP2001069422A (ja) 2001-03-16
EP1069768A2 (en) 2001-01-17

Similar Documents

Publication Publication Date Title
EP1011267B1 (en) Receiver for simultaneously displaying signals having different display formats and/or different frame rates and method thereof
JP2779212B2 (ja) ワイド画面/標準画面テレビジョン信号受信装置
US7589789B2 (en) Video converting device and method for digital TV
US7542097B2 (en) Video signal processing apparatus and method
EP0818933B1 (en) Video signal converter and television signal processing apparatus
US5914719A (en) Index and storage system for data provided in the vertical blanking interval
US7268820B2 (en) Video signal conversion apparatus delivering enhanced display quality for video signals from film and video sources
US20050104899A1 (en) Real time data stream processor
KR20000069754A (ko) 버퍼를 통해 텔레비젼 화상을 수신, 표시 및 동시 기록하는 장치
JP4515607B2 (ja) デジタルtv受像機の順次走査ビデオ信号処理におけるメモリ管理方法およびバッファリング・システム
KR100614788B1 (ko) 영상 신호 재생 장치
US6486922B1 (en) Synchronization method of image decoder
JP2005045787A (ja) プログレッシブ及びインターレースビデオ信号の両方を生成するビデオ信号処理装置
EP1182869B1 (en) Image-signal processing apparatus and method
AU770732B2 (en) Apparatus for converting video format and method therefor
JP3601330B2 (ja) 映像信号再生装置
JPH11136592A (ja) 画像処理装置
JPH11177935A (ja) 映像信号再生装置
KR101462116B1 (ko) 방송처리장치 및 그 제어방법
KR100820827B1 (ko) 복제 방지 코드 검출 기능을 구비한 영상기기 및 그제어방법
JP2002010206A (ja) 映像信号出力装置及び映像信号出力方法
JP2642601B2 (ja) テレビジョン受像機
JP4209867B2 (ja) テレビジョン受信機
JPH07135620A (ja) 第二世代edtv信号デコード装置
JPS6182590A (ja) 画像伝送装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070706

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100511

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100513

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees