JP2002500480A - 24Hzソース・ビデオ表示のためのフォーマット及びフレーム・レート変換 - Google Patents

24Hzソース・ビデオ表示のためのフォーマット及びフレーム・レート変換

Info

Publication number
JP2002500480A
JP2002500480A JP2000527089A JP2000527089A JP2002500480A JP 2002500480 A JP2002500480 A JP 2002500480A JP 2000527089 A JP2000527089 A JP 2000527089A JP 2000527089 A JP2000527089 A JP 2000527089A JP 2002500480 A JP2002500480 A JP 2002500480A
Authority
JP
Japan
Prior art keywords
format
frame rate
video signal
video
input video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000527089A
Other languages
English (en)
Other versions
JP2002500480A5 (ja
JP4928666B2 (ja
Inventor
グレン, エー. レートメイヤー,
Original Assignee
サーノフ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サーノフ コーポレイション filed Critical サーノフ コーポレイション
Publication of JP2002500480A publication Critical patent/JP2002500480A/ja
Publication of JP2002500480A5 publication Critical patent/JP2002500480A5/ja
Application granted granted Critical
Publication of JP4928666B2 publication Critical patent/JP4928666B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0105Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level using a storage device with different write and read speed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428Recompression, e.g. by spatial or temporal decimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 ソース・ビデオ(312)のフレーム・レートを3倍にし、結果として生じるビデオ信号(308)のフォーマットを反応的に調整することで、3:2ビデオ・ソースによって生じる表示動画の不具合を回避することに適応した複数フォーマット・ビデオ処理システムにおける電子フォーマット及びフレーム・レート変換を行う装置。

Description

【発明の詳細な説明】
【0001】 本願は、米国特許出願書連続番号09/001,952(弁理士整理番号12
713)に関係する。これは本願と同日に出願されるものである。
【0002】 本願は、米国特許出願書連続番号09/001,620(弁理士整理番号12
669)に関係する。これは本願と同日に出願されるものである。
【0003】
【発明の属する技術分野】
本発明は、全般的には、ビデオ処理システムに関係しており、具体的には、様
々な高品位及び標準品位フォーマットなど、複数のビデオ信号フォーマットを受
領及び処理することが可能なビデオ処理システムに関係している。
【0004】
【発明の背景】
NTSC(米国テレビジョン委員会)テレビ受信機など、現在のテレビ受信機
はビデオ処理回路を含んでおり、これは通常、予め定められた単一のビデオ・フ
ォーマットのみに適合するビデオ信号しか処理できない。将来型のデジタル・テ
レビ(DTV)受信機は、大部分が次世代テレビ標準委員会(ATSC)が定め
た放送規格に従って実施されることが予想される。同様の規格にはヨーロッパ・
デジタル・ビデオ放送(DVB)規格がある。圧縮デジタル・ビデオ・システム
についてはATSCデジタル・テレビジョン規格文書A/53に記述されており
、これは参考文献として本願に含めている。更にカラー動画符号標準化作業グル
ープ(MPEG)はデジタル・データ送信システムに関する幾つかの規格を公表
している。一つ目はMPEG−1として知られており、ISO/IEC規格11
172に関するもので、これは参考文献として本願に含めている。2つ目はMP
EG−2として知られており、ISO/IEC規格13818に関するもので、
これは参考文献として本願に含めている。新しいDTV規格では、放送局は事実
上1920×1080ピクセルまでの任意のフォーマットでの送信が可能になる
。具体的には、DTV受信機は、様々な空間解像度(480本、720本、10
80本)、時相解像度(60fps、30fps、24fps)、走査フォーマ
ット(2:1インタレース又はプログレッシブ走査)の画像シーケンスを備える
ソース・ビデオを受信できなくてはいけない。
【0005】 コンピュータ業界では、いわゆる「マルチシンク」ディスプレイ装置で複数の
画像フォーマットを表示することが知られている。具体的には、マルチシンク・
ディスプレイは、グラフィック・フォーマットの変化に対応して、水平走査周波
数や垂直走査周波数を変更する。こうしたマルチシンクのアプローチは、映画テ
レビ技術者協会(SMPTE)が標準化したスタジオ設備ラスタ・フォーマット
などを使用することで、ビデオやテレビの環境において実施できる。残念なこと
に、マルチシンクのアプローチは、複雑な偏向回路、消費電力の増加、偏向コイ
ル・インダクタンスに伴う長い時間定数によるフォーマット間切り換え待ち時間
の長さから、コストの増加につながる。
【0006】 これよりも優れたアプローチは、1996年1月16日に発行された米国特許
番号5,485,216「高品位テレビのビデオ変換装置」の中でリーが開示し
ている。リーの特許においては、高品位テレビ信号をデコードした後、30Hz
フレーム・レートに変換し、垂直方向の縮減と水平方向の縮減を順に行い、イン
タリーブして30Hz、1050垂直走査線ビデオ信号を作り出す。従って、リ
ーの方法では、強引なテクニックを用いて、高品位テレビ信号を30Hz、10
50垂直走査線ビデオ信号に変換することになる。フォーマットを変換したテレ
ビ信号は、従来の方法で処理され、画像が形成される。
【0007】 残念なことに、リーの方法には、複雑なタイミング、切り換え、ビデオ処理回
路が必要になるという欠点がある。加えて、リーの方法で作り出したテレビ信号
には、24Hzソース・ビデオ(フィルムなど)の場合に、動画ビデオの不具合
を引き起こす性質を持っている。これは、リーの方法が良く知られた3:2プル
アップ・シーケンスを使用して毎秒24フレームのビデオを毎秒60フレームに
変換しているためで、この結果、変換したビデオを表示したときに動画ジッタの
不具合が生じる。ゴールデンアワーのテレビ番組のほとんどはマスターがフィル
ムであるため、ビデオ・データの大部分は今後も24Hzプログレッシブ走査フ
ォーマットで送信される。
【0008】 そのため、例えば、複数のフォーマットに対応するテレビ受信機などで使用す
るのに適した費用効率の良いビデオ処理システムの技術には需要が存在する。更
に、24Hzソース・ビデオの使用に適したビデオ処理システムを提供すること
が望ましいと思われる。
【0009】
【発明の概要】
本発明は、ソース・ビデオのフレーム・レートを3倍にし、結果として生じる
ビデオ信号のフォーマットを反応的に調整することで、24Hzソース・ビデオ
の3:2変換による動画表示の不具合を避けることに適応した複数フォーマット
・ビデオ処理システムにおける電子式フォーマット及びフレーム・レート変換の
方法及び付随する装置である。
【0010】 具体的には、本発明は、フォーマット変換器及びフレーム・レート変換器を備
えるビデオ処理システムにおいて使用する方法で、このフォーマット変換器はフ
ォーマット制御信号に反応して入力ビデオ信号の垂直フォーマット及び水平フォ
ーマットの最低一つを適応させ、フレーム・レート変換器はフレーム・レート制
御信号に反応して入力ビデオ信号のフレーム・レートを適合させる。この方法が
備えるステップでは、入力ビデオ信号のフォーマット及びフレーム・レートの確
認し、入力ビデオ信号をネイティブ表示フォーマットへ適合化し、入力ビデオ信
号のフレーム・レートが第一の値、例えば約24Hzの場合、入力ビデオ信号の
フレーム・レートを3倍にする。
【0011】 本発明は、複数のビデオ・フォーマットの一つを有する入力ビデオ信号を処理
して出力ビデオ信号を作り出すための装置でもある。この装置は、入力ビデオ信
号を受信するために結合し、フォーマット制御信号に反応して入力ビデオ信号の
垂直及び水平フォーマットを適合化するフォーマット変換器、フォーマット変換
器と結合し、フレーム・レート制御信号に反応して入力ビデオ信号のフレーム・
レートを適合化するフレーム・レート変換器、フォーマット変換器及びフレーム
・レート変換器と結合し、フォーマット制御信号及びフレーム・レート制御信号
を発信するコントローラを備える。このコントローラは、第一の値のフレーム・
レートを有する入力ビデオ信号の場合、フレーム・レート変換器に入力ビデオの
フレーム・レートを3倍にさせ、フォーマット変換器に入力ビデオ信号の垂直及
び水平フォーマットをディスプレイ装置で使用するのに適したフォーマットに適
合化させる。
【0012】 本発明の内容は、添付図面と共に以下の詳細な説明を検討することで容易に理
解できる。図面は以下の通りである。
【0013】
【好ましい実施形態の詳細な説明】
本発明は、1997年9月26日に出願した米国暫定特許番号60/0601
12の長所を有しており、これは参考文献として本願に全て含んでいる。
【0014】 本発明は、デジタル・テレビ(DTV)受信機、例えばATSCテレビ受信機
の場合について説明する。しかし、本発明が、DVB、MPEG−1、MPEG
−2その他の情報ストリームに適したシステムを含む、任意の複数フォーマット
・ビデオ処理システムに応用可能であることは当業者にとって明らかである。
【0015】 図1は、本発明に従ったDTV受信機100の高レベルのブロック図を示して
いる。具体的には、このDTV受信機100はビデオ処理部分及びタイミング部
分を備えている。ビデオ処理部分は、ビデオ・デコーダ120、オプショナル・
デインタレーサ130、垂直リサイザ140、水平リサイザ150、フレーム・
バッファ160を備える。タイミング部分は、クロック回路110、ラスタ発生
器190,表示クロック195、読み出しアドレス発生器180、書き込みアド
レス発生器185を備える。ビデオ処理部分で処理されるビデオ信号S2は、ア
ンテナ102、チューナ104、復調装置106、トランスポート多重分離装置
108を備えるDTVフロント・エンドが受信する。処理されたビデオ信号S8
は、ラスタ発生器190が発信する水平及び垂直タイミング信号H−DEF及び
V−DEFに従って、ディスプレイ装置175などで(適切なカラー・マトリッ
クス処理の後)表示される。
【0016】 RFソース102(例えば、アンテナやケーブルテレビの配信網)は、残留側
波帯(VSB)、直交振幅変調(QAM)その他の最適な変調方式に従って変調
された、複数のテレビ信号を備える無線周波数(RF)信号RFを供給する。供
給されたRFテレビ信号は、チューナ104と結合し、チューナ104は要求さ
れたテレビ信号をダウンコンバートし、第一の中間周波数(IF)テレビ信号I
Fを生成する。復調装置106、例えばVSB又はQAMは、IFテレビ信号I
Fを復調し、デジタル情報ストリームS1を生成する。デジタル情報ストリーム
S1の例としては、一つ以上のMPEGのようなプログラム・トランスポート・
ストリームを含むMPEGのようなシステム・ストリームS1がある。
【0017】 MPEGのようなプログラム・トランスポート・ストリームは、各プログラム
・トランスポート・ストリームが、通常、映画その他の視聴覚プログラムなど、
単一のプログラムの視聴覚部分を運ぶ点において、NTSCチャンネルと似てい
る。各プログラム・トランスポート・ストリームは、運ばれる視聴覚プログラム
の視聴覚部分に関連する複数の基本ストリームを備える。
【0018】 トランスポート多重分離装置108は既知の方法で動作し、MPEGのような
システム・ストリームS1から特定のプログラム・トランスポート・ストリーム
を多重分離する。多重分離されたプログラム・トランスポート・ストリームに関
連する基本音声ストリームS3は、音声デコーダ115と結合し、音声ドライバ
回路(図示せず)によって処理される前にデコードされる。重分離されたプログ
ラム・トランスポート・ストリームに関連する基本ビデオ・ストリームS2はビ
デオ・デコーダ120と結合する。
【0019】 トランスポート多重分離装置108は、多重分離されたプログラム・トランス
ポート・ストリームの選択されたトランスポート・ストリーム・パケット(基準
パケット)の適合化フィールドと呼ばれるものに含まれるプログラム・クロック
基準(PCR)も抽出する。このPCRは、プログラム・トランスポート・スト
リームを伝達する前に、多重分離されたプログラム・トランスポート・ストリー
ムをコード化するのに使用する27MHzクロックのサンプルである。抽出され
たPCRはクロック回路110と結合する。
【0020】 クロック回路110は、例えば、位相ロック・ループ(PLL)112、電圧
制御発振器(VCO)114を備える。クロック回路110はシステム・クロッ
クfSYS、例えばMPEGのような情報ストリームを処理するのに適した27
MHzシステム・クロックを発信する。クロック回路110は、多重分離された
プログラム・トランスポート・ストリームから抽出したPCRを利用して、DT
V受信機のデコーダ・システム・クロック(つまり、システム・クロックfSY
S)を、多重分離されたプログラム・トランスポート・ストリームを生成するエ
ンコーダのシステム・クロックにロックする。
【0021】 PLL112は既知の方法で動作し、(例えば)VCO114の27MHz出
力とトランスポート多重分離装置108から受領したPCRとの比較に応じて、
制御信号C1を発信する。VCO114は、制御信号C1に反応し、既知の方法
で動作し、27MHzシステム・クロックfSYSの周波数を増減させる。
【0022】 ビデオ・デコーダ120は標準の方法でビデオ・ストリームS2をデコードし
、一定の送信フォーマット及びフレーム・レートを有するデコード済みビデオ信
号S4を生成する。ビデオ・デコーダ120はビデオ・ストリームS2のシーケ
ンス・ヘッダを調べ、フォーマット、比色定量(可能な場合)、その他ビデオ・
ストリームS2にコード化されたビデオ信号に関連する情報を判断する。シーケ
ンス・ヘッダを調べた後、ビデオ・デコーダ140はフォーマット、比色定量、
その他の情報を出力と結合させ、ヘッダ・データ信号HDとする。
【0023】 オプショナル・デインタレーサ130はデコード済みビデオ信号S4及びヘッ
ダ・データ信号HDの少なくとも入部を受信する。デコード済みビデオ信号S4
が(HD信号が示す通り)インタレース・フォーマットを有するビデオ情報を備
える場合、デインタレーサ130はデコード済みビデオ信号S4をプログレッシ
ブ走査フォーマット・ビデオ信号に変換し、出力と結合させ、ビデオ信号S5と
する。デコード済みビデオ信号S4がプログレッシブ走査フォーマットを有する
ビデオ情報を備える場合、デインタレーサ130はデコード済みビデオ信号S4
を直接出力と結合させ、ビデオ信号S5とする。デインタレーサ130は、例え
ば、フレーム・ストレージを必要とする動画適応アプローチや、直接垂直補間又
は線反復アプローチを使用して実施する。
【0024】 水平リサイザ150はビデオ信号S5を受信し、コントローラ200からの制
御信号HSに反応して、ビデオ信号S5に含まれるビデオ情報の線1本当たりの
画素(ピクセル)数を選択的に変更する。水平リサイザ150は、水平方向にリ
サイズされたビデオ信号S6を生成する。水平リサイザ150は、例えば、既存
の2つのピクセル間に挿入する新しいピクセルの輝度及びクロミナンス情報を計
算する補間手法を使用して、線1本当たりのピクセル数を増加させることができ
る。また、水平リサイザ150は、例えば、線に含まれるN番目のピクセルを全
て除去することでビデオ線を縮減し、線1本当たりのピクセル数を減らすことが
できる。
【0025】 垂直リサイザ140は水平方向にリサイズされたビデオ信号S6を受信し、コ
ントローラ200からの制御信号VSに反応して、ビデオ信号S6に含まれるビ
デオ情報の1フレーム当たりの垂直走査線数を選択的に変更する。垂直リサイザ
140は垂直方向にリサイズされたビデオ信号S7を生成する。垂直リサイザ1
40は、例えば、既存の2線の間に挿入する新しい線の輝度及びクロミナンス情
報を計算する補間手法を使用して、1ビデオ・フレーム当たりの線の数を増やす
ことができる。また、垂直リサイザ140は、例えば、減少した線の密度におい
て新しい走査線を計算する補間手法を使用してビデオ・フレームを縮減し、1ビ
デオ・フレーム当たりの線の数を減らすことができる。
【0026】 オプショナル・デインタレーサ130が前記垂直補間又は線反復アプローチを
使用して実施された場合、デインタレース機能は垂直リサイジング・ユニット1
40に組み入れることができる。この場合、水平リサイザ150は、図1の点線
で示すように、ビデオ・デコーダ120からデコード済みビデオ信号S4を直接
受信するように結合する。
【0027】 フレーム・バッファ160は、水平方向及び垂直方向にリサイザされたビデオ
信号S7を選択的に受信する。フレーム・バッファ160は二重バッファリング
・タイプのフレーム・バッファで、入力フレーム・ストア・バッファ162及び
出力フレーム・ストア・バッファ164を備える。ビデオ信号S7内のビデオ情
報は、バッファ入力制御信号INに反応して、入力フレーム・ストア・バッファ
162に保存される。出力フレーム・ストア・バッファ164の内容を完全に読
み出されたとき、入力フレーム・ストア・バッファ162の内容は出力フレーム
・ストア・バッファ164として使用される。つまり、入力バッファ及び出力バ
ッファを機能的にスワップし、入力バッファの情報を出力バッファに転送する必
要性を回避する。出力フレーム・ストア・バッファ164に保存されるビデオ情
報は、バッファ出力制御信号OUTに反応して、フレーム・バッファ出力と結合
し、バッファ済みビデオ信号S8となる。フレーム・バッファ160は二重バッ
ファリング・タイプのフレーム・バッファであるため、入力データが入力フレー
ム・ストア・バッファ162に保存されるよりも速い(又は遅い)速度で、出力
データを出力フレーム・ストア・バッファ164から取り込むことができる。つ
まり、ビデオ信号S7に伴うクロック周波数が、バッファ済みビデオ信号S8に
伴うクロック周波数と同じである必要はない。60Hzディスプレイで30Hz
ビデオ情報を利用するために、出力フレーム・ストア・バッファ164からの各
ビデオ・フレームの読み出しは、次のビデオ・フレームが出力フレーム・ストア
・バッファ164に入る前に2回行われる。
【0028】 フレーム・バッファ160は、好ましくは、図1に示すように二重バッファリ
ング装置とする。単一バッファリング装置を使用することもできるが、単一バッ
ファリング装置では、バッファ読み出し速度とバッファ書き込み速度が異なると
きに、表示画像に「ティアリング」の不具合が発生しがちである。例の実施形態
において、(OUT信号によって決定する)バッファ読み出し速度及び(IN信
号によって決定する)バッファ書き込み速度は異なると思われ、24Hzソース
・ビデオの場合、以下で説明するような違いが生じる。低伝送フレーム・レート
・ビデオ信号(24又は30Hzなど)の使用は、ほとんどのディスプレイ技術
を使用して表示した画像において、望ましくない広範なフリッカの原因となるた
め、こうした表示レートの変換が必要になる。
【0029】 RGBマトリックス及びドライバ170はバッファ済みビデオ信号S8を受信
する。RGBマトリックス及びドライバ170は既知の方法で動作し、マトリッ
クス係数、伝送特性、基本ビデオ・ストリームS2のシーケンス・ヘッダに含ま
れるカラーの一次情報に従って、バッファ済みビデオ信号S8を処理する。具体
的には、RGBマトリックス及びドライバ170は、伝送されたY、Cr、Cb
のカラー構成要素を表示に必要な赤(R)、緑(G)、青(B)のカラー信号へ
変換するのに必要なカラー変換処理を実行する。3つのカラー信号R、G、Bは
、ディスプレイ装置175と結合し、ここで各カラー信号は、例えば、受像管内
の関連する電子銃(図示せず)などを駆動するのに使用される。ここでの注意点
として、RGBマトリックス及びドライバ170が発信する3つのカラー信号R
、G、Bは、ディスプレイ装置175と結合させる前に、適切なドライバ回路(
図示せず)によって、更に増幅する必要が生じる場合もある。
【0030】 ラスタ発生器190は、ラスタ・クロック信号fRASTに反応して、固定周
波数の水平偏向信号H−DEF及び垂直偏向信号V−DEFを従来の方法で発信
する。ラスタ・クロック信号fRASTは、従来の方法で表示クロック回路19
5が発信する。水平及び垂直偏向信号H−DEF、V−DEFは、例えば、受像
管内の関連する水平及び垂直偏向コイルをそれぞれ駆動するのに使用される。こ
こでの注意点として、ラスタ発生器190が発信する水平及び垂直偏向信号H−
DEF、V−DEFは、ディスプレイ装置175と結合させる前に、適切なドラ
イバ回路(図示せず)による増幅が必要な場合もある。
【0031】 書き込みアドレス発生器180は、コントローラ200からの制御信号WRI
TE、及びクロック信号fSYSに反応して、フレーム・バッファ入力制御信号
INを発信する。同様に、読み出しアドレス発生器185は、コントローラ20
0からの制御信号READ、及びクロック信号fRASTに反応して、フレーム
・バッファ出力制御信号OUTを発信する。重要な点として、ビデオ信号S7の
ビデオ情報は、システム・クロックfSYSが決定する速度で、入力フレーム・
ストア・バッファ162に保存される。同様に、出力フレーム・ストア・バッフ
ァ164のビデオ情報は、ラスタ・クロックfRASTが決定する速度で取り込
まれる。従って、例えば27MHz表示クロック(27MHzシステム・クロッ
クfSYSと選択的に関連する場合など)及び81MHzラスタ・クロックfR
ASTの場合、データがフレーム・バッファ160から取り込まれる速度は保存
速度の3倍になる。
【0032】 コントローラ200は、標準的なマイクロプロセッサ、備え付けのメモリ・ユ
ニット、入出力ポート及び付随するサポート回路を使用して、標準的な方法で実
施できる。更にコントローラ200は、特殊目的のデジタル信号処理回路を備え
ることができる。コントローラ200は、ビデオ・デコーダ120からヘッダ・
データ信号HDを通じて、デコード済みビデオ信号S4に関するフォーマット、
比色定量、その他の情報を受領する。コントローラ200は、この情報とディス
プレイ装置175に関する追加情報(ディスプレイ装置のネイティブ・フォーマ
ットなど)を利用して、垂直リサイザ140へ垂直サイズ制御信号VS、水平リ
サイザ150へ水平サイズ制御信号HS、書き込みアドレス発生器180へ書き
込みアドレス制御信号WRITE、読み出しアドレス発生器185へ読み出しア
ドレス制御信号READを発信する。
【0033】 本発明の実施形態の一つにおいて、前記すべての処理及び保存動作は、処理及
び保存条件を最小化するために、4:2:0サンプリング(つまりMPEG Y
UV)コンポーネント・フォーマットを使用して実行する。
【0034】 図1に例示するDTV受信機100のようなATSC受信機は、少なくともA
TSCの推奨圧縮フォーマットに従って、ビデオ信号を処理する必要がある。こ
のフォーマットを下の表1に示す。表1において、「P」はプログレッシブ走査
を表し、「I」はインタレース走査を表す。更に、表1に示すフレーム・レート
数は整数値である。ATSC規格では、フレーム・レート値に1000/100
1を乗じることも認めている(つまり、670Hzベースの代わりに59.94
Hz)。
【0035】
【表1】 図1のDTV受信機において、通常の独立ビデオ・フォーマット変換及び表示
レート変換プロセスは、本発明に従って制御及び調整される。つまり、入力ビデ
オ信号のビデオ・フォーマットは、デインタレーサ130、垂直リサイザ140
、水平リサイザ150を使用して制御される。同様に、表示レート変換プロセス
は、書き込みアドレス発生器180及び読み出しアドレス発生器185を使用し
て制御される。コントローラ200は両方のプロセスを制御し、プロセスの使用
を調整して、ディスプレイ装置175に表示される画像に、60Hzディスプレ
イ装置において24Hzソース・データを使用することによる動画の不具合が含
まれないようにする。
【0036】 従って、図1に示すDTV受信機100の実施形態の一つにおいて、ディスプ
レイ装置175は、60Hz(又は59.94Hz)のフレーム・リフレッシュ
・レートで、伝送フォーマットの一つ(いわゆるネイティブ表示フォーマット)
を実施するために選択した水平偏向周波数によって動作する。60Hz(又は5
9.94Hz)のフィールド又はフレーム・レートを有する伝送ビデオ情報は、
フレーム・レート変換の対象にならない。対照的に、30Hz(又は29.97
Hz)のフレーム・レートを有する伝送ビデオ情報は、2:1フレーム反復を使
用して60Hz(又は59.94Hz)に変換される。つまり、コントローラ2
00は、フレーム・バッファ600の出力フレーム・ストア・バッファ164が
、各フレームについて2回、読み出されるようにする。
【0037】 24Hzフレーム・レートは、典型的な3:2フレーム・レート変換プロセス
による望ましくない動画の不具合を発生させずに60Hz(又は30Hz)ディ
スプレイ装置で表示することはできないため、図1のDTV受信機100は、2
4Hzビデオがデコードされるときは異なる方法で動作する。具体的には、フォ
ーマット変換プロセスにおける必要性に応じて、24Hz(又は24*1000
/1001Hz)ビデオがリサイズされ、最終的にはフレーム・レート変換プロ
セスで72Hz(又は72*1000/1001Hz)に変換される。ディスプ
レイ装置175は、24Hzビデオが存在するとき、72Hzリフレッシュ・レ
ートで動作する。注意点として、フォーマット変換プロセスは、以下で説明する
ように、コントローラ200によって72Hzフレーム・レートに適応化される
【0038】 もしくは、24Hz(又は24*1000/1001Hz)ビデオは、フォー
マット変換プロセスにおける必要性に応じて、最終的にフォーマット変換プロセ
スで48Hz(又は48*1000/1001Hz)ビデオに変換される。48
Hzで動作する場合、本開示内容を利用する当業者は、説明した72Hzの方法
及び装置の実施に関連する各種のパラメータを48Hzの方法及び装置に適応さ
せることができる。この48Hz動作は、ディスプレイ装置が液晶ディスプレイ
装置であるときに望ましい場合がある。重要な注意点として、整数の倍数(72
Hzでは3、48Hzでは2)を利用することで、本発明では、ここで説明した
3:2の不具合を回避している。
【0039】 図2は、本発明に従った、光弁ディスプレイを含むDTV受信機の高レベルの
ブロック図である。図2のDTV受信機200は、図1のDTV受信機100と
ほとんど同じ方法で動作するため、2つの図の相違点のみを説明する。具体的に
は、DTV受信機200は、例えば、光弁又はデジタル・マイクロミラ・ディス
プレイ(DMD)タイプや、液晶ディスプレイ(LCD)タイプのプロジェクシ
ョン・ディスプレイを備えるディスプレイ175を含んでいる。そのため、図2
のDTV受信機200は、水平及び垂直偏向信号を発信する回路を含まない。こ
の実施形態では、読み出しアドレス発生器185は6/5(つまり、72/60
)高い周波数に切り替わっており、24Hz伝送フォーマットが存在するときに
、二重バッファ済みフレーム・ディスプレイの72Hz読み出しを提供する。注
意点として、24Hz伝送フォーマットの空間フォーマット調整は、通常、こう
したディスプレイでは必要としない。
【0040】 以下の説明では、ディスプレイ装置175が陰極線管(CRT)ディスプレイ
を備えると仮定する。本発明をCRTベースの受信機において費用効率に優れた
方法で実施するためには、CRTディスプレイの水平偏向周波数を一定に保つべ
きであるため、走査線数の5/6(つまり、60/72)変更が必要となる。走
査線数を変更するために、コントローラ200は、垂直リサイザ140がビデオ
信号S5の線の数を減らすようにする。フレームを反復(2:1反復)させるた
めに、コントローラ200は、次のフレームを受領する前に、出力フレーム・ス
トア・バッファ164からの読み出しが2回行われるようにする。また、フレー
ムを2度反復(3:1反復)させるために、コントローラ200は、次のフレー
ムを受領する前に、出力フレーム・ストア・バッファ164からの読み出しが3
回行われるようにする。
【0041】 表2は、ビデオ伝送及び表示フォーマットの一覧と、DTV受信機100の場
合にこうしたビデオ信号を処理するのに適した処理パラメータを示している。具
体的には、この処理パラメータは、64.8kHzの水平走査周波数を有する1
920ピクセル×1080ラインのプログレッシブ走査ディスプレイであるディ
スプレイ装置175の場合に、前記方法でこうしたビデオ信号を処理するのに適
している。注意点として、このディスプレイ175は、24Hzソース・ビデオ
の場合に900ライン・モードで動作する。
【0042】 垂直補間パラメータ(垂直補間)、水平補間パラメータ(水平補間)、フレー
ム反復パラメータ(フレーム反復)は、特定の伝送フォーマットに反応してコン
トローラ200が利用する垂直リサイジング係数、水平リサイジング係数、フレ
ーム・レート変換係数をそれぞれ備える。コントローラ200は、前に説明した
ように、これらのパラメータを修正し、固定水平表示周波数を維持し、24Hz
ソース・ビデオの場合の動画に関する不具合を回避する。
【0043】
【表2】 表3は上の表2と同じ種類の情報を示しているが、表3では45kHzの水平走
査周波数を有する1280ピクセル×720ラインのプログレッシブ走査ディス
プレイであるディスプレイ装置175の場合について表している。
【0044】
【表3】 表4は上の表2、3と同じ種類の情報を示しているが、表4では32kHzの水
平走査周波数を有する1920ピクセル×1080ラインのインタレース走査デ
ィスプレイであるディスプレイ装置175の場合について表している。注意点と
して、このディスプレイは、24Hzソース・ビデオの場合、900ライン・モ
ードで動作する。1920×1080のプログレッシブ走査における前記アプロ
ーチ(表2)が使用されるが、ディスプレイがインタレースされるという事実に
適した修正が施される。
【0045】 この場合、最高速度のデインタレースが必要なのは、480ライン・フォーマ
ット・ビデオで実行する場合のみであるため、デインタレーサ130を実施する
際の複雑性や必要なメモリは大幅に減少させることができる。更に注意点として
、二重フレーム・バッファ160はインタレース走査フォーマット出力信号S8
を発信することができる。
【0046】
【表4】 表5は上の表2〜4と同じ種類の情報を示しているが、表5では22.5kHz
の水平走査周波数を有する1280ピクセル×720ラインのインタレース走査
ディスプレイであるディスプレイ装置175の場合について表している。注意点
として、このディスプレイは、24Hzソース・ビデオの場合、600ライン・
モードで動作する。1280×720のプログレッシブ走査における前記アプロ
ーチ(表3)が使用されるが、ディスプレイがインタレースされるという事実に
適した修正が施される。また、表4に関して述べたように、デインタレーサ13
0における複雑性や必要なメモリは大幅に減少させることが可能で、読み出しア
ドレス発生回路185は修正しなければならない。
【0047】
【表5】 表2〜5では、30/11、20/11、15/11といった補間比率が数回発
生している。こうした比率はそれぞれ3/1、2/1、3/2に簡略化し、補間
の複雑性を減らすことができる。こうした簡略化は、当然ながら、アクティブな
画像範囲の縮小につながる。
【0048】 図3は、本発明に従ってビデオ信号を処理する方法300のフローチャートで
ある。具体的には、図3は、図1及び2に示すディスプレイ装置175のような
ディスプレイ装置に3:2プルアップによる不具合が伝播しないように、ビデオ
信号の最適なフォーマットを行う方法を表すフローチャートである。図3のルー
チン300は、例えば、図1及び2のコントローラ200を利用したハードウェ
ア、ソフトウェア、ハードウェア及びソフトウェアの組み合わせによって実施で
きる。
【0049】 図3のルーチン300はステップ302で開始され、ここで入力ビデオ信号は
図1のDTV受信機又は図2のDTV受信機200の何れかが受信する。ステッ
プ304において、ビデオ信号のフォーマット及びフレーム・レートを特定し、
このルーチンはステップ306へ続く。ステップ306において、受信したビデ
オ信号がディスプレイ装置175のネイティブ・フォーマットと互換性があるか
どうかの質問が行われる。ステップ306の質問の答えが否定だった場合、ルー
チンはステップ308へ進み、ビデオ信号のフォーマットとディスプレイ装置の
ネイティブ・フォーマットを一致させる。その後、ルーチン300はステップ3
10へ進む。ステップ306の質問の答えが肯定だった場合、ルーチン300は
ステップ310へ進む。
【0050】 ステップ310において、受信したビデオ信号のフレーム・レートがほぼ24
Hz(24Hzや23.97Hzなど)に等しいかどうかの質問が行われる。ス
テップ310の質問の答えが否定だった場合、ルーチン300はステップ312
へ進み、ここで、受信したビデオ信号のフレーム・レートを3倍にする。つまり
、ステップ312において、コントローラ200は、フレーム・レート変換器が
入力ビデオ信号のフレーム・レート約24Hzを約72Hzに増加させるように
する。この方法により、毎秒24フレームのビデオ信号を、例えば30Hz又は
60Hzフレーム・レートのビデオ信号に変換する際に通常伴う3:2プルアッ
プによる不具合を回避する。
【0051】 これまでに説明した本発明の実施形態は、24Hzビデオ・ソース・ビデオの
3:2変換による表示動画の不具合を避ける方法及び装置を提示している。複数
ビデオ・フォーマットDTV受信機など、この動作を最適化するのに使用できる
フォーマット関連機能は他にもある。例えば、固定水平走査周波数ディスプレイ
装置で使用するのに適した同期ビデオ及びタイミング信号を生成するディスプレ
イ装置タイミング・システムと共に動作する複数フォーマット・ビデオ信号処理
システムについては、本願と同日に出願する米国特許出願書09/001952
番(弁理士整理番号12713)の中で更に詳しく説明されており、これは参考
文献として本願に全て含んでいる。もう一つの例は、受信したビデオ信号のフォ
ーマットに応じて、水平ピーキング、垂直ピーキング、比色定量パラメータとい
ったビデオ・プロセッサ動作の調整を自動的に行うビデオ処理システムで、これ
については本願と同日に出願する米国特許出願書09/001620番(弁理士
整理番号12669)の中で更に詳しく説明されており、これは参考文献として
本願に全て含んでいる。
【0052】 ここでは本発明の内容を取り入れた様々な実施形態について示し、説明してき
たが、当業者はこれらの内容を取り入れた他の数多くの各種実施形態を容易に考
案できる。
【図面の簡単な説明】
【図1】 図1は、本発明に従ったDTV受信機の高レベルのブロック図である。
【図2】 図2は、本発明に従った、光弁ディスプレイを含むDTV受信機の高レベルの
ブロック図である。
【図3】 図3は、本発明に従ったビデオ信号処理方法のフローチャートである。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,SD,SZ,UG,ZW),EA(AM ,AZ,BY,KG,KZ,MD,RU,TJ,TM) ,AL,AM,AT,AU,AZ,BA,BB,BG, BR,BY,CA,CH,CN,CU,CZ,DE,D K,EE,ES,FI,GB,GE,GH,GM,HR ,HU,ID,IL,IS,JP,KE,KG,KP, KR,KZ,LC,LK,LR,LS,LT,LU,L V,MD,MG,MK,MN,MW,MX,NO,NZ ,PL,PT,RO,RU,SD,SE,SG,SI, SK,SL,TJ,TM,TR,TT,UA,UG,U Z,VN,YU,ZW

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 複数のビデオ・フォーマットの一つを有する入力ビデオ信号
    を処理して出力ビデオ信号を生成する装置であって、 前記入力ビデオ信号を受領するために結合し、フォーマット制御信号に反応し
    て前記入力ビデオ信号の垂直及び水平フォーマットを適応させるフォーマット変
    換器と、 前記フォーマット変換器と結合し、フレーム・レート制御信号に反応して前記
    入力ビデオ信号のフレーム・レートを適応させるフレーム・レート変換器と、 前記フォーマット変換器及び前記フレーム・レート変換器と結合し、前記フォ
    ーマット制御信号及び前記フレーム・レート制御信号を発信するコントローラと
    、を備え、 前記コントローラは、第一の値のフレーム・レートを有する入力ビデオ信号の
    場合、前記フレーム・レート変換器が前記入力ビデオ・フレーム・レートに整数
    値を乗じるようにし、前記フォーマット変換器が前記入力ビデオ信号の垂直及び
    水平フォーマットを前記ディスプレイ装置での使用に適したフォーマットに適応
    させるようにする装置。
  2. 【請求項2】 前記第一の値が約24Hzである請求項1の装置。
  3. 【請求項3】 前記整数値が2又は3である請求項1の装置。
  4. 【請求項4】 前記整数値が2又は3である請求項2の装置。
  5. 【請求項5】 複数のビデオ・フォーマットの一つを有する入力ビデオ信号
    を処理し、光弁、DMD、LCDディスプレイ装置の一つで使用する出力信号を
    生成する装置であって、 前記フォーマット変換器と結合し、フレーム・レート制御信号に反応して前記
    入力ビデオ信号のフレーム・レートを適応させるフレーム・レート変換器と、 前記フォーマット変換器及び前記フレーム・レート変換器と結合し、前記フォ
    ーマット制御信号及び前記フレーム・レート制御信号を発信するコントローラと
    、を備え 前記コントローラは、第一の値のフレーム・レートを有する入力ビデオ信号の
    場合、前記フレーム・レート変換器が前記入力ビデオ・フレーム・レートに整数
    値を乗じるようにする装置。
  6. 【請求項6】 前記第一の値が約24Hzである請求項5の装置。
  7. 【請求項7】 前記整数値が2又は3である請求項5の装置。
  8. 【請求項8】 ビデオ処理システムで使用する方法であって、前記ビデオ処
    理システムはフォーマット変換器及びフレーム・レート変換器を備え、前記フォ
    ーマット変換器はフォーマット制御信号に反応して入力ビデオ信号の垂直フォー
    マット及び水平フォーマットの少なくとも一つを適応させ、前記フレーム・レー
    ト変換器はフレーム・レート制御信号に反応して前記入力ビデオ信号のフレーム
    ・レートを適応させ、 前記入力ビデオ信号のフォーマット及びフレーム・レートを特定するステップ
    と、 前記入力ビデオ信号の前記フォーマットをネイティブ表示フォーマットに適応
    させるステップと、 前記入力ビデオ信号の前記フレーム・レートが第一の値の場合、前記入力ビデ
    オ信号の前記フレーム・レートに整数値を乗じるステップと、を備える方法。
  9. 【請求項9】 前記第一の値が約24Hzである請求項8の方法。
  10. 【請求項10】 前記整数値が2又は3である請求項9の方法。
JP2000527089A 1997-12-31 1998-12-31 24Hzソース・ビデオ表示のためのフォーマット及びフレーム・レート変換 Expired - Lifetime JP4928666B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US159697A 1997-12-31 1997-12-31
US09/001,596 1997-12-31
PCT/US1998/027542 WO1999034597A1 (en) 1997-12-31 1998-12-31 Format and frame rate comversion for display of 24 hz source video

Publications (3)

Publication Number Publication Date
JP2002500480A true JP2002500480A (ja) 2002-01-08
JP2002500480A5 JP2002500480A5 (ja) 2006-02-09
JP4928666B2 JP4928666B2 (ja) 2012-05-09

Family

ID=21696885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000527089A Expired - Lifetime JP4928666B2 (ja) 1997-12-31 1998-12-31 24Hzソース・ビデオ表示のためのフォーマット及びフレーム・レート変換

Country Status (4)

Country Link
EP (1) EP1050162A4 (ja)
JP (1) JP4928666B2 (ja)
AU (1) AU2014199A (ja)
WO (1) WO1999034597A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142245B2 (en) 2002-11-07 2006-11-28 Seiko Epson Corporation Conversion of frame rate according to image date
JP2010148084A (ja) * 2008-12-17 2010-07-01 Wistron Corp 映像処理方法および映像処理装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522363B1 (en) * 1999-07-30 2003-02-18 Thomson Licensing S.A. Display frame rate adaptation
US20020149696A1 (en) * 2001-02-23 2002-10-17 Eastman Kodak Company Method for presenting improved motion image sequences
US20030202119A1 (en) * 2002-04-30 2003-10-30 Koninklijke Philips Electronics N.V. Video processing for electronic cinema
JP4226933B2 (ja) 2003-03-11 2009-02-18 パイオニア株式会社 映像信号処理装置
WO2008018015A1 (en) * 2006-08-09 2008-02-14 Koninklijke Philips Electronics N.V. Image rate increasing
CN110618802B (zh) * 2019-10-31 2025-03-04 谱瑞科技股份有限公司 显示适配方法及无帧缓存的显示适配装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153069A (ja) * 1992-10-30 1994-05-31 Sony Corp 画像の変換装置、複製装置、再生装置、および表示装置
JPH06178274A (ja) * 1992-11-30 1994-06-24 Sony Corp 動画像復号化装置
KR950012664B1 (ko) * 1993-08-18 1995-10-19 엘지전자주식회사 1050라인 비월주사식 모니터 디스플레이 영상포맷을 갖는 에치디티브이(hdtv)수신장치
US5452024A (en) * 1993-11-01 1995-09-19 Texas Instruments Incorporated DMD display system
JP3617573B2 (ja) * 1996-05-27 2005-02-09 三菱電機株式会社 フォーマット変換回路並びに該フォーマット変換回路を備えたテレビジョン受像機

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142245B2 (en) 2002-11-07 2006-11-28 Seiko Epson Corporation Conversion of frame rate according to image date
JP2010148084A (ja) * 2008-12-17 2010-07-01 Wistron Corp 映像処理方法および映像処理装置

Also Published As

Publication number Publication date
EP1050162A1 (en) 2000-11-08
EP1050162A4 (en) 2003-05-28
AU2014199A (en) 1999-07-19
JP4928666B2 (ja) 2012-05-09
WO1999034597A1 (en) 1999-07-08

Similar Documents

Publication Publication Date Title
US6549240B1 (en) Format and frame rate conversion for display of 24Hz source video
US6118486A (en) Synchronized multiple format video processing method and apparatus
US9088686B2 (en) Video signal switching
US7030932B2 (en) Apparatus and method for converting multi-source input images
KR101554685B1 (ko) 비디오 프로세싱을 기술하기 위한 방법, 장치 및 머신 판독가능 매체
US6337716B1 (en) Receiver for simultaneously displaying signals having different display formats and/or different frame rates and method thereof
KR101334295B1 (ko) 공유 메모리 멀티 비디오 채널 디스플레이 장치 및 방법
US20040085480A1 (en) Method and video processing unit for processing a video signal
KR101366199B1 (ko) 공유 메모리 멀티 비디오 채널 디스플레이 장치 및 방법
KR20000057301A (ko) 다중 포맷의 비디오 신호 프로세서용 메모리 구조
JP4568469B2 (ja) 2つの異なるビデオプログラムを同時に記録及び表示するための方法及び装置
KR100769244B1 (ko) 인터레이싱된 비디오 신호를 프로그레시브 비디오 신호로 변환하는 방법, 인터레이싱된 mpeg 비디오 신호를 프로그레시브 비디오 신호로 변환하는 방법 및 시스템
KR20050000956A (ko) 비디오 포맷 변환 장치
KR20070084235A (ko) 디지털 서비스의 다른 부분을 동기화하기 위한 디바이스 및방법
US6380983B1 (en) TV receiver with selectable signal processing systems
TW200525497A (en) Real time data stream processor
JP3847826B2 (ja) 字幕データ表示制御装置
US20030234892A1 (en) Television receiver with reduced flicker by 3/2 times standard sync
JP4928666B2 (ja) 24Hzソース・ビデオ表示のためのフォーマット及びフレーム・レート変換
JP2005045787A (ja) プログレッシブ及びインターレースビデオ信号の両方を生成するビデオ信号処理装置
KR100385975B1 (ko) 비디오 포맷 변환장치 및 방법
US8670070B2 (en) Method and system for achieving better picture quality in various zoom modes
JP3685386B2 (ja) 複数のビデオ・ソースを有し、オンスクリーン表示グラフィックスでピクチャ内ピクチャを実現する統合ビデオ処理システム
JP2000333166A (ja) 高効率符号化画像の復号手段及び同手段を有する画像表示装置
JP2000324419A (ja) 画像処理装置及び方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050622

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081022

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20081022

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090821

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090911

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20091009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term