JP2007128045A - 画像表示システム、画像表示装置、画像補正処理プログラム - Google Patents

画像表示システム、画像表示装置、画像補正処理プログラム Download PDF

Info

Publication number
JP2007128045A
JP2007128045A JP2006230623A JP2006230623A JP2007128045A JP 2007128045 A JP2007128045 A JP 2007128045A JP 2006230623 A JP2006230623 A JP 2006230623A JP 2006230623 A JP2006230623 A JP 2006230623A JP 2007128045 A JP2007128045 A JP 2007128045A
Authority
JP
Japan
Prior art keywords
image
correction
processing
image correction
correction processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006230623A
Other languages
English (en)
Other versions
JP4923863B2 (ja
Inventor
Yasunaga Miyazawa
康永 宮澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006230623A priority Critical patent/JP4923863B2/ja
Priority to KR1020060097351A priority patent/KR100816963B1/ko
Priority to US11/539,508 priority patent/US7973795B2/en
Priority to CN200610141866A priority patent/CN100578345C/zh
Publication of JP2007128045A publication Critical patent/JP2007128045A/ja
Application granted granted Critical
Publication of JP4923863B2 publication Critical patent/JP4923863B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0209Crosstalk reduction, i.e. to reduce direct or indirect influences of signals directed to a certain pixel of the displayed image on other pixels of said image, inclusive of influences affecting pixels in different frames or fields or sub-images which constitute a same image, e.g. left and right images of a stereoscopic display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0257Reduction of after-image effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background

Abstract


【課題】プロジェクタによる画像表示のフレームレートを適切に維持できるとともに、表示画像の品位を高品位に保つことができるプロジェクションシステムを提供する。
【解決手段】プロジェクションシステムは、パソコン200と、プロジェクタと、USBケーブル500と、を備える。パソコン200は、所定の画像補正処理を行う画像補正演算処理部240と、画像補正処理した画像データの差分データを生成する差分データ生成部250と、を備える。プロジェクタは、差分データに基づいて画像データを生成する画像生成部と、ゴーストおよびクロストークを画像補正処理する画像補正演算処理部と、を備える。パソコン200の画像補正演算処理部240は、プロジェクタの画像補正演算処理部で実行される以外の補正処理、すなわち、ゴースト補正、クロストーク補正を除く補正処理を行う。
【選択図】図2

Description

本発明は、画像表示システム、画像表示装置、画像補正処理プログラムに関する。
画像表示装置としてプロジェクタが知られている。
そして、映像ソースの形状補正や色調補正を行う情報処理装置としてのパソコンと、パソコンで補正処理された画像をスクリーンに投射するプロジェクタと、パソコンとプロジェクタとの間のデータ伝送路としてのUSBケーブルと、を備えた画像表示システムとしてのプロジェクションシステムが知られている(例えば、特許文献1)。このようなプロジェクションシステムにおいて、パソコンに入力された映像ソースがパソコンの画像処理部にて画像処理される。画像処理としては、例えば、プロジェクタとスクリーンとの配置関係に起因して生じる台形歪みを補正する台形補正や、プロジェクタの出力特性に応じた色補正であるγ補正やVT−γ補正、液晶パネルの特性による輝度ムラや色ムラを補正する色調補正、さらには、液晶パネルの各画素を駆動する際に駆動信号が近隣画素に影響して生じる色ムラ(ゴーストやクロストーク)を補正するゴースト補正やクロストークなどが例として挙げられる。パソコンで画像処理された画像データは、USBケーブルを介してプロジェクタに伝送される。伝送された画像データがプロジェクタにてスクリーンに投影されると、スクリーン上に所定の画像が表示される。
このような構成によれば、画像処理を主としてパソコン上で行っており、プロジェクタは単に画像データを投影するだけで複雑な画像処理を行わないので、プロジェクタの構成を非常に簡易にすることができる。また、元来、パソコンは、グラフィック処理の機能を有するので、特別にパソコンに新たな機能を付加することなく、高精度の画像補正を行うことができる。
ここで、例えば、映像ソースが動画であった場合に、USBケーブルの伝送レートが小さいと、一つの画像データを伝送するのに時間がかかるため、プロジェクタによる表示画像のフレームレートが遅くなり、動画再生が適切に行われないこととなる。例えば、滑らかな動画再生には30フレーム/秒が基準といわれるところ、USB2.0ケーブルを用いた場合に、画像の全データを伝送していたのでは到底不可能なフレームレートである。例えば、USB2.0に期待できる安定した通信速度は240Mbps程度である一方、表示解像度がXGA(1024×768ドット)で1画素あたり30ビットの色情報である画像では約25Mビットのデータ量となる。すると、単純には、9フレーム/秒のフレームレートでしか画像データを伝送できないことになる。
そこで、特許文献1では、「前画面データの差分データ送信」によって必要な伝送データ量を少なくし、フレームレートを適切なレベルに維持することが提案されている(特許文献1の段落(0048)参照)。特許文献1においては、パソコンにて差分データが生成され、この差分データを受けたプロジェクタにおいて、前画面と差分データとが合成されて現在のフレームデータが生成される。そして、生成された現在の画像フレームデータがプロジェクタによってスクリーンに投影される。
特開2004−69996号公報
パソコンにて各画像データに総ての補正処理を行うと、画像データが高精彩に補正され
ることとなるが、その一方で、補正処理が画像データ中の大半の画素に及ぶことになる。すると、パソコンからプロジェクタへの伝送データを小さくするために前画面データとの差分データをとるにしても、前画像データと現画像データとではほとんどの画素に変化が生じていることとなる。
そのため、差分データをとってもデータ圧縮率が低くなるため、パソコンからプロジェクタへの伝送データが非常に大きくなる。すると、パソコンからプロジェクタへのデータ伝送が間に合わずにプロジェクタによる画像表示のフレームレートが適切に維持されないという問題が生じる。
ここで、例えば、差分データが大きくなりすぎないように、画像補正の程度を低く抑制することも考えられるが、表示画像の品位が低下するので適切な方法とは到底いえない。また、差分データをとる際に画像フレーム間における細かな変化を検出しないように差分データを粗くとれば差分データを小さくできるが、やはり、プロジェクタで再現される現画像データには情報が欠落することとなり、表示画像の品位が低下するので適切ではない。
本発明の目的は、画像表示装置による画像表示のフレームレートを適切に維持できるとともに、表示画像の品位を高品位に保つことができる画像表示システム、画像表示装置、画像補正処理プログラムを提供することにある。
本発明の画像表示システムは、画像データに所定の画像補正処理を行う情報処理装置と、前記情報処理装置によって画像補正処理が行われた画像データに基づいて画像を表示する画像表示装置と、前記情報処理装置と前記画像表示装置との信号送受信を媒介する信号伝送手段と、を備えた画像表示システムであって、前記情報処理装置は、画像データに所定の画像補正処理を行う第1画像補正演算処理部と、前記第1画像補正演算処理部にて画像補正処理した画像データを圧縮して、前記信号伝送手段を介して前記画像表示装置に伝送する伝送データを生成する伝送データ生成部と、を備え、前記画像表示装置は、前記伝送データ生成部にて生成された伝送データに基づいて画像データを生成する画像生成部と、ゴーストおよびクロストークの少なくとも一つを画像補正処理する第2画像補正演算処理部と、を備え、前記第1画像補正演算処理部は、前記ゴーストおよびクロストーク以外で、且つ、前記第2補正演算処理部で実行される以外の補正処理を行うことを特徴とする。
このような構成において、情報処理装置にて画像データに所定の画像補正処理が施されたうえで情報処理装置からプロジェクタに伝送される。
情報処理装置においては、まず、必要となる画像補正処理のうち、ゴースト補正およびクロストーク補正を除いた画像補正処理が行われる。第1画像補正演算処理部にて実行される画像補正処理としては、解像度変換処理、輪郭強調処理、白黒伸長処理、色変換処理、γ補正処理、VT−γ補正処理、形状補正処理が例として挙げられる。
第1補正演算処理部にて画像補正処理された画像データは伝送データ生成部に送られ、伝送データ生成部にて所定の方式で圧縮された伝送データが生成される。
画像データを圧縮する方式としては、例えば、前画像データに対する差分データをとることが例として挙げられる。生成された伝送データは信号伝送手段を介して画像表示装置に伝送される。画像表示装置においては、画像生成部により伝送データに基づいて現画像データが生成される。例えば、差分データを前画像データに合成して新たな現画像データが生成される。そして、第2画像補正演算処理部にて画像データにゴースト補正、クロストーク補正の両方あるいはいずれか一方が行われる。このようにして画像補正処理された画像データが画像表示装置によって表示される。
ここで、画像表示装置の構成により、他の画素の影響を受けて起こる色ムラをクロストークまたはゴーストと称し、クロストークとは、隣の画素に対する信号の漏れ電流により画素が駆動されることによる画像のムラであり、ゴーストとは、映像がずれて重なって見えることをいう。
このような構成によれば、情報処理装置側では、第1画像補正演算処理部において、例えば、ゴースト補正やクロストーク補正を除く、解像度変換処理、輪郭強調処理、白黒伸長処理、色変換処理、γ補正処理、VT−γ補正処理、が行われる。画像補正処理としては、各画素の色、輝度、解像度を画像表示装置の表示特性に合わせて変換処理するなどのように画素単位で完結する画像補正処理と、他の画素の影響を受けて生じる色ムラを補正するゴースト補正やクロストーク補正のように近隣の複数画素にまたがって行われる画像補正処理とがあるが、本発明では、情報処理装置側で行われる画像補正処理は、主として画像中の画素単位で完結する処理となる。
そのため、情報処理装置側の画像補正処理では、各画素のデータが所定の変換を受けるだけとなり、画像補正処理前の元画像の段階で画像データを圧縮する場合と、画像補正処理後の画像の段階で画像データを圧縮する場合とで圧縮率が大きく変化しない。よって、情報処理装置側で画像補正処理を行った画像データを圧縮して信号伝送手段により画像表示装置に伝送すると、画像表示装置により適切なフレームレートで画像を表示することができる。
そして、情報処理装置で行わなかった画像補正処理については画像表示装置の側にて実行するので、必要な画像補正処理は総て行って、表示画像の品位を高精度にすることができる。
また、信号伝送手段を介して情報処理装置から画像表示装置に画像データを伝送するにあたっては、所定の圧縮方式によって伝送データを適切に圧縮できるので、情報処理装置から画像表示装置へのデータ伝送では情報をなんら欠落させることなく、総てのデータを伝送できる。従って、画像表示装置にて総ての情報を高精度に有する画像データを表示でき、表示画像を高精彩に、かつ高品位にすることができる。
また、本発明では、画像補正処理のうちゴーストおよびクロストーク補正を除いては情報処理装置側で画像補正処理を実行するので、画像表示装置側における補正処理の負荷を軽減することができる。
したがって、画像表示装置の構成を簡易にし、安価な画像表示装置とすることができる。さらに、情報処理装置により画像補正処理を実行するが、例えば、情報処理装置としてパソコンを利用する場合、パソコンは元来からグラフィック処理機能を有しているので、特別に画像処理機能を新たに設ける必要はない。そして、パソコンのグラフィック処理機能によれば、高速かつ高精度の画像処理を行うことができる。
本発明では、前記第2画像補正演算処理部は、前記ゴーストおよびクロストークの少なくとも一つを画像補正処理した後に、さらに、色ムラ補正を行うことが好ましい。
このような構成において、情報処理装置から信号伝送手段によって画像表示装置に送られた画像データは、第2画像補正演算処理部においてゴースト補正およびクロストーク補正の少なくともいずれか一つが行われた後、さらに、第2画像補正演算処理部により色ムラ補正が行われる。
色ムラ補正は、最後に補正処理が行われることがもっとも効率的であるので、本発明のごとく画像表示装置の側で最後に色ムラ補正を行うことにより、画像補正処理を最も迅速に行うことができる。
本発明では、前記情報処理装置は、前記第1画像補正演算処理部における画像補正処理を実行するためのパラメータを当該情報処理装置の外部から取得して記憶する画像補正パラメータ記憶部を備えることが好ましい。
このような構成において、情報処理装置がCPUやメモリを有するコンピュータとして機能できる構成である場合、インターネット等の通信手段や、CD−ROM、メモリカード等の記録媒体を介して画像補正パラメータ記憶部に必要となる画像補正処理用のパラメータをインストールし、インストールされたパラメータでCPU等により各画像補正処理を実行させることができる。
または、画像表示装置と情報処理装置とが信号伝送手段で接続された際に、情報処理装置が画像表示装置から画像補正処理用のパラメータを取得するようにしてもよい。
このように情報処理装置が画像補正処理用のパラメータを外部から取得できるので、個々の画像表示装置に依存して異なる画像補正処理用のパラメータを情報処理装置が取得して、個々の画像表示装置に応じた画像補正処理を実行することができる。
本発明の画像表示装置は、情報処理装置にて所定の画像補正処理が行われた後に信号伝送手段を介して伝送された画像データに基づいて画像を表示する画像表示装置であって、ゴーストおよびクロストークの少なくともいずれか一方のみを画像補正処理する画像補正処理部を備えることを特徴とする。
また、本発明の画像表示装置は、情報処理装置にて所定の画像補正処理が行われた後に信号伝送手段を介して伝送された画像データに基づいて画像を表示する画像表示装置であって、ゴーストおよびクロストークの少なくともいずれか一方と、色ムラと、のみを画像補正処理する画像補正処理部を備えることを特徴とする。
このような構成によれば、上記画像表示システムに好適な画像表示装置とすることができる。
本発明の画像補正処理プログラムは、情報処理装置にて所定の画像補正処理が行われた後に信号伝送手段を介して伝送された画像データに基づいて画像を表示する画像表示装置に組み込まれたコンピュータに、ゴーストおよびクロストークの少なくともいずれか一方のみの画像補正処理を実行させることを特徴とする。
また、本発明の画像補正処理プログラムは、情報処理装置にて所定の画像補正処理が行われた後に信号伝送手段を介して伝送された画像データを表示する画像表示装置に組み込まれたコンピュータに、ゴーストおよびクロストークの少なくともいずれか一方と、色ムラと、のみの画像補正処理を実行させることを特徴とする。
このような構成によれば、上記発明と同様の作用効果を奏することができる。
ここで、画像表示装置にCPUやメモリを配置してコンピュータとして機能できるように構成し、このメモリに所定のプログラムをインターネット等の通信手段や、CD−ROM、メモリカード等の記録媒体を介してインストールし、このインストールされたプログラムでCPU等を動作させて、上記画像補正処理を実行させればよい。プログラムをインストールするには、メモリカードやCD−ROM等を直接差し込んで行ってもよいし、これらの記憶媒体を読み取る機器を外付けで画像表示装置に接続してもよい。さらには、LANケーブル、電話線等を接続して通信によってプログラムを供給しインストールしてもよいし、無線によってプログラムを供給してインストールしてもよい。
以下、本発明の実施の形態を図示するとともに図中の各要素に付した符号を参照して説明する。
(第1実施形態)
本発明の画像表示システムの一例としてのプロジェクションシステムに係る第1実施形態について説明する。
図1は、プロジェクションシステム100の外観図である。
プロジェクションシステム100は、映像ソースの画像に所定の画像処理を行ったうえで画像データ信号を出力するパソコン(情報処理装置)200と、パソコン200からの画像データ信号に基づいて現画像フレームを生成してスクリーン400に向けて投射するプロジェクタ(画像表示装置)300と、プロジェクタとパソコン200とを接続するUSBケーブル(信号伝送手段)500と、を備えている。
図2は、パソコン200の機能ブロック図である。
図3は、プロジェクタ300の機能ブロック図である。
図4は、画像投射部360の構成を示す図である。
パソコン200は、図2に示されるように、CPU201、メインメモリ202、補助メモリ203、ディスプレイ204、キーボード205、画像補正パラメータ記憶部210、画像処理部220、USBコネクタ270、を備えている。
補助メモリ203としては映像ソースのメディアが利用され、例えば、デジタルデータとして映像と音声とを記録したDVD(digital versatile disc)が例として挙げられる。画像補正パラメータ記憶部210は、プロジェクタ300の特性に応じた画像補正のための補正パラメータを記憶している。
ここで、画像補正処理としては、各画素の色、輝度、解像度をプロジェクタの表示特性に合わせて変換処理などのように画素単位で完結する補正処理と、他の画素の影響を受けて生じる色ムラを補正するゴースト補正やクロストーク補正のように近隣の複数画素にまたがって行われる補正処理とがある。
パソコン200で行う画像処理は、主として画像中の画素単位で完結する処理であり、主として画素の色、輝度、解像度を変換する補正処理である。
すなわち、画像補正パラメータ記憶部210に記憶されるパラメータとしては、例えば、解像度変換、輪郭強調、白黒伸長、色変換、γ補正、VT−γ補正等のための各種パラメータが例として挙げられる。
これらの補正処理では、各画素のデータが所定の変換を受けるだけであり、補正処理前の元画像の段階で画像フレーム間の差分データをとる場合と、補正処理後の画像フレーム間で差分データをとる場合と、を比較しても差分データの大きさがそれほど変化しない。
なお、本実施形態では、差分データをそれほど大きくしないことから、形状補正もパソコン200で行う補正処理とし、形状補正のパラメータも画像補正パラメータ記憶部210に記憶する。
なお、これらのパラメータを記録したメモリカードやCD−ROMをパソコン200に挿入して、画像補正パラメータ記憶部210にパラメータをインストールしてもよい。
または、パソコン200とプロジェクタ300とをUSBケーブル500で接続した際にパソコン200が所定のパラメータをプロジェクタ300から読み取って画像補正パラメータ記憶部210に記憶してもよい。
画像処理部220は、画像生成部230と、画像補正演算処理部(第1画像補正演算処理部)240と、差分データ生成部(伝送データ生成部)250と、エンコーダ260と、を備えている。
画像生成部230は、デコーダ231およびIP変換部232を備え、補助メモリ203からの映像ソースに対して記録方式に応じた解凍を行って一つ一つの画像フレームデータを復号する。画像補正演算処理部240は、画像生成部230により生成された画像をプロジェクタの特性に応じて補正する。補正処理としては、解像度変換処理、輪郭強調処理、白黒伸長処理、色変換処理、γ補正処理、VT−γ補正処理、形状補正処理が例として挙げられる。
差分データ生成部250は、画像補正演算処理部240にて補正された画像データに対し、最新の画像データと一つ前の画像データとを対比して、一つ前の画像から最新の画像を見て変化した分を差分データとして検出する。つまり、差分データは、一つ前の画像データに対して最新の画像データが有する空間的変化量と色調的変化量とを含む。
エンコーダ260は、差分データ生成部250にて生成された差分データを符号化する。そして、USBコネクタ270は、データ入力部271と、データ出力部272と、を備え、USBケーブル500を介してプロジェクタ300とデータの入出力を行う。
次に、プロジェクタの構成について説明する。
プロジェクタ300は、図3に示されるように、画像補正パラメータ記憶部310と、画像処理部320と、駆動制御部350と、画像投射部360と、USBコネクタ380と、を備えている。
画像補正パラメータ記憶部310は、送信用補正パラメータ記憶部311と、内部処理用補正パラメータ記憶部312と、を備えており、送信用補正パラメータ記憶部311は、パソコン200で画像補正するためのパラメータを記憶しており、内部処理用補正パラメータ記憶部312は、プロジェクタで画像処理するためのパラメータを記憶している。
送信用補正パラメータ記憶部311に記憶されるパラメータとしては、解像度変換、輪郭強調、白黒伸長、色変換、γ補正、VT−γ補正、形状変換のためのパラメータがある。
パソコン200とプロジェクタとがUSBケーブル500で接続された際には、パソコン200が送信用補正パラメータ記憶部311に記憶されたパラメータの情報を読み出して画像補正パラメータ記憶部210に記憶する。また、内部処理用補正パラメータ記憶部312に記憶されるパラメータとしては、ゴースト補正、クロストーク補正、色ムラ補正のためのパラメータがある。
ここで、プロジェクタの構成により、他の画素の影響を受けて起こる色ムラをクロストークまたはゴーストと称し、クロストークとは、隣の画素に対する信号の漏れ電流により画素が駆動されることによる画像のムラであり、ゴーストとは、映像がずれて重なって見えることをいう。
ここで、ゴースト補正、クロストーク補正をプロジェクタ側で行うのは、パソコン200側でゴースト補正およびクロストーク補正を行ってしまうと、差分データが大きくなってしまうため、USBケーブル500の伝送レートではデータ伝送が間に合わないためである。
また、色ムラ補正をプロジェクタ側で行うのは、色ムラ補正は最後に行うことが望ましいため、プロジェクタ300においてゴースト補正およびクロストーク補正を行ったあとに、続いて色ムラ補正を行うからである。
画像処理部320は、画像生成部321と、画像補正演算処理部(第2画像補正演算処理部)340と、を備えている。画像生成部321は、デコーダ322と、現画像生成部323と、を備える。
デコーダ322は、パソコン200から伝送された画像データ信号を復調する。すなわち、パソコン200からの画像データ信号は、エンコーダ260にて符号化されているところ、デコーダ322で復調することにより差分データが得られる。
現画像生成部323は、現在投影している画像データに対して復調された差分データを合成して、新たに現画像フレームを生成する。
画像補正演算処理部340は、現画像生成部323にて生成された現画像データに対して、ゴースト補正処理、クロストーク補正処理、色ムラ補正処理、の各補正処理を行う。
駆動制御部350は、現画像フレームを表示するように画像投射部360を駆動する制御信号を出力する。
画像投射部360は、図4に示されるように、光源部361を備え、光源362からの光は、リフレクタ363で平行光束にされ、二枚のレンズアレイ364、364を通って色分離光学系365に進む。色分離光学系365は、赤色を反射して青色および緑色を通過させるダイクロイックミラー366と、緑色を反射して青色を通過させるダイクロイックミラー367と、を備え、光を赤色、緑色、青色に分離する。そして、赤色は反射ミラー365Aに反射され、緑色はダイクロイックミラー367に反射され、青色は二枚の反射ミラー369、370を有するリレー光学系368に導かれ、電気光学装置371の赤色用液晶パネル(光変調装置)372、緑色用液晶パネル(光変調装置)373および青色用液晶パネル(光変調装置)374にそれぞれ入射する。各色は、各液晶パネル372〜374において画像情報に応じた所定の変調を受けて、プリズム375で合成される。
合成された画像は投射光学系376から射出され、スクリーン400上に拡大投写される。
このような構成を備える第1実施形態の動作について図5のフローチャートを参照して説明する。
まず、ST100において、パソコン200とプロジェクタ300とをUSBケーブル500で接続する。すると、ST110において、プロジェクタ300の送信用補正パラメータ記憶部に記憶された各種の補正パラメータがUSBケーブル500を介してパソコン200側に伝送され、パソコン200の画像補正パラメータ記憶部210に記憶される。
次に、ST120において、補助メモリ203のDVDから映像ソースを読み込み、そして、ST130において、画像生成部230にて映像ソースに対してデコードやIP変換等を行って画像データを生成する。
ST140において、画像補正演算処理部340にて画像データに画像補正処理を行う。
すなわち、画像データに解像度変換処理、輪郭強調処理、白黒伸長処理、色変換処理、γ補正処理、VT−γ補正処理の補正を行う。加えて、画像データに形状補正処理を行う。
このように補正処理を行った画像データを、順次、差分データ生成部250に送り、ST150において、差分データ生成部250にて一つ前の画像と最新の画像とを対比する。
そして、一つ前の画像から最新の画像を見て空間的および色調的に変化した分を差分データとして検出する。
ST160において、差分データ生成部250にて生成した差分データをエンコーダ260にて符号化する。そして、ST170において、USBケーブル500を介して符号化した差分データをプロジェクタ300に伝送する。
ST180において、伝送された差分データのデータ信号をデコーダ322にて復調し、さらに、ST190において、現画像生成部323にて、復調された差分データを現在投影している現画像フレームデータに合成して新たに次の現画像フレームを生成する。
ST200において、生成された現画像フレームを画像補正演算処理部340にて補正処理する。すなわち、クロストーク補正、ゴースト補正、色ムラ補正を行う。
ST210において、補正処理された現画像データを表示するように駆動制御部350から制御信号が画像投射部360に出力される。そして、ST220において、画像投射部からスクリーンに向けて画像が投射されて、スクリーン上に画像が表示される。
このような構成を備える第1実施形態によれば、次の効果を奏することができる。
(1)パソコン200の画像補正演算処理部240において、ゴースト補正およびクロストーク補正を除く、解像度変換処理、輪郭強調処理、白黒伸長処理、色変換処理、γ補正処理、VT−γ補正処理、形状変換処理が行われる。したがって、パソコン200側で行われる補正は、主として画像中の画素単位で完結する処理となり、パソコン200側の補正処理では、各画素のデータが所定の変換を受けるだけとなり、補正処理前の元画像の段階で画像データを圧縮する場合と、補正処理後の画像の段階で画像データを圧縮する場合とで圧縮率が大きく変化しない。よって、パソコン200側で補正処理を行った画像データを圧縮してUSBケーブル500によりプロジェクタに伝送すると、プロジェクタにより適切なフレームレートで画像を表示することができる。
(2)パソコン200ではゴースト補正およびクロストーク補正を除く補正処理を行うが、パソコン200で行わなかった補正処理についてはプロジェクタ300にて実行するので、必要な画像補正処理は総て行って、表示画像の品位を高精度にすることができる。
(3)USBケーブル500を介してパソコン200からプロジェクタに画像データを伝送するにあたっては、差分データをとることによって伝送データを適切に圧縮できるので、パソコン200からプロジェクタへのデータ伝送では情報をなんら欠落させることなく、総てのデータを伝送できる。従って、プロジェクタにて総ての情報を高精度に有する画像データを表示でき、表示画像を高精彩に、かつ高品位にすることができる。
(4)画像補正処理のうちゴーストおよびクロストーク補正を除いてはパソコン200側で補正処理を実行するので、プロジェクタ300側における補正処理の負荷を軽減することができる。したがって、プロジェクタの構成を簡易にし、安価な画像表示装置とすることができる。
(5)パソコン200により画像補正処理を実行するところ、パソコン200は元来からグラフィック処理機能を有しているので、特別に画像処理機能を新たに設ける必要はない。
そして、パソコン200のグラフィック処理機能によれば、高速かつ高精度の画像処理を行うことができる。
(6)色ムラ補正は、最後に補正処理が行われることがもっとも効率的であるので、プロジェクタ300の側で最後に色ムラ補正を行うことにより、画像補正処理を最も迅速に効率よく行うことができる。
(7)パソコン200がプロジェクタ300に接続された際に補正処理用のパラメータをプロジェクタから取得できるので、個々のプロジェクタのハードウェア構成に依存して異なる補正処理用のパラメータをパソコン200が取得して、個々のパソコン200に応じた補正処理を実行することができる。
なお、本発明は前述の実施形態に限定されず、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれる。
例えば、プロジェクタではゴースト補正のみを実行するようにしてもよい。同様に、プロジェクタにてクロストークのみを実行するようにしてもよい。
また、情報処理装置で行った解像度変換処理、輪郭強調処理、白黒伸長処理、色変換処理、γ補正処理、VT−γ補正処理、形状補正処理のうちいずれかを、プロジェクタで行うようにしてもよい。
画像表示装置としては、プロジェクタに限定されず、例えば、CRTや液晶ディスプレイに画像を表示する画像表示装置でもよいことはもちろんである。
上記実施形態において、画像データの圧縮方法としては差分データをとる場合を例にして説明したが、その他の圧縮方式であってもよいことはもちろんである。
本発明は、画像表示システムに利用できる。たとえばプロジェクションシステムに利用できる。
第1実施形態において、プロジェクションシステムの外観図。 第1実施形態において、パソコンの機能ブロック図。 第1実施形態において、プロジェクタの機能ブロック図。 第1実施形態において、画像投射部の構成を示す図。 第1実施形態において、映像ソースをプロジェクタにて投射するまでの手順を示すフローチャート。
符号の説明
100…プロジェクションシステム(画像表示システム)、200…パソコン(情報処理装置)、201…CPU、202…メインメモリ、203…補助メモリ、204…ディスプレイ、205…キーボード、210…画像補正パラメータ記憶部、220…画像処理部、230…画像生成部、231…デコーダ、232…IP変換部、240…画像補正演算処理部(第1画像補正演算処理部)、250…差分データ生成部、260…エンコーダ、270…USBコネクタ、271…データ入力部、272…データ出力部、300…プロジェクタ(画像表示装置)、310…画像補正パラメータ記憶部、311…送信用補正パラメータ記憶部、312…内部処理用補正パラメータ記憶部、320…画像処理部、321…画像生成部、322…デコーダ、323…現画像生成部、340…画像補正演算処理部(第2画像補正演算処理部)、350…駆動制御部、360…画像投射部、361…光源部、362…光源、363…リフレクタ、364…レンズアレイ、365…色分離光学系、365A…反射ミラー、366…ダイクロイックミラー、367…ダイクロイックミラー、368…リレー光学系、369…反射ミラー、371…電気光学装置、375…プリズム、376…投射光学系、380…USBコネクタ、400…スクリーン、500…USBケーブル。

Claims (7)

  1. 画像データに所定の画像補正処理を行う情報処理装置と、
    前記情報処理装置によって画像補正処理が行われた画像データに基づいて画像を表示する画像表示装置と、
    前記情報処理装置と前記画像表示装置との信号送受信を媒介する信号伝送手段と、を備えた画像表示システムであって、
    前記情報処理装置は、
    画像データに所定の画像補正処理を行う第1画像補正演算処理部と、
    前記第1画像補正演算処理部にて画像補正処理した画像データを圧縮して、前記信号伝送手段を介して前記画像表示装置に伝送する伝送データを生成する伝送データ生成部と、を備え、
    前記画像表示装置は、
    前記伝送データ生成部にて生成された伝送データに基づいて画像データを生成する画像生成部と、
    ゴーストおよびクロストークの少なくとも一つを画像補正処理する第2画像補正演算処理部と、を備え、
    前記第1画像補正演算処理部は、前記ゴーストおよびクロストーク以外で、且つ、前記第2補正演算処理部で実行される以外の画像補正処理を行う
    ことを特徴とする画像表示システム。
  2. 請求項1に記載の画像表示システムにおいて、
    前記第2画像補正演算処理部は、前記ゴーストおよびクロストークの少なくとも一つを画像補正処理した後に、さらに、色ムラ補正を行う
    ことを特徴とする画像表示システム。
  3. 請求項1または請求項2に記載の画像表示システムにおいて、
    前記情報処理装置は、
    前記第1画像補正演算処理部における画像補正処理を実行するためのパラメータを当該情報処理装置の外部から取得して記憶する画像補正パラメータ記憶部を備える
    ことを特徴とする画像表示システム。
  4. 情報処理装置にて所定の画像補正処理が行われた後に信号伝送手段を介して伝送された画像データに基づいて画像を表示する画像表示装置であって、
    ゴーストおよびクロストークの少なくともいずれか一方のみを画像補正処理する画像補正処理部を備える
    ことを特徴とする画像表示装置。
  5. 情報処理装置にて所定の画像補正処理が行われた後に信号伝送手段を介して伝送された画像データに基づいて画像を表示する画像表示装置であって、
    ゴーストおよびクロストークの少なくともいずれか一方と、色ムラと、のみを画像補正処理する画像補正処理部を備える
    ことを特徴とする画像表示装置。
  6. 情報処理装置にて所定の画像補正処理が行われた後に信号伝送手段を介して伝送された画像データに基づいて画像を表示する画像表示装置に組み込まれたコンピュータに、
    ゴーストおよびクロストークの少なくともいずれか一方のみの画像補正処理を実行させる画像補正処理プログラム。
  7. 情報処理装置にて所定の画像補正処理が行われた後に信号伝送手段を介して伝送された画像データに基づいて画像を表示する画像表示装置に組み込まれたコンピュータに、
    ゴーストおよびクロストークの少なくともいずれか一方と、色ムラ補正と、のみの画像補正処理を実行させる画像補正処理プログラム。
JP2006230623A 2005-10-07 2006-08-28 画像表示システム、画像表示装置、画像補正処理プログラム Expired - Fee Related JP4923863B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006230623A JP4923863B2 (ja) 2005-10-07 2006-08-28 画像表示システム、画像表示装置、画像補正処理プログラム
KR1020060097351A KR100816963B1 (ko) 2005-10-07 2006-10-02 화상 표시 시스템, 화상 표시 장치, 및 화상 보정 처리프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
US11/539,508 US7973795B2 (en) 2005-10-07 2006-10-06 Image display system, image display apparatus, and image correction processing program
CN200610141866A CN100578345C (zh) 2005-10-07 2006-10-08 图像显示系统、图像显示装置、图像修正处理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005295231 2005-10-07
JP2005295231 2005-10-07
JP2006230623A JP4923863B2 (ja) 2005-10-07 2006-08-28 画像表示システム、画像表示装置、画像補正処理プログラム

Publications (2)

Publication Number Publication Date
JP2007128045A true JP2007128045A (ja) 2007-05-24
JP4923863B2 JP4923863B2 (ja) 2012-04-25

Family

ID=37984874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006230623A Expired - Fee Related JP4923863B2 (ja) 2005-10-07 2006-08-28 画像表示システム、画像表示装置、画像補正処理プログラム

Country Status (4)

Country Link
US (1) US7973795B2 (ja)
JP (1) JP4923863B2 (ja)
KR (1) KR100816963B1 (ja)
CN (1) CN100578345C (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010183328A (ja) * 2009-02-05 2010-08-19 Seiko Epson Corp 画像処理装置及び画像処理方法
JP2011123190A (ja) * 2009-12-09 2011-06-23 Casio Computer Co Ltd 投影装置、投影方法及びプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201004335A (en) * 2008-07-04 2010-01-16 Coretronic Corp Method for controlling projector and projection system using the same
JP5384184B2 (ja) 2009-04-23 2014-01-08 グローバル・オーエルイーディー・テクノロジー・リミテッド・ライアビリティ・カンパニー 表示装置
CN101650908B (zh) * 2009-07-20 2014-10-01 北京巨数数字技术开发有限公司 一种获取基准亮度的方法和逐点校正系统及校正方法
CN102682734B (zh) * 2010-06-21 2014-10-22 应骏 一种显示面板的图像矫正方法
US8449119B2 (en) * 2010-09-01 2013-05-28 International Business Machines Corporation Modifying application windows based on projection surface characteristics
CN102012622A (zh) * 2010-11-02 2011-04-13 上海理工大学 采用sata接口的外挂型投影装置
CN102012623A (zh) * 2010-11-02 2011-04-13 上海理工大学 采用无线信号连接的微型投影机系统
US9047085B2 (en) 2011-03-14 2015-06-02 Nvidia Corporation Method and apparatus for controlling sparse refresh of a self-refreshing display device using a communications path with an auxiliary communications channel for delivering data to the display
CN102778807B (zh) * 2012-08-09 2014-10-29 深圳艾特凡斯智能科技有限公司 曲面屏幕变形修正和多画面融合方法
CN107977182A (zh) * 2017-12-07 2018-05-01 深圳吉迪思电子科技有限公司 一种显示屏驱动系统及方法
US11070778B2 (en) * 2019-02-14 2021-07-20 Facebook Technologies, Llc Multi-projector display architecture
TW202115478A (zh) * 2019-10-01 2021-04-16 華碩電腦股份有限公司 投影畫面校正系統及其電子設備和投影機
CN113284456B (zh) * 2021-07-21 2021-12-10 卡莱特云科技股份有限公司 显示屏灯点的校正系数确定方法、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997027531A1 (fr) * 1996-01-23 1997-07-31 Aim Corporation Systeme d'affichage d'informations
JP2004069996A (ja) * 2002-08-06 2004-03-04 Seiko Epson Corp プロジェクタシステム並びに情報処理装置及びプロジェクタ
JP2004120366A (ja) * 2002-09-26 2004-04-15 Sony Corp 画像処理装置、および画像処理方法
JP2004304265A (ja) * 2003-03-28 2004-10-28 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2005148218A (ja) * 2003-11-12 2005-06-09 Seiko Epson Corp 画像処理装置、画像表示装置および画像処理装置における演算パラメータの設定方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5818525A (en) * 1996-06-17 1998-10-06 Loral Fairchild Corp. RGB image correction using compressed flat illuminated files and a simple one or two point correction algorithm
JP3478192B2 (ja) * 1999-08-20 2003-12-15 日本電気株式会社 画面重畳表示型情報入出力装置
US6912247B2 (en) * 2000-03-23 2005-06-28 Hitachi Kokusai Electric Inc. Digital signal transmission system and method of displaying transmission condition in digital signal transmission system
US7663670B1 (en) * 2001-02-09 2010-02-16 Digital Imaging Systems Gmbh Methods and systems for embedding camera information in images
JP2003143621A (ja) 2001-11-01 2003-05-16 Nec Viewtechnology Ltd 色むら及び輝度むら補正回路付プロジェクタ
JP2004228948A (ja) 2003-01-23 2004-08-12 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3805323B2 (ja) * 2003-05-21 2006-08-02 キヤノン株式会社 露光装置、収差低減方法及び光学部材調整機構
JP3716258B2 (ja) 2003-05-29 2005-11-16 Necビューテクノロジー株式会社 入力信号の幾何学補正システム
JP4374994B2 (ja) 2003-11-26 2009-12-02 セイコーエプソン株式会社 プロジェクタ及びプロジェクタシステム
JP4816563B2 (ja) * 2006-07-06 2011-11-16 セイコーエプソン株式会社 画像表示システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997027531A1 (fr) * 1996-01-23 1997-07-31 Aim Corporation Systeme d'affichage d'informations
JP2004069996A (ja) * 2002-08-06 2004-03-04 Seiko Epson Corp プロジェクタシステム並びに情報処理装置及びプロジェクタ
JP2004120366A (ja) * 2002-09-26 2004-04-15 Sony Corp 画像処理装置、および画像処理方法
JP2004304265A (ja) * 2003-03-28 2004-10-28 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2005148218A (ja) * 2003-11-12 2005-06-09 Seiko Epson Corp 画像処理装置、画像表示装置および画像処理装置における演算パラメータの設定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010183328A (ja) * 2009-02-05 2010-08-19 Seiko Epson Corp 画像処理装置及び画像処理方法
JP2011123190A (ja) * 2009-12-09 2011-06-23 Casio Computer Co Ltd 投影装置、投影方法及びプログラム

Also Published As

Publication number Publication date
CN100578345C (zh) 2010-01-06
US20070091107A1 (en) 2007-04-26
US7973795B2 (en) 2011-07-05
KR20070039462A (ko) 2007-04-12
CN1945421A (zh) 2007-04-11
JP4923863B2 (ja) 2012-04-25
KR100816963B1 (ko) 2008-03-25

Similar Documents

Publication Publication Date Title
JP4923863B2 (ja) 画像表示システム、画像表示装置、画像補正処理プログラム
US7876285B2 (en) Projection system, information processing apparatus, information processing program, recording medium therefor, projector, computer program therefor, and recording medium therefor
US7841722B2 (en) Projection system, projector, image processing program and recording medium recording image processing program
US7142245B2 (en) Conversion of frame rate according to image date
US7742056B2 (en) Image display system
JP4258540B2 (ja) 情報処理装置、情報処理プログラム、及びその記録媒体
JP5091575B2 (ja) 映像表示装置
JP5266740B2 (ja) プロジェクションシステム及びプロジェクタ
US20070064204A1 (en) Image display apparatus, and projection system
JP4882320B2 (ja) プロジェクションシステム、情報処理装置、変化画像データ生成方法、変化画像データ生成プログラム、このプログラムを記録した記録媒体
US20080158431A1 (en) System and Method for Improving Video Image Sharpness
JP2007251294A (ja) 投写表示システムおよび投写表示方法
JP5087830B2 (ja) プロジェクションシステム
JP2006162728A (ja) 画像表示装置、画像信号変換装置、画像信号変換方法、画像信号変換プログラム、およびそのプログラムを記憶した記憶媒体
JP2007251723A (ja) 投写型映像表示装置
US11064171B1 (en) Method of controlling display device, and display device
JP2019041189A (ja) 画像投射装置およびその制御方法
JP2007049329A (ja) 画像記録装置、画像記録方法、画像表示装置、画像表示方法、及び画像表示システム
JP2023027872A (ja) 画像処理方法、及び、画像処理回路
JP5817093B2 (ja) 映像処理装置、及び映像表示装置
JP2008262066A (ja) 画像表示装置、画質補正方法、画質補正プログラム、記録媒体、および画像表示システム
JP2007133194A (ja) 画像表示装置、及び画像表示方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070704

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070813

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees