JP2005286572A - 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 - Google Patents

画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 Download PDF

Info

Publication number
JP2005286572A
JP2005286572A JP2004095935A JP2004095935A JP2005286572A JP 2005286572 A JP2005286572 A JP 2005286572A JP 2004095935 A JP2004095935 A JP 2004095935A JP 2004095935 A JP2004095935 A JP 2004095935A JP 2005286572 A JP2005286572 A JP 2005286572A
Authority
JP
Japan
Prior art keywords
image
information
projection
aspect ratio
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004095935A
Other languages
English (en)
Other versions
JP4006601B2 (ja
Inventor
Masanobu Kobayashi
雅暢 小林
Osamu Wada
修 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004095935A priority Critical patent/JP4006601B2/ja
Priority to US11/050,710 priority patent/US7537350B2/en
Priority to TW094105314A priority patent/TWI278227B/zh
Priority to DE602005000058T priority patent/DE602005000058T2/de
Priority to EP05004438A priority patent/EP1583370B1/en
Priority to CNB2005100569066A priority patent/CN100369471C/zh
Priority to KR1020050025677A priority patent/KR100637308B1/ko
Publication of JP2005286572A publication Critical patent/JP2005286572A/ja
Application granted granted Critical
Publication of JP4006601B2 publication Critical patent/JP4006601B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/72Modifying the appearance of television pictures by optical filters or diffusing screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Processing (AREA)

Abstract

【課題】 所望のアスペクト比となるように画像の歪みを補正することが可能な画像処理システム等を提供すること。
【解決手段】 画像を、矩形のスクリーンへ向け液晶パネルを介して投写する画像投写部190と、ユーザーによる前記画像の位置調整に基づく位置調整情報を生成する位置調整情報生成部140と、位置調整情報に基づき、スクリーンにおける画像の4隅の位置を補正するための位置補正情報を生成する補正情報生成部120と、位置補正情報に基づき、画像を投写するための画像情報を補正する補正部130とを含んでプロジェクタを構成する。
【選択図】 図2

Description

本発明は、画像の形状の補正が可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。
プロジェクタ等の画像投写装置からの投写光の光軸とスクリーン等の投写対象物との相対的な角度によって画像が歪んでしまい、縦方向や横方向にいわゆる台形歪みが発生してしまう場合がある。
したがって、画像表示装置は、画像を表示する場合には、画像の歪みをなくした状態で画像を表示する必要がある。
しかし、一般的な画像の補正機能付きプロジェクタは、傾きセンサーを内蔵して画像の縦方向の歪みのみを補正し、画像の横方向の歪みは補正できていない。
また、画像の横方向の歪みも補正する場合、例えば、特許文献1では、ユーザーがマウス等を用いてスクリーンの4隅の点を指示することにより、プロジェクタが当該指示情報に基づいて半自動的に画像の歪みを補正する方式が提案されている。
また、例えば、特許文献2では、プロジェクタが撮像部を用いてスクリーンの外形を識別し、識別した外形と同じ外形になるように画像を補正するプロジェクタが開示されている。
特開2002−44571号公報 特開2002−247614号公報
しかし、プロジェクタが、特許文献1、2のようにスクリーンの外形の形状に画像の形状を変化させてしまうと、変化後の画像が元の画像の外形とは異なってしまうことになる。この場合、観察者に元の画像とは異なる印象を与えてしまうため、このような処理方式を採用することは好ましくない。
また、投写対象物の縦横比を基準とする場合であっても、所望のアスペクト比で画像が表示されることが望ましい。
本発明は、上記の課題に鑑みなされたものであり、その目的は、所望のアスペクト比となるように画像の歪みを補正することが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。
上記課題を解決するため、本発明に係る画像処理システムおよびプロジェクタは、画像を、矩形の投写対象物へ向け投写パネルを介して投写する画像投写手段と、
ユーザーによる前記画像の位置調整に基づく位置調整情報を生成する位置調整情報生成手段と、
前記位置調整情報に基づき、前記投写対象物における前記画像の4隅の位置を補正するための位置補正情報を生成する補正情報生成手段と、
前記位置補正情報に基づき、前記画像を投写するための画像情報を補正する補正手段と、
を含み、
前記補正情報生成手段は、ユーザーによる前記画像の位置調整によって前記画像の4隅と前記投写対象物の4隅が一致した状態における前記位置調整情報に基づき、前記投写対象物の縦横比を演算し、当該縦横比に基づき、前記画像が所定のアスペクト比となるように前記位置補正情報を生成することを特徴とする。
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
画像を、矩形の投写対象物へ向け投写パネルを介して投写する画像投写手段と、
ユーザーによる前記画像の位置調整に基づく位置調整情報を生成する位置調整情報生成手段と、
前記位置調整情報に基づき、前記投写対象物における前記画像の4隅の位置を補正するための位置補正情報を生成する補正情報生成手段と、
前記位置補正情報に基づき、前記画像を投写するための画像情報を補正する補正手段として機能させ、
前記補正情報生成手段は、ユーザーによる前記画像の位置調整によって前記画像の4隅と前記投写対象物の4隅が一致した状態における前記位置調整情報に基づき、前記投写対象物の縦横比を演算し、当該縦横比に基づき、前記画像が所定のアスペクト比となるように前記位置補正情報を生成することを特徴とする。
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能な情報記憶媒体であって、
上記プログラムを記憶したことを特徴とする。
また、本発明に係る画像処理方法は、画像を、矩形の投写対象物へ向け投写パネルを介して投写し、
ユーザーによる前記画像の位置調整に基づく位置調整情報を生成し、
前記位置調整情報に基づき、前記投写対象物における前記画像の4隅の位置を補正するための位置補正情報を生成し、
ユーザーによる前記画像の位置調整によって前記画像の4隅と前記投写対象物の4隅が一致した状態における前記位置調整情報に基づき、前記投写対象物の縦横比を演算し、
当該縦横比に基づき、前記画像が所定のアスペクト比となるように、前記投写対象物における前記画像の4隅の位置を補正するための位置補正情報を生成し、
前記位置補正情報に基づき、前記画像を投写するための画像情報を補正し、
補正した画像情報に基づき、前記画像を投写することを特徴とする。
本発明によれば、画像処理システム等は、画像の4隅と投写対象物の4隅が一致した状態における位置調整情報に基づき、投写対象物の縦横比と、投写対象物における画像の4隅の位置を把握することができる。これらの情報を用いることにより、画像処理システム等は、所望のアスペクト比となるように画像の歪みを補正することができる。
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、
前記補正情報生成手段は、
前記画像投写手段における投写用のレンズの水平方向または垂直方向の画角を示す画角情報と、前記投写パネルの水平解像度または垂直解像度とに基づき、仮想投写面を設定するための奥行き位置を示す奥行き位置情報を生成し、
前記投写パネルの2次元平面に、前記レンズの主点を原点とし、前記レンズの光軸を3次元目として加えた3次元空間を設定し、
前記位置調整情報に基づく前記2次元平面における前記投写対象物の位置を示す第1の2次元位置情報と、前記奥行き位置情報とに基づき、前記3次元空間における前記仮想投写面に透視投影した状態の前記投写対象物の位置を示す第1の3次元位置情報を生成し、
当該第1の3次元位置情報に基づき、前記投写対象物の対向する2辺の長さが等しく平行であるという条件を利用して前記縦横比を演算してもよい。
また、前記画像処理方法は、投写用のレンズの水平方向または垂直方向の画角を示す画角情報と、前記投写パネルの水平解像度または垂直解像度とに基づき、仮想投写面を設定するための奥行き位置を示す奥行き位置情報を生成し、
前記投写パネルの2次元平面に、前記レンズの主点を原点とし、前記レンズの光軸を3次元目として加えた3次元空間を設定し、
前記位置調整情報に基づく前記2次元平面における前記投写対象物の位置を示す第1の2次元位置情報と、前記奥行き位置情報とに基づき、前記3次元空間における前記仮想投写面に透視投影した状態の前記投写対象物の位置を示す第1の3次元位置情報を生成し、
当該第1の3次元位置情報に基づき、前記投写対象物の対向する2辺の長さが等しく平行であるという条件を利用して前記縦横比を演算してもよい。
これによれば、画像処理システム等は、画像を拡大したり縮小したりして投写する場合であっても、投写用のレンズの水平方向または垂直方向の画角に応じて所望のアスペクト比となるように画像の歪みを補正することができる。
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、
前記補正情報生成手段は、前記第1の3次元位置情報と、前記縦横比と、前記アスペクト比とに基づき、前記3次元空間における補正後の前記画像の位置を示す第2の3次元位置情報を生成し、
当該第2の3次元位置情報に基づき、前記仮想投写面に透視投影した状態の前記画像の補正後の位置を示す第2の2次元位置情報を生成し、
当該第2の2次元位置情報に基づき、前記位置補正情報を生成してもよい。
また、前記画像処理方法は、前記第1の3次元位置情報と、前記縦横比と、前記アスペクト比とに基づき、前記3次元空間における補正後の前記画像の位置を示す第2の3次元位置情報を生成し、
当該第2の3次元位置情報に基づき、前記仮想投写面に透視投影した状態の前記画像の補正後の位置を示す第2の2次元位置情報を生成し、
当該第2の2次元位置情報に基づき、前記位置補正情報を生成してもよい。
これによれば、画像処理システム等は、3次元空間における投写対象物の4隅の位置を特定し、投写対象物の対向する辺の長さが等しく平行であるという条件を利用して所望のアスペクト比となるように画像の歪みを補正することができる。
以下、本発明を、画像の形状の補正を行うプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
(システム全体の説明)
図1は、画像投写時の状態を示す模式図である。
画像処理システムの一種であるプロジェクタ20は、レンズユニット24から投写対象物の一種であるスクリーン10へ向け画像を投写する。本実施例では、プロジェクタ20は、スクリーン10に正対していない状態となっている。このため、投写画像12の形状は台形状に歪んでいる。
このような画像の歪みを補正するため、本実施例では、ユーザーがリモコン26を用いて投写画像12の4隅がスクリーン10の4隅に一致するように投写画像12を調整できるようにプロジェクタ20が形成されている。なお、このような機能は、現在市販されているプロジェクタに備わっている機能である。具体的には、例えば、セイコーエプソン株式会社のプロジェクタに備わっている「Quick Corner」等がある。
しかし、スクリーン10の形状が所望の縦横比になっていない場合、投写画像12の4隅をスクリーン10の4隅に一致させただけでは、投写画像12は所望のアスペクト比にならず、原画像とは異なる印象をユーザーに与えてしまうことになる。
そこで、本実施形態では、リモコン26からの操作情報に基づき、スクリーン10の縦横比を把握し、所望のアスペクト比で投写画像12が表示されるように画像情報を補正する。
次に、このような機能を実装するためのプロジェクタ20の機能ブロックについて説明する。
図2は、本実施形態の一例に係るプロジェクタ20の機能ブロック図である。
プロジェクタ20は、画像情報(例えば、RGB信号等)を入力する画像情報入力部110と、画像の歪みが補正されるように、入力された画像情報を補正する補正部130と、補正された画像情報を出力する画像情報出力部160と、画像情報に基づき、画像を投写する画像投写部190とを含んで構成されている。
また、プロジェクタ20は、リモコン26からの操作情報に基づいて位置調整情報を生成する位置調整情報生成部140と、位置調整情報に基づき、スクリーン10における投写画像12の4隅の位置を補正するための位置補正情報を生成する補正情報生成部120とを含んで構成されている。
また、画像投写部190は、液晶パネルを有する空間光変調器192と、空間光変調器192を駆動する駆動部194と、光源196と、レンズユニット24に含まれるレンズ198と、画角調整部199とを含んで構成されている。
駆動部194は、画像情報出力部160からの画像情報に基づき、空間光変調器192を駆動する。そして、画像投写部190は、光源196からの光を、空間光変調器192およびレンズ198を介して投写する。
また、上述したプロジェクタ20の各部を実装するためのハードウェアとしては、例えば、以下のものを適用できる。
図3は、本実施形態の一例に係るプロジェクタ20のハードウェアブロック図である。
例えば、画像情報入力部110としては、例えばA/Dコンバーター930等、補正部130としては、例えば画像処理回路970、RAM950、CPU910等、画像情報出力部160としては、例えばD/Aコンバーター940等、補正情報生成部120、位置調整情報生成部140としては、例えば画像処理回路970、RAM950等、空間光変調器192としては、例えば液晶パネル920、液晶パネル920を駆動する液晶ライトバルブ駆動ドライバを記憶するROM960等を用いて実装できる。
なお、これらの各部はシステムバス980を介して相互に情報をやりとりすることが可能である。また、これらの各部は、その一部または全部を、回路のようにハードウェア的に実装してもよいし、ドライバのようにソフトウェア的に実装してもよい。
さらに、補正情報生成部120等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体900からプログラムを読み取って補正情報生成部120等の機能をコンピュータに実装してもよい。
このような情報記憶媒体900としては、例えば、CD−ROM、DVD−ROM、ROM、RAM、HDD等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
また、情報記憶媒体900に代えて、上述した各機能を実装するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実装することも可能である。
(画像処理の流れの説明)
次に、これらの各部を用いた画像処理の流れについて説明する。
図4は、本実施形態の一例に係る画像処理の流れを示すフローチャートである。
ユーザーは、図1に示すように、投写画像12の外枠がスクリーン10をはみ出すようにプロジェクタ20を設置する。そして、ユーザーは、プロジェクタ20を起動し、白色の画像を投写する(ステップS1)。これにより、投写画像12の外枠がスクリーン10からはみ出して表示される。
ユーザーは、図1の太線の矢印で示すように、リモコン26を用いて投写画像12の4隅がスクリーン10の4隅に一致するように投写画像12の4隅の位置を調整する(ステップS2)。位置調整情報生成部140は、リモコン26からの操作情報に基づいて4隅それぞれの位置調整情報を生成する。
また、補正情報生成部120は、投写画像12の4隅とスクリーン10の4隅が一致した状態において、位置調整情報生成部140からの位置調整情報と、画像投写部190における液晶パネル920の水平画角を示す値と、レンズ198の水平方向の画角θHを示す画角情報を取得する。
図5は、本実施形態の一例に係る投写パネル領域19を示す模式図である。
例えば、液晶パネル920の2次元平面は、投写パネル領域19として表すことができる。例えば、スクリーン10に相当する領域である投写対象領域11は、図5に示す領域EFGHであり、投写画像12に相当する領域である補正前投写領域は、投写パネル領域19と一致し、図5に示す領域ABCDである。
補正情報生成部120は、位置調整情報と、液晶パネル920の水平解像度と、画角情報に基づき、補正情報を生成する(ステップS3)。
より具体的には、補正情報生成部120は、まず、既知である液晶パネル920の水平解像度と、画角情報とに基づき、スクリーン10を透視投影した仮想投写面におけるスクリーン10の奥行き値Pzを演算する。そして、補正情報生成部120は、投写パネル領域19の2次元平面における投写対象領域11の4隅の位置を示す第1の2次元位置情報と、奥行き値Pzを示す奥行き位置情報に基づき、上記2次元平面にレンズ198の主点を原点とし、レンズ198の光軸を3次元目として加えた3次元空間における仮想投写面に透視投影した場合のスクリーン10の4隅の位置を示す第1の3次元位置情報を生成する。
図6は、本実施形態の一例に係る3次元空間と奥行き値Pzを示す模式図である。
例えば、レンズユニット24(レンズ198)の平面をxyの2次元平面と仮定し、レンズ198の光軸であるz軸を仮定する。この場合、スクリーン10の領域E’F’G’H’は、投写パネル領域19が相当する仮想投写面における投写対象領域11となる。この3次元空間における原点から仮想投写面までの距離が奥行き値Pzである。
この場合、3次元空間における投写対象領域11の4隅の座標は、E(Ex,Ey,Pz)、F(Fx,Fy,Pz)、G(Gx,Gy,Pz)、H(Hx,Hy,Pz)と表すことができる。また、実際のスクリーン10の4隅の座標は、E'=s*E、F'=t*F、G'=u*G、H'=v*Hと表すことができる。ここで、スクリーン10は、長方形であるため、対向する2辺の長さは等しく平行である。すなわち、E'F'、H'G'のベクトルは等しい。また、この条件に加え、s=1と仮定することにより、補正情報生成部120は、実数s、t、u、vを一意に決定することができる。
さらに、補正情報生成部120は、スクリーン10の縦横比=E'F'/F'G'を演算する。
そして、補正情報生成部120は、スクリーン10の縦横比と、投写画像12の所望のアスペクト比Saを比較し、適切なアスペクト比となる補正後投写領域14の4隅IJKLの座標を演算する。
図7は、本実施形態の一例に係るスクリーン10と補正後の投写画像12との関係を示す図であり、図7(A)は、縦より横が長い場合のスクリーン10を示す図であり、図7(B)は、図7(A)のスクリーン10における補正後の投写画像12を示す図である。また、図8は、本実施形態の一例に係るスクリーン10と補正後の投写画像12との関係を示す図であり、図8(A)は、縦より横が短い場合のスクリーン10を示す図であり、図8(B)は、図8(A)のスクリーン10における補正後の投写画像12を示す図である。
ここでは、所望のアスペクト比Sa=0.75であると仮定する。
スクリーン10のアスペクト比が0.75とほぼ等しい場合(0.75に一致しなくても許容範囲内であればよい。)、補正情報生成部120は、投写画像12の形状をスクリーン10の形状に一致させるように補正情報を生成する。説明を簡単にするため、本実施例では、補正情報生成部120は、スクリーン10のアスペクト比が0.75とほぼ等しい場合は投写画像12の形状をスクリーン10の形状に一致させるように補正情報を生成するものと仮定する。
また、図8(A)に示すように、アスペクト比<0.75の場合、すなわち、スクリーン10が横長の場合、補正情報生成部120は、図8(B)に示すように、スクリーン10の左右に余白を有する領域に補正後の投写画像12(領域A'B'C'D')が表示されるように補正情報を生成する。
アスペクト比Sa<0.75の場合、A'はE'H'をm:nに分割する点であることからA'=(n*E'+m*H')/(m+n)である。なお、ここで、m+n=1であるものと仮定する。
また、スクリーン10の横:縦=sa:1であることから補正後の投写画像12のアスペクト比を0.75に維持するためには、m=(1-4*Sa/3)/2,n=1-(1-4*Sa/3)/2にする必要がある。補正情報生成部120は、A'以外のB'C'D'も同様に演算する。
また、図8(A)に示すように、アスペクト比>0.75の場合、すなわち、スクリーン10が縦長の場合、補正情報生成部120は、図8(B)に示すように、スクリーン10の上下に余白を有する領域に補正後の投写画像12が形成されるように補正情報を生成する。
アスペクト比Sa>0.75の場合、A'はE'F'をm:nに分割する点であることからA'=(n*E'+m*F')/(m+n)である。なお、ここで、m+n=1であるものと仮定する。
また、スクリーン10の縦:横=sa:1であることから補正後の投写画像12のアスペクト比を0.75に維持するためには、m=(Sa-3/4)/2,n=Sa-(Sa-3/4)/2にする必要がある。補正情報生成部120は、A'以外のB'C'D'も同様に演算する。
このようにして補正情報生成部120は、第1の3次元位置情報と、スクリーン10の縦横比と、アスペクト比に基づき、補正後の投写画像12の4隅の3次元座標A'(A'x,A'y,A'z)、B'(B'x,B'y,B'z)、C'(C'x,C'y,C'z)、D'(D'x,D'y,D'z)を示す第2の3次元位置情報を生成することができる。
さらに、補正情報生成部120は、補正後の投写画像12を若干拡大するように補正情報を生成してもよい。これにより、いわゆる縁なし状態の画像とし、画像の見栄えをよくすることができる。例えば、拡大率をPs、原点をO、補正後の投写領域の対角線の交点をPとすると、補正情報生成部120は、拡大後の投写領域の頂点A'=Ps*PA'+OPで求めることができる。補正情報生成部120は、A'以外のB'C'D'も同様に演算する。
次に、補正情報生成部120は、このようにして求めた3次元座標系におけるA'B'C'D'(第2の3次元位置情報)を、図6に示す仮想投写面上に透視投影することにより、仮想投写面における補正後投写領域14の4隅の座標IJKLを示す第2の2次元位置情報を生成する。
ここで、補正後投写領域14の4隅の座標をI(X0,Y0)、J(X1,Y1)、K(X2,Y2)、L(X3,Y3)と仮定する。この場合、Iについては、X0=Pz*A'x/A'zであり、Y0=Pz*A'y/A'zである。J、K、Lも同様に求められる。
また、補正前投写領域の4隅の座標をA(x0,y0)、B(x1,y1)、C(x2,y2)、D(x3,y3)と仮定する。なお、補正前投写領域は、投写パネル領域19と一致するため、補正前投写領域の4隅の座標は既知である。
このようにして補正情報生成部120は、ABCDおよびIJKLの座標を示す位置補正情報を生成することができる。
補正部130は、補正情報生成部120からの位置補正情報に基づき、画像情報を補正する(ステップS4)。より具体的には、以下の変換式を用いて投写画像12の形状を変換するための変換用パラメータを求めることができる。
図9は、本実施形態の一例に係る変換用パラメータを求める演算式を示す図である。
補正部130は、図9に示す演算式を用いて8つの変換用パラメータPa〜Phを演算する。
さらに、補正部130は、入力された画像情報の各画素に対して以下の式を用いて各画素の座標を補正する。
X=(Pa*x+Pb*y+Pc)/(Pg*x+Ph*y+1)、Y=(Pd*x+Pe*y+Pf)/(Pg*x+Ph*y+1)
なお、ここで、(x,y)は補正前の画素の座標であり、(X,Y)は補正後の画素の座標である。
そして、画像投写部190は、補正部130によって補正された画像情報に基づき、画像を投写する(ステップS5)。
これにより、プロジェクタ20は、スクリーン10の中央に、スクリーン10をできるだけ有効に活用して歪みのない投写画像12を表示することができる。
以上のように、本実施形態によれば、プロジェクタ20は、所望のアスペクト比でスクリーン10の領域を有効に使用して画像を投写することができる。これにより、プロジェクタ20は、スクリーン10の形状の影響を受けずに観察者にとって見やすい画像を投写することができる。
また、本実施形態によれば、プロジェクタ20は、投写画像12の4隅とスクリーン10の4隅が一致した状態における位置調整情報に基づき、スクリーン10の縦横比を把握することができる。位置調整情報やスクリーン10の縦横比等を用いることにより、プロジェクタ20は、所望のアスペクト比となるように画像の歪みを補正することができる。
また、本実施形態によれば、スクリーン10の4隅の情報を利用することにより、縦横の歪み検出角度に制限無く補正することができる。
また、本実施形態によれば、プロジェクタ20は、投写画像12を拡大したり縮小したりして投写する場合であっても、投写用のレンズ198の水平方向の画角に応じて所望のアスペクト比となるように画像の歪みを補正することができる。
また、本実施形態によれば、プロジェクタ20は、3次元空間におけるスクリーン10の4隅の位置を特定し、スクリーン10の対向する辺の長さが等しく平行であるという条件を利用して所望のアスペクト比となるように画像の歪みを補正することができる。
また、本実施形態によれば、CCDカメラを利用しないため、プロジェクタ20に搭載するメモリの容量も少なくて済み、CCDカメラを利用する場合と比べ、より安価でプロジェクタ20を構成することができる。
(変形例)
本発明は、上述した実施例に限定されず、種々の変形が可能である。
例えば、上述した実施例では、投写対象物としてスクリーン10を用いたが、4隅を検出可能な矩形状のものであればよく、投写対象物は、例えば、ホワイトボード、壁等であってもよい。
また、上述した実施例では、プロジェクタ20は、水平方向の解像度と水平方向の画角を用いたが、変形例として、垂直方向の解像度と垂直方向の画角を用いてもよく、水平と垂直の両者を併用してもよい。
また、上述した実施例では、画像処理システムとしてプロジェクタ20を用いたが、本発明は、プロジェクタ20以外にもCRT(Cathode Ray Tube)、LED(Light Emitting Diode)、EL(Electro Luminescence)等のディスプレイ用の画像処理システムにも有効である。
また、プロジェクタ20としては、例えば、液晶プロジェクタ、DMD(Digital Micromirror Device)を用いたプロジェクタ等を用いてもよい。なお、DMDは米国テキサスインスツルメンツ社の商標である。投写パネルも液晶パネル920に限定されず、DMD用の投写パネルであってもよい。
また、上述したプロジェクタ20の機能は、例えば、プロジェクタ単体で実装してもよいし、複数の処理装置で分散して(例えば、プロジェクタとPCとで分散処理)実装してもよい。
画像投写時の状態を示す模式図である。 本実施形態の一例に係るプロジェクタの機能ブロック図である。 本実施形態の一例に係るプロジェクタのハードウェアブロック図である。 本実施形態の一例に係る画像処理の流れを示すフローチャートである。 本実施形態の一例に係る投写パネル領域を示す模式図である。 本実施形態の一例に係る3次元空間と奥行き値Pzを示す模式図である。 本実施形態の一例に係るスクリーンと補正後の投写領域との関係を示す図であり、図7(A)は、縦より横が長い場合のスクリーンを示す図であり、図7(B)は、図7(A)のスクリーンにおける補正後の投写領域を示す図である。 本実施形態の一例に係るスクリーンと補正後の投写領域との関係を示す図であり、図8(A)は、縦より横が短い場合のスクリーンを示す図であり、図8(B)は、図8(A)のスクリーンにおける補正後の投写領域を示す図である。 本実施形態の一例に係る変換用パラメータを求める演算式を示す図である。
符号の説明
10 スクリーン(投写対象物)、12 投写画像、20 プロジェクタ(画像処理システム)、60 センサー、120 補正情報生成部、130 補正部、140 位置調整情報生成部、190 画像投写部、199 画角調整部、900 情報記憶媒体、920 液晶パネル(投写パネル)

Claims (9)

  1. 画像を、矩形の投写対象物へ向け投写パネルを介して投写する画像投写手段と、
    ユーザーによる前記画像の位置調整に基づく位置調整情報を生成する位置調整情報生成手段と、
    前記位置調整情報に基づき、前記投写対象物における前記画像の4隅の位置を補正するための位置補正情報を生成する補正情報生成手段と、
    前記位置補正情報に基づき、前記画像を投写するための画像情報を補正する補正手段と、
    を含み、
    前記補正情報生成手段は、ユーザーによる前記画像の位置調整によって前記画像の4隅と前記投写対象物の4隅が一致した状態における前記位置調整情報に基づき、前記投写対象物の縦横比を演算し、当該縦横比に基づき、前記画像が所定のアスペクト比となるように前記位置補正情報を生成することを特徴とする画像処理システム。
  2. 請求項1において、
    前記補正情報生成手段は、
    前記画像投写手段における投写用のレンズの水平方向または垂直方向の画角を示す画角情報と、前記投写パネルの水平解像度または垂直解像度とに基づき、仮想投写面を設定するための奥行き位置を示す奥行き位置情報を生成し、
    前記投写パネルの2次元平面に、前記レンズの主点を原点とし、前記レンズの光軸を3次元目として加えた3次元空間を設定し、
    前記位置調整情報に基づく前記2次元平面における前記投写対象物の位置を示す第1の2次元位置情報と、前記奥行き位置情報とに基づき、前記3次元空間における前記仮想投写面に透視投影した状態の前記投写対象物の位置を示す第1の3次元位置情報を生成し、
    当該第1の3次元位置情報に基づき、前記投写対象物の対向する2辺の長さが等しく平行であるという条件を利用して前記縦横比を演算することを特徴とする画像処理システム。
  3. 請求項2において、
    前記補正情報生成手段は、前記第1の3次元位置情報と、前記縦横比と、前記アスペクト比とに基づき、前記3次元空間における補正後の前記画像の位置を示す第2の3次元位置情報を生成し、
    当該第2の3次元位置情報に基づき、前記仮想投写面に透視投影した状態の前記画像の補正後の位置を示す第2の2次元位置情報を生成し、
    当該第2の2次元位置情報に基づき、前記位置補正情報を生成することを特徴とする画像処理システム。
  4. 画像を、矩形の投写対象物へ向け投写パネルを介して投写する画像投写手段と、
    ユーザーによる前記画像の位置調整に基づく位置調整情報を生成する位置調整情報生成手段と、
    前記位置調整情報に基づき、前記投写対象物における前記画像の4隅の位置を補正するための位置補正情報を生成する補正情報生成手段と、
    前記位置補正情報に基づき、前記画像を投写するための画像情報を補正する補正手段と、
    を含み、
    前記補正情報生成手段は、ユーザーによる前記画像の位置調整によって前記画像の4隅と前記投写対象物の4隅が一致した状態における前記位置調整情報に基づき、前記投写対象物の縦横比を演算し、当該縦横比に基づき、前記画像が所定のアスペクト比となるように前記位置補正情報を生成することを特徴とするプロジェクタ。
  5. コンピュータにより読み取り可能なプログラムであって、
    コンピュータを、
    画像を、矩形の投写対象物へ向け投写パネルを介して投写する画像投写手段と、
    ユーザーによる前記画像の位置調整に基づく位置調整情報を生成する位置調整情報生成手段と、
    前記位置調整情報に基づき、前記投写対象物における前記画像の4隅の位置を補正するための位置補正情報を生成する補正情報生成手段と、
    前記位置補正情報に基づき、前記画像を投写するための画像情報を補正する補正手段として機能させ、
    前記補正情報生成手段は、ユーザーによる前記画像の位置調整によって前記画像の4隅と前記投写対象物の4隅が一致した状態における前記位置調整情報に基づき、前記投写対象物の縦横比を演算し、当該縦横比に基づき、前記画像が所定のアスペクト比となるように前記位置補正情報を生成することを特徴とするプログラム。
  6. コンピュータにより読み取り可能な情報記憶媒体であって、
    請求項5に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
  7. 画像を、矩形の投写対象物へ向け投写パネルを介して投写し、
    ユーザーによる前記画像の位置調整に基づく位置調整情報を生成し、
    前記位置調整情報に基づき、前記投写対象物における前記画像の4隅の位置を補正するための位置補正情報を生成し、
    ユーザーによる前記画像の位置調整によって前記画像の4隅と前記投写対象物の4隅が一致した状態における前記位置調整情報に基づき、前記投写対象物の縦横比を演算し、
    当該縦横比に基づき、前記画像が所定のアスペクト比となるように、前記投写対象物における前記画像の4隅の位置を補正するための位置補正情報を生成し、
    前記位置補正情報に基づき、前記画像を投写するための画像情報を補正し、
    補正した画像情報に基づき、前記画像を投写することを特徴とする画像処理方法。
  8. 請求項7において、
    投写用のレンズの水平方向または垂直方向の画角を示す画角情報と、前記投写パネルの水平解像度または垂直解像度とに基づき、仮想投写面を設定するための奥行き位置を示す奥行き位置情報を生成し、
    前記投写パネルの2次元平面に、前記レンズの主点を原点とし、前記レンズの光軸を3次元目として加えた3次元空間を設定し、
    前記位置調整情報に基づく前記2次元平面における前記投写対象物の位置を示す第1の2次元位置情報と、前記奥行き位置情報とに基づき、前記3次元空間における前記仮想投写面に透視投影した状態の前記投写対象物の位置を示す第1の3次元位置情報を生成し、
    当該第1の3次元位置情報に基づき、前記投写対象物の対向する2辺の長さが等しく平行であるという条件を利用して前記縦横比を演算することを特徴とする画像処理方法。
  9. 請求項8において、
    前記第1の3次元位置情報と、前記縦横比と、前記アスペクト比とに基づき、前記3次元空間における補正後の前記画像の位置を示す第2の3次元位置情報を生成し、
    当該第2の3次元位置情報に基づき、前記仮想投写面に透視投影した状態の前記画像の補正後の位置を示す第2の2次元位置情報を生成し、
    当該第2の2次元位置情報に基づき、前記位置補正情報を生成することを特徴とする画像処理方法。
JP2004095935A 2004-03-29 2004-03-29 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 Expired - Fee Related JP4006601B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2004095935A JP4006601B2 (ja) 2004-03-29 2004-03-29 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US11/050,710 US7537350B2 (en) 2004-03-29 2005-02-07 Image processing system, projector, program, information storage medium, and image processing method
TW094105314A TWI278227B (en) 2004-03-29 2005-02-22 Image processing system, projector, information storage medium, and image processing method
EP05004438A EP1583370B1 (en) 2004-03-29 2005-03-01 Image processing system, projector, information storage medium, and image processing method
DE602005000058T DE602005000058T2 (de) 2004-03-29 2005-03-01 Bildverarbeitungssystem, Bildprojektor, Informationsspeichermedium und Bildverarbeitungsverfahren
CNB2005100569066A CN100369471C (zh) 2004-03-29 2005-03-23 图像处理系统、投影机及图像处理方法
KR1020050025677A KR100637308B1 (ko) 2004-03-29 2005-03-28 화상 처리 시스템, 프로젝터, 정보 기억 매체 및 화상 처리방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004095935A JP4006601B2 (ja) 2004-03-29 2004-03-29 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法

Publications (2)

Publication Number Publication Date
JP2005286572A true JP2005286572A (ja) 2005-10-13
JP4006601B2 JP4006601B2 (ja) 2007-11-14

Family

ID=34879915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004095935A Expired - Fee Related JP4006601B2 (ja) 2004-03-29 2004-03-29 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法

Country Status (7)

Country Link
US (1) US7537350B2 (ja)
EP (1) EP1583370B1 (ja)
JP (1) JP4006601B2 (ja)
KR (1) KR100637308B1 (ja)
CN (1) CN100369471C (ja)
DE (1) DE602005000058T2 (ja)
TW (1) TWI278227B (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007205030A (ja) * 2006-02-01 2007-08-16 Bunka Shutter Co Ltd 開閉装置利用によるディスプレイシステム
JP2008109337A (ja) * 2006-10-25 2008-05-08 Seiko Epson Corp プロジェクタ、プログラムおよび情報記憶媒体
JP2008211356A (ja) * 2007-02-23 2008-09-11 Seiko Epson Corp プロジェクタ、プログラムおよび情報記憶媒体
JP2009135972A (ja) * 2009-03-12 2009-06-18 Seiko Epson Corp プロジェクタ、プログラムおよび情報記憶媒体
JP2009182436A (ja) * 2008-01-29 2009-08-13 Seiko Epson Corp プロジェクタ、画像投影システムおよびプログラム
US8025414B2 (en) 2007-02-23 2011-09-27 Seiko Epson Corporation Projector, projected image adjustment method, and program for projecting an image while correcting the shape of the image
US8322862B2 (en) 2009-08-04 2012-12-04 Seiko Epson Corporation Projector, computer program product, and trapezoidal distortion correcting method
US9342868B2 (en) 2012-07-26 2016-05-17 Seiko Epson Corporation Image display device, image display method, and image display program
CN107027014A (zh) * 2017-03-23 2017-08-08 广景视睿科技(深圳)有限公司 一种动向智能投影系统及其方法
CN107368829A (zh) * 2016-05-11 2017-11-21 富士通株式会社 确定输入图像中的矩形目标区域的方法和设备

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4150924B2 (ja) * 2003-07-02 2008-09-17 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2007078821A (ja) * 2005-09-12 2007-03-29 Casio Comput Co Ltd 投影装置、投影方法及びプログラム
JP4344888B2 (ja) * 2005-12-09 2009-10-14 株式会社カシオ日立モバイルコミュニケーションズ 撮像装置、撮像画像処理方法及びプログラム
JP3953500B1 (ja) * 2006-02-07 2007-08-08 シャープ株式会社 画像投影方法及びプロジェクタ
CN101361023B (zh) 2006-10-06 2011-06-22 拉利兄弟科学有限责任公司 三维内部背投影系统及其使用方法
JP5728814B2 (ja) * 2010-03-12 2015-06-03 セイコーエプソン株式会社 画像表示装置および画像処理方法
KR101385514B1 (ko) * 2010-06-08 2014-04-16 주식회사 에스칩스 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
JP5754124B2 (ja) * 2010-12-14 2015-07-29 セイコーエプソン株式会社 プロジェクターおよび制御方法
JP2013038626A (ja) * 2011-08-09 2013-02-21 Seiko Epson Corp 撮像装置およびプロジェクター
US8884937B2 (en) * 2012-01-09 2014-11-11 Himax Display, Inc. Projection apparatus and projection method
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
WO2013172314A1 (ja) * 2012-05-16 2013-11-21 株式会社Jvcケンウッド 画像投射装置および画像投射方法
JP5958072B2 (ja) 2012-05-18 2016-07-27 株式会社Jvcケンウッド 投射装置および画像補正方法
JP5958079B2 (ja) * 2012-05-22 2016-07-27 株式会社Jvcケンウッド 投射装置、画像補正方法およびプログラム
CN102970498A (zh) * 2012-11-30 2013-03-13 深圳Tcl新技术有限公司 菜单立体显示的显示方法及显示装置
JP6244638B2 (ja) * 2013-03-22 2017-12-13 カシオ計算機株式会社 投影装置、投影方法及び投影プログラム
JP6205777B2 (ja) * 2013-03-22 2017-10-04 カシオ計算機株式会社 投影装置、投影方法、及び投影のためのプログラム
CN104580966A (zh) * 2013-10-22 2015-04-29 光宝科技股份有限公司 投影装置以及其投影图像处理方法
US10318067B2 (en) 2014-07-11 2019-06-11 Hewlett-Packard Development Company, L.P. Corner generation in a projector display area
CN104601916B (zh) * 2015-01-20 2017-11-07 苏州佳世达光电有限公司 投影装置及其梯形校正方法
CN106384065B (zh) 2015-06-30 2019-08-06 北京智谷睿拓技术服务有限公司 显示控制方法和装置
CN106250791A (zh) * 2015-06-30 2016-12-21 北京智谷睿拓技术服务有限公司 显示控制方法和装置
CN105187751A (zh) * 2015-09-06 2015-12-23 青岛海信信芯科技有限公司 一种投影图像校正方法和装置
US20190355104A1 (en) * 2016-09-29 2019-11-21 Huawei Technologies Co., Ltd. Image Correction Method and Apparatus
CN110505398B (zh) * 2019-07-16 2021-03-02 北京三快在线科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112004072B (zh) * 2020-07-31 2022-05-03 海尔优家智能科技(北京)有限公司 投影图像检测方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000021282A1 (en) 1998-10-02 2000-04-13 Macronix International Co., Ltd. Method and apparatus for preventing keystone distortion
JP2002044571A (ja) 2000-07-27 2002-02-08 Nec Viewtechnology Ltd 投射型の格子状表示装置及び投射映像の歪み補正方法
US6520647B2 (en) * 2000-08-17 2003-02-18 Mitsubishi Electric Research Laboratories Inc. Automatic keystone correction for projectors with arbitrary orientation
JP2002158946A (ja) * 2000-11-20 2002-05-31 Seiko Epson Corp プロジェクタおよび画像歪補正方法
JP2002247614A (ja) 2001-02-15 2002-08-30 Ricoh Co Ltd プロゼェクタ
US7352913B2 (en) * 2001-06-12 2008-04-01 Silicon Optix Inc. System and method for correcting multiple axis displacement distortion
JP3761491B2 (ja) * 2002-05-10 2006-03-29 Necビューテクノロジー株式会社 投射映像の歪補正方法、歪補正プログラム及び投射型映像表示装置
JP2004040395A (ja) 2002-07-02 2004-02-05 Fujitsu Ltd 画像歪み補正装置、方法及びプログラム
JP3620537B2 (ja) * 2003-05-02 2005-02-16 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3846592B2 (ja) * 2003-06-26 2006-11-15 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US7175285B2 (en) * 2003-07-29 2007-02-13 Sharp Laboratories Of America, Inc. Projection system that adjusts for keystoning
US7399086B2 (en) * 2004-09-09 2008-07-15 Jan Huewel Image processing method and image processing device
US7252387B2 (en) * 2005-03-21 2007-08-07 Mitsubishi Electric Research Laboratories, Inc. System and method for mechanically adjusting projector pose with six degrees of freedom for image alignment

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007205030A (ja) * 2006-02-01 2007-08-16 Bunka Shutter Co Ltd 開閉装置利用によるディスプレイシステム
JP2008109337A (ja) * 2006-10-25 2008-05-08 Seiko Epson Corp プロジェクタ、プログラムおよび情報記憶媒体
JP2008211356A (ja) * 2007-02-23 2008-09-11 Seiko Epson Corp プロジェクタ、プログラムおよび情報記憶媒体
US8025414B2 (en) 2007-02-23 2011-09-27 Seiko Epson Corporation Projector, projected image adjustment method, and program for projecting an image while correcting the shape of the image
US8177373B2 (en) 2007-02-23 2012-05-15 Seiko Epson Corporation Projector, projected image adjustment method, and program for projecting an image while correcting the shape of the image to project an image at a desired aspect ratio
JP2009182436A (ja) * 2008-01-29 2009-08-13 Seiko Epson Corp プロジェクタ、画像投影システムおよびプログラム
JP2009135972A (ja) * 2009-03-12 2009-06-18 Seiko Epson Corp プロジェクタ、プログラムおよび情報記憶媒体
US8322862B2 (en) 2009-08-04 2012-12-04 Seiko Epson Corporation Projector, computer program product, and trapezoidal distortion correcting method
US9342868B2 (en) 2012-07-26 2016-05-17 Seiko Epson Corporation Image display device, image display method, and image display program
CN107368829A (zh) * 2016-05-11 2017-11-21 富士通株式会社 确定输入图像中的矩形目标区域的方法和设备
CN107027014A (zh) * 2017-03-23 2017-08-08 广景视睿科技(深圳)有限公司 一种动向智能投影系统及其方法

Also Published As

Publication number Publication date
US7537350B2 (en) 2009-05-26
US20050214662A1 (en) 2005-09-29
KR100637308B1 (ko) 2006-10-24
CN100369471C (zh) 2008-02-13
JP4006601B2 (ja) 2007-11-14
TW200536384A (en) 2005-11-01
DE602005000058T2 (de) 2007-02-15
CN1678048A (zh) 2005-10-05
KR20060044871A (ko) 2006-05-16
EP1583370B1 (en) 2006-08-02
EP1583370A1 (en) 2005-10-05
TWI278227B (en) 2007-04-01
DE602005000058D1 (de) 2006-09-14

Similar Documents

Publication Publication Date Title
JP4006601B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP4150924B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3879858B2 (ja) 画像処理システム、プロジェクタおよび画像処理方法
TWI249351B (en) Image processing system, projector, and image processing method
KR100571175B1 (ko) 화상 처리 시스템, 프로젝터, 정보 기억 매체 및 화상처리 방법
JP5266954B2 (ja) 投写型表示装置および表示方法
JP3844076B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP5266953B2 (ja) 投写型表示装置および表示方法
JP4572377B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2008211354A (ja) プロジェクタ、プログラムおよび情報記憶媒体
JP2010288063A (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
JP2010044255A (ja) 投写型表示装置および画像の補正方法
KR20130043300A (ko) 프로젝터를 통해 투사되는 영상을 보정하기 위한 장치 및 방법
JP2008211355A (ja) プロジェクタ、プログラムおよび情報記憶媒体
JP2008211356A (ja) プロジェクタ、プログラムおよび情報記憶媒体
JP2006214922A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2010288062A (ja) プロジェクター、プログラム、情報記憶媒体および画像投写方法
JP2005286573A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2009135972A (ja) プロジェクタ、プログラムおよび情報記憶媒体
JP2010050799A (ja) 投写型表示装置および画像の補正方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050725

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050725

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20051221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070814

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100907

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4006601

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100907

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110907

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120907

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130907

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees