JP2013025077A - プロジェクター及びプロジェクターの制御方法 - Google Patents

プロジェクター及びプロジェクターの制御方法 Download PDF

Info

Publication number
JP2013025077A
JP2013025077A JP2011159628A JP2011159628A JP2013025077A JP 2013025077 A JP2013025077 A JP 2013025077A JP 2011159628 A JP2011159628 A JP 2011159628A JP 2011159628 A JP2011159628 A JP 2011159628A JP 2013025077 A JP2013025077 A JP 2013025077A
Authority
JP
Japan
Prior art keywords
image
deformation rate
osd
image data
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011159628A
Other languages
English (en)
Other versions
JP2013025077A5 (ja
JP5997882B2 (ja
Inventor
Akihiko Tamura
明彦 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2011159628A priority Critical patent/JP5997882B2/ja
Priority to US13/547,163 priority patent/US9224321B2/en
Publication of JP2013025077A publication Critical patent/JP2013025077A/ja
Publication of JP2013025077A5 publication Critical patent/JP2013025077A5/ja
Application granted granted Critical
Publication of JP5997882B2 publication Critical patent/JP5997882B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/08Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3197Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using light modulating optical valves

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像データに対して補正処理が行われる場合において、ある画像に重ねて表示される画像の視認性を向上させる。
【解決手段】プロジェクターは、OSD画像を示すOSDデータを記憶したROM102と、OSDデータに対して台形歪み補正を行った場合の、OSD画像において設定された基準点におけるOSD変形率を算出する第1変形率算出部1012と、OSD変形率に基づいて、OSD画像のOSD拡大率を決定する第2変形率決定部1013と、主画像データにより示される主画像と、OSD拡大率に基づいてサイズが変更されたOSD画像とを合成した合成画像を示す合成画像データを生成する画像合成部109と、合成画像データに、台形歪み補正を行う台形歪み補正部110と、台形歪み補正が行われた合成画像データに基づいて合成画像を投写する照明光学系112、液晶パネル113、及び投写光学系114とを有する。
【選択図】図2

Description

本発明は、プロジェクター及びプロジェクターの制御方法に関する。
プロジェクターがスクリーンに対して水平方向又は垂直方向に傾きを有して設置されると、スクリーンに投写される画像には歪み(台形歪み)が生じる。そこで、プロジェクターが、スクリーンに投写された画像の台形歪みと逆の台形歪みを有する画像を液晶パネル等のライトバルブに表示させることにより、スクリーンに表示される画像の台形歪みを補正する技術が知られている。特許文献1には、プロジェクターがOSD(On Screen Display)画像を投写画面に重ねてスクリーンに表示する場合に、台形歪みの補正が少ない投写画面上の位置にOSD画像を表示する台形歪み補正装置が記載されている。
特開2006−14233号公報
特許文献1に記載の台形歪み補正装置においては、台形歪み補正で最も補正の少ない投写画面上の位置が変わると、OSD画像が表示される位置も変わる。また、投写画面の台形歪み補正後にOSD画像が重ね合わされていることから、OSD画像には台形歪み補正は行われず、OSD画像は歪んで投写される。
これに対し本発明は、画像データに対して補正処理が行われる場合において、ある画像に重ねて表示される画像の視認性を向上させる技術を提供する。
上述の課題を解決するため、本発明は、第1画像を示す第1画像データを記憶した記憶手段と、前記第1画像データに対して補正処理を行った場合の、前記第1画像において設定された基準点における第1変形率を算出する変形率算出手段と、前記変形率算出手段によって算出された第1変形率に基づいて、前記第1画像の第2変形率を決定する変形率決定手段と、第2画像データにより示される第2画像と、前記変形率決定手段により決定された第2変形率に基づいてサイズが変更された前記第1画像とを合成した合成画像を示す合成画像データを生成する合成画像生成手段と、前記合成画像生成手段により生成された合成画像データに、前記補正処理を行う補正手段と、前記補正処理が行われた前記合成画像データに基づいて前記合成画像を投写する投写手段とを有するプロジェクターを提供する。このプロジェクターによれば、画像データに対して補正処理が行われる場合において、第1変形率によらず第2変形率が一定である場合と比較して、第2画像に重ねて表示される第1画像の視認性を向上させることができる。
また、別の好ましい態様において、前記補正処理は、座標変換係数を用いた座標変換処理を含み、前記座標変換係数を取得する変換係数取得手段を備え、前記変形率算出手段は、前記変換係数取得手段により取得された前記座標変換係数に基づいて、前記第1変形率を算出することを特徴とする。このプロジェクターによれば、画像データに対して座標変換処理を含む補正処理が行われる場合において、第2画像に重ねて表示される第1画像の視認性を向上させることができる。
また、別の好ましい態様において、前記第1画像においては複数の基準点が設定されており、前記変形率算出手段は、前記複数の基準点について前記第1変形率を算出し、前記変形率決定手段は、前記複数の基準点について算出された前記第1変形率の代表値に基づいて、前記第2変形率を決定することを特徴とする。このプロジェクターによれば、基準点が単一のときと比べて、第2画像に重ねて表示される第1画像の視認性を向上させることができる。
また、別の好ましい態様において、前記記憶手段は複数の第1画像データを記憶し、前記基準点は前記複数の第1画像毎に設定されていることを特徴とする。このプロジェクターによれば、第1画像が複数あるとき、各第1画像に応じて、その第1画像の視認性を向上させることができる。
また、別の好ましい態様において、前記第1画像はOSD画像であることを特徴とする。このプロジェクターによれば、画像データに対して補正処理が行われる場合において、第1変形率によらず第2変形率が一定である場合と比較して、第2画像に重ねて表示されるOSD画像の視認性を向上させることができる。
また、本発明は、第1画像を示す第1画像データに対して補正処理を行った場合の、前記第1画像において設定された基準点における第1変形率を算出する工程と、前記第1変形率に基づいて、前記第1画像の第2変形率を決定する工程と、第2画像データにより示される第2画像と、前記第2変形率に基づいてサイズが変更された前記第1画像とを合成した合成画像を示す合成画像データを生成する工程と、前記合成画像データに、前記補正処理を行う工程とを有するプロジェクターの制御方法を提供する。このプロジェクターの制御方法によれば、画像データに対して補正処理が行われる場合において、第1変形率によらず第2変形率が一定である場合と比較して、第2画像に重ねて表示される第1画像の視認性を向上させることができる。
プロジェクター1の動作概要の説明図。 プロジェクター1の内部構成を示すブロック図。 OSD拡大率の決定処理を示すフローチャート。 パラメーターを例示する図。 基準点を例示する図。 基準点及び隣接画素を示す図。 OSD拡大率を決定する関数を例示する図 OSD拡大率の最大値を決定する方法を説明する図。 合成画像データの生成方法の概要を示す図。 OSD拡大率の決定を行った場合と行わなかった場合との対比。 変形率算出の方法を示す図。
図1は、本発明の一実施形態に係るプロジェクター1の動作概要の説明図である。プロジェクター1は、入力された映像信号に応じた画像(以下「主画像」(第2画像の一例))という)をスクリーンに投写する装置である。スクリーン2は、プロジェクター1から投写される画像を映し出す平面である。プロジェクター1の投写軸がスクリーン2に対して理想的な状態から傾いている場合、スクリーン2に映し出される画像3は歪んだものとなる。以下この歪みを「台形歪み」という。プロジェクター1は、台形歪みを補正し、補正後の画像4を投写する機能を有する。台形歪みを補正する処理を、「台形歪み補正」(補正処理の一例)という。また、プロジェクター1は、画像の明るさ、位置及び台形歪み補正などのパラメーターを調整する機能を有する。これらのパラメーターの調整に用いられるユーザーインターフェースは、スクリーン2に投写されるOSD画像5(第1画像の一例)により提供される。OSD画像5は主画像に重ねて表示される。台形歪み補正は、主画像にOSD画像5を重ねた合成画像に対して行われる。
図2は、プロジェクター1の内部構成を示すブロック図である。プロジェクター1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、映像取得部104、画像処理部105、画像スケーラー106、OSD描画部107、OSDスケーラー108、画像合成部109、台形歪み補正部110、パネル駆動部111、照明光学系112、液晶パネル113、及び投写光学系114を有する。CPU101は、プログラムを実行することによりプロジェクター1の各部を制御する制御装置である。CPU101は、機能要素として、座標変換係数算出部1011(変換係数取得手段の一例)、第1変形率算出部1012(変形率算出手段の一例)、及び第2変形率決定部1013(変形率決定手段の一例)を有する。第1変形率算出部1012は、OSDデータ(第1画像データの一例)に対して台形歪み補正を行った場合の、OSD画像において設定された基準点におけるOSD変形率(第1変形率の一例)を算出する。変形率とは、ある処理の前後における、2点間の距離の比をいう。第2変形率決定部1013は、第1変形率算出部1012によって算出されたOSD変形率に基づいて、OSD拡大率(第2変形率の一例)を決定する。ROM102(記憶手段の一例)は、各種のプログラムおよびデータを記憶した不揮発性の記憶装置である。この例で、ROM102は、OSDデータ及び後述のOSD拡大率を決定するためのデータを記憶する。RAM103は、データを記憶する揮発性の記憶装置である。この例で、RAM103は、OSDバッファー1031と、フレームバッファー1032aと、フレームバッファー1032bとを有する。OSDバッファー1031は、表示されるOSD画像を示すデータを記憶する領域である。フレームバッファー1032aは、映像信号により示される映像のうち、1フレーム分の画像を記憶する領域である。フレームバッファー1032bは、合成画像を記憶する領域である。なお、ここでは説明のため、フレームバッファー1032aとフレームバッファー1032bとを別個に説明したが、単一のフレームバッファーが、フレームバッファー1032a及びフレームバッファー1032bの機能を兼ね備えていてもよい。
映像取得部104は、DVD(Digital Versatile Disc)プレーヤー又はパーソナルコンピューターなどの外部装置から映像信号を取得する。また、映像取得部104は、取得した映像信号から、垂直・水平の同期信号を抽出する。画像処理部105は、映像信号により示される画像に画像処理を施す。画像処理部105は、画像処理後の画像を示すデータを1フレームごとの主画像データ(第2画像データの一例)としてフレームバッファー1032aに書き込む。画像スケーラー106は、フレームバッファー1032aに記憶されている主画像データを読み出し、主画像に対してサイズの拡大処理を施す(なお、拡大率が1より小さい場合、主画像は縮小される)。OSD描画部107は、CPU101からOSD描画命令を受けると、ROM102に記憶されているOSDデータを読み出し、読み出したデータをOSDバッファー1031に書き込む。OSDスケーラー108は、OSDバッファー1031に記憶されているOSDデータを読み出し、OSD画像に対してサイズの拡大処理を行う。この拡大処理における拡大率(以下「OSD拡大率」という)は、CPU101により決められる。OSDスケーラー108は、第2変形率決定部1013により決定されたOSD拡大率で、OSD画像の拡大処理を行う。画像合成部109(合成画像生成手段の一例)は、画像スケーラー106により拡大された主画像とOSDスケーラー108により拡大されたOSD画像とを合成した合成画像を示す合成画像データを生成する。台形歪み補正部110(補正手段の一例)は、合成画像データに対して台形歪み補正を行う。台形歪み補正部110は、台形歪み補正の際のパラメーターとして座標変換係数を用いる。座標変換係数は、CPU101により算出される。台形歪み補正部110は、台形歪み補正後の合成画像データをフレームバッファー1032bに書き込む。パネル駆動部111は、同期信号により示されるタイミングで、フレームバッファー1032bに記憶されているデータを読み出し、読み出したデータに応じて液晶パネル113を駆動する。照明光学系112は、高圧水銀ランプ若しくは超高圧水銀ランプなどのランプ、又はその他の発光体を有し、液晶パネル113に光を照射する。液晶パネル113は、複数の画素がマトリクス状に配置された透過型液晶パネルである。液晶パネル113は、各画素における光の透過率を変化させるライトバルブであり、照明光学系112から照射された照明光を、画像を表す有効な画像光へと変調する。液晶パネル113は、XGA(eXtended Graphics Array)の解像度を有し、1024×768個の画素により構成される表示領域を有する。投写光学系114は、液晶パネル113により画像光へと変調された光を拡大して投写するレンズを有する。照明光学系112、液晶パネル113、及び投写光学系114は、台形歪み補正後の合成画像データに基づいて合成画像をスクリーン2に投写する投写手段の一例である。撮影部115は、座標変換係数を算出するため、スクリーン2に投写されている画像3を撮影するカメラである。
図3は、プロジェクター1における、OSD拡大率の決定処理を示すフローチャートである。以下の処理は、例えば、プロジェクター1の電源が投入されたことを契機として開始される。ステップS1において、CPU101は、主画像のサイズを示すパラメーターを算出する。ステップS2において、CPU101は、プロジェクター1の投写軸の、理想的な状態からのずれを示すパラメーター、より具体的には、補正後画像の形状を示すパラメーターを算出する。
図4は、ステップS1及びS2において取得されるパラメーターを例示する図である。図4(A)は主画像のサイズを示すパラメーターを、図4(B)は補正後画像のサイズを示すパラメーターを示している。図4(B)における破線6は、表示領域のサイズを表す。主画像のサイズを示すパラメーターとしては、主画像の4頂点である点o(x0、y0)、点p(x1、y1)、点q(x2、y2)、及び点r(x3、y3)の座標が用いられる。これらの点の座標は表示領域のサイズ(液晶パネル113の解像度)に応じてあらかじめ決められている。これらの座標を示すデータは、ROM102に記憶されている。ステップS1において、CPU101は、ROM102からこの座標を示すデータを読み出すことにより、主画像のサイズを示すパラメーターを取得する。
補正後画像の形状を示すパラメーターとしては、補正後画像の4頂点である点O(X0、Y0)、点P(X1、Y1)、点Q(X2、Y2)、及び点R(X3、Y3)の座標が用いられる。この場合、プロジェクター1は、まず、台形歪み補正を行わない画像(図1:画像3)を投写する。撮影部115は、スクリーン2に投写されている歪んだ画像3を撮影する。CPU101は、撮影部115により撮影された画像に基づき、歪みが補正された画像の4頂点の座標(液晶パネル113における座標)を算出する。図4(B)は、この歪みが補正された画像が液晶パネル113に表示された状態を示している。CPU101は、算出した座標を示すデータをRAM103に書き込む。
再び図3を参照する。ステップS3において、CPU101は、座標変換係数を算出する。この座標変換係数は、液晶パネル113に表示される画像(例えば図4(B))から、フレームバッファー1032aにデータとして記憶されている画像(例えば図4(A))への変換(以下「座標変換」(座標変換処理の一例)という)を特定するパラメーターである。補正後画像を座標変換することにより、補正後画像のある画素に対応する主画像の画素の座標が得られる。この座標変換は、A〜Hの8つの座標変換係数により特定される。CPU101は、次式(1)の8元連立一次方程式を解くことにより、座標変換係数A〜Hを算出する。CPU101は、算出した座標変換係数A〜Hを示すデータをRAM103に書き込む。
Figure 2013025077
ステップS4において、CPU101は、逆座標変換係数を算出する。この逆座標変換係数は、データとして記憶されている画像(図4(A))からスクリーン2に映し出される画像(図4(B))への変換(以下「逆座標変換」という)を特定するパラメーターである。この逆座標変換は、a〜hの8つの座標変換係数により特定される。CPU101は、既に取得された座標変換係数A〜H及び次式(2)を用いて、逆座標変換係数a〜hを算出する。

Figure 2013025077
ステップS5において、CPU101は、複数の基準点の中から1つの基準点を選択する。例えば、複数の基準点には、識別番号が割り当てられている。CPU101は、識別番号の小さいものから順に、基準点を選択する。ステップS6において、CPU101は、選択された基準点及びこれと隣り合う画素(以下、「隣接画素」という。)について、逆座標変換を行う。具体的には、CPU101は、逆座標変換係数a〜h及び次式(3)を用いて、補正前のOSD画像における座標(xi,yi)に対して逆座標変換を行い、補正後の座標(Xi,Yi)を算出する。
Figure 2013025077
図5は、基準点を例示する図である。図5(A)は、補正前画像のOSD画像5における基準点u1〜u5を示している。基準点u5は、OSD画像5の中心(重心)にある。基準点u1〜u4は、それぞれ、OSD画像5の中心からみて、左上、右上、右下、左下の所定の位置にある。図5(B)は、補正後画像のOSD画像5における基準点U1〜U5を示している。
再び図3を参照する。ステップS7において、CPU101は、基準点における変形率を算出する。この例では、複数の隣接画素との関係において算出された複数の変形率の代表値が、その基準点の変形率として算出される。この例では、複数の変形率の代表値として最小値が用いられる。基準点の画素と一の隣接画素との変形率は、これら2画素の逆座標変換後の距離Dと逆座標変換前の距離dとの比である。ここでは、ユークリッド距離が2点間の距離として用いられる。
図6は、逆座標変換の前後における基準点及び隣接画素を示す図である。図6において、白丸は基準点の画素を、黒丸は隣接画素を、それぞれ示している。この例では、基準点の画素の上下左右、並びに左上、右上、右下、及び左上の計8つの画素が隣接画素として考慮される。図6(A)は、逆座標変換前の基準点及び隣接画素の位置関係を示している。破線は、画素の行及び列を示している。行の破線と列の破線の交点に画素が位置する。図6(B)は、逆座標変換後の基準点及び隣接画素の位置関係を示している。破線は、逆座標変換前の画素の行及び列を示している。図6の例では、逆座標変換により、隣接画素U12と基準点U1との距離、隣接画素U13と基準点U1との距離、及び隣接画素U16と基準点U1との距離が逆座標変換前より短くなっており、隣接画素U11と基準点U1との距離、隣接画素U14と基準点U1との距離、隣接画素U15と基準点U1との距離、隣接画素U17と基準点U1との距離、及び隣接画素U18と基準点U1との距離が逆座標変換前より長くなっている。以下、基準点uiと隣接画素uijとの距離を、距離djと表し、基準点Uiと隣接画素Uijとの距離を、距離Djと表す。CPU101は、基準点uiについて、変形率αiを算出する。この例では、次式(4)のとおり、複数の変形率の最小値が、基準点uiにおける変形率αiとして算出される。
Figure 2013025077
図7の例では、隣接画素U16との関係における変形率が、基準点u1の変形率として採用される。
再び図3を参照する。ステップS8において、CPU101は、全ての基準点に関して変形率が算出されたか判断する。全ての基準点に関して変形率が算出されていないと判断された場合(ステップS8:NO)、CPU101は、処理をステップS5に移行する。全ての基準点に関して変形率が算出されていると判断された場合(ステップS8:YES)、CPU101は、処理をステップS9に移行する。このように、CPU101は、全ての基準点に関して変形率が算出されるまで、ステップS5からステップS7の処理を繰り返す。OSD画像5の例では、基準点u1〜u5の全てについて、それぞれ変形率が決定される。
ステップS9において、CPU101は、OSD画像5におけるOSD変形率を決定する。この例では、ステップS5からステップS7において算出された複数の変形率の代表値が、OSD変形率として決定される。代表値としては、最小値が用いられる。OSD変形率が1に近いほど、台形歪み補正によってOSD画像が変形される度合いが小さい。OSD変形率が0に近いほど、OSD画像の中に、台形歪み補正によって縮小される度合いの大きい部分が存在する。
ステップS10において、CPU101は、OSD変形率に基づいてOSD拡大率を決定する。OSD拡大率とは、OSD画像のサイズを拡大するための倍率を示す値である。この例で、ROM102は、OSD変形率に対してOSD拡大率を決定する関数を記憶している。CPU101は、この関数を用いて、OSD変形率に対応するOSD拡大率を決定する。CPU101は、決定されたOSD拡大率をRAM103に書き込む。
図7は、OSD変形率とOSD拡大率との関係、すなわちOSD拡大率を決定する関数を例示する図である。この関数において、OSD変形率が1以上の領域では、OSD拡大率はOSD変形率によらず1で一定である。OSD変形率が0以上1未満の領域においては、OSD拡大率は、最大値Emから1まで減少する減少関数となっている。
図8は、OSD拡大率の最大値Emを決定する方法を説明する図である。最大値は、拡大後のOSD画像が、主画像のサイズを超えない範囲において、OSD拡大率が最大となるように決定される。OSD画像5の横幅をWo、高さをHoとし、主画像の横幅をWi、高さをHiとすると、最大値Emは、例えば次式(5)により決定される。
Figure 2013025077
図9は、合成画像の生成方法の概要を示す図である。CPU101からOSD描画命令を受けると、OSDスケーラー108は、RAM103に記憶されているOSDデータ及びOSD拡大率を読み出す。OSDスケーラー108は、読み出したOSD拡大率でOSD画像5を拡大する。画像合成部109は、主画像と拡大されたOSD画像5とを合成し、合成画像データを生成する。主画像とOSD画像とを合成する際の主画像とOSD画像との位置関係を示す情報は、ROM102に記憶されている。例えば、OSD画像と主画像とは、重心が一致するように合成される。別の例で、OSD画像と主画像とは、OSD画像の基準点(例えば左上頂点)が、主画像の決められた点に位置するように合成されてもよい。
台形歪み補正部110は、画像合成部109により生成された合成画像データに対して台形歪み補正を行う。具体的には、台形歪み補正部110は、座標変換係数A〜H及び次式(6)を用いて、補正後画像における座標(Xj, Yj)に対して座標変換を行い、合成画像における座標(xj, yj)を算出する。
Figure 2013025077
台形歪み補正部110は、合成画像における座標(xj, yj)の画素の階調値を、補正後画像における座標(Xj, Yj)の画素の階調値としてフレームバッファー1032bに書き込む。式(6)を用いた演算において、合成画像における座標が小数で算出された場合には、対応する階調値が存在しないことになる。この場合、台形歪み補正部110は、例えば特開2010−26870において示される画素補間(畳み込み演算)を行い、合成画像における複数の座標の階調値から一の階調値を算出する。台形歪み補正部110は、画素補間により算出された階調値を、補正後画像における座標(Xj, Yj)の画素の階調値としてフレームバッファー1032bに書き込む。補正後画像についてX及びY座標を走査することにより、補正後画像のすべての画素について、その階調値が決定される。
図10は、OSD変形率に応じたOSD拡大率の決定を行った場合と行わなかった場合とを対比する図である。図10(A)は、本実施形態で説明したように、OSD変形率に応じて決定されたOSD拡大率を用いて合成及び台形歪み補正が行われた画像を例示する図である。図10(B)は、OSD変形率によらず一定(例えば1倍)のOSD拡大率を用いて合成及び台形歪み補正が行われた画像を例示する図である。図10(A)のOSD画像5は、(B)のOSD画像5に比較してサイズが大きくなるので、OSD画像の視認性が向上する。
<変形例>
本発明は、上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下で説明する変形例のうち、2つ以上のものが組み合わされて用いられても良い。
(1)変形例1
基準点の位置は、OSD画像の中心及び四隅に限定されず、OSD画像のどこであってもよい。また、基準点の分布は、均等でなくてもよい。例えば、台形歪み補正により変形が大きく生じることが予想される位置に基準点を設けてもよいし、OSD画像において一番小さい文字が表示される位置に基準点を設けてもよい。また、これらの位置に他の領域よりも多くの基準点を設けてもよい。
(2)変形例2
プロジェクター1は、複数のOSDデータを記憶していてもよい。この場合、複数のOSD画像の中から選択された一のOSD画像が用いられる。この場合において、基準点の位置又は数はOSD画像毎に設定されていてもよい。例えば、OSD画像の形状に応じた位置に基準点が設定されていてもよい。ROM102は、OSD画像と基準点との対応関係を示すデータを記憶する。
(3)変形例3
OSD変形率は、基準点の画素と隣接画素とのユークリッド距離を用いて算出されたものに限定されない。例えば、基準点及び複数の隣接画素について、ある画素と当該画素に水平方向に隣り合う画素との関係で算出された複数の変形率の代表値が、その基準点の変形率として算出されてもよい。この場合、ある画素と当該画素に水平方向に隣り合う画素との変形率は、これら2画素の逆座標変換後の水平方向における距離Dである(変換前の画素間の距離を1とした場合)。同様の例で、ある画素と当該画素に垂直方向に隣り合う画素との関係で算出された複数の変形率の代表値が、その基準点の変形率として算出されてもよい。この場合、ある画素と当該画素に垂直方向に隣り合う画素との変形率は、これら2画素の逆座標変換後の垂直方向における距離Dである。
図11は、変形例3に係る変形率算出の方法を示す図である。図11は、逆座標変換後の基準点及び隣接画素の位置関係を示している。基準点及び隣接画素の位置関係は図6(B)と等しい。図11(A)に示されるD12、D23,D08、D04、D67及びD56は、ある画素と当該画素に水平方向に隣り合う画素との関係で算出される複数の変形率を示している。図11(A)の例では、距離D12〜D56は、逆座標変換前より長くなっている。この例では、CPU101は、基準点u1について、距離D12〜D56のうち最小値であるD23を変形率α1として算出する。図11(B)に示されるD18、D78、D02、D06、D34及びD45は、ある画素と当該画素に垂直方向に隣り合う画素との関係で算出される複数の変形率を示している。この例では、CPU101は、基準点u1について、距離D18〜D45のうち最小値であるD06(並びにD34、D45及びD78)を変形率α1として算出する。
別の例で、基準点及び複数の隣接画素について、ある画素と当該画素に水平方向及び垂直方向に隣り合う画素との関係で算出された複数の変形率の代表値が、その基準点の変形率として算出されてもよい。この場合、上述の水平方向に隣り合う画素との関係で算出された複数の変形率(図11(A))と垂直方向に隣り合う画素との関係で算出された複数の変形率(図11(B))のうち最小値が変形率αiとなる。
(4)変形例4
ステップS7において、対象となる基準点における変形率の算出で用いられる代表値は、複数の変形率の最小値に限定されない。複数の変形率の平均値が、代表値として用いられてもよい。別の例で、複数の変形率のうち特定の順番(例えば、下から2番目)にある変形率が、代表値として用いられてもよい。また、複数の変形率に応じて、用いられる代表値が切り替えられてもよい。例えば、代表値として最小値を用いることが原則として決められている場合に、最小値があらかじめ決められたしきい値より小さいときは、下から2番目の変形率が代表値として用いられてもよい。
(5)変形例5
ステップS9において、OSD変形率として決定される変形率の代表値は、最小値に限定されない。基準点における変形率の平均値、又は基準点における変形率のうち特定の順番(例えば、下から2番目)にある変形率が、代表値とされてもよい。また、基準点の変形率を算出する場合の変形例(変形例4)と同様に、複数の変形率に応じて、用いられる代表値が切り替えられてもよい。
(6)変形例6
変形率の算出で用いられる画素は、基準点の隣接画素に限定されない。例えば、基準点から特定の距離(例えば、5画素分の距離)にある画素との関係で、複数の変形率が算出されてもよい。
(7)変形例7
ステップS2における補正画像のパラメーターを算出する処理は、撮影部115により撮影された画像を用いるものに限定されない。CPU101は、投写軸の理想状態からの傾きを用いて、補正画像のパラメーターを算出してもよい。この場合、プロジェクター1は、傾きセンサー(加速度センサー)を有している。CPU101は、傾きセンサーにより検出された投写軸の理想状態からの傾きから、補正後画像の4頂点の座標(図4(B))を算出する。
(8)その他の変形例
プロジェクター1のハードウェア構成は、図2で説明したものに限定されない。図3で説明したフローおよび各ステップの処理を実行できるのであれば、プロジェクター1はどのようなハードウェア構成を有していてもよい。
第1画像はOSD画像に限定されず、第2画像と合成されて投写される画像であればよい。例えば、第2画像に対して補助的な役割を果たすための画像などであってもよい。
プロジェクター1は台形歪み補正を行うが、「補正処理」はこの台形歪み補正に限定されない。「補正処理」は、合成画像データの変形を行う処理であればよい。
OSD拡大率を決定する関数は図7で説明したものに限定されない。OSD変形率が0以上1未満の領域において、OSD拡大率がOSD変形率に対して非線形であってもよい。
1…プロジェクター、2…スクリーン、3,4…画像、5…OSD画像(第1画像)、101…CPU、102…ROM(記憶手段)、103…RAM、104…映像取得部、105…画像処理部、106…画像スケーラー、107…OSD描画部、108…OSDスケーラー、109…画像合成部(合成画像生成手段)、110…台形歪み補正部(補正手段)、111…パネル駆動部、112…照明光学系(投写手段)、113…液晶パネル(投写手段)、114…投写光学系(投写手段)、115…撮影部、1011…座標変換係数算出部(変換係数取得手段)、1012…第1変形率算出部(変形率算出手段)、1013…第2変形率決定部(変形率決定手段)、1031…OSDバッファー、1032a,1032b…フレームバッファー

Claims (6)

  1. 第1画像を示す第1画像データを記憶した記憶手段と、
    前記第1画像データに対して補正処理を行った場合の、前記第1画像において設定された基準点における第1変形率を算出する変形率算出手段と、
    前記変形率算出手段によって算出された第1変形率に基づいて、前記第1画像の第2変形率を決定する変形率決定手段と、
    第2画像データにより示される第2画像と、前記変形率決定手段により決定された第2変形率に基づいてサイズが変更された前記第1画像とを合成した合成画像を示す合成画像データを生成する合成画像生成手段と、
    前記合成画像生成手段により生成された合成画像データに、前記補正処理を行う補正手段と、
    前記補正処理が行われた前記合成画像データに基づいて前記合成画像を投写する投写手段と
    を有するプロジェクター。
  2. 前記補正処理は、座標変換係数を用いた座標変換処理を含み、
    前記座標変換係数を取得する変換係数取得手段を備え、
    前記変形率算出手段は、前記変換係数取得手段により取得された前記座標変換係数に基づいて、前記第1変形率を算出する
    ことを特徴とする請求項1に記載のプロジェクター。
  3. 前記第1画像においては複数の基準点が設定されており、
    前記変形率算出手段は、前記複数の基準点について前記第1変形率を算出し、
    前記変形率決定手段は、前記複数の基準点について算出された前記第1変形率の代表値に基づいて、前記第2変形率を決定する
    ことを特徴とする請求項1又は2に記載のプロジェクター。
  4. 前記記憶手段は複数の第1画像データを記憶し、
    前記基準点は前記複数の第1画像毎に設定されている
    ことを特徴とする請求項1乃至3のいずれか一項に記載のプロジェクター。
  5. 前記第1画像はOSD(On Screen Display)画像である
    ことを特徴とする請求項1乃至4のいずれか一項に記載のプロジェクター。
  6. 第1画像を示す第1画像データに対して補正処理を行った場合の、前記第1画像において設定された基準点における第1変形率を算出する工程と、
    前記第1変形率に基づいて、前記第1画像の第2変形率を決定する工程と、
    第2画像データにより示される第2画像と、前記第2変形率に基づいてサイズが変更された前記第1画像とを合成した合成画像を示す合成画像データを生成する工程と、
    前記合成画像データに、前記補正処理を行う工程と
    を有するプロジェクターの制御方法。
JP2011159628A 2011-07-21 2011-07-21 プロジェクター及びプロジェクターの制御方法 Expired - Fee Related JP5997882B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011159628A JP5997882B2 (ja) 2011-07-21 2011-07-21 プロジェクター及びプロジェクターの制御方法
US13/547,163 US9224321B2 (en) 2011-07-21 2012-07-12 Projector for performing trapezoidal distortion correction and method of controlling projector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011159628A JP5997882B2 (ja) 2011-07-21 2011-07-21 プロジェクター及びプロジェクターの制御方法

Publications (3)

Publication Number Publication Date
JP2013025077A true JP2013025077A (ja) 2013-02-04
JP2013025077A5 JP2013025077A5 (ja) 2014-08-28
JP5997882B2 JP5997882B2 (ja) 2016-09-28

Family

ID=47555557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011159628A Expired - Fee Related JP5997882B2 (ja) 2011-07-21 2011-07-21 プロジェクター及びプロジェクターの制御方法

Country Status (2)

Country Link
US (1) US9224321B2 (ja)
JP (1) JP5997882B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020203549A1 (ja) * 2019-03-29 2020-10-08

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5870586B2 (ja) * 2011-09-28 2016-03-01 カシオ計算機株式会社 プロジェクタ制御装置、表示装置及びプログラム。
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP5910440B2 (ja) * 2012-09-28 2016-04-27 ソニー株式会社 画像出力装置、画像出力方法、およびプログラム
JP6217110B2 (ja) * 2013-03-29 2017-10-25 セイコーエプソン株式会社 プロジェクターおよび調整方法
JP6306834B2 (ja) 2013-07-24 2018-04-04 キヤノン株式会社 画像処理装置および画像処理方法
JP6228469B2 (ja) * 2014-01-20 2017-11-08 株式会社東芝 画像処理装置、画像処理方法、および画像投影装置
JP6418010B2 (ja) * 2015-03-02 2018-11-07 セイコーエプソン株式会社 画像処理装置、画像処理方法及び表示装置
JP2017191572A (ja) * 2016-04-15 2017-10-19 キヤノン株式会社 画像処理装置及びその方法、プログラム
JP6789720B2 (ja) * 2016-08-10 2020-11-25 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2018125719A (ja) * 2017-02-01 2018-08-09 キヤノン株式会社 システム、情報処理装置、情報処理方法及びプログラム
JP6897191B2 (ja) * 2017-03-17 2021-06-30 セイコーエプソン株式会社 プロジェクターおよびプロジェクターの制御方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246306A (ja) * 2005-03-07 2006-09-14 Seiko Epson Corp プロジェクタ及びその制御方法
JP2008244981A (ja) * 2007-03-28 2008-10-09 Seiko Epson Corp 映像合成装置および映像出力装置
WO2009093359A1 (ja) * 2008-01-25 2009-07-30 Nec Display Solutions, Ltd. 投射型表示装置および字幕表示方法
JP2009216815A (ja) * 2008-03-07 2009-09-24 Sanyo Electric Co Ltd 投写型映像表示装置
JP2009273015A (ja) * 2008-05-09 2009-11-19 Sanyo Electric Co Ltd 投写型映像表示装置
JP2010054550A (ja) * 2008-08-26 2010-03-11 Seiko Epson Corp 画像表示装置、プロジェクタ、プログラムおよび情報記憶媒体
JP2011097336A (ja) * 2009-10-29 2011-05-12 Hitachi Consumer Electronics Co Ltd プレゼンテーションシステム、およびプレゼンテーションシステムの表示装置
JP2012222517A (ja) * 2011-04-06 2012-11-12 Canon Inc 投影装置、その制御方法及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173290A (ja) * 1997-07-03 1999-03-16 Funai Electric Co Ltd メニュー表示装置
JP4252671B2 (ja) * 1999-05-21 2009-04-08 セイコーエプソン株式会社 投射型表示装置
WO2001048551A1 (en) * 1999-12-24 2001-07-05 Matsushita Electric Industrial Co., Ltd. Projector
JP2002158946A (ja) * 2000-11-20 2002-05-31 Seiko Epson Corp プロジェクタおよび画像歪補正方法
JP3646658B2 (ja) * 2001-03-01 2005-05-11 セイコーエプソン株式会社 画像歪みの補正
JP2003153135A (ja) * 2001-11-16 2003-05-23 Sanyo Electric Co Ltd 投射型表示装置
CN100388770C (zh) * 2003-01-09 2008-05-14 皇家飞利浦电子股份有限公司 使图像稳定的视频投影设备和方法
JP3630166B2 (ja) * 2003-06-26 2005-03-16 セイコーエプソン株式会社 投写画像の歪補正量調整
CN100460993C (zh) * 2003-07-17 2009-02-11 三洋电机株式会社 投影型图像显示器
JP3960972B2 (ja) * 2004-01-16 2007-08-15 三洋電機株式会社 投写型映像表示装置
JP2006014233A (ja) 2004-06-29 2006-01-12 Toshiba Corp 投写型プロジェクタの台形歪み補正装置
JP2009200557A (ja) * 2008-02-19 2009-09-03 Seiko Epson Corp プロジェクタ、電子機器、および、プロジェクタの制御方法
JP5217537B2 (ja) 2008-03-18 2013-06-19 セイコーエプソン株式会社 プロジェクタ、電子機器、および、プロジェクタの制御方法
JP5098869B2 (ja) 2008-07-22 2012-12-12 セイコーエプソン株式会社 画像処理装置、画像表示装置および画像データ生成方法
JP5310266B2 (ja) * 2009-05-29 2013-10-09 セイコーエプソン株式会社 プロジェクターおよびその制御方法
US8159760B2 (en) * 2008-08-19 2012-04-17 Seiko Epson Corporation Projector and control method of projector
JP2010152267A (ja) * 2008-12-26 2010-07-08 Seiko Epson Corp プロジェクタ
JP2011033857A (ja) * 2009-08-03 2011-02-17 Seiko Epson Corp プロジェクター及びその制御方法
JP2011065025A (ja) * 2009-09-18 2011-03-31 Sanyo Electric Co Ltd 投写型映像表示装置
JP2011066738A (ja) * 2009-09-18 2011-03-31 Sanyo Electric Co Ltd 投写型映像表示装置
JP5441672B2 (ja) * 2009-12-25 2014-03-12 キヤノン株式会社 投射型表示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246306A (ja) * 2005-03-07 2006-09-14 Seiko Epson Corp プロジェクタ及びその制御方法
JP2008244981A (ja) * 2007-03-28 2008-10-09 Seiko Epson Corp 映像合成装置および映像出力装置
WO2009093359A1 (ja) * 2008-01-25 2009-07-30 Nec Display Solutions, Ltd. 投射型表示装置および字幕表示方法
JP2009216815A (ja) * 2008-03-07 2009-09-24 Sanyo Electric Co Ltd 投写型映像表示装置
JP2009273015A (ja) * 2008-05-09 2009-11-19 Sanyo Electric Co Ltd 投写型映像表示装置
JP2010054550A (ja) * 2008-08-26 2010-03-11 Seiko Epson Corp 画像表示装置、プロジェクタ、プログラムおよび情報記憶媒体
JP2011097336A (ja) * 2009-10-29 2011-05-12 Hitachi Consumer Electronics Co Ltd プレゼンテーションシステム、およびプレゼンテーションシステムの表示装置
JP2012222517A (ja) * 2011-04-06 2012-11-12 Canon Inc 投影装置、その制御方法及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020203549A1 (ja) * 2019-03-29 2020-10-08
WO2020203549A1 (ja) * 2019-03-29 2020-10-08 ローム株式会社 半導体装置、それを用いた車載用ディスプレイシステム、電子機器
JP7161607B2 (ja) 2019-03-29 2022-10-26 ローム株式会社 半導体装置、それを用いた車載用ディスプレイシステム、電子機器

Also Published As

Publication number Publication date
US20130021585A1 (en) 2013-01-24
US9224321B2 (en) 2015-12-29
JP5997882B2 (ja) 2016-09-28

Similar Documents

Publication Publication Date Title
JP5997882B2 (ja) プロジェクター及びプロジェクターの制御方法
US9818377B2 (en) Projection system, image processing apparatus, and correction method
JP4055010B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP5842694B2 (ja) 画像処理装置、プロジェクター、およびプロジェクターの制御方法
JP6089424B2 (ja) 画像処理装置、プロジェクター、およびプロジェクターの制御方法
JP4340923B2 (ja) プロジェクタ、プログラムおよび情報記憶媒体
JP2010288063A (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
JP6155717B2 (ja) 画像処理装置、プロジェクター及び画像処理方法
JP5348022B2 (ja) プロジェクターおよび射影変換処理装置
JP2016085380A (ja) 制御装置、制御方法、及び、プログラム
JP2011193332A (ja) プロジェクターおよび映像の投写方法
JP5348035B2 (ja) プロジェクター
JP6418010B2 (ja) 画像処理装置、画像処理方法及び表示装置
US9761160B2 (en) Image processing device, display apparatus, image processing method, and program
JP2015192177A (ja) 画像処理装置、表示装置、及び、画像処理方法
JP6221287B2 (ja) プロジェクター及びプロジェクターの制御方法
JP2010288062A (ja) プロジェクター、プログラム、情報記憶媒体および画像投写方法
JP5915001B2 (ja) プロジェクター、およびプロジェクターの制御方法
JP3882927B2 (ja) 画像処理システム、プロジェクタおよび画像処理方法
JP2012230302A (ja) 画像生成装置、投射型画像表示装置、画像表示システム、画像生成方法及びコンピュータプログラム
JP5093517B2 (ja) プロジェクタ、プログラム、情報記憶媒体および画像生成方法
JP5353772B2 (ja) プロジェクター
JP2020191586A (ja) 投影装置
JP5531701B2 (ja) プロジェクター
US20230209026A1 (en) Projection method and projector

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140714

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140714

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150708

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151222

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160105

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20160212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160829

R150 Certificate of patent or registration of utility model

Ref document number: 5997882

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees