JP2013020093A - Image projection device, color correction method and program - Google Patents

Image projection device, color correction method and program Download PDF

Info

Publication number
JP2013020093A
JP2013020093A JP2011153274A JP2011153274A JP2013020093A JP 2013020093 A JP2013020093 A JP 2013020093A JP 2011153274 A JP2011153274 A JP 2011153274A JP 2011153274 A JP2011153274 A JP 2011153274A JP 2013020093 A JP2013020093 A JP 2013020093A
Authority
JP
Japan
Prior art keywords
image
calibration
color
color correction
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011153274A
Other languages
Japanese (ja)
Other versions
JP5822575B2 (en
Inventor
Toshihiko Yokoyama
敏彦 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011153274A priority Critical patent/JP5822575B2/en
Publication of JP2013020093A publication Critical patent/JP2013020093A/en
Application granted granted Critical
Publication of JP5822575B2 publication Critical patent/JP5822575B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide an image projection device and a color correction method capable of automatically executing calibration of a correction value for color correction and color correction when satisfying preset conditions.SOLUTION: The image projection device for projecting an image corresponding to an input image to a screen 110 comprises: storage means 126 for storing a signal level of an image for calibration and an area where it exists in the screen 110; and control means 118 for causing a calibration of a collection value of each of 3D-LUT103 and 1D-LUT104 and color correction to be automatically executed under a condition that the input image includes the image for calibration.

Description

本発明は、投射画像の色補正を行う画像投射装置、色補正方法およびプログラムに関する。   The present invention relates to an image projection apparatus, a color correction method, and a program for performing color correction of a projected image.

プロジェクタ(画像投射装置)は様々な照明環境下で使用されるが、実際の壁色や照明光の影響を考慮して、入力画像を色補正するための補正値のキャリブレーションを行う必要がある。従来は、使用者は実行ボタンを押すなどしてキャリブレーションを手動で開始していた。   Projectors (image projection devices) are used in various lighting environments, but it is necessary to calibrate correction values for color correction of input images in consideration of the effects of actual wall colors and illumination light. . Conventionally, the user manually starts calibration by pressing an execution button or the like.

例えば、特許文献1では、入力画像の色情報と投影面上の投影画像の色情報を一致させる色変換テーブルを生成し、それに基づいて入力画像の色を色変換し、プロジェクタへ出力する補正色を得るプロジェクタの色補正方法を開示している。   For example, in Patent Document 1, a color conversion table that matches color information of an input image and color information of a projection image on a projection plane is generated, and the color of the input image is color-converted based on the color conversion table and is output to the projector. A projector color correction method for obtaining the above is disclosed.

また、特許文献2は、投射画像がない場合にキャリブレーション画像を投射して、その(CIEの規格に基づく)XYZ値またはRGB値を測定し、測定データに基づいて投影面の色補正用テーブルと輝度補正用テーブルを更新する方法を開示している。   Further, Patent Document 2 projects a calibration image when there is no projection image, measures its XYZ value (based on the CIE standard) or RGB value, and based on the measurement data, a color correction table on the projection surface And a method of updating the brightness correction table.

特開2003−323610号公報JP 2003-323610 A 特許3755593号公報Japanese Patent No. 3755593

特許文献1の色補正方法では、色補正とキャリブレーションの双方を同時に実現する色変換テーブルを生成するためには、キャリブレーション用画像を投射しなければならない。投射中に照明光が変わった場合には色変換テーブルを生成し直す必要があり、使用者がプレゼンテーション中の場合には中断してキャリブレーション用画像を投射しなければならない。   In the color correction method of Patent Document 1, in order to generate a color conversion table that realizes both color correction and calibration at the same time, a calibration image must be projected. If the illumination light changes during projection, it is necessary to regenerate the color conversion table, and if the user is presenting, the user must interrupt and project the calibration image.

また、特許文献2の方法では、色補正用テーブル生成ステップと輝度補正用テーブル生成ステップの間に投射画像がない状態が必要であり、両ステップの処理を行うにはプレゼンテーションを中断して補正するなどの多大な時間を要する。   Further, in the method of Patent Document 2, it is necessary that there is no projection image between the color correction table generation step and the luminance correction table generation step. To perform the processing of both steps, the presentation is interrupted for correction. It takes a lot of time.

本発明は、予め設定された条件が満たされると色補正の補正値のキャリブレーションと色補正を自動的に実行することが可能な画像投射装置、色補正方法および色補正プログラムを提供することを例示的な目的とする。   The present invention provides an image projection apparatus, a color correction method, and a color correction program capable of automatically executing calibration and color correction of correction values for color correction when preset conditions are satisfied. For illustrative purposes.

本発明の画像投射装置は、画像を投射面に投射する画像投射装置であって、色補正用テーブルを使用して入力画像の色を補正し、輝度補正用テーブルを使用して前記入力画像の輝度を補正する色補正手段と、前記入力画像の色情報と前記投射面に投射された画像の反射光の色情報が一致するように前記色補正用テーブルと前記輝度補正用テーブルが保持するそれぞれの補正値のキャリブレーションを行うキャリブレーション手段と、前記キャリブレーションを行うためのキャリブレーション用画像の信号レベルと前記キャリブレーション用画像が前記投射面において存在する領域を記憶する記憶手段と、前記入力画像に前記キャリブレーション用画像が含まれることを条件として前記キャリブレーション手段によるキャリブレーションと前記色補正手段による色補正を自動的に実行させる制御手段と、を有することを特徴とする。   An image projection apparatus according to the present invention is an image projection apparatus that projects an image on a projection surface, corrects the color of an input image using a color correction table, and uses the brightness correction table to correct the input image. Color correction means for correcting the brightness, and the color correction table and the brightness correction table respectively hold so that the color information of the input image and the color information of the reflected light of the image projected on the projection surface match. Calibration means for calibrating the correction value, storage means for storing a signal level of a calibration image for performing the calibration and a region where the calibration image exists on the projection plane, and the input The calibration by the calibration means and the calibration on the condition that the image for calibration is included in the image And having a control unit for automatically performing color correction by the correction means.

本発明によれば、予め設定された条件が満たされると色補正の補正値のキャリブレーションと色補正を自動的に実行することが可能な画像投射装置、色補正方法およびプログラムを提供することができる。   According to the present invention, it is possible to provide an image projection apparatus, a color correction method, and a program capable of automatically executing calibration and color correction of a correction value for color correction when a preset condition is satisfied. it can.

本実施形態の画像投射装置のブロック図である。It is a block diagram of the image projection apparatus of this embodiment. 図1に示す制御手段による動作を説明するためのフローチャートである。It is a flowchart for demonstrating the operation | movement by the control means shown in FIG. 図2に示すS3の詳細を示す図である。It is a figure which shows the detail of S3 shown in FIG. 図2に示すS6の詳細を示すフローチャートである。It is a flowchart which shows the detail of S6 shown in FIG. 図2に示すS9の詳細を示すフローチャートである。It is a flowchart which shows the detail of S9 shown in FIG.

図1は本実施形態の画像投射装置のブロック図である。画像投射装置は、画像を投射面であるスクリーン110に投射する液晶プロジェクタ等から構成される。   FIG. 1 is a block diagram of the image projection apparatus of this embodiment. The image projection apparatus is configured by a liquid crystal projector or the like that projects an image onto a screen 110 that is a projection surface.

画像投射装置は、不図示のパーソナルコンピュータ(PC)、DVDプレーヤ、テレビチューナ等の画像供給装置からの入力映像信号(入力信号)を入力信号処理101が受信する。入力信号がアナログ信号の場合は、入力信号処理101内部のアナログ/ディジタル変換器でディジタル信号に変換される。入力信号がディジタル信号の場合は、ディジタル信号として切替器125を経由し、メニューなどを画面に表示するオンスクリーンディスプレイ(OSD)124から記憶部102、及び画像検出部122に送られる。   In the image projection apparatus, the input signal processing 101 receives an input video signal (input signal) from an image supply apparatus such as a personal computer (PC), a DVD player, or a TV tuner (not shown). When the input signal is an analog signal, it is converted into a digital signal by an analog / digital converter in the input signal processing 101. When the input signal is a digital signal, the digital signal is sent to the storage unit 102 and the image detection unit 122 from the on-screen display (OSD) 124 that displays a menu or the like on the screen via the switch 125.

記憶部102は、三次元ルックアップテーブル(3D−LUT)103と一次元ルックアップテーブル(1D−LUT)104を格納している。3D−LUT103は、色補正に使用される、色域補正テーブルや色温度補正テーブルなどの色補正用テーブルである。1D−LUT104は、輝度補正に使用される、ガンマテーブルやカラーバランステーブルなどの輝度補正用テーブルである。   The storage unit 102 stores a three-dimensional lookup table (3D-LUT) 103 and a one-dimensional lookup table (1D-LUT) 104. The 3D-LUT 103 is a color correction table such as a color gamut correction table or a color temperature correction table used for color correction. The 1D-LUT 104 is a luminance correction table such as a gamma table or a color balance table used for luminance correction.

液晶表示素子駆動回路105は、入力画像に対応する画像を表示する液晶表示素子107の駆動に必要な倍速変換、VTガンマ補正等を行い、液晶表示素子駆動信号を生成する。   The liquid crystal display element driving circuit 105 performs double speed conversion and VT gamma correction necessary for driving the liquid crystal display element 107 that displays an image corresponding to the input image, and generates a liquid crystal display element driving signal.

液晶表示素子107は、高圧水銀ランプを含む照明光学系106から発せられた光によって照明され、液晶表示素子駆動回路105からの液晶表示素子駆動信号による制御に基づいて、入射光を変調する。液晶表示素子107を出射した光束は、投射レンズ108に向かう。投射レンズ108では、ズームレンズなどでズーム動作を行い、液晶表示素子107からの光束を投射光として投射面としてのスクリーン110に投射する。   The liquid crystal display element 107 is illuminated with light emitted from an illumination optical system 106 including a high-pressure mercury lamp, and modulates incident light based on control by a liquid crystal display element drive signal from the liquid crystal display element drive circuit 105. The light beam emitted from the liquid crystal display element 107 is directed to the projection lens 108. The projection lens 108 performs a zoom operation with a zoom lens or the like, and projects the light flux from the liquid crystal display element 107 onto the screen 110 as a projection surface as projection light.

会議室などのスクリーン110は、投射光と共に外光照明109や窓などから入射する太陽光などの外光の影響を受ける。これにより、投射面の反射光の色や輝度は変化する。また、スクリーン110そのものも、理想的な白に対して多少の色の幅を有し、理想的な白でない場合や黒板、淡い青やピンク、黄色などのカラーパーティションなどの場合もある。   The screen 110 such as a conference room is affected by external light such as sunlight incident from the external light illumination 109 or a window together with the projection light. Thereby, the color and brightness of the reflected light on the projection surface change. Further, the screen 110 itself has a slight color width with respect to the ideal white, and may be a non-ideal white, a blackboard, a color partition such as light blue, pink, or yellow.

カラーセンサ111は、例えば、CCDカメラのような2次元のRGB色センサからなり、スクリーン110の投射画像の反射光の互いに異なる波長領域を投射領域全体に亘って検出する。画像領域指定手段120は、スクリーン110において投射画像が存在する領域を指定(検出)する。   The color sensor 111 is a two-dimensional RGB color sensor such as a CCD camera, for example, and detects different wavelength regions of reflected light of the projected image on the screen 110 over the entire projection region. The image area designating unit 120 designates (detects) an area where a projection image exists on the screen 110.

カラーセンサ111の検出結果は、画像比較演算部123の比較演算手段116に送られる。検出結果は、XYZ値を示すデータ、XYZ値から導かれるデータ(例えば、所定の色空間内の座標値、xy色度値等)、XYZ値を導くデータ(例えば、RGB値)などで送られる。画像領域指定手段120による領域情報も、画像比較演算部123の比較演算手段116に送られる。   The detection result of the color sensor 111 is sent to the comparison calculation means 116 of the image comparison calculation unit 123. The detection result is sent as data indicating the XYZ value, data derived from the XYZ value (for example, coordinate values in a predetermined color space, xy chromaticity value, etc.), data deriving the XYZ value (for example, RGB values), and the like. . The region information by the image region specifying unit 120 is also sent to the comparison calculation unit 116 of the image comparison calculation unit 123.

XYZ値は、国際照明委員会(CIE)による色の規格の一種でXYZ値をRGB値に変換可能である。Y値は輝度を示す。即ち、基準となる画像をスクリーン上に投射し、そのスクリーン上の投射画像のXYZ値をカラーセンサ111により検出することで、画像の色と輝度を求めることができる。   The XYZ value is a kind of color standard by the International Commission on Illumination (CIE), and the XYZ value can be converted into an RGB value. The Y value indicates luminance. That is, by projecting a reference image on the screen and detecting the XYZ values of the projected image on the screen by the color sensor 111, the color and brightness of the image can be obtained.

画像比較演算部123は、補正更新判定手段114、補正値記憶手段115、比較演算手段116、センサ基準値記憶手段121を有し、記憶部102のテーブルにおいてキャリブレーションされるべき補正値を演算する。   The image comparison calculation unit 123 includes a correction update determination unit 114, a correction value storage unit 115, a comparison calculation unit 116, and a sensor reference value storage unit 121, and calculates a correction value to be calibrated in the table of the storage unit 102. .

一方、PCなどからの入力信号は、入力信号処理101から切替器125を経由し、画像検出部122に送られる。画像検出部122は、制御手段118の指示に従って入力信号からキャリブレーションに必要な(信号レベルと領域が既知である)基準画像を検出する。   On the other hand, an input signal from a PC or the like is sent from the input signal processing 101 to the image detection unit 122 via the switch 125. The image detection unit 122 detects a reference image (signal level and area are known) necessary for calibration from the input signal in accordance with an instruction from the control unit 118.

画像検出部122は、領域指定部113と画像レベル指定部117を有する。画像検出部122は、入力信号に基づく入力画像にキャリブレーションに使用可能なキャリブレーション用画像または基準画像が含まれているかどうかを検出する。キャリブレーション用画像または基準画像は、記憶手段126に格納されている。基準画像はキャリブレーションに適した画像であるからキャリブレーション用画像として把握されてもよい。   The image detection unit 122 includes an area designation unit 113 and an image level designation unit 117. The image detection unit 122 detects whether the input image based on the input signal includes a calibration image or a reference image that can be used for calibration. The calibration image or the reference image is stored in the storage unit 126. Since the reference image is an image suitable for calibration, it may be grasped as a calibration image.

この結果、画像比較演算部123は、入力画像に記憶手段126に記憶されたキャリブレーション用画像が含まれている場合、記憶部102のテーブルを用いてキャリブレーションされるべき補正値を演算する。   As a result, when the input image includes the calibration image stored in the storage unit 126, the image comparison calculation unit 123 calculates a correction value to be calibrated using the table in the storage unit 102.

制御手段118は、不図示の解像度変換部で、入力信号(映像信号)を赤色用、緑色用、青色用の液晶表示素子107に適した解像度に変換する。そして、変換された映像信号に対して色の補正と輝度の補正を行う。制御手段118は、マイクロコンピュータから構成されている。   The control means 118 is a resolution converter (not shown) that converts the input signal (video signal) to a resolution suitable for the red, green, and blue liquid crystal display elements 107. Then, color correction and luminance correction are performed on the converted video signal. The control means 118 is composed of a microcomputer.

制御手段118は、色補正用テーブルである3D−LUT103を使用して入力画像の色を補正し、輝度補正用テーブルである1D−LUT104を使用して入力画像の輝度を補正する色補正手段として機能する。   The control unit 118 is a color correction unit that corrects the color of the input image using the 3D-LUT 103 that is a color correction table and corrects the luminance of the input image using the 1D-LUT 104 that is a luminance correction table. Function.

また、制御手段118は、入力画像の色情報と投射面に投射された画像の反射光の色情報が一致するように3D−LUT103と1D−LUT104が保持するそれぞれの補正値を補正するキャリブレーション手段としても機能する。   In addition, the control unit 118 performs calibration for correcting the respective correction values held by the 3D-LUT 103 and the 1D-LUT 104 so that the color information of the input image matches the color information of the reflected light of the image projected on the projection surface. It also functions as a means.

制御手段118には、色補正に適するキャリブレーション用画像の信号レベルと領域を記憶する記憶手段126が接続されている。記憶部102と記憶部126が別体である必要はなく、1つの記憶部の中に、それぞれの情報が格納されていてもよい。また、制御手段118と記憶手段126が物理的に接続されていなくても、通信可能であればよい。   The control means 118 is connected to a storage means 126 for storing the signal level and area of a calibration image suitable for color correction. The storage unit 102 and the storage unit 126 do not need to be separate, and each piece of information may be stored in one storage unit. Further, the control unit 118 and the storage unit 126 may be communicable even if they are not physically connected.

また、信号レベルとは、例えば、黒信号や白信号の値やそれに対応する情報である。領域とは、画像のスクリーン110における場所(画面の全体でもよいが画面の右下や左上など)を表している。例えば、記憶手段126は、画面の右下の一定領域にある黒画像や画面の左上の一定領域にある白画像などを格納している。   Further, the signal level is, for example, the value of a black signal or white signal or information corresponding thereto. The area represents a place of the image on the screen 110 (the entire screen may be the lower right or upper left of the screen). For example, the storage unit 126 stores a black image in a certain area at the lower right of the screen, a white image in a certain area at the upper left of the screen, and the like.

制御手段118は、入力画像にキャリブレーション用画像が含まれること(上述したように、これは基準画像が出力されたことを含む)を条件として、テーブルの補正値のキャリブレーションと色補正を自動的に実行する。このように、使用者による操作(ボタンを押すなど)を伴わずに、ある条件が満たされると色補正が自動的に実行される。   The control unit 118 automatically performs calibration of the correction values of the table and color correction on the condition that the calibration image is included in the input image (as described above, this includes the output of the reference image). Run it. In this way, color correction is automatically executed when a certain condition is satisfied without any user operation (such as pressing a button).

画像検出部122の画像レベル指定部117と領域指定部113は、図3の点線に示すように、入力信号の信号レベルと領域を指定(検出)し、記憶手段126に記憶されたキャリブレーションに適した画像を自動的に検出する。そして、画像検出部122は検出結果を画像比較演算部123の比較演算手段116に送信する。画像検出部122は、予め記憶手段126に記憶された信号レベルと領域を設定してもよいし、ユーザの設定により更新され、記憶手段126に記憶された信号レベルと領域を設定してもよい。   The image level specification unit 117 and the region specification unit 113 of the image detection unit 122 specify (detect) the signal level and region of the input signal as indicated by the dotted line in FIG. 3, and use the calibration stored in the storage unit 126. Automatically detect suitable images. Then, the image detection unit 122 transmits the detection result to the comparison calculation unit 116 of the image comparison calculation unit 123. The image detection unit 122 may set the signal level and the region stored in the storage unit 126 in advance, or may set the signal level and the region updated by the user setting and stored in the storage unit 126. .

図3では、xy座標で左上頂点の座標(0,0)と右下頂点の座標(1024,768)を有する矩形領域の全画面において左上頂点の座標(300,200)と右下頂点の座標(680,576)と設定することによって点線で示す対象領域を設定している。入力信号レベル設定ではRGB各色は256ビットとして設定されている。黒信号検出は(0,0,0)+3以下、グレイ50%検出は(128,128,128)±3、白信号検出は(255,255,255)−3以上である。   In FIG. 3, the coordinates of the upper left vertex (300, 200) and the coordinates of the lower right vertex in the entire screen of the rectangular area having the coordinates (0, 0) of the upper left vertex and the coordinates (1024, 768) of the lower right vertex in the xy coordinates. By setting (680, 576), the target area indicated by the dotted line is set. In the input signal level setting, each RGB color is set as 256 bits. Black signal detection is (0, 0, 0) +3 or less, gray 50% detection is (128, 128, 128) ± 3, and white signal detection is (255, 255, 255) −3 or more.

センサ基準値記憶手段121には、キャリブレーションに適した入力信号の条件と、基準スクリーン、及び定められた外光条件によって、工場調整などで調整されたカラーセンサ111の基準となるデータが記憶されている。   The sensor reference value storage unit 121 stores data serving as a reference for the color sensor 111 adjusted by factory adjustment or the like according to input signal conditions suitable for calibration, a reference screen, and predetermined external light conditions. ing.

センサ基準値記憶手段121は、投射画像が理想的な白表示のときの基準値を記憶している。例えば、入力信号が、キャリブレーション用画像の白100%の画像であった場合には、それに対応する白100%表示時の基準値を記憶している。白100%入力時に、センサ基準記憶手段121に記憶された基準値になるように、1D−LUT104または3D−LUT103の値を補正することで投射画面の輝度や色が適当になるように調整される。   The sensor reference value storage unit 121 stores a reference value when the projected image is an ideal white display. For example, when the input signal is a 100% white image of the calibration image, the corresponding reference value at the time of 100% white display is stored. By correcting the value of the 1D-LUT 104 or 3D-LUT 103 so that the reference value stored in the sensor reference storage unit 121 is obtained when white 100% is input, the brightness and color of the projection screen are adjusted appropriately. The

比較演算手段116は、入力信号が画像検出部122により検出されたキャリブレーションに適した画像を含む場合に、センサ基準値記憶手段121に記憶された基準値と、カラーセンサ111により検出された実際のスクリーン上の色情報とを比較する。そして、比較演算手段116は、記憶部102に記憶された各種テーブルの色や輝度の補正値を演算する。そして、比較演算手段116は、1D−LUT104と3D−LUT103の値を補正値記憶手段115に書き込む。書き込まれた補正値は、補正更新判定手段114に送られ、制御手段118の指示するタイミングで1D−LUT104または3D−LUT103の値を最適値(補正値記憶手段115が記憶している補正値)に補正する。   When the input signal includes an image suitable for calibration detected by the image detection unit 122, the comparison calculation unit 116 and the reference value stored in the sensor reference value storage unit 121 and the actual value detected by the color sensor 111. Compare color information on the screen. Then, the comparison calculation means 116 calculates the correction values for the colors and brightness of the various tables stored in the storage unit 102. Then, the comparison calculation unit 116 writes the values of the 1D-LUT 104 and the 3D-LUT 103 in the correction value storage unit 115. The written correction value is sent to the correction update determination means 114, and the value of the 1D-LUT 104 or 3D-LUT 103 is the optimum value (the correction value stored in the correction value storage means 115) at the timing indicated by the control means 118. To correct.

この結果、入力信号に含まれるキャリブレーション用画像をスクリーン投射した状態で、且つ、外光照明やスクリーンの色の影響も加算された状態においても、投射画面の輝度や色が最適値になるように自動調整が行われる。   As a result, even when the calibration image included in the input signal is projected on the screen and the influence of the external light illumination and the color of the screen is added, the brightness and color of the projection screen become the optimum values. Automatic adjustment is performed.

以上は、入力信号の中からキャリブレーション用画像を自動検出して補正を行う場合について説明したが、キャリブレーション用画像がなければ補正は実行されない。   The above describes the case where correction is performed by automatically detecting a calibration image from the input signal. However, if there is no calibration image, the correction is not executed.

そこで、制御手段118は、基準画像出力手段112から、例えば、白100%、黒0%等の信号レベルとそれが存在する領域が既知のキャリブレーションに適した基準画像を出力する。基準画像は、次いで、切替器125に出力され、これに基づいて、記憶部102でキャリブレーション補正を行うことができる。   Therefore, the control means 118 outputs, from the reference image output means 112, for example, a reference image suitable for calibration in which the signal level such as 100% white and 0% black and the region where the signal level exists are known. The reference image is then output to the switch 125, and based on this, calibration correction can be performed in the storage unit 102.

例えば、画像投射装置の状態によって、強制的に内部信号のキャリブレーション用画像を出力してカラーセンサ111の検出値と比較することで1D−LUT104または3D−LUT103の値を最適値に補正することができる。   For example, the value of the 1D-LUT 104 or the 3D-LUT 103 is corrected to the optimum value by forcibly outputting an internal image calibration image and comparing it with the detection value of the color sensor 111 depending on the state of the image projection apparatus. Can do.

キャリブレーションは、強制的にキャリブレーション用画像を出力しても使用者に不都合のない状態を確保した状態、例えば、入力信号が無信号の場合に行われる。その他、例えば、入力信号が切り替わった時、メニュー表示切替時、照明光学系106のランプが消灯した時、ランプの輝度が切り替わった時、ランプが点灯した直後の初期画面において基準画像が出力されてもよい。あるいは、プロジェクタの動作を設定するメニューの表示が切り替えられた時に基準画像が出力されてもよい。あるいは、プレゼンテーションモード、スタンダードモード、シネマモードなどの映画やスポーツなど入力画像の種類に応じて設定された画質を有するイメージモードが切り替えられた時に基準画像が出力されてもよい。これらの条件は、後述する表1の条件に対応する。   The calibration is performed in a state in which a state that is not inconvenient to the user even if the calibration image is forcibly output, for example, when the input signal is no signal. In addition, for example, when the input signal is switched, when the menu display is switched, when the lamp of the illumination optical system 106 is turned off, when the brightness of the lamp is switched, the reference image is output on the initial screen immediately after the lamp is turned on. Also good. Alternatively, the reference image may be output when the display of the menu for setting the operation of the projector is switched. Alternatively, the reference image may be output when an image mode having an image quality set according to the type of input image such as a movie or sports such as a presentation mode, a standard mode, or a cinema mode is switched. These conditions correspond to the conditions in Table 1 described later.

図2は、制御手段118が実行する自動色補正方法のフローチャートである。図2に示す自動色補正方法(後述する図4及び図5に示すフローを含む)において、「S」はステップ(工程)の略である。本補正方法はコンピュータが実行可能なプログラムとして具現化可能であり、この場合、かかるプログラムはコンピュータに以下のステップを行う手段として機能させる。   FIG. 2 is a flowchart of the automatic color correction method executed by the control means 118. In the automatic color correction method shown in FIG. 2 (including the flows shown in FIGS. 4 and 5 described later), “S” is an abbreviation for step. This correction method can be embodied as a computer-executable program. In this case, the program causes the computer to function as means for performing the following steps.

まず、画像投射装置のランプ点灯し、通常使用状態を表す(S1)。次に、リモコンなどの操作部による操作などで自動色補正機能の設定をメニュー操作などで実行する(S2)。   First, the lamp of the image projection apparatus is turned on to indicate a normal use state (S1). Next, the setting of the automatic color correction function is executed by a menu operation or the like by an operation with an operation unit such as a remote controller (S2).

自動色補正設定が選択された場合には(S2のY)、図3に示すように、入力画像の自動色調整を実行するための条件設定をし、入力画像信号から色調整に適した画像の信号レベルや領域を予め設定する(S3)。   When the automatic color correction setting is selected (Y in S2), as shown in FIG. 3, conditions for executing automatic color adjustment of the input image are set, and an image suitable for color adjustment from the input image signal is set. The signal level and area are set in advance (S3).

次に、入力画像信号が色調整に適さない場合に、強制的に基準画像を出力するための条件設定をする(S4)。S4では、表1に示すように、条件1から5のいずれか又は全部を選択し設定する。なお、キャリブレーション用画像は白100%、50%、黒0%信号に限定されず、時間的な制約が少ない場合には、R(赤)、G(緑)、B(青)、C(シアン)、M(マゼンダ)、Y(黄)や各階調も必要により増やすことができる。   Next, when the input image signal is not suitable for color adjustment, conditions are set for forcibly outputting the reference image (S4). In S4, as shown in Table 1, any or all of the conditions 1 to 5 are selected and set. Note that the calibration image is not limited to white 100%, 50%, and black 0% signals. When there are few time restrictions, R (red), G (green), B (blue), and C ( Cyan), M (magenta), Y (yellow) and each gradation can be increased as necessary.

自動色補正設定が選択されない場合(S2のN)またはS4の後で、制御手段118は、S3の条件に一致するかどうかを判断する(S5)。S3の条件に一致する場合には(S5のY)、制御手段118は、センサ基準値とカラーセンサ値とを比較し、補正値を演算および記憶し、記憶部102のテーブルの補正値のキャリブレーションを行う(S6)。   When the automatic color correction setting is not selected (N in S2) or after S4, the control unit 118 determines whether or not the condition of S3 is met (S5). When the condition of S3 is met (Y of S5), the control unit 118 compares the sensor reference value with the color sensor value, calculates and stores the correction value, and calibrates the correction value in the table of the storage unit 102. (S6).

図4は、S6の詳細を説明するためのフローチャートである。   FIG. 4 is a flowchart for explaining details of S6.

まず、制御手段118は、入力画像が静止画かどうかを判断し(S61)、静止画でなければ(S61のN)処理を終了する。静止画であれば(S61のY)、制御手段118は、画像検出部122を介して入力画像領域とレベルを比較演算手段116に通知する(S62)。次に、制御手段118は、カラーセンサ111に領域と検出信号を比較演算手段116に通知させる(S63)。   First, the control means 118 determines whether or not the input image is a still image (S61). If it is not a still image (N in S61), the process is terminated. If the image is a still image (Y in S61), the control unit 118 notifies the comparison calculation unit 116 of the input image area and the level via the image detection unit 122 (S62). Next, the control unit 118 causes the color sensor 111 to notify the comparison calculation unit 116 of the area and the detection signal (S63).

次に、制御手段118は、比較演算手段116を介してセンサ基準値とカラーセンサ値を、プロジェクタの色空間で一致させる補正値を演算する(S64)。色補正値は3D−LUT103に使用され、輝度補正値は1D−LUT104に使用される。   Next, the control unit 118 calculates a correction value for matching the sensor reference value and the color sensor value in the color space of the projector via the comparison calculation unit 116 (S64). The color correction value is used for the 3D-LUT 103, and the luminance correction value is used for the 1D-LUT 104.

次に、制御手段118は、補正値が所定の範囲内であるかどうかを判断し(S65)、所定の範囲内でなければ(S65のN)、処理を終了する。一方、補正値が所定の範囲内であれば(S65のY)、制御手段118は補正値を補正値記憶手段115に記憶し(S66)、補正更新判定手段114を介して補正値を更新すべきかどうかを判定する(S67)。   Next, the control means 118 determines whether or not the correction value is within a predetermined range (S65). If it is not within the predetermined range (N in S65), the process is terminated. On the other hand, if the correction value is within the predetermined range (Y in S65), the control unit 118 stores the correction value in the correction value storage unit 115 (S66) and should update the correction value via the correction update determination unit 114. (S67).

補正更新判定手段114が補正値を更新すべきではないと判定すると(S67のN)、処理を終了する。一方、補正更新判定手段114が補正値を更新すべきであると判定すると(S67のY)、制御手段118は、記憶部102の3D−LUT103と1D−LUT104の値を更新し(S68)、処理を終了する。これにより、入力画像の自動色補正を行う。   When the correction update determination unit 114 determines that the correction value should not be updated (N in S67), the process ends. On the other hand, when the correction update determination unit 114 determines that the correction value should be updated (Y in S67), the control unit 118 updates the values of the 3D-LUT 103 and the 1D-LUT 104 in the storage unit 102 (S68). The process ends. Thereby, automatic color correction of the input image is performed.

S3の条件に一致しない場合(S5のN)またはS6の後で、制御手段118はS4の条件が一致するかどうかを判断する(S7)。S4の条件が一致しない場合(S7のN)、S1に戻る。   When the condition of S3 is not met (N of S5) or after S6, the control means 118 determines whether or not the condition of S4 is matched (S7). If the conditions in S4 do not match (N in S7), the process returns to S1.

一方、S4の条件が一致する場合は(S7のY)、制御手段118は、基準画像出力手段112からの自動色補正用の基準画像を切替器125を経由して強制的に出力して投射する(S8)。   On the other hand, when the condition of S4 matches (Y of S7), the control means 118 forcibly outputs the reference image for automatic color correction from the reference image output means 112 via the switch 125 and projects it. (S8).

また、制御手段118は、基準投射画像とセンサ値を比較し補正値を演算および記憶し記憶部102のテーブルを更新する(S9)。図5は、S9の詳細を説明するためのフローチャートである。   Further, the control unit 118 compares the reference projection image with the sensor value, calculates and stores the correction value, and updates the table in the storage unit 102 (S9). FIG. 5 is a flowchart for explaining details of S9.

まず、制御手段118は、カラーセンサ111の検出結果と画像領域指定手段120が指定した画像領域と検出信号を比較演算手段116に通知させる(S91)。次に、制御手段118は、センサ基準値とカラーセンサ値を、プロジェクタの色空間で一致させる補正値を演算する(S92)。   First, the control means 118 notifies the comparison calculation means 116 of the detection result of the color sensor 111, the image area designated by the image area designation means 120, and the detection signal (S91). Next, the control means 118 calculates a correction value for matching the sensor reference value and the color sensor value in the projector color space (S92).

次に、制御手段118は、基準画像を変更するかどうかを判定し(S93)、基準画像を変更する場合には(S93のY)、基準画像を変更して投射し(S94)、S91に戻る。一方、基準画像を変更しない場合には(S93のN)、補正値が所定の範囲内であるかどうかを判断し(S95)、補正値が所定の範囲内でなければ(S95のN)、処理を終了する。   Next, the control means 118 determines whether or not to change the reference image (S93). When changing the reference image (Y in S93), the reference image is changed and projected (S94). Return. On the other hand, if the reference image is not changed (N in S93), it is determined whether or not the correction value is within a predetermined range (S95). If the correction value is not within the predetermined range (N in S95), The process ends.

一方、補正値が所定の範囲内であれば(S95のY)、制御手段118は補正値を補正値記憶手段115に記憶し(S96)、記憶部102の3D−LUT103と1D−LUT104の値を更新し(S98)、処理を終了する。これにより、基準画像の自動色補正を行う。   On the other hand, if the correction value is within the predetermined range (Y in S95), the control unit 118 stores the correction value in the correction value storage unit 115 (S96), and the values of the 3D-LUT 103 and 1D-LUT 104 in the storage unit 102 are stored. Is updated (S98), and the process is terminated. Thereby, automatic color correction of the reference image is performed.

画像比較演算部123と記憶部102を利用して実行される色再現動作は以下の通りである。即ち、制御手段118は、カラーセンサ111から取り込まれたスクリーン110上の色情報RGB又はXYZ値に基づいた画像投射装置の色空間と入力画像の色情報に基づいた入力信号側の色空間(例えば、sRGB色空間)を利用する。そして、制御手段118は、壁色、スクリーン110の色、照明光の影響下で入力信号と同じ色になるように記憶部102のテーブル補正値を生成する。   The color reproduction operation executed using the image comparison calculation unit 123 and the storage unit 102 is as follows. That is, the control unit 118 is configured to input the color space of the image projection apparatus based on the color information RGB or XYZ values on the screen 110 captured from the color sensor 111 and the color space on the input signal side based on the color information of the input image (for example, , SRGB color space). And the control means 118 produces | generates the table correction value of the memory | storage part 102 so that it may become the same color as an input signal under the influence of a wall color, the color of the screen 110, and illumination light.

本実施形態によれば、入力画像から色補正に適する画像の信号レベルと領域を登録し、入力画像の条件を検出することにより自動色補正を逐次実行し、色補正に適する画像が検出できない場合でも条件に従って基準画像を出力して自動色補正を実行することができる。このため、初期設定だけで使用者の特別な操作なしにスクリーンが着色している場合や照明光が変化しても3D−LUT103と1D−LUT104の補正値を演算・更新して自動色補正をすることができる。また、キャリブレーションに適した入力信号条件と、基準スクリーン、及び定められた外光条件によって工場調整などで調整されたカラーセンサ基準値を用いることで自動色補正機能が実現できる。   According to the present embodiment, when the signal level and region of an image suitable for color correction are registered from the input image, automatic color correction is sequentially performed by detecting the conditions of the input image, and an image suitable for color correction cannot be detected. However, automatic color correction can be performed by outputting a reference image according to conditions. For this reason, automatic color correction is performed by calculating and updating the correction values of the 3D-LUT 103 and the 1D-LUT 104 even when the screen is colored without any special operation of the user only by the initial setting or when the illumination light changes. can do. Further, an automatic color correction function can be realized by using an input signal condition suitable for calibration, a reference screen, and a color sensor reference value adjusted by factory adjustment or the like according to a predetermined external light condition.

以上、本発明の実施形態について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。   As mentioned above, although embodiment of this invention was described, this invention is not limited to these Examples, A various deformation | transformation and change are possible within the range of the summary.

本実施形態の画像投射装置は液晶プロジェクタ等の用途に適用することができる。   The image projection apparatus of this embodiment can be applied to uses such as a liquid crystal projector.

118…制御手段(色補正手段、キャリブレーション手段)、126…記憶手段 118: Control means (color correction means, calibration means), 126 ... Storage means

Claims (9)

画像を投射面に投射する画像投射装置であって、
色補正用テーブルを使用して入力画像の色を補正し、輝度補正用テーブルを使用して前記入力画像の輝度を補正する色補正手段と、
前記入力画像の色情報と前記投射面に投射された画像の反射光の色情報が一致するように前記色補正用テーブルと前記輝度補正用テーブルが保持するそれぞれの補正値のキャリブレーションを行うキャリブレーション手段と、
前記キャリブレーションを行うためのキャリブレーション用画像の信号レベルと前記キャリブレーション用画像が前記投射面において存在する領域を記憶する記憶手段と、
前記入力画像に前記キャリブレーション用画像が含まれることを条件として前記キャリブレーション手段によるキャリブレーションと前記色補正手段による色補正を実行させる制御手段と、
を有することを特徴とする画像投射装置。
An image projection apparatus for projecting an image onto a projection surface,
Color correction means for correcting the color of the input image using the color correction table, and correcting the luminance of the input image using the luminance correction table;
Calibration for calibrating the respective correction values held in the color correction table and the luminance correction table so that the color information of the input image and the color information of the reflected light of the image projected on the projection surface match. Means,
Storage means for storing a signal level of a calibration image for performing the calibration and an area where the calibration image exists on the projection plane;
Control means for executing calibration by the calibration means and color correction by the color correction means on condition that the calibration image is included in the input image;
An image projection apparatus comprising:
前記キャリブレーション用画像を出力する出力手段と、
前記出力手段が前記キャリブレーション用画像を出力すると前記制御手段は前記キャリブレーション手段によるキャリブレーションと前記色補正手段による色補正を実行させることを特徴とする請求項1に記載の画像投射装置。
Output means for outputting the calibration image;
The image projecting apparatus according to claim 1, wherein when the output unit outputs the calibration image, the control unit causes the calibration unit to perform calibration and the color correction unit to perform color correction.
前記出力手段は、前記入力画像が切り替わった時に前記キャリブレーション用画像を出力することを特徴とする請求項2に記載の画像投射装置。   The image projecting apparatus according to claim 2, wherein the output unit outputs the calibration image when the input image is switched. 前記入力画像に対応する画像を表示する表示素子を照明する照明光学系を更に有し、
前記出力手段は、前記照明光学系のランプが消灯したとき、前記ランプの輝度が切り替わったとき、または、前記ランプが点灯した直後の初期画面が投射されたときのいずれかにおいて、前記キャリブレーション用画像を出力することを特徴とする請求項3に記載の画像投射装置。
An illumination optical system that illuminates a display element that displays an image corresponding to the input image;
The output means is used for the calibration either when the lamp of the illumination optical system is turned off, when the brightness of the lamp is switched, or when an initial screen immediately after the lamp is turned on is projected. The image projection apparatus according to claim 3, wherein an image is output.
前記入力画像の種類に応じて設定された画質を有するイメージモードを更に有し、
前記出力手段は、前記イメージモードが切り換えられた時に前記キャリブレーション用画像を出力することを特徴とする請求項3に記載の画像投射装置。
An image mode having an image quality set according to the type of the input image;
The image projecting apparatus according to claim 3, wherein the output unit outputs the calibration image when the image mode is switched.
前記画像投射装置の動作を設定するメニューを更に有し、
前記出力手段は、前記メニューの表示が切り替えられた時に前記キャリブレーション用画像を出力することを特徴とする請求項3に記載の画像投射装置。
A menu for setting the operation of the image projection apparatus;
The image projecting apparatus according to claim 3, wherein the output unit outputs the calibration image when the display of the menu is switched.
前記入力画像が静止画であることを更に条件として前記制御手段は前記キャリブレーション手段によるキャリブレーションと前記色補正手段による色補正を実行させることを特徴とする請求項1ないし6のうちいずれか1項に記載の画像投射装置。   7. The control unit according to claim 1, wherein the control unit executes calibration by the calibration unit and color correction by the color correction unit on the condition that the input image is a still image. The image projection apparatus according to item. 画像を投射面に投射する画像投射装置に使用され、色補正用テーブルを使用して入力画像の色を補正し、輝度補正用テーブルを使用して前記入力画像の輝度を補正する色補正方法であって、
前記入力画像の色情報と前記投射面に投射された画像の反射光の色情報が一致するように前記色補正用テーブルと前記輝度補正用テーブルが保持するそれぞれの補正値のキャリブレーションを行うステップと、
前記キャリブレーションを行うためのキャリブレーション用画像の信号レベルと前記キャリブレーション用画像が前記投射面において存在する領域を記憶するステップと、
前記入力画像に前記キャリブレーション用画像が含まれることを条件としてキャリブレーションと色補正を自動的に実行させるステップと、
を有することを特徴とする色補正方法。
A color correction method that is used in an image projection apparatus that projects an image on a projection surface, corrects the color of an input image using a color correction table, and corrects the brightness of the input image using a brightness correction table. There,
The step of calibrating the correction values held in the color correction table and the luminance correction table so that the color information of the input image and the color information of the reflected light of the image projected on the projection surface coincide with each other. When,
Storing a signal level of a calibration image for performing the calibration and a region where the calibration image exists on the projection plane;
Automatically executing calibration and color correction on condition that the input image includes the calibration image;
A color correction method comprising:
画像を投射面に投射する画像投射装置に使用され、前記画像投射装置のコンピュータに、色補正用テーブルを使用して入力画像の色を補正し、輝度補正用テーブルを使用して前記入力画像の輝度を補正する色補正方法を実行させるためのプログラムであって、
前記コンピュータを、
前記入力画像の色情報と前記投射面に投射された画像の反射光の色情報が一致するように前記色補正用テーブルと前記輝度補正用テーブルが保持するそれぞれの補正値のキャリブレーションを行う手段、
前記キャリブレーションを行うためのキャリブレーション用画像の信号レベルと前記キャリブレーション用画像が前記投射面において存在する領域を記憶する手段、
前記入力画像に前記キャリブレーション用画像が含まれることを条件としてキャリブレーションと色補正を自動的に実行させる手段、
として機能させるためのプログラム。
It is used in an image projection apparatus that projects an image onto a projection surface, and the computer of the image projection apparatus corrects the color of the input image using a color correction table, and uses the brightness correction table to correct the input image. A program for executing a color correction method for correcting luminance,
The computer,
Means for calibrating respective correction values held in the color correction table and the luminance correction table so that the color information of the input image and the color information of the reflected light of the image projected on the projection surface coincide with each other. ,
Means for storing a signal level of a calibration image for performing the calibration and a region where the calibration image exists on the projection plane;
Means for automatically executing calibration and color correction on condition that the input image includes the calibration image;
Program to function as.
JP2011153274A 2011-07-11 2011-07-11 Image projection apparatus, control method for image projection apparatus, and program Expired - Fee Related JP5822575B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011153274A JP5822575B2 (en) 2011-07-11 2011-07-11 Image projection apparatus, control method for image projection apparatus, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011153274A JP5822575B2 (en) 2011-07-11 2011-07-11 Image projection apparatus, control method for image projection apparatus, and program

Publications (2)

Publication Number Publication Date
JP2013020093A true JP2013020093A (en) 2013-01-31
JP5822575B2 JP5822575B2 (en) 2015-11-24

Family

ID=47691585

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011153274A Expired - Fee Related JP5822575B2 (en) 2011-07-11 2011-07-11 Image projection apparatus, control method for image projection apparatus, and program

Country Status (1)

Country Link
JP (1) JP5822575B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100778991B1 (en) * 2001-11-02 2007-11-22 삼성에스디아이 주식회사 A cathode-manufacturing method for minimizing the contact resistance in FED
JP2015088885A (en) * 2013-10-30 2015-05-07 キヤノン株式会社 Image processing apparatus, control method of image processing apparatus, and program
WO2020008543A1 (en) * 2018-07-03 2020-01-09 Eizo株式会社 Measurement method, measurement system, display device, and computer program
CN114222098A (en) * 2021-12-10 2022-03-22 峰米(北京)科技有限公司 Gamma curve adjusting method and device for projection equipment
CN116170568A (en) * 2023-02-15 2023-05-26 浙江必虎科技有限公司 Color temperature calibration method of projection equipment

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100778991B1 (en) * 2001-11-02 2007-11-22 삼성에스디아이 주식회사 A cathode-manufacturing method for minimizing the contact resistance in FED
JP2015088885A (en) * 2013-10-30 2015-05-07 キヤノン株式会社 Image processing apparatus, control method of image processing apparatus, and program
WO2020008543A1 (en) * 2018-07-03 2020-01-09 Eizo株式会社 Measurement method, measurement system, display device, and computer program
US11375084B2 (en) 2018-07-03 2022-06-28 Eizo Corporation Measurement method for measuring a physical property value of light output of a display device
CN114222098A (en) * 2021-12-10 2022-03-22 峰米(北京)科技有限公司 Gamma curve adjusting method and device for projection equipment
CN116170568A (en) * 2023-02-15 2023-05-26 浙江必虎科技有限公司 Color temperature calibration method of projection equipment

Also Published As

Publication number Publication date
JP5822575B2 (en) 2015-11-24

Similar Documents

Publication Publication Date Title
US8870393B2 (en) Image projection apparatus and method of controlling the same including determining a correction table for correcting RGB values of image data
US7114813B2 (en) Image processing system, projector, program, information storage medium and image processing method
US11343478B2 (en) Method of controlling a display system including a plurality of projectors and control device
JP6019859B2 (en) Projector and light emission control method in projector
US8534843B2 (en) Image display apparatus, information processing apparatus, and methods of controlling the same
US11258996B2 (en) Method of controlling display system and control device
JP6657987B2 (en) Projector and projector control method
JP6047968B2 (en) Projector and light emission control method in projector
JP5822575B2 (en) Image projection apparatus, control method for image projection apparatus, and program
JP2012248910A (en) Color correction method of projection display device
US11323673B2 (en) Method for operating control apparatus, and projector
JP2018092007A (en) Image processor and image processing method, program, and storage medium
JP2006267144A (en) Apparatus and method for displaying image
JP2016163228A (en) Display device
US20190394434A1 (en) Projection-type video display device
JP2011135445A (en) Image projection apparatus
JP2017129704A (en) Display device, projector, and method for controlling display device
JP2012248911A (en) Image display device
JP2017010057A (en) Projector and projector light emission control method
JP2017130779A (en) Projector, imaging apparatus, and correction method of captured image
US20230028087A1 (en) Control apparatus, image projection system, control method, and storage medium
US20210168342A1 (en) Method of operation of control device and control device
JP6704722B2 (en) Image processing apparatus and image processing method
JP2007274046A (en) Projection type video display device
JP2006246102A (en) Image display device and projector

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151006

R151 Written notification of patent or utility model registration

Ref document number: 5822575

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees