JP2021190824A - Color irregularity adjustment system, video display device and color irregularity adjustment method - Google Patents

Color irregularity adjustment system, video display device and color irregularity adjustment method Download PDF

Info

Publication number
JP2021190824A
JP2021190824A JP2020094063A JP2020094063A JP2021190824A JP 2021190824 A JP2021190824 A JP 2021190824A JP 2020094063 A JP2020094063 A JP 2020094063A JP 2020094063 A JP2020094063 A JP 2020094063A JP 2021190824 A JP2021190824 A JP 2021190824A
Authority
JP
Japan
Prior art keywords
chromaticity
pixel
correction
ratio
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020094063A
Other languages
Japanese (ja)
Inventor
巳千男 小林
Michio Kobayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp NEC Display Solutions Ltd
Original Assignee
Sharp NEC Display Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp NEC Display Solutions Ltd filed Critical Sharp NEC Display Solutions Ltd
Priority to JP2020094063A priority Critical patent/JP2021190824A/en
Publication of JP2021190824A publication Critical patent/JP2021190824A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Of Color Television Signals (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

To provide a color irregularity adjustment system which does not need to perform calibration of an imaging device, allows even an inexperienced user to easily adjust color irregularity and improves a convergence property of correction data of a pixel value of a display image from a photographed image captured by an inexpensive camera.SOLUTION: A color irregularity adjustment system comprises: a chromaticity distribution detection unit which obtains chromaticity of each pixel of a photographed image of a display screen; a chromaticity ratio calculation unit which obtains a chromaticity ratio being a ratio of a center pixel to the chromaticity of another pixel for each pixel with the chromaticity of the center pixel of the photographed image as reference chromaticity; a chromaticity difference calculation unit which obtains a chromaticity difference between the reference chromaticity and the chromaticity of the other pixel for each pixel; a correction gain generation unit which obtains a correction gain for correcting the pixel value of each pixel of the display image with the chromaticity ratio and a reference chromaticity ratio being the chromaticity ratio used in immediately-previous processing; a correction data generation unit which calculates correction data of each pixel by multiplying each correction gain by the color difference of each pixel; and a pixel value correction unit which corrects the pixel value of each pixel of the display image with the correction data.SELECTED DRAWING: Figure 1

Description

本発明は、色むら調整システム、映像表示装置及び色むら調整方法に関する。 The present invention relates to a color unevenness adjustment system, an image display device, and a color unevenness adjustment method.

画像表示装置においては、表示する画像における画素間に、明るさあるいは色の違いによる色むらが発生する。
例えば、投射型液晶表示装置においては、液晶パネルにおける画素間の透過率のバラツキにより、また直視型表示装置においては、バックライトの照射むらにより、画像における各画素の明るさや色の違いとなり、画素間における色むらが発生する。
特に、表示する画像が大きくなるに従い、画像における場所の各々の間に色むらが顕著となり、画像の見栄えを向上させるために、画像の画素毎に明るさ調整あるいは色調整を行なう必要がある。
In an image display device, color unevenness occurs between pixels in a displayed image due to a difference in brightness or color.
For example, in a projection type liquid crystal display device, the brightness and color of each pixel in the image may differ due to the variation in the transmittance between the pixels in the liquid crystal panel, and in the direct view type display device, due to the uneven irradiation of the backlight. Color unevenness occurs between them.
In particular, as the image to be displayed becomes larger, color unevenness becomes remarkable between each place in the image, and it is necessary to adjust the brightness or color for each pixel of the image in order to improve the appearance of the image.

この色むらの補正は、カメラなどの撮像装置を用いて、画像表示装置が表示する表示画像を撮像し、撮像画像データから表示画像におけるホワイトバランスの分布を検出することで行なわれる。
そして、表示画像におけるホワイトバランスの分布により、画素間の明るさ調整あるいは色調整を行なう補正データを生成し、画像表示装置における表示画像の画素データを補正する(例えば、特許文献1参照)。
This color unevenness correction is performed by capturing a display image displayed by the image display device using an image pickup device such as a camera and detecting the distribution of white balance in the display image from the captured image data.
Then, based on the white balance distribution in the displayed image, correction data for performing brightness adjustment or color adjustment between pixels is generated, and the pixel data of the display image in the image display device is corrected (see, for example, Patent Document 1).

特開平06−217336号公報Japanese Unexamined Patent Publication No. 06-217336

しかしながら、撮像装置におけるゲイン特性(感度特性)とにより、実際に表示されている表示画像における色むらと、撮像装置が撮像した撮像画像における色むらとが異なってしまう。
このため、撮像画像のホワイトバランスやカラーゲインなどが実際の表示画像と異なることにより、表示画像の色むらを十分に補正することが可能な補正データを取得することが困難である。
However, depending on the gain characteristic (sensitivity characteristic) of the image pickup apparatus, the color unevenness in the displayed image actually displayed and the color unevenness in the captured image captured by the image pickup apparatus are different.
Therefore, since the white balance and color gain of the captured image are different from those of the actual displayed image, it is difficult to obtain correction data capable of sufficiently correcting the color unevenness of the displayed image.

また、画像表示装置における画素データとこの画素データに対応して表示する画像出力との出力特性が線形性を有していない。
このため、撮像装置のゲイン特性及び画像表示装置の出力特性の各々により、取得した補正データによる画素データの補正が、画像出力に反映され難い。
上述した問題を解決するため、画素データを調整した後の表示画像を撮像して、表示画像の色むらを補正する補正データを調整して取得する処理を繰返して行なう必要がある。
Further, the output characteristics of the pixel data in the image display device and the image output corresponding to the pixel data do not have linearity.
Therefore, it is difficult for the correction of the pixel data by the acquired correction data to be reflected in the image output due to each of the gain characteristic of the image pickup apparatus and the output characteristic of the image display apparatus.
In order to solve the above-mentioned problem, it is necessary to repeatedly perform the process of capturing the display image after adjusting the pixel data and adjusting and acquiring the correction data for correcting the color unevenness of the display image.

しかし、特許文献1の場合には、ゲイン特性が所定の数値より小さい場合には、色むらを示す色度差が撮像画像から十分に検出できず、微調整を繰返す状態となり、補正データを取得するまでの収束時間が長くなってしまう。
一方、ゲイン特性が所定の数値より大きい場合には、色むらを示す色度差が撮像画像から実際よりも大きく検出され、大まかな調整を繰返す状態となり、補正データの数値が収束せずに発散してしまう。
However, in the case of Patent Document 1, when the gain characteristic is smaller than a predetermined value, the chromaticity difference indicating color unevenness cannot be sufficiently detected from the captured image, and fine adjustment is repeated, and correction data is acquired. It takes a long time to converge.
On the other hand, when the gain characteristic is larger than a predetermined value, the chromaticity difference indicating color unevenness is detected from the captured image to be larger than the actual value, and the rough adjustment is repeated, and the value of the correction data diverges without converging. Resulting in.

このため、色むらの調整に用いる場合、撮像装置のカメラ特性を厳密に管理するか、あるいは事前にカメラ特性を検出して校正データを取得することが考えられる。
しかし、撮像装置を用いた表示画面の色むらの調整を行なう経験が少ないユーザにとって、カメラ特性を厳密に管理することは困難であり、校正データを取得してキャリブレーションを行なうことも容易ではない。
また、高い精度を有する高価な撮像装置が使用できず、精度の低いデジタルカメラを使用する場合、色むらの調整を行なう経験を有するユーザにとっても、カメラ特性を厳密に管理することは困難である。
Therefore, when used for adjusting color unevenness, it is conceivable to strictly control the camera characteristics of the image pickup apparatus or to detect the camera characteristics in advance and acquire calibration data.
However, it is difficult for users who have little experience in adjusting the color unevenness of the display screen using an image pickup device to strictly manage the camera characteristics, and it is not easy to acquire calibration data and perform calibration. ..
Further, when an expensive image pickup device having high accuracy cannot be used and a digital camera having low accuracy is used, it is difficult for a user who has experience in adjusting color unevenness to strictly control the camera characteristics. ..

本発明は、このような事情に鑑みてなされたもので、撮像装置のキャリブレーションを行う必要がなく、経験が少ないユーザにも色むらの調整を容易とし、かつ安価なカメラで撮像した撮像画像から表示画像の画素値の補正データの収束性を向上させる色むら調整システム、映像表示装置及び色むら調整方法を提供する。 The present invention has been made in view of such circumstances, and it is not necessary to calibrate the image pickup device, it is easy for an inexperienced user to adjust the color unevenness, and the captured image captured by an inexpensive camera is used. To provide a color unevenness adjustment system, a video display device, and a color unevenness adjustment method for improving the convergence of correction data of pixel values of a display image.

上述した課題を解決するために、本発明の色むら調整システムは、表示画面に表示された表示画像を撮像した撮像画像における画素の各々の色度を求める色度分布検出部と、撮像画像の中央の画素である中央画素の色度を基準色度として、当該中央画素と他の画素の色度との比である色度比を、当該画素毎に求める色度比算出部と、前記基準色度と、前記他の画素の色度との色差を、当該画素毎に求める色度差算出部と、前記色度比と、前記色度差算出部が直前の算出処理で求めた色度比である参照色度比とにより、前記表示画像における画素の各々の画素値を補正するための補正ゲインを求める補正ゲイン生成部と、前記画素それぞれの前記色差に対して前記補正ゲインそれぞれを乗じて、当該画素の各々の補正データを算出する補正データ生成部と、前記補正データにより前記表示画面に表示する前記表示画像の各々の前記画素値を補正する画素値補正部とを備えることを特徴とする。 In order to solve the above-mentioned problems, the color unevenness adjustment system of the present invention has a chromaticity distribution detection unit that obtains the chromaticity of each pixel in the captured image obtained by capturing the display image displayed on the display screen, and the captured image. The chromaticity ratio calculation unit for obtaining the chromaticity ratio, which is the ratio between the central pixel and the chromaticity of other pixels, with the chromaticity of the central pixel, which is the central pixel, as the reference chromaticity, and the reference. The chromaticity difference calculation unit for obtaining the color difference between the chromaticity and the chromaticity of the other pixels for each pixel, the chromaticity ratio, and the chromaticity obtained by the chromaticity difference calculation unit in the immediately preceding calculation process. A correction gain generator for obtaining a correction gain for correcting each pixel value of a pixel in the display image by a reference chromaticity ratio, which is a ratio, and a correction gain generation unit for multiplying the color difference of each of the pixels by the correction gain. It is characterized by including a correction data generation unit that calculates the correction data of each of the pixels, and a pixel value correction unit that corrects the pixel value of each of the display images displayed on the display screen by the correction data. And.

本発明の映像表示装置は、上記色むら調整システムと、表示パネルと、前記表示パネルに対して前記調整装置が出力する前記画素値を表示させる表示制御部とを備える。 The image display device of the present invention includes the color unevenness adjustment system, a display panel, and a display control unit that displays the pixel value output by the adjustment device on the display panel.

本発明の色むら調整方法は、色度分布検出部が、表示画面に表示された表示画像を撮像した撮像画像における画素の各々の色度を求める色度分布算出過程と、色度比算出部が、撮像画像の中央の画素である中央画素の色度を基準色度として、当該中央画素と他の画素の色度との比である色度比を、当該画素毎に求める色度比算出過程と、
色度差算出部が、前記基準色度と、前記他の画素の色度との色差を、当該画素毎に求める色差算出過程と、補正ゲイン生成部が、前記色度比と、前記色度差算出部が直前の算出処理で求めた色度比である参照色度比とにより、前記表示画像における画素の各々の画素値を補正するための補正ゲインを求める補正ゲイン生成過程と、補正データ生成部が、前記画素の各々の前記色差に対して前記補正ゲインそれぞれを乗じて、当該画素それぞれの補正データを算出する補正データ生成過程と、画素値補正部が、前記補正データにより前記表示画面に表示する前記表示画像の各々の前記画素値を補正する画素値補正過程とを含むことを特徴とする。
In the color unevenness adjusting method of the present invention, the chromaticity distribution detection unit obtains the chromaticity of each pixel in the captured image obtained by capturing the display image displayed on the display screen, and the chromaticity ratio calculation unit. However, the chromaticity ratio is calculated for each pixel, which is the ratio of the central pixel to the chromaticity of other pixels, using the chromaticity of the central pixel, which is the central pixel of the captured image, as the reference chromaticity. The process and
The chromaticity difference calculation unit obtains the chromaticity difference between the reference chromaticity and the chromaticity of the other pixels for each pixel, and the correction gain generation unit determines the chromaticity ratio and the chromaticity. A correction gain generation process for obtaining a correction gain for correcting each pixel value of a pixel in the display image based on a reference chromaticity ratio, which is a chromaticity ratio obtained by the difference calculation unit in the immediately preceding calculation process, and correction data. A correction data generation process in which the generation unit calculates the correction data for each of the pixels by multiplying the color difference of each of the pixels by the correction gain, and the pixel value correction unit uses the correction data to display the display screen. It is characterized by including a pixel value correction process for correcting the pixel value of each of the displayed images to be displayed in.

以上説明したように、本発明によれば、撮像装置のキャリブレーションを行う必要がなく、経験が少ないユーザにも色むらの調整を容易とし、かつ安価なカメラで撮像した撮像画像から表示画像の画素値の補正データの収束性を向上させる色むら調整システム、映像表示装置及び色むら調整方法を提供することが可能となる。 As described above, according to the present invention, it is not necessary to calibrate the image pickup device, it is easy for an inexperienced user to adjust the color unevenness, and the display image is obtained from the captured image captured by an inexpensive camera. It is possible to provide a color unevenness adjustment system, an image display device, and a color unevenness adjustment method for improving the convergence of pixel value correction data.

本発明の一実施形態による色むら調整システムを用いた映像表示装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image display apparatus which used the color unevenness adjustment system by one Embodiment of this invention. 補正ゲインを求めるために用いる色度比の一例を示す概念図である。It is a conceptual diagram which shows an example of the chromaticity ratio used to obtain the correction gain. 本発明の一実施形態による色むら調整システム100による色むら補正を行う補正データの生成処理の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the generation process of the correction data which performs the color unevenness correction by the color unevenness adjustment system 100 by one Embodiment of this invention. 本発明の一実施形態による色むら調整システム100による色むら補正を行う補正データの生成処理の動作例を示す概念図である。It is a conceptual diagram which shows the operation example of the generation processing of the correction data which performs the color unevenness correction by the color unevenness adjustment system 100 by one Embodiment of this invention. 本発明の実施形態による色むら調整システムの概念を説明する図である。It is a figure explaining the concept of the color unevenness adjustment system by embodiment of this invention.

以下、本発明の一実施形態について、図面を参照して説明する。
図1は、本発明の一実施形態による色むら調整システムを用いた映像表示装置の構成例を示すブロック図である。図1において、本実施形態による映像表示装置1は、色むら調整システム100、表示制御部200及び表示パネル300の各々を備えている。本実施形態において、映像表示装置1は、例えば3板式投射型液晶表示装置である。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration example of an image display device using the color unevenness adjustment system according to the embodiment of the present invention. In FIG. 1, the image display device 1 according to the present embodiment includes each of a color unevenness adjustment system 100, a display control unit 200, and a display panel 300. In the present embodiment, the image display device 1 is, for example, a three-panel projection type liquid crystal display device.

色むら調整システム100は、表示パネル300の表示画面における画素の各々の表示特性の差異による色むらを調整するため、外部装置から供給される映像信号の画素値を補正する。
表示制御部200は、色むら調整システム100が補正した映像信号の画素値を、順次、スクリーン2に表示する表示画像の画素値として、フレーム毎に表示パネル300に対して供給する。
表示パネル300は、表示制御部200から供給される映像信号の画素値を、液晶パネル(液晶ライトバルブ)における対応する画素に表示させ、投射光を液晶パネルに照射して、液晶パネルを透過した投射光をスクリーン2に対して投射して、スクリーン2に表示画像を表示する。
The color unevenness adjustment system 100 corrects the pixel value of the video signal supplied from the external device in order to adjust the color unevenness due to the difference in the display characteristics of the pixels on the display screen of the display panel 300.
The display control unit 200 sequentially supplies the pixel values of the video signal corrected by the color unevenness adjustment system 100 to the display panel 300 as pixel values of the display image to be displayed on the screen 2 frame by frame.
The display panel 300 displays the pixel value of the video signal supplied from the display control unit 200 on the corresponding pixel in the liquid crystal panel (liquid crystal light valve), irradiates the liquid crystal panel with the projected light, and transmits the light through the liquid crystal panel. The projected light is projected onto the screen 2 to display the displayed image on the screen 2.

スクリーン2は、例えば、ホームシアターなどで用いる反射式のフロントタイプスクリーンである。
撮像装置3は、例えば、デジタルカメラであり、スクリーン2に表示された表示画像を撮像して、撮像画像データを取得するために用いる。この撮像画像データは、色むら調整システム100に対して供給する。
The screen 2 is a reflective front type screen used in, for example, a home theater.
The image pickup device 3 is, for example, a digital camera, and is used for capturing a display image displayed on the screen 2 and acquiring captured image data. This captured image data is supplied to the color unevenness adjustment system 100.

色むら調整システム100は、撮像画像入力部101、色度分布検出部102、色度比算出部103、色度差算出部104、補正ゲイン生成部105、補正データ生成部106、画素値補正部107、色むら判定部108、撮像画像記憶部109及び補正データテーブル110の各々を備えている。
撮像画像入力部101は、撮像装置3が撮像した撮像画像のデータ(ビットマップテーブル)をUSBケーブルなどを介して入力し、撮像画像からスクリーン2の画像領域のみを輪郭抽出などの処理により抽出し(切り出し)する。
そして、撮像画像入力部101は、抽出した対象撮像画像のデータを、撮像画像記憶部109に対して書き込んで記憶させる。
The color unevenness adjustment system 100 includes an image capture image input unit 101, a chromaticity distribution detection unit 102, a chromaticity ratio calculation unit 103, a chromaticity difference calculation unit 104, a correction gain generation unit 105, a correction data generation unit 106, and a pixel value correction unit. Each of 107, a color unevenness determination unit 108, a captured image storage unit 109, and a correction data table 110 is provided.
The captured image input unit 101 inputs the data (bitmap table) of the captured image captured by the imaging device 3 via a USB cable or the like, and extracts only the image area of the screen 2 from the captured image by processing such as contour extraction. (Cut out).
Then, the captured image input unit 101 writes and stores the data of the extracted target captured image in the captured image storage unit 109.

色度分布検出部102は、対象撮像画像の各々の画素の画素値(例えば、色成分R、G、Bの各々の画素値からなる)を、それぞれの画素値から求めた輝度値により規格化することで色度(例えば、xy色度図における座標値)を求めて、各画素の位置に求めた色度が示された色度分布マップを生成する。
そして、色度分布検出部102は、生成した色度分布マップを、撮像画像記憶部109に書き込んで記憶させる。
The chromaticity distribution detection unit 102 standardizes the pixel value of each pixel of the target captured image (for example, consisting of the pixel values of the color components R, G, and B) based on the brightness value obtained from each pixel value. By doing so, the chromaticity (for example, the coordinate value in the xy chromaticity diagram) is obtained, and a chromaticity distribution map showing the obtained chromaticity at the position of each pixel is generated.
Then, the chromaticity distribution detection unit 102 writes the generated chromaticity distribution map in the captured image storage unit 109 and stores it.

色度比算出部103は、対象撮像画像の画素における代表画素の色度を基準色度とし、色度分布マップにおける画素の各々の色度を除算し、基準色度に対する各画素の色度の色度比を算出し、各画素の位置に求めた色度比が示された色度比分布マップを生成する。
そして、色度比算出部103は、生成した色度比分布マップを、撮像画像記憶部109に書き込んで記憶する。
The chromaticity ratio calculation unit 103 uses the chromaticity of the representative pixel in the pixel of the target captured image as the reference chromaticity, divides the chromaticity of each pixel in the chromaticity distribution map, and determines the chromaticity of each pixel with respect to the reference chromaticity. The chromaticity ratio is calculated, and a chromaticity ratio distribution map showing the obtained chromaticity ratio at the position of each pixel is generated.
Then, the chromaticity ratio calculation unit 103 writes and stores the generated chromaticity ratio distribution map in the captured image storage unit 109.

このとき、色度比算出部103は、一つ前の対象撮像画像から生成された色度比分布マップを参照色度比分布マップとし、新たに入力した対象撮像画像から生成した色度比分布マップを単に色度比分布マップとする識別子を付与し、別々に管理するための処理を行なう。
ここで、代表画素は、対象撮像画像のいずれの画素を用いても良いが、本実施形態においては、例えば、対象撮像画像における画素の中央の画素を用いる。
At this time, the chromaticity ratio calculation unit 103 uses the chromaticity ratio distribution map generated from the previous target captured image as a reference chromaticity ratio distribution map, and the chromaticity ratio distribution generated from the newly input target captured image. An identifier that simply uses the map as a color ratio distribution map is assigned, and processing is performed to manage them separately.
Here, any pixel of the target captured image may be used as the representative pixel, but in the present embodiment, for example, the pixel in the center of the pixel in the target captured image is used.

色度差算出部104は、対象撮像画像の画素における代表画素の色度を基準色度とし、色度分布マップにおける画素の各々の色度を減算し、基準色度に対する各画素の色度の色度差を算出し、各画素の位置に求めた色度差が示された色度差分布マップを生成する。
そして、色度差算出部104は、生成した色度差分布マップを、撮像画像記憶部109に書き込んで記憶する。
The chromaticity difference calculation unit 104 uses the chromaticity of the representative pixel in the pixel of the target captured image as the reference chromaticity, subtracts the chromaticity of each pixel in the chromaticity distribution map, and determines the chromaticity of each pixel with respect to the reference chromaticity. The chromaticity difference is calculated, and a chromaticity difference distribution map showing the obtained chromaticity difference at the position of each pixel is generated.
Then, the chromaticity difference calculation unit 104 writes and stores the generated chromaticity difference distribution map in the captured image storage unit 109.

補正ゲイン生成部105は、撮像画像記憶部109における色度比分布マップ及び参照色度比分布マップの各々を参照し、代表画素の目標色度比から参照色度比を減算した結果を、色度比から参照輝度比を減算した結果により除算して、各画素における補正ゲインを求める。ここで、目標色度比は、代表画素の色度を、代表画素の色度比を除算した数値であるため、基本的には「1」である。参照色度比は、参照色度比分布マップにおける画素の各々の色度比を示している。色度比は、色度比分布マップにおける画素の各々の色度比を示している。 The correction gain generation unit 105 refers to each of the chromaticity ratio distribution map and the reference chromaticity ratio distribution map in the captured image storage unit 109, and subtracts the reference chromaticity ratio from the target chromaticity ratio of the representative pixel to obtain the color. The correction gain for each pixel is obtained by dividing by the result of subtracting the reference brightness ratio from the degree ratio. Here, the target chromaticity ratio is basically "1" because it is a numerical value obtained by dividing the chromaticity of the representative pixel by the chromaticity ratio of the representative pixel. The reference chromaticity ratio indicates the chromaticity ratio of each pixel in the reference chromaticity ratio distribution map. The chromaticity ratio indicates the chromaticity ratio of each pixel in the chromaticity ratio distribution map.

すなわち、補正ゲイン生成部105は、対象撮像画像における画素の各々の色度比及び参照色度比の各々と、代表画素の目標色度比とを用いて、撮像画像における画素それぞれの補正ゲインの算出を行なう。
そして、補正ゲイン生成部105は、各画素の位置に求めた補正ゲインの各々が示された補正ゲイン分布マップを生成する。
そして、補正ゲイン生成部105は、生成した補正ゲイン分布マップを、撮像画像記憶部109に書き込んで記憶する。
That is, the correction gain generation unit 105 uses each of the chromaticity ratio and the reference chromaticity ratio of each pixel in the target captured image and the target chromaticity ratio of the representative pixel to obtain the correction gain of each pixel in the captured image. Make a calculation.
Then, the correction gain generation unit 105 generates a correction gain distribution map in which each of the correction gains obtained at the positions of each pixel is shown.
Then, the correction gain generation unit 105 writes and stores the generated correction gain distribution map in the captured image storage unit 109.

図2は、補正ゲインを求めるために用いる色度比の一例を示す概念図である。
図2(a)は、新たに入力された撮像画像の直前に入力された撮像画像から求めた色度比分布マップにおける色度比、すなわち一つ前に入力した撮像画像から生成された色度比分布マップである参照色度比分布マップにおける参照色度比の一例を示している。
図2(b)は、新たに入力された撮像画像から求めた色度比分布マップにおける色度比の一例を示している。
FIG. 2 is a conceptual diagram showing an example of the chromaticity ratio used to obtain the correction gain.
FIG. 2A shows the chromaticity ratio in the chromaticity ratio distribution map obtained from the captured image input immediately before the newly input captured image, that is, the chromaticity generated from the previously input captured image. An example of the reference chromaticity ratio in the reference chromaticity ratio distribution map, which is a ratio distribution map, is shown.
FIG. 2B shows an example of the chromaticity ratio in the chromaticity ratio distribution map obtained from the newly input captured image.

図2(a)及び図2(b)の各々は、それぞれ同一の画素における色成分R、色成分G、色成分Bの各々の色度比を示している。
本実施形態において、色度比は、色度分布マップの各々の画素の色度から求めた色成分R、色成分G及び色成分Bを、この色度分布マップにおける代表画素の色度から求めた色成分R、色成分G、色成分Bそれぞれを除算し、代表画素の色度から求めた画素値に対する、画素の各々の色成分から求めた画素値の比率を示している。
Each of FIGS. 2 (a) and 2 (b) shows the chromaticity ratio of each of the color component R, the color component G, and the color component B in the same pixel.
In the present embodiment, the chromaticity ratio is obtained by obtaining the color component R, the color component G, and the color component B obtained from the chromaticity of each pixel of the chromaticity distribution map from the chromaticity of the representative pixel in this chromaticity distribution map. The ratio of the pixel value obtained from each color component of the pixel to the pixel value obtained from the chromaticity of the representative pixel by dividing each of the color component R, the color component G, and the color component B is shown.

図2(a)においては、色成分R(Red)の目標色度比が「1.0」であり、参照色度比が「0.7」であり、色成分G(Green)の目標色度比が「1.0」であり、参照色度比が「0.7」であり、色成分B(Blue)の目標色度比が「1.0」であり、参照色度比が「1.2」である。
一方、図2(b)においては、色成分Rの目標色度比が「1.0」であり、色度比が「1.1」であり、色成分Gの目標色度比が「1.0」であり、色度比が「0.9」であり、色成分Bの目標色度比が「1.0」であり、色度比が「0.8」である。
In FIG. 2A, the target chromaticity ratio of the color component R (Red) is “1.0”, the reference chromaticity ratio is “0.7”, and the target color of the color component G (Green). The degree ratio is "1.0", the reference chromaticity ratio is "0.7", the target chromaticity ratio of the color component B (Blue) is "1.0", and the reference chromaticity ratio is "". 1.2 ".
On the other hand, in FIG. 2B, the target chromaticity ratio of the color component R is "1.0", the chromaticity ratio is "1.1", and the target chromaticity ratio of the color component G is "1". It is "0.0", the chromaticity ratio is "0.9", the target chromaticity ratio of the color component B is "1.0", and the chromaticity ratio is "0.8".

このため、補正ゲイン生成部105は、補正ゲインの生成対象の画素の色成分R、色成分G及び色成分Bの各々の、目標色度比、参照色度比、色度比それぞれを、(目標色度比−参照色度比)/(色度比−参照色度比)の式に代入する。
そして、補正ゲイン生成部105は、補正対象の画素における色成分R、色成分G及び色成分Bの各々の画素値の補正データを調整する補正データ調整値(後述)を生成するために用いる色成分R、色成分G、色成分Bそれぞれの補正ゲインを生成する。
Therefore, the correction gain generation unit 105 sets the target chromaticity ratio, the reference chromaticity ratio, and the chromaticity ratio of each of the color component R, the color component G, and the color component B of the pixel for which the correction gain is generated to (. Substitute in the formula of target chromaticity ratio-reference chromaticity ratio) / (chromaticity ratio-reference chromaticity ratio).
Then, the correction gain generation unit 105 is used to generate a correction data adjustment value (described later) for adjusting the correction data of each pixel value of the color component R, the color component G, and the color component B in the pixel to be corrected. The correction gains for each of the component R, the color component G, and the color component B are generated.

図2において、補正ゲイン生成部105は、例えば、色成分Rの補正ゲインとして、(1.0−0.7)/(1.1−0.7)=0.3/0.4=0.75を算出する。また、補正ゲイン生成部105は、色成分Gの補正ゲインとして、(1.0−0.7)/(0.9−0.7)=0.3/0.2=1.5を算出する。同様に、補正ゲイン生成部105は、色成分Bの補正ゲインとして、(1.0−1.2)/(0.8−1.2)=−0.2/−0.4=0.5を算出する。ここで、補正ゲイン生成部105は、補正ゲインを絶対値として算出する。 In FIG. 2, the correction gain generation unit 105 has, for example, (1.0-0.7) / (1.1-0.7) = 0.3 / 0.4 = 0 as the correction gain of the color component R. Calculate .75. Further, the correction gain generation unit 105 calculates (1.0-0.7) /(0.9-0.7)=0.3/0.2=1.5 as the correction gain of the color component G. do. Similarly, the correction gain generation unit 105 sets the correction gain of the color component B as (1.0-1.2) /(0.8-1.2)=-0.2/-0.4=0. 5 is calculated. Here, the correction gain generation unit 105 calculates the correction gain as an absolute value.

図1に戻り、補正データ生成部106は、撮像画像記憶部109における色度差分布マップを参照し、各画素の色度差から求めた色成分R、色成分B及び色成分Bの各々の画素値差を求める。
そして、補正データ生成部106は、補正ゲイン分布マップを参照して、画素の各々の色成分R、色成分G、色成分Bそれぞれを読み出し、対応する画素の色成分R、色成分G、色成分Bに対して乗算し、色成分R、色成分G、色成分B毎に画素値を補正するための補正データを調整する補正データ調整値を算出する。
Returning to FIG. 1, the correction data generation unit 106 refers to the chromaticity difference distribution map in the captured image storage unit 109, and each of the color component R, the color component B, and the color component B obtained from the chromaticity difference of each pixel. Find the pixel value difference.
Then, the correction data generation unit 106 reads out each of the color component R, the color component G, and the color component B of each pixel with reference to the correction gain distribution map, and the color component R, the color component G, and the color of the corresponding pixel. The correction data adjustment value for adjusting the correction data for correcting the pixel value for each of the color component R, the color component G, and the color component B is calculated by multiplying the component B.

また、補正データ生成部106は、求めた補正データ調整値を、補正データテーブル110における補正データ調整値を求めた画素に対応する位置の補正データに加算し、新たな補正データとする。補正データテーブルは、色成分R、色成分G及び色成分Bの各々に対して、画素値(例えば、階調度)毎、あるいは所定の複数の異なる画素値(例えば、階調度0、階調度20、40、…、240、256など)毎に備えられている。 Further, the correction data generation unit 106 adds the obtained correction data adjustment value to the correction data at the position corresponding to the obtained pixel in the correction data table 110 to obtain new correction data. In the correction data table, for each of the color component R, the color component G, and the color component B, each pixel value (for example, gradation degree) or a plurality of predetermined different pixel values (for example, gradation degree 0, gradation degree 20) are obtained. , 40, ..., 240, 256, etc.).

そして、複数の階調度の各々で補正データを設定している場合には、補正データが設定されていない階調度については、設定されていない階調度を挟む補正データにより補完して(直線補完など)算出する。色むら調整システムが初期化された時点においては、全ての補正データテーブルにおける補正データの数値はそれぞれの画素値と同一の画素値にリセットされている。
したがって、複数の画素値に対する補正データテーブルを生成するため、例えば、画素値が異なる複数のグレーカードを用いて、上述した補正データ調整値の算出が行われる。
When the correction data is set for each of the plurality of gradations, the gradations for which the correction data is not set are complemented by the correction data sandwiching the unset gradations (straight line complementation, etc.). )calculate. When the color unevenness adjustment system is initialized, the numerical values of the correction data in all the correction data tables are reset to the same pixel values as the respective pixel values.
Therefore, in order to generate a correction data table for a plurality of pixel values, for example, the above-mentioned correction data adjustment value is calculated using a plurality of gray cards having different pixel values.

画素値補正部107は、外部から供給される映像信号の各フレームにおける画素の色成分R、色成分G及び色成分Bの各々の画素値に対応する補正データテーブル110を参照し、それぞれの補正データを読み出す。
そして、画素値補正部107は、読み出した補正データの画素値を、映像信号のフレームにおける画素の色成分R、色成分G、色成分Bそれぞれの画素値とすることにより、映像信号のフレームにおける画素の画素値の補正を行う。
画素値補正部107は、補正した映像信号のフレームのデータを表示制御部200に対して出力する。
The pixel value correction unit 107 refers to the correction data table 110 corresponding to each pixel value of the color component R, the color component G, and the color component B of the pixel in each frame of the video signal supplied from the outside, and corrects each of them. Read the data.
Then, the pixel value correction unit 107 sets the pixel value of the read correction data as the pixel value of each of the color component R, the color component G, and the color component B of the pixel in the frame of the video signal, so that the frame of the video signal has a pixel value. Correct the pixel value of the pixel.
The pixel value correction unit 107 outputs the frame data of the corrected video signal to the display control unit 200.

これにより、表示制御部200は、色むら調整システム100が補正した映像信号の画素値を、順次、スクリーン2に表示する表示画像の画素値として、フレーム毎に表示パネル300に対して供給する。
表示パネル300は、表示制御部200から供給される映像信号の画素値により、液晶パネルのライトバルブの開口率を制御して、投射光を液晶パネルに照射して、液晶パネルを透過した投射光をスクリーン2に対して投射して、スクリーン2に表示画像を表示する。
As a result, the display control unit 200 sequentially supplies the pixel values of the video signal corrected by the color unevenness adjustment system 100 to the display panel 300 as pixel values of the display image to be displayed on the screen 2 frame by frame.
The display panel 300 controls the aperture ratio of the light valve of the liquid crystal panel by the pixel value of the video signal supplied from the display control unit 200, irradiates the liquid crystal panel with the projected light, and transmits the projected light through the liquid crystal panel. Is projected onto the screen 2 to display the displayed image on the screen 2.

色むら判定部108は、補正データテーブル110が書き換えられる毎に、撮像画像記憶部109における色度差分布マップを参照し、例えば、最大色度差を色むら判定値として抽出する。
そして、色むら判定部108は、抽出した色むら判定値が予め設定された閾値を超えたか否かの判定を行う。色むら判定部108は、色むら判定値が予め設定された閾値以下の場合、所定の色度差範囲に色むら抑制できたとして、色むら調整の処理を終了する。
一方、色むら判定部108は、色むら判定値が予め設定された閾値を超えた場合、所定の色度差範囲に色むら抑制できていないとして、色むら調整の処理を継続する。
Each time the correction data table 110 is rewritten, the color unevenness determination unit 108 refers to the chromaticity difference distribution map in the captured image storage unit 109, and extracts, for example, the maximum chromaticity difference as a color unevenness determination value.
Then, the color unevenness determination unit 108 determines whether or not the extracted color unevenness determination value exceeds a preset threshold value. When the color unevenness determination value is equal to or less than a preset threshold value, the color unevenness determination unit 108 terminates the color unevenness adjustment process, assuming that the color unevenness can be suppressed within a predetermined chromaticity difference range.
On the other hand, when the color unevenness determination value exceeds a preset threshold value, the color unevenness determination unit 108 continues the color unevenness adjustment process, assuming that the color unevenness cannot be suppressed within a predetermined chromaticity difference range.

次に、図3及び図4を用いて、本実施形態による色むら調整システム100による映像信号の画素値を補正する補正データテーブル110の生成の処理を説明する。
図3は、本発明の一実施形態による色むら調整システム100による色むら補正を行う補正データの生成処理の動作例を示すフローチャートである。図4は、本発明の一実施形態による色むら調整システム100による色むら補正を行う補正データの生成処理の動作例を示す概念図である。
Next, the process of generating the correction data table 110 for correcting the pixel value of the video signal by the color unevenness adjustment system 100 according to the present embodiment will be described with reference to FIGS. 3 and 4.
FIG. 3 is a flowchart showing an operation example of a correction data generation process for performing color unevenness correction by the color unevenness adjusting system 100 according to the embodiment of the present invention. FIG. 4 is a conceptual diagram showing an operation example of a correction data generation process for performing color unevenness correction by the color unevenness adjusting system 100 according to the embodiment of the present invention.

ステップS1:映像信号として、色むら調整用のフレームの各画素が同一の画素値である調整用の画像データが色むら調整システム100に対して供給される。
このとき、補正データテーブル110の各画素の画素値に対応する補正データは画素値と同一の画素値が設定されている。
そして、画素値補正部107は、上記フレームの画素における色成分R、色成分G及び色成分Bの画素値を、補正データテーブル110を参照することで補正データを抽出する(図4の色むら補正処理201に対応)。
Step S1: As a video signal, image data for adjustment in which each pixel of the frame for color unevenness adjustment has the same pixel value is supplied to the color unevenness adjustment system 100.
At this time, the correction data corresponding to the pixel value of each pixel in the correction data table 110 is set to have the same pixel value as the pixel value.
Then, the pixel value correction unit 107 extracts correction data by referring to the correction data table 110 for the pixel values of the color component R, the color component G, and the color component B in the pixels of the frame (color unevenness in FIG. 4). Corresponds to the correction process 201).

この時点においては、フレームにおける画素の画素値の各々は補正されていない、入力された時点の数値として、表示制御部200を介して表示パネル300に対して供給される。これにより、表示パネル300は、供給されるフレームの画素の画素値に対応する表示画像をスクリーン2に対して投射する(図4の表示画像処理202に対応)。
ユーザは、撮像装置3によりスクリーン2に表示されている表示画像を撮像し(図4の撮像処理203に対応)、撮像した撮像画像を色むら調整システム100に入力する(図4の撮像画像のデータの取り込み204に対応)。
そして、撮像画像入力部101は、撮像画像から対象撮像画像を抽出し、撮像画像記憶部109に対して書き込んで記憶させる。
At this point, each of the pixel values of the pixels in the frame is supplied to the display panel 300 via the display control unit 200 as an uncorrected numerical value at the time of input. As a result, the display panel 300 projects a display image corresponding to the pixel value of the pixel of the supplied frame to the screen 2 (corresponding to the display image processing 202 of FIG. 4).
The user captures the display image displayed on the screen 2 by the image pickup device 3 (corresponding to the image pickup process 203 of FIG. 4), and inputs the captured image to the color unevenness adjustment system 100 (the captured image of FIG. 4). Corresponds to data capture 204).
Then, the captured image input unit 101 extracts the target captured image from the captured image, writes it to the captured image storage unit 109, and stores it.

ステップS2:色度分布検出部102は、撮像画像記憶部109から対象撮像画像を読み出し、対象撮像画像の各々の画素の画素値を、それぞれの画素値から求めた輝度値により規格化することで色度を求めて、各画素の位置に求めた色度が示された色度分布マップを生成する(図4の色度分布検出205に対応)。
そして、色度分布検出部102は、生成した色度分布マップを、撮像画像記憶部109に書き込んで記憶する。
色度比算出部103は、撮像画像記憶部109の色度分布マップを参照して、対象撮像画像における画素の各々の色度比が示された色度比分布マップを生成し(図4の色度比算出206に対応)、撮像画像記憶部109に書き込んで記憶する。
Step S2: The chromaticity distribution detection unit 102 reads the target captured image from the captured image storage unit 109, and standardizes the pixel value of each pixel of the target captured image by the brightness value obtained from each pixel value. The chromaticity is obtained, and a chromaticity distribution map showing the obtained chromaticity at the position of each pixel is generated (corresponding to the chromaticity distribution detection 205 in FIG. 4).
Then, the chromaticity distribution detection unit 102 writes and stores the generated chromaticity distribution map in the captured image storage unit 109.
The chromaticity ratio calculation unit 103 refers to the chromaticity distribution map of the captured image storage unit 109 to generate a chromaticity ratio distribution map showing the chromaticity ratio of each pixel in the target captured image (FIG. 4). Corresponds to the chromaticity ratio calculation 206), and writes and stores it in the captured image storage unit 109.

ステップS3:補正ゲイン生成部105は、撮像画像記憶部109における参照色度比マップ及び色度比マップを参照し、画素の各々の色成分R、色成分G及び色成分Bの各々の補正ゲインを算出し(図4の補正ゲイン生成207に対応)、補正ゲイン分布マップとして撮像画像記憶部109に書き込んで記憶させる。 Step S3: The correction gain generation unit 105 refers to the reference chromaticity ratio map and the chromaticity ratio map in the captured image storage unit 109, and the correction gain of each of the color component R, the color component G, and the color component B of the pixel. Is calculated (corresponding to the correction gain generation 207 in FIG. 4), and is written and stored in the captured image storage unit 109 as a correction gain distribution map.

ステップS4:色度差算出部104は、撮像画像記憶部109の色度比分布マップを参照して、代表画素と各画素との色度の差である色度差を求める(図4の色度差生成208に対応)。
そして、色度差算出部104は、フレームにおける各画素の色度差を色度差分布マップとして、撮像画像記憶部109に書き込んで記憶する。
補正データ生成部106は、撮像画像記憶部109の補正ゲイン分布マップ及び色度差分布マップを参照し、対応する画素の各々の色度差から求めた画素値差に対して補正ゲインを乗算して補正データ調整値を算出する(図4の乗算処理209に対応)。
また、補正データ生成部106は、補正データテーブル110における補正データに対して、算出した補正データ調整値を加算し(図4の加算処理210に対応)、補正データの変更を行う(図4の補正データ変更211に対応)。
Step S4: The chromaticity difference calculation unit 104 refers to the chromaticity ratio distribution map of the captured image storage unit 109 to obtain the chromaticity difference, which is the difference in chromaticity between the representative pixel and each pixel (color in FIG. 4). Corresponds to degree difference generation 208).
Then, the chromaticity difference calculation unit 104 writes and stores the chromaticity difference of each pixel in the frame as a chromaticity difference distribution map in the captured image storage unit 109.
The correction data generation unit 106 refers to the correction gain distribution map and the chromaticity difference distribution map of the captured image storage unit 109, and multiplies the correction gain by the pixel value difference obtained from the chromaticity difference of each of the corresponding pixels. The correction data adjustment value is calculated (corresponding to the multiplication process 209 in FIG. 4).
Further, the correction data generation unit 106 adds the calculated correction data adjustment value to the correction data in the correction data table 110 (corresponding to the addition process 210 in FIG. 4), and changes the correction data (FIG. 4). Corresponds to the correction data change 211).

ステップS5:映像信号として、色むら調整用のフレームの各画素が同一の画素値である調整用の画像データが色むら調整システム100に対して供給される。
そして、画素値補正部107は、上記フレームの画素における色成分R、色成分G及び色成分Bの画素値を、当該画素値に対応する補正データテーブル110を参照して抽出した補正データにより補正する(図4の色むら補正処理201に対応)。
これにより、表示パネル300は、供給されるフレームの画素の画素値に対応する表示画像をスクリーン2に対して投射する(図4の表示画像処理202に対応)。
ユーザは、撮像装置3によりスクリーン2に表示されている表示画像を撮像し(図4の撮像処理203に対応)、撮像した撮像画像を色むら調整システム100に入力する(図4の撮像画像のデータの取り込み204に対応)。
そして、撮像画像入力部101は、撮像画像から対象撮像画像を抽出し、撮像画像記憶部109に対して書き込んで記憶させる。
Step S5: As a video signal, image data for adjustment in which each pixel of the frame for color unevenness adjustment has the same pixel value is supplied to the color unevenness adjustment system 100.
Then, the pixel value correction unit 107 corrects the pixel values of the color component R, the color component G, and the color component B in the pixels of the frame by the correction data extracted with reference to the correction data table 110 corresponding to the pixel values. (Corresponding to the color unevenness correction process 201 in FIG. 4).
As a result, the display panel 300 projects a display image corresponding to the pixel value of the pixel of the supplied frame to the screen 2 (corresponding to the display image processing 202 of FIG. 4).
The user captures the display image displayed on the screen 2 by the image pickup device 3 (corresponding to the image pickup process 203 of FIG. 4), and inputs the captured image to the color unevenness adjustment system 100 (the captured image of FIG. 4). Corresponds to data capture 204).
Then, the captured image input unit 101 extracts the target captured image from the captured image, writes it to the captured image storage unit 109, and stores it.

ステップS6:色度分布検出部102は、撮像画像記憶部109から対象撮像画像を読み出し、対象撮像画像の各々の画素の画素値を、それぞれの画素値から求めた輝度値により規格化することで色度を求めて、各画素の位置に求めた色度が示された色度分布マップを生成する(図4の色度分布検出205に対応)。
そして、色度比算出部103は、撮像画像記憶部109の色度分布マップを参照して、対象撮像画像における画素の各々の色度比が示された色度比分布マップを生成し(図4の色度比算出206に対応)、撮像画像記憶部109に書き込んで記憶する。
このとき、色度比算出部103は、一つ前の対象撮像画像から生成された色度比分布マップを参照色度比分布マップとし、新たに入力した対象撮像画像から生成した色度比分布マップを単に色度比分布マップとする識別子を付与し、別々に管理するための処理を行なう。
Step S6: The chromaticity distribution detection unit 102 reads the target captured image from the captured image storage unit 109, and standardizes the pixel value of each pixel of the target captured image by the brightness value obtained from each pixel value. The chromaticity is obtained, and a chromaticity distribution map showing the obtained chromaticity at the position of each pixel is generated (corresponding to the chromaticity distribution detection 205 in FIG. 4).
Then, the chromaticity ratio calculation unit 103 refers to the chromaticity distribution map of the captured image storage unit 109 to generate a chromaticity ratio distribution map showing the chromaticity ratio of each pixel in the target captured image (Fig.). (Corresponding to the chromaticity ratio calculation 206 of 4), it is written and stored in the captured image storage unit 109.
At this time, the chromaticity ratio calculation unit 103 uses the chromaticity ratio distribution map generated from the previous target captured image as a reference chromaticity ratio distribution map, and the chromaticity ratio distribution generated from the newly input target captured image. An identifier that simply uses the map as a color ratio distribution map is assigned, and processing is performed to manage them separately.

ステップS7:色むら判定部108は、補正データテーブル110が書き換えられる毎に、撮像画像記憶部109における色度差分布マップを参照し、最大色度差を抽出する。
そして、色むら判定部108は、抽出した色むら判定値が予め設定された閾値を超えたか否かの判定を行う。
このとき、色むら判定部108は、色むら判定値が予め設定された閾値以下の場合、所定の色度差範囲に色むら抑制できたとして、色むら調整の処理を終了する。
一方、色むら判定部108は、色むら判定値が予め設定された閾値を超えた場合、所定の色度差範囲に色むら抑制できていないとして、色むら調整の処理を継続するため、処理をステップS3へ進める。
Step S7: Each time the correction data table 110 is rewritten, the color unevenness determination unit 108 refers to the chromaticity difference distribution map in the captured image storage unit 109 and extracts the maximum chromaticity difference.
Then, the color unevenness determination unit 108 determines whether or not the extracted color unevenness determination value exceeds a preset threshold value.
At this time, when the color unevenness determination value is equal to or less than a preset threshold value, the color unevenness determination unit 108 ends the color unevenness adjustment process, assuming that the color unevenness can be suppressed within a predetermined chromaticity difference range.
On the other hand, when the color unevenness determination value exceeds a preset threshold value, the color unevenness determination unit 108 considers that the color unevenness cannot be suppressed within a predetermined chromaticity difference range and continues the color unevenness adjustment process. To step S3.

上述したように、本実施形態によれば、補正データを変更するための補正データ調整値を、補正した映像信号の画素値がどの程度表示画像に対して反映されるかの程度を、すなわち撮像装置のゲイン特性及び画像表示装置の出力特性の各々の影響を数値化し、補正ゲインとして求めて、撮像画像における標準画素と他の画素との色度差に基づく、補正データ調整値を算出して、この補正データ調整値と補正データとを加算(補正データ調整値を積算)して補正データの変更を行うことにより、色むら判定値を閾値以下にとする処理回数を従来に比較して低減することが可能となるため、補正データを容易に収束させることが容易にでき、かつ撮像装置を用いた表示画面の色むら調整の経験が少ないユーザであっても、撮像装置のキャリブレーションを行う必要がなく、さらに安価なカメラで撮像した撮像画像を用いた色むらの調整を簡易に行うことができる。 As described above, according to the present embodiment, the correction data adjustment value for changing the correction data is reflected in the display image to what extent the pixel value of the corrected video signal is reflected, that is, imaging. The effects of each of the gain characteristics of the device and the output characteristics of the image display device are quantified, obtained as the correction gain, and the correction data adjustment value based on the chromaticity difference between the standard pixel and other pixels in the captured image is calculated. By adding the correction data adjustment value and the correction data (accumulating the correction data adjustment value) and changing the correction data, the number of processes for setting the color unevenness judgment value to the threshold value or less is reduced compared to the conventional method. Therefore, the correction data can be easily converged, and even a user who has little experience in adjusting the color unevenness of the display screen using the image pickup device can calibrate the image pickup device. It is not necessary, and it is possible to easily adjust the color unevenness using the captured image captured by an inexpensive camera.

本実施形態においては、色むら調整システム100を3板式投射型液晶表示装置に適用した例を説明したが、液晶ディスプレイを用いた直視型の画像表示装置(例えば、液晶モニタなど)対しても同様に用いることができる。 In the present embodiment, an example in which the color unevenness adjustment system 100 is applied to a three-panel projection type liquid crystal display device has been described, but the same applies to a direct-view type image display device (for example, a liquid crystal monitor) using a liquid crystal display. Can be used for.

図5は、本発明の実施形態による色むら調整システムの概念を説明する図である。
図5において、色度分布検出部102は、表示画面に表示された表示画像を撮像した撮像画像における画素の各々の色度を求める。
色度比算出部103は、撮像画像の中央の画素である中央画素の色度を基準色度として、当該中央画素と他の画素の色度との比である色度比を、当該画素毎に求める。
色度差算出部104は、上記基準色度と、撮像画像における他の画素の色度との色差を、画素毎に求める。
補正ゲイン生成部105は、色度比と、色度差算出部が直前の算出処理で求めた色度比である参照色度比とにより、表示画像における画素の各々の画素値を補正するための補正ゲインを求める。
補正データ生成部106は、画素毎の色差に対して補正ゲインそれぞれを乗じて、当該画素毎の補正データを算出する。
画素値補正部107は、補正データにより表示画面に表示する表示画像の各々の画素値を補正する。
FIG. 5 is a diagram illustrating a concept of a color unevenness adjustment system according to an embodiment of the present invention.
In FIG. 5, the chromaticity distribution detection unit 102 obtains the chromaticity of each pixel in the captured image obtained by capturing the display image displayed on the display screen.
The chromaticity ratio calculation unit 103 uses the chromaticity of the central pixel, which is the central pixel of the captured image, as a reference chromaticity, and sets the chromaticity ratio, which is the ratio between the central pixel and the chromaticity of other pixels, for each pixel. Ask for.
The chromaticity difference calculation unit 104 obtains the color difference between the reference chromaticity and the chromaticity of other pixels in the captured image for each pixel.
The correction gain generation unit 105 corrects the pixel value of each pixel in the display image by the chromaticity ratio and the reference chromaticity ratio, which is the chromaticity ratio obtained by the chromaticity difference calculation unit in the immediately preceding calculation process. Find the correction gain for.
The correction data generation unit 106 calculates the correction data for each pixel by multiplying the color difference for each pixel by each correction gain.
The pixel value correction unit 107 corrects each pixel value of the display image displayed on the display screen by the correction data.

なお、本発明における図1の色むら調整システム100における表示画面を撮像した撮像画像の画素間の画素値の色差から、補正ゲインを取得して、表示画像における画素の各々の画素値を補正するための補正データの調整を行う機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、反射領域において反射される青色光の光量の調整処理の制御を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。 It should be noted that the correction gain is acquired from the color difference of the pixel values between the pixels of the captured image captured on the display screen in the color unevenness adjustment system 100 of FIG. 1 of the present invention, and the pixel values of the pixels in the display image are corrected. By recording a program for realizing the function of adjusting the correction data for the computer on a computer-readable recording medium, and having the computer system read and execute the program recorded on the recording medium, in the reflection region. You may control the adjustment process of the amount of reflected blue light. The term "computer system" as used herein includes hardware such as an OS and peripheral devices.

また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。 Further, the "computer system" shall also include a WWW system provided with a homepage providing environment (or display environment). Further, the "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, and a storage device such as a hard disk built in a computer system. Furthermore, a "computer-readable recording medium" is a volatile memory (RAM) inside a computer system that serves as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, it shall include those that hold the program for a certain period of time.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 Further, the program may be transmitted from a computer system in which this program is stored in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the "transmission medium" for transmitting a program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Further, the above program may be for realizing a part of the above-mentioned functions. Further, a so-called difference file (difference program) may be used, which can realize the above-mentioned function in combination with a program already recorded in the computer system.

1…映像表示装置
2…スクリーン
3…撮像装置
100…色むら調整システム
101…撮像画像入力部
102…色度分布検出部
103…色度比算出部
104…色度差算出部
105…補正ゲイン生成部
106…補正データ生成部
107…画素値補正部
108…色むら判定部
109…撮像画像記憶部
110…補正データテーブル
200…表示制御部
300…表示パネル
1 ... Image display device 2 ... Screen 3 ... Image pickup device 100 ... Color unevenness adjustment system 101 ... Captured image input section 102 ... Chromaticity distribution detection section 103 ... Chromaticity ratio calculation section 104 ... Chromaticity difference calculation section 105 ... Correction gain generation Unit 106 ... Correction data generation unit 107 ... Pixel value correction unit 108 ... Color unevenness determination unit 109 ... Captured image storage unit 110 ... Correction data table 200 ... Display control unit 300 ... Display panel

Claims (6)

表示画面に表示された表示画像を撮像した撮像画像における画素の各々の色度を求める色度分布検出部と、
撮像画像の中央の画素である中央画素の色度を基準色度として、当該中央画素と他の画素の色度との比である色度比を、当該画素毎に求める色度比算出部と、
前記基準色度と、前記他の画素の色度との色差を、当該画素毎に求める色度差算出部と、
前記色度比と、前記色度差算出部が直前の算出処理で求めた色度比である参照色度比とにより、前記表示画像における画素の各々の画素値を補正するための補正ゲインを求める補正ゲイン生成部と、
前記画素の各々の前記色差に対して前記補正ゲインそれぞれを乗じて、当該画素それぞれの補正データを算出する補正データ生成部と、
前記補正データにより前記表示画面に表示する前記表示画像の各々の前記画素値を補正する画素値補正部と
を備えることを特徴とする色むら調整システム。
A chromaticity distribution detection unit that obtains the chromaticity of each pixel in the captured image obtained by capturing the display image displayed on the display screen, and
With the chromaticity ratio calculation unit that obtains the chromaticity ratio, which is the ratio between the central pixel and the chromaticity of other pixels, using the chromaticity of the central pixel, which is the central pixel of the captured image, as the reference chromaticity. ,
A chromaticity difference calculation unit that obtains the color difference between the reference chromaticity and the chromaticity of the other pixels for each pixel.
The correction gain for correcting the pixel value of each pixel in the display image by the chromaticity ratio and the reference chromaticity ratio, which is the chromaticity ratio obtained by the chromaticity difference calculation unit in the immediately preceding calculation process, is obtained. The desired correction gain generator and
A correction data generation unit that calculates correction data for each pixel by multiplying the color difference of each of the pixels by each of the correction gains.
A color unevenness adjusting system including a pixel value correction unit that corrects the pixel value of each of the displayed images displayed on the display screen by the correction data.
補正ゲイン生成部が、前記基準色度と当該基準色度との比である目標値と前記参照色度比との差分を、前記色度比と前記参照色度比との差分により除算し、当該除算の結果を前記補正ゲインとする
ことを特徴とする請求項1に記載の色むら調整システム。
The correction gain generation unit divides the difference between the target value, which is the ratio between the reference chromaticity and the reference chromaticity, and the reference chromaticity ratio by the difference between the chromaticity ratio and the reference chromaticity ratio. The color unevenness adjustment system according to claim 1, wherein the result of the division is used as the correction gain.
前記補正データ生成部が、前記色差に対して前記補正ゲインを乗じて補正データを生成し、当該補正データを前回の処理で求められた補正データに対して加算して、加算結果を新たな補正データとする
ことを特徴とする請求項2に記載の色むら調整システム。
The correction data generation unit multiplies the color difference by the correction gain to generate correction data, adds the correction data to the correction data obtained in the previous process, and newly corrects the addition result. The color unevenness adjustment system according to claim 2, wherein the data is used.
前記画素値補正部が、入力される入力画素値と当該入力画素値の補正画素値との対応を示すルックアップテーブルを前記表示画面の画素である表示画素の各々に備えており、
前記補正データ生成部が、前記ルックアップテーブルにおける前記入力画素値の各々に前記補正データを加算して、当該入力画素値に対応する前記補正画素値それぞれを求め、当該ルックアップテーブルに書き込み、
前記画素値補正部が、当該表示画素の画素値を前記入力画素値として前記ルックアップテーブルから求められる前記補正画素値を前記表示画面に表示する前記表示画素の画素値とする
ことを特徴とする請求項1から請求項3のいずれか一項に記載の色むら調整システム。
The pixel value correction unit includes a look-up table showing the correspondence between the input input pixel value and the correction pixel value of the input pixel value in each of the display pixels which are the pixels of the display screen.
The correction data generation unit adds the correction data to each of the input pixel values in the lookup table, obtains each of the correction pixel values corresponding to the input pixel value, and writes the correction data to the lookup table.
The pixel value correction unit is characterized in that the pixel value of the display pixel is used as the input pixel value and the correction pixel value obtained from the lookup table is used as the pixel value of the display pixel to be displayed on the display screen. The color unevenness adjustment system according to any one of claims 1 to 3.
請求項1から請求項4のいずれか一項に記載の色むら調整システムと、
表示パネルと、
前記表示パネルに対して前記調整システムが出力する前記画素値を表示させる表示制御部と
を備える映像表示装置。
The color unevenness adjustment system according to any one of claims 1 to 4.
Display panel and
A video display device including a display control unit that displays the pixel value output by the adjustment system on the display panel.
色度分布検出部が、表示画面に表示された表示画像を撮像した撮像画像における画素の各々の色度を求める色度分布算出過程と、
色度比算出部が、撮像画像の中央の画素である中央画素の色度を基準色度として、当該中央画素と他の画素の色度との比である色度比を、当該画素毎に求める色度比算出過程と、
色度差算出部が、前記基準色度と、前記他の画素の色度との色差を、当該画素毎に求める色差算出過程と、
補正ゲイン生成部が、前記色度比と、前記色度差算出部が直前の算出処理で求めた色度比である参照色度比とにより、前記表示画像における画素の各々の画素値を補正するための補正ゲインを求める補正ゲイン生成過程と、
補正データ生成部が、前記画素の各々の前記色差に対して前記補正ゲインそれぞれを乗じて、当該画素それぞれの補正データを算出する補正データ生成過程と、
画素値補正部が、前記補正データにより前記表示画面に表示する前記表示画像の各々の前記画素値を補正する画素値補正過程と
を含むことを特徴とする色むら調整方法。
The chromaticity distribution calculation process in which the chromaticity distribution detection unit obtains the chromaticity of each pixel in the captured image obtained by capturing the display image displayed on the display screen, and
The chromaticity ratio calculation unit uses the chromaticity of the central pixel, which is the central pixel of the captured image, as the reference chromaticity, and determines the chromaticity ratio, which is the ratio between the central pixel and the chromaticity of other pixels, for each pixel. The desired chromaticity ratio calculation process and
A color difference calculation process in which the chromaticity difference calculation unit obtains the chromaticity between the reference chromaticity and the chromaticity of the other pixels for each pixel.
The correction gain generation unit corrects the pixel value of each pixel in the display image by the chromaticity ratio and the reference chromaticity ratio which is the chromaticity ratio obtained by the chromaticity difference calculation unit in the immediately preceding calculation process. The correction gain generation process to obtain the correction gain for
A correction data generation process in which the correction data generation unit calculates the correction data for each of the pixels by multiplying the color difference of each of the pixels by the correction gain.
A color unevenness adjusting method comprising a pixel value correction process in which a pixel value correction unit corrects the pixel value of each of the display images displayed on the display screen by the correction data.
JP2020094063A 2020-05-29 2020-05-29 Color irregularity adjustment system, video display device and color irregularity adjustment method Pending JP2021190824A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020094063A JP2021190824A (en) 2020-05-29 2020-05-29 Color irregularity adjustment system, video display device and color irregularity adjustment method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020094063A JP2021190824A (en) 2020-05-29 2020-05-29 Color irregularity adjustment system, video display device and color irregularity adjustment method

Publications (1)

Publication Number Publication Date
JP2021190824A true JP2021190824A (en) 2021-12-13

Family

ID=78847585

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020094063A Pending JP2021190824A (en) 2020-05-29 2020-05-29 Color irregularity adjustment system, video display device and color irregularity adjustment method

Country Status (1)

Country Link
JP (1) JP2021190824A (en)

Similar Documents

Publication Publication Date Title
US8836796B2 (en) Method and system for display characterization or calibration using a camera device
US7614753B2 (en) Determining an adjustment
JP5772991B2 (en) Electronics
TWI231715B (en) Image display device, image processing method, program, and storage medium
EP1265219B1 (en) Environment adaptive image display system, image processing method and information storing medium
US7129456B2 (en) Method and apparatus for calculating image correction data and projection system
KR102552012B1 (en) Mura compensation system
US20200211502A1 (en) Mura correction system
EP1205902B1 (en) Image display system, image processing method, and information storage medium
Itoh et al. Semi-parametric color reproduction method for optical see-through head-mounted displays
JP2002027491A (en) Image input unit, white balance adjusting method, and computer readable recording medium storing program for executing the method
KR102369148B1 (en) Image capture method and system
CN103200409B (en) Color correction method of multi-projector display system
EP1589748A2 (en) Apparatus, method, and program for processing image
JP7514616B2 (en) Mura correction driver
KR20160130005A (en) Optical compensation system and Optical compensation method thereof
CN106575434B (en) Image processing apparatus, imaging apparatus, and image processing method
US20050062897A1 (en) Method for pre-processing image data
TW200917838A (en) Digital image tone remapping method and apparatus
CN101034538A (en) Gamma distortion calibration device and method using digital signal processing
JP3779927B2 (en) Method and apparatus for correcting the color saturation of electronically acquired images
JP2003067723A (en) Evaluation method of noise appearance in image
JP2021190824A (en) Color irregularity adjustment system, video display device and color irregularity adjustment method
JP2020123138A (en) Image processing system, image processing method, program, and storage medium
KR100723050B1 (en) Method of color correction for display and apparatus thereof