JP2006146033A - Method and device for calibration in image display device - Google Patents

Method and device for calibration in image display device Download PDF

Info

Publication number
JP2006146033A
JP2006146033A JP2004338713A JP2004338713A JP2006146033A JP 2006146033 A JP2006146033 A JP 2006146033A JP 2004338713 A JP2004338713 A JP 2004338713A JP 2004338713 A JP2004338713 A JP 2004338713A JP 2006146033 A JP2006146033 A JP 2006146033A
Authority
JP
Japan
Prior art keywords
image
filter
color
filters
test pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004338713A
Other languages
Japanese (ja)
Inventor
Hiroshi Sasaki
佐々木  寛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004338713A priority Critical patent/JP2006146033A/en
Publication of JP2006146033A publication Critical patent/JP2006146033A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a calibration device in an image forming apparatus which avoids cost increase as much as possible, with high permeability and less colorimetric error. <P>SOLUTION: In the calibration device which performs colorimetry of three stimulus values (X, Y, Z) using display images by image display devices 102 to 104 which display images in a plurality of primary colors as two-dimensional images, it has a plurality of filters 205 to 210 provided to at least one stimulus value of the respective primary colors according to wavelength bands of the primary colors, a display control means 107 for controlling primary color display of the image display devices 102 to 104 and a selection means 202 for selecting a filter with one characteristic from the plurality of filters 205 to 210, based on display primary colors to be controlled by the display control means 107. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、画像表示装置の色補正を行うキャリブレーション方法および装置に関するものである。   The present invention relates to a calibration method and apparatus for performing color correction of an image display apparatus.

画像表示装置として、複数台のプロジェクタによりスクリーン上に1つの画像を合成して投影表示するマルチプロジェクションシステムが知られている。このようなマルチプロジェクションシステムでは、複数台のプロジェクタから投影された各画像間の色差や輝度差、およびその継ぎ目が目立たないようにする等の対策を講じる必要がある。   As an image display device, a multi-projection system is known in which a single image is synthesized and projected and displayed on a screen by a plurality of projectors. In such a multi-projection system, it is necessary to take measures such as making color differences and luminance differences between images projected from a plurality of projectors and the joints inconspicuous.

そこで、本出願人は、スクリーン上にキャリブレーション用の画像を投影し、それをデジタルカメラ等の撮影手段で撮影して、得られた撮影データに基づいて各種の補正を行うようにした画像表示装置を既に提案している(例えば、特許文献1、特許文献2参照)。   Therefore, the present applicant projects an image for calibration on a screen, images the image with a photographing means such as a digital camera, and performs various corrections based on the obtained photographing data. An apparatus has already been proposed (see, for example, Patent Document 1 and Patent Document 2).

特許文献1,2に開示の画像表示装置では、撮影したテストパターン画像から、スクリーンと複数のプロジェクタとの相対位置関係、およびプロジェクタ間の色差や輝度差、プロジェクタ内の色むらや輝度むらを測定して、幾何補正パラメータおよび色補正パラメータを算出し、その算出したパラメータを用いて画像補正を行うことにより、大画面のシームレスで高解像度、高画質な画像を投影することを可能としている。   The image display devices disclosed in Patent Documents 1 and 2 measure the relative positional relationship between the screen and a plurality of projectors, the color difference and luminance difference between the projectors, and the color unevenness and brightness unevenness in the projector from the captured test pattern image. Then, by calculating geometric correction parameters and color correction parameters and performing image correction using the calculated parameters, it is possible to project a large screen seamless, high-resolution, high-quality image.

特に、プロジェクタ間の色差補正には、各プロジェクタの中心部分を測色計等により測色して、測色した3刺激値(X、Y、Z)がプロジェクタ間で一致するように補正マトリックスを算出して入力信号に対して補正をかけ、プロジェクタ内の色むらや輝度むら補正については、既定レベルの原色表示をデジタルカメラ等で撮影して、2次元位置での原色レベル比、輝度レベル比を補正することにより均一化するという処理を行っている。   In particular, for color difference correction between projectors, the central portion of each projector is measured with a colorimeter or the like, and a correction matrix is set so that the measured tristimulus values (X, Y, Z) match between the projectors. The input signal is calculated and corrected, and with respect to color unevenness and brightness unevenness correction in the projector, a primary color display at a predetermined level is photographed with a digital camera or the like, and the primary color level ratio and brightness level ratio at a two-dimensional position are taken. The process of making uniform by correcting is performed.

なお、上記測色計による3刺激値(X、Y、Z)の測定を行う理由は、マルチプロジェクションシステムを構成するプロジェクタ間の光源の分光分布ばらつきによる。   The reason why the tristimulus values (X, Y, Z) are measured by the colorimeter is due to variations in the spectral distribution of the light source between the projectors constituting the multi-projection system.

以下、3板式のプロジェクタを例にとって説明する。   Hereinafter, a three-plate projector will be described as an example.

このプロジェクタは、主な光学素子として、白色光源(キセノンや高圧水銀ランプ等)、特定波長光分離手段(ダイクロイックミラーやクロスプリズム等)、変調素子(液晶ライトバルブやDMD素子等)、変調光合成手段(ダイクロイックミラーやクロスプリズム等)、投影レンズを有しており、白色光源として使用されるキセノンランプや高圧水銀ランプから発せられた光は、特定波長光分離手段である2つのダイクロイックミラー、或いは1つのクロスプリズムにより、赤(R)、緑(G)および青(B)の3つの原色光に分離される。   This projector includes, as main optical elements, a white light source (xenon, high-pressure mercury lamp, etc.), specific wavelength light separation means (dichroic mirror, cross prism, etc.), modulation element (liquid crystal light valve, DMD element, etc.), modulated light synthesis means The light emitted from a xenon lamp or high-pressure mercury lamp that has a projection lens (such as a dichroic mirror or a cross prism) and is used as a white light source is two dichroic mirrors that are specific wavelength light separating means, or 1 The light is separated into three primary color lights of red (R), green (G) and blue (B) by two cross prisms.

ここで、3つに分離される波長帯域は、ダイクロイック膜の特性に依存するが、プロジェクタによらずほぼ同様な波長帯域をとり、この波長帯域内での強度分布は光源の分光分布ばらつき等によりプロジェクタ毎に異なるのが一般的である。   Here, although the wavelength band separated into three depends on the characteristics of the dichroic film, it takes almost the same wavelength band regardless of the projector, and the intensity distribution within this wavelength band depends on the spectral distribution variation of the light source, etc. Generally, it is different for each projector.

分離された各原色光は、液晶ライトバルブやDMD素子等の変調素子にて2次元変調されて各原色画像が生成され、これら原色画像はクロスプリズム等で合成された後、投影レンズを介してスクリーン上にカラー画像として表示される。   Each separated primary color light is two-dimensionally modulated by a modulation element such as a liquid crystal light valve or a DMD element to generate each primary color image. These primary color images are synthesized by a cross prism or the like and then passed through a projection lens. Displayed as a color image on the screen.

上記したように分離された3原色光の強度分布の違いは、3原色の絶対的な色(例えばXYZ表色系での座標値)がプロジェクタ毎に異なることを意味する。これら異なる3原色により任意の色を加法混色によって生成する場合、複数プロジェクタ間で色差を感じることなく、見た目に同一色になるよう制御するには、複数プロジェクタのXYZ表色系での3原色ベクトルを精度良く測定する必要がある。そのため、特許文献1に開示されているように、プロジェクタの3原色を測色計により投影中央位置で測定しているわけである。   The difference in intensity distribution of the three primary colors separated as described above means that the absolute colors of the three primary colors (for example, coordinate values in the XYZ color system) are different for each projector. When an arbitrary color is generated by additive color mixing using these three different primary colors, the three primary color vectors in the XYZ color system of the plurality of projectors can be controlled so that the same color is visually observed without feeling a color difference between the plurality of projectors. Must be measured with high accuracy. Therefore, as disclosed in Patent Document 1, the three primary colors of the projector are measured at the projection center position by a colorimeter.

測定に使用する測色計には、対象物の微小エリア(点)の分光強度(スペクトル)測定を行い、XYZ等色関数との積分演算により3刺激値(X、Y、Z)を出力するものと、2次元エリアセンサとXYZ等色関数の分光透過率を持ったフィルタにより3刺激値(X、Y、Z)を画像として出力する2次元測色計とがあるが、いずれも、あらゆる分光反射率を示す任意の対象物での測色が可能である一方、非常に高価な装置となっている。   The colorimeter used for the measurement measures the spectral intensity (spectrum) of a minute area (point) of the object and outputs tristimulus values (X, Y, Z) by integration with XYZ color matching functions. There are two-dimensional colorimeters that output tristimulus values (X, Y, Z) as images using a two-dimensional area sensor and a filter having spectral transmittance of XYZ color matching functions. While it is possible to perform color measurement on an arbitrary object exhibiting spectral reflectance, the apparatus is very expensive.

また、上記の2次元測色計の例としては、図19に示すように、デジタルカメラ等からなる撮像部1901の撮像レンズ1903の前面に、図20に示すようなXYZ等色関数の分光透過率特性400、500、600に一致する3枚の色フィルタ(X、Y、Zフィルタ)1905、1906、1907と、フィルタ無しの開口部1908と、遮光状態で撮像素子のパターンノイズを測定するための遮光部1909とを同心円状に保持したターレット1904を配置し、このターレット1904をターレット回転制御部1902により適宜回転させて、X、Y、Zフィルタ1905、1906、1907を撮像レンズ1903の前面に順次位置させて撮影することによりX、Y、Z画像を得るようにしたものが知られている。   Further, as an example of the above two-dimensional colorimeter, as shown in FIG. 19, the spectral transmission of XYZ color matching functions as shown in FIG. 20 is provided on the front surface of the imaging lens 1903 of the imaging unit 1901 composed of a digital camera or the like. In order to measure the pattern noise of the image sensor in a light-shielded state, three color filters (X, Y, and Z filters) 1905, 1906, and 1907 that match the rate characteristics 400, 500, and 600, an opening 1908 that has no filter. A turret 1904 that concentrically holds the light-shielding portion 1909 is disposed, and the turret 1904 is appropriately rotated by a turret rotation control unit 1902 so that X, Y, Z filters 1905, 1906, and 1907 are placed on the front surface of the imaging lens 1903. There are known X, Y, and Z images obtained by sequentially positioning and photographing.

ところが、図19に示すような2次元測色計では、等色関数に対して完全に一致するフィルタを設計することができないため、測色精度が上がらないという問題がある。   However, the two-dimensional colorimeter as shown in FIG. 19 has a problem that the colorimetric accuracy does not increase because a filter that completely matches the color matching function cannot be designed.

この2次元測色計の測色精度を向上させる測色方法として、例えば、各刺激値(X、Y、Z)に対するメインフィルタとサブフィルタとで別々に撮影し、メインフィルタとその等色関数との全波長域での誤差関数値を低減するように、メインフィルタとサブフィルタとの撮影画像にかける係数を決定して、係数の掛かった撮影画像を足し合わせることにより各刺激値画像を得るようにしたものも知られている(例えば、特許文献3参照)。
特開2002−72359号公報 特開2002−116500号公報 特開2002−372457号公報
As a colorimetric method for improving the colorimetric accuracy of this two-dimensional colorimeter, for example, a main filter and a sub-filter for each stimulus value (X, Y, Z) are photographed separately, and the main filter and its color matching function In order to reduce the error function value in the entire wavelength range, a coefficient to be applied to the captured images of the main filter and the sub-filter is determined, and each stimulus value image is obtained by adding the captured images multiplied by the coefficients. The thing which did it is also known (for example, refer patent document 3).
JP 2002-72359 A JP 2002-116500 A JP 2002-372457 A

しかしながら、上記の特許文献3に開示のような分光透過率の色フィルタを、安価で且つ高透過率という2つの条件を満足して作成するのが難しい。   However, it is difficult to produce a color filter having a spectral transmittance as disclosed in the above-mentioned Patent Document 3 while satisfying two conditions of low cost and high transmittance.

例えば、色フィルタを安価に作成するため、ゼラチンフィルタで構成すると、Xフィルタの2つの山を持つ分光透過率(図20の400)を1枚のゼラチンフィルタで得るのは難しい。これを解決するため、たとえ1つの山のみを形成するようにしたとしても、多数枚のゼラチンフィルタの重ね合わせが必要で広い波長域において分光透過率を一致させようとすると、透過率が低下して暗いフィルタとなり、その結果、撮影画像のS/Nが低下して十分な測色精度が得られなくなり、逆に、十分なS/Nを確保して測色精度を高くしようとすると、露出時間が必要以上に長くなって、テストパターン画像を撮影し終わるまでの時間が余計にかかってしまうことになる。   For example, if a gelatin filter is used to make a color filter inexpensively, it is difficult to obtain a spectral transmittance (400 in FIG. 20) having two peaks of the X filter with a single gelatin filter. In order to solve this problem, even if only one peak is formed, it is necessary to superimpose a large number of gelatin filters, and if the spectral transmittance is matched in a wide wavelength range, the transmittance decreases. As a result, the S / N of the photographed image decreases and sufficient colorimetric accuracy cannot be obtained. Conversely, if sufficient S / N is secured to increase the colorimetric accuracy, exposure The time becomes longer than necessary, and it takes extra time until the test pattern image is completely shot.

また、XYZフィルタを干渉フィルタで作成すると、非常に高価になると共に、干渉フィルタは分光透過率が角度依存性を持つため、撮像素子と干渉フィルタとの間にテレセントリックなレンズを挿入する必要があり、構成が複雑になると共に、更なるコストアップを招くことになる。   In addition, when an XYZ filter is made of an interference filter, it becomes very expensive, and the interference filter has an angular dependence on the spectral transmittance, so it is necessary to insert a telecentric lens between the image sensor and the interference filter. As a result, the configuration becomes complicated and the cost is further increased.

したがって、かかる事情に鑑みてなされた本発明の目的は、コストアップをできるだけ避け、高透過率で、測色誤差が少ない画像表示装置におけるキャリブレーション方法および装置を提供することにある。   Accordingly, an object of the present invention made in view of such circumstances is to provide a calibration method and apparatus in an image display apparatus that avoids cost increase as much as possible, has high transmittance, and has little colorimetric error.

上記目的を達成する請求項1に係る発明は、複数の原色により画像を表示する画像表示装置による表示画像を2次元画像として3刺激値(X、Y、Z)を測色するキャリブレーション方法において、
上記画像表示装置の原色表示を制御する工程と、
上記各原色の少なくとも1つの刺激値に対して設けられた複数のフィルタから、表示制御された原色に基づいて1つの特性のフィルタを選択する工程と、
を含むことを特徴とするものである。
The invention according to claim 1 that achieves the above object is a calibration method for measuring tristimulus values (X, Y, Z) using a display image by an image display device that displays an image with a plurality of primary colors as a two-dimensional image. ,
Controlling the primary color display of the image display device;
Selecting a filter with one characteristic based on the display-controlled primary color from a plurality of filters provided for at least one stimulus value of each primary color;
It is characterized by including.

請求項2に係る発明は、複数の原色により画像を表示する画像表示装置による表示画像を2次元画像として3刺激値(X、Y、Z)を測色するキャリブレーション装置において、
上記各原色の少なくとも1つの刺激値に対して、該原色の波長帯域に応じて設けられた複数のフィルタと、
上記画像表示装置の原色表示を制御する表示制御手段と、
上記表示制御手段により制御する表示原色に基づいて、上記複数のフィルタから1つの特性のフィルタを選択する選択手段と、
を有することを特徴とするものである。
The invention according to claim 2 is a calibration device for measuring tristimulus values (X, Y, Z) using a display image by an image display device that displays an image with a plurality of primary colors as a two-dimensional image.
A plurality of filters provided in accordance with a wavelength band of the primary color for at least one stimulus value of each primary color;
Display control means for controlling primary color display of the image display device;
Selection means for selecting a filter having one characteristic from the plurality of filters based on a display primary color controlled by the display control means;
It is characterized by having.

請求項3に係る発明は、請求項2に記載のキャリブレーション装置において、上記画像表示装置は複数台のプロジェクタからなることを特徴とするものである。   According to a third aspect of the present invention, in the calibration device according to the second aspect, the image display device includes a plurality of projectors.

請求項4に係る発明は、請求項2または3に記載のキャリブレーション装置において、上記1つの特性のフィルタは、複数のフィルタの組み合わせからなることを特徴とするものである。   According to a fourth aspect of the present invention, in the calibration apparatus according to the second or third aspect, the one characteristic filter is a combination of a plurality of filters.

請求項5に係る発明は、請求項4に記載のキャリブレーション装置において、上記複数のフィルタの組み合わせは、複数特性の軟質フィルム状フィルタの組み合わせからなることを特徴とするものである。   The invention according to claim 5 is the calibration apparatus according to claim 4, wherein the combination of the plurality of filters is a combination of soft film filters having a plurality of characteristics.

請求項6に係る発明は、請求項4に記載のキャリブレーション装置において、上記複数のフィルタの組み合わせは、複数特性の軟質フィルム状フィルタの組み合わせと、1つの特性の干渉フィルタとからなることを特徴とするものである。   The invention according to claim 6 is the calibration apparatus according to claim 4, wherein the combination of the plurality of filters includes a combination of soft film filters having a plurality of characteristics and an interference filter having one characteristic. It is what.

請求項7に係る発明は、請求項2に記載のキャリブレーション装置において、上記複数のフィルタは着脱可能であることを特徴とするものである。   The invention according to claim 7 is the calibration apparatus according to claim 2, wherein the plurality of filters are detachable.

請求項1の発明によると、画像表示装置の原色の波長帯域にのみ最適なフィルタを設計できるので、フィルタの透過率低下を抑えながら、該波長帯域内の分光感度を等色関数に一致させることができる。したがって、原色におけるXYZ表色系での3刺激値の2次元測色を十分な測色精度で、且つ安価に実現できるばかりでなく、撮影時間を短縮することができる。   According to the first aspect of the present invention, an optimum filter can be designed only in the wavelength band of the primary color of the image display device, so that the spectral sensitivity in the wavelength band is matched with the color matching function while suppressing a decrease in the transmittance of the filter. Can do. Therefore, it is possible not only to realize two-dimensional color measurement of tristimulus values in the XYZ color system for primary colors with sufficient color measurement accuracy and at low cost, but also to shorten the photographing time.

請求項2の発明によると、請求項1と同様に、画像表示装置の原色の波長帯域にのみ最適なフィルタを設計できるので、フィルタの透過率低下を抑えながら、該波長帯域内の分光感度を等色関数に一致させることができ、これにより原色におけるXYZ表色系での3刺激値の2次元測色を十分な測色精度で、且つ安価に実現できるばかりでなく、撮影時間を短縮することができる。   According to the invention of claim 2, as in the case of claim 1, an optimum filter can be designed only for the wavelength band of the primary color of the image display device, so that the spectral sensitivity within the wavelength band can be reduced while suppressing the decrease in the transmittance of the filter. It is possible to match with the color matching function, thereby not only realizing the two-dimensional colorimetry of the tristimulus values in the XYZ color system in the primary colors with sufficient colorimetric accuracy and at a low cost, but also shortening the photographing time. be able to.

請求項3の発明によると、請求項2と同様の作用効果が得られる他、複数のプロジェクタにより投影された画像間の色差や輝度差および各画像内の色むらや輝度むらを補正することができる。   According to the invention of claim 3, in addition to the same effect as that of claim 2, it is possible to correct the color difference and brightness difference between images projected by a plurality of projectors, and the color unevenness and brightness unevenness in each image. it can.

請求項4の発明によると、請求項2と同様の作用効果が得られる他、複数特性のフィルタを組み合わせることにより、画像表示装置の各原色に対応するフィルタの波長帯域内における分光特性をより理想的な最適形状にすることができ、測色精度の更なる向上が期待できる。   According to the invention of claim 4, in addition to the same effect as that of claim 2, the spectral characteristics within the wavelength band of the filter corresponding to each primary color of the image display device can be made more ideal by combining a plurality of filters. It is possible to achieve an optimal shape, and further improvement in colorimetric accuracy can be expected.

請求項5の発明によると、請求項4と同様の作用効果が得られる他、所望の特性のフィルタをより安価に作成することができる。   According to the invention of claim 5, in addition to the same effect as that of claim 4, a filter having desired characteristics can be produced at a lower cost.

請求項6の発明によると、請求項4と同様の作用効果が得られる他、画像表示装置の各原色に対応するフィルタの波長帯域外における分光感度特性をほぼゼロに押さえることができるので、黒となる入力信号レベル(入力信号レベルがゼロ)の画像に対しても各原色の測色が可能となる。   According to the invention of claim 6, in addition to the same effect as that of claim 4, the spectral sensitivity characteristic outside the wavelength band of the filter corresponding to each primary color of the image display device can be suppressed to almost zero. Thus, it is possible to measure each primary color even for an input signal level (input signal level is zero).

請求項7の発明によると、画像表示装置の原色の分光出力特性が標準的で無い場合には、最適なフィルタに置き換えることができるので、必要な測色精度を維持することができる。   According to the invention of claim 7, when the spectral output characteristic of the primary color of the image display device is not standard, it can be replaced with an optimum filter, so that necessary colorimetric accuracy can be maintained.

以下、本発明の実施の形態について、図面を参照して説明する。   Embodiments of the present invention will be described below with reference to the drawings.

(第1実施の形態)
図1〜図13は本発明の第1実施の形態を示すもので、図1はキャリブレーション装置を含むマルチプロジェクションシステムの一例を示す模式図、図2は図1のキャリブレーションカメラの概略構成を示す斜視図、図3は図1のキャリブレーションカメラに内蔵されたIRカットフィルタの分光透過率特性を示す図、図4は図1のキャリブレーションカメラにおける3つのXフィルタの分光感度特性例を示す図、図5は同じく2つのYフィルタの分光感度特性例を示す図、図6は同じくZフィルタの分光感度特性例を示す図、図7はマルチプロジェクションシステムの機能構成を示すブロック図、図8は幾何キャリブレーションを行うための表示画像例を示す図、図9は色キャリブレーションを行うための表示画像例を示す図、図10はキャリブレーション処理全体を示すフローチャート、図11は図10の色テストパターン画像撮影処理内でのカラーマトリックステストパターン画像の撮影手順を示すフローチャート、図12は同じくγカーブテストパターン画像の撮影手順を示すフローチャート、図13は色キャリブレーション処理で作成されるγ変換テーブルの一例を示す図である。
(First embodiment)
1 to 13 show a first embodiment of the present invention. FIG. 1 is a schematic diagram showing an example of a multi-projection system including a calibration apparatus. FIG. 2 is a schematic configuration of the calibration camera shown in FIG. FIG. 3 is a diagram showing spectral transmittance characteristics of an IR cut filter built in the calibration camera of FIG. 1, and FIG. 4 is an example of spectral sensitivity characteristics of three X filters in the calibration camera of FIG. FIGS. 5A and 5B are diagrams showing examples of spectral sensitivity characteristics of two Y filters, FIG. 6 is a diagram showing examples of spectral sensitivity characteristics of Z filters, FIG. 7 is a block diagram showing a functional configuration of a multi-projection system, and FIGS. Is a diagram showing an example of a display image for performing geometric calibration, FIG. 9 is a diagram showing an example of a display image for performing color calibration, and FIG. FIG. 11 is a flowchart showing the photographing procedure of the color matrix test pattern image in the color test pattern image photographing processing of FIG. 10, and FIG. 12 is a flowchart showing the photographing procedure of the γ curve test pattern image. FIG. 13 is a diagram showing an example of a γ conversion table created by the color calibration process.

図1に示すように、本実施の形態のマルチプロジェクションシステムは、画像表示装置である3つのプロジェクタ102、103、104により1枚の平面スクリーン101に画像を投影するもので、3つのプロジェクタ102、103、104は画像処理装置105に接続されており、画像処理装置105は表示制御手段であるコンピュータ107および画像再生装置108に接続され、キャリブレーションカメラ106はコンピュータ107に接続されている。   As shown in FIG. 1, the multi-projection system of the present embodiment projects an image onto a single flat screen 101 by three projectors 102, 103, and 104 that are image display devices. Reference numerals 103 and 104 are connected to an image processing apparatus 105, the image processing apparatus 105 is connected to a computer 107 and an image reproduction apparatus 108 as display control means, and a calibration camera 106 is connected to the computer 107.

このマルチプロジェクションシステムでは、例えば、システム起動時にコンピュータ107から、画像処理装置105およびキャリブレーションカメラ106に所定の制御信号を送り、マルチプロジェクションシステムのキャリブレーション処理を開始する。   In this multi-projection system, for example, a predetermined control signal is sent from the computer 107 to the image processing apparatus 105 and the calibration camera 106 when the system is started, and the multi-projection system calibration process is started.

先ず、画像処理装置105は、コンピュータ107からの制御信号によりテストパターン画像信号をプロジェクタ102、103、104に送り、テストパターン画像をスクリーン101上に表示する。このスクリーン101に表示されたテストパターン画像は、キャリブレーションカメラ106によりコンピュータ107からの制御信号に基づいて撮影されてコンピュータ107に送られ、コンピュータ107内の図示しない記録装置に保存される。このテストパターン画像撮影処理は、キャリブレーションに必要なデータが揃うまで繰り返される。   First, the image processing apparatus 105 sends a test pattern image signal to the projectors 102, 103, and 104 according to a control signal from the computer 107 and displays the test pattern image on the screen 101. The test pattern image displayed on the screen 101 is photographed by the calibration camera 106 based on a control signal from the computer 107, sent to the computer 107, and stored in a recording device (not shown) in the computer 107. This test pattern image photographing process is repeated until data necessary for calibration is prepared.

撮影処理終了後、或いは撮影処理と並行して、コンピュータ107は、保存された複数のテストパターン画像を用いてプロジェクタ102、103、104とスクリーン101との相対位置関係、およびプロジェクタ間の色差や輝度差、プロジェクタ内の色むらや輝度むらを算出して幾何補正パラメータおよび色補正パラメータを生成し、それらのパラメータを画像処理装置105に送信して、画像処理装置105内に保存する。   After the photographing process is completed or in parallel with the photographing process, the computer 107 uses the plurality of stored test pattern images, the relative positional relationship between the projectors 102, 103, 104 and the screen 101, and the color difference and brightness between the projectors. The geometric correction parameter and the color correction parameter are generated by calculating the difference and the color unevenness and the brightness unevenness in the projector, and these parameters are transmitted to the image processing apparatus 105 and stored in the image processing apparatus 105.

その後、画像処理装置105は、画像再生装置108からの入力画像信号を、画像処理装置105内に保存した幾何補正パラメータおよび色補正パラメータに基づいて、スクリーン101上に1つの画像がシームレスで且つ色差や輝度差、色むら等の無い状態で投影されるように画像処理して、その処理画像信号をプロジェクタ102、103、104に分配して出力する。   Thereafter, the image processing apparatus 105 uses the input image signal from the image reproduction apparatus 108 as a single image on the screen 101 seamlessly and with a color difference based on the geometric correction parameters and the color correction parameters stored in the image processing apparatus 105. Then, image processing is performed so that the image is projected with no difference in brightness, color unevenness, and the like, and the processed image signal is distributed to the projectors 102, 103, and 104 and output.

このようなキャリブレーションを行ったマルチプロジェクションシステムでは、シームレスな大画面で且つ高精細、高画質な画像を表示することができる。当然、システムを構成するプロジェクタの数は、画像処理装置105の処理能力により台数を任意に増やせるのは言うまでも無い。また、スクリーン101は平面だけでは無く、曲面であっても複数プロジェクタで1つの画像を分割表示することにより、結像位置をプロジェクタ毎に変更できるので、1画像内でピンボケが少なく、歪みの無い画像を投影することができるという利点がある。ここで、かかるマルチプロジェクションシステムにおける高画質化の重要な構成要素は、キャリブレーションカメラ106であり、このキャリブレーションカメラ106が基準となって画像を最適な状態に補正することが可能となる。   A multi-projection system that has performed such a calibration can display a high-definition, high-quality image on a seamless large screen. Of course, it goes without saying that the number of projectors constituting the system can be arbitrarily increased by the processing capability of the image processing apparatus 105. Further, even if the screen 101 is not only a flat surface but also a curved surface, the image formation position can be changed for each projector by dividing and displaying one image with a plurality of projectors, so there is less blur in one image and no distortion. There is an advantage that an image can be projected. Here, an important component for improving the image quality in such a multi-projection system is the calibration camera 106, and the calibration camera 106 can be used as a reference to correct an image to an optimum state.

以下、キャリブレーションカメラ106の詳細について、図2の模式図をもとに説明する。   Hereinafter, details of the calibration camera 106 will be described with reference to the schematic diagram of FIG.

このキャリブレーションカメラ106は、テストパターン画像を撮影する撮像部201および撮像レンズ203と、撮像レンズ203の前面に配置されたターレット204と、ターレット204を回転制御する選択手段であるターレット回転制御部202とを有している。撮像部201は、モノクロ用撮像素子とその周辺回路から構成され、撮像素子に対して所定位置に撮像レンズ203が取り付けられている。なお、撮像部201の撮像素子と撮像レンズ203との間には、図3に示すような分光透過率特性を有する赤外(IR)カットフィルタ(図示せず)が挿入されている。   The calibration camera 106 includes an imaging unit 201 and an imaging lens 203 that capture a test pattern image, a turret 204 disposed in front of the imaging lens 203, and a turret rotation control unit 202 that is a selection unit that controls the rotation of the turret 204. And have. The imaging unit 201 includes a monochrome imaging device and its peripheral circuit, and an imaging lens 203 is attached to the imaging device at a predetermined position. Note that an infrared (IR) cut filter (not shown) having spectral transmittance characteristics as shown in FIG. 3 is inserted between the imaging element of the imaging unit 201 and the imaging lens 203.

ターレット204には、フィルタ205〜210、フィルタ無しの開口部211および遮光状態で撮像素子のパターンノイズを測定するための遮光部212が同心円状に保持されている。ターレット回転制御部202は、ターレット204を回転制御するためのモータ(DCモータやパルスモータ等)と、その制御回路とから構成され、ターレット204の中心の連結部213にはモータ軸が連結されており、撮像レンズ203の光軸上にフィルタ中心が位置するように、ターレット204の回転および静止位置が制御される。   In the turret 204, filters 205 to 210, an opening 211 without a filter, and a light shielding portion 212 for measuring pattern noise of the image sensor in a light shielding state are concentrically held. The turret rotation control unit 202 includes a motor (such as a DC motor or a pulse motor) for controlling the rotation of the turret 204 and its control circuit, and a motor shaft is connected to the connecting portion 213 at the center of the turret 204. Thus, the rotation and stationary position of the turret 204 are controlled so that the filter center is positioned on the optical axis of the imaging lens 203.

撮像部201の撮影タイミングや露出制御、ターレット回転制御部202のフィルタ選択制御等の制御および撮影画像の出力タイミングは、コンピュータ107によって制御される。   The computer 107 controls the shooting timing and exposure control of the imaging unit 201, the filter selection control of the turret rotation control unit 202, and the like, and the output timing of the shot image.

次に、撮像部201、撮像レンズ203、撮像部201の撮像素子と撮像レンズ203との間に挿入されている不図示の赤外カットフィルタ(図3に示す分光透過率特性を有する)およびフィルタ205〜210を含めた分光感度特性について、図4〜図6を参照して説明する。   Next, an imaging unit 201, an imaging lens 203, an infrared cut filter (not shown) (having spectral transmittance characteristics shown in FIG. 3) and a filter inserted between the imaging element of the imaging unit 201 and the imaging lens 203, and a filter The spectral sensitivity characteristics including 205 to 210 will be described with reference to FIGS.

図4(a)はフィルタ205の場合の分光感度特性を示しており、図4(b)はフィルタ206の場合の分光感度特性を示しており、図4(c)はフィルタ207の場合の分光感度特性を示している。これら3つのフィルタ205、206および207は、XYZ表色系でのX等色関数400(破線)を模した赤用、緑用および青用のXフィルタであるが、図4(a)に示す分光感度401はプロジェクタ原色赤402の波長域(約560〜780nm)のみ精度良く一致するようにフィルタ205の分光透過率が設計されており、短波長域の透過率の一致度は大きくない。また、図4(b)に示す分光感度403は、プロジェクタ原色緑404の波長域(約500〜590nm)のみ精度良く一致するようにフィルタ206の分光透過率が設計されている。同様に図4(c)に示す分光感度405は、プロジェクタ原色青406の波長域(約380〜500nm)のみを精度良く一致するようにフィルタ207の分光透過率が設計されている。   4A shows the spectral sensitivity characteristic in the case of the filter 205, FIG. 4B shows the spectral sensitivity characteristic in the case of the filter 206, and FIG. 4C shows the spectral sensitivity characteristic in the case of the filter 207. The sensitivity characteristic is shown. These three filters 205, 206, and 207 are X filters for red, green, and blue that imitate the X color matching function 400 (broken line) in the XYZ color system, as shown in FIG. The spectral sensitivity of the filter 205 is designed so that the spectral sensitivity 401 matches only the wavelength range (about 560 to 780 nm) of the projector primary color red 402 with high accuracy, and the degree of coincidence of the transmittance in the short wavelength range is not large. In addition, the spectral transmittance of the filter 206 is designed so that the spectral sensitivity 403 shown in FIG. 4B matches only in the wavelength range (about 500 to 590 nm) of the projector primary color green 404 with high accuracy. Similarly, the spectral transmission factor of the filter 207 is designed so that the spectral sensitivity 405 shown in FIG. 4C matches only the wavelength region (about 380 to 500 nm) of the projector primary color blue 406 with high accuracy.

図5(a)はフィルタ208の場合の分光感度特性を示し、図5(b)はフィルタ209の場合の分光感度特性を示し、図6はフィルタ210の分光感度特性を示している。フィルタ208およびフィルタ209は、XYZ表色系でのY等色関数500(破線)を模した赤用および緑/青用のYフィルタであるが、図5(a)の分光感度501はプロジェクタ原色赤402の波長域(約560〜780nm)のみ精度良く一致するようにフィルタ208の分光透過率が設計されており、図5(b)の分光感度502はプロジェクタ原色緑404と原色青406の波長域(約380〜590nm)のみを精度良く一致するようにフィルタ209の分光透過率が設計されている。   5A shows the spectral sensitivity characteristic in the case of the filter 208, FIG. 5B shows the spectral sensitivity characteristic in the case of the filter 209, and FIG. 6 shows the spectral sensitivity characteristic of the filter 210. The filter 208 and the filter 209 are Y filters for red and green / blue simulating a Y color matching function 500 (broken line) in the XYZ color system. The spectral sensitivity 501 in FIG. The spectral transmittance of the filter 208 is designed so that only the wavelength region of red 402 (about 560 to 780 nm) matches with high accuracy, and the spectral sensitivity 502 in FIG. 5B is the wavelength of the projector primary color green 404 and primary color blue 406. The spectral transmittance of the filter 209 is designed so that only the region (about 380 to 590 nm) coincides with high accuracy.

図6は、フィルタ210の場合の分光感度特性を示している。このフィルタ210は、XYZ表色系でのZ等色関数600(破線)を模したZフィルタで、Z等色関数600自体が狭帯域であるため、部分的に一致させる設計は行わない。   FIG. 6 shows spectral sensitivity characteristics in the case of the filter 210. This filter 210 is a Z filter that imitates the Z color matching function 600 (broken line) in the XYZ color system. Since the Z color matching function 600 itself has a narrow band, a design for partially matching is not performed.

これらのフィルタ205〜210は、例えば軟質フィルム状フィルタである安価なゼラチンフィルタの異なる分光特性のものを重ね合わせて設計する。上記のように局所波長帯域の範囲内でのみ等色関数に近似した特性としたのは、380nm〜780nmまでの可視光の全波長域で等色関数に精度良く合せ込むにはゼラチンフィルタの重ね合わせ枚数が増えて透過率が低下したり、或いは全ての波長帯域で精度良く合せ込むのが難しいためである。なお、フィルタ205〜210は、ゼラチンフィルタと同様な分光透過率特性が得られる任意の軟質フィルム状光学フィルタを適用できる。   These filters 205 to 210 are designed by superimposing different spectral characteristics of an inexpensive gelatin filter, which is a soft film filter, for example. The characteristic approximated to the color matching function only within the range of the local wavelength band as described above is the overlap of gelatin filters in order to accurately match the color matching function in the entire wavelength range of visible light from 380 nm to 780 nm. This is because the number of combined sheets increases and the transmittance decreases, or it is difficult to accurately align all the wavelength bands. As the filters 205 to 210, any soft film-like optical filter that can obtain the same spectral transmittance characteristic as that of the gelatin filter can be applied.

次に、図1に示したマルチプロジェクションシステムの機能構成について、図7に示す機能ブロック図、図8(a)〜(c)に示す幾何テストパターン画像および図9(a)〜(d)に示すテストパターン画像を参照して説明する。   Next, regarding the functional configuration of the multi-projection system shown in FIG. 1, the functional block diagram shown in FIG. 7, the geometric test pattern images shown in FIGS. 8A to 8C, and FIGS. 9A to 9D are shown. This will be described with reference to the test pattern image shown.

図7において、コンピュータ107は、制御プログラムで実行される制御部702と、処理プログラムで実行される幾何補正処理部703および色補正処理部704と、撮影画像記憶部705と、幾何補正テーブル記憶部706と、γ変換テーブル記憶部707とを有している。また、画像処理装置105は、画像処理部708とテストパターン画像記憶部709とを有しており、画像表示部710は、図1に示したプロジェクタ102〜103を有している。   In FIG. 7, a computer 107 includes a control unit 702 executed by a control program, a geometric correction processing unit 703 and a color correction processing unit 704 executed by a processing program, a captured image storage unit 705, and a geometric correction table storage unit. 706 and a γ conversion table storage unit 707. Further, the image processing apparatus 105 includes an image processing unit 708 and a test pattern image storage unit 709, and the image display unit 710 includes the projectors 102 to 103 illustrated in FIG.

制御部702は、画像処理部708、キャリブレーションカメラ106、幾何補正処理部703および色補正処理部704に対して処理の制御を行う。   The control unit 702 controls processing for the image processing unit 708, the calibration camera 106, the geometric correction processing unit 703, and the color correction processing unit 704.

先ず、制御部702から画像処理部708に対して、テストパターン画像記憶部709に記録されている図8(a)に示す幾何テストパターン画像801を画像表示部710に表示するように制御信号を出力する。これにより、画像処理部708は、テストパターン画像記憶部709から対応する幾何テストパターン画像801を読み出して画像表示部710に画像信号を出力し、該テストパターン画像信号の出力完了時点で完了信号を制御部702に出力する。   First, a control signal is sent from the control unit 702 to the image processing unit 708 so that the geometric test pattern image 801 shown in FIG. 8A recorded in the test pattern image storage unit 709 is displayed on the image display unit 710. Output. As a result, the image processing unit 708 reads the corresponding geometric test pattern image 801 from the test pattern image storage unit 709, outputs an image signal to the image display unit 710, and outputs a completion signal when the output of the test pattern image signal is completed. The data is output to the control unit 702.

制御部702では、該完了信号を受け取った後、キャリブレーションカメラ106に対してフィルタ無し撮影による撮影制御信号を出力する。これにより、キャリブレーションカメラ106は、ターレット204のフィルタ無し開口部211を撮像レンズ203の前面に位置するように移動させて、スクリーン101に投影されているテストパターン画像801を撮影する。この撮影画像は、キャリブレーションカメラ106から撮影画像記憶部705に送られて保存され、保存が終了すると保存終了信号が制御部702に出力される。このような撮影処理は、図8(b)および(c)に示す幾何テストパターン画像802および803に対しても同様に行われる。   After receiving the completion signal, the control unit 702 outputs a shooting control signal based on filterless shooting to the calibration camera 106. As a result, the calibration camera 106 moves the unfiltered opening 211 of the turret 204 so as to be positioned in front of the imaging lens 203 and shoots the test pattern image 801 projected on the screen 101. The captured image is sent from the calibration camera 106 to the captured image storage unit 705 and stored. When the storage is completed, a storage end signal is output to the control unit 702. Such a photographing process is similarly performed on the geometric test pattern images 802 and 803 shown in FIGS. 8B and 8C.

次に、制御部702は、画像処理部708に対して、テストパターン画像記憶部709に記録されている図9(a)に示す赤の最大入力信号レベルのカラーマトリックステストパターン画像901を画像表示部710に表示するように制御信号を出力する。これにより、画像処理部708は、テストパターン画像記憶部709から対応するカラーマトリックステストパターン画像901を読み出して画像表示部710に画像信号を出力し、該テストパターン画像信号の出力が完了した時点で完了信号を制御部702に出力する。   Next, the control unit 702 displays an image of the color matrix test pattern image 901 with the maximum red input signal level shown in FIG. 9A recorded in the test pattern image storage unit 709 on the image processing unit 708. A control signal is output so as to be displayed on the unit 710. As a result, the image processing unit 708 reads the corresponding color matrix test pattern image 901 from the test pattern image storage unit 709, outputs the image signal to the image display unit 710, and completes the output of the test pattern image signal. A completion signal is output to the control unit 702.

制御部702では、該完了信号を受信した後、キャリブレーションカメラ106に対して赤用Xフィルタ205による撮影制御信号を出力する。これにより、キャリブレーションカメラ106は、ターレット204の赤用Xフィルタ205を撮像レンズ203の前面に位置するように移動させて、スクリーン101に投影されているカラーマトリックステストパターン画像901を撮影する。この撮影画像は、キャリブレーションカメラ106から撮影画像記憶部705に送られて保存され、保存が終了すると保存終了信号が制御部702に出力される。   After receiving the completion signal, the control unit 702 outputs an imaging control signal from the red X filter 205 to the calibration camera 106. As a result, the calibration camera 106 moves the red X filter 205 of the turret 204 so as to be positioned in front of the imaging lens 203 and captures the color matrix test pattern image 901 projected on the screen 101. The captured image is sent from the calibration camera 106 to the captured image storage unit 705 and stored. When the storage is completed, a storage end signal is output to the control unit 702.

続いて、制御部702は、赤用Yフィルタ208による撮影制御信号をキャリブレーションカメラ106に出力する。これにより、キャリブレーションカメラ106は、ターレット204の赤用Yフィルタ208を撮像レンズ203の前面に位置するように移動させて、前回と同様にカラーマトリックステストパターン画像901を撮影する。この撮影画像は、同様に撮影画像記憶部705に出力保存され、保存が終了すると保存終了信号が制御部702に出力される。同様に、Zフィルタ210による撮影を行っても良いが、Zフィルタ210の分光感度は、カラーマトリックステストパターン画像901に対する分光出力特性がゼロと見なせるので撮影処理を省いても良い。   Subsequently, the control unit 702 outputs an imaging control signal from the red Y filter 208 to the calibration camera 106. As a result, the calibration camera 106 moves the red Y filter 208 of the turret 204 so as to be positioned in front of the imaging lens 203 and shoots the color matrix test pattern image 901 as in the previous time. The captured image is also output and stored in the captured image storage unit 705, and when the storage is completed, a storage end signal is output to the control unit 702. Similarly, the photographing by the Z filter 210 may be performed, but the spectral sensitivity of the Z filter 210 can be regarded as the spectral output characteristic with respect to the color matrix test pattern image 901, and thus the photographing process may be omitted.

続いて、制御部702は、画像処理部708に対して、テストパターン画像記憶部709に記録されている図9(b)に示す緑の最大入力信号レベルのカラーマトリックステストパターン画像902を画像表示部710に表示するように制御信号を出力する。これにより、画像処理部708は、テストパターン画像記憶部709からカラーマトリックステストパターン画像902を読み出して画像表示部710に画像信号を出力し、該テストパターン画像信号の出力が完了した時点で完了信号を制御部702に出力する。   Subsequently, the control unit 702 displays an image of the color matrix test pattern image 902 having the maximum green input signal level shown in FIG. 9B recorded in the test pattern image storage unit 709 on the image processing unit 708. A control signal is output so as to be displayed on the unit 710. Accordingly, the image processing unit 708 reads the color matrix test pattern image 902 from the test pattern image storage unit 709, outputs an image signal to the image display unit 710, and completes output when the output of the test pattern image signal is completed. Is output to the control unit 702.

制御部702では、該完了信号を受信した後、キャリブレーションカメラ106に対して緑用Xフィルタ206による撮影制御信号を出力する。これにより、キャリブレーションカメラ106は、ターレット204の緑用Xフィルタ206を撮像レンズ203の前面に位置するように移動させて、スクリーン101に投影されているカラーマトリックステストパターン画像902を撮影する。この撮影画像は、キャリブレーションカメラ106から撮影画像記憶部705に送られて保存され、保存が終了すると保存終了信号が制御部702に出力される。   After receiving the completion signal, the control unit 702 outputs a photographing control signal from the green X filter 206 to the calibration camera 106. As a result, the calibration camera 106 moves the green X filter 206 of the turret 204 so as to be positioned in front of the imaging lens 203 and captures the color matrix test pattern image 902 projected on the screen 101. The captured image is sent from the calibration camera 106 to the captured image storage unit 705 and stored. When the storage is completed, a storage end signal is output to the control unit 702.

続いて、制御部702は、緑/青用Yフィルタ209による撮影制御信号をキャリブレーションカメラ106に出力する。これにより、キャリブレーションカメラ106は、ターレット204の緑/青用Yフィルタ209が撮像レンズ203の前面に位置するように移動させて、前回と同様にカラーマトリックステストパターン画像902を撮影する。この撮影画像は、同様に撮影画像記憶部705に出力保存され、保存が終了すると保存終了信号が制御部702に出力される。   Subsequently, the control unit 702 outputs an imaging control signal from the green / blue Y filter 209 to the calibration camera 106. As a result, the calibration camera 106 moves the green / blue Y filter 209 of the turret 204 so as to be positioned in front of the imaging lens 203 and captures the color matrix test pattern image 902 as in the previous case. The captured image is also output and stored in the captured image storage unit 705, and when the storage is completed, a storage end signal is output to the control unit 702.

更に、制御部702は、Zフィルタ210による撮影制御信号をキャリブレーションカメラ106に出力する。これにより、キャリブレーションカメラ106は、ターレット204のZフィルタ210を撮像レンズ203の前面に位置するように移動させて、カラーマトリックステストパターン画像902を撮影する。この撮影画像は、同様に撮影画像記憶部705に出力保存され、保存が終了すると保存終了信号が制御部702に出力される。   Further, the control unit 702 outputs an imaging control signal from the Z filter 210 to the calibration camera 106. As a result, the calibration camera 106 moves the Z filter 210 of the turret 204 so as to be positioned in front of the imaging lens 203 and captures the color matrix test pattern image 902. The captured image is also output and stored in the captured image storage unit 705, and when the storage is completed, a storage end signal is output to the control unit 702.

続いて、制御部702は、画像処理部708に対して、テストパターン画像記憶部709に記録されている図9(c)に示す青の最大入力信号レベルのカラーマトリックステストパターン画像903を画像表示部710に表示するように制御信号を出力する。これにより、画像処理部708は、テストパターン画像記憶部709からカラーマトリックステストパターン画像903を読み出して画像表示部710に画像信号を出力し、該テストパターン画像信号の出力が完了した時点で完了信号を制御部702に出力する。   Subsequently, the control unit 702 displays an image of the color matrix test pattern image 903 with the maximum blue input signal level shown in FIG. 9C recorded in the test pattern image storage unit 709 on the image processing unit 708. A control signal is output so as to be displayed on the unit 710. As a result, the image processing unit 708 reads the color matrix test pattern image 903 from the test pattern image storage unit 709, outputs an image signal to the image display unit 710, and completes output when the output of the test pattern image signal is completed. Is output to the control unit 702.

制御部702では、該完了信号を受信した後、キャリブレーションカメラ106に対して青用Xフィルタ207による撮影制御信号を出力する。これにより、キャリブレーションカメラ106は、ターレット204の青用Xフィルタ207が撮像レンズ203の前面に位置するように移動させて、スクリーン101に投影されているカラーマトリックステストパターン画像903を撮影する。この撮影画像は、キャリブレーションカメラ106から撮影画像記憶部705に送られて保存され、保存が終了すると保存終了信号が制御部702に出力される。   After receiving the completion signal, the control unit 702 outputs a shooting control signal by the blue X filter 207 to the calibration camera 106. As a result, the calibration camera 106 moves the blue X filter 207 of the turret 204 so as to be positioned in front of the imaging lens 203 and captures the color matrix test pattern image 903 projected on the screen 101. The captured image is sent from the calibration camera 106 to the captured image storage unit 705 and stored. When the storage is completed, a storage end signal is output to the control unit 702.

続いて、制御部702は、緑/青用Yフィルタ209による撮影制御信号をキャリブレーションカメラ106に出力する。これにより、キャリブレーションカメラ106は、ターレット204の緑/青用Yフィルタ209が撮像レンズ203の前面に位置するように移動させて、同様にカラーマトリックステストパターン画像903を撮影する。この撮影画像は、同様に撮影画像記憶部705に出力保存され、保存が終了すると保存終了信号が制御部702に出力される。   Subsequently, the control unit 702 outputs an imaging control signal from the green / blue Y filter 209 to the calibration camera 106. As a result, the calibration camera 106 moves the green / blue Y filter 209 of the turret 204 so as to be positioned in front of the imaging lens 203 and similarly captures the color matrix test pattern image 903. The captured image is also output and stored in the captured image storage unit 705, and when the storage is completed, a storage end signal is output to the control unit 702.

更に、制御部702は、Zフィルタ210による撮影制御信号をキャリブレーションカメラ106に出力する。これにより、キャリブレーションカメラ106は、ターレット204のZフィルタ210を撮像レンズ203の前面に位置するように移動させて、同様にカラーマトリックステストパターン画像903を撮影する。この撮影画像は、同様に撮影画像記憶部705に出力保存され、保存が終了すると保存終了信号が制御部702に出力される。   Further, the control unit 702 outputs an imaging control signal from the Z filter 210 to the calibration camera 106. As a result, the calibration camera 106 moves the Z filter 210 of the turret 204 so as to be positioned in front of the imaging lens 203 and similarly captures the color matrix test pattern image 903. The captured image is also output and stored in the captured image storage unit 705, and when the storage is completed, a storage end signal is output to the control unit 702.

最後に、制御部702は、画像処理部708に対して、テストパターン画像記憶部709に記録されている図9(a)に示す赤の最大入力信号レベルのγカーブテストパターン画像901を画像表示部710に表示するように制御信号を出力する。これにより、画像処理部708は、テストパターン画像記憶部709からγカーブテストパターン画像901を読み出して画像表示部710に画像信号を出力し、該テストパターン画像信号の出力完了時点で完了信号を制御部702に出力する。   Finally, the control unit 702 displays an image of the red maximum input signal level γ curve test pattern image 901 shown in FIG. 9A recorded in the test pattern image storage unit 709 on the image processing unit 708. A control signal is output so as to be displayed on the unit 710. As a result, the image processing unit 708 reads the γ curve test pattern image 901 from the test pattern image storage unit 709, outputs an image signal to the image display unit 710, and controls the completion signal when the output of the test pattern image signal is completed. To the unit 702.

制御部702では、該完了信号を受け取った後、キャリブレーションカメラ106に対してフィルタ無しによる撮影制御信号を出力する。これにより、キャリブレーションカメラ106は、ターレット204のフィルタ無し開口部211を撮像レンズ203の前面に位置するように移動させて、スクリーン101に投影されているγカーブテストパターン画像901を撮影する。この撮影画像は、キャリブレーションカメラ106から撮影画像記憶部705に送られて保存され、保存が終了すると保存終了信号が制御部702に出力される。   After receiving the completion signal, the control unit 702 outputs an imaging control signal indicating no filter to the calibration camera 106. As a result, the calibration camera 106 moves the unfiltered opening 211 of the turret 204 so as to be positioned in front of the imaging lens 203 and shoots the γ curve test pattern image 901 projected on the screen 101. The captured image is sent from the calibration camera 106 to the captured image storage unit 705 and stored. When the storage is completed, a storage end signal is output to the control unit 702.

このような撮影処理を、図9(d)に示す赤の最小入力信号レベルのγカーブテストパターン画像904となるまで、複数の入力信号レベル画像に対して行う。同様に、緑についても、図9(b)に示す緑の最大入力信号レベルのγカーブテストパターン画像902から、図9(d)に示す緑の最小入力信号レベルのγカーブテストパターン画像904となるまで、複数の入力信号レベル画像に対して行い、青についても、図9(c)に示す青の最大入力信号レベルのγカーブテストパターン画像903から、図9(d)に示す青の最小入力信号レベルのγカーブテストパターン画像904となるまで、複数の入力信号レベル画像に対して行う。   Such a photographing process is performed on a plurality of input signal level images until a red minimum input signal level γ curve test pattern image 904 shown in FIG. 9D is obtained. Similarly, for green, the γ curve test pattern image 904 with the minimum input signal level of green shown in FIG. 9D is changed from the γ curve test pattern image 902 with the maximum input signal level of green shown in FIG. 9B. Until it becomes, it carries out with respect to several input signal level images, and also about blue from the gamma curve test pattern image 903 of the blue maximum input signal level shown to FIG. The process is performed on a plurality of input signal level images until the input signal level γ curve test pattern image 904 is obtained.

制御部702は、テストパターン画像の撮影処理が終了した時点で、幾何補正処理部703に対して幾何補正処理開始信号を出力する。これにより、幾何補正処理部703は、撮影画像記憶部705に記録されている幾何テストパターン画像を読み込んで、画像内にある複数の十字状のマーカを抽出し、各マーカの撮影画像上での中心座標を算出する。この算出された撮影画像の対応するマーカ中心座標と、既知である入力画像上の4近傍のマーカ中心座標との関係は、局所的な平面への射影変換で記述できるので、幾何補正処理部703では、更に上記関係に基づいて4近傍マーカ領域毎に変換係数を算出し、その算出した変換係数を用いて、撮影画像が歪みの無い状態となるための入力画像の画素位置を幾何補正テーブルとして算出して幾何補正テーブル記憶部706に出力し、該幾何補正テーブル記憶部706に幾何補正テーブルが記録された時点で、幾何補正処理部703から制御部702に対して処理終了信号を出力する。   The control unit 702 outputs a geometric correction processing start signal to the geometric correction processing unit 703 when the test pattern image photographing process is completed. As a result, the geometric correction processing unit 703 reads the geometric test pattern image recorded in the captured image storage unit 705, extracts a plurality of cross-shaped markers in the image, and displays each marker on the captured image. Calculate center coordinates. The relationship between the calculated marker center coordinates corresponding to the photographed image and the known four marker center coordinates on the input image can be described by projective transformation to a local plane, so the geometric correction processing unit 703 Then, based on the above relationship, a conversion coefficient is calculated for each of the four neighboring marker areas, and the pixel position of the input image for making the photographed image undistorted is used as a geometric correction table using the calculated conversion coefficient. It is calculated and output to the geometric correction table storage unit 706. When the geometric correction table is recorded in the geometric correction table storage unit 706, a processing end signal is output from the geometric correction processing unit 703 to the control unit 702.

その後、制御部702は、上記処理終了信号をもとに、色補正処理部704に対して色補正処理開始信号を送る。これにより、色補正処理部704は、撮影画像記憶部705に記録されているカラーマトリックステストパターン画像およびγカーブテストパターン画像を読み込んで、幾何補正テーブル記憶部706に記録されている幾何補正テーブルに則って画素毎のγ変換テーブルを作成してγ変換テーブル記憶部707に記録する。このγ変換テーブルについては後述する。   Thereafter, the control unit 702 sends a color correction processing start signal to the color correction processing unit 704 based on the processing end signal. As a result, the color correction processing unit 704 reads the color matrix test pattern image and the γ curve test pattern image recorded in the captured image storage unit 705, and stores them in the geometric correction table stored in the geometric correction table storage unit 706. Accordingly, a γ conversion table for each pixel is created and recorded in the γ conversion table storage unit 707. This γ conversion table will be described later.

上記処理によって算出されたキャリブレーションデータ(幾何補正テーブルおよびγ変換テーブル)は、制御部702からの読み込み開始信号により画像処理部708に読み込まれ、キャリブレーション処理が終了する。   The calibration data (geometric correction table and γ conversion table) calculated by the above processing is read into the image processing unit 708 by a reading start signal from the control unit 702, and the calibration processing is completed.

その後、コンテンツとしての映像入力に対しては、上記の幾何補正テーブルとγ変換テーブルとに基づいてリアルタイムに画像処理された補正映像が、画像表示部710に出力されてスクリーン101に表示される。   Thereafter, for video input as content, a corrected video image-processed in real time based on the geometric correction table and the γ conversion table is output to the image display unit 710 and displayed on the screen 101.

ここで、更にキャリブレーション処理手順について、図10のフローチャートを参照して再度説明する。   Here, the calibration processing procedure will be described again with reference to the flowchart of FIG.

キャリブレーション処理が開始されると、所定幾何テストパターン画像を画像表示部710にて表示し(ステップS1001)、キャリブレーションカメラ106をフィルタスルー状態にして表示画像を撮影し、保存する(ステップS1002)。   When the calibration process is started, a predetermined geometric test pattern image is displayed on the image display unit 710 (step S1001), and the display image is captured and stored with the calibration camera 106 in the filter-through state (step S1002). .

その後、幾何テストパターン画像の撮影が全て終了したかを判定し(ステップS1003)、終了していなければステップS1001に戻り、別の幾何テストパターン画像を表示して撮影を繰り返す。一方、全ての幾何テストパターン画像を撮影し終えたら、色テストパターン画像(上記のカラーマトリックステストパターン画像とγカーブテストパターン画像)を画像表示部710にて表示し(ステップS1004)、キャリブレーションカメラ106のターレット204を移動して所定フィルタ位置で表示画像を撮影し、保存する(ステップS1005)。   Thereafter, it is determined whether or not all of the geometric test pattern images have been photographed (step S1003). If not, the process returns to step S1001 to display another geometric test pattern image and repeat the photographing. On the other hand, when all the geometric test pattern images have been photographed, the color test pattern image (the color matrix test pattern image and the γ curve test pattern image) is displayed on the image display unit 710 (step S1004), and the calibration camera is displayed. The turret 204 of 106 is moved, a display image is photographed at a predetermined filter position, and stored (step S1005).

その後、色テストパターン画像の撮影が全て終了したかを判定し(ステップS1006)、終了していなければステップS1004に戻り、別の色テストパターン画像を表示して撮影を繰り返す。一方、全ての色テストパターン画像を撮影し終えたら、保存されている幾何テストパターン画像を用いて幾何補正テーブルを生成し、保存する(ステップS1007)。   Thereafter, it is determined whether or not all the color test pattern images have been photographed (step S1006). If not, the process returns to step S1004 to display another color test pattern image and repeat the photographing. On the other hand, when all color test pattern images have been photographed, a geometric correction table is generated and stored using the stored geometric test pattern image (step S1007).

最後に、保存した幾何補正テーブルと色テストパターン画像とを用いてγ変換テーブルを生成して保存する(ステップS1008)。   Finally, a γ conversion table is generated and stored using the stored geometric correction table and color test pattern image (step S1008).

以上の手順により、キャリブレーションデータ(幾何補正テーブルとγ変換テーブル)の生成が完了する。   With the above procedure, generation of calibration data (geometric correction table and γ conversion table) is completed.

続いて、上記ステップS1004およびS1005による色フィルタ205〜210を用いた色テストパターン画像の更に詳細な撮影手順について、図11および図12のフローチャートを参照して説明する。   Subsequently, a more detailed photographing procedure of the color test pattern image using the color filters 205 to 210 in steps S1004 and S1005 will be described with reference to the flowcharts of FIGS.

図11は、カラーマトリックスを補正するためのテストパターン画像の撮影処理を示すもので、先ず、図11(a)に示すように、原色赤のベクトル算出のために、赤の最大入力信号レベル画像(カラーパッチ)を画像表示部710にて表示し(ステップS1101)、そのカラーパッチを、キャリブレーションカメラ106により赤(R)用Xフィルタ205を使用して撮影して、その撮影画像を保存する(ステップS1102)と共に、赤(R)用Yフィルタ208を使用して撮影して、その撮影画像を保存し(ステップS1103)、更に赤(R)用Zフィルタ210を使用して撮影して、その撮影画像を保存する(ステップS1104)。なお、赤(R)用Zフィルタ210の撮影はキャンセルしても良い。   FIG. 11 shows photographing processing of a test pattern image for correcting a color matrix. First, as shown in FIG. 11A, a red maximum input signal level image is calculated for calculating a primary red vector. (Color patch) is displayed on the image display unit 710 (step S1101), the color patch is photographed by the calibration camera 106 using the red (R) X filter 205, and the photographed image is stored. (Step S1102), the image is captured using the red (R) Y filter 208, the captured image is stored (Step S1103), and further captured using the red (R) Z filter 210. The captured image is stored (step S1104). Note that the shooting of the red (R) Z filter 210 may be canceled.

次に、図11(b)に示すように、原色緑のベクトル算出のために、緑の最大入力信号レベル画像(カラーパッチ)を画像表示部710にて表示し(ステップS1105)、そのカラーパッチを、キャリブレーションカメラ106により緑(G)用Xフィルタ206を使用して撮影して、その撮影画像を保存する(ステップS1106)と共に、緑(G)用Yフィルタ209を使用して撮影して、その撮影画像を保存し(ステップS1107)、更に緑(G)用Zフィルタ210を使用して撮影して、その撮影画像を保存する(ステップS1108)。   Next, as shown in FIG. 11B, in order to calculate the primary green vector, a green maximum input signal level image (color patch) is displayed on the image display unit 710 (step S1105), and the color patch is displayed. Is captured by the calibration camera 106 using the green (G) X filter 206, and the captured image is stored (step S1106), and at the same time, is captured using the green (G) Y filter 209. The photographed image is saved (step S1107), and further photographed using the green (G) Z filter 210, and the photographed image is saved (step S1108).

その後、図11(c)に示すように、原色青のベクトル算出のために、青の最大入力信号レベル画像(カラーパッチ)を画像表示部710にて表示し(ステップS1109)、そのカラーパッチを、キャリブレーションカメラ106により青(B)用Xフィルタ207を使用して撮影して、その撮影画像を保存する(ステップS1110)と共に、青(B)用Yフィルタ209を使用して撮影して、その撮影画像を保存し(ステップS1111)、更に青(B)用Zフィルタ210を使用して撮影して、その撮影画像を保存する(ステップS1112)。   After that, as shown in FIG. 11C, a blue maximum input signal level image (color patch) is displayed on the image display unit 710 to calculate the primary color blue vector (step S1109), and the color patch is displayed. Then, the calibration camera 106 shoots using the blue (B) X filter 207 and saves the shot image (step S1110), and also uses the blue (B) Y filter 209 to shoot. The captured image is stored (step S1111), and further captured using the blue (B) Z filter 210, and the captured image is stored (step S1112).

ここで、本実施の形態では、Zフィルタ210を、赤用Zフィルタ、緑用Zフィルタ、青用Zフィルタと記載しているがR,G,Bで共通の1つのフィルタとしているため、同じフィルタである。また、G用Yフィルタ209とB用Yフィルタ209についても、G,Bで共通の1つのフィルタとしているため、同じフィルタである。また、図11(a)、(b)、(c)の順に説明したが、この順番には特に意味は無く、表示色とその対応フィルタとの関係が関連付けられていれば良い。   Here, in the present embodiment, the Z filter 210 is described as a red Z filter, a green Z filter, and a blue Z filter. It is a filter. Also, the G Y filter 209 and the B Y filter 209 are the same filter because they are the same filter for G and B. 11A, 11B, and 11C are described in this order. However, this order has no particular meaning, and the relationship between the display color and the corresponding filter may be associated.

図12は、γカーブを補正するためのテストパターン画像の撮影処理を示すもので、先ず、入力信号レベルLを初期値(最大レベル)に設定して(ステップS1201)、赤色の入力信号レベルL画像(カラーパッチ)を画像表示部710にて表示し(ステップS1202)、そのカラーパッチを、キャリブレーションカメラ106によりフィルタ無し開口部211を撮像レンズ203の前面に置いた状態で撮影して、その撮影画像を保存する(ステップS1203)。   FIG. 12 shows a test pattern image photographing process for correcting the γ curve. First, the input signal level L is set to an initial value (maximum level) (step S1201), and the red input signal level L is set. An image (color patch) is displayed on the image display unit 710 (step S1202), and the color patch is photographed by the calibration camera 106 with the no-filter aperture 211 placed in front of the imaging lens 203. The captured image is saved (step S1203).

その後、緑色の入力信号レベルL画像(カラーパッチ)を画像表示部710にて表示し(ステップS1204)、そのカラーパッチを、同様にキャリブレーションカメラ106によりフィルタ無し状態で撮影して、その撮影画像を保存する(ステップS1205)。   Thereafter, a green input signal level L image (color patch) is displayed on the image display unit 710 (step S1204), and the color patch is similarly photographed by the calibration camera 106 without a filter. Is stored (step S1205).

続いて、青色の入力信号レベルL画像(カラーパッチ)を画像表示部710にて表示し(ステップS1206)、そのカラーパッチを、同様にキャリブレーションカメラ106によりフィルタ無し状態で撮影して、その撮影画像を保存する(ステップS1207)。   Subsequently, a blue input signal level L image (color patch) is displayed on the image display unit 710 (step S1206), and the color patch is similarly photographed by the calibration camera 106 without a filter. The image is saved (step S1207).

その後、3原色の入力信号レベルLの撮影が終了した時点で、入力信号レベルLを所定値に変更(例えば、一定値減算)し、新しい入力信号レベルを生成して(ステップS1208)、入力信号レベルが所定値(ゼロ)より小さくなったか判定し(ステップS1209)、大きい場合はステップS1202に戻り、小さくなったら終了する。   Thereafter, at the time when the photographing of the input signal level L of the three primary colors is completed, the input signal level L is changed to a predetermined value (for example, a constant value subtraction) to generate a new input signal level (step S1208). It is determined whether the level has become smaller than a predetermined value (zero) (step S1209). If it is greater, the process returns to step S1202, and if it is smaller, the process ends.

以上、キャリブレーションを行う装置の構成および処理手順について説明したので、次に、キャリブレーションカメラ106により上記フィルタ205〜210を用いて撮影されたプロジェクタの3原色の3刺激値(X、Y、Z)画像を用いて行う色差補正処理の原理について詳細に説明する。   The configuration and processing procedure of the calibration apparatus have been described above. Next, the tristimulus values (X, Y, Z) of the three primary colors of the projector photographed by the calibration camera 106 using the filters 205 to 210 are described. The principle of color difference correction processing performed using an image will be described in detail.

先ず、3原色の入力信号レベルが(q,q,q)のプロジェクタの分光出力特性P(q,q,q,λ)を以下のように表現する。 First, spectral output characteristics P (q R , q G , q B , λ) of a projector whose input signal levels of the three primary colors are (q R , q G , q B ) are expressed as follows.

Figure 2006146033
Figure 2006146033

ここで、λは光の波長であり、W(λ)は白色光源の分光出力特性、BP(λ)、BP(λ)、BP(λ)は3原色(赤、緑、青)に分離する例えばクロスプリズムの各原色の分光特性を示す。また、q、q、qは3原色の入力信号レベルで [0,qmax]の範囲の整数値であり、ω(q)、ω(q)、ω(q)は各原色のライトバルブの該入力信号レベルに対する透過率を示す。 Here, λ is the wavelength of light, W (λ) is the spectral output characteristic of the white light source, BP R (λ), BP G (λ), and BP B (λ) are the three primary colors (red, green, blue). For example, the spectral characteristics of each primary color of a cross prism to be separated are shown. Q R , q G , and q B are input values of three primary colors and are integer values in the range of [0, q max ], and ω R (q R ), ω G (q G ), ω B (q B ) indicates the transmittance of each primary color light valve with respect to the input signal level.

また、以下の関係式を定義し、(1)式の変形を行う。   Further, the following relational expression is defined, and the expression (1) is modified.

Figure 2006146033
Figure 2006146033

ここで、R(λ)、G(λ)、B(λ)は白色光源からクロスプリズム等で分離された赤、緑、青の3原色の分光出力特性を示し、T(q/qmax)、T(q/qmax)、T(q/qmax)は3原色の入力信号レベルに対する出力輝度レベルを示し、[0,1]の範囲の実数値を取るγカーブで、T(0)=T(0)=T(0)=0、T(1)<1、T(1)<1、T(1)<1であり、ωR0、ωG0、ωB0は3原色の入力信号レベルが全て0(黒)の場合の黒浮き係数を表したもので、K(λ)はその分光出力特性である。 Here, R (λ), G (λ), and B (λ) indicate spectral output characteristics of the three primary colors red, green, and blue separated from a white light source by a cross prism or the like, and T R (q R / q max ), T G (q G / q max ), and T B (q B / q max ) indicate the output luminance levels for the input signal levels of the three primary colors, and take a real value in the range [0, 1]. T R (0) = T G (0) = T B (0) = 0, T R (1) <1, T G (1) <1, T B (1) <1, and ω R0 , Ω G0 and ω B0 represent black float coefficients when the input signal levels of the three primary colors are all 0 (black), and K (λ) is the spectral output characteristic.

したがって、(1)式は、上記7つの関係式を使って以下のように表現できる。   Therefore, equation (1) can be expressed as follows using the above seven relational expressions.

Figure 2006146033
Figure 2006146033

上記出力特性を持ったプロジェクタが任意の入力信号レベル(q, q, q)で表示する色を、XYZ表色系の

Figure 2006146033

で表現すると以下の通りとなる。 The colors displayed by the projector having the above output characteristics at any input signal level (q R , q G , q B ) can be expressed in the XYZ color system.
Figure 2006146033

This is expressed as follows.

Figure 2006146033

ここで、x(λ)、y(λ)、z(λ)は、それぞれX、Y、Zの等色関数を示す。
Figure 2006146033

Here, x (λ), y (λ), and z (λ) represent X, Y, and Z color matching functions, respectively.

上記(2)式および(3)式から、

Figure 2006146033

は以下のように表せる。 From the above equations (2) and (3),
Figure 2006146033

Can be expressed as:

Figure 2006146033
Figure 2006146033

黒の入力信号レベル(0,0,0)時が十分に暗く、ωR0、ωG0、ωB0がT(1)、T(1)、T(1)より十分に小さいと置ける場合には、∫K(λ)x(λ)dλ=∫K(λ)y(λ)dλ=∫K(λ)z(λ)dλ=0と見なせるので、上記(4)、(5)および(6)式は以下のように表すことができる。 Black Input signal level (0,0,0) when the dark enough, ω R0, ω G0, ω B0 is T R (1), T G (1), put the T sufficiently smaller than B (1) In this case, ∫K (λ) x (λ) dλ = ∫K (λ) y (λ) dλ = ∫K (λ) z (λ) dλ = 0, so that the above (4), (5) And (6) can be expressed as follows.

Figure 2006146033
Figure 2006146033

ここで、x′(λ)、x′(λ)、x′(λ)、y′(λ)、y′(λ)は、それぞれ色フィルタ205、206、207、208、209の場合の分光感度特性で、各原色の波長帯域内では等色関数に酷似しており、それ以外の波長帯域ではBP(λ)、BP(λ)、BP(λ)により信号自体がゼロと見なせるので、上記積分の結果は近似的に等しいと置ける。 Here, x 1 ′ (λ), x 2 ′ (λ), x 3 ′ (λ), y 1 ′ (λ), and y 2 ′ (λ) are color filters 205, 206, 207, 208, respectively. The spectral sensitivity characteristics in the case of 209 are very similar to the color matching function in the wavelength bands of the respective primary colors, and in the other wavelength bands, signals are transmitted by BP R (λ), BP G (λ), and BP B (λ). Since it can be regarded as zero itself, the result of the above integration can be assumed to be approximately equal.

以上の理由から、色フィルタ205〜210を使用することでXYZの測色値を十分な精度で求めることができると共に、色フィルタ205〜210をより明るいフィルタで実現できるので、短時間露出でS/Nを十分に稼ぐことができる。   For the above reasons, by using the color filters 205 to 210, the XYZ colorimetric values can be obtained with sufficient accuracy, and the color filters 205 to 210 can be realized with a brighter filter. / N can be earned sufficiently.

マルチプロジェクションシステムを構成するN台のプロジェクタの

Figure 2006146033

は、各プロジェクタの投影表示画像内で変化しない、つまり色むらが無いと仮定した場合、該プロジェクタの投影表示画像の中央位置における上記求めた3原色ベクトルにより得られるので、ターゲット白(例えば、標準白色D65の色度値)の
Figure 2006146033

になるための
Figure 2006146033

をプロジェクタ毎に算出し、カラーマトリックスに該係数をかけた
Figure 2006146033

とし、入力画像信号をプロジェクタへの出力信号レベルに変換して、プロジェクタ間の色差補正を行う。 N projectors that make up the multi-projection system
Figure 2006146033

Is obtained from the three primary color vectors obtained above at the central position of the projection display image of the projector, assuming that there is no variation in the projection display image of each projector, that is, there is no color unevenness. White D 65 chromaticity value)
Figure 2006146033

To become
Figure 2006146033

Is calculated for each projector, and the coefficient is applied to the color matrix.
Figure 2006146033

The input image signal is converted into the output signal level to the projector, and the color difference between the projectors is corrected.

先ず、プロジェクタkの

Figure 2006146033

は以下の式で算出できる。 First, the projector k
Figure 2006146033

Can be calculated by the following equation.

Figure 2006146033
Figure 2006146033

プロジェクタkの

Figure 2006146033

は、上記
Figure 2006146033

の各要素CRk、CGk、CBkを使って以下のように表すことができる。 Projector k
Figure 2006146033

Is the above
Figure 2006146033

Each element C Rk , C Gk , and C Bk can be expressed as follows.

Figure 2006146033
Figure 2006146033

上記

Figure 2006146033

の原色ベクトルを、プロジェクタの入力信号レベル(qRk,qGk,qBk)を制御して生成した場合には、以下のように書き表すことができる。 the above
Figure 2006146033

Are generated by controlling the input signal levels (q Rk , q Gk , q Bk ) of the projector, they can be written as follows:

Figure 2006146033
Figure 2006146033

ここで、上記式の右辺と左辺を等式で結ばない理由は、プロジェクタの制御可能な入力信号レベルは整数値であるため、近似的にしか等しくできないことによる。   Here, the reason why the right side and the left side of the above equation are not equalized is that the controllable input signal level of the projector is an integer value, and therefore can only be approximately equal.

上記関係を満たす各原色の入力信号レベルqRk,qGk,qBkは、各プロジェクタのγカーブTRk(qRk/qmax)、TGk(qGk/qmax)、TBk(qBk/qmax)、TRk(1)、TGk(1)、TBk(1)が既知ではなく、また、投影像のシェーディング等の輝度むらを考慮すると、キャリブレーションカメラ106を使って2次元画像として測定する必要がある。 The input signal levels q Rk , q Gk , and q Bk of the respective primary colors that satisfy the above relationship are the γ curves T Rk (q Rk / q max ), T Gk (q Gk / q max ), and T Bk (q Bk ) of each projector. / Q max ), T Rk (1), T Gk (1), and T Bk (1) are not known, and in consideration of luminance unevenness such as shading of the projected image, two-dimensional It needs to be measured as an image.

この測定には、キャリブレーションカメラ106のターレット204のフィルタ無し開口部211が撮像レンズ203の前面に位置するような状態で、図13に示すような入力画像として均一な複数の入力信号レベルの各原色画像をスクリーン101に投影したテストパターン画像、すなわち図9(a)のテストパターン画像901と図9(d)のテストパターン画像904との間の赤の複数入力信号レベル画像、図9(b)のテストパターン画像902と図9(d)のテストパターン画像904との間の緑の複数入力信号レベル画像、図9(c)のテストパターン画像903と図9(d)のテストパターン画像904との間の青の複数入力信号レベル画像を撮影することで行う。撮影した画像の任意の点での上記γカーブの算出方法は以下の通りである。   In this measurement, each of a plurality of input signal levels that are uniform as an input image as shown in FIG. 13 with the unfiltered aperture 211 of the turret 204 of the calibration camera 106 positioned in front of the imaging lens 203. A test pattern image obtained by projecting the primary color image onto the screen 101, that is, a red multiple input signal level image between the test pattern image 901 in FIG. 9A and the test pattern image 904 in FIG. 9D, FIG. 9) and the test pattern image 904 in FIG. 9D, the test pattern image 903 in FIG. 9C and the test pattern image 904 in FIG. 9D. This is done by taking a blue multiple input signal level image. The calculation method of the γ curve at an arbitrary point of the photographed image is as follows.

Figure 2006146033
Figure 2006146033

ここで、P(q,q, q,λ)はプロジェクタの分光出力特性、t(λ)はフィルタ無し開口部211を使用した場合のキャリブレーションカメラ106の分光感度特性を示す。測定する原色の入力信号レベルq、q、qは、[0,qmax]の範囲の任意の整数値であるが、測定自体は全入力信号レベルを測定すると時間がかかるので、所定レベルのみ間引いて測定し、非測定入力信号レベルについては補間値で代用しても良い。 Here, P (q R , q G , q B , λ) is the spectral output characteristic of the projector, and t (λ) is the spectral sensitivity characteristic of the calibration camera 106 when the aperture without filter 211 is used. The input signal levels q R , q G , and q B of the primary colors to be measured are arbitrary integer values in the range of [0, q max ]. However, since the measurement itself takes time to measure all input signal levels, it is predetermined. Only the level may be thinned and measured, and the non-measurement input signal level may be replaced with an interpolated value.

既知となったγカーブT(q/qmax)、T(q/qmax)、T(q/qmax)を使って、入力画像が取り得る[0,qmax]の範囲の入力信号レベルqRki、qGki、qBkiと、色補正後の入力信号レベルqRko、qGko、qBkoとを関連付けるγ変換テーブルをそれぞれ作成する。この変換テーブルは、ユーザーが指定可能な出力γ特性係数を考慮して、以下の条件式が成り立つように作成する。 [0, q max ] that the input image can take by using the known γ curves T R (q R / q max ), T G (q G / q max ), and T B (q B / q max ) range of input signal levels q Rki of, q GKI, and q Bk i, color corrected input signal level q Rko, q Gko, creating respectively a γ conversion table that associates and q BKO. This conversion table is created so that the following conditional expression is satisfied in consideration of the output γ characteristic coefficient that can be specified by the user.

Figure 2006146033
Figure 2006146033

図13は、上記γ変換テーブルをグラフ化した一例であり、入力信号レベルがqmax時に出力信号レベルがqとなっている。この変換テーブルは、プロジェクタの1画素毎、或いは数画素エリア毎に生成することで、各プロジェクタ内の輝度むらも補正することができる。また、上記説明では、各プロジェクタの色むらが無いと仮定したので、補正カラーマトリックスはプロジェクタ毎に1つとしたが、各プロジェクタの各画素、或いは数画素エリア毎に補正カラーマトリックスを算出しても良い。この場合は、

Figure 2006146033

もカラーマトリックス数だけ算出され、これらを使って上記γ変換テーブルを算出する。これにより、各プロジェクタ内の色むらについても補正できるようになる。 FIG. 13 is an example of a graph of the γ conversion table, where the output signal level is q n when the input signal level is q max . By generating this conversion table for each pixel of the projector or for every several pixel areas, it is possible to correct luminance unevenness in each projector. Further, in the above description, since it is assumed that there is no color unevenness of each projector, the correction color matrix is one for each projector. However, the correction color matrix may be calculated for each pixel of each projector or several pixel areas. good. in this case,
Figure 2006146033

Are also calculated by the number of color matrices, and the γ conversion table is calculated using them. As a result, the color unevenness in each projector can be corrected.

以上のキャリブレーション処理により、マルチプロジェクションシステムにおいて、プロジェクタ内およびプロジェクタ間での色差や輝度差が目立たない高画質な大画面を投影することができる。   With the above calibration processing, a high-quality large screen with no noticeable color difference or luminance difference within the projector and between projectors can be projected in the multi-projection system.

(第2実施の形態)
図14〜図18は本発明の第2実施の形態を示すもので、図14はキャリブレーションカメラの概略構成を示す図、図15は図14のキャリブレーションカメラで使用されるR、G、Bのバンドパスフィルタの分光透過率特性例を示す図、図16はキャリブレーションカメラにおける3つのXフィルタの分光感度特性例を示す図、図17は同じく3つのYフィルタの分光感度特性例を示す図、図18は色テストパターン画像撮影処理内でのカラーマトリックステストパターン画像の撮影手順を示すフローチャートである。
(Second Embodiment)
FIGS. 14 to 18 show a second embodiment of the present invention, FIG. 14 is a diagram showing a schematic configuration of a calibration camera, and FIG. 15 is R, G, B used in the calibration camera of FIG. FIG. 16 is a diagram illustrating an example of spectral sensitivity characteristics of three X filters in a calibration camera, and FIG. 17 is a diagram illustrating an example of spectral sensitivity characteristics of three Y filters. FIG. 18 is a flowchart showing a procedure for photographing a color matrix test pattern image in the color test pattern image photographing process.

本実施の形態は、図1に示したキャリブレーションシステムにおいて、キャリブレーションカメラ106を図14に示すように構成する。すなわち、このキャリブレーションカメラ106は、図14(a)に概略斜視図で示すように、第1実施の形態と同様のモノクロ用撮像素子とその周辺回路から構成されたテストパターン画像を撮影する撮像部1401および撮像レンズ1403を有しており、撮像レンズ1403の前面には、フィルタ1405〜1410、フィルタ無し開口部1411および遮光状態の撮像素子のパターンノイズを測定するための遮光部1412を同心円状に保持したターレット1404が配置されている。また、撮像部1401と撮像レンズ1403との間には、図14(b)に平面図で示すように、4つのバンドパスフィルタ(以下、単にフィルタとも言う)1415〜1418を同心円状に保持したターレット1414が配置されている。   In the present embodiment, the calibration camera 106 is configured as shown in FIG. 14 in the calibration system shown in FIG. That is, as shown in a schematic perspective view in FIG. 14A, the calibration camera 106 captures a test pattern image composed of a monochrome image sensor similar to the first embodiment and its peripheral circuit. Part 1401 and an imaging lens 1403, and on the front surface of the imaging lens 1403, filters 1405 to 1410, an unfiltered opening 1411, and a light shielding part 1412 for measuring pattern noise of an image sensor in a light shielding state are concentric. A turret 1404 held in the box is disposed. Further, between the imaging unit 1401 and the imaging lens 1403, four band pass filters (hereinafter also simply referred to as filters) 1415 to 1418 are concentrically held as shown in a plan view in FIG. A turret 1414 is disposed.

選択手段であるターレット回転制御部1402は、ターレット1404および1414を回転制御するための2つのモータ(DCモータやパルスモータ等)とその制御回路とから構成され、ターレット1404の連結部1413には、一方のモータの回転軸が直接連結している。また、ターレット1414は、連結部1420がターレット回転制御部1402に取り付けられた不図示の軸受けに回転自在に支持され、その外周部には歯車の歯が形成され、その歯に、他方のモータの回転軸に連結されたギヤ1419が歯合して、ギヤ1419を介してモータの駆動力が伝達されるようになっている。これら2つのターレット1404および1414は、撮像レンズ1403の光軸上にそれぞれのフィルタ中心が位置するように、ターレット回転制御部1402により回転および静止位置が制御される。   The turret rotation control unit 1402 serving as a selection unit includes two motors (such as a DC motor and a pulse motor) for controlling the rotation of the turrets 1404 and 1414 and a control circuit thereof. A connection unit 1413 of the turret 1404 includes The rotating shaft of one motor is directly connected. Further, the turret 1414 is rotatably supported by a bearing (not shown) having a connecting portion 1420 attached to the turret rotation control unit 1402, and gear teeth are formed on the outer peripheral portion of the turret 1414. A gear 1419 connected to the rotating shaft meshes, and the driving force of the motor is transmitted via the gear 1419. The rotation and stationary positions of these two turrets 1404 and 1414 are controlled by the turret rotation control unit 1402 so that the respective filter centers are positioned on the optical axis of the imaging lens 1403.

撮像部1401の撮影タイミングや露出制御、ターレット回転制御部1402のフィルタ選択制御等の制御および撮影画像の出力タイミングはコンピュータ107によって制御される。   The computer 107 controls the imaging timing and exposure control of the imaging unit 1401, the filter selection control of the turret rotation control unit 1402, and the output timing of the captured image.

ここで、ターレット1414の設けられたフィルタ1415は図3に示した分光透過率特性を有しており、フィルタ1416は図15(a)に示す分光透過率特性を有しており、フィルタ1417は図15(b)に示す分光透過率特性を有しており、フィルタ1418は図15(c)に示す分光透過率特性を有している。   Here, the filter 1415 provided with the turret 1414 has the spectral transmittance characteristic shown in FIG. 3, the filter 1416 has the spectral transmittance characteristic shown in FIG. The filter 1418 has the spectral transmittance characteristic shown in FIG. 15C, and has the spectral transmittance characteristic shown in FIG.

これらターレット1414のフィルタ1415〜1418と、ターレット1404のフィルタ1405〜1410およびフィルタ無し開口1411との組み合わせは予め決められている。すなわち、フィルタ1415はフィルタ無し開口部1411と組み合わせて使用され、フィルタ1416は赤測定用のフィルタ1405、1408、或いは1410と組み合わせて使用され、フィルタ1417は緑測定用のフィルタ1406、1409、1410と組み合わせて使用され、フィルタ1418は青測定用のフィルタ1407、1409、1410と組み合わせて使用される。   The combinations of the filters 1415 to 1418 of the turret 1414 and the filters 1405 to 1410 and the filterless opening 1411 of the turret 1404 are determined in advance. That is, the filter 1415 is used in combination with the no-filter opening 1411, the filter 1416 is used in combination with the red measurement filter 1405, 1408, or 1410, and the filter 1417 is used with the green measurement filters 1406, 1409, 1410. The filter 1418 is used in combination with the blue measurement filters 1407, 1409, and 1410.

上記のフィルタ組み合わせによる撮像部1401および撮像レンズ1403を含めたキャリブレーションカメラ106の分光感度特性は、フィルタ1405とフィルタ1416との組み合わせでは図16(a)に示すようになっており、フィルタ1406とフィルタ1417との組み合わせでは図16(b)に示すようになっており、フィルタ1407とフィルタ1418との組み合わせでは図16(c)に示すようになっている。   The spectral sensitivity characteristics of the calibration camera 106 including the imaging unit 1401 and the imaging lens 1403 by the above filter combination are as shown in FIG. 16A when the filter 1405 and the filter 1416 are combined. The combination with the filter 1417 is as shown in FIG. 16B, and the combination with the filter 1407 and the filter 1418 is as shown in FIG. 16C.

これら3種類の組み合わせフィルタ(1405と1416)、(1406と1417)および(1407と1418)は、XYZ表色系でのX等色関数400(破線)を模したXフィルタであるが、図16(a)の分光感度1601は、プロジェクタ原色赤402の波長域(約560〜780nm)のみ精度良く一致するようにフィルタ1405およびフィルタ1416の分光透過率が設計されており、短波長域の透過率はほぼゼロに落ち込む特性となっている。また、図16(b)の分光感度1602は、プロジェクタ原色緑404の波長域(約500〜590nm)のみ精度良く一致するように、フィルタ1406およびフィルタ1417の分光透過率が設計されており、該波長域以外はほぼゼロに落ち込む特性となっている。同様に、図16(c)の分光感度1603は、プロジェクタ原色青406の波長域(約380〜500nm)のみを精度良く一致するように、フィルタ1407およびフィルタ1418の分光透過率が設計されており、長波長域の透過率はほぼゼロに落ち込む特性となる。   These three types of combination filters (1405 and 1416), (1406 and 1417), and (1407 and 1418) are X filters that imitate the X color matching function 400 (broken line) in the XYZ color system. The spectral sensitivity 1601 of (a) is designed such that the spectral transmittances of the filter 1405 and the filter 1416 are precisely matched only in the wavelength range (about 560 to 780 nm) of the projector primary color red 402, and the transmittance in the short wavelength range. Has a characteristic that falls to almost zero. Also, the spectral sensitivity 1602 of FIG. 16B is designed so that the spectral transmittances of the filter 1406 and the filter 1417 are accurately matched only in the wavelength region (about 500 to 590 nm) of the projector primary color green 404. Other than the wavelength range, the characteristic falls to almost zero. Similarly, the spectral transmittances of the filter 1407 and the filter 1418 are designed so that the spectral sensitivity 1603 in FIG. 16C accurately matches only the wavelength range (about 380 to 500 nm) of the projector primary color blue 406. The transmittance in the long wavelength region is a characteristic that drops to almost zero.

また、フィルタ1408とフィルタ1416とを組み合わせた場合のキャリブレーションカメラ106の分光感度特性は図17(a)に示すようになっており、フィルタ1409とフィルタ1417とを組み合わせた場合のキャリブレーションカメラ106の分光感度特性は図17(b)に示すようになっており、フィルタ1409とフィルタ1418とを組み合わせた場合のキャリブレーションカメラ106の分光感度特性は図17(c)に示すようになっている。   The spectral sensitivity characteristics of the calibration camera 106 when the filter 1408 and the filter 1416 are combined are as shown in FIG. 17A, and the calibration camera 106 when the filter 1409 and the filter 1417 are combined. The spectral sensitivity characteristic of the calibration camera 106 when the filter 1409 and the filter 1418 are combined is as shown in FIG. 17C. .

これら3種類の組み合わせフィルタ(1408と1416)、(1409と1417)および(1409と1418)は、XYZ表色系でのY等色関数500(破線)を模したYフィルタであるが、図17(a)の分光感度1701は、プロジェクタ原色赤402の波長域(約560〜780nm)のみ精度良く一致するようにフィルタ1408およびフィルタ1416の分光透過率が設計されており、短波長域の透過率はほぼゼロに落ち込む特性となる。また図17(b)の分光感度1702は、プロジェクタ原色緑404の波長域(約500〜590nm)のみ精度良く一致するようにフィルタ1409およびフィルタ1417の分光透過率が設計されており、該波長域以外はほぼゼロに落ち込む特性となる。同様に、図17(c)の分光感度1703は、プロジェクタ原色青406の波長域(約380〜500nm)のみを精度良く一致するようにフィルタ1409およびフィルタ1418の分光透過率が設計されており、長波長域の透過率はほぼゼロに落ち込む特性となっている。   These three types of combination filters (1408 and 1416), (1409 and 1417) and (1409 and 1418) are Y filters simulating the Y color matching function 500 (broken line) in the XYZ color system. The spectral sensitivity 1701 of (a) is designed such that the spectral transmittances of the filter 1408 and the filter 1416 are precisely matched only in the wavelength range (about 560 to 780 nm) of the projector primary color red 402, and the transmittance in the short wavelength range. Is a characteristic that falls to almost zero. Also, the spectral sensitivity 1702 in FIG. 17B is designed such that the spectral transmittances of the filter 1409 and the filter 1417 are matched accurately only in the wavelength range (about 500 to 590 nm) of the projector primary color green 404. Except for, the characteristics are almost zero. Similarly, the spectral sensitivities 1703 in FIG. 17C are designed so that the spectral transmittances of the filter 1409 and the filter 1418 accurately match only the wavelength range (about 380 to 500 nm) of the projector primary color blue 406, The transmittance in the long wavelength region has a characteristic of dropping to almost zero.

なお、フィルタ1410については狭帯域であり、フィルタ1416やフィルタ1417との組み合わせでは全帯域でほぼゼロの分光感度となり、フィルタ1418との組み合わせでは図6と同様な分光感度を示すようになっている。   Note that the filter 1410 has a narrow band, and when combined with the filter 1416 and the filter 1417, the spectral sensitivity is almost zero in all bands, and when combined with the filter 1418, the spectral sensitivity similar to that shown in FIG. .

ターレット1404に保持されたフィルタ1405〜1410は、第1実施の形態と同様にゼラチンフィルタで構成され、ターレット1414に保持されたフィルタ1415〜1418は、バンドパス特性の干渉フィルタで構成されている。したがって、本実施の形態では、第1実施の形態の構成に比べて製造コストは上がるが、黒浮きがあるプロジェクタを使用する場合に色補正処理の更なる精度向上が望める。   The filters 1405 to 1410 held by the turret 1404 are made of gelatin filters as in the first embodiment, and the filters 1415 to 1418 held by the turret 1414 are made of bandpass characteristic interference filters. Therefore, although the manufacturing cost increases in this embodiment compared with the configuration of the first embodiment, it is possible to further improve the accuracy of the color correction process when using a projector with a black float.

以下、キャリブレーションカメラ106により、ターレット1404に配置されたフィルタ1405〜1410およびターレット1414に配置されたフィルタ1415〜1418を用いて撮影されたプロジェクタの3原色の3刺激値(X、Y、Z)画像を用いて行う色差補正処理の原理について詳細説明する。   Hereinafter, the tristimulus values (X, Y, Z) of the three primary colors of the projector photographed by the calibration camera 106 using the filters 1405 to 1410 arranged in the turret 1404 and the filters 1415 to 1418 arranged in the turret 1414. The principle of color difference correction processing performed using an image will be described in detail.

上記の(4)、(5)および(6)式で表現される

Figure 2006146033

のX,Y,Zの等色関数x(λ)、y(λ)、z(λ)を、以下のキャリブレーションカメラ106の分光感度特性に置き換える。 Expressed by the above equations (4), (5) and (6)
Figure 2006146033

The X, Y, and Z color matching functions x (λ), y (λ), and z (λ) are replaced with the spectral sensitivity characteristics of the calibration camera 106 described below.

x(λ)は R用をx(λ)BP′(λ)C(λ)=x′(λ)
G用をx(λ)BP′(λ)C(λ)=x′(λ)
B用をx(λ)BP′(λ)C(λ)=x′(λ)
y(λ)は R用をy(λ)BP′(λ)C(λ)=y′(λ)
G用をy(λ)BP′(λ)C(λ)=y′(λ)
B用をy(λ)BP′(λ)C(λ)=y′(λ)
z(λ)は R用をz(λ)BP′(λ)C(λ)=z′(λ)
G用をz(λ)BP′(λ)C(λ)=z′(λ)
B用をz(λ)BP′(λ)C(λ)=z′(λ)
x (λ) is R 1 x 1 (λ) BP R ′ (λ) C (λ) = x 1 ′ (λ)
X 2 (λ) BP G ′ (λ) C (λ) = x 2 ′ (λ)
X 3 (λ) BP B ′ (λ) C (λ) = x 3 ′ (λ)
y (λ) is R 1 for y 1 (λ) BP R ′ (λ) C (λ) = y 1 ′ (λ)
For G, y 2 (λ) BP G ′ (λ) C (λ) = y 2 ′ (λ)
B for y 2 (λ) BP B ′ (λ) C (λ) = y 3 ′ (λ)
z (λ) is for R z (λ) BP R ′ (λ) C (λ) = z 1 ′ (λ)
For G, z (λ) BP G ′ (λ) C (λ) = z 2 ′ (λ)
For B, z (λ) BP B ′ (λ) C (λ) = z 3 ′ (λ)

ここで、BP′(λ)はフィルタ1416の分光透過率、BP′(λ)はフィルタ1417の分光透過率、BP′(λ)はフィルタ1418の分光透過率をそれぞれ示し、x(λ)はフィルタ1405の分光透過率、x(λ)はフィルタ1406の分光透過率、x(λ)はフィルタ1407の分光透過率、y(λ)はフィルタ1408の分光透過率、y(λ)はフィルタ1409の分光透過率、z(λ)はフィルタ1410の分光透過率をそれぞれ示し、C(λ)は撮像レンズ1403と撮像部1401の不図示の撮像素子とを組み合わせた場合の分光感度特性を示す。 Here, BP R '(λ) represents the spectral transmittance of the filter 1416, BP G ' (λ) represents the spectral transmittance of the filter 1417, BP B '(λ) represents the spectral transmittance of the filter 1418, and x 1 (λ) is the spectral transmittance of the filter 1405, x 2 (λ) is the spectral transmittance of the filter 1406, x 3 (λ) is the spectral transmittance of the filter 1407, and y 1 (λ) is the spectral transmittance of the filter 1408, y 2 (λ) represents the spectral transmittance of the filter 1409, z (λ) represents the spectral transmittance of the filter 1410, and C (λ) represents a combination of the imaging lens 1403 and an imaging element (not shown) of the imaging unit 1401. The spectral sensitivity characteristics are shown.

Figure 2006146033
Figure 2006146033

ここで、BP′(λ)、BP′(λ)、BP′(λ)の分光透過率により、
K(λ)x′(λ) ≒ωR0R(λ)x′(λ)
K(λ)x′(λ) ≒ωG0G(λ)x′(λ)
K(λ)x′(λ) ≒ωB0B(λ)x′(λ)
K(λ)y′(λ) ≒ωR0R(λ)y′(λ)
K(λ)x′(λ) ≒ωG0G(λ)y′(λ)
K(λ)x′(λ) ≒ωB0B(λ)y′(λ)
K(λ)z′(λ) ≒ωR0R(λ)z′(λ)
K(λ)z′(λ) ≒ωG0G(λ)z′(λ)
K(λ)z′(λ) ≒ωB0B(λ)z′(λ)
とできる。
Here, according to the spectral transmittances of BP R '(λ), BP G ' (λ), and BP B '(λ),
K (λ) x 1 ′ (λ) ≈ω R0 R (λ) x 1 ′ (λ)
K (λ) x 2 ′ (λ) ≈ω G0 G (λ) x 2 ′ (λ)
K (λ) x 3 ′ (λ) ≈ω B0 B (λ) x 3 ′ (λ)
K (λ) y 1 ′ (λ) ≈ω R0 R (λ) y 1 ′ (λ)
K (λ) x 2 ′ (λ) ≈ω G0 G (λ) y 2 ′ (λ)
K (λ) x 3 ′ (λ) ≈ω B0 B (λ) y 3 ′ (λ)
K (λ) z 1 ′ (λ) ≈ω R0 R (λ) z 1 ′ (λ)
K (λ) z 2 ′ (λ) ≈ω G0 G (λ) z 2 ′ (λ)
K (λ) z 3 ′ (λ) ≈ω B0 B (λ) z 3 ′ (λ)
And can.

Figure 2006146033

は、黒入力信号レベルでの影響を取り除いた
Figure 2006146033

を使って、
Figure 2006146033

と表すことができる。
Figure 2006146033

Removed the effect on the black input signal level
Figure 2006146033

Use
Figure 2006146033

It can be expressed as.

Figure 2006146033
Figure 2006146033

プロジェクタkの

Figure 2006146033

は、上記
Figure 2006146033

の各要素CRk、CGk、CBkを使って以下のように表すことができる。 Projector k
Figure 2006146033

Is the above
Figure 2006146033

Each element C Rk , C Gk , and C Bk can be expressed as follows.

Figure 2006146033
Figure 2006146033

上記

Figure 2006146033

の原色ベクトルを、プロジェクタの入力信号レベル(qRk,qGk,qBk)を制御して生成した場合には、以下のように書き表すことができる。 the above
Figure 2006146033

Are generated by controlling the input signal levels (q Rk , q Gk , q Bk ) of the projector, they can be written as follows:

Figure 2006146033
Figure 2006146033

これにより、上記(9)〜(14)式と同じ式が導出できるので、第1実施の形態と同様の処理を行うことにより、γ変換テーブルを作成することができる。   As a result, the same equations as the equations (9) to (14) can be derived, and a γ conversion table can be created by performing the same processing as in the first embodiment.

ただし、本実施の形態では、上記処理を行うにあたって、テストパターン画像として各原色の最大入力信号レベルでのテストパターン画像とともに、新たに3原色の入力信号レベルがともに最小となるテストパターン画像をフィルタ1405〜1410とフィルタ1416〜1418とを組み合わせて撮影する必要がある。   However, in the present embodiment, when performing the above processing, a test pattern image having the minimum input signal level of the three primary colors is newly filtered together with the test pattern image at the maximum input signal level of each primary color as the test pattern image. It is necessary to photograph 1405 to 1410 and filters 1416 to 1418 in combination.

以下、この最小入力信号レベルのテストパターン画像の撮影手順について、図18に示すフローチャートを参照して説明する。   Hereinafter, the procedure for photographing the test pattern image having the minimum input signal level will be described with reference to the flowchart shown in FIG.

図18のフローチャートは、図10のステップS1004およびステップS1005における色テストパターン画像撮影処理の一部の処理を示している。先ず、RGBの3原色が最小入力信号レベルの色テストパターン画像を画像表示部710(図7参照)にて表示し(ステップS1801)、R用Xゼラチンフィルタ(ゼラチンXR)1405およびR用干渉フィルタ(干渉Rフィルタ)1416を使用するためにターレット1404および1414を撮像レンズ1403の位置に移動させて表示画像を撮影して保存し(ステップS1802)、さらにR用Yゼラチンフィルタ(ゼラチンYR)1408およびR用干渉フィルタ1416を使用するためにターレット1404および1414を撮像レンズ1403の位置に移動させて表示画像を撮影して保存し(ステップS1803)、さらにZゼラチンフィルタ(ゼラチンZ)1410およびR用干渉フィルタ1416を使用するためにターレット1404および1414を撮像レンズ1403の位置に移動させて表示画像を撮影して保存する(ステップS1804)。なお、ステップS1804はカメラの分光感度自体が低いため、削除しても良い。   The flowchart in FIG. 18 shows a part of the color test pattern image photographing process in steps S1004 and S1005 in FIG. First, a color test pattern image in which the three primary colors of RGB are at the minimum input signal level is displayed on the image display unit 710 (see FIG. 7) (step S1801), and the R X gelatin filter (gelatin XR) 1405 and the R interference filter are displayed. In order to use the (interference R filter) 1416, the turrets 1404 and 1414 are moved to the position of the imaging lens 1403 to capture and store a display image (step S1802), and further, an R Y gelatin filter (gelatin YR) 1408 and In order to use the interference filter 1416 for R, the turrets 1404 and 1414 are moved to the position of the imaging lens 1403 to capture and store a display image (step S1803), and further the Z gelatin filter (gelatin Z) 1410 and the interference for R To use filter 1416 The Tsu bets 1404 and 1414 are moved to the position of the imaging lens 1403 and stores the captured display image (step S1804). Note that step S1804 may be deleted because the spectral sensitivity of the camera itself is low.

続いて、G用Xゼラチンフィルタ(ゼラチンXG)1406およびG用干渉フィルタ(干渉Gフィルタ)1417を使用するためにターレット1404および1414を撮像レンズ1403の位置に移動させて表示画像を撮影して保存し(ステップS1405)、さらにG用Yゼラチンフィルタ(ゼラチンYG)1409およびG用干渉フィルタ1417を使用するためにターレット1404および1414を撮像レンズ1403の位置に移動させて表示画像を撮影して保存し(ステップS1806)、さらにZゼラチンフィルタ1410およびG用干渉フィルタ1417を使用するためにターレット1404および1414を撮像レンズ1403の位置に移動させて表示画像を撮影して保存する(ステップS1807)。   Subsequently, in order to use the X gelatin filter for G (gelatin XG) 1406 and the interference filter for G (interference G filter) 1417, the turrets 1404 and 1414 are moved to the position of the imaging lens 1403, and a display image is taken and stored. In step S1405, the turrets 1404 and 1414 are moved to the position of the image pickup lens 1403 to capture and store the display image in order to use the Y gelatin filter (gelatin YG) 1409 and the G interference filter 1417. (Step S1806) Further, in order to use the Z gelatin filter 1410 and the G interference filter 1417, the turrets 1404 and 1414 are moved to the position of the imaging lens 1403, and a display image is photographed and stored (step S1807).

最後に、B用Xゼラチンフィルタ(ゼラチンXB)1407およびB用干渉フィルタ(干渉Bフィルタ)1418を使用するためにターレット1404および1414を撮像レンズ1403の位置に移動させて表示画像を撮影して保存し(ステップS1808)、さらにB用Yゼラチンフィルタ(ゼラチンYB)1409およびB用干渉フィルタ1418を使用するためにターレット1404および1414を撮像レンズ1403の位置に移動させて表示画像を撮影して保存し(ステップS1809)、さらにZゼラチンフィルタ1410およびB用干渉フィルタ1418を使用するためにターレット1404および1414を撮像レンズ1403の位置に移動させて表示画像を撮影して保存する(ステップS1810)。   Finally, in order to use the X gelatin filter for B (gelatin XB) 1407 and the interference filter for B (interference B filter) 1418, the turrets 1404 and 1414 are moved to the position of the imaging lens 1403, and a display image is taken and stored. In step S1808, the turrets 1404 and 1414 are moved to the position of the imaging lens 1403 to capture and save the display image in order to use the Y gelatin filter (gelatin YB) 1409 for B and the interference filter 1418 for B. (Step S1809) Further, in order to use the Z gelatin filter 1410 and the B interference filter 1418, the turrets 1404 and 1414 are moved to the position of the imaging lens 1403, and a display image is taken and stored (step S1810).

なお、各原色の最大入力信号レベルの撮影処理手順は、図11(a)〜(c)に示したフローチャートと同様であるが、本実施の形態の場合には、図11(a)のステップS1102におけるR用Xフィルタはフィルタ1416および1405が選択された状態を示し、ステップS1103のR用Yフィルタはフィルタ1416および1408が選択された状態を示し、ステップS1104におけるR用Zフィルタはフィルタ1416および1410が選択された状態を示すものであり、図11(b)のステップS1106におけるG用Xフィルタはフィルタ1417および1406が選択された状態を示し、ステップS1107におけるG用Yフィルタはフィルタ1417および1409が選択された状態を示し、ステップS1108におけるG用Zフィルタはフィルタ1417および1410が選択された状態を示すものであり、図11(c)のステップS1110におけるB用Xフィルタはフィルタ1418および1407が選択された状態を示し、ステップS1111におけるB用Yフィルタはフィルタ1418および1409が選択された状態を示し、ステップS1112におけるG用Zフィルタはフィルタ1418および1410が選択された状態を示す。   Note that the shooting processing procedure for the maximum input signal level of each primary color is the same as the flowchart shown in FIGS. 11A to 11C, but in the case of the present embodiment, the steps in FIG. The X filter for R in S1102 shows a state where the filters 1416 and 1405 are selected, the Y filter for R in Step S1103 shows the state where the filters 1416 and 1408 are selected, and the Z filter for R in Step S1104 is the filter 1416 and 1410 shows a state in which the filter is selected, the X filter for G in step S1106 in FIG. 11B shows the state in which the filters 1417 and 1406 are selected, and the Y filter for G in step S1107 shows the filters 1417 and 1409. Indicates the selected state, and in step S1108 The G Z filter indicates that the filters 1417 and 1410 are selected, and the B X filter in step S1110 of FIG. 11C indicates that the filters 1418 and 1407 are selected. The B Y filter indicates that the filters 1418 and 1409 are selected, and the G Z filter in step S1112 indicates that the filters 1418 and 1410 are selected.

以上のように、本実施の形態では、第1の実施の形態では無視した黒浮きの項K(λ)を考慮するようにしたので、より精度の高い色差補正を行うことができる。   As described above, in this embodiment, since the black floating term K (λ) ignored in the first embodiment is taken into consideration, it is possible to perform color difference correction with higher accuracy.

なお、本発明は、上記実施の形態に限定されるものではなく、幾多の変形または変更が可能である。例えば、キャリブレーションカメラ106のターレット204、1404および1414は、マルチプロジェクションシステムの画像表示装置(102〜104)の原色の分光特性に応じて交換可能であって良いのは言うまでもなく、そのために連結部213、1413や1420を着脱可能に構成しても良い。また、上記実施の形態においては、画像表示装置の原色数を3つとしていたが、それ以上であっても波長帯域が明確に分離されていれば、上記のターレットのフィルタ数を増やすことで対応可能である。   In addition, this invention is not limited to the said embodiment, Many deformation | transformation or a change is possible. For example, the turrets 204, 1404, and 1414 of the calibration camera 106 may be interchanged according to the spectral characteristics of the primary colors of the image display apparatuses (102 to 104) of the multi-projection system. You may comprise 213, 1413, and 1420 so that attachment or detachment is possible. In the above embodiment, the number of primary colors of the image display device is three. However, if the wavelength band is clearly separated even if it is more than that, it can be handled by increasing the number of filters of the turret. Is possible.

さらに、本発明は、マルチプロジェクションシステムに限らず、一台のプロジェクタの面内色むらおよび輝度むらについても、同様にキャリブレーションできるのは言うまでも無く、また、プロジェクタ以外の画像表示装置で、各原色の波長帯域のオーバーラップ量が少なく分離されており、原色の加法混色により任意の色を生成しているものであれば、同様に利用可能であるのは言うまでも無い。   Furthermore, the present invention is not limited to the multi-projection system, and it is needless to say that the in-plane color unevenness and luminance unevenness of one projector can be similarly calibrated, and in an image display device other than the projector, Needless to say, any wavelength can be used in the same manner as long as the overlapping amount of each primary color wavelength band is separated and an arbitrary color is generated by additive color mixing of the primary colors.

本発明の第1実施の形態におけるキャリブレーション装置を含むマルチプロジェクションシステムの一例を示す模式図である。1 is a schematic diagram illustrating an example of a multi-projection system including a calibration device according to a first embodiment of the present invention. 図1のキャリブレーションカメラの概略構成を示す斜視図である。It is a perspective view which shows schematic structure of the calibration camera of FIG. 図1のキャリブレーションカメラに内蔵されたIRカットフィルタの分光透過率特性を示す図である。It is a figure which shows the spectral transmittance characteristic of IR cut filter built in the calibration camera of FIG. 図1のキャリブレーションカメラにおける3つのXフィルタの分光感度特性例を示す図である。It is a figure which shows the example of the spectral sensitivity characteristic of three X filters in the calibration camera of FIG. 同じく、2つのYフィルタの分光感度特性例を示す図である。Similarly, it is a figure which shows the example of the spectral sensitivity characteristic of two Y filters. 同じく、Zフィルタの分光感度特性例を示す図である。Similarly, it is a figure which shows the example of the spectral sensitivity characteristic of Z filter. マルチプロジェクションシステムの機能構成を示すブロック図である。It is a block diagram which shows the function structure of a multi-projection system. 幾何キャリブレーションを行うための表示画像例を示す図である。It is a figure which shows the example of a display image for performing geometric calibration. 同じく、色キャリブレーションを行うための表示画像例を示す図である。Similarly, it is a figure which shows the example of a display image for performing color calibration. キャリブレーション処理全体を示すフローチャートである。It is a flowchart which shows the whole calibration process. 図10の色テストパターン画像撮影処理内でのカラーマトリックステストパターン画像の撮影手順を示すフローチャートである。11 is a flowchart showing a procedure for photographing a color matrix test pattern image in the color test pattern image photographing process of FIG. 10. 同じく、γカーブテストパターン画像の撮影手順を示すフローチャートである。Similarly, it is a flowchart showing a procedure for photographing a γ curve test pattern image. 色キャリブレーション処理で作成されるγ変換テーブルの一例を示す図である。It is a figure which shows an example of the (gamma) conversion table produced by a color calibration process. 本発明の第2実施の形態を説明するキャリブレーションカメラの概略構成を示す図である。It is a figure which shows schematic structure of the calibration camera explaining 2nd Embodiment of this invention. 図14のキャリブレーションカメラで使用されるR、G、Bのバンドパスフィルタの分光透過率特性例を示す図である。It is a figure which shows the example of the spectral transmittance characteristic of the band pass filter of R, G, B used with the calibration camera of FIG. 同じく、3つのXフィルタの分光感度特性例を示す図である。Similarly, it is a figure which shows the example of the spectral sensitivity characteristic of three X filters. 同じく、3つのYフィルタの分光感度特性例を示す図である。Similarly, it is a figure which shows the example of the spectral sensitivity characteristic of three Y filters. 色テストパターン画像撮影処理内でのカラーマトリックステストパターン画像の撮影手順を示すフローチャートである。It is a flowchart which shows the imaging | photography procedure of the color matrix test pattern image in a color test pattern image imaging process. 従来のキャリブレーションカメラの構成を示す模式図である。It is a schematic diagram which shows the structure of the conventional calibration camera. XYZ表色系における3つの等色関数の分光特性を示す図である。It is a figure which shows the spectral characteristic of three color matching functions in an XYZ color system.

符号の説明Explanation of symbols

101 スクリーン
102〜104 プロジェクタ
105 画像処理装置
106 キャリブレーションカメラ
107 コンピュータ
108 画像再生装置
201 撮像部
202 ターレット回転制御部
203 撮像レンズ
204 ターレット
205〜210 フィルタ
211 フィルタ無しの開口部
212 遮光部
213 連結部
702 制御部
703 幾何補正処理部
704 色補正処理部
705 撮影画像記憶部
706 幾何補正テーブル記憶部
707 γ変換テーブル記憶部
708 画像処理部
709 テストパターン画像記憶部
710 画像表示部
1401 撮像部
1402 ターレット回転制御部
1403 撮像レンズ
1404 ターレット
1405〜1410 フィルタ
1411 フィルタ無し開口部
1412 遮光部
1413 連結部
1414 ターレット
1415〜1418 バンドパスフィルタ
1419 ギヤ
1420 連結部
DESCRIPTION OF SYMBOLS 101 Screen 102-104 Projector 105 Image processing apparatus 106 Calibration camera 107 Computer 108 Image reproduction apparatus 201 Imaging part 202 Turret rotation control part 203 Imaging lens 204 Turret 205-210 Filter 211 Opening part without filter 212 Light-shielding part 213 Connection part 702 Control unit 703 Geometric correction processing unit 704 Color correction processing unit 705 Captured image storage unit 706 Geometric correction table storage unit 707 γ conversion table storage unit 708 Image processing unit 709 Test pattern image storage unit 710 Image display unit 1401 Imaging unit 1402 Turret rotation control Part 1403 imaging lens 1404 turret 1405 to 1410 filter 1411 aperture without filter 1412 light shielding part 1413 connecting part 1414 Tsu door 1415-1418 band-pass filter 1419 gear 1420 consolidated unit

Claims (7)

複数の原色により画像を表示する画像表示装置による表示画像を2次元画像として3刺激値(X、Y、Z)を測色するキャリブレーション方法において、
上記画像表示装置の原色表示を制御する工程と、
上記各原色の少なくとも1つの刺激値に対して設けられた複数のフィルタから、表示制御された原色に基づいて1つの特性のフィルタを選択する工程と、
を含むことを特徴とするキャリブレーション方法。
In a calibration method for measuring colors of tristimulus values (X, Y, Z) using a display image by an image display device that displays an image with a plurality of primary colors as a two-dimensional image,
Controlling the primary color display of the image display device;
Selecting a filter with one characteristic based on the display-controlled primary color from a plurality of filters provided for at least one stimulus value of each primary color;
A calibration method comprising:
複数の原色により画像を表示する画像表示装置による表示画像を2次元画像として3刺激値(X、Y、Z)を測色するキャリブレーション装置において、
上記各原色の少なくとも1つの刺激値に対して、該原色の波長帯域に応じて設けられた複数のフィルタと、
上記画像表示装置の原色表示を制御する表示制御手段と、
上記表示制御手段により制御する表示原色に基づいて、上記複数のフィルタから1つの特性のフィルタを選択する選択手段と、
を有することを特徴とするキャリブレーション装置。
In a calibration device for measuring tristimulus values (X, Y, Z) using a display image by an image display device that displays an image with a plurality of primary colors as a two-dimensional image,
A plurality of filters provided in accordance with a wavelength band of the primary color for at least one stimulus value of each primary color;
Display control means for controlling primary color display of the image display device;
Selection means for selecting a filter having one characteristic from the plurality of filters based on a display primary color controlled by the display control means;
A calibration apparatus comprising:
上記画像表示装置は複数台のプロジェクタからなることを特徴とする請求項2に記載のキャリブレーション装置。 The calibration apparatus according to claim 2, wherein the image display apparatus includes a plurality of projectors. 上記1つの特性のフィルタは、複数のフィルタの組み合わせからなることを特徴とする請求項2または3に記載のキャリブレーション装置。 4. The calibration apparatus according to claim 2, wherein the filter having one characteristic is a combination of a plurality of filters. 上記複数のフィルタの組み合わせは、複数特性の軟質フィルム状フィルタの組み合わせからなることを特徴とする請求項4に記載のキャリブレーション装置。 5. The calibration apparatus according to claim 4, wherein the combination of the plurality of filters is a combination of soft film filters having a plurality of characteristics. 上記複数のフィルタの組み合わせは、複数特性の軟質フィルム状フィルタの組み合わせと、1つの特性の干渉フィルタとからなることを特徴とする請求項4に記載のキャリブレーション装置。 The calibration apparatus according to claim 4, wherein the combination of the plurality of filters includes a combination of a plurality of soft film filters having a plurality of characteristics and an interference filter having one characteristic. 上記複数のフィルタは着脱可能であることを特徴とする請求項2に記載のキャリブレーション装置。 The calibration apparatus according to claim 2, wherein the plurality of filters are detachable.
JP2004338713A 2004-11-24 2004-11-24 Method and device for calibration in image display device Withdrawn JP2006146033A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004338713A JP2006146033A (en) 2004-11-24 2004-11-24 Method and device for calibration in image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004338713A JP2006146033A (en) 2004-11-24 2004-11-24 Method and device for calibration in image display device

Publications (1)

Publication Number Publication Date
JP2006146033A true JP2006146033A (en) 2006-06-08

Family

ID=36625786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004338713A Withdrawn JP2006146033A (en) 2004-11-24 2004-11-24 Method and device for calibration in image display device

Country Status (1)

Country Link
JP (1) JP2006146033A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061160A (en) * 2006-09-04 2008-03-13 Seiko Epson Corp Multiprojection system
JP2009010782A (en) * 2007-06-28 2009-01-15 Fuji Xerox Co Ltd Image processor and control program
WO2016039104A1 (en) * 2014-09-10 2016-03-17 ウシオ電機株式会社 Light source device and projector
CN113311659A (en) * 2016-03-31 2021-08-27 大日本印刷株式会社 Transmission type color calibration chart and calibration slide glass

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061160A (en) * 2006-09-04 2008-03-13 Seiko Epson Corp Multiprojection system
JP2009010782A (en) * 2007-06-28 2009-01-15 Fuji Xerox Co Ltd Image processor and control program
WO2016039104A1 (en) * 2014-09-10 2016-03-17 ウシオ電機株式会社 Light source device and projector
CN113311659A (en) * 2016-03-31 2021-08-27 大日本印刷株式会社 Transmission type color calibration chart and calibration slide glass
US11340115B2 (en) 2016-03-31 2022-05-24 Dai Nippon Printing Co., Ltd. Transmission type color calibration chart and calibration slide glass
US11371886B2 (en) 2016-03-31 2022-06-28 Dai Nippon Printing Co., Ltd. Transmission type color calibration chart and calibration slide glass
US11635329B2 (en) 2016-03-31 2023-04-25 Dai Nippon Printing Co., Ltd. Transmission type color calibration chart and calibration slide glass

Similar Documents

Publication Publication Date Title
JP3790928B2 (en) Correction data acquisition method and calibration system in image display device
JP3766672B2 (en) Image correction data calculation method
US20060279647A1 (en) Multi-spectral image capturing apparatus and adapter lens
JP5660711B2 (en) Restoration gain data generation method
JP2018005018A (en) Projection system and method for adjusting projection system
JP3704238B2 (en) Imaging device
KR101767853B1 (en) Information processing device, image projecting system, and computer program
JP2003274424A (en) Four-color image sensing apparatus
JP6633746B2 (en) Imaging device, imaging method, program, and non-transitory recording medium
JPWO2003103298A1 (en) Multi-projection system and correction data acquisition method in multi-projection system
JP2010206584A (en) Projector adjustment method, projector, and projector adjustment system, and projection adjustment program
JP2012022246A (en) Projection type video display device
WO2012046575A1 (en) Projection video display device
US20070236757A1 (en) Rich color image processing method and apparatus
JP7238296B6 (en) Projector, color correction system, and projector control method
JP5288702B2 (en) Color correction calculation method
JP2006146033A (en) Method and device for calibration in image display device
JPS63316836A (en) Printing method for color slide
TW200306124A (en) Image adjuster of projector and image adjusting method of image display
JP2007159141A5 (en)
JP2006108988A (en) Calibration device
JP2005303520A (en) Camera for calibration
JP6813037B2 (en) Projector, display system, projector control method, and image correction method
JP5605473B2 (en) Projection display device
US20170038196A1 (en) System and method for acquiring color image from monochrome scan camera

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060607

A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080205