JP2017212638A - Display device, control method for display device, and program - Google Patents
Display device, control method for display device, and program Download PDFInfo
- Publication number
- JP2017212638A JP2017212638A JP2016105256A JP2016105256A JP2017212638A JP 2017212638 A JP2017212638 A JP 2017212638A JP 2016105256 A JP2016105256 A JP 2016105256A JP 2016105256 A JP2016105256 A JP 2016105256A JP 2017212638 A JP2017212638 A JP 2017212638A
- Authority
- JP
- Japan
- Prior art keywords
- test pattern
- image
- unit
- display
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、投射型の表示装置、表示装置の制御方法、及びプログラムに関する。 The present invention relates to a projection-type display device, a display device control method, and a program.
近年、カメラを内蔵又は接続可能な投射型の表示装置（例えば液晶プロジェクタ）が実現されている。また、この液晶プロジェクタにおいては、投射表示したテストパターンをカメラで撮影して、その撮影画像から抽出したテストパターンの投射形状の歪みを検出し、その投射形状の歪みに基づいて投射表示映像の歪みを補正する機能も実現されている。 In recent years, a projection type display device (for example, a liquid crystal projector) capable of incorporating or connecting a camera has been realized. Also, in this liquid crystal projector, the projected test pattern is photographed by a camera, the distortion of the projection shape of the test pattern extracted from the photographed image is detected, and the distortion of the projected display image is based on the distortion of the projection shape. A function to correct the above is also realized.
また、特許文献１には、入力映像に対し、テストパターンを重畳した第１の映像とテストパターンのみの輝度レベルを反転させた第２の映像とをそれぞれ投射して撮影し、それらの撮影画像からテストパターンを抽出する技術が開示されている。具体的には、特許文献１に記載のプロジェクタは、第１の映像を撮影した撮影画像と、第２の映像を撮影した撮影画像の輝度レベルを白黒反転させた映像とを、加算演算することにより、テストパターンを抽出する。そして、特許文献１のプロジェクトは、抽出したテストパターンを解析して歪みを検出して、投射表示映像の歪みを補正する。 Further, in Patent Document 1, a first video obtained by superimposing a test pattern and a second video obtained by inverting the luminance level of only the test pattern are respectively projected and shot with respect to an input video, and these shot images are taken. A technique for extracting a test pattern from an image is disclosed. Specifically, the projector described in Patent Document 1 adds and calculates a captured image obtained by capturing the first video and a video obtained by reversing the luminance level of the captured image obtained by capturing the second video. To extract a test pattern. And the project of patent document 1 analyzes the extracted test pattern, detects distortion, and correct | amends distortion of a projection display image | video.
しかしながら、前述したカメラを内蔵又は接続可能な表示装置は、例えば、外光が突発的に画面に入射したり、人物が画面前を横切ったりする等の外乱により、撮影が失敗することがある。撮影が失敗した場合、撮影画像からテストパターンを抽出できなくなり、その結果、投射表示映像の歪みの補正が出来なくなる。また、表示装置は、テストパターンの解析処理を終えるまで、撮影が失敗したか否かを判断できない。このように撮影が失敗した場合、テストパターンの解析に要した処理が無駄になり、その無駄な解析処理が行われることにより、無駄に電力が消費されてしまうことになる。 However, in the above-described display device with a built-in or connectable camera, photographing may fail due to disturbances such as external light suddenly entering the screen or a person crossing the front of the screen. If shooting fails, the test pattern cannot be extracted from the shot image, and as a result, the distortion of the projected display image cannot be corrected. Further, the display device cannot determine whether or not the imaging has failed until the test pattern analysis process is completed. In this way, when shooting fails, processing required for analysis of the test pattern is wasted, and power is wasted due to the wasteful analysis processing.
そこで、本発明は、投射表示映像の歪み補正処理に係る消費電力を低減することを目的とする。 Accordingly, an object of the present invention is to reduce power consumption related to distortion correction processing of a projected display image.
本発明は、テストパターンが投射表示された投射面に対する撮影画像からテストパターンを抽出し、抽出されたテストパターンが有効なテストパターンかどうかを判定して、有効なテストパターンであると判定された場合、その有効と判定されたテストパターンに基づいて、投射表示される映像の歪みを検出する処理を実行し、検出された歪みに基づいて、投射表示される映像の歪みを補正することを特徴とする。 In the present invention, a test pattern is extracted from a captured image on a projection surface on which a test pattern is projected and displayed, and it is determined whether or not the extracted test pattern is a valid test pattern. In this case, a process for detecting distortion of the projected and displayed video is executed based on the test pattern determined to be valid, and the distortion of the projected and displayed video is corrected based on the detected distortion. And
本発明によれば、投射表示映像の歪み補正処理に係る消費電力を低減することが可能となる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to reduce the power consumption which concerns on the distortion correction process of a projection display image | video.
以下、添付の図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.
本実施形態の表示装置は、カメラを内蔵又は接続可能な投射型の表示装置（液晶プロジェクタ）である。また、本実施形態の表示装置は、投射表示したテストパターンをカメラで撮影し、その撮影画像から抽出したテストパターンの投射形状の歪みを検出して、その投射形状の歪みに基づいて投射表示映像の歪みを補正する機能を有している。以下の各実施形態では、カメラを内蔵した投射型の液晶プロジェクタにおいて、テストパターンを撮影して投射表示映像の台形歪みを補正する例を説明する。また、詳細は後述するが、本実施形態の液晶プロジェクタは、撮影された画像のテストパターンが有効か否かを判定し、有効な場合にのみテストパターンの解析以降の処理を実行する。 The display device of the present embodiment is a projection type display device (liquid crystal projector) in which a camera can be incorporated or connected. In addition, the display device of the present embodiment shoots a projected test pattern with a camera, detects a distortion in the projection shape of the test pattern extracted from the captured image, and displays a projected display image based on the distortion in the projection shape. It has a function to correct distortion. In the following embodiments, an example will be described in which a projection type liquid crystal projector with a built-in camera captures a test pattern and corrects a trapezoidal distortion of a projected display image. Although details will be described later, the liquid crystal projector according to the present embodiment determines whether or not the test pattern of the photographed image is valid, and executes the process after the analysis of the test pattern only when the test pattern is valid.
＜第１の実施形態＞
図１は、第１の実施形態のカメラ内蔵型の液晶プロジェクタ１の概略構成例を示す図である。図１に示す本実施形態の液晶プロジェクタ１において、映像入力部３から表示パネル１０までがスクリーン２へ映像を投射表示させるための構成である。また、図１に示す本実施形態の液晶プロジェクタ１において、カメラ１１から歪み補正制御部１６まで、及び、倍速変換部５、テストパターン生成部６、ブレンド部７、歪み補正部８が、映像撮影と歪み補正に関わる構成となされている。
<First Embodiment>
FIG. 1 is a diagram illustrating a schematic configuration example of a camera built-in type liquid crystal projector 1 according to the first embodiment. In the liquid crystal projector 1 of the present embodiment shown in FIG. 1, the video input unit 3 to the
先ず、映像入力部３から表示パネル１０までの構成について説明する。
映像入力部３には、外部のソース機器から非圧縮の画像データが供給される。画像データは、ＨＤＭＩ（登録商標）やＤＶＩ、ディスプレイポート等のインタフェース規格に従った伝送方式により入力される。画像データは、スクリーン２に投射表示されるコンテンツ映像のデータである。映像入力部３に入力された、コンテンツ映像の画像データは、画像処理部４に送られる。
First, the configuration from the video input unit 3 to the
The video input unit 3 is supplied with uncompressed image data from an external source device. The image data is input by a transmission method according to interface standards such as HDMI (registered trademark), DVI, and display port. The image data is content video data projected and displayed on the
画像処理部４は、コンテンツ映像の画像データに対し、画像の色や輪郭等の補正を行って画像を高画質化する。画像処理部４による処理後の画像データは、倍速変換部５に送られる。倍速変換部５は、画像データのフレームレートを倍速にする。具体的には、倍速変換部５は、画像処理部４から供給された画像データの各画像フレームをそれぞれ連続して二度出し処理することにより、倍速フレームレートの画像データを生成する。本実施形態の場合、画像処理部４からは６０ｆｐｓ（フレーム／秒）の画像データが出力され、倍速変換部５は、その６０ｆｐｓの画像データの各画像フレームをそれぞれ連続して二度出し処理することにより、１２０ｆｐｓの画像データに変換する。倍速変換部５からの倍速フレームレートの画像データは、ブレンド部７に送られる。
The image processing unit 4 corrects the color and contour of the image for the image data of the content video to improve the image quality. The image data processed by the image processing unit 4 is sent to the double
テストパターン生成部６は、投射表示映像の歪みを検出するためのテストパターンの画像データ（以下、テストパターンとのみ表記する。）を生成する。テストパターン生成部６にて生成されたテストパターンは、ブレンド部７に送られる。なお、本実施形態において、テストパターン生成部６によるテストパターンの生成処理には、テストパターンの画像データを実際に生成する処理だけでなく、予め用意されて図示しないメモリ等に記憶されているテストパターンを読み出す処理も含まれる。また、テストパターン生成部６が液晶プロジェクタ１の外部に存在していてもよい。この場合、液晶プロジェクタ１のブレンド部７は、外部のテストパターン生成部６により生成されたテストパターンを取得することになる。
The test
ブレンド部７は、倍速フレームレートの画像データの例えば８フレーム毎に、コンテンツ映像に対してテストパターン生成部６から供給されたテストパターンを重ね合わせる処理を行う。以下の説明では、コンテンツ映像にテストパターンの重ね合わせることを「重畳」と表記し、重ね合わせの処理を「重畳処理」と表記する。詳細は後述するが、ブレンド部７は、倍速フレームレートの各画像フレームのうち、前述した二度出し処理による同じ二つの画像フレームの一方にはテストパターンを加算し、他方にはテストパターンを減算するような重畳処理を行う。以下の説明では、前述した二度出し処理による同じ二つの画像フレームの一方の画像フレームに対して、テストパターンを加算する重畳処理を行った後の画像フレームを「テストパターン加算画像」と表記する。また、他方の画像フレームに対して、テストパターンを減算する重畳処理を行った後の画像フレームを「テストパターン減算画像」と表記する。テストパターン生成部６によるテストパターンの生成処理と、ブレンド部７における画像フレームに対するテストパターンの重畳処理の詳細については後述する。倍速フレームレートの画像データの８フレーム毎にテストパターンの重畳処理が行われた後の画像データは、歪み補正部８に送られる。
The
歪み補正部８は、例えば投射表示映像の歪みが無くなるように、コンテンツ映像の画像の形状を変形させるような歪み補正処理を行う。本実施形態では、投射表示映像が例えば台形に歪んでいる例を挙げているため、歪み補正部８は、その台形に歪む投射表示映像が例えば長方形になるような台形歪み補正のための画像処理を、コンテンツ映像の画像データに対して施す。具体的には、歪み補正部８は、後述する補正パラメータ作成部１４からの補正パラメータに基づいて、コンテンツ映像の画像データにアフィン変換等の画像処理を施すことによる歪み補正処理を実行する。歪み補正部８による歪み補正処理後の画像データは、表示制御部９に送られる。
The
表示制御部９は、表示パネル１０の表示駆動制御を行う。具体的には、表示制御部９は、映像表示の際の同期信号に合わせて、画像データを表示パネル１０に出力する。表示パネル１０は、表示制御部９による表示駆動制御の下、画像データに基づく映像をスクリーン２に投射する。表示パネル１０は、液晶パネル、パネルドライブ回路、光源ランプ、プリズム、投射レンズ等を有して構成されている。表示制御部９による同期信号に合わせた表示パネル１０の表示駆動のタイミング制御等の詳細については後述する。
The
以下、カメラ１１から歪み補正制御部１６までの構成について説明する。
カメラ１１は、歪み補正制御部１６により撮影動作が制御され、スクリーン２の投射面に投射されている表示映像を撮影する。具体的には、カメラ１１は、前述したように同じ二枚の画像フレームから生成されたテストパターン加算画像の投射表示映像とテストパターン減算画像の投射表示映像とを撮影する。カメラ１１の映像撮影実行のタイミング等の詳細については後述する。カメラ１１による撮影画像のデータは、差分抽出部１２に送られる。
Hereinafter, the configuration from the
The
差分抽出部１２は、カメラ１１にて撮影された撮影画像の連続する二枚の撮影画像フレームから差分画像を生成する。ここで、差分抽出部１２には、前述したテストパターン加算画像とテストパターン減算画像の投射表示映像を、カメラ１１がそれぞれ撮影した二枚の撮影画像フレームの画像データが供給される。このため、差分抽出部１２から出力される差分画像は、投射表示映像の撮影画像からコンテンツ映像の画像成分が取り除かれた後の画像成分からなる画像であり、それはテストパターンの画像成分に相当する。差分抽出部１２は、このようにして生成した差分画像を、抽出したテストパターンのデータとして出力する。なお、撮影画像の連続した二枚の撮影画像フレームが、前述したテストパターン加算画像とテストパターン減算画像ではない場合、つまりコンテンツ映像のみの二つの画像フレームである場合、その差分画像は、画像全面に渡って画素値が略々０となる。このようにして差分抽出部１２により撮影画像から抽出されたテストパターンのデータは、テストパターン解析部１３と有効判定部１５に送られる。
The
テストパターン解析部１３は、差分抽出部１２にて抽出された差分画像（テストパターンの画像成分）に対する解析処理を実行して、投射表示映像の位置を検出し、その位置から投射表示映像の歪みを検出する。テストパターン解析部１３における位置検出処理の詳細は後述する。テストパターン解析部１３による解析結果の信号は、補正パラメータ作成部１４に送られる。補正パラメータ作成部１４は、テストパターン解析部１３から解析結果の信号を受け取ると、その解析結果に基づいて、歪み補正部８で歪み補正を行う際の補正パラメータを生成する。本実施形態の場合、補正パラメータ作成部１４は、解析結果に基づいて、台形に歪んだ投射表示映像が長方形の投射表示映像になるように補正するための補正パラメータを生成する。この補正パラメータが、歪み補正部８に送られる。
The test
有効判定部１５は、差分抽出部１２にて検出されたテストパターンが有効なテストパターンであるかどうかを判定する。以下、有効なテストパターンであると判定されるテストパターンを「有効テストパターン」と表記し、有効でないテストパターンと判定されるテストパターンを「無効テストパターン」と表記する。有効判定部１５は、差分抽出部１２により撮影画像から抽出された画像成分（差分画像）が、テストパターンを含む投射表示映像の撮影が成功したときに抽出されるべき画像成分であるか否かを判定する。そして、有効判定部１５は、撮影画像から抽出された画像成分（差分画像）が、テストパターンを含む投射表示映像の撮影が成功したときに抽出されるべき画像成分であると判定できたときにのみ、そのテストパターンは有効テストパターンであると判定する。有効判定部１５における有効判定処理の詳細な説明については後述する。有効判定部１５による有効判定結果の信号は、歪み補正制御部１６に送られる。
The
歪み補正制御部１６は、カメラ１１の制御や、テストパターン解析部１３の解析処理の実行制御等を行う。特に本実施形態では、歪み補正制御部１６は、有効判定部１５から有効テストパターンであることの判定結果が送られてきたときには、テストパターン解析部１３に対してテストパターン解析処理を実行させるような制御を行う。この場合、テストパターン解析部１３から補正パラメータ作成部１４にテストパターン解析処理結果の信号が送られ、補正パラメータ作成部１４から歪み補正部８に補正パラメータが送られて、歪み補正部８による歪み補正処理が行われることになる。一方、有効判定部１５から無効テストパターンであることの判定結果が送られてきた場合、歪み補正制御部１６は、テストパターン解析部１３によるテストパターン解析処理を実行させないように制御する。また、歪み補正制御部１６は、ブレンド部７におけるテストパターンの重畳処理機能の制御も行っている。歪み補正制御部１６で行われる処理と制御の詳細については後述する。
The distortion
＜テストパターンの重ね合わせの方法及び検出方法＞
以下、図２（ａ）〜図２（ｄ）を用いて、ブレンド部７におけるテストパターンの重ね合わせの方法について説明する。本実施形態では、前述したように、コンテンツ映像の８フレーム毎にテストパターン加算画像とテストパターン減算画像が生成されて、それらが連続するように交互に投射表示される。ここで、それらテストパターン加算画像とテストパターン減算画像とが高速に交互に切り換えられて投射表示された場合、ユーザからは、画像フレームに加算されたテストパターンと減算されたテストパターンとが相殺されて見えなくなる。このように、本実施形態では、テストパターン加算画像とテストパターン減算画像とを高速に交互に切り換えて投射表示することにより、テストパターンをユーザから不可視にしている。
<Test pattern overlay method and detection method>
Hereinafter, a method for overlaying test patterns in the
図２（ａ）は、コンテンツ映像の一例の説明図である。ここでは、コンテンツ映像の画像の一例として、映像全面に渡って輝度が一様な画像を、図１のスクリーン２に投射し、そのスクリーン２上の投射表示映像２２をカメラ１１で撮影する場合を例に挙げて説明する。映像全面に渡って輝度が一様な画像のみをスクリーン２に投射し、その投射表示映像２２をカメラ１１にて撮影した場合、図２（ａ）のグラフに示すような画素値と画素位置の関係を有した撮影画像が得られることになる。図２（ａ）のグラフにおいて、縦軸は投射表示映像２２をカメラ１１にて撮影した撮影画像のラインＡ−Ａ'における画素値を表し、横軸はラインＡ−Ａ'における各画素の画素位置を表している。この図２（ａ）に示すように、映像全面の輝度が一様な画像がスクリーン２に投射され、そのスクリーン２上の投射表示映像２２をカメラ１１で撮影した場合には、各画素値の輝度のレベルが一定の値になった撮影画像が得られる。
FIG. 2A is an explanatory diagram of an example of a content video. Here, as an example of the content video image, a case where an image having a uniform luminance over the entire video surface is projected onto the
図２（ｂ）は、テストパターンの一例の説明図である。テストパターンは、投射表示映像２０の中にランダムに配置される複数の点状の図形２１によって形成されている。また、テストパターンの点状の各図形２１は、スクリーン２上に投射されたときに、各画素の輝度が所定の値になる画像となされている。ここで、例えばこのテストパターンのみをスクリーン２に投射し、その投射表示映像２０をカメラ１１にて撮影した場合には、図２（ｂ）のグラフに示すような画素値と画素位置の関係を有した撮影画像が得られることになる。図２（ｂ）のグラフにおいて、縦軸は投射表示映像２０をカメラ１１にて撮影した撮影画像のラインＡ−Ａ'における画素値を表し、横軸はラインＡ−Ａ'における各画素の画素位置を表している。この図２（ｂ）に示すように、テストパターンのみをスクリーン２に投射して、その投射表示映像２０をカメラ１１で撮影した場合には、テストパターンの図形２１に対応した画素位置の画素が所定の輝度の値になった撮影画像が得られる。
FIG. 2B is an explanatory diagram of an example of a test pattern. The test pattern is formed by a plurality of dot-like figures 21 that are randomly arranged in the projected
図２（ｃ）は、コンテンツ映像に対してテストパターンを重畳してスクリーン２に投射した場合の説明図である。図２（ｃ）は、コンテンツ映像の画像の画素値にテストパターンの画素値を加算することで生成されるテストパターン加算画像の例を示している。ここで、コンテンツ映像の画像は図２（ａ）で説明した画像であり、テストパターンは図２（ｂ）で説明した画像であるとする。この例に示すようなテストパターン加算画像をスクリーン２に投射し、その投射表示映像２３をカメラ１１にて撮影した場合には、図２（ｃ）のグラフに示すような画素値と画素位置の関係を有した撮影画像が得られる。図２（ｃ）のグラフにおいて、縦軸は投射表示映像２３をカメラ１１にて撮影した撮影画像のラインＡ−Ａ'における画素値を表し、横軸はラインＡ−Ａ'における各画素の画素位置を表している。この図２（ｃ）に示すようなテストパターン加算画像の投射表示映像２３をカメラ１１で撮影した場合には、コンテンツ映像の一定輝度レベルに、テストパターンの図形２４による輝度値が加算された撮影画像が得られる。
FIG. 2C is an explanatory diagram when a test pattern is superimposed on the content video and projected onto the
図２（ｄ）は、コンテンツ映像に対してテストパターンを重畳してスクリーン２に投射した場合の説明図である。図２（ｄ）は、図２（ａ）で説明したコンテンツ映像の画像の画素値から、図２（ｂ）で説明したテストパターンの画素値を減算することで生成されるコンテンツ減算画像の例を示している。この図２（ｄ）の例のようなテストパターン減算画像をスクリーン２に投射し、その投射表示映像２５をカメラ１１にて撮影した場合には、図２（ｄ）のグラフに示すような画素値と画素位置の関係を有した撮影画像が得られる。図２（ｄ）のグラフにおいて、縦軸は投射表示映像２５をカメラ１１にて撮影した撮影画像のラインＡ−Ａ'における画素値を表し、横軸はラインＡ−Ａ'における各画素の画素位置を表している。この図２（ｄ）に示すようなテストパターン減算画像の投射表示映像２５をカメラ１１で撮影した場合には、コンテンツ映像の一定輝度レベルからテストパターンの図形２６による輝度値が減算された撮影画像が得られる。
FIG. 2D is an explanatory diagram when a test pattern is superimposed on the content video and projected onto the
本実施形態の液晶プロジェクタは、図２（ｃ）に示したようなテストパターン加算画像と、図２（ｄ）に示したようにテストパターン減算画像とを、高速に切り換えてスクリーン２に投射表示する。そして、液晶プロジェクタは、カメラ１１により、図２（ｃ）の投射表示映像２３と図２（ｄ）の投射表示映像２５とを撮影し、それらの撮影画像からテストパターンを検出する。具体的には、本実施形態の液晶プロジェクタは、図２（ｃ）の投射表示映像２３と図２（ｄ）の投射表示映像２５とを撮影した二枚の撮影画像の差分をとって、差分画像を生成する。この差分画像は、図２（ｃ）の投射表示映像２３と図２（ｄ）の投射表示映像２５からコンテンツ映像が除去された画像成分であり、図２（ｂ）のテストパターンに相当する画像となる。そして、本実施形態の液晶プロジェクタは、その検出されたテストパターンを用いて投射表示映像の歪みを補正する。このように、本実施形態によれば、テストパターン加算画像とテストパターン減算画像とを高速に切り換え投射表示することによってテストパターンをユーザから不可視にした状態で、投射表示映像の歪みを補正する。すなわち、本実施形態の液晶プロジェクタは、ユーザがコンテンツ映像を観ている状態でも歪み補正を行うことが可能になっている。
The liquid crystal projector according to the present embodiment switches the test pattern addition image as shown in FIG. 2C and the test pattern subtraction image as shown in FIG. To do. Then, the liquid crystal projector captures the
＜テストパターンの作成方法＞
以下、テストパターン生成部６におけるテストパターン作成方法について説明する。本実施形態のテストパターンは、前述したようにランダムに配置される点状の図形からなるパターンである。ここで、ランダムに配置される点状の図形からなるテストパターンは、コンテンツ映像に重畳されてスクリーン２に投射された際に、ユーザから見え難いパターンである。例えば、コンテンツ映像にテストパターンを重畳した場合、そのテストパターンの投射映像部分はコントラストが低下等することがあり、コンテンツ映像の投射表示映像の画質に多少影響を及ぼす可能性がある。例えば、幾何形状等のテストパターンを用いた場合には、そのテストパターンに起因した画質低下部分がユーザから視認され易くなるが、点状の図形からなるテストパターンの場合は、ユーザからは視認され難い。また、点状の図形からなるパターンは、スクリーン２が複雑な形状のスクリーンである場合にも対応し易い。例えば、点状の図形からなるテストパターンの場合、スクリーン２上の投射表示映像の任意の座標位置の歪み具合を検出し易いため、スクリーン２として例えばカーテンのような複雑な形状のものが用いられた場合にも対応し易い。本実施形態では、このような理由から、ランダムに配置される点状の図形からなるテストパターンを用いている。
<How to create a test pattern>
Hereinafter, a test pattern creation method in the test
図３は、テストパターン生成部６におけるテストパターンの作成方法の説明図である。テストパターン生成部６は、図３に示すように、それぞれ大きさの異なる三つのタイル画像３１，３３，３５を生成する。これら三つのタイル画像３１，３３，３５は、予め用意されていてもよく、また、テストパターンの生成処理の際に作成されてもよい。テストパターン生成部６は、点状の複数の図形がランダムに配置されたパターン３０を、それら三つのタイル画像３１，３３，３５に対してそれぞれ書き込む。なお、図３の例では、タイル画像３１は縦×横の画素数がｌ×ｌのサイズのタイル画像、タイル画像３３はｍ×ｍのサイズのタイル画像、タイル画像３５はｎ×ｎのサイズのタイル画像であるとする。これらｌ，ｍ，ｎは、ｌ＜ｍ＜ｎである。
FIG. 3 is an explanatory diagram of a test pattern creation method in the test
次に、テストパターン生成部６は、前述した大きさ別に、各タイル画像を繰り返し敷き詰めてそれぞれ画像プレーンを作成する。具体的には、テストパターン生成部６は、タイル画像３１を繰り返し敷き詰めた画像プレーン３２と、タイル画像３３を繰り返し敷き詰めた画像プレーン３４と、タイル画像３５を繰り返し敷き詰めた画像プレーン３６との、三つの画像プレーンを作成する。そして、テストパターン生成部６は、それら三つの画像プレーン３２，３４，３６を加算処理３８により加算して一つに重ね合わせた画像プレーンを、テストパターン３７として生成する。
Next, the test
＜テストパターン解析による位置検出方法＞
以下、テストパターン解析部１３による位置検出の原理について説明する。本実施形態において、図３で説明したテストパターン３７の生成の際に使用された三つのタイル画像３１，３３，３５の位相関係は予め判っている。このため、テストパターン解析部１３は、撮影画像から検出されたテストパターンについて、それら三つのタイル画像３１，３３，３５の位相関係を満足するオフセット値を求め、そのオフセット値を基に座標位置を検出する。
<Position detection method by test pattern analysis>
Hereinafter, the principle of position detection by the test
図４は、テストパターン解析部１３による位置検出処理の流れを示すフローチャートである。図４のフローチャートに示した処理は、ハードウェア構成としての図１のテストパターン解析部１３により実現されてもよいし、本実施形態に係るプログラムをＣＰＵ等で実行することにより実現されてもよい。このプログラムは、不図示のＲＯＭ等に予め用意されていてもよく、不図示の記録媒体から読み出されてもよく、インターネット等を介してダウンロードされてＲＡＭ等にロードされてもよい。図４のフローチャートの処理は、有効判定部１５によりテストパターンが有効テストパターンであると判定されて、歪み補正制御部１６からテストパターン解析の実行指示がなされたことでスタートする。以下の説明では、フローチャートの各処理のステップＳ１００〜ステップＳ１０４をＳ１００〜Ｓ１０４と略記する。これ以降の他のフローチャートにおいても同様とする。
FIG. 4 is a flowchart showing a flow of position detection processing by the test
図４のフローチャートの処理がスタートすると、Ｓ１００の処理として、テストパターン解析部１３は、差分抽出部１２より供給された撮影画像の差分画像から、部分画像を切り出す。一例として、テストパターン解析部１３は、座標を検出したい位置、例えば差分画像の四隅から、予め決めた大きさの部分画像を切り出す。次に、テストパターン解析部１３は、Ｓ１０１の処理として、ＦＦＴ（高速フーリエ変換）等のアルゴリズムを用いて、部分画像の空間周波数成分を求める。Ｓ１０１の処理後、テストパターン解析部１３は、Ｓ１０２に処理を進める。
When the process of the flowchart of FIG. 4 starts, the test
Ｓ１０２では、テストパターン解析部１３は、部分画像の空間周波数成分と、前述したタイル画像３１，３３，３５について予め算出済みの空間周波数成分との間の、相互相関を求める。Ｓ１０２の処理後、テストパターン解析部１３は、Ｓ１０３に処理を進める。Ｓ１０３では、テストパターン解析部１３は、Ｓ１０２で求めた相互相関の値から、３つのタイル画像３１，３３，３５の位相関係を計算する。Ｓ１０３の処理後、テストパターン解析部１３は、Ｓ１０４に処理を進める。Ｓ１０４では、テストパターン解析部１３は、Ｓ１０３で求めた位相関係を満足するオフセット値を求めることにより、座標位置を算出する。なお、オフセット値は、例えばいわゆる「中国の剰余定理」を使用することで算出可能である。
In S102, the test
＜テストパターンの有効判定の仕組み＞
以下、図５〜図７を参照しながら、有効判定部１５にて行われるテストパターンの有効判定処理について説明する。本実施形態の場合、有効判定部１５は、撮影画像から抽出された画像成分（差分画像）が、テストパターンを含む投射表示映像の撮影が成功したときに抽出されるはずの画像成分であるか否かを判定する。そして、有効判定部１５は、テストパターンを含む投射表示映像の撮影が成功したときに抽出される画像成分であると判定できたときにのみ、その撮影画像のテストパターンは有効テストパターンであると判定する。例えば、有効判定部１５には、テストパターンを含む投射表示映像の撮影が成功したときに抽出されるはずの画像成分として、差分画像内に設定した検出ウインドウ内の画素値の積分値を求める。検出ウインドウの積分値は、その検出ウインドウ内におけるテストパターンの点状の図形の密度に相当する。そして、有効判定部１５は、その検出ウインドウ内の積分値が、予め決めた所定の閾値範囲内であるか否かを判定し、所定の閾値範囲内である場合にのみ、テストパターンが有効テストパターンであると判定する。このときの所定の閾値範囲は、テストパターンを含む投射表示映像の撮影が成功したときの検出ウインドウ内のテストパターンの点状の図形の密度に応じた閾値範囲として、予め決められている。
<Test pattern validity judgment mechanism>
Hereinafter, the test pattern validity determination process performed by the
より具体的に説明すると、カメラ１１によりスクリーン２の投射表示映像を正常に撮影できた場合、差分抽出部１２で求められた差分画像にはテストパターンの画像成分のみが含まれていることになる。またこのときの差分画像の検出ウインドウ内の画素値の積分値は、投射表示映像を正常に撮影できた場合の撮影画像に含まれているテストパターンの点状の図形の密度に応じた値になっているはずである。これに対し、外乱等によりカメラ１１による撮影が失敗した場合、差分画像にはコンテンツ映像等のテストパターン以外の画像成分が含まれることになる。この場合、差分画像の検出ウインドウの積分値は、投射表示映像を正常に撮影できた場合のテストパターンの点状の図形の密度に応じた値とは異なる値になっている可能性が高い。したがって、外乱等により撮影が失敗した場合の差分画像の検出ウインドウにおける積分値は、撮影が成功したときの検出ウインドウ内のテストパターンの点状の図形の密度に応じた所定の閾値範囲からは外れている可能性が高い。このようなことから、有効判定部１５は、差分画像の検出ウインドウ内の画素値の積分値と、所定の閾値範囲とを比較することで、テストパターンが有効テストパターンであるか否かの判定を行っている。
More specifically, when the projection display image on the
図５は、有効判定部１５の内部構成例を示す図である。
図５の有効判定部１５において、ウインドウ制御部５０は、検出ウインドウを設定して、差分画像の画素が検出ウインドウの画像領域内の画素であるか否か判定する。具体的には、ウインドウ制御部５０は、例えば歪み補正制御部１６からカメラ１１の同期信号や水平・垂直カウンタの値を取得しており、それらを基に、差分画像の画素が検出ウインドウの画像領域内の画素であるかどうかを判定する。そして、ウインドウ制御部５０は、検出ウインドウの画像領域内の画素であると判定した画素値を積分するように積分部５１に指示を送る。
FIG. 5 is a diagram illustrating an internal configuration example of the
In the
積分部５１は、ウインドウ制御部５０からの積分指示に基づいて、検出ウインドウの画像領域内の各画素を積分（積算）し、その積分値を閾値判定部５２に送る。閾値判定部５２は、積分値と所定の閾値範囲とを比較することにより、テストパターンが有効テストパターンであるか否かを判定する。具体的には、閾値判定部５２は、検出ウインドウの画像領域内の画素値の積分値が、所定の閾値範囲内である場合にはテストパターンは有効テストパターンであると判定し、所定の閾値範囲から外れる場合にはテストパターンは無効テストパターンであると判定する。この閾値判定部５２の判定結果の信号は、図１の歪み補正制御部１６に送られる。
The
図６は、検出ウインドウの設定例の説明図である。図６に示す画像６０は、差分抽出部１２により撮影画像から生成された差分画像であり、ウインドウ制御部５０は、例えばその中央の位置に検出ウインドウ６１を設定する。なお、検出ウインドウ６１の領域は、差分画像内の任意の位置に設定可能である。
FIG. 6 is an explanatory diagram of a setting example of the detection window. An
図７は、所定の閾値範囲の設定例の説明図である。図７に示すように、所定の閾値範囲は、積分値に対する上限閾値（ＴＨ＿ＨＩＧＨ）７１と下限閾値（ＴＨ＿ＬＯＷ）７２とからなる。閾値判定部５２は、検出ウインドウの画像領域内の積分値７０（前述した密度）が、上限閾値７１と下限閾値７２の間の範囲内である場合に、テストパターンは有効テストパターンであると判定する。
FIG. 7 is an explanatory diagram of an example of setting a predetermined threshold range. As shown in FIG. 7, the predetermined threshold range includes an upper limit threshold (TH_HIGH) 71 and a lower limit threshold (TH_LOW) 72 for the integral value. The
なお、有効判定部１５は、例えば検出ウインドウ６１内の点状の図形を計数し、その数が所定の閾値範囲内であるか否かにより有効判定を行ってもよい。この場合の所定の閾値範囲は、検出ウインドウ内のテストパターンにおける点状の図形の数に応じた密度の閾値範囲として、予め決められているとする。検出ウインドウ６１内の点状の図形の数を用いた有効判定の詳細については、後述する第２の実施形態において説明する。
The
＜第１の実施形態における歪み補正の制御の流れ＞
図８は、本実施形態の液晶プロジェクタにおいて、歪み補正を行う場合の一連の制御の流れを示すフローチャートである。図８のフローチャートに示した処理は、ハードウェア構成により実現されてもよいし、本実施形態に係るプログラムをＣＰＵ等で実行することにより実現されてもよい。本実施形態に係るプログラムは、不図示のＲＯＭ等に予め用意されていてもよく、不図示の記録媒体から読み出されてもよく、インターネット等を介してダウンロードされてＲＡＭ等にロードされてもよい。図８のフローチャートの処理は、例えば、前述した画像データの８フレーム毎に行われる。
<Flow of distortion correction control in the first embodiment>
FIG. 8 is a flowchart showing a flow of a series of control when distortion correction is performed in the liquid crystal projector of this embodiment. The process shown in the flowchart of FIG. 8 may be realized by a hardware configuration, or may be realized by executing a program according to the present embodiment by a CPU or the like. The program according to the present embodiment may be prepared in advance in a ROM (not shown) or the like, read from a recording medium (not shown), downloaded via the Internet or the like, and loaded into a RAM or the like. Good. The process of the flowchart of FIG. 8 is performed, for example, every 8 frames of the image data described above.
図８の制御処理がスタートすると、Ｓ１１０の処理として、歪み補正制御部１６は、ブレンド部７におけるテストパターンの重畳処理機能をオンにし、前述した画像データの８フレーム毎にテストパターンの重畳処理を行わせる。これにより、画像データの８フレーム毎に、前述したテストパターン加算画像とテストパターン減算画像がスクリーン２に交互に投射表示されることになる。Ｓ１１０の後、液晶プロジェクタの処理は、カメラ１１により行われるＳ１１１に進む。
When the control process of FIG. 8 is started, as the process of S110, the distortion
Ｓ１１１では、カメラ１１は、歪み補正制御部１６による撮影動作制御の下、前述したテストパターン加算画像とテストパターン減算画像の各投射表示映像を撮影する。そして、カメラ１１は、それらテストパターン加算画像とテストパターン減算画像の撮影画像を差分抽出部１２に送る。Ｓ１１１の後、液晶プロジェクタの処理は、差分抽出部１２にて行われるＳ１１２に進む。
In S <b> 111, the
Ｓ１１２では、差分抽出部１２は、カメラ１１から供給されたテストパターン加算画像とテストパターン減算画像の二つの撮影画像の差分画像を生成する。そして、差分抽出部１２は、その差分画像のデータをテストパターン解析部１３と有効判定部１５に送る。Ｓ１１２の後、液晶プロジェクタの処理は、有効判定部１５にて行われるＳ１１３に進む。
In S <b> 112, the
Ｓ１１３では、有効判定部１５は、差分画像に対し、前述した検出ウインドウを設定し、次のＳ１１４において、その検出ウインドウ内の画素値の積分値が所定の閾値範囲内か否かにより、テストパターンが有効テストパターンであるかどうかを判定する。そして、有効判定部１５は、その判定結果を歪み補正制御部１６に送る。またこのとき、歪み補正制御部１６は、有効判定部１５による判定結果に応じて、液晶プロジェクタにおける処理を分岐させる。具体的には、歪み補正制御部１６は、Ｓ１１４において有効判定部１５によりテストパターンが有効テストパターンであると判定された場合には、テストパターン解析部１３にて行われるＳ１１５に処理を分岐させる。一方、歪み補正制御部１６は、Ｓ１１４において有効判定部１５によりテストパターンが無効テストパターンであると判定された場合には、Ｓ１１０のブレンド部７によるテストパターンの重畳処理に戻す。したがって、この場合、テストパターン解析部１３によるテストパターン解析処理は実行されないことになる。
In S113, the
Ｓ１１５の処理に進んだ場合、テストパターン解析部１３は、差分抽出部１２から供給された差分画像を用いてテストパターンの解析処理を実行する。このＳ１１５におけるテストパターンの解析処理は、前述した図４のフローチャートに示した位置検出の処理である。Ｓ１１５の後、テストパターン解析部１３は、Ｓ１１６に処理を進める。
When the process proceeds to S <b> 115, the test
Ｓ１１６では、テストパターン解析部１３は、Ｓ１１５で検出した位置座標が有効な座標であるかどうかを判定する。具体的には、テストパターン解析部１３は、Ｓ１１５で検出した位置座標が投射表示映像における位置座標として存在し得ない位置であった場合には、その位置座標は無効な座標であると判定し、それ以外は有効な座標であると判定する。そして、Ｓ１１５において位置座標が有効な座標であると判定した場合、テストパターン解析部１３は、検出した座標位置を補正パラメータ作成部１４に送り、液晶プロジェクタの処理は、補正パラメータ作成部１４にて行われるＳ１１７に進む。一方、Ｓ１１５において位置座標が無効な座標であると判定した場合、テストパターン解析部１３は、その判定結果を歪み補正制御部１６に送る。位置座標が無効な座標であるとの判定結果を受けた歪み補正制御部１６は、Ｓ１１０のブレンド部７によるテストパターンの重畳処理に戻す。
In S116, the test
Ｓ１１７の処理に進んだ場合、補正パラメータ作成部１４は、テストパターン解析部１３から受け取った位置座標を用いて前述した補正パラメータを算出する。Ｓ１１７の後、補正パラメータ作成部１４は、Ｓ１１８に処理を進める。Ｓ１１８では、補正パラメータ作成部１４は、Ｓ１１７で算出した補正パラメータを歪み補正部８に設定する。これにより、歪み補正部８では、補正パラメータに基づく歪み補正処理が行われることになる。Ｓ１１８の後、液晶プロジェクタにおける図８のフローチャートの処理は終了する。
When the process proceeds to S <b> 117, the correction
以上のように、本実施形態の液晶プロジェクタでは、画像データの８フレーム毎に、コンテンツ映像にテストパターンを重畳して投射表示し、その撮影画像から検出されたテストパターンが有効テストパターンである場合にのみ、テストパターン解析が行われる。 As described above, in the liquid crystal projector according to the present embodiment, when the test pattern is superimposed on the content video and projected and displayed every 8 frames of the image data, and the test pattern detected from the captured image is an effective test pattern Only the test pattern analysis is performed.
＜歪み補正が行われる場合の第１の動作例＞
以下、図９に示すタイミングチャートを用いて、歪み補正処理が行われる際の動作例について説明する。本実施形態では、前述したように倍速フレームレートの画像データの８フレーム毎に、テストパターンの重畳と撮影、その撮影画像からテストパターンの抽出と有効判定処理、有効判定結果に応じた歪み補正処理を行っている。図９のタイミングチャートでは、補正処理Ｈ１，Ｈ２がそれら一連の補正処理のシーケンスを表している。
<First operation example when distortion correction is performed>
Hereinafter, an operation example when the distortion correction processing is performed will be described using the timing chart shown in FIG. In the present embodiment, as described above, test pattern superimposition and shooting every eight frames of image data at the double frame rate, test pattern extraction from the captured image, validity determination processing, and distortion correction processing according to the validity determination result It is carried out. In the timing chart of FIG. 9, the correction processes H1 and H2 represent a series of these series of correction processes.
また、図９のタイミングチャートにおいて、Ｖｓｙｎｃ８０は、表示制御部９により表示パネル１０の表示駆動制御を行う際の垂直同期信号である。フレーム識別信号８１は、前述した二度出しされる同じ二つの画像フレームを識別するための信号であり、レベルＬが二度出しされる一枚目の画像フレームを示し、レベルＨが二枚目の画像フレームを示している。図９のタイミングチャートでは、Ｖｓｙｎｃ８０のタイミング８７で補正処理Ｈ１のシーケンスが開始され、８フレーム後のタイミング８９で補正処理（補正処理Ｈ２）のシーケンスが再び開始される例を示している。表示画像データ８２は、表示パネル１０に表示される画像のデータであり、８フレーム毎に、テストパターン加算画像Ｐｏｓとテストパターン減算画像Ｎｅｇが表示される。シャッター信号８３は、カメラ１１が投射表示映像を撮影する際にシャッターを開けるタイミングを示す信号であり、歪み補正制御部１６からカメラ１１に送られる。シャッター信号８３は、表示パネル１０において８フレーム毎にテストパターン加算画像Ｐｏｓとテストパターン減算画像Ｎｅｇが表示されるタイミングに合わせて、カメラ１１のシャッターを開くようなタイミングの信号となされている。撮影画像データ８４は、カメラ１１により撮影された画像データである。本実施形態の場合、カメラ１１は８フレーム毎にテストパターン加算画像Ｐｏｓとテストパターン減算画像Ｎｅｇの投射表示映像を撮影するため、撮影画像データ８４は、８フレーム毎のタイミングでカメラ１１から出力される。有効判定結果信号８５は、有効判定部１５の有効判定結果を示す信号である。有効判定部１５は、無効テストパターンと判定された場合には無効信号（Ｉｎｖａｌｉｄ）８８を出力し、有効テストパターンと判定された場合には有効信号（Ｖａｌｉｄ）９０を出力する。位置検出・補正信号８６は、テストパターン解析部１３によるテストパターン解析処理、及び、歪み補正部８による歪み補正処理の実行期間９１を表す信号である。
In the timing chart of FIG. 9,
ここで、図９の撮影画像データ８４の例の場合、補正処理Ｈ１ではテストパターン加算画像Ｐｏｓの撮影が成功し、テストパターン減算画像Ｎｅｇの撮影が外乱等により失敗（ＮＧ）しているとする。この場合、有効判定部１５は、有効判定結果信号８５として無効信号８８を歪み補正制御部１６に出力する。歪み補正制御部１６は、有効判定部１５から無効信号８８を受け取った場合、テストパターン解析部１３によるテストパターン解析処理を実行させないように制御する。このように、補正処理Ｈ１のシーケンスでは、テストパターン解析部１３によるテストパターン解析処理は実行されず、またこの場合、歪み補正部８による歪み補正処理も実行されないことになる。
Here, in the example of the captured
補正処理Ｈ１の８フレーム後に再び行われる補正処理Ｈ２のシーケンスでは、テストパターン加算画像Ｐｏｓとテストパターン減算画像Ｎｅｇの両方とも撮影が成功したとする。この場合、有効判定部１５は、有効判定結果信号８５として、有効テストパターンであることを示す有効信号９０を歪み補正制御部１６に出力する。歪み補正制御部１６は、有効判定部１５から有効信号９０を受け取った場合、テストパターン解析部１３によるテストパターン解析処理を実行させるように制御する。したがって、補正処理Ｈ２のシーケンスでは、テストパターン解析部１３によるテストパターン解析処理と歪み補正部８による歪み補正処理とが、実行期間９１において実行される。
In the sequence of the correction process H2 performed again 8 frames after the correction process H1, it is assumed that both the test pattern addition image Pos and the test pattern subtraction image Neg have been successfully photographed. In this case, the
本実施形態では、上述したようにテストパターンが、有効テストパターンである場合にのみテストパターン解析処理と歪み補正処理が行われ、無効テストパターンである場合にはテストパターンの解析処理と歪み補正処理は行われない。このように、本実施形態によれば、無効テストパターンと判定された場合には、電力消費が大きいテストパターン解析処理等が行われないため、消費電力を減らすことができる。 In the present embodiment, as described above, the test pattern analysis process and the distortion correction process are performed only when the test pattern is a valid test pattern, and the test pattern analysis process and the distortion correction process are performed when the test pattern is an invalid test pattern. Is not done. As described above, according to the present embodiment, when the test pattern is determined to be invalid, the power consumption can be reduced because the test pattern analysis process or the like that consumes a large amount of power is not performed.
＜歪み補正が行われる場合の第２の動作例＞
前述した第１の動作例では、補正処理Ｈ１のシーケンスでテストパターンが無効テストパターンであると判定された場合、歪み補正制御部１６は、補正処理Ｈ１のシーケンスの８フレームが終わってから、次の補正処理Ｈ２のシーケンスに移行させている。これに対し、第２の動作例の場合、歪み補正制御部１６は、補正処理Ｈ１のシーケンスでテストパターンが無効テストパターンであると判定された場合、８フレームが終わるのを待たずに、即座に次の補正処理Ｈ２のシーケンスを開始する。
<Second operation example when distortion correction is performed>
In the first operation example described above, when it is determined that the test pattern is an invalid test pattern in the correction processing H1 sequence, the distortion
図１０は、補正処理Ｈ１のシーケンスでテストパターンが無効テストパターンであると判定された場合に、即座に次の補正処理Ｈ２のシーケンスを実行する第２の動作例のタイミングチャートである。図１０のタイミングチャートには、Ｖｓｙｎｃ８０、フレーム識別信号８１、表示画像データ８２、シャッター信号８３、撮影画像データ８４、有効判定結果信号８５、位置検出・補正信号８６が示されている。
FIG. 10 is a timing chart of a second operation example in which when the test pattern is determined to be an invalid test pattern in the correction process H1 sequence, the next correction process H2 sequence is immediately executed. The timing chart of FIG. 10 shows
図１０のタイミングチャートでは、補正処理Ｈ１のシーケンスにおいてテストパターン加算画像Ｐｏｓの撮影が成功し、テストパターン減算画像Ｎｅｇの撮影が外乱等により失敗（ＮＧ）しているとする。この場合、有効判定部１５は、有効判定結果信号８５として無効テストパターンであることを示す無効信号８８を歪み補正制御部１６に出力する。歪み補正制御部１６は、有効判定結果信号８５として無効信号８８を受け取った場合、テストパターン解析部１３によるテストパターン解析処理を実行させないように制御する。
In the timing chart of FIG. 10, it is assumed that the test pattern addition image Pos has been successfully captured in the sequence of the correction process H1, and the test pattern subtraction image Neg has failed to be captured due to disturbance or the like (NG). In this case, the
ここで、第２の動作例の場合、歪み補正制御部１６は、有効判定結果信号８５として無効信号８８を受け取った場合、直ちにリトライ（Ｒｅｔｒｙ）信号をブレンド部７に送り、補正処理Ｈ２のシーケンスの処理を開始する。リトライ信号を受け取ったブレンド部７は、補正処理Ｈ２のシーケンスの開始タイミング９２に合わせて、前述した二度出し処理による同じ二つの画像フレームからテストパターン加算画像Ｐｏｓとテストパターン減算画像Ｎｅｇを生成する重畳処理を実行する。また、歪み補正制御部１６は、表示パネル１０においてテストパターン加算画像Ｐｏｓとテストパターン減算画像Ｎｅｇが表示されるタイミングに合わせて、カメラ１１のシャッターを開かせるシャッター信号８３をカメラ１１に送る。これにより、カメラ１１からは補正処理Ｈ２のシーケンスにおける撮影画像データ８４が出力される。
Here, in the case of the second operation example, when the distortion
図１０の撮影画像データ８４の場合、補正処理Ｈ２のシーケンスにおいてテストパターン加算画像Ｐｏｓとテストパターン減算画像Ｎｅｇの両方とも撮影が成功したとする。この場合、有効判定部１５は、有効判定結果信号８５として、有効テストパターンであることを示す有効信号９３を歪み補正制御部１６に出力する。歪み補正制御部１６は、有効判定部１５から有効信号９３を受け取った場合、テストパターン解析部１３によるテストパターン解析処理を実行させるように制御する。したがって、補正処理Ｈ２のシーケンスでは、テストパターン解析部１３によるテストパターン解析処理と歪み補正部８による歪み補正処理とが、実行期間９４において実行される。
In the case of the captured
そして、図１０の例の場合、補正処理Ｈ２のシーケンスにおける８フレーム後の次の補正処理Ｈ３のシーケンスでは、テストパターン加算画像Ｐｏｓとテストパターン減算画像Ｎｅｇの両方とも撮影が成功したとする。補正処理Ｈ３のシーケンスでは、補正処理Ｈ２のシーケンスと同様に、有効判定部１５の有効判定処理により有効信号が歪み補正制御部１６に出力され、歪み補正制御部１６は、テストパターン解析部１３によるテストパターン解析処理を実行させる。
In the case of the example in FIG. 10, it is assumed that both the test pattern addition image Pos and the test pattern subtraction image Neg are successfully photographed in the next correction processing H3 sequence after 8 frames in the correction processing H2 sequence. In the sequence of the correction process H3, as in the sequence of the correction process H2, the valid signal is output to the distortion
上述したように第２の動作例の場合、テストパターンが無効と判定された場合には即座に次の補正処理のシーケンスに移行することにより、テストパターン解析処理から歪み補正処理までの各処理が完了するまでの時間を短縮することができる。 As described above, in the case of the second operation example, when it is determined that the test pattern is invalid, each process from the test pattern analysis process to the distortion correction process is performed by immediately moving to the next correction process sequence. Time to complete can be shortened.
以上説明したように第１の実施形態によれば、有効テストパターンが検出された場合にのみ、複雑なテストパターン解析処理を動作させることで、消費電力を低減することができる。また、第２の動作例では、無効テストパターンが検出された場合には、次の補正処理のシーケンスを即座に開始することが可能なので、歪み補正が完了するまでの時間を短縮することができる。 As described above, according to the first embodiment, power consumption can be reduced by operating a complicated test pattern analysis process only when a valid test pattern is detected. Further, in the second operation example, when the invalid test pattern is detected, the next correction processing sequence can be started immediately, so that the time until distortion correction is completed can be shortened. .
なお、前述した実施形態では、テストパターンとしてランダムに配置される点状の図形のパターンを使用した例を挙げたが、テストパターンはこの例に限定されず、また、歪みの検出アルゴリズムについても前述した例に限定されない。例えば、テストパターンは、升目形状や十字形状等の幾何形状のパターンであってもよい。幾何形状のテストパターンを用いた場合、撮影画像から検出したテストパターンの画像成分として、例えば直線部分をハフ変換等により検出し、その検出した直線の歪み具合から投射表示映像の歪みを検出するような検出アルゴリズムを用いることができる。テストパターンの画像成分としの直線成分は、例えばエッジ検出により検出してもよい。また例えば、テストパターンが十字形状の場合、十字形状は「二つの直線が交点を持つ」という特性を有する。このため、画像成分として直線状に繋がっている点を追尾して二つの直線を検出し、その直線について直線近似により直線の方程式を求め、その方程式から二つの直線の交点を求めて、交点があれば有効なテストパターンであると判定するようなことも可能である。また、テストパターンが升目形状の場合、升目形状は所定の周期性を有する図形であると考えられる。このため、画像成分から升目形状の周期性を検出し、その周期性が閾値範囲内である場合に、有効テストパターンであると判定するようなことが可能である。升目形状の周期性は、例えばＦＦＴ等の周波数変換演算により求めることができる。 In the above-described embodiment, an example in which a dot-like pattern randomly arranged as a test pattern is used is described. However, the test pattern is not limited to this example, and the distortion detection algorithm is also described above. The example is not limited. For example, the test pattern may be a geometric pattern such as a grid shape or a cross shape. When a geometric test pattern is used, as a test pattern image component detected from a captured image, for example, a straight line portion is detected by Hough transform or the like, and distortion of the projected display image is detected from the detected straight line distortion. A simple detection algorithm can be used. The linear component as the image component of the test pattern may be detected by edge detection, for example. For example, when the test pattern has a cross shape, the cross shape has a characteristic that “two straight lines have intersections”. For this reason, two straight lines are detected by tracking points connected in a straight line as image components, a linear equation is obtained by linear approximation for the straight line, an intersection of the two straight lines is obtained from the equation, and the intersection is determined. If there is, it can be determined that the test pattern is valid. Further, when the test pattern is a cell shape, the cell shape is considered to be a figure having a predetermined periodicity. For this reason, it is possible to detect the periodicity of the grid shape from the image components and determine that the test pattern is an effective test pattern when the periodicity is within the threshold range. The periodicity of the grid shape can be obtained by frequency conversion calculation such as FFT.
また、テストパターンが例えば何らかの規則性を有するパターンである場合、その規則を満たしているか否かでテストパターンの有効判定を行うことができる。例えば、撮影画像から抽出したテストパターンの各画素から求めた分散値が所定の範囲内か否か、テストパターンを構成する点状の図形の分布が特定の関数形状の分布を有しているか否かなどにより、有効判定を行うことができる。その他にも、テストパターンを構成している点状の図形の色を可変にし、撮影画像から検出されたテストパターンの色分布と所定の色分布範囲との比較により有効判定を行うことも可能である。 In addition, when the test pattern is a pattern having some regularity, for example, the validity of the test pattern can be determined based on whether or not the rule is satisfied. For example, whether or not the variance value obtained from each pixel of the test pattern extracted from the photographed image is within a predetermined range, and whether or not the distribution of dot-like figures constituting the test pattern has a distribution of a specific function shape The validity determination can be performed based on the above. In addition, it is also possible to change the color of the dot-like figures that make up the test pattern, and to make a validity determination by comparing the color distribution of the test pattern detected from the captured image with a predetermined color distribution range. is there.
また、前述の例では、歪み補正制御部１６は、ブレンド部７におけるテストパターンの重畳処理機能のオン／オフ制御を８フレーム毎に行っていたが、例えば、所定時間間隔おき、例えば数秒おきに重畳処理機能をオンに制御するようにしてもよい。すなわち、歪み補正制御部１６は、所定時間間隔（数秒）おきに重畳処理機能をオンに制御して前述した補正処理のシーケンスを１シーケンスだけ行うようにし、それ以外では重畳処理機能をオフに制御する。本実施形態の場合、テストパターンはユーザから不可視となるように表示されるが、コンテンツ映像にテストパターンを重畳した場合には、僅かではあるが画質にテストパターンの影響が及んで画質が低下することがある。したがって、重畳処理機能を所定時間間隔（数秒）おきにオンする場合以外はオフにしておくことにより、テストパターンにより画質が低下する期間を少なくすることができる。
In the above-described example, the distortion
＜第２の実施形態＞
前述の第１の実施形態では、テストパターンは一種類のみを用いる例を挙げたが、テストパターン生成部６において複数種類のテストパターンを用意又は生成し、補正処理のシーケンスが変わる毎に、使用するテストパターンを切り換えてもよい。また、テストパターンの切り換えは、補正処理のシーケンスでテストパターンが無効テストパターンと判定されて、次の補正処理のシーケンスに移行した際に行われてもよい。
<Second Embodiment>
In the first embodiment described above, an example in which only one type of test pattern is used has been described, but a plurality of types of test patterns are prepared or generated in the test
以下の第２の実施形態では、補正処理のシーケンスでテストパターンが無効テストパターンと判定されて、次の補正処理のシーケンスに移行した際にテストパターンを切り換える例について説明する。第２の実施形態では、テストパターンが無効テストパターンであると判定されて次の補正処理のシーケンスに移行する毎に、ランダムに配置される点状の図形の密度が徐々に高くなるテストパターンへ切り換える例を挙げる。 In the second embodiment below, an example will be described in which a test pattern is determined to be an invalid test pattern in the correction processing sequence and the test pattern is switched when the processing proceeds to the next correction processing sequence. In the second embodiment, each time the test pattern is determined to be an invalid test pattern and the process proceeds to the next correction processing sequence, the density of dot-shaped figures arranged at random increases gradually. Give an example of switching.
図１１は、第２の実施形態の液晶プロジェクタ１の概略的な内部構成例を示す図である。図１１の液晶プロジェクタ１において、図１の構成と同様の構成には同じ参照番号を付してその説明は省略する。前述の図１の構成と比較すると、図１１の液晶プロジェクタは、テストパターン生成部１３０の処理及び有効判定部１３２の処理が異なり、また、歪み補正制御部１６からテストパターン生成部１３０への制御線が設けられている。
FIG. 11 is a diagram illustrating a schematic internal configuration example of the liquid crystal projector 1 according to the second embodiment. In the liquid crystal projector 1 of FIG. 11, the same reference numerals are given to the same components as those of FIG. Compared with the configuration of FIG. 1 described above, the liquid crystal projector of FIG. 11 differs in the processing of the test
＜密度が異なるテストパターン例＞
図１１のテストパターン生成部１３０は、歪み補正制御部１６による制御の下、補正処理のシーケンスが変わる毎に、使用するテストパターンを生成、又は、予め用意された複数のテストパターンの中から一つを選択可能となされている。図１２（ａ）〜図１２（ｃ）は、第２の実施形態において、補正処理のシーケンスが変わる毎に、テストパターン生成部１３０が生成又は選択するテストパターンにおける点状の図形のパターン例を示す図である。
<Examples of test patterns with different densities>
The test
第２の実施形態の場合のテストパターンは、第１の実施形態で説明したようなランダム配置される複数の点状の図形からなるパターンであるとする。第２の実施形態の場合、テストパターン生成部１３０は、概ね前述の第１の実施形態のテストパターン生成部６と同様にして、テストパターンを生成する。すなわち、テストパターン生成部１３０は、点状の複数の図形がランダムに配置されたパターンを三つのタイル画像に書き込み、それら大きさ別に各タイル画像を繰り返し敷き詰めて作成した三つの画像プレーンを加算してテストパターンを生成する。
The test pattern in the case of the second embodiment is assumed to be a pattern composed of a plurality of dot-like figures arranged at random as described in the first embodiment. In the case of the second embodiment, the test
ここで、テストパターン生成部１３０は、１回目の補正処理のシーケンスでは、図１２（ａ）に示すパターン１２０を三つのタイル画像に書き込んでテストパターンを生成する。そして、有効判定部１３２において、１回目の補正処理のシーケンスで撮影画像から抽出されたテストパターンが無効テストパターンであると判定された場合、歪み補正制御部１６は、２回目の補正処理のシーケンスを開始させる。なお、有効判定部１３２における有効判定処理の詳細は後述する。
Here, in the first correction processing sequence, the test
２回目の補正処理のシーケンスでは、テストパターン生成部１３０は、図１２（ｂ）に示すパターン１２１を三つのタイル画像に書き込んでテストパターンを生成する。図１２（ｂ）のパターン１２１は、図１２（ａ）のパターン１２０よりも点状の図形の密度が高いパターンとなされている。この図１２（ｂ）のように点状の図形の密度が高いパターン１２１は、図１２（ａ）のパターン１２０よりも、テストパターンの検出率が高くなるパターンであると考えられる。２回目の補正処理のシーケンスで撮影画像から抽出されたテストパターンが無効テストパターンと判定された場合、歪み補正制御部１６は、更に３回目の補正処理のシーケンスを開始させる。
In the second correction processing sequence, the test
３回目の補正処理のシーケンスでは、テストパターン生成部１３０は、図１２（ｃ）に示すパターン１２２を三つのタイル画像に書き込んでテストパターンを生成する。図１２（ｃ）のパターン１２２は、図１２（ｂ）のパターン１２１よりも点状の図形の密度が高いパターンとなされている。この図１２（ｃ）のように点状の図形の密度が高いパターン１２２は、図１２（ｂ）のパターン１２１よりも、テストパターンの検出率が高くなるパターンであると考えられる。
In the third correction processing sequence, the test
このように、第２の実施形態の場合、テストパターンが無効テストパターンであると判定されて次の補正処理のシーケンスに移行する毎に、点状の図形の密度が徐々に高くなるテストパターンへの切り換えがなされる。すなわち、第２の実施形態によれば、補正処理のシーケンスが移行する毎に、徐々に検出率が高くなるテストパターンへの切り換えがなされるため、有効テストパターンが検出され易くなる。これにより、第２の実施形態では、歪み補正が確実に行われるようになる。 As described above, in the case of the second embodiment, each time the test pattern is determined to be an invalid test pattern and the process proceeds to the next correction processing sequence, the density of dot-like figures gradually increases. Is switched. That is, according to the second embodiment, each time the correction processing sequence is shifted, the test pattern is gradually switched to a test pattern with a gradually increasing detection rate, so that an effective test pattern is easily detected. As a result, in the second embodiment, distortion correction is reliably performed.
＜第２の実施形態における有効判定処理＞
図１１の液晶プロジェクタにおいて、有効判定部１３２は、撮影画像から抽出されたテストパターンの有効判定処理を行う際、前述の図６に示した検出ウインドウ６１に含まれる点状の図形を計数する。そして、有効判定部１３２は、その数が、検出ウインドウ内のテストパターンにおける点状の図形の数に応じて予め決められた密度の閾値範囲内に入っているか否かを判定することにより、テストパターンの有効判定を行う。
<Validity determination processing in the second embodiment>
In the liquid crystal projector of FIG. 11, the
図１３は、有効判定部１３２の内部構成例を示す図である。
図１３の有効判定部１３２において、前処理部１４０は、差分抽出部１２から供給された差分画像に対して前述の検出ウインドウ６１を設定し、その検出ウインドウ６１内の差分画像から点状の図形を計数するための前処理を行う。具体的には、前処理部１４０は、先ず、検出ウインドウ６１内の差分画像から孤立点を除去する処理を行うことで、ノイズによる点画素を除去する。更に、前処理部１４０は、検出ウインドウ６１内の画像に対して収縮処理を行い、複数画素により形成されていてある程度の面積を有している各点状の図形を、それぞれ１画素の点に収縮させる。前処理部１４０による前処理後の検出ウインドウ６１の差分画像のデータは、計数部１４１に送られる。
FIG. 13 is a diagram illustrating an internal configuration example of the
In the
計数部１４１は、カウンタからなり、前処理部１４０により各点状の図形が１画素に収縮された各点の数をカウントすることにより計数する。計数部１４１による計数データは、閾値判定部１４２に送られる。閾値判定部１４２は、計数部１４１により計数された点の数が、テストパターン生成部６で生成された元々のテストパターンにおける検出ウインドウ内の点の数に応じて決められている密度の閾値範囲内に入っているか否かを判定する。そして、閾値判定部１４２は、計数部１４１により計数された点の数が閾値範囲内に入っている場合に有効テストパターンであると判定し、一方、閾値範囲外である場合には無効テストパターンであると判定し、その判定結果を歪み補正制御部１６に送る。
The
なお、有効判定部１３２は、前述した図１の有効判定部１５と同様に、検出ウインドウ６１内の画素値を積分して、その積分値が所定の閾値範囲内であるか否かにより、テストパターンが有効テストパターンか否かを判定してもよい。
Note that the
＜第２の実施形態における歪み補正の制御の流れ＞
図１４は、第２の実施形態の液晶プロジェクタにおいて、歪み補正を行う場合の一連の制御の流れを示すフローチャートである。図１４のフローチャートに示した処理は、ハードウェア構成により実現されてもよいし、本実施形態に係るプログラムをＣＰＵ等で実行することにより実現されてもよい。本実施形態に係るプログラムは、不図示のＲＯＭ等に予め用意されていてもよく、不図示の記録媒体から読み出されてもよく、インターネット等を介してダウンロードされてＲＡＭ等にロードされてもよい。図１４のフローチャートの処理は、例えば、前述した第１の実施形態の例と同様に、画像データの８フレーム毎に行われる。
<Flow of Distortion Correction Control in Second Embodiment>
FIG. 14 is a flowchart showing a flow of a series of control when distortion correction is performed in the liquid crystal projector of the second embodiment. The process shown in the flowchart of FIG. 14 may be realized by a hardware configuration, or may be realized by executing a program according to the present embodiment by a CPU or the like. The program according to the present embodiment may be prepared in advance in a ROM (not shown) or the like, read from a recording medium (not shown), downloaded via the Internet or the like, and loaded into a RAM or the like. Good. The process of the flowchart in FIG. 14 is performed every 8 frames of image data, for example, as in the example of the first embodiment described above.
図１４の制御処理がスタートすると、Ｓ２００の処理として、歪み補正制御部１６は、ブレンド部７におけるテストパターンの重畳処理機能をオンにし、前述した画像データの８フレーム毎にテストパターンの重畳処理を行わせる。ここで、１回目の補正処理のシーケンスである場合には例えば前述した図１２（ａ）のパターン１２０を用いて生成されたテストパターンの重畳処理が行われる。これにより、画像データの８フレーム毎に、前述したようなテストパターン加算画像とテストパターン減算画像がスクリーン２に投射表示されることになる。Ｓ２００の後、液晶プロジェクタの処理は、カメラ１１により行われるＳ２０１に進む。
When the control process of FIG. 14 is started, as the process of S200, the distortion
Ｓ２０１では、カメラ１１は、歪み補正制御部１６による撮影動作制御の下、前述したテストパターン加算画像とテストパターン減算画像の各投射表示映像を撮影する。そして、カメラ１１は、それらテストパターン加算画像とテストパターン減算画像の撮影画像を差分抽出部１２に送る。Ｓ２０１の後、液晶プロジェクタの処理は、差分抽出部１２にて行われるＳ２０２に進む。
In S <b> 201, the
Ｓ２０２では、差分抽出部１２は、カメラ１１から供給されたテストパターン加算画像とテストパターン減算画像の二つの撮影画像の差分画像を生成する。そして、差分抽出部１２は、その差分画像のデータをテストパターン解析部１３と有効判定部１３２に送る。Ｓ２０２の後、液晶プロジェクタの処理は、有効判定部１３２にて行われるＳ２０３に進む。
In S <b> 202, the
Ｓ２０３では、有効判定部１３２は、差分画像に対して検出ウインドウを設定し、次のＳ２０４において、前述したように検出ウインドウ内の点を計数して所定の閾値範囲内か否かを判定することにより、テストパターンが有効テストパターンか否かを判定する。そして、有効判定部１３２は、その判定結果を歪み補正制御部１６に送る。このときの歪み補正制御部１６は、有効判定部１３２による判定結果に応じて、液晶プロジェクタにおける処理を分岐させる。具体的には、歪み補正制御部１６は、有効判定部１３２から有効テストパターンであるとの判定結果を受け取った場合には、テストパターン解析部１３にて行われるＳ２０５に処理を分岐させる。一方、歪み補正制御部１６は、有効判定部１５から無効テストパターンであるとの判定結果を受け取った場合には、次の補正処理のシーケンスへ移行させ、テストパターン生成部１３０を制御してＳ２０９でテストパターンの切り換え（変更）を行わせる。
In S203, the
Ｓ２０９において、歪み補正制御部１６が移行させた補正処理のシーケンスが２回目の補正処理のシーケンスである場合、テストパターン生成部１３０は、前述した図１２（ｂ）のパターン１２１を用いてテストパターンを生成する。このＳ２０９の後、歪み補正制御部１６は、Ｓ２００に処理を戻し、２回目の補正処理のシーケンスに移行させる。なお、２回目の補正処理のシーケンスにおいて、Ｓ２０４で無効テストパターンであるとの判定結果が得られてＳ２０９に進んだ場合、テストパターン生成部１３０では、図１２（ｃ）のパターン１２２を用いたテストパターンの生成が行われることになる。
In S209, when the correction processing sequence shifted by the distortion
また、Ｓ２０４からＳ２０５の処理に進んだ場合、テストパターン解析部１３は、差分抽出部１２から供給された差分画像を用いて、前述した図８のＳ１１５と同様に、テストパターンの解析処理を実行する。Ｓ２０５の後、テストパターン解析部１３は、Ｓ２０６に処理を進める。
When the process proceeds from S204 to S205, the test
Ｓ２０６では、テストパターン解析部１３は、前述した図８のＳ１１６と同様に、Ｓ２０５で検出した位置座標が有効な座標であるかどうかを判定する。そして、Ｓ２０６において位置座標が有効な座標であると判定した場合、テストパターン解析部１３は、検出した座標位置を補正パラメータ作成部１４に送り、補正パラメータ作成部１４にて行われるＳ２０７の処理に移行させる。一方、Ｓ２０６において位置座標が無効な座標であると判定した場合、テストパターン解析部１３は、その判定結果を歪み補正制御部１６に送る。位置座標が無効な座標であるとの判定結果を受けた歪み補正制御部１６は、次の補正処理のシーケンスへ移行させ、テストパターン生成部１３０を制御してＳ２０９でテストパターンの切り換えを行わせる。
In S206, the test
Ｓ２０７の処理に進んだ場合、補正パラメータ作成部１４は、テストパターン解析部１３から受け取った位置座標を用いて前述した補正パラメータを算出する。Ｓ２０７の後、補正パラメータ作成部１４は、Ｓ２０８に処理を進める。Ｓ２０８では、補正パラメータ作成部１４は、Ｓ２０７で算出した補正パラメータを歪み補正部８に設定する。これにより、歪み補正部８では、補正パラメータに基づく歪み補正処理が行われることになる。Ｓ２０８の後、液晶プロジェクタにおける図１４のフローチャートの処理は終了する。
When the process proceeds to S207, the correction
以上のように、第２の実施形態の液晶プロジェクタでは、第１の実施形態の場合と同様に、有効テストパターンである場合にのみ、テストパターン解析が行われるため、無効テストパターンと判定された場合には消費電力を減らすことができる。更に、第２の実施形態の場合、無効テストパターンと判定される毎に、前述の図１２（ａ）〜図１２（ｃ）のように点状の図形の密度が徐々に高くなるパターンを用いたテストパターンへの切り換えが行われる。このように、第２の実施形態では、点状の図形の密度が徐々に高くなるテストパターン、つまり検出率が高くなるテストパターンへの切り換えを行うことで、テストパターンが有効と判定されまでの補正処理のシーケンスの回数を減らすことができる。 As described above, in the liquid crystal projector of the second embodiment, as in the case of the first embodiment, the test pattern analysis is performed only when the test pattern is a valid test pattern. In some cases, power consumption can be reduced. Furthermore, in the case of the second embodiment, a pattern in which the density of dot-like figures gradually increases as shown in FIGS. 12A to 12C every time it is determined as an invalid test pattern is used. The test pattern is switched to the previous test pattern. As described above, in the second embodiment, by switching to a test pattern in which the density of dot-like figures gradually increases, that is, a test pattern with a high detection rate, the test pattern is determined to be valid. The number of correction processing sequences can be reduced.
なお、第２の実施形態においても、前述の第１の実施形態で説明した歪み補正が行われる場合の第１の動作例だけでなく、第２の動作例を適用することが可能である。また、第２の実施形態においても、前述の第１の実施形態で説明したのと同様に、テストパターンは、升目や十字型等の幾何形状のパターン、何らかの規則性を有するパターン、色が可変されるパターンであってもよい。これらのテストパターンの検出アルゴリズムについても第１の実施形態と同様のものを用いることができる。さらに、第２の実施形態においても、前述した第１の実施形態と同様に、ブレンド部７におけるテストパターンの重畳処理機能のオン／オフ制御は、数秒おきにオン制御されてもよい。
In the second embodiment, not only the first operation example when the distortion correction described in the first embodiment is performed but also the second operation example can be applied. Also in the second embodiment, as described in the first embodiment, the test pattern is a geometric pattern such as a grid or a cross, a pattern having some regularity, and a variable color. It may be a pattern. These test pattern detection algorithms can be the same as those in the first embodiment. Further, in the second embodiment, as in the first embodiment described above, the on / off control of the test pattern superimposition processing function in the
また、前述の図１２（ａ）〜図１２（ｃ）の例では点状の図形の密度が徐々に高くなるパターンを例に挙げたが、点状の図形のサイズやドット径が徐々に大きくなるようなパターンを用いてテストパターンが生成されてもよい。点状の図形のサイズやドット径が徐々に大きくなるパターンを用いれば、検出率が徐々に高くなるテストパターンの生成が可能となる。その他にも、テストパターンの輝度を徐々に高くするようにしてもよい。例えばスクリーン２に外光が差し込んでテストパターンのコントラストが落ちてしまうような場合、輝度が徐々に高くなるパターンを用いれば、テストパターンの検出率を高めることが可能となる。さらに、それら輝度、大きさ、ドット径、数、密度を合わせて変えるようにしたテストパターンが生成されてもよい。これらを合わせて変えたテストパターンを用いれば、検出率が変わるテストパターンの生成が可能となる。なお、テストパターンの切り換えの際には、前述した点状の図形からなるテストパターンから、前述した幾何形状のテストパターンのように異なる種類のテストパターンへの切り換えを行ってもよい。例えば、初回の補正処理のシーケンスは点状の図形からなるテストパターンを用い、次の補正処理のシーケンスでは幾何形状のテストパターンを用いるようにしてもよい。更に、それら幾何形状のテストパターンについても、前述同様にその図形の密度、輝度、サイズ等を変更することも可能である。
Further, in the example of FIGS. 12A to 12C described above, a pattern in which the density of dot-like figures gradually increases is taken as an example, but the size and dot diameter of the dot-like figures gradually increase. A test pattern may be generated using such a pattern. If a pattern in which the size of dot-like figures and the dot diameter gradually increase is used, it is possible to generate a test pattern in which the detection rate gradually increases. In addition, the luminance of the test pattern may be gradually increased. For example, when external light is inserted into the
＜その他の実施形態＞
上述の実施形態では、液晶プロジェクタを例に挙げたが、例えばカメラ機能と投射型プロジェクタ機能とを備えたスマートフォンやタブレット端末等の携帯機器、投射型プロジェクタ機能を備えた各種のカメラであってもよい。
<Other embodiments>
In the above-described embodiment, the liquid crystal projector has been described as an example. Good.
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
１：プロジェクタ、２：スクリーン、３：映像入力部、４：画像処理部、５：倍速変換部、６，１３０：テストパターン生成部、７：ブレンド部、８：歪み補正部、９：表示制御部、１０：表示パネル、１１：カメラ、１２：差分抽出部、１３：テストパターン解析部、１４：補正パラメータ作成部、１５，１３２：有効判定部、１６：歪み補正制御部、５０：ウインドウ制御部、５１：積分部、５２，１４２：閾値判定部、１４０：前処理部、１４１：計数部 1: projector, 2: screen, 3: video input unit, 4: image processing unit, 5: double speed conversion unit, 6, 130: test pattern generation unit, 7: blending unit, 8: distortion correction unit, 9: display control , 10: display panel, 11: camera, 12: difference extraction unit, 13: test pattern analysis unit, 14: correction parameter creation unit, 15, 132: validity determination unit, 16: distortion correction control unit, 50: window control Part, 51: integration part, 52, 142: threshold value determination part, 140: preprocessing part, 141: counting part
Claims (19)
前記テストパターンが投射表示された投射面に対する撮影画像からテストパターンを抽出する抽出手段と、
前記抽出されたテストパターンの画像成分を基に、前記抽出されたテストパターンが有効なテストパターンかどうかを判定する判定手段と、
前記抽出されたテストパターンが有効なテストパターンであると判定された場合、前記有効と判定されたテストパターンに基づいて、前記投射表示される映像の歪みを検出する処理を実行する検出手段と、
前記検出された歪みに基づいて、前記投射表示される映像の歪みを補正する補正手段と、
を有することを特徴とする表示装置。 Display means for projecting and displaying a test pattern;
Extracting means for extracting a test pattern from a captured image on a projection surface on which the test pattern is projected and displayed;
Determination means for determining whether or not the extracted test pattern is a valid test pattern based on the image component of the extracted test pattern;
When it is determined that the extracted test pattern is an effective test pattern, based on the test pattern determined to be effective, a detection unit that executes processing for detecting distortion of the projected and displayed video;
Correction means for correcting distortion of the projected and displayed image based on the detected distortion;
A display device comprising:
前記補正手段は、前記検出された映像の歪みに応じた補正パラメータを用いて、前記投射表示される映像の歪みを補正する画像処理を行うことを特徴とする請求項１に記載の表示装置。 The detection means detects the position of the projection display based on the test pattern determined to be valid, detects distortion of the projected and displayed image from the position,
The display device according to claim 1, wherein the correction unit performs image processing for correcting distortion of the projected and displayed video using a correction parameter corresponding to the detected video distortion.
前記表示手段は、前記テストパターンがコンテンツ映像に重ね合わされた画像を投射表示し、
前記抽出手段は、前記テストパターンがコンテンツ映像に重ね合わされて前記投射表示された画像を撮影した前記撮影画像から、前記テストパターンを抽出することを特徴とする請求項１又は２に記載の表示装置。 Blending means for generating an image in which the test pattern is superimposed on the content video;
The display means projects and displays an image in which the test pattern is superimposed on a content video,
The display device according to claim 1, wherein the extraction unit extracts the test pattern from the photographed image obtained by photographing the projected and displayed image with the test pattern superimposed on a content video. .
前記表示手段は、前記加算画像と前記減算画像を切り換えて連続して投射表示し、
前記抽出手段は、前記投射表示された前記加算画像の撮影画像と前記減算画像の撮影画像との差分をとることで前記テストパターンの抽出を行うことを特徴とする請求項３に記載の表示装置。 The blending means generates an addition image by superimposition that adds the test pattern to the content video, and a subtraction image by superposition that subtracts the test pattern from the content video,
The display means continuously displays the projection by switching between the addition image and the subtraction image,
The display device according to claim 3, wherein the extraction unit extracts the test pattern by taking a difference between a captured image of the addition image and the captured image of the subtracted image that are projected and displayed. .
前記判定手段は、前記抽出されたテストパターンの画像成分として、前記十字形状のパターンの直線の成分を求め、前記直線の成分の交点が検出された場合に、前記抽出されたテストパターンが有効なテストパターンであると判定することを特徴とする請求項１乃至４の何れか１項に記載の表示装置。 The display means projects and displays a test pattern including a cross-shaped pattern,
The determination means obtains a straight line component of the cross-shaped pattern as an image component of the extracted test pattern, and the extracted test pattern is effective when an intersection of the straight line components is detected. The display device according to claim 1, wherein the display device is determined to be a test pattern.
前記判定手段は、前記抽出されたテストパターンの画像成分として、前記升目形状における升目の周期を求め、前記周期が所定の閾値範囲内である場合に、前記抽出されたテストパターンが有効なテストパターンであると判定することを特徴とする請求項１乃至４の何れか１項に記載の表示装置。 The display means projects and displays a test pattern including a grid-shaped pattern,
The determination means obtains a cell cycle in the cell shape as an image component of the extracted test pattern, and the extracted test pattern is effective when the cycle is within a predetermined threshold range. The display device according to claim 1, wherein the display device is determined to be.
テストパターンが投射表示された投射面に対する撮影画像からテストパターンを抽出するステップと、
前記抽出されたテストパターンの画像成分を基に、前記抽出されたテストパターンが有効なテストパターンかどうかを判定するステップと、
前記抽出されたテストパターンが有効なテストパターンであると判定された場合、前記有効と判定されたテストパターンに基づいて、前記投射表示される映像の歪みを検出する処理を実行するステップと、
前記検出された歪みに基づいて、前記投射表示される映像の歪みを補正するステップと、
を含むことを特徴とする表示装置の制御方法。 Projecting and displaying a test pattern;
Extracting a test pattern from a captured image with respect to a projection surface on which the test pattern is projected and displayed;
Determining whether the extracted test pattern is a valid test pattern based on the image components of the extracted test pattern;
When it is determined that the extracted test pattern is an effective test pattern, a process of detecting distortion of the projected and displayed video based on the test pattern determined to be effective; and
Correcting distortion of the projected and displayed image based on the detected distortion;
A control method for a display device, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016105256A JP2017212638A (en) | 2016-05-26 | 2016-05-26 | Display device, control method for display device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016105256A JP2017212638A (en) | 2016-05-26 | 2016-05-26 | Display device, control method for display device, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017212638A true JP2017212638A (en) | 2017-11-30 |
Family
ID=60474923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016105256A Pending JP2017212638A (en) | 2016-05-26 | 2016-05-26 | Display device, control method for display device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017212638A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020003722A (en) * | 2018-06-29 | 2020-01-09 | キヤノン株式会社 | Image processing apparatus, and control method and program therefor |
| CN113170092A (en) * | 2018-12-10 | 2021-07-23 | 索尼半导体解决方案公司 | Image processing apparatus, image processing method, and image processing system |
| CN113742152A (en) * | 2021-09-08 | 2021-12-03 | 深圳创维－Rgb电子有限公司 | Screen projection test method, device, equipment and storage medium |
| US11496721B2 (en) | 2020-03-30 | 2022-11-08 | Seiko Epson Corporation | Setting assistance method and setting assistance apparatus |
-
2016
- 2016-05-26 JP JP2016105256A patent/JP2017212638A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020003722A (en) * | 2018-06-29 | 2020-01-09 | キヤノン株式会社 | Image processing apparatus, and control method and program therefor |
| JP7228966B2 (en) | 2018-06-29 | 2023-02-27 | キヤノン株式会社 | Image processing device and its control method and program |
| CN113170092A (en) * | 2018-12-10 | 2021-07-23 | 索尼半导体解决方案公司 | Image processing apparatus, image processing method, and image processing system |
| EP3896968A4 (en) * | 2018-12-10 | 2022-01-19 | Sony Semiconductor Solutions Corporation | Image processing device, image processing method, and image processing system |
| US11496721B2 (en) | 2020-03-30 | 2022-11-08 | Seiko Epson Corporation | Setting assistance method and setting assistance apparatus |
| CN113742152A (en) * | 2021-09-08 | 2021-12-03 | 深圳创维－Rgb电子有限公司 | Screen projection test method, device, equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10134118B2 (en) | Information processing apparatus and method of obtaining information about a projection surface on which a target is projected | |
| CN111083456B (en) | Projection correction method, apparatus, projector, and readable storage medium | |
| JP2013257686A5 (en) | ||
| US20200389573A1 (en) | Image processing system, image processing method and storage medium | |
| JP6115214B2 (en) | Pattern processing apparatus, pattern processing method, and pattern processing program | |
| JP2015060012A (en) | Image processing system, image processing device, image processing method and image processing program as well as display system | |
| JP2017212638A (en) | Display device, control method for display device, and program | |
| US10469812B2 (en) | Projection display system, information processing apparatus, information processing method, and storage medium therefor | |
| JP6656035B2 (en) | Image processing apparatus, imaging apparatus, and control method for image processing apparatus | |
| KR101225063B1 (en) | Unobtrusive calibration method for projected image compensation and apparatus for the same | |
| US20190394435A1 (en) | Apparatus and method for image processing and storage medium storing program for the same | |
| CN112272292A (en) | Projection correction method, apparatus and storage medium | |
| US9898800B2 (en) | Image processing apparatus and image processing method | |
| US9323981B2 (en) | Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored | |
| WO2013088657A1 (en) | Projecting projector device, optical anti-glare method, and optical anti-glare program | |
| CN112351271A (en) | Camera shielding detection method and device, storage medium and electronic equipment | |
| TWI693577B (en) | Image generating method and electronic apparatus | |
| WO2018155269A1 (en) | Image processing device and method, and program | |
| JP5955003B2 (en) | Image processing apparatus, image processing method, and program | |
| US10212405B2 (en) | Control apparatus and method | |
| US9842406B2 (en) | System and method for determining colors of foreground, and computer readable recording medium therefor | |
| JP2011090606A (en) | Image processor, image display system and image processing method | |
| JP2018055685A (en) | Information processing device, control method thereof, program, and storage medium | |
| KR20100081099A (en) | Apparatus and method for out-focasing | |
| KR101774913B1 (en) | Method and apparatus for displaying images using pre-processing |