JP2011199717A - Projection type display device and image display method - Google Patents

Projection type display device and image display method Download PDF

Info

Publication number
JP2011199717A
JP2011199717A JP2010065843A JP2010065843A JP2011199717A JP 2011199717 A JP2011199717 A JP 2011199717A JP 2010065843 A JP2010065843 A JP 2010065843A JP 2010065843 A JP2010065843 A JP 2010065843A JP 2011199717 A JP2011199717 A JP 2011199717A
Authority
JP
Japan
Prior art keywords
image
projection
screen
unit
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010065843A
Other languages
Japanese (ja)
Inventor
Shiki Furui
志紀 古井
Original Assignee
Seiko Epson Corp
セイコーエプソン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp, セイコーエプソン株式会社 filed Critical Seiko Epson Corp
Priority to JP2010065843A priority Critical patent/JP2011199717A/en
Publication of JP2011199717A publication Critical patent/JP2011199717A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a technology relating to trapezoidal distortion correction in a projection type display device for projecting an image toward a projection surface.SOLUTION: A projection type display device for projecting and displaying an image toward a projection surface is provided and includes: a projection means for projecting an image; an imaging means for imaging the projection surface to create a captured image of the projection surface; an adjustment means for adjusting the projection means into any state different from a focused state; a control means for controlling the adjustment means so as to adjust the projection means into any state different from the focused state before the imaging means images the projection surface; and a correction means for detecting a shape of the projection surface based on the captured image of the projection surface obtained by imaging with the projection means in any state different from the focused state, and correcting the image so as to be matched to the shape of the projection surface. Consequently erroneous detection of a contour of a projection image as framing of a screen can be suppressed.

Description

本発明は、投写面に向けて画像を投写する投写型表示装置、及び投写型表示装置における画像表示方法に関する。   The present invention relates to a projection display device that projects an image onto a projection surface, and an image display method in the projection display device.
プロジェクター等の投写型表示装置を用いてスクリーンに画像を表示させるとき、投写型表示装置とスクリーンの相対的な角度によって、スクリーンに投写された画像(以下、「投写画像」と呼ぶ)に歪みが生じることがある。このような場合に、投写画像がスクリーン上で適切な形状となるように入力画像を補正する技術(以下、「台形歪み補正」と呼ぶ)が知られている。   When an image is displayed on a screen using a projection display device such as a projector, the image projected on the screen (hereinafter referred to as “projection image”) is distorted due to the relative angle between the projection display device and the screen. May occur. In such a case, a technique for correcting an input image so that a projected image has an appropriate shape on a screen (hereinafter referred to as “trapezoidal distortion correction”) is known.
こうした台形歪み補正を行う際には、投写型表示装置は、内蔵したカメラ等の撮像部でスクリーンを撮影し、撮影画像におけるスクリーンの枠辺を境界線として検出する。そして、投写型表示装置は、検出されたスクリーンの枠辺を用いて、投写画像の形状がスクリーンの形状に一致するように、入力画像を補正する。このとき、投写型表示装置は、輝度の変化などに基づいて画像に含まれる輪郭を抽出する輪郭抽出処理を撮影画像に施すことにより、撮影画像におけるスクリーンの枠辺を検出する(下記特許文献参照)。   When performing such trapezoidal distortion correction, the projection display device captures a screen with an imaging unit such as a built-in camera and detects a frame border of the captured image as a boundary line. Then, the projection display apparatus corrects the input image using the detected frame edge of the screen so that the shape of the projected image matches the shape of the screen. At this time, the projection display apparatus detects a frame edge of the screen in the photographed image by performing contour extraction processing on the photographed image to extract a contour included in the image based on a change in luminance or the like (see the following patent document). ).
特開2005−318652号公報JP-A-2005-318652 特開2006−060447号公報JP 2006-060447 A
しかし、上記の従来技術では、撮影画像に含まれる画像のうち、実際にはスクリーンの枠辺の画像ではない画像を誤ってスクリーンの枠辺の画像として検出してしまう場合があり、そのような場合には適切な台形歪み補正が実行されないという問題があった。例えば、以下に説明するように、投写型表示装置が投写画像の輪郭とスクリーンの枠辺を誤って検出してしまう場合がある。   However, in the above prior art, among images included in the captured image, an image that is not actually an image of the frame of the screen may be erroneously detected as an image of the frame of the screen. In some cases, there has been a problem that appropriate trapezoidal distortion correction is not performed. For example, as described below, the projection display apparatus may erroneously detect the outline of the projected image and the frame edge of the screen.
撮像部でスクリーンを撮像する際に、投写型表示装置が白い画像(以下、「白画像」という)を投写していると、投写型表示装置が白画像の輪郭をスクリーンの枠辺と誤って検出してしまう場合がある。そのため、スクリーンの枠辺を検出するために撮像部でスクリーンを撮像する場合は、投写型表示装置は黒い画像(以下、「黒画像」という)を投写する。
投写型表示装置は、この黒画像を投写する場合は、光源からの光を液晶パネル等の光変調素子を用いて遮光する(換言すれば、光源からの光が投写レンズに入らないようにする)ことによって、スクリーン上で黒画像を表現する。しかし、光変調素子自体の特性や迷光などの光学的な問題により、実際にスクリーン上に再現される黒画像が若干の明るさを有する現象(以下、「黒浮き」という)が生じる場合がある。この黒浮きが生じている場合、たとえ投写画像が黒画像であっても、スクリーンにおいて投写画像が占める領域は、その周囲の領域よりも若干明るい。このため、投写型表示装置から黒画像を投写した状態でスクリーンを撮像した場合であっても、投写型表示装置が投写画像の輪郭をスクリーンの枠辺と誤って検出してしまい、台形歪み補正を適切に行うことができない場合がある。
特に投写型表示装置からスクリーンまでの投写距離が近い場合や、投写画像を鑑賞する環境が暗い場合、投写型表示装置の輝度が高い場合などに、投写型表示装置は投写画像の輪郭をスクリーンの枠辺と誤って検出しやすい。
If the projection display device is projecting a white image (hereinafter referred to as a “white image”) when the imaging unit captures the screen, the projection display device mistakenly outlines the white image as the frame of the screen. It may be detected. For this reason, when the screen is imaged by the imaging unit in order to detect the frame edge of the screen, the projection display device projects a black image (hereinafter referred to as “black image”).
When projecting this black image, the projection display device shields light from the light source using a light modulation element such as a liquid crystal panel (in other words, prevents light from the light source from entering the projection lens). ) To express a black image on the screen. However, due to the characteristics of the light modulation element itself and optical problems such as stray light, a phenomenon that the black image actually reproduced on the screen has a slight brightness (hereinafter referred to as “black floating”) may occur. . When this black float occurs, even if the projection image is a black image, the area occupied by the projection image on the screen is slightly brighter than the surrounding area. For this reason, even when the screen is captured with a black image projected from the projection display device, the projection display device erroneously detects the outline of the projection image as the frame edge of the screen and corrects the keystone distortion. May not be performed properly.
In particular, when the projection distance from the projection display device to the screen is short, when the environment for viewing the projected image is dark, or when the projection display device has high brightness, the projection display device displays the contour of the projection image on the screen. Easily detected as a frame edge.
本発明は、上述した従来の課題を解決するためになされたものであり、投写型表示装置が、スクリーンを撮影した撮影画像からスクリーンの枠辺を検出する際に、投写画像の輪郭をスクリーンの枠辺と誤って検出してしまうことを抑制する技術を提供することを目的とする。   The present invention has been made to solve the above-described conventional problems. When the projection display apparatus detects a frame border of a screen from a captured image obtained by photographing the screen, the outline of the projection image is displayed on the screen. It aims at providing the technique which suppresses detecting erroneously with a frame side.
本発明は、上述の課題の少なくとも一部を解決するために、以下の形態または適用例を取ることが可能である。   In order to solve at least a part of the problems described above, the present invention can take the following forms or application examples.
〔適用例1〕本適用例に係る投写型表示装置は、投写面に向けて画像を投写して表示する投写型表示装置であって、前記画像を投写する投写手段と、前記投写面を撮像し、前記投写面の撮像画像を生成する撮像手段と、前記投写手段を合焦状態とは異なる状態に調整する調整手段と、前記撮像手段が前記投写面を撮像する前に、前記投写手段を合焦状態とは異なる状態に調整するように前記調整手段を制御する制御手段と、前記投写手段が合焦状態とは異なる状態にあるときに撮像された前記投写面の撮像画像に基づいて前記投写面の形状を検出し、前記投写面の形状に一致するように前記画像を補正する補正手段とを備えていることを特徴とする。   Application Example 1 A projection display device according to this application example is a projection display device that projects and displays an image on a projection surface, and projects projection means for projecting the image, and images the projection surface. An imaging unit that generates a captured image of the projection plane, an adjustment unit that adjusts the projection unit to a state different from the in-focus state, and the projection unit before the imaging unit captures the projection plane. Control means for controlling the adjusting means to adjust to a state different from the in-focus state, and the captured image of the projection plane imaged when the projection means is in a state different from the in-focus state. And a correction unit that detects the shape of the projection surface and corrects the image so as to match the shape of the projection surface.
この適用例によれば、撮像手段によって投写面を撮像する前に、調整手段によって投写手段を合焦状態とは異なる状態に調整する。投写手段を合焦状態とは異なる状態に調整すると、投写手段のフォーカスがぼけた状態となるので、投写手段から投写される投写画像は投写面において輪郭がぼけた状態となる。投写画像の輪郭がぼけた状態で投写面を撮像した場合、撮像画像に含まれる投写画像の輪郭は、投写手段が合焦状態である場合の投写画像の輪郭よりもぼけているため、輪郭抽出処理において投写画像の輪郭をスクリーンの枠辺と誤って検出することが少なくなる。したがって、投写画像の輪郭を誤ってスクリーンの枠辺と検出してしまうことを抑制することができる。   According to this application example, before the imaging surface is imaged by the imaging unit, the adjusting unit is adjusted to a state different from the in-focus state by the adjusting unit. When the projection unit is adjusted to a state different from the in-focus state, the projection unit is out of focus, so that the projected image projected from the projection unit has a blurred outline on the projection plane. When the projection plane is imaged with the outline of the projected image blurred, the outline of the projected image included in the captured image is more blurred than the outline of the projected image when the projection means is in focus. In the processing, it is less likely that the outline of the projected image is erroneously detected as the frame edge of the screen. Therefore, it is possible to suppress erroneous detection of the outline of the projected image as the frame edge of the screen.
〔適用例2〕上記適用例に係る投写型表示装置では、前記投写手段は、調整画像を投写し、前記撮像手段は、投写された前記調整画像を撮像して前記調整画像の撮像画像を生成し、前記制御手段は、前記調整画像の前記撮像画像に基づいて、前記投写手段の合焦状態を判定するとともに、前記撮像手段が前記投写面を撮像する前に、前記投写手段を前記合焦状態とは異なる状態に調整するように前記調整手段を制御することが好ましい。   Application Example 2 In the projection display device according to the application example, the projection unit projects an adjustment image, and the imaging unit images the projected adjustment image to generate a captured image of the adjustment image. The control unit determines the in-focus state of the projection unit based on the captured image of the adjustment image, and the projection unit is in focus before the imaging unit images the projection plane. It is preferable to control the adjusting means so as to adjust to a state different from the state.
この適用例によれば、投写手段が合焦状態となる状態を把握できるので、調整手段によって投写手段を調整する際に、この合焦状態を基準として投写手段を調整することが可能となり、投写手段を合焦状態とは異なる状態に調整することが容易になる。   According to this application example, the state in which the projection unit is in focus can be grasped. Therefore, when the projection unit is adjusted by the adjustment unit, the projection unit can be adjusted on the basis of the focus state. It becomes easy to adjust the means to a state different from the in-focus state.
〔適用例3〕上記適用例に係る投写型表示装置では、前記制御手段は、前記撮像手段が前記投写面を撮像した後に、前記投写手段を前記合焦状態に調整するように前記調整手段を制御することが好ましい。   Application Example 3 In the projection display device according to the application example, the control unit controls the adjustment unit to adjust the projection unit to the in-focus state after the imaging unit images the projection surface. It is preferable to control.
この適用例によれば、制御手段が、撮像手段が投写面を撮像した後に投写手段を合焦状態に調整するように調整手段を制御するので、投写面を撮像した後に投写手段によって画像を投写面に投写する際に、合焦状態で画像を表示することができる。   According to this application example, the control unit controls the adjustment unit so that the projection unit adjusts the projection unit to the in-focus state after the imaging unit captures the projection plane, and thus the projection unit projects an image after imaging the projection plane. When projecting onto a surface, the image can be displayed in a focused state.
〔適用例4〕上記適用例に係る投写型表示装置では、前記投写手段は、測定画像を投写し、前記撮像手段は、投写された前記測定画像を撮像して前記測定画像の撮像画像を生成し、前記補正手段は、前記投写面の撮像画像、及び前記測定画像の撮像画像に基づいて、入力画像を補正して補正画像を生成することが好ましい。   Application Example 4 In the projection display device according to the application example, the projection unit projects a measurement image, and the imaging unit generates a captured image of the measurement image by capturing the projected measurement image. The correction unit preferably corrects the input image based on the captured image of the projection plane and the captured image of the measurement image to generate a corrected image.
この適用例によれば、投写型表示装置は、投写された測定画像を撮像し、測定画像の撮像画像を生成している。測定画像が所定のパターンを含む画像であれば、投写型表示装置は、入力画像上に定義される座標と撮像画像上に定義される座標との対応関係を決定することができる。投写型表示装置は、この対応関係を利用することで、入力画像を補正することができる。   According to this application example, the projection display device captures the projected measurement image and generates a captured image of the measurement image. If the measurement image is an image including a predetermined pattern, the projection display apparatus can determine the correspondence between coordinates defined on the input image and coordinates defined on the captured image. The projection display apparatus can correct the input image by using this correspondence.
〔適用例5〕上記適用例に係る投写型表示装置では、前記補正手段は、前記投写面の撮像画像に基づいて、前記投写型表示装置に対する前記投写面の相対角度を算出し、前記相対角度に基づいて入力画像を補正して補正画像を生成することが好ましい。   Application Example 5 In the projection display device according to the application example, the correction unit calculates a relative angle of the projection surface with respect to the projection display device based on a captured image of the projection surface, and the relative angle is calculated. It is preferable to correct the input image based on the above and generate a corrected image.
この適用例によれば、投写型表示装置は、投写面の撮像画像に基づいて、当該投写型表示装置に対する投写面の相対角度を算出し、この相対角度に基づいて入力画像を補正する。従って、投写型表示装置は、測定画像を利用することなく入力画像を補正することができる。   According to this application example, the projection display device calculates the relative angle of the projection surface with respect to the projection display device based on the captured image of the projection surface, and corrects the input image based on the relative angle. Therefore, the projection display apparatus can correct the input image without using the measurement image.
〔適用例6〕本適用例に係る画像表示方法は、投写面に向けて画像を投写して表示する投写型表示装置の画像表示方法であって、前記投写型表示装置の投写手段を合焦状態とは異なる状態に調整し、前記投写手段が合焦状態とは異なる状態にあるときに前記投写面を撮像して撮像画像を生成し、前記撮像画像に基づいて前記投写面の形状を検出し、前記投写面の形状に一致するように前記画像を補正することを特徴とする。   Application Example 6 An image display method according to this application example is an image display method of a projection display device that projects and displays an image on a projection surface, and focuses the projection unit of the projection display device. When the projection means is in a state different from the in-focus state, the projection surface is imaged to generate a captured image, and the shape of the projection surface is detected based on the captured image. The image is corrected so as to match the shape of the projection surface.
この適用例によれば、投写面を撮像する前に、投写型表示装置の投写手段を合焦状態とは異なる状態に調整する。投写手段を合焦状態とは異なる状態に調整すると、投写手段のフォーカスがぼけた状態となるので、投写手段から投写される投写画像は投写面において輪郭がぼけた状態となる。投写画像の輪郭がぼけた状態で投写面を撮像した場合、撮像画像に含まれる投写画像の輪郭は、投写手段が合焦状態である場合の投写画像の輪郭よりもぼけているため、輪郭抽出処理において投写画像の輪郭をスクリーンの枠辺と誤って検出することが少なくなる。したがって、投写画像の輪郭を誤ってスクリーンの枠辺と検出してしまうことを抑制することができる。   According to this application example, the projection unit of the projection display apparatus is adjusted to a state different from the in-focus state before imaging the projection plane. When the projection unit is adjusted to a state different from the in-focus state, the projection unit is out of focus, so that the projected image projected from the projection unit has a blurred outline on the projection plane. When the projection plane is imaged with the outline of the projected image blurred, the outline of the projected image included in the captured image is more blurred than the outline of the projected image when the projection means is in focus. In the processing, it is less likely that the outline of the projected image is erroneously detected as the frame edge of the screen. Therefore, it is possible to suppress erroneous detection of the outline of the projected image as the frame edge of the screen.
なお、本発明は、種々の態様で実現することが可能である。例えば、投写面検出方法および装置、投写画像補正方法及び装置、それらの方法または装置の機能を実現するための集積回路、コンピュータプログラム、そのコンピュータプログラムを記録した記録媒体等の形態で実現することができる。   Note that the present invention can be realized in various modes. For example, the present invention can be realized in the form of a projection surface detection method and apparatus, a projection image correction method and apparatus, an integrated circuit for realizing the functions of the method or apparatus, a computer program, a recording medium on which the computer program is recorded, and the like. it can.
実施例におけるプロジェクター100の構成を示すブロック図である。It is a block diagram which shows the structure of the projector 100 in an Example. 実施例における台形歪み補正処理を示すフローチャートである。It is a flowchart which shows the trapezoid distortion correction process in an Example. 実施例における相対位置調整処理を示すフローチャートである。It is a flowchart which shows the relative position adjustment process in an Example. 相対位置調整処理で用いられるフォーカス調整画像310、及びガイド表示画像320を示した説明図である。It is explanatory drawing which showed the focus adjustment image 310 used by the relative position adjustment process, and the guide display image 320. FIG. 実施例における撮像画像生成処理を示すフローチャートである。It is a flowchart which shows the captured image generation process in an Example. 実施例におけるフォーカスぼかし処理を行っていない状態での、投写された黒画像に生じた黒浮きを示した説明図である。It is explanatory drawing which showed the black float which arose in the projected black image in the state which is not performing the focus blurring process in an Example. 実施例におけるフォーカスぼかし処理を行っていない場合で境界線検出処理を行った結果を示した説明図である。It is explanatory drawing which showed the result of having performed the boundary line detection process in the case where the focus blurring process in the Example is not performed. 実施例におけるフォーカスぼかし処理を行った状態における、投写された黒画像に生じた黒浮きを示した説明図である。It is explanatory drawing which showed the black float which arose in the projected black image in the state which performed the focus blurring process in an Example. 実施例におけるフォーカスぼかし処理を行った場合で境界線検出処理を行った結果を示した説明図である。It is explanatory drawing which showed the result of having performed the boundary line detection process in the case of performing the focus blurring process in an Example. 実施例における補正形状決定処理を示すフローチャートである。It is a flowchart which shows the correction | amendment shape determination process in an Example. カメラ座標におけるスクリーンSCの4隅の座標Pc1〜Pc4を示した説明図である。It is explanatory drawing which showed coordinates Pc1-Pc4 of the four corners of the screen SC in a camera coordinate. 補正形状決定処理で用いられる測定画像330を示した説明図である。It is explanatory drawing which showed the measurement image 330 used by correction | amendment shape determination processing. パネル座標とカメラ座標が射影変換式M1によって対応付けられることを模式的に示した説明図である。It is explanatory drawing which showed typically that a panel coordinate and a camera coordinate are matched by the projection transformation formula M1. 射影変換式M1によって座標Pc1〜Pc4を座標Pp1〜Pp4に変換する処理を示した説明図である。It is explanatory drawing which showed the process which converts coordinate Pc1-Pc4 into coordinate Pp1-Pp4 by projective transformation formula M1. パネル座標における入力画像の4隅座標と座標Pp1〜Pp4が射影変換式M2によって対応付けられることを模式的に示した説明図である。It is explanatory drawing which showed typically that the four corner coordinates of the input image in panel coordinates and coordinates Pp1-Pp4 are matched by the projective transformation formula M2.
次に、本発明の実施の形態を実施例に基づいて説明する。
A.実施例:
(A1)プロジェクターの構成
(A2)台形歪み補正処理
(A3)撮像画像生成処理
(A4)補正形状決定処理
B.変形例
Next, embodiments of the present invention will be described based on examples.
A. Example:
(A1) Configuration of projector (A2) Trapezoidal distortion correction processing (A3) Captured image generation processing (A4) Correction shape determination processing Modified example
A.実施例:
(A1)プロジェクターの構成
図1は、本発明の実施例におけるプロジェクター100の全体構成を示すブロック図である。プロジェクター100は、画像を表す画像信号を外部から入力し、これをスクリーンSCなどの投写面上に投写画像として表示させる投写型表示装置である。本実施例では、スクリーンSCの投写面形状は矩形形状とされている。
A. Example:
(A1) Configuration of Projector FIG. 1 is a block diagram showing an overall configuration of a projector 100 according to an embodiment of the present invention. The projector 100 is a projection display device that receives an image signal representing an image from the outside and displays it as a projection image on a projection surface such as a screen SC. In the present embodiment, the projection surface shape of the screen SC is a rectangular shape.
プロジェクター100は大きく分けると、光学的な画像の形成を行う光学系と画像信号を電気的に処理する画像処理系とからなる。光学系は、照明光学系140と、光変調素子130と、投写光学系150と、を含み、画像をスクリーンSCに投写する。この光学系が、特許請求の範囲における投写手段に該当する。   The projector 100 is roughly divided into an optical system that forms an optical image and an image processing system that electrically processes an image signal. The optical system includes an illumination optical system 140, a light modulation element 130, and a projection optical system 150, and projects an image onto the screen SC. This optical system corresponds to the projection means in the claims.
照明光学系140は、光を射出する光源(図示せず)を備える。また、照明光学系140は、光源から射出された光の照度分布を均一化するインテグレーター光学系や、光源から射出された光を所定の偏光方向を有する偏光光に変換する偏光変換光学系を備えていても良い。   The illumination optical system 140 includes a light source (not shown) that emits light. The illumination optical system 140 also includes an integrator optical system that uniformizes the illuminance distribution of the light emitted from the light source, and a polarization conversion optical system that converts the light emitted from the light source into polarized light having a predetermined polarization direction. May be.
光変調素子130は、後述する画像処理系からの信号に基づいて画像を形成する。本実施例では、光変調素子130として透過型の液晶ライトバルブを用いることとして説明する。光変調素子130は、カラーの投影を行うため、RGBの三原色に対応した3枚の液晶ライトバルブを含む。そのため、照明光学系140からの光をR(赤色)、G(緑色)及びB(青色)の3色の色光に分離し、各色光は対応する各液晶ライトバルブに入射する。各液晶ライトバルブによって変調された色光は、クロスダイクロイックプリズム等の合成光学系によって合成され、投写光学系150に射出される。   The light modulation element 130 forms an image based on a signal from an image processing system described later. In this embodiment, a description will be given assuming that a transmissive liquid crystal light valve is used as the light modulation element 130. The light modulation element 130 includes three liquid crystal light valves corresponding to the three primary colors of RGB in order to perform color projection. Therefore, the light from the illumination optical system 140 is separated into three color lights of R (red), G (green), and B (blue), and each color light enters each corresponding liquid crystal light valve. The color lights modulated by the liquid crystal light valves are combined by a combining optical system such as a cross dichroic prism and emitted to the projection optical system 150.
投写光学系150は、ズームレンズ152を備えている。ズームレンズ152は複数のレンズから構成され、光変調素子130が形成する画像を、スクリーンSC上に投写画像として結像させる。また、ズームレンズ152が投写画像を投写する際のズーム比と、ズームレンズ152の焦点距離は、後述するズームレンズ駆動部155によって調整可能である。   The projection optical system 150 includes a zoom lens 152. The zoom lens 152 includes a plurality of lenses, and forms an image formed by the light modulation element 130 as a projection image on the screen SC. The zoom ratio when the zoom lens 152 projects a projected image and the focal length of the zoom lens 152 can be adjusted by a zoom lens driving unit 155 described later.
他方、画像処理系は、実質的な処理全般を司るCPU120と映像用プロセッサー134を中心に構成され、A/D変換部110、光変調素子駆動部132、ズームレンズ駆動部155、RAM160、ROM170、撮像部180、撮像画像メモリー182、リモコン制御部190等を備える。画像処理系を構成する各要素は、バス102を介して互いに接続されている。   On the other hand, the image processing system is configured around a CPU 120 and a video processor 134 that are responsible for substantial overall processing, and includes an A / D conversion unit 110, a light modulation element driving unit 132, a zoom lens driving unit 155, a RAM 160, a ROM 170, An imaging unit 180, a captured image memory 182 and a remote control unit 190 are provided. Each element constituting the image processing system is connected to each other via a bus 102.
A/D変換部110は、パーソナルコンピューターやDVDプレーヤー等の画像出力機器からケーブル200を介して入力された入力信号をA/D変換するデバイスであり、変換後のデジタル画像信号を、映像用プロセッサー134に出力する。映像用プロセッサー134は、入力したデジタル画像信号に対して、輝度、コントラスト、色の濃さ、色合い、投写画像の形状等を調整する処理を行った上で、光変調素子駆動部132に対して、処理後の画像信号を出力する。この画像信号に基づいて、光変調素子駆動部132は、光変調素子130を駆動する。結果的に、A/D変換部110を介して入力した画像信号に対応した画像が、光変調素子130により形成され、この画像が投写光学系150を介して、スクリーンSC上に形成されることになる。   The A / D conversion unit 110 is a device that performs A / D conversion on an input signal input from an image output device such as a personal computer or a DVD player via the cable 200, and converts the converted digital image signal into a video processor. It outputs to 134. The video processor 134 performs processing for adjusting the luminance, contrast, color density, hue, shape of the projected image, and the like on the input digital image signal, and then performs the processing on the light modulation element driving unit 132. The processed image signal is output. Based on the image signal, the light modulation element driving unit 132 drives the light modulation element 130. As a result, an image corresponding to the image signal input via the A / D conversion unit 110 is formed by the light modulation element 130, and this image is formed on the screen SC via the projection optical system 150. become.
映像用プロセッサー134が行う画像処理としては、上記の明度、コントラスト、色合いなどの補正の他、台形歪み補正が含まれる。図1では、台形歪み補正を行う回路を、特に台形歪み補正部136として示した。この台形歪み補正部136では、投写画像の台形歪み補正をデジタル画像信号に対して行っている。より具体的に説明すると、台形歪み補正部136は、後述する境界線検出部123が検出したスクリーンの枠辺に基づいて、入力画像に対して台形歪み補正を行い、形状が補正された補正画像を出力する。こうした映像用プロセッサー134は、台形歪み補正用のDSP(デジタルシグナルプロセッサー)として販売されている汎用のプロセッサーを用いることができるが、専用のASICとして構成することも差し支えない。台形歪み補正部136は、特許請求の範囲における補正手段に相当する。   Image processing performed by the video processor 134 includes trapezoidal distortion correction in addition to the above-described correction of brightness, contrast, hue, and the like. In FIG. 1, a circuit that performs trapezoidal distortion correction is shown as a trapezoidal distortion correction unit 136 in particular. The trapezoidal distortion correction unit 136 performs trapezoidal distortion correction of the projected image on the digital image signal. More specifically, the trapezoidal distortion correcting unit 136 performs a trapezoidal distortion correction on the input image based on the frame edge of the screen detected by the boundary detection unit 123 described later, and a corrected image whose shape is corrected. Is output. The video processor 134 may be a general-purpose processor sold as a DSP (digital signal processor) for correcting trapezoidal distortion, but may be configured as a dedicated ASIC. The trapezoidal distortion correction unit 136 corresponds to correction means in the claims.
CPU120は、境界線検出部123と、ズームレンズ調整部124と、判定部125とを備え、プロジェクター100における画像処理を行う。境界線検出部123、ズームレンズ調整部124及び判定部125は、CPU120がROM170に予め記憶した特定のプログラムを実行することにより実現される。CPU120は、特許請求の範囲における制御手段に相当する。   The CPU 120 includes a boundary line detection unit 123, a zoom lens adjustment unit 124, and a determination unit 125, and performs image processing in the projector 100. The boundary detection unit 123, the zoom lens adjustment unit 124, and the determination unit 125 are realized by the CPU 120 executing a specific program stored in advance in the ROM 170. The CPU 120 corresponds to the control means in the claims.
境界線検出部123は、後述する撮像部180によって生成された、スクリーンSCの撮像画像から、スクリーンSCの枠辺を境界線として検出する。ズームレンズ調整部124は、ズームレンズ駆動部155を制御する。より具体的に説明すると、ズームレンズ調整部124は、ズームレンズ152を駆動するためのズームレンズ駆動信号を、後述するズームレンズ駆動部155に出力して、ズームレンズ152のズーム調整及びフォーカス調整を行う。判定部125は、ズームレンズ152のフォーカスが合っている状態(合焦状態)か否かを判定する。より具体的に説明すると、判定部125は、投写されたフォーカス調整画像310(図4参照)を撮像した撮像画像のコントラストが最大となる状態を合焦状態と判定する。   The boundary line detection unit 123 detects the frame side of the screen SC as a boundary line from the captured image of the screen SC generated by the imaging unit 180 described later. The zoom lens adjustment unit 124 controls the zoom lens driving unit 155. More specifically, the zoom lens adjustment unit 124 outputs a zoom lens drive signal for driving the zoom lens 152 to a zoom lens drive unit 155 described later, and performs zoom adjustment and focus adjustment of the zoom lens 152. Do. The determination unit 125 determines whether or not the zoom lens 152 is in focus (in-focus state). More specifically, the determination unit 125 determines that a state where the contrast of the captured image obtained by capturing the projected focus adjustment image 310 (see FIG. 4) is maximum is the in-focus state.
ズームレンズ駆動部155は、ズーム調整用モーター156、及びフォーカス調整用モーター157を備えている。ズームレンズ駆動部155は、ズームレンズ152を構成するレンズの位置などをズーム調整用モーター156によって調整することで、投写画像の拡大又は縮小を行うズーム調整を行う。またズームレンズ駆動部155は、ズームレンズ152を構成するレンズの位置などをフォーカス調整用モーター157によって調整することで、ズームレンズ152の合焦位置の調整を行うフォーカス調整を行っている。ズームレンズ駆動部155は、特許請求の範囲における調整手段に相当する。   The zoom lens driving unit 155 includes a zoom adjustment motor 156 and a focus adjustment motor 157. The zoom lens drive unit 155 performs zoom adjustment for enlarging or reducing the projected image by adjusting the position of the lens constituting the zoom lens 152 by the zoom adjustment motor 156. The zoom lens driving unit 155 performs focus adjustment for adjusting the in-focus position of the zoom lens 152 by adjusting the position of the lens constituting the zoom lens 152 by the focus adjustment motor 157. The zoom lens driving unit 155 corresponds to the adjusting unit in the claims.
ズームレンズ駆動部155は、CPU120からズームレンズ駆動信号を受け取ると、その信号に基づいて、ズーム調整用モーター156及びフォーカス調整用モーター157を駆動し、ズーム調整及びフォーカス調整を行う。   When the zoom lens driving unit 155 receives a zoom lens driving signal from the CPU 120, the zoom lens driving unit 155 drives the zoom adjustment motor 156 and the focus adjustment motor 157 on the basis of the signal to perform zoom adjustment and focus adjustment.
上記のCPU120の動作に必要となるワークエリアは、RAM160上に確保される。また、ROM170は、上述した各処理部を実現するプログラムの他、後述する台形歪み補正に用いるフォーカス調整画像310、ガイド表示画像320及び測定画像330を記憶している。   A work area necessary for the operation of the CPU 120 is secured on the RAM 160. Further, the ROM 170 stores a focus adjustment image 310, a guide display image 320, and a measurement image 330 that are used for trapezoidal distortion correction, which will be described later, in addition to the programs that implement the processing units described above.
リモコン制御部190は、リモコン191を通じてユーザーからの指示を受信し、バス102を介してCPU120に伝える。リモコン191は調整開始ボタン192及び調整終了ボタン193を備えている。ユーザーは、後述する台形歪み補正の開始及び終了を指示する際に、調整開始ボタン192及び調整終了ボタン193を操作する。なお、本実施例ではプロジェクター100はユーザーからの指示をリモコン制御部190がリモコン191を通じて受信しているが、ユーザーからの指示をプロジェクター100に備えた操作パネルなど、他の構成を通じて受け取るものとしてもよい。   The remote control control unit 190 receives an instruction from the user through the remote control 191 and transmits it to the CPU 120 via the bus 102. The remote controller 191 includes an adjustment start button 192 and an adjustment end button 193. The user operates an adjustment start button 192 and an adjustment end button 193 when instructing the start and end of trapezoidal distortion correction described later. In this embodiment, the projector 100 receives an instruction from the user via the remote controller 191 by the remote control unit 190. However, the projector 100 may receive an instruction from the user through another configuration such as an operation panel provided in the projector 100. Good.
撮像部180は、プロジェクター100の前方、即ち、投写光学系150がスクリーンSCに向けて映像を投写する方向を撮像可能な位置に設けられており、推奨された投影距離においてスクリーンSCに投影された投写画像の全体が撮像範囲内に入るように、カメラ方向及び画角が設定されている。撮像部180は周知のCCD、このCCD上に映像を形成する単焦点レンズ、CCDに入射する光量を調整するオートアイリスなどの機構、更にはCCDから画像信号を読み出す制御回路などを備える。オートアイリスの機構は、CCDカメラからの画像の明度の累積値に相当する信号を制御回路から受け取り、明度の累積値が所定の範囲に入るように、単焦点レンズに設けられたアイリス(絞り)を自動的に調整している。オートアイリスによる明るさの調整がなされた画像は、撮像部180から撮像画像メモリー182に出力され、撮像画像メモリー182の所定の領域に繰り返し書き込まれる。撮像画像メモリー182は、1画面分の画像の書き込みが完了すると、所定の領域のフラグを順次反転するので、CPU120は、このフラグを参照することにより、撮像部180を用いた撮像が完了したか否かを判定することができる。CPU120は、このフラグを参照しつつ、撮像画像メモリー182にアクセスして、必要な撮像画像を取得する。撮像部180は、特許請求の範囲における撮像手段に相当する。   The imaging unit 180 is provided in front of the projector 100, that is, at a position where the projection optical system 150 can capture an image in the direction of projecting an image toward the screen SC, and is projected onto the screen SC at a recommended projection distance. The camera direction and angle of view are set so that the entire projected image falls within the imaging range. The imaging unit 180 includes a known CCD, a single focus lens that forms an image on the CCD, a mechanism such as an auto iris that adjusts the amount of light incident on the CCD, and a control circuit that reads an image signal from the CCD. The auto iris mechanism receives a signal corresponding to the cumulative value of the image brightness from the CCD camera from the control circuit, and adjusts the iris (aperture) provided in the single focus lens so that the cumulative value of brightness falls within a predetermined range. It adjusts automatically. The image whose brightness has been adjusted by auto iris is output from the imaging unit 180 to the captured image memory 182 and repeatedly written in a predetermined area of the captured image memory 182. When the captured image memory 182 completes the writing of the image for one screen, the flag of the predetermined area is sequentially inverted. Therefore, the CPU 120 refers to this flag to determine whether the imaging using the imaging unit 180 is completed. It can be determined whether or not. The CPU 120 accesses the captured image memory 182 while referring to this flag, and acquires a necessary captured image. The imaging unit 180 corresponds to the imaging unit in the claims.
(A2)台形歪み補正処理
図2は、プロジェクター100が行う台形歪み補正処理の流れを示す。台形歪み補正処理は、スクリーンSC上の投写画像の外周線の各辺がスクリーンSCの枠の各辺と平行となるように、投写画像の台形歪みを補正する処理である。台形歪み補正処理は、ユーザーからのリモコン191を通じた指示に応じて実行される。なお、台形歪み補正処理は、例えば電源オンや画像信号の入力に応じて自動的に実行されるものとしてもよい。
(A2) Trapezoidal Distortion Correction Process FIG. 2 shows the flow of the trapezoidal distortion correction process performed by the projector 100. The trapezoidal distortion correction process is a process of correcting the trapezoidal distortion of the projected image so that each side of the outer peripheral line of the projected image on the screen SC is parallel to each side of the frame of the screen SC. The trapezoidal distortion correction process is executed in response to an instruction from the user through the remote controller 191. The trapezoidal distortion correction process may be automatically executed according to, for example, power-on or an image signal input.
台形歪み補正処理は、相対位置調整処理(ステップS100)と、スクリーンSCの撮像画像を生成するスクリーン撮像処理(ステップS200)と、スクリーンSCの撮像画像におけるスクリーンSCの枠辺を境界線として検出する境界線検出処理(ステップS300)と、検出されたスクリーンSCの枠辺に基づいて補正形状を決定する補正形状決定処理(ステップS400)と、決定された補正形状に基づいて画像信号を補正する補正処理(ステップS500)とを含む。   In the trapezoidal distortion correction process, a relative position adjustment process (step S100), a screen imaging process for generating a captured image of the screen SC (step S200), and a frame edge of the screen SC in the captured image of the screen SC are detected as a boundary line. Boundary line detection processing (step S300), correction shape determination processing (step S400) for determining a correction shape based on the detected frame side of the screen SC, and correction for correcting the image signal based on the determined correction shape Processing (step S500).
相対位置調整処理(ステップS100)は、スクリーンSCに対するプロジェクター100の相対位置の調整をユーザーに促す処理である。図3は、相対位置調整処理(ステップS100)において行われる処理の流れを示す。   The relative position adjustment process (step S100) is a process that prompts the user to adjust the relative position of the projector 100 with respect to the screen SC. FIG. 3 shows the flow of processing performed in the relative position adjustment processing (step S100).
相対位置調整処理(ステップS100)では、投写に先立ち、ズームレンズ調整部124がズームレンズ駆動部155へズームレンズ駆動信号を出力し、ズームレンズ152を含む投写光学系150のフォーカスの調整を行う(ステップS110)。この調整では、ズームレンズ調整部124が、プロジェクター100から、例えば図4(a)に示すフォーカス調整画像310をスクリーンSCに投写した状態でズームレンズ152のフォーカスを変化させる。同時にズームレンズ調整部124は、投写されたフォーカス調整画像310を撮像部180に撮像させる。そして判定部125は、投写されたフォーカス調整画像310のコントラストが最大となる状態をズームレンズ152のフォーカスが合っている状態(合焦状態)と判定する。判定部125は、この合焦状態におけるズームレンズ152の状態をRAM160に記憶させる。なお、フォーカス調整画像310はROM170に記憶されている。このフォーカス調整画像310は、暗い領域と明るい領域の輝度差が大きい画像であることが望ましく、図4(A)に示すように白色の背景領域と黒色のパターンを含む画像を用いることが好ましい。フォーカス調整画像310は、特許請求の範囲における調整画像に相当する。   In the relative position adjustment process (step S100), prior to projection, the zoom lens adjustment unit 124 outputs a zoom lens drive signal to the zoom lens drive unit 155 to adjust the focus of the projection optical system 150 including the zoom lens 152 ( Step S110). In this adjustment, the zoom lens adjustment unit 124 changes the focus of the zoom lens 152 in a state where, for example, the focus adjustment image 310 shown in FIG. At the same time, the zoom lens adjustment unit 124 causes the imaging unit 180 to image the projected focus adjustment image 310. Then, the determination unit 125 determines that the state in which the contrast of the projected focus adjustment image 310 is maximum is a state in which the zoom lens 152 is in focus (in-focus state). The determination unit 125 stores the state of the zoom lens 152 in the focused state in the RAM 160. The focus adjustment image 310 is stored in the ROM 170. The focus adjustment image 310 is desirably an image having a large luminance difference between a dark region and a bright region, and an image including a white background region and a black pattern is preferably used as shown in FIG. The focus adjustment image 310 corresponds to the adjustment image in the claims.
フォーカスの調整が終わると、CPU120は、ROM170に記憶している図4(b)に示すようなガイド表示画像320をプロジェクター100に投写させる(ステップS120)。ガイド表示画像320は、スクリーンSCに対するプロジェクター100の相対位置の調整をユーザーに促す指示画像を含む画像である。本実施例では、ガイド表示画像320は、図4(B)に示すような黒色の背景領域と指示画像とを含む画像である。指示画像としては、図4(B)に示すように白色の矩形とその中に表示される指示文を含む画像を用いることができる。ここでは、指示文は白色の矩形がスクリーンの内側に入るようにプロジェクター100の相対位置を調整することをユーザーに促すものである。   When the focus adjustment is completed, the CPU 120 causes the projector 100 to project a guide display image 320 as shown in FIG. 4B stored in the ROM 170 (step S120). The guide display image 320 is an image including an instruction image that prompts the user to adjust the relative position of the projector 100 with respect to the screen SC. In this embodiment, the guide display image 320 is an image including a black background region and an instruction image as shown in FIG. As the instruction image, an image including a white rectangle and an instruction sentence displayed therein can be used as shown in FIG. Here, the directive prompts the user to adjust the relative position of the projector 100 so that the white rectangle is inside the screen.
ガイド表示画像320がスクリーンSCに投写された後、CPU120は、スクリーンSCに対するプロジェクター100の相対位置の調整が完了した旨の入力が行われるのを待つ(ステップS130)。この入力は、ユーザーが例えばリモコン191の調整終了ボタン193を押下すること等によって行われる。この入力が行われると、CPU120は撮像画像生成処理(ステップS200)を実施する。   After the guide display image 320 is projected on the screen SC, the CPU 120 waits for an input indicating that the adjustment of the relative position of the projector 100 to the screen SC is completed (step S130). This input is performed, for example, when the user presses the adjustment end button 193 of the remote controller 191 or the like. When this input is performed, the CPU 120 performs a captured image generation process (step S200).
スクリーン撮像処理(ステップS200)は、スクリーンSCの撮像画像を生成する処理である。スクリーン撮像処理(ステップS200)の詳細については後述する。スクリーン撮像処理(ステップS200)が終了すると、プロジェクター100は境界線検出処理(ステップS300)を実施する。   The screen imaging process (step S200) is a process for generating a captured image of the screen SC. Details of the screen imaging process (step S200) will be described later. When the screen imaging process (step S200) ends, the projector 100 performs a boundary line detection process (step S300).
境界線検出処理(ステップS300)は、撮像画像生成処理(ステップS200)で生成された撮像画像におけるスクリーンSCの枠辺を境界線として検出する処理である。境界線検出処理(ステップS300)では、境界線検出部123がスクリーンSCの撮像画像に対してエッジ抽出フィルターを適用し、スクリーンの枠辺を境界線として検出する。エッジ抽出フィルターとしては、微分フィルター、ラプラシアンフィルター等の画像の輪郭を抽出することが可能な種々のフィルターを用いることができる。   The boundary line detection process (step S300) is a process for detecting a frame side of the screen SC in the captured image generated by the captured image generation process (step S200) as a boundary line. In the boundary line detection process (step S300), the boundary line detection unit 123 applies an edge extraction filter to the captured image of the screen SC and detects the frame side of the screen as the boundary line. As the edge extraction filter, various filters capable of extracting the contour of the image, such as a differential filter and a Laplacian filter, can be used.
補正形状決定処理(ステップS400)は、境界線検出処理(ステップS300)で検出されたスクリーンSCの枠辺に基づいて、入力画像を補正すべき形状を決定する処理である。補正形状決定処理(ステップS400)では、入力画像の画素位置と、形状が補正された補正画像の画素位置との対応関係を決定している。補正形状決定処理の詳細については後述する。   The corrected shape determination process (step S400) is a process for determining a shape to be corrected for the input image based on the frame sides of the screen SC detected in the boundary line detection process (step S300). In the corrected shape determination process (step S400), the correspondence between the pixel position of the input image and the pixel position of the corrected image whose shape has been corrected is determined. Details of the correction shape determination process will be described later.
台形歪み補正処理(ステップS500)は、補正形状決定処理(ステップS400)で決定された補正形状に基づいて入力画像を補正し、補正画像を得る処理である。台形歪み補正処理(ステップS500)では、台形歪み補正部136が、補正形状決定処理(ステップS400)で得られた入力画像の画素位置と補正画像の画素位置との対応関係に基づいて、補正画像の画素値を算出する。なお、補正画像の画素位置に対応する入力画像の画素位置は一般的には整数とはならない。そのため補正画像の画素値は、補正画像の当該画素に対応する入力画像の画素位置の近傍にある数画素の画素値を用いて補間を行い、補正画像の画素値を算出している。   The trapezoidal distortion correction process (step S500) is a process for correcting the input image based on the correction shape determined in the correction shape determination process (step S400) to obtain a corrected image. In the trapezoidal distortion correction process (step S500), the trapezoidal distortion correction unit 136 corrects the corrected image based on the correspondence between the pixel position of the input image and the pixel position of the corrected image obtained in the corrected shape determination process (step S400). The pixel value of is calculated. In general, the pixel position of the input image corresponding to the pixel position of the corrected image is not an integer. Therefore, the pixel value of the corrected image is calculated by performing interpolation using pixel values of several pixels near the pixel position of the input image corresponding to the pixel of the corrected image.
(A3)撮像画像生成処理
スクリーン撮像処理(ステップS200)の詳細について説明する。スクリーン撮像処理(ステップS200)は、スクリーンSCの撮像画像を生成する処理である。図5は、スクリーン撮像処理(ステップS200)において行われる処理の流れを示す。このスクリーン撮像処理(ステップS200)は、ズームレンズ152を合焦状態とは異なる状態に調整するフォーカスぼかし処理(ステップS210)と、ズームレンズ152が合焦状態とは異なる状態でスクリーンSCを撮像して撮像画像を生成する撮像処理(ステップS220)と、ズームレンズ152を合焦状態に戻す調整処理(ステップS230)とを含む。
(A3) Captured Image Generation Processing Details of the screen imaging processing (step S200) will be described. The screen imaging process (step S200) is a process for generating a captured image of the screen SC. FIG. 5 shows a flow of processing performed in the screen imaging process (step S200). In this screen imaging process (step S200), the focus blur process (step S210) for adjusting the zoom lens 152 to a state different from the in-focus state, and the screen SC is imaged in a state different from the in-focus state. Imaging processing for generating a captured image (step S220) and adjustment processing for returning the zoom lens 152 to the in-focus state (step S230).
ズームレンズ152のフォーカスぼかし処理(ステップS210)は、ズームレンズ152の状態を、合焦状態から合焦状態とは異なる状態に変化させることにより、ズームレンズ152のフォーカスをぼかす処理である。ズームレンズ152のフォーカスぼかし処理(ステップS210)では、ズームレンズ調整部124は、ステップS110で合焦状態に調整されたズームレンズ152を、合焦状態とは異なる状態に調整し、ズームレンズ152のフォーカスをぼかす。次に、プロジェクター100は撮像処理(ステップS220)を実施する。   The focus blurring process (step S210) of the zoom lens 152 is a process of blurring the focus of the zoom lens 152 by changing the state of the zoom lens 152 from a focused state to a state different from the focused state. In the focus blurring process (step S210) of the zoom lens 152, the zoom lens adjustment unit 124 adjusts the zoom lens 152 adjusted to the in-focus state in step S110 to a state different from the in-focus state. Blur the focus. Next, the projector 100 performs an imaging process (step S220).
撮像処理(ステップS220)では、撮像部180がズームレンズ152のフォーカスがぼけた状態でスクリーンSCを撮像して、撮像画像を生成する。   In the imaging process (step S220), the imaging unit 180 captures the screen SC while the zoom lens 152 is out of focus, and generates a captured image.
スクリーンSCの撮像が終わると、ズームレンズ調整部124は、ズームレンズ152の状態を合焦状態に戻す(ステップS230)。ズームレンズ152は、ステップS110で合焦状態に調整され、この合焦状態におけるズームレンズ152の状態がRAM160に記憶されている。したがって、RAM160を参照することにより、ズームレンズ調整部124はズームレンズ152を容易に合焦状態に戻すことができる。ステップS230が行われると、プロジェクター100は境界線検出処理(ステップS300)を実施する。   When the imaging of the screen SC is completed, the zoom lens adjustment unit 124 returns the state of the zoom lens 152 to the focused state (step S230). The zoom lens 152 is adjusted to the in-focus state in step S110, and the state of the zoom lens 152 in the in-focus state is stored in the RAM 160. Therefore, by referring to the RAM 160, the zoom lens adjustment unit 124 can easily return the zoom lens 152 to the in-focus state. When step S230 is performed, the projector 100 performs a boundary line detection process (step S300).
なお、本実施例の撮像画像生成処理(ステップS200)では、撮像処理(ステップS220)に先立ち、フォーカスぼかし処理(ステップS210)を行っている。このフォーカスぼかし処理を行った場合の効果について説明する。   In the captured image generation process (step S200) of the present embodiment, the focus blurring process (step S210) is performed prior to the imaging process (step S220). The effect when this focus blurring process is performed will be described.
図6は、スクリーンSC及びスクリーンSCに投写される投写画像を示す。なお、ここでは投写画像は黒画像IMb1であるとする。図6(A)は、投写された黒画像IMb1の黒浮きが存在しない理想的な状態を示しており、図6(B)は投写された黒画像IMb1に黒浮きが生じている状態を示している。   FIG. 6 shows a screen SC and a projected image projected on the screen SC. Here, it is assumed that the projected image is a black image IMb1. FIG. 6A shows an ideal state where there is no black floating in the projected black image IMb1, and FIG. 6B shows a state where black floating occurs in the projected black image IMb1. ing.
図7は、図6に示すスクリーンSC及び黒画像IMb1を撮像した撮像画像に対してエッジ抽出フィルターを適用した結果を示す図である。なお、図7(A)は図6(A)の状態のスクリーンを撮像した撮像画像にエッジ抽出フィルターを適用した結果である。これに対して、図7(B)は図6(B)の状態のスクリーンを撮像した撮像画像にエッジ抽出フィルターを適用した結果である。図7におけるエッジ強度とは、撮像画像にエッジ抽出フィルターを適用した結果、得られる出力値である。また、エッジ強度のピークが存在する領域、換言すればエッジ強度が他の領域よりも大きく、かつその幅が狭い領域に境界線が存在すると判断することができる。なお、図7は図6に示す直線B−B’に沿ったエッジ強度の一次元的な変化を示している。   FIG. 7 is a diagram illustrating a result of applying an edge extraction filter to a captured image obtained by capturing the screen SC and the black image IMb1 illustrated in FIG. FIG. 7A shows the result of applying an edge extraction filter to a captured image obtained by capturing the screen in the state of FIG. On the other hand, FIG. 7B shows the result of applying the edge extraction filter to a captured image obtained by capturing the screen in the state of FIG. The edge strength in FIG. 7 is an output value obtained as a result of applying an edge extraction filter to a captured image. Further, it can be determined that the boundary line exists in a region where the peak of edge strength exists, in other words, a region where the edge strength is larger than other regions and the width is narrow. FIG. 7 shows a one-dimensional change in edge strength along the line B-B ′ shown in FIG. 6.
図6(A)のように投写画像の黒浮きが存在しない理想的な状態では、図7(A)に示すようにスクリーンの左辺SL及び右辺SRに対応する撮像画像の領域にエッジ強度のピークが存在している。従って、この部分がスクリーンの左辺SL及び右辺SRであると判断することができるので、撮像画像におけるスクリーンSCの枠辺を正確に検出することができる。これに対して、図6(B)のように投写画像に黒浮きが生じている状態では、図7(B)に示すようにスクリーンの左辺SL及び右辺SRに対応する領域のみならず、投写された黒画像IMb1の左辺PL及び右辺PRに対応する領域にもエッジ強度のピークが存在している。そのため、投写された黒画像IMb1の左辺PL及び右辺PRを、スクリーンの左辺SL及び右辺SRとして誤って検出してしまう場合がある。 In an ideal state where there is no black floating in the projected image as shown in FIG. 6A, the edge strength is in the region of the captured image corresponding to the left side S L and the right side S R of the screen as shown in FIG. There are peaks. Therefore, since it can be determined that these portions are the left side S L and the right side S R of the screen, the frame side of the screen SC in the captured image can be accurately detected. On the other hand, in the state in which black floating has occurred in the projected image as shown in FIG. 6B, not only the area corresponding to the left side S L and the right side S R of the screen as shown in FIG. 7B. , there are peaks of the edge intensity in the region corresponding to the left side P L and right P R of the projected black image IMb1. Therefore, there is a case where the left side P L and right P R of the projected black image IMb1, resulting in erroneously detected as the left S L and right S R of the screen.
図8は、本実施例に係るフォーカスぼかし処理を行った場合のスクリーンSC及びスクリーンSCに投写される黒画像IMb2を示す。図8(A)は、図6(A)と同様に黒画像IMb2の黒浮きが存在しない理想的な状態を示しており、図8(B)は黒画像IMb2に黒浮きが生じている状態を示している。ただし、図6(B)と比較して、図8(B)において投写されている黒画像IMb2はフォーカスがぼけた状態である。そのため、黒画像IMb2の輪郭は、図6(B)における黒画像IMb1の輪郭と比較するとぼけた状態である。   FIG. 8 shows the screen SC and the black image IMb2 projected on the screen SC when the focus blurring process according to the present embodiment is performed. FIG. 8A shows an ideal state where there is no black floating in the black image IMb2 as in FIG. 6A, and FIG. 8B shows a state where black floating occurs in the black image IMb2. Is shown. However, compared with FIG. 6B, the black image IMb2 projected in FIG. 8B is out of focus. Therefore, the contour of the black image IMb2 is in a blurred state as compared with the contour of the black image IMb1 in FIG.
図9は、図8に示すスクリーンSC及び黒画像IMb2を撮像した撮像画像に対してエッジ抽出フィルターを適用した結果を示す図である。図7と同様に、図9も図8に示す直線B−B’に沿ったエッジ強度の一次元的な変化を示している。なお、図9(A)が図8(A)の状態のスクリーンSCを撮像した撮像画像にエッジ抽出フィルターを適用した結果である。これに対して、図9(B)は図8(B)の状態のスクリーンSCを撮像した撮像画像にエッジ抽出フィルターを適用した結果である。   FIG. 9 is a diagram illustrating a result of applying an edge extraction filter to a captured image obtained by capturing the screen SC and the black image IMb2 illustrated in FIG. Similar to FIG. 7, FIG. 9 also shows a one-dimensional change in edge strength along line B-B ′ shown in FIG. 8. FIG. 9A shows the result of applying the edge extraction filter to a captured image obtained by capturing the screen SC in the state of FIG. On the other hand, FIG. 9B shows the result of applying an edge extraction filter to a captured image obtained by capturing the screen SC in the state of FIG. 8B.
図8(A)のように投写画像の黒浮きが存在しない理想的な状態では、図9(A)に示すようにスクリーンの左辺SL及び右辺SRに対応する撮像画像の領域にエッジ強度のピークが存在している。従って、図7(A)の場合と同様に、撮像画像におけるスクリーンSCの枠辺を正確に検出することができる。これに対して、図8(B)のように投写画像に黒浮きが生じている状態では、図9(B)に示すようにスクリーンの左辺SL及び右辺SRに対応する領域のみならず、投写された黒画像IMb2の左辺PL及び右辺PRに対応する領域にもエッジ強度のピークが存在している。しかしながら、図7(B)のようにフォーカスをぼかしていない状態と比較すると、黒画像IMb2の輪郭がぼけているため、エッジ強度のピークの高さが低く、かつ、その幅が広くなっている。そのため、図7(B)の場合と比較すると、投写された黒画像IMb2の左辺PL及び右辺PRをスクリーンの左辺SL及び右辺SRとして誤って検出してしまうことを抑制することが可能である。 In an ideal state where there is no black float in the projected image as shown in FIG. 8A, the edge strength is in the captured image region corresponding to the left side S L and the right side S R of the screen as shown in FIG. There are peaks. Accordingly, as in the case of FIG. 7A, the frame side of the screen SC in the captured image can be accurately detected. On the other hand, in the state in which the projected image is black as shown in FIG. 8B, not only the area corresponding to the left side S L and the right side S R of the screen as shown in FIG. 9B. , there are peaks of the edge intensity in the region corresponding to the left side P L and right P R of the projected black image IMb2. However, compared with the state in which the focus is not blurred as shown in FIG. 7B, the contour of the black image IMb2 is blurred, so that the edge intensity peak height is low and the width is wide. . Therefore, compared to the case of FIG. 7 (B), it is possible to prevent accidentally detects the left P L and right P R of the projected black image IMb2 as left S L and right S R of the screen Is possible.
(A4)補正形状決定処理
補正形状決定処理(ステップS400)の詳細について説明する。補正形状決定処理(ステップS400)は、境界線検出処理(ステップS300)で検出されたスクリーンSCの枠辺に基づいて、入力画像を補正すべき形状を決定する処理である。図10は、補正形状決定処理(ステップS400)において行われる処理の流れを示す。
(A4) Correction Shape Determination Process Details of the correction shape determination process (step S400) will be described. The corrected shape determination process (step S400) is a process for determining a shape to be corrected for the input image based on the frame sides of the screen SC detected in the boundary line detection process (step S300). FIG. 10 shows the flow of processing performed in the corrected shape determination processing (step S400).
なお、以降の説明で用いる「パネル座標」とは、光変調素子130上に定義される座標である。このパネル座標は、入力画像上に定義される座標と等価とみなすことができる。また「カメラ座標」とは、撮像部180のCCD上に定義される座標である。このカメラ座標は、撮像画像上に定義される座標と等価とみなすことができる。   Note that “panel coordinates” used in the following description are coordinates defined on the light modulation element 130. The panel coordinates can be regarded as equivalent to the coordinates defined on the input image. The “camera coordinates” are coordinates defined on the CCD of the imaging unit 180. The camera coordinates can be regarded as equivalent to the coordinates defined on the captured image.
補正形状決定処理(ステップS400)では、境界線検出処理(ステップS300)で検出されたスクリーンの枠辺に基づいて、台形歪み補正部136が、カメラ座標におけるスクリーンSCの4隅の座標Pc1〜Pc4を検出する(ステップS410)。座標Pc1〜Pc4は、スクリーンSCの撮像画像におけるスクリーンSCの4隅の点を、カメラ座標で表した座標である。撮像画像における座標Pc1〜Pc4を図11に示す。座標Pc1〜Pc4は、境界線検出処理(ステップS300)で検出されたスクリーンの枠辺に対応する4本の直線をカメラ座標上の一次関数でそれぞれ表し、これらの一次関数の交点を求めることで検出することが可能である。   In the correction shape determination process (step S400), the trapezoidal distortion correction unit 136 uses the coordinates Pc1 to Pc4 of the four corners of the screen SC in camera coordinates based on the frame edge of the screen detected in the boundary line detection process (step S300). Is detected (step S410). The coordinates Pc1 to Pc4 are coordinates representing the four corner points of the screen SC in the captured image of the screen SC in camera coordinates. The coordinates Pc1 to Pc4 in the captured image are shown in FIG. The coordinates Pc1 to Pc4 represent four straight lines corresponding to the frame sides of the screen detected by the boundary detection process (step S300) as linear functions on the camera coordinates, and obtain the intersection of these linear functions. It is possible to detect.
座標Pc1〜Pc4を取得すると、台形歪み補正部136はプロジェクター100から図12に示すような測定画像330を投写させる(ステップS420)。測定画像330としては、例えば図12に示すような白色の背景領域と所定のパターンを含む画像を用いることができる。測定画像330に含まれる所定のパターンは、後述する射影変換式M1を算出するために、4つ以上の格子点を含む画像であることが望ましい。本実施例では、所定のパターンは2本の縦線330aと2本の横線330bから構成されており、これらの縦線330a及び横線330bの交点である4つの点を格子点として用いることが可能である。従って、測定画像330のパターンは4つの格子点を含んでいる。測定画像330は、特許請求の範囲における測定画像に相当する。測定画像330が投写されると、台形歪み補正部136は投写された測定画像330を撮像部180に撮像させて、測定画像330の撮像画像を生成する(ステップS430)。   When the coordinates Pc1 to Pc4 are acquired, the trapezoidal distortion correction unit 136 projects the measurement image 330 as shown in FIG. 12 from the projector 100 (step S420). As the measurement image 330, for example, an image including a white background region and a predetermined pattern as shown in FIG. 12 can be used. The predetermined pattern included in the measurement image 330 is desirably an image including four or more lattice points in order to calculate a projective transformation equation M1 described later. In this embodiment, the predetermined pattern is composed of two vertical lines 330a and two horizontal lines 330b, and four points that are the intersections of these vertical lines 330a and horizontal lines 330b can be used as lattice points. It is. Therefore, the pattern of the measurement image 330 includes four lattice points. The measurement image 330 corresponds to the measurement image in the claims. When the measurement image 330 is projected, the trapezoidal distortion correction unit 136 causes the imaging unit 180 to capture the projected measurement image 330 and generates a captured image of the measurement image 330 (step S430).
台形歪み補正部136は、測定画像330の撮像画像に基づいて、射影変換式M1を算出する(ステップS440)。射影変換式M1は、パネル座標とカメラ座標とを対応付ける式であり、パネル座標における任意の点Op0(I0,J0)の座標が既知であれば、カメラ座標においてこの点Op0(I0,J0)に対応する点Oc0(i0、j0)の座標を得ることができる。また、逆の関係も同様に成立する。従って、パネル座標とカメラ座標との間の射影変換式M1が既知であれば、スクリーンSC上の投写画像の外周線の各辺がスクリーンSCの枠の各辺と平行となるような補正画像の形状を決定することができる。図13は、パネル座標とカメラ座標との対応関係を示す。   The trapezoidal distortion correction unit 136 calculates the projective transformation equation M1 based on the captured image of the measurement image 330 (step S440). The projective transformation expression M1 is an expression for associating panel coordinates and camera coordinates. If the coordinates of an arbitrary point Op0 (I0, J0) in the panel coordinates are known, the camera coordinates are set to this point Op0 (I0, J0). The coordinates of the corresponding point Oc0 (i0, j0) can be obtained. The reverse relationship is also established in the same way. Therefore, if the projective transformation formula M1 between the panel coordinates and the camera coordinates is known, the corrected image in which each side of the outer peripheral line of the projected image on the screen SC is parallel to each side of the frame of the screen SC. The shape can be determined. FIG. 13 shows the correspondence between panel coordinates and camera coordinates.
射影変換式M1によって表されるパネル座標とカメラ座標の対応関係について説明する。一般に、射影変換の変換式は、以下の式(1)(2)で表すことができる。式中、x、yはxy直交座標系におけるx座標およびy座標、X,YはXY直交座標系におけるX座標およびY座標、a〜hまでの文字は変換係数を示す。2つの座標系は原点および座標軸の延在方向が同じであるとする。   The correspondence between the panel coordinates represented by the projective transformation formula M1 and the camera coordinates will be described. In general, the transformation formula for projective transformation can be expressed by the following formulas (1) and (2). In the equation, x and y are x and y coordinates in the xy orthogonal coordinate system, X and Y are X and Y coordinates in the XY orthogonal coordinate system, and letters from a to h indicate conversion coefficients. In the two coordinate systems, the origin and the extension direction of the coordinate axes are the same.
上記式は、以下の式(3)及び(4)として表すことができる。   The above formula can be expressed as the following formulas (3) and (4).
上述した通り、測定画像330には4つの格子点が含まれており、これら4つの格子点のパネル座標上での座標は既知である。また、測定画像330の撮像画像から、4つの格子点に対応するカメラ座標上の点の座標も既知である。従って、これらの点の座標を、上記式(3)(4)に代入することで8次の連立方程式となり、a〜hの変換係数を求めることができる。   As described above, the measurement image 330 includes four grid points, and the coordinates of these four grid points on the panel coordinates are known. Further, the coordinates of the points on the camera coordinates corresponding to the four grid points are also known from the captured image of the measurement image 330. Accordingly, by substituting the coordinates of these points into the above equations (3) and (4), an eighth order simultaneous equation is obtained, and the conversion coefficients a to h can be obtained.
例えば、測定画像330に含まれる4つの格子点のうち、左上の格子点Op1のパネル座標上での座標が(I1,J1)であり、格子点Op1に対応するカメラ座標上の点Oc1の座標が(i1,j1)であるとする。このとき、i1,j1,I1及びJ1の値を式(3)及び(4)に代入すると以下の2式が得られる。   For example, among the four lattice points included in the measurement image 330, the coordinates on the panel coordinates of the upper left lattice point Op1 are (I1, J1), and the coordinates of the point Oc1 on the camera coordinates corresponding to the lattice point Op1. Is (i1, j1). At this time, substituting the values of i1, j1, I1 and J1 into the equations (3) and (4), the following two equations are obtained.
測定画像330に含まれる4つの格子点のうち、格子点Op1以外の3つの格子点のそれぞれについても同様に、1つの格子点の組み合わせから2つの式が得られる。従って、4つの格子点の組み合わせから8つの式が得られ、これらを8次の連立方程式として解くことで、a〜hの変換係数を求めることができる。   Of the four lattice points included in the measurement image 330, two equations other than the lattice point Op1 are similarly obtained from the combination of one lattice point. Accordingly, eight equations can be obtained from the combination of four lattice points, and the conversion coefficients a to h can be obtained by solving these equations as an eighth-order simultaneous equation.
a〜hの変換係数が得られると、式(3)及び(4)により、パネル座標において座標が既知である任意の点に対応する、カメラ座標上の点の座標を得ることができる。例えば、パネル座標における点Op0(I0,J0)の座標が既知であれば、I0及びJ0を式(3)及び(4)に代入し、これらを2次の連立方程式として解くことで、カメラ座標において点Op0(I0,J0)に対応する点Oc0(i0、j0)の座標を得ることができる。   When the conversion coefficients a to h are obtained, the coordinates of the points on the camera coordinates corresponding to the arbitrary points whose coordinates are known in the panel coordinates can be obtained from the equations (3) and (4). For example, if the coordinates of the point Op0 (I0, J0) in the panel coordinates are known, the camera coordinates are obtained by substituting I0 and J0 into the equations (3) and (4) and solving them as quadratic simultaneous equations. The coordinates of the point Oc0 (i0, j0) corresponding to the point Op0 (I0, J0) can be obtained.
次に、台形歪み補正部136は、ステップS440で得られた射影変換式M1を用いて、カメラ座標上のスクリーンの4隅の座標Pc1〜Pc4を、パネル座標上の対応する座標Pp1〜Pp4に変換する(ステップS450)。この射影変換を図14に示す。次に、台形歪み補正部136は、パネル座標上において、スクリーンの4隅に対応する座標Pp1〜Pp4を、入力画像の4隅座標に対応させるための射影変換式M2を算出する(ステップS460)。ここで、射影変換式M2は、入力画像の4隅座標をパネル座標におけるスクリーンの4隅の座標Pp1〜Pp4に対応付ける式である。この射影変換式M2は、変換前の4隅座標(入力画像の4隅座標)と、変換後の4隅座標(座標Pp1〜Pp4)が既知であれば、上述した式(3)及び(4)を利用して算出することができる。図15は、パネル座標における入力画像の4隅座標と座標Pp1〜Pp4との対応関係を示す。   Next, the trapezoidal distortion correction unit 136 converts the coordinates Pc1 to Pc4 of the four corners of the screen on the camera coordinates into the corresponding coordinates Pp1 to Pp4 on the panel coordinates using the projective transformation formula M1 obtained in step S440. Conversion is performed (step S450). This projective transformation is shown in FIG. Next, the trapezoidal distortion correction unit 136 calculates a projective transformation formula M2 for causing the coordinates Pp1 to Pp4 corresponding to the four corners of the screen to correspond to the four corner coordinates of the input image on the panel coordinates (step S460). . Here, the projective transformation expression M2 is an expression that associates the four corner coordinates of the input image with the coordinates Pp1 to Pp4 of the four corners of the screen in the panel coordinates. If the four-corner coordinates before conversion (four-corner coordinates of the input image) and the four-corner coordinates after conversion (coordinates Pp1 to Pp4) are known, this projective transformation expression M2 is obtained by the above-described expressions (3) and (4). ) Can be used for calculation. FIG. 15 shows the correspondence between the four corner coordinates of the input image in the panel coordinates and the coordinates Pp1 to Pp4.
ステップS460で得られる射影変換式M2は、入力画像の画素位置と、形状が補正された補正画像の画素位置とを対応付ける式である。従って、射影変換式M2を決定することで、入力画像の画素位置と補正画像の画素位置との対応関係を決定することができる。射影変換式M2を算出すると、台形歪み補正部136は補正形状決定処理(ステップS400)を終了し、台形歪み補正処理(ステップS500)を実施する。   The projective transformation formula M2 obtained in step S460 is a formula that associates the pixel position of the input image with the pixel position of the corrected image whose shape has been corrected. Therefore, by determining the projective transformation equation M2, the correspondence between the pixel position of the input image and the pixel position of the corrected image can be determined. When the projective transformation equation M2 is calculated, the trapezoidal distortion correction unit 136 ends the correction shape determination process (step S400) and performs the trapezoidal distortion correction process (step S500).
台形歪み補正処理(ステップS500)では、台形歪み補正部136は、算出された射影変換式M2に対応した係数を設定する。ここで設定される係数は、補正画像における画素の座標に対応する入力画像の位置を決定するための係数である。   In the trapezoidal distortion correction process (step S500), the trapezoidal distortion correction unit 136 sets a coefficient corresponding to the calculated projective transformation equation M2. The coefficient set here is a coefficient for determining the position of the input image corresponding to the coordinates of the pixel in the corrected image.
台形歪み補正部136は、設定した係数を用いて、補正画像における画素の座標に対応する入力画像の位置を決定する。そして、決定された入力画像の位置の近傍にある数画素の画素値を用いて補間を行い、補正画像の画素値を算出する。このように台形歪み補正部136は入力画像を補正して補正画像を生成し、補正画像を光変調素子駆動部132へと出力する。   The trapezoidal distortion correction unit 136 uses the set coefficient to determine the position of the input image corresponding to the pixel coordinates in the corrected image. Then, interpolation is performed using the pixel values of several pixels in the vicinity of the determined position of the input image, and the pixel value of the corrected image is calculated. As described above, the trapezoidal distortion correcting unit 136 corrects the input image to generate a corrected image, and outputs the corrected image to the light modulation element driving unit 132.
台形歪み補正部136は、補正画像の各画素に対して、これらの処理を繰り返す。これにより、投写画像の台形歪み補正は実現される。   The trapezoidal distortion correction unit 136 repeats these processes for each pixel of the corrected image. Thereby, the trapezoidal distortion correction of the projected image is realized.
以上説明したように、第1実施例のプロジェクター100によれば、スクリーンSCを撮像部180によって撮像する際に、ズームレンズ152を合焦状態とは異なる状態に調整する。ズームレンズ152を合焦状態とは異なる状態に調整すると、ズームレンズ152のフォーカスがぼけた状態となるので、投写手段としての投写光学系150から投写される投写画像は投写面において輪郭がぼけた状態となる。そのため、ズームレンズ152のフォーカスがぼけた状態で撮像されたスクリーンSCの枠辺は、ズームレンズ152が合焦状態のときに撮像されたスクリーンSCの枠辺と比較すると、撮像画像における輪郭がぼけた状態となる。従って、プロジェクター100は、投写した黒画像に黒浮きが生じている場合であっても、黒画像の輪郭をスクリーンSCの枠辺と誤って検出してしまうことを抑制することができる。そのため、プロジェクター100は適切な台形歪み補正処理を行うことが可能となる。   As described above, according to the projector 100 of the first embodiment, when the screen SC is imaged by the imaging unit 180, the zoom lens 152 is adjusted to a state different from the in-focus state. When the zoom lens 152 is adjusted to a state different from the in-focus state, the focus of the zoom lens 152 becomes out of focus, so that the projected image projected from the projection optical system 150 as the projection unit has a blurred outline on the projection surface. It becomes a state. For this reason, the outline of the screen SC captured when the zoom lens 152 is out of focus is blurred in comparison with the frame edge of the screen SC captured when the zoom lens 152 is in focus. It becomes the state. Therefore, the projector 100 can suppress erroneous detection of the outline of the black image as the frame side of the screen SC even when the projected black image has a black float. Therefore, the projector 100 can perform appropriate trapezoidal distortion correction processing.
D.変形例:
この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形が可能である。
D. Variations:
The present invention is not limited to the above-described examples and embodiments, and can be implemented in various modes without departing from the gist thereof. For example, the following modifications are possible.
(1)上記実施例では、プロジェクター100は、測定画像の撮像画像に基づいて入力画像を補正しているが、入力画像を補正するための処理はこれに限られない。プロジェクター100は、投写面の撮像画像に対してエッジ抽出処理を行って撮像画像におけるスクリーン枠辺を検出し、検出されたスクリーン枠辺のカメラ座標における傾斜角度から、スクリーンSCに対するプロジェクター100の相対角度(縦方向と横方向の投写角度)を算出し、算出された相対角度を用いて、入力画像を補正することが可能である。   (1) In the above embodiment, the projector 100 corrects the input image based on the captured image of the measurement image, but the process for correcting the input image is not limited to this. The projector 100 performs edge extraction processing on the captured image on the projection surface to detect the screen frame side in the captured image, and the relative angle of the projector 100 with respect to the screen SC from the tilt angle of the detected screen frame side in the camera coordinates. It is possible to calculate (vertical and horizontal projection angles) and correct the input image using the calculated relative angles.
(2)上記実施例では、フォーカスぼかし処理を行う際に、フォーカス調整画像310を用いてズームレンズ152が合焦状態となる状態を事前に把握しているが、フォーカスぼかし処理で行われる処理はこれに限られない。例えば、スクリーンSCに対する距離として推奨される距離範囲にプロジェクター100があるときにはズームレンズ152が合焦状態とならない状態をROM170に記憶しておき、ズームレンズ調整部124はこの記憶された状態を参照してズームレンズ駆動部155を制御することとしても良い。   (2) In the above embodiment, when the focus blurring process is performed, the focus adjustment image 310 is used to grasp in advance the state in which the zoom lens 152 is in focus, but the process performed in the focus blurring process is as follows. It is not limited to this. For example, when the projector 100 is within the recommended distance range with respect to the screen SC, a state where the zoom lens 152 is not in focus is stored in the ROM 170, and the zoom lens adjustment unit 124 refers to this stored state. Then, the zoom lens driving unit 155 may be controlled.
(3)ガイド表示画像320に含まれる指示画像は、表示内容として文字に限らず、アニメ的な画像や社名を示すようなシンボルマークでも良い。ガイド表示の内容や形状については、特に制限は無い。   (3) The instruction image included in the guide display image 320 is not limited to characters as display contents, but may be an animation image or a symbol mark indicating a company name. There are no particular restrictions on the content and shape of the guide display.
(4)上記実施例では、プロジェクター100は光変調素子130として透過型の液晶ライトバルブを用いているが、光変調素子として反射型の液晶ライトバルブやDMD(デジタル・ミラー・デバイス)を用いても良い。   (4) In the above embodiment, the projector 100 uses a transmissive liquid crystal light valve as the light modulation element 130, but uses a reflective liquid crystal light valve or DMD (digital mirror device) as the light modulation element. Also good.
(5)撮像部180に用いるイメージセンサーをCCDに代えてCMOSとしても良い。更に、照明光学系140に用いる光源を放電灯に代えてLEDや半導体レーザーなどの半導体光源を用いても良い。   (5) The image sensor used for the imaging unit 180 may be a CMOS instead of the CCD. Furthermore, a semiconductor light source such as an LED or a semiconductor laser may be used instead of the discharge lamp as the light source used in the illumination optical system 140.
(6)台形歪み補正処理は、ユーザーがリモコン191内の調整開始ボタン192を操作することにより開始するとしていたがこれに限られない。台形歪み補正処理は、プロジェクター100の電源投入時の初期画面の投写時に開始するとしてもよいし、プロジェクター100に加速度センサーを設置し、プロジェクター本体の振動を感知して、ユーザーによる設置位置調整の開始、終了を検知するとしてもよい。   (6) The trapezoidal distortion correction process is started when the user operates the adjustment start button 192 in the remote controller 191, but is not limited thereto. The trapezoidal distortion correction process may be started when the initial screen is projected when the projector 100 is turned on, or an acceleration sensor is installed in the projector 100, the vibration of the projector body is detected, and the installation position adjustment by the user is started. The end may be detected.
(7)実施例においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。   (7) In the embodiment, a part of functions realized by software may be realized by hardware, or a part of functions realized by hardware may be realized by software.
100…プロジェクター、102…バス、120…CPU、123…境界線検出部、124…ズームレンズ調整部、125…判定部、130…光変調素子、132…光変調素子駆動部、134…映像用プロセッサー、136…台形歪み補正部、140…照明光学系、150…投写光学系、152…ズームレンズ、155…ズームレンズ駆動部、156…ズーム調整用モーター、157…フォーカス調整用モーター、160…RAM、170…ROM、180…撮像部、182…撮像画像メモリー、190…リモコン制御部、191…リモコン、192…調整開始ボタン、193…調整終了ボタン、200…ケーブル、310…フォーカス調整画像、320…ガイド表示画像、330…測定画像、SC…スクリーン。   DESCRIPTION OF SYMBOLS 100 ... Projector, 102 ... Bus, 120 ... CPU, 123 ... Boundary line detection part, 124 ... Zoom lens adjustment part, 125 ... Determination part, 130 ... Light modulation element, 132 ... Light modulation element drive part, 134 ... Image processor DESCRIPTION OF SYMBOLS 136 ... Trapezoid distortion correction part, 140 ... Illumination optical system, 150 ... Projection optical system, 152 ... Zoom lens, 155 ... Zoom lens drive part, 156 ... Zoom adjustment motor, 157 ... Focus adjustment motor, 160 ... RAM, 170 ... ROM, 180 ... imaging unit, 182 ... captured image memory, 190 ... remote control unit, 191 ... remote control, 192 ... adjustment start button, 193 ... adjustment end button, 200 ... cable, 310 ... focus adjustment image, 320 ... guide Display image, 330 ... measurement image, SC ... screen.

Claims (6)

  1. 投写面に向けて画像を投写して表示する投写型表示装置であって、
    前記画像を投写する投写手段と、
    前記投写面を撮像し、前記投写面の撮像画像を生成する撮像手段と、
    前記投写手段を合焦状態とは異なる状態に調整する調整手段と、
    前記撮像手段が前記投写面を撮像する前に、前記投写手段を合焦状態とは異なる状態に調整するように前記調整手段を制御する制御手段と、
    前記投写手段が合焦状態とは異なる状態にあるときに撮像された前記投写面の撮像画像に基づいて、前記投写面の形状を検出し、前記投写面の形状に一致するように前記画像を補正する補正手段と、
    を備える投写型表示装置。
    A projection display device that projects and displays an image on a projection surface,
    Projection means for projecting the image;
    Imaging means for imaging the projection plane and generating a captured image of the projection plane;
    Adjusting means for adjusting the projection means to a state different from the in-focus state;
    Control means for controlling the adjusting means so as to adjust the projection means to a state different from the in-focus state before the imaging means images the projection plane;
    A shape of the projection surface is detected based on a captured image of the projection surface captured when the projection unit is in a state different from the focused state, and the image is matched with the shape of the projection surface. Correction means for correcting;
    A projection display device comprising:
  2. 請求項1記載の投写型表示装置であって、
    前記投写手段は、調整画像を投写し、
    前記撮像手段は、投写された前記調整画像を撮像して前記調整画像の撮像画像を生成し、
    前記制御手段は、前記調整画像の前記撮像画像に基づいて、前記投写手段の合焦状態を判定するとともに、前記撮像手段が前記投写面を撮像する前に、前記投写手段を前記合焦状態とは異なる状態に調整するように前記調整手段を制御する、投写型表示装置。
    The projection display device according to claim 1,
    The projection means projects an adjustment image,
    The imaging means captures the projected adjustment image to generate a captured image of the adjustment image;
    The control means determines the in-focus state of the projection means based on the captured image of the adjustment image, and sets the projection means to the in-focus state before the imaging means images the projection plane. A projection display device for controlling the adjusting means to adjust to different states.
  3. 請求項2記載の投写型表示装置であって、
    前記制御手段は、前記撮像手段が前記投写面を撮像した後に、前記投写手段を前記合焦状態に調整するように前記調整手段を制御する、投写型表示装置。
    The projection display device according to claim 2,
    The projection display apparatus, wherein the control unit controls the adjustment unit to adjust the projection unit to the in-focus state after the imaging unit has captured the projection plane.
  4. 請求項1又は3に記載の投写型表示装置であって、
    前記投写手段は、測定画像を投写し、
    前記撮像手段は、投写された前記測定画像を撮像して前記測定画像の撮像画像を生成し、
    前記補正手段は、前記投写面の撮像画像、及び前記測定画像の撮像画像に基づいて、入力画像を補正する、投写型表示装置。
    The projection display device according to claim 1 or 3,
    The projection means projects a measurement image,
    The imaging means captures the projected measurement image to generate a captured image of the measurement image,
    The projection display device corrects an input image based on a captured image of the projection plane and a captured image of the measurement image.
  5. 請求項1又は3に記載の投写型表示装置であって、
    前記補正手段は、前記投写面の撮像画像に基づいて、前記投写型表示装置に対する前記投写面の相対角度を算出し、前記相対角度に基づいて入力画像を補正する、投写型表示装置。
    The projection display device according to claim 1 or 3,
    The projection display device, wherein the correction unit calculates a relative angle of the projection surface with respect to the projection display device based on a captured image of the projection surface, and corrects an input image based on the relative angle.
  6. 投写面に向けて画像を投写して表示する投写型表示装置の画像表示方法であって、
    前記投写型表示装置の投写手段を合焦状態とは異なる状態に調整し、
    前記投写手段が合焦状態とは異なる状態にあるときに前記投写面を撮像して撮像画像を生成し、
    前記撮像画像に基づいて前記投写面の形状を検出し、前記投写面の形状に一致するように前記画像を補正する
    画像表示方法。
    An image display method for a projection display device that projects and displays an image on a projection surface,
    Adjusting the projection means of the projection display device to a state different from the in-focus state;
    When the projection means is in a state different from the in-focus state, the projection surface is imaged to generate a captured image,
    An image display method for detecting the shape of the projection plane based on the captured image and correcting the image so as to match the shape of the projection plane.
JP2010065843A 2010-03-23 2010-03-23 Projection type display device and image display method Withdrawn JP2011199717A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010065843A JP2011199717A (en) 2010-03-23 2010-03-23 Projection type display device and image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010065843A JP2011199717A (en) 2010-03-23 2010-03-23 Projection type display device and image display method

Publications (1)

Publication Number Publication Date
JP2011199717A true JP2011199717A (en) 2011-10-06

Family

ID=44877322

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010065843A Withdrawn JP2011199717A (en) 2010-03-23 2010-03-23 Projection type display device and image display method

Country Status (1)

Country Link
JP (1) JP2011199717A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103313009A (en) * 2012-03-08 2013-09-18 精工爱普生株式会社 Image processing apparatus, image processing method, and projector
JP2013187764A (en) * 2012-03-08 2013-09-19 Seiko Epson Corp Image processing device, image processing method and projector
CN107037671A (en) * 2017-06-13 2017-08-11 成都全云科技有限公司 Three-point fix projection correction system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103313009A (en) * 2012-03-08 2013-09-18 精工爱普生株式会社 Image processing apparatus, image processing method, and projector
JP2013187764A (en) * 2012-03-08 2013-09-19 Seiko Epson Corp Image processing device, image processing method and projector
JP2013186332A (en) * 2012-03-08 2013-09-19 Seiko Epson Corp Image processing device, image processing method and projector
CN103313009B (en) * 2012-03-08 2018-06-29 精工爱普生株式会社 Image processing apparatus, image processing method and projecting apparatus
CN107037671A (en) * 2017-06-13 2017-08-11 成都全云科技有限公司 Three-point fix projection correction system

Similar Documents

Publication Publication Date Title
JP4232042B2 (en) Projection control system, projector, program, information storage medium, and projection control method
JP3994290B2 (en) Image processing system, projector, program, information storage medium, and image processing method
KR100591708B1 (en) Image processing system, projector, and image processing method
JP3871061B2 (en) Image processing system, projector, program, information storage medium, and image processing method
KR100571175B1 (en) Image processing system, projector, information storage medium and image processing method
US7422331B2 (en) Image processing system, projector, and image processing method
JP3879858B2 (en) Image processing system, projector, and image processing method
JP4085283B2 (en) Image processing system, projector, program, information storage medium, and image processing method
JP2010130225A (en) Projection display device and adjustment method for projection
JP2006060447A (en) Keystone correction using partial side of screen
JP2005124133A (en) Image processing system, projector, program, information storing medium, and image processing method
JP5796286B2 (en) Projector and projector control method
JP2006215298A (en) Projector and exposure adjustment method
TW201338535A (en) Projector and control method for the projector
WO2011102299A1 (en) Control device and projection-type image display device
JP2011176629A (en) Controller and projection type video display device
US20110279738A1 (en) Control device and projection video display device
JP2011199717A (en) Projection type display device and image display method
JP2009049862A (en) Shape distortion correction support system for projection image, shape distortion correction support method for projection image, and projector
JP2005286573A (en) Image processing system, projector, program, information storage medium, and image processing method
JP2010288062A (en) Projector, program, information storage medium, and image projection method
JP2004347775A (en) Image processing system, projector, program, information storage medium and image processing method
JP2015186080A (en) Projector and control method of projector
JP2019075688A (en) Image projection device, control method thereof and program
JP5845565B2 (en) Projector and projector control method

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130604