JP2019133190A - Image projection device - Google Patents

Image projection device Download PDF

Info

Publication number
JP2019133190A
JP2019133190A JP2019082596A JP2019082596A JP2019133190A JP 2019133190 A JP2019133190 A JP 2019133190A JP 2019082596 A JP2019082596 A JP 2019082596A JP 2019082596 A JP2019082596 A JP 2019082596A JP 2019133190 A JP2019133190 A JP 2019133190A
Authority
JP
Japan
Prior art keywords
image
projection
optical system
optical
projection surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019082596A
Other languages
Japanese (ja)
Other versions
JP6664532B2 (en
Inventor
太田 光彦
Mitsuhiko Ota
光彦 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Holdings Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Holdings Ltd filed Critical Maxell Holdings Ltd
Priority to JP2019082596A priority Critical patent/JP6664532B2/en
Publication of JP2019133190A publication Critical patent/JP2019133190A/en
Application granted granted Critical
Publication of JP6664532B2 publication Critical patent/JP6664532B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To prevent the blur of a projection image by correcting the curvature of an image surface on a projection surface, in an image projection device.SOLUTION: The image projection device includes a shape variable mirror comprising a plurality of micro mirrors, an optical system for forming the intermediate image of an image by image data outputted from an image output part on the shape variable mirror, an imaging apparatus, an image comparison part, and a control part for controlling the shape variable mirror. The image comparison part compares and computes the image data outputted from the image output part and the imaging data of the projection surface imaged by the imaging apparatus, to acquire the blur correction amount of the image on the projection surface for each divided area of the projection image. The control part moves the micro mirrors corresponding to the respective areas according to the blur correction amount on the basis of the blur correction amount of the image on the projection surface acquired for each area.SELECTED DRAWING: Figure 1

Description

本発明は、画像投射装置に係り、特に、投射面における投射像のぼけを補正して、クリアな投射像を得るのに好適な画像投射装置に関する。   The present invention relates to an image projection apparatus, and more particularly to an image projection apparatus suitable for correcting a blur of a projection image on a projection surface to obtain a clear projection image.

画像投射装置(プロジェクタ)は、画像や映像を大型スクリーンなどに投影することにより表示する装置である。画像投射装置では、投射面に投射画像を投影させるに際して、精度高く焦点をあわせて投射することが要請される。   An image projection device (projector) is a device that displays an image or video by projecting it onto a large screen or the like. In an image projection apparatus, when projecting a projection image on a projection surface, it is required to project with high accuracy in focus.

画像投射装置の焦点範囲の調整に関する技術としては、例えば、特許文献1に記載のものが知られている。特許文献1には、投射光学系の中に光束の位相を変調する位相変調素子(Imaging Lens With EDF 332)を配置して、フォーカス面からある距離の範囲内で、光軸方向に沿った点像の変化を位相変調素子がない状態よりも小さくする機能を与え、かつ、投射する画像に位相変調素子による変調分を打ち消すような画像処理を予め施す(Image Coder 314)ことにより、投射画像の合焦する範囲を通常よりも拡大する技術が開示されている。   As a technique related to the adjustment of the focal range of the image projection apparatus, for example, the technique described in Patent Document 1 is known. In Patent Document 1, a phase modulation element (Imaging Lens With EDF 332) that modulates the phase of a light beam is arranged in the projection optical system, and the point along the optical axis direction is within a certain distance from the focus plane. The function of making the image change smaller than the state without the phase modulation element is given, and image processing to cancel the amount of modulation by the phase modulation element is performed in advance on the projected image (Image Coder 314). A technique for expanding the focusing range more than usual is disclosed.

米国特許第6069738号公報US Pat. No. 6,069,738

近年生産数の増大している短投射型の画像投射装置では光学系の構成が複雑であり、投射画像の像面を平面にするには生産時に高度な調整技術が必要とされる。これは、調整誤差により像面の湾曲が発生すると投射面上では部分的に投射画像がぼけてしまうからである。   In a short projection type image projection apparatus whose number of production has been increasing in recent years, the configuration of the optical system is complicated, and high level adjustment technology is required at the time of production to make the image plane of the projected image flat. This is because when the curvature of the image plane occurs due to the adjustment error, the projection image is partially blurred on the projection plane.

また、画像投射装置では投射画像を合焦させるためには画像投射装置と投射面との距離を適切に設定する必要がある。距離の設定の精度は、投射光学系の開口径が一定ならば投射距離が小さい程厳しくなるので、短投射型の画像投射装置では、特に設定の難度が高い。さらに、投射面が吊り下げ型であり布のような素材の場合には、投射中でも風などの影響により画像投射装置と投射面の距離が変わり、像のぼけが発生することがある。   Further, in the image projection apparatus, in order to focus the projection image, it is necessary to appropriately set the distance between the image projection apparatus and the projection surface. The accuracy of setting the distance becomes more severe as the projection distance becomes smaller if the aperture diameter of the projection optical system is constant, so that the setting difficulty is particularly high in the short projection type image projection apparatus. Furthermore, when the projection surface is a hanging type and is a material such as cloth, the distance between the image projection device and the projection surface may change due to the influence of wind or the like even during projection, and image blurring may occur.

また、立体的に配置された投射対象に画像を投射するプロジェクションマッピングのような用途においては、画像をぼかさずに投射できる光軸方向の範囲は、投射光学系の開口径と投射距離によって決定される特定の範囲になるが、その光軸方向の範囲外側に投影対象を配置すると画像はぼけてしまう。   In applications such as projection mapping that projects an image onto a three-dimensionally arranged projection target, the range in the optical axis direction that can be projected without blurring the image is determined by the aperture diameter and the projection distance of the projection optical system. If the projection target is placed outside the range in the optical axis direction, the image will be blurred.

上記特許文献1に記載の技術によると、画像投射装置において投射画像の合焦範囲を拡大することができるのでこれらの課題を解決することができるが、投射する画像に位相変調素子による変調分を打ち消すような画像処理を予め施すためには輪郭強調処理が必要であり、輪郭強調処理をおこなうためには、画像のダイナミックレンジ(画像の階調の範囲)を縮小する必要ある。その結果、投射画像はダイナミックレンジの小さい画像になってしまい、視認性が悪いものになるという問題点があった。   According to the technique described in Patent Document 1, since the focus range of the projected image can be expanded in the image projecting apparatus, these problems can be solved, but the amount of modulation by the phase modulation element is added to the projected image. In order to perform image processing that cancels out in advance, contour emphasis processing is necessary, and in order to perform contour emphasis processing, it is necessary to reduce the dynamic range (tone range of the image) of the image. As a result, there is a problem that the projected image becomes an image having a small dynamic range, and the visibility becomes poor.

本発明は、上記問題点を解決するためになされたもので、その目的は、投射画像のダイナミックレンジを縮小することなく、像面の湾曲を補正し、画像投射装置と投射面との距離の設定を容易にし、投射中にも距離の変動を補正することを可能とする画像投射装置を提供することにある。また、プロジェクションマッピングのような用途において画像のぼけを生じさせることなく投射対象を配置できる光軸方向の範囲を拡大できる画像投射装置を提供することにある。   The present invention has been made to solve the above problems, and its purpose is to correct the curvature of the image plane without reducing the dynamic range of the projected image, and to reduce the distance between the image projection apparatus and the projection plane. An object of the present invention is to provide an image projection apparatus that facilitates setting and can correct a variation in distance during projection. Another object of the present invention is to provide an image projection apparatus capable of enlarging the range in the optical axis direction in which a projection target can be arranged without causing blurring of an image in applications such as projection mapping.

本発明の画像投射装置の構成は、画像出力部から出力される画像データを、光源から発せられる光により投射面に投射する画像投射装置であって、複数の微小ミラーにより構成されている形状可変ミラーと、形状可変ミラー上に画像出力部から出力される画像データによる画像の中間像を形成させる光学系と、投射面を撮像する撮像装置と、画像出力部から出力される画像データと撮像装置により撮像された投射面の撮像データを入力する画像比較部と、形状可変ミラーを制御する制御部とを有している。そして、画像比較部は、画像出力部から出力される画像データと撮像装置により撮像された投射面の撮像データを比較演算し、投射面上の像のぼけ補正量を、投射画像の分割された各々の領域ごとに求め、制御部は、各々の領域ごとに求められた投射面上の像のぼけ補正量に基づいて、各々の領域に対応する微小ミラーを、ぼけ補正量に応じて移動させ、形状可変ミラー上に形成される画像の中間像を投射する。   The configuration of the image projection apparatus according to the present invention is an image projection apparatus that projects image data output from an image output unit onto a projection surface with light emitted from a light source, and is configured to have a plurality of minute mirrors. Mirror, optical system for forming intermediate image of image based on image data output from image output unit on variable shape mirror, imaging device for imaging projection surface, image data output from image output unit and imaging device An image comparison unit that inputs imaging data of the projection surface imaged by the control unit, and a control unit that controls the deformable mirror. Then, the image comparison unit compares the image data output from the image output unit and the imaging data of the projection surface imaged by the imaging device, and the image blur correction amount on the projection surface is divided into the projection images. Based on the blur correction amount of the image on the projection surface obtained for each region, the control unit moves the micro mirror corresponding to each region according to the blur correction amount. Then, an intermediate image of the image formed on the variable shape mirror is projected.

好ましくは、上記画像投射装置において、撮像装置内に円筒レンズが配置されている。また、その画像投射装置において、画像比較部は、撮像装置の撮像素子に形成される像を各々の領域ごとに解析し、像内の直交する二つの方向のぼけ量を比較した結果に基づき、制御部に、各々の領域に対応する微小ミラーの移動方向の指示を与える。   Preferably, in the image projection device, a cylindrical lens is disposed in the imaging device. Further, in the image projection device, the image comparison unit analyzes the image formed on the image sensor of the imaging device for each region, and based on the result of comparing the amounts of blur in two orthogonal directions in the image, The control unit is instructed to move the micromirror corresponding to each region.

本発明によれば、投射画像のダイナミックレンジを縮小することなく、像面の湾曲を補正し、画像投射装置と投射面との距離の設定を容易にし、投射中にも距離の変動を補正することを可能とする画像投射装置を提供することができる。また、プロジェクションマッピングのような用途において画像のぼけを生じさせることなく投射対象を配置できる光軸方向の範囲を拡大できる画像投射装置を提供することができる。   According to the present invention, the curvature of the image plane is corrected without reducing the dynamic range of the projection image, the distance between the image projection apparatus and the projection plane is easily set, and the variation in the distance is corrected even during projection. It is possible to provide an image projection apparatus that makes it possible. In addition, it is possible to provide an image projection apparatus capable of enlarging the range in the optical axis direction in which a projection target can be arranged without causing image blur in applications such as projection mapping.

本発明に係る第一の実施形態の画像投射装置の構成図である。It is a block diagram of the image projection apparatus of 1st embodiment which concerns on this invention. 形状可変ミラー13の構成および動作を説明するための概念図である。3 is a conceptual diagram for explaining the configuration and operation of a deformable mirror 13. FIG. 取得画像の形状補正を説明するための図である。It is a figure for demonstrating the shape correction | amendment of an acquired image. ぼけ量演算のための演算方法の説明図である。It is explanatory drawing of the calculation method for blur amount calculation. 元画像と取得画像の伝達関数の形状とぼけ補正量の関係を示す図である。It is a figure which shows the relationship between the shape of the transfer function of an original image and an acquisition image, and blur correction amount. 撮像装置17の構成図である。2 is a configuration diagram of an imaging device 17. FIG. 図6の撮像装置17の構成にした場合のデフォーカスと点像の関係の例を示す図である。It is a figure which shows the example of the relationship between a defocus and a point image at the time of setting it as the structure of the imaging device 17 of FIG. 像面が湾曲した場合の投射画像の像面と投射面の関係を示す図である。It is a figure which shows the relationship between the image surface of a projection image when an image surface curves, and a projection surface. 投射面が湾曲した場合の投射画像の像面と投射面の関係を示す図である。It is a figure which shows the relationship between the image surface and projection surface of a projection image when a projection surface curves. プロジェクションマッピングへの適用例を示す図である。It is a figure which shows the example of application to projection mapping. 本発明に係る第二の実施形態の画像投射装置の構成図である。It is a block diagram of the image projection apparatus of 2nd embodiment which concerns on this invention. 本発明に係る第三の実施形態の画像投射装置の構成図である。It is a block diagram of the image projection apparatus of 3rd embodiment which concerns on this invention. フォーカス位置と投射面50の位置がずれた場合の撮像素子16´上でのぼけの状態を説明する図である。It is a figure explaining the state of the blur on image pick-up element 16 'when a focus position and the position of the projection surface 50 have shifted | deviated.

以下、本発明に係る各実施形態を、図1ないし図12を用いて説明する。   Embodiments according to the present invention will be described below with reference to FIGS.

〔実施形態1〕
以下、本発明に係る第一の実施形態を、図1ないし図9を用いて説明する。
先ず、図1および図2を用いて画像投射装置の全体の構成および動作を説明する。
図1は、本発明に係る第一の実施形態の画像投射装置の構成図である。
図2は、形状可変ミラーの構成例を示す図である。
[Embodiment 1]
A first embodiment according to the present invention will be described below with reference to FIGS.
First, the overall configuration and operation of the image projection apparatus will be described with reference to FIGS. 1 and 2.
FIG. 1 is a configuration diagram of an image projection apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration example of the variable shape mirror.

画像投射装置100は、投射面50に画像を投射する装置である。画像投射装置100は、図1に示されるように、光源1、インテグレータレンズ2、ダイクロミラー3、5、ミラー4、6、7、液晶素子8a、8b、8c、ダイクロプリズム9、レンズ系10、偏光プリズム11、1/4波長板12、形状可変ミラー13、投射光学系14、撮像装置17、画像出力部31、画像比較部32、制御部33を備える。また、撮像装置17は、撮像光学系15、撮像素子16を備える。   The image projection apparatus 100 is an apparatus that projects an image on the projection surface 50. As shown in FIG. 1, the image projection apparatus 100 includes a light source 1, an integrator lens 2, dichroic mirrors 3, 5, mirrors 4, 6, 7, liquid crystal elements 8a, 8b, 8c, dichroic prism 9, lens system 10, A polarizing prism 11, a quarter-wave plate 12, a variable shape mirror 13, a projection optical system 14, an imaging device 17, an image output unit 31, an image comparison unit 32, and a control unit 33 are provided. The imaging device 17 includes an imaging optical system 15 and an imaging element 16.

光源1は、光束を出射し、インテグレータレンズ2は当該光束を平行光に変換する。光源1としては、例えば、メタルハイライドランプ、超高圧水銀ランプが用いられる。ダイクロミラー3は、当該光束を赤の波長と緑、青の波長に分割し赤の波長だけを透過させ、緑、青の波長を反射させる。ミラー4は赤の波長の光束を液晶素子8aに導く。ダイクロミラー5は、緑、青の波長の光束のうち緑の波長だけを反射させ、液晶素子8bに導き、青の波長は透過させる。ミラー6、7は青の波長の光束を液晶素子8cに導く。このようにして、液晶素子8a、8b、8cはそれぞれ赤、緑、青の波長の光源1からの光を受けとる。また、液晶素子8a、8b、8cはそれぞれ画像出力部31から信号を受け取り、その信号に応じて液晶画素のON/OFFをおこなう。そして、ダイクロプリズム9は、各液晶素子を透過した赤、緑、青の波長の各光束を一つの光束に合成する。   The light source 1 emits a light beam, and the integrator lens 2 converts the light beam into parallel light. As the light source 1, for example, a metal halide lamp or an ultrahigh pressure mercury lamp is used. The dichroic mirror 3 divides the luminous flux into a red wavelength and green and blue wavelengths, transmits only the red wavelength, and reflects the green and blue wavelengths. The mirror 4 guides a light beam having a red wavelength to the liquid crystal element 8a. The dichroic mirror 5 reflects only the green wavelength of the light flux of green and blue wavelengths, guides it to the liquid crystal element 8b, and transmits the blue wavelength. The mirrors 6 and 7 guide a light beam having a blue wavelength to the liquid crystal element 8c. In this way, the liquid crystal elements 8a, 8b, and 8c receive light from the light source 1 having red, green, and blue wavelengths, respectively. The liquid crystal elements 8a, 8b, and 8c each receive a signal from the image output unit 31, and turn on / off the liquid crystal pixels in accordance with the signal. The dichroic prism 9 combines the light beams of red, green, and blue wavelengths transmitted through the liquid crystal elements into one light beam.

次に、レンズ系10は、ダイクロプリズム9から出射される光束にレンズ作用を与え、偏光プリズム11に導く。偏光プリズム11は、レンズ系10から出射される直線偏光の光束がS偏光として入射される配置になっており、S偏光光束は反射し、P偏光光束は透過させる仕様になっているため、当該光束を反射し1/4波長板12に導く。1/4波長板12は、当該光束を円偏光に変換し、形状可変ミラー13に導く。形状可変ミラー13の反射面上には、液晶素子8a、8b、8cが表現する像が形成される。   Next, the lens system 10 gives a lens action to the light beam emitted from the dichroic prism 9 and guides it to the polarizing prism 11. The polarizing prism 11 has a configuration in which a linearly polarized light beam emitted from the lens system 10 is incident as S-polarized light. The S-polarized light beam is reflected and the P-polarized light beam is transmitted. The light beam is reflected and guided to the quarter-wave plate 12. The quarter-wave plate 12 converts the light beam into circularly polarized light and guides it to the shape variable mirror 13. On the reflecting surface of the deformable mirror 13, images represented by the liquid crystal elements 8a, 8b, and 8c are formed.

そして、形状可変ミラー13は、当該光束を反射し1/4波長板12に導く。1/4波長板12は、当該光束を円偏光から直線偏光に変換する。偏光プリズム11には、当該光束がP偏光として入射されるので、当該光束を透過させる。投射光学系14は、当該光束にレンズ作用を与え投射面50に導く。また、投射光学系14で設定されているフォーカス位置の情報を制御部33に伝達する。投射面50には液晶素子8a、8b、8cの像が形成される。   The variable shape mirror 13 reflects the light beam and guides it to the quarter-wave plate 12. The quarter wavelength plate 12 converts the light flux from circularly polarized light to linearly polarized light. Since the light beam enters the polarizing prism 11 as P-polarized light, the light beam is transmitted. The projection optical system 14 gives a lens action to the luminous flux and guides it to the projection surface 50. Further, information on the focus position set in the projection optical system 14 is transmitted to the control unit 33. Images of the liquid crystal elements 8a, 8b, and 8c are formed on the projection surface 50.

撮像装置17は、制御部33から投射光学系14のフォーカス位置の情報を受け取り、撮像光学系15のフォーカス位置を投射光学系14のフォーカス位置に一致する位置に設定し、投射面50を撮像し、その像の情報を撮像素子16から出力し画像比較部32に伝達する。画像比較部32は、画像出力部31の出力する元画像の情報と撮像素子16から伝達される取得画像の情報とをそれぞれ複数の領域に分割し、対応する領域ごとに比較演算することによって、投射画像の領域ごとのぼけ量を求め、それを形状可変ミラーの微小ミラー(後述)の各部に与える制御量に変換して、出力する。ここで、画像情報は、デジタル表現されており、ピクセルごとのRGB値で表される情報である。   The imaging device 17 receives information on the focus position of the projection optical system 14 from the control unit 33, sets the focus position of the imaging optical system 15 to a position that matches the focus position of the projection optical system 14, and images the projection surface 50. The image information is output from the image sensor 16 and transmitted to the image comparison unit 32. The image comparison unit 32 divides the information of the original image output from the image output unit 31 and the information of the acquired image transmitted from the imaging element 16 into a plurality of regions, respectively, and performs a comparison operation for each corresponding region. The amount of blur for each region of the projected image is obtained, converted into a control amount given to each part of a micro mirror (described later) of the deformable mirror, and output. Here, the image information is digitally expressed and is information represented by RGB values for each pixel.

制御部33は、画像比較部32により出力される出力情報を受け取り、その結果に基づき形状可変ミラー13に制御信号を与える。上記では、投射画像の領域ごとのぼけ量から形状可変ミラーの微笑ミラーの各部に与える制御量の変換を、画像比較部でおこなったが、制御部33でおこなうようにしてもよい。   The control unit 33 receives the output information output from the image comparison unit 32, and gives a control signal to the deformable mirror 13 based on the result. In the above, the conversion of the control amount given to each part of the smile mirror of the deformable mirror from the blur amount for each region of the projected image is performed by the image comparison unit, but may be performed by the control unit 33.

画像出力部31は、コンピュータからHDMI(登録商標)端子により入力されるデジタル信号、もしくは、Dサブ端子により入力されるアナログ信号、または、ビデオ機器からDサブ端子により入力されるアナログ信号を液晶素子8a、8b、8cに出力する機能を有する。   The image output unit 31 outputs a digital signal input from a computer via an HDMI (registered trademark) terminal, an analog signal input via a D sub terminal, or an analog signal input from a video device via a D sub terminal to a liquid crystal element 8a, 8b and 8c.

画像比較部32、制御部33でおこなわれる演算は、図示しなかったが、マイクロプロセッサ、ワークメモリを有するハードウェアで、それぞれの機能を実行するプログラムにより実現することができる。また、それぞれの機能を実行するハードウェア回路で実現してもよい。   Calculations performed by the image comparison unit 32 and the control unit 33 are not shown in the figure, but can be realized by a program that executes the respective functions with hardware including a microprocessor and a work memory. Moreover, you may implement | achieve with the hardware circuit which performs each function.

次に、図2を用いて形状可変ミラー13の構成および動作を説明する。
図2は、形状可変ミラー13の構成および動作を説明するための概念図である。ここで、図2(a)は俯瞰図であり、図2(b)は側面図である。
Next, the configuration and operation of the deformable mirror 13 will be described with reference to FIG.
FIG. 2 is a conceptual diagram for explaining the configuration and operation of the deformable mirror 13. Here, FIG. 2A is an overhead view, and FIG. 2B is a side view.

形状可変ミラー(デフォーマブルミラー)とは、複数の微小ミラーから構成されており、外部からの制御によって各微小ミラーの位置を制御できるミラーである。本実施形態の形状可変ミラー13は、図2(a)に示されるように、複数の微小ミラー130から構成されている。微小ミラー130は、例えば、アルミニウムまたは金コーティングがなされており、各微小ミラー130に与える電圧を制御することにより、図2(b)に示すように、光軸方向(図中右端に示している方向)に、駆動する構成になっている。ここで、実際には、形状可変ミラー13は、32〜4096個程度の微小ミラー素子よりなり、微小ミラー130の駆動する量は、例えば、〜5μm程度である。   The deformable mirror (deformable mirror) is composed of a plurality of micromirrors, and can control the position of each micromirror by external control. As shown in FIG. 2A, the variable shape mirror 13 of the present embodiment is composed of a plurality of micro mirrors 130. The micromirrors 130 are, for example, coated with aluminum or gold. By controlling the voltage applied to each micromirror 130, as shown in FIG. 2B, the micromirrors 130 are shown in the optical axis direction (shown at the right end in the figure). Direction). Here, the variable shape mirror 13 is actually composed of about 32 to 4096 micromirror elements, and the amount of driving the micromirror 130 is, for example, about 5 μm.

本実施形態の画像投射装置においては、形状可変ミラー13は、制御部33からの信号を受け、投射画像の各領域に対応した微小ミラー130を駆動させる。微小ミラー130の駆動の量をぼけ量に対応した量とし、駆動の方向をぼけの元となるデフォーカスの方向に対応した方向とすることにより投射画像のぼけを補正できる。   In the image projection apparatus according to the present embodiment, the variable shape mirror 13 receives a signal from the control unit 33 and drives the micro mirror 130 corresponding to each region of the projection image. The blur of the projected image can be corrected by setting the drive amount of the micro mirror 130 to an amount corresponding to the blur amount and setting the drive direction to a direction corresponding to the defocus direction that is the source of the blur.

次に、図3ないし図9を用いて本発明の一実施形態における画像投射装置の投射画像処理について説明する。
図3は、取得画像の形状補正を説明するための図である。
図4は、ぼけ量演算のための演算方法の説明図である。
図5は、元画像と取得画像の伝達関数の形状とぼけ補正量の関係を示す図である。
図6は、撮像装置17の構成図である。
図7は、図6の撮像装置17の構成にした場合のデフォーカスと点像の関係の例を示す図である。
図8Aは、像面が湾曲した場合の投射画像の像面と投射面の関係を示す図である。
図8Bは、投射面が湾曲した場合の投射画像の像面と投射面の関係を示す図である。
図9は、プロジェクションマッピングへの適用例を示す図である。
Next, projection image processing of the image projection apparatus according to the embodiment of the present invention will be described with reference to FIGS.
FIG. 3 is a diagram for explaining the shape correction of the acquired image.
FIG. 4 is an explanatory diagram of a calculation method for calculating the blur amount.
FIG. 5 is a diagram showing the relationship between the shape of the transfer function between the original image and the acquired image and the amount of blur correction.
FIG. 6 is a configuration diagram of the imaging device 17.
FIG. 7 is a diagram illustrating an example of the relationship between defocus and point images when the configuration of the imaging device 17 in FIG. 6 is used.
FIG. 8A is a diagram illustrating the relationship between the image plane of the projection image and the projection plane when the image plane is curved.
FIG. 8B is a diagram illustrating the relationship between the image plane of the projection image and the projection plane when the projection plane is curved.
FIG. 9 is a diagram illustrating an application example to projection mapping.

先ず、図3および図4を用いて投射画像の領域ごとのぼけ量の検出方法の一例を説明する。   First, an example of a blur amount detection method for each region of a projection image will be described with reference to FIGS. 3 and 4.

最初に、画像比較部は、図3に示すように撮像装置17により取得した投射画像に対して幾何的な変換を施し、形状補正を行う。図3(a)は取得画像の補正前の輪郭、図3(b)は補正後の輪郭を示している。ここで、撮像光学系の光軸は、紙面の裏面から表面に向かう方向とする。投射光学系と撮像光学系で光軸が異なるため、一般には取得画像の画素の位置と元画像の画素の位置が対応しないが、この補正によって対応し比較できるようになる。   First, as shown in FIG. 3, the image comparison unit performs geometric conversion on the projected image acquired by the imaging device 17 to perform shape correction. FIG. 3A shows the contour before correction of the acquired image, and FIG. 3B shows the contour after correction. Here, the optical axis of the imaging optical system is a direction from the back surface to the front surface of the paper. Since the optical axis is different between the projection optical system and the imaging optical system, the pixel position of the acquired image generally does not correspond to the pixel position of the original image, but this correction makes it possible to correspond and compare.

次に、図4に示すように、画像比較部32は、画像出力部から入力される元画像と、撮像装置17での取得画像とをそれぞれ対応する複数の領域に分割し、各領域に対して高速フーリエ変換(FFT:Fast Fourier Transform)をおこなう。図中(a−1)は元画像、(b−2)は取得画像を示しており、(a−2)、(b−2)はそれぞれの画像の分割された領域の拡大図である。また(a−3)、(b−3)は、それぞれ(a−2)、(b−2)の水平方向のFFTの結果を表すグラフである。このグラフは、空間周波数を、−32から32までで標本化し、空間周波数0の成分量を1として、各々の空間周波数の成分量の相対比をとって正規化したものである。そして、(a−3)、(b−3)で表される空間周波数の各々の成分量の比を取ることにより、元画像から取得画像の間でどれだけの画像のぼけが生じたかを判定することができる。ここで、図4(c)は、元画像と取得画像で空間周波数の成分量の比をとった結果を表しており、図中、破線(ア)は空間周波数によらず常に値が1であり、ぼけが発生していない状態での伝達関数を示している。実線(イ)は、高い空間周波数では、値が低下しており、ぼけが発生している状態の伝達関数を示している。伝達関数の形状は、ぼけ量に応じて決まるので、伝達関数の形状とぼけ補正量の対応表を予め用意しておけば、その対応表を参照することにより伝達関数の形状から領域ごとにぼけ補正量を求めることができる。   Next, as shown in FIG. 4, the image comparison unit 32 divides the original image input from the image output unit and the acquired image in the imaging device 17 into a plurality of corresponding regions, and for each region. Fast Fourier Transform (FFT) is performed. In the figure, (a-1) shows the original image, (b-2) shows the acquired image, and (a-2) and (b-2) are enlarged views of the divided areas of the respective images. Further, (a-3) and (b-3) are graphs showing the results of the horizontal FFT of (a-2) and (b-2), respectively. In this graph, the spatial frequency is sampled from −32 to 32, and the component amount of the spatial frequency 0 is set to 1, and the relative ratio of the component amounts of the respective spatial frequencies is normalized. Then, by determining the ratio of the component amounts of the spatial frequencies represented by (a-3) and (b-3), it is determined how much image blur has occurred between the original image and the acquired image. can do. Here, FIG. 4C shows the result of taking the ratio of the component amount of the spatial frequency between the original image and the acquired image. In the figure, the broken line (a) is always 1 regardless of the spatial frequency. There is a transfer function with no blur. A solid line (A) shows a transfer function in a state where the value decreases and blur occurs at a high spatial frequency. Since the shape of the transfer function is determined according to the amount of blur, if a correspondence table between the shape of the transfer function and the amount of blur correction is prepared in advance, blur correction can be performed for each region from the shape of the transfer function by referring to the correspondence table. The amount can be determined.

例えば、図5に示すように、図4(c)のグラフを積分して、値が大きいものを、ぼけ補正量が小さい領域(レベル0)として、値が小さいものをぼけ補正量が大きい領域(図5では、最大レベル4:5段階)というようにして判別することができる。   For example, as shown in FIG. 5, by integrating the graph of FIG. 4C, a region with a large value is set as a region with a low blur correction amount (level 0), and a region with a small value is a region with a large blur correction amount. (In FIG. 5, the maximum level is 4: 5 steps).

デフォーカスの方向の判別方法については、例えば、投射面が平面であり形状が変動しない条件であって、画像投射装置の出荷時や起動時の調整で像面の湾曲を除去したい場合には、必ずしも高速な対応が要求されないので、各領域に対応する形状可変ミラーの微小ミラーをいずれかの方向に動かし、その結果によるぼけ量を演算し、ぼけ量が小さくなる方向が適切な方向と判別する方法であってよい。   Regarding the method of determining the defocus direction, for example, when the projection surface is flat and the shape does not change, and when it is desired to remove the curvature of the image surface by adjustment at the time of shipment or activation of the image projection device, Since high-speed correspondence is not necessarily required, the micro mirror of the deformable mirror corresponding to each region is moved in either direction, the amount of blur is calculated, and the direction in which the amount of blur is reduced is determined as the appropriate direction. It may be a method.

一方、画像投射装置を使用中の状況で、光学系が熱などの影響を受け像面の形状が変動する場合や、風などの影響で投射面が動く場合には、高速な対応が必要なので、高速にデフォーカスの方向の判別をする必要がある。ここで、図6および図7を用いて投射画像のデフォーカス方向を検出する方法の一例を説明する。図6に示される撮像装置17の撮像光学系15には、円筒レンズ18が配置されている。図6(a)は、撮像装置17を円筒レンズ18の円筒部のカーブが見える方向から見た図であり、図6(b)はそれと直交する方向から同じ撮像装置17を見た図である。円筒レンズ18は、撮像光学系15への入射光束の集光位置を方向によって変える機能を有している。図6(a)では、撮像素子16より手前で集光しており、図6(b)では、撮像素子16より遠くで集光している。
図7は、円筒レンズ18を設けた場合の撮像素子16上の点像を表している。デフォーカスがない状態での点像の形状は図7(b)のように円形に近い形状になるように設定されている。ここで、図6(a)に示されるように、撮像素子16より手前で集光する場合の円筒部のカーブが見える方向での撮像素子16上の紙面左から右への長さを、lであるとし、図6(b)に示されるように、撮像素子16より遠くで集光する場合の図(a)の方向と直交する方向での撮像素子16上の紙面左から右への長さを、lとする。このとき、デフォーカスがマイナスの場合には点像の形状は図7(a)のように左下から右上に向かう方向に長い形状(長さl)になり、デフォーカスがプラスの場合には点像の形状は図7(c)のように左上から右下に向かう方向に長い形状(長さl)になる。すなわち、デフォーカスがマイナスの場合には、左下から右上に向かう方向に、図6(b)の左手から右手の撮像素子上の長さのぼけの形状が表れるようにし、デフォーカスがプラスの場合には、左上から右下に向かう方向に、図6(a)の左手から右手の撮像素子上の長さのぼけの形状が表れるようにしている。このため先に、説明したぼけ補正量の演算の際に、左上から右下に向かう方向、左下から右上に向かう方向の二つの対角方向で伝達関数を求め、それぞれの伝達関数を比較して、どちらの方向でぼけ量が大きいかを調べることによりデフォーカスの方向を判別することができる。
また、プロジェクションマッピングのような用途で投射対象が光軸方向の特定の範囲に存在しており、その範囲が分かっている場合には、一番遠く、あるいは、一番近くの投射位置にフォーカス位置を合わせておけば、それ以外の投射対象のデフォーカスの方向は、分かっている状態になるので、特に判別手段を設ける必要はない。
On the other hand, when the image projection device is being used, if the optical system is affected by heat or the like and the shape of the image plane fluctuates, or if the projection surface moves due to the influence of wind or the like, high-speed response is necessary. It is necessary to determine the defocus direction at high speed. Here, an example of a method for detecting the defocus direction of the projection image will be described with reference to FIGS. 6 and 7. A cylindrical lens 18 is arranged in the imaging optical system 15 of the imaging device 17 shown in FIG. 6A is a diagram of the imaging device 17 viewed from the direction in which the curve of the cylindrical portion of the cylindrical lens 18 can be seen, and FIG. 6B is a diagram of the same imaging device 17 viewed from a direction orthogonal thereto. . The cylindrical lens 18 has a function of changing the condensing position of the incident light beam to the imaging optical system 15 depending on the direction. In FIG. 6A, the light is collected before the image sensor 16, and in FIG. 6B, the light is collected far from the image sensor 16.
FIG. 7 shows a point image on the image sensor 16 when the cylindrical lens 18 is provided. The shape of the point image in the absence of defocus is set so as to be close to a circle as shown in FIG. Here, as shown in FIG. 6A, the length from the left to the right of the paper surface on the image pickup device 16 in the direction in which the curve of the cylindrical portion when the light is condensed before the image pickup device 16 can be seen is l and a p, as shown in FIG. 6 (b), from the paper left on the image sensor 16 in the direction perpendicular to the direction of FIG. (a) in the case of light condensing out farther from the imaging element 16 to the right length, and l m. At this time, when the defocus is negative, the shape of the point image becomes a long shape (length l m ) from the lower left to the upper right as shown in FIG. 7A, and when the defocus is positive. The shape of the point image becomes a long shape (length l p ) in the direction from the upper left to the lower right as shown in FIG. That is, when the defocus is negative, the shape of the blur on the image sensor from the left hand to the right hand in FIG. 6B appears in the direction from the lower left to the upper right, and the defocus is positive. In FIG. 6A, the blur shape of the length on the image sensor from the left hand to the right hand in FIG. 6A appears from the upper left to the lower right. For this reason, when calculating the blur correction amount described earlier, transfer functions are obtained in two diagonal directions, from the upper left to the lower right, and from the lower left to the upper right, and the respective transfer functions are compared. The defocus direction can be determined by examining which direction the blur amount is large.
In addition, when the projection target exists in a specific range in the optical axis direction for applications such as projection mapping, and the range is known, the focus position is set to the farthest or nearest projection position. Since the defocus directions of other projection targets are already known, it is not necessary to provide a discrimination means.

本実施形態によれば、画像投射装置において、図8Aに示すように投射画像の像面の湾曲が発生している場合、その像面の湾曲を補正できる。その結果、画像投射装置の生産時の生産性が向上し、出荷後に光学系が熱などの影響を受けても像面の湾曲の変動を抑制できる。また、画像投射装置と投射面との距離の変動によるぼけを抑制できる。その結果、画像投射装置と投射面の距離の設定が容易になり、図8Bに示すように風などの外乱により投射面の形状が変動してもぼけを抑制した画像を投射できる。   According to this embodiment, in the image projection apparatus, when the curvature of the image plane of the projection image is generated as shown in FIG. 8A, the curvature of the image plane can be corrected. As a result, productivity at the time of production of the image projection apparatus is improved, and fluctuations in curvature of the image plane can be suppressed even if the optical system is affected by heat or the like after shipment. Further, blur due to a change in the distance between the image projection apparatus and the projection surface can be suppressed. As a result, the distance between the image projection apparatus and the projection surface can be easily set, and an image with reduced blur can be projected even if the shape of the projection surface varies due to disturbance such as wind as shown in FIG. 8B.

また、プロジェクションマッピングのような用途において、投射対象の存在できる光軸方向の範囲を拡大できる。図9は、本実施形態のプロジェクションマッピングでの適用例を示している。図9に示した例では、投射面は、第一の投射面50−1と第二の投射面50−2の二つの投射面が存在する。また、第二の投射面は、移動が可能である。本実施形態によれば、画像投射装置100から第一の投射面50−1までの距離と第二の投射面50−2までの距離の差が従来よりも大きい状態であっても第一の投射面50−1、第二の投射面50−2の両方にぼけのない画像を投射できる。また、画像の投射中に第二の投射面が移動しても第一の投射面50−1、第二の投射面50−2の両方の投射面において投射画像にぼけのない状態を維持できる。   Further, in an application such as projection mapping, the range in the optical axis direction in which a projection target can exist can be expanded. FIG. 9 shows an application example in the projection mapping of this embodiment. In the example shown in FIG. 9, the projection surface has two projection surfaces, a first projection surface 50-1 and a second projection surface 50-2. The second projection surface can be moved. According to this embodiment, even if the difference between the distance from the image projection device 100 to the first projection surface 50-1 and the distance from the second projection surface 50-2 is larger than the conventional one, the first An image without blur can be projected onto both the projection surface 50-1 and the second projection surface 50-2. Moreover, even if the second projection surface moves during the projection of the image, it is possible to maintain a state in which the projection image is not blurred on both the first projection surface 50-1 and the second projection surface 50-2. .

以上述べてきたように、本実施形態によれば、画像投射装置において、投射画像の像面の湾曲を補正することができる。その結果、画像投射装置の調整が容易になるので、生産時の生産性が向上し、出荷後に光学系が熱などの影響を受けても像面の湾曲の変動を抑制することができる。また、画像投射装置と投射面との距離の変動によるぼけを抑制できる。その結果、画像投射装置と投射面の距離の設定が容易になり、風などの外乱により画像投射装置と投射面の距離が変動しても画像のぼけを抑制できる。また、プロジェクションマッピングのような用途において、画像のぼけを生じさせることなく投射対象を配置できる光軸方向の範囲を拡大することができる。   As described above, according to the present embodiment, the curvature of the image plane of the projected image can be corrected in the image projection apparatus. As a result, adjustment of the image projection apparatus is facilitated, so that productivity at the time of production is improved, and fluctuations in the curvature of the image plane can be suppressed even if the optical system is affected by heat or the like after shipment. Further, blur due to a change in the distance between the image projection apparatus and the projection surface can be suppressed. As a result, the setting of the distance between the image projection apparatus and the projection surface becomes easy, and blurring of the image can be suppressed even if the distance between the image projection apparatus and the projection surface varies due to disturbance such as wind. Further, in an application such as projection mapping, the range in the optical axis direction in which the projection target can be arranged can be expanded without causing image blurring.

〔実施形態2〕
以下、本発明に係る第一の実施形態を、図10を用いて説明する。
図10は、本発明に係る第二の実施形態の画像投射装置の構成図である。
[Embodiment 2]
Hereinafter, a first embodiment of the present invention will be described with reference to FIG.
FIG. 10 is a configuration diagram of an image projection apparatus according to the second embodiment of the present invention.

本実施形態では、投射画像の像面の湾曲は、無視できるほど小さいか、別の手段により補正済みであることを前提としている。   In the present embodiment, it is assumed that the curvature of the image plane of the projected image is negligibly small or has been corrected by another means.

第二の実施形態では、図10に示されるように、画像投射装置101が、投射面50に画像を投射している。画像投射装置101は、第一の実施形態における画像投射装置100と同様の構成であるが、画像投射装置100における撮像装置17および画像比較部32が、距離検出部19に置き換わっている点が異なっている。以下においては、第一の実施形態と異なる点について重点的に説明する。   In the second embodiment, as shown in FIG. 10, the image projection apparatus 101 projects an image on the projection surface 50. The image projection device 101 has the same configuration as that of the image projection device 100 in the first embodiment, except that the imaging device 17 and the image comparison unit 32 in the image projection device 100 are replaced with a distance detection unit 19. ing. In the following, differences from the first embodiment will be mainly described.

本実施形態においては、投射面50を複数の領域に分割し、それぞれの領域までの距離を、距離検出部19で検出する。距離検出部は撮像装置を用いる機構であってもよいし、光や電波(赤外線など)や超音波などを発信し、投射面50で反射したものを受信する手段であってもよいし、その他のあらゆる手段であってよい。撮像装置を用いる場合の距離検出部は複眼視であってもよいし、オートフォーカスに用いられる位相差法であってもよい。距離検出部19は、投射面50のそれぞれの領域までの距離の情報を出力する。制御部33は、投射光学系14で設定されているフォーカス位置の情報を受取り、かつ、距離検出部19の出力情報を受け取り、その両者を比較した結果に基づき、形状可変ミラー13に制御信号を与える。形状可変ミラー13は、制御部33からの信号を受け、投射面50の各領域に対応した微小ミラー130を駆動させる。各微小ミラー130の駆動後の位置を投射面50の各領域までの距離に対応した適切な位置にすることにより投射像のぼけを補正することができる。   In the present embodiment, the projection surface 50 is divided into a plurality of areas, and the distance to each area is detected by the distance detection unit 19. The distance detection unit may be a mechanism that uses an imaging device, or may be a means for transmitting light, radio waves (such as infrared rays), ultrasonic waves, etc., and receiving the light reflected by the projection surface 50. Any means can be used. In the case of using the imaging device, the distance detection unit may be a compound eye view or may be a phase difference method used for autofocus. The distance detection unit 19 outputs information on the distance to each area of the projection surface 50. The control unit 33 receives information on the focus position set in the projection optical system 14 and also receives output information from the distance detection unit 19, and based on the result of comparison between the two, outputs a control signal to the deformable mirror 13. give. The variable shape mirror 13 receives a signal from the control unit 33 and drives the micro mirror 130 corresponding to each region of the projection surface 50. The blur of the projected image can be corrected by setting the position after driving each micromirror 130 to an appropriate position corresponding to the distance to each region of the projection surface 50.

本実施形態によれば、画像投射装置において、ぼけの検出を行うことなく、画像投射装置と投射面との距離の変動によるぼけを抑制することができる。   According to this embodiment, in the image projection apparatus, blur due to a change in the distance between the image projection apparatus and the projection surface can be suppressed without detecting blur.

〔実施形態3〕
以下、本発明に係る第一の実施形態を、図11および図12を用いて説明する。
図11は、本発明に係る第三の実施形態の画像投射装置の構成図である。
図12は、フォーカス位置と投射面50の位置がずれた場合の撮像素子16´上でのぼけの状態を説明する図である。
[Embodiment 3]
Hereinafter, a first embodiment according to the present invention will be described with reference to FIGS. 11 and 12.
FIG. 11 is a configuration diagram of an image projection apparatus according to the third embodiment of the present invention.
FIG. 12 is a diagram for explaining the state of blur on the image sensor 16 ′ when the focus position and the position of the projection surface 50 are shifted.

本実施形態でも、投射画像の像面の湾曲は、無視できるほど小さいか、別の手段により補正済みであることを前提としている。   Also in this embodiment, it is assumed that the curvature of the image plane of the projected image is negligibly small or has been corrected by another means.

第三の実施形態では、図11に示されるように、画像投射装置102が、投射面50に画像を投射している。画像投射装置102は、第一の実施形態における画像投射装置100と同様の構成であるが、画像投射装置100における撮像光学系15が省略されており、投射光学系14が撮像光学系15を兼ねている点、撮像素子16が撮像素子16´に置き換わっている点、および第二の1/4波長版20が追加されている点が異なっている。以下においては、第一の実施形態と異なる点について重点的に説明する。   In the third embodiment, as shown in FIG. 11, the image projection device 102 projects an image on the projection surface 50. The image projection apparatus 102 has the same configuration as the image projection apparatus 100 in the first embodiment, but the imaging optical system 15 in the image projection apparatus 100 is omitted, and the projection optical system 14 also serves as the imaging optical system 15. The image sensor 16 is replaced by an image sensor 16 ', and the second quarter wavelength plate 20 is added. In the following, differences from the first embodiment will be mainly described.

本実施形態においては、第二の1/4波長板21は、偏光プリズム11から出射し投射光学系14に向かう出射光束を直線偏光から円偏光に変換する。また、投射面50で反射し、投射光学系14を透過した光束を円偏光から直線偏光に変換し、偏光プリズムに対してS偏光として入射させる。偏光プリズム11は、当該光束を反射し、撮像素子16´に導く。撮像素子16´は、形状可変ミラー13の初期状態の位置と共役な位置に配置されており、投射光学系14のフォーカス位置が投射面50に一致した場合には、撮像素子16´は合焦した像を取得することができるような位置関係になっている。デフォーカスの方向の判別のために、第一の実施形態の図6により説明した円筒レンズを設ける場合には、偏光プリズム11と撮像素子16´の間に設ければよい。   In the present embodiment, the second quarter-wave plate 21 converts the outgoing light beam emitted from the polarizing prism 11 and directed to the projection optical system 14 from linearly polarized light to circularly polarized light. Further, the light beam reflected by the projection surface 50 and transmitted through the projection optical system 14 is converted from circularly polarized light to linearly polarized light, and is incident on the polarizing prism as S-polarized light. The polarizing prism 11 reflects the light beam and guides it to the image sensor 16 ′. The image pickup device 16 ′ is disposed at a position conjugate with the initial position of the deformable mirror 13. When the focus position of the projection optical system 14 coincides with the projection surface 50, the image pickup device 16 ′ is in focus. The positional relationship is such that an acquired image can be acquired. In order to determine the defocus direction, when the cylindrical lens described with reference to FIG. 6 of the first embodiment is provided, it may be provided between the polarizing prism 11 and the image sensor 16 ′.

本実施形態では、撮像素子16´で取得する画像の状態が第一の実施形態と異なるので、取得画像の状態について図12を用いて説明する。図12は、投射面50がフォーカス面51よりも手前側にずれている状態を示している。図12(a)では、形状可変ミラー13上の代表的な点から発して投射面50に向かう光束が表わされている。形状可変ミラー13は、初期状態であり、形状可変ミラー13上の点から発して投射光学系14を透過した光線はフォーカス面51で集光するが、投射面50では集光しきれず図中Φ1で表される大きさの径を持った円となる。図12(b)では、投射面50上の径Φ1の円の中の代表的な点から発して撮像素子16´に向かう光束が表わされている。集光する位置は撮像素子16´よりも遠い位置であり、撮像素子16´上では集光しきれず、図中Φ2で表される大きさの径を持った円となる。すなわち、撮像素子16´上でのぼけは、径Φ1のぼけに、さらに径Φ2のぼけが重畳したぼけとなる。   In the present embodiment, since the state of the image acquired by the image sensor 16 ′ is different from that of the first embodiment, the state of the acquired image will be described with reference to FIG. FIG. 12 shows a state in which the projection surface 50 is shifted to the near side of the focus surface 51. In FIG. 12A, a light beam emitted from a representative point on the deformable mirror 13 and traveling toward the projection surface 50 is shown. The deformable mirror 13 is in an initial state, and light rays emitted from a point on the deformable mirror 13 and transmitted through the projection optical system 14 are collected on the focus surface 51, but cannot be condensed on the projection surface 50, and Φ1 in the figure. It becomes a circle with a diameter of the size represented by. In FIG. 12B, a light beam that is emitted from a representative point in a circle having a diameter Φ1 on the projection surface 50 and travels toward the image sensor 16 ′ is shown. The condensing position is a position farther than the image sensor 16 ′, and cannot be completely collected on the image sensor 16 ′, and becomes a circle having a diameter of Φ2 in the drawing. That is, the blur on the image pickup device 16 ′ is a blur in which the blur of the diameter Φ2 is further superimposed on the blur of the diameter Φ1.

本実施形態における投射画像のぼけの補正方法の一つは、形状可変ミラー13の微小ミラー130を適当に駆動し、撮像素子16´による取得画像の各領域のぼけが最小になる位置を探す方法である。すなわち、上記の関係の取得画像のぼけが最小のなる撮像素子16´上でのぼけの径は、Φ2であったので、撮像素子16´上でのぼけをΦ2になるように、微小ミラー130を調整することにより、Φ1=0、すなわち、投射画像のぼけがないように調整することができる。   One of the methods for correcting the blur of the projected image in the present embodiment is a method of driving the micro mirror 130 of the deformable mirror 13 appropriately and searching for a position where the blur of each area of the acquired image by the image sensor 16 ′ is minimized. It is. That is, since the diameter of the blur on the image sensor 16 ′ that minimizes the blur of the acquired image having the above relationship is Φ2, the micromirror 130 is set so that the blur on the image sensor 16 ′ becomes Φ2. Can be adjusted so that Φ1 = 0, that is, there is no blur of the projected image.

ぼけの補正方法の今一つの方法は、投射光学系14のフォーカス位置が固定であれば、デフォーカス量と撮像素子16´上のぼけ量は、対応する関係にあることを利用する方法である。画像比較部32は、撮像素子16´上による取得画像の各領域のぼけ量を演算し、制御部33は、当該ぼけ量の情報と投射光学系14のフォーカス位置の設定の情報を取得し、これらの情報からデフォーカス量を求め、形状可変ミラー13に対して各領域に対応する微小ミラーを、当該デフォーカス量を補正する位置に移動させるように制御信号を出力することによりぼけを補正することができる。   Another method for correcting the blur is to use the fact that the defocus amount and the blur amount on the image sensor 16 ′ have a corresponding relationship if the focus position of the projection optical system 14 is fixed. The image comparison unit 32 calculates the blur amount of each area of the acquired image on the image sensor 16 ′, and the control unit 33 acquires the blur amount information and the focus position setting information of the projection optical system 14, The defocus amount is obtained from these pieces of information, and the blur is corrected by outputting a control signal so that the micro mirror corresponding to each region is moved to the position where the defocus amount is corrected with respect to the deformable mirror 13. be able to.

本実施形態では、投射光学系と撮像光学系が共通なので、図3に示したような取得画像の幾何的な変換による形状補正が不要であり、そのため第一実施形態よりも高い精度でぼけを検出することができ、画像投射装置と投射面との距離の変動によるぼけを抑制することができる。また、撮像光学系を省略できるので第一の実施形態よりも製造コストを低減することが期待できる。   In the present embodiment, since the projection optical system and the imaging optical system are common, shape correction by geometric conversion of the acquired image as shown in FIG. 3 is unnecessary, so blurring is performed with higher accuracy than in the first embodiment. It is possible to detect, and blur due to a change in the distance between the image projection apparatus and the projection surface can be suppressed. Further, since the imaging optical system can be omitted, it can be expected that the manufacturing cost is reduced as compared with the first embodiment.

1…光源
2…インテグレータレンズ
3、5…ダイクロミラー
4、6、7…ミラー
8a、8b、8c…液晶素子
9…ダイクロプリズム
10…レンズ系
11…偏光プリズム
12、20…1/4波長板
13…形状可変ミラー
14…投射光学系
15…撮像光学系
16…撮像素子
17…撮像装置
18…円筒レンズ
19…距離検出部
31…画像出力部
32…画像比較部
33…制御部
50…投射面
100、101、102…画像投射装置(実施形態1、実施形態2、実施形態3)
DESCRIPTION OF SYMBOLS 1 ... Light source 2 ... Integrator lens 3, 5 ... Dichroic mirror 4, 6, 7 ... Mirror 8a, 8b, 8c ... Liquid crystal element 9 ... Dichroic prism 10 ... Lens system 11 ... Polarizing prism 12, 20 ... 1/4 wavelength plate 13 ... shape variable mirror 14 ... projection optical system 15 ... imaging optical system 16 ... imaging element 17 ... imaging device 18 ... cylindrical lens 19 ... distance detection unit 31 ... image output unit 32 ... image comparison unit 33 ... control unit 50 ... projection surface 100 , 101, 102... Image projection apparatus (Embodiment 1, Embodiment 2, Embodiment 3)

Claims (5)

入力画像データに基づく光学像を投射面に投射する画像投射装置であって、
光を発する光源と、
前記光源からの光を前記入力画像データに基づいて変調して光学像を形成する光変調器と、
複数の微小ミラーにより構成されている形状可変ミラーと、
前記形状可変ミラー上に前記光変調器で形成された光学像を導く第1の光学系と、
前記形状可変ミラーにより反射された光学像を前記投射面に投射す第2の光学系と、
前記投射面上の投射光学像を撮像する撮像装置と、
前記入力画像データと前記撮像装置により撮像された前記投射光学像の撮像データを入力する画像比較部と、
前記形状可変ミラーを制御する制御部とを有しており、
前記画像比較部は、前記入力画像データと前記撮像装置により撮像された前記投射光学像の撮像データを比較演算し、前記投射光学像のぼけ補正量を、前記投射光学像の分割された各々の領域ごとに求め、
前記制御部は、各々の領域ごとに求められた前記投射光学像のぼけ補正量に基づいて、前記各々の領域に対応する前記形状可変ミラーの微小ミラーの位置を移動させて、前記各々の領域に対応するフォーカスを個別に制御することを特徴とする画像投射装置。
An image projection device for projecting an optical image based on input image data onto a projection surface,
A light source that emits light;
An optical modulator that modulates light from the light source based on the input image data to form an optical image;
A variable shape mirror composed of a plurality of micromirrors;
A first optical system for guiding an optical image formed by the light modulator on the deformable mirror;
A second optical system that projects the optical image reflected by the deformable mirror onto the projection surface;
An imaging device for imaging a projection optical image on the projection surface;
An image comparison unit that inputs the input image data and imaging data of the projection optical image captured by the imaging device;
A control unit for controlling the deformable mirror,
The image comparison unit compares the input image data with imaging data of the projection optical image captured by the imaging device, and calculates a blur correction amount of the projection optical image for each of the divided projection optical images. Seeking for each area,
The control unit moves the position of the minute mirror of the deformable mirror corresponding to each region based on the blur correction amount of the projection optical image obtained for each region, and each region An image projection apparatus characterized by individually controlling the focus corresponding to.
前記撮像装置内に円筒レンズが配置されていることを特徴とする請求項1記載の画像投射装置。 The image projection apparatus according to claim 1, wherein a cylindrical lens is disposed in the imaging apparatus. 前記画像比較部は、前記撮像装置の撮像素子に形成される像を分割された各々の領域ごとに解析し、像内の直交する二つの方向のぼけ量を比較した結果に基づき、前記制御部に、前記形状可変ミラーを構成する微小ミラーのうち対応する微小ミラーに対して移動方向の指示を与えることを特徴とする請求項2記載の画像投射装置。 The image comparison unit analyzes an image formed on the image sensor of the imaging device for each divided region, and based on a result of comparing blur amounts in two orthogonal directions in the image, the control unit The image projection apparatus according to claim 2, wherein an instruction of a moving direction is given to a corresponding minute mirror among the minute mirrors constituting the variable shape mirror. 前記投射面に画像投射するための前記第2の光学系の一部が、前記撮像装置の撮像光学系の一部と共通であることを特徴する請求項1記載の画像投射装置。 The image projection apparatus according to claim 1, wherein a part of the second optical system for projecting an image on the projection surface is common with a part of the imaging optical system of the imaging apparatus. 入力画像データに基づく光学像を投射面に投射する画像投射装置であって、
光を発する光源と、
前記光源からの光を前記入力画像データに基づいて変調して光学像を形成する光変調器と、
複数の微小ミラーにより構成されている形状可変ミラーと、
前記形状可変ミラー上に前記光変調器で形成された光学像を導く第1の光学系と、
前記形状可変ミラーにより反射された光学像を前記投射面に投射する第2の光学系と、
前記投射面までの距離を測定する距離検出部と、
前記形状可変ミラーを制御する制御部とを有しており、
前記第2の光学系は、該第2の光学系のフォーカス位置に関する情報を前記制御部に出力し、
前記距離検出部は、前記投射面の分割された各々の領域ごとに、該投射面の各々の領域までの距離を検出して前記制御部に出力し、
前記制御部は、前記第2の光学系から入力される該第2の光学系のフォーカス位置に関する情報と、前記距離検出部から入力される前記投射面の各々の領域までの距離に基づいて、前記各々の領域に対応する前記形状可変ミラーの微小ミラーの位置を移動させて、前記各々の領域のフォーカスを個別に制御することを特徴とする画像投射装置。
An image projection device for projecting an optical image based on input image data onto a projection surface,
A light source that emits light;
An optical modulator that modulates light from the light source based on the input image data to form an optical image;
A variable shape mirror composed of a plurality of micromirrors;
A first optical system for guiding an optical image formed by the light modulator on the deformable mirror;
A second optical system that projects the optical image reflected by the deformable mirror onto the projection surface;
A distance detector for measuring the distance to the projection surface;
A control unit for controlling the deformable mirror,
The second optical system outputs information on the focus position of the second optical system to the control unit,
The distance detection unit detects the distance to each region of the projection surface for each divided region of the projection surface, and outputs the distance to the control unit,
The control unit is based on information about the focus position of the second optical system input from the second optical system and the distance to each region of the projection surface input from the distance detection unit, An image projection apparatus characterized in that the focus of each region is individually controlled by moving the position of the minute mirror of the deformable mirror corresponding to each region.
JP2019082596A 2019-04-24 2019-04-24 Image projection device Active JP6664532B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019082596A JP6664532B2 (en) 2019-04-24 2019-04-24 Image projection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019082596A JP6664532B2 (en) 2019-04-24 2019-04-24 Image projection device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017551435A Division JP6522782B2 (en) 2015-11-18 2015-11-18 Image projection device

Publications (2)

Publication Number Publication Date
JP2019133190A true JP2019133190A (en) 2019-08-08
JP6664532B2 JP6664532B2 (en) 2020-03-13

Family

ID=67546138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019082596A Active JP6664532B2 (en) 2019-04-24 2019-04-24 Image projection device

Country Status (1)

Country Link
JP (1) JP6664532B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003233127A (en) * 2001-12-06 2003-08-22 Ctx Opto Electronics Corp Illumination method and apparatus for projection system
JP2008090257A (en) * 2006-06-30 2008-04-17 Konica Minolta Opto Inc Projection unit
JP2008257125A (en) * 2007-04-09 2008-10-23 Seiko Epson Corp Projection system, shape measuring device, and optical characteristic evaluation device
JP2009503590A (en) * 2005-07-28 2009-01-29 ステレオ ディスプレイ,インコーポレイテッド Micromirror array lens with free surface
JP2009524849A (en) * 2006-01-24 2009-07-02 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク System, method, and medium for capturing scene images and depth shapes to generate compensated images
JP2012151670A (en) * 2011-01-19 2012-08-09 Renesas Electronics Corp Image projection system and semiconductor integrated circuit

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003233127A (en) * 2001-12-06 2003-08-22 Ctx Opto Electronics Corp Illumination method and apparatus for projection system
JP2009503590A (en) * 2005-07-28 2009-01-29 ステレオ ディスプレイ,インコーポレイテッド Micromirror array lens with free surface
JP2009524849A (en) * 2006-01-24 2009-07-02 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク System, method, and medium for capturing scene images and depth shapes to generate compensated images
JP2008090257A (en) * 2006-06-30 2008-04-17 Konica Minolta Opto Inc Projection unit
JP2008257125A (en) * 2007-04-09 2008-10-23 Seiko Epson Corp Projection system, shape measuring device, and optical characteristic evaluation device
JP2012151670A (en) * 2011-01-19 2012-08-09 Renesas Electronics Corp Image projection system and semiconductor integrated circuit

Also Published As

Publication number Publication date
JP6664532B2 (en) 2020-03-13

Similar Documents

Publication Publication Date Title
WO2017085802A1 (en) Image projection device
JPWO2016121379A1 (en) Lens device and image projection device
US20210144307A1 (en) Control apparatus, control method, and storage medium
US11457148B2 (en) Image processing apparatus, imaging apparatus, and control method
US20180017382A1 (en) Measuring head and eccentricity measuring device including the same
JP5217630B2 (en) Projector and multi-projection system
JPH0564056A (en) Focusing device
JP7204505B2 (en) projection display
JP5556556B2 (en) Projector and keystone correction method
JP2019133190A (en) Image projection device
US20030174232A1 (en) Focus detecting system
JP2006065080A (en) Imaging device
JPS5926708A (en) Focusing method of zoom lens
JP2005017350A (en) Projector
JP2014131326A (en) Projector and trapezoidal distortion correction method
JPH09297259A (en) Focus detector
JP2016099432A (en) Focus detection device, and method, program and storage medium
JPH08327891A (en) Patterned light projecting device
JPH0560962A (en) Focusing device
JP5610929B2 (en) Imaging device
JP6209746B2 (en) Image projection device
JP2006184321A (en) Focus detecting device and optical equipment equipped with focus detecting device
JP2964586B2 (en) Camera image blur detection device
JP2005234071A (en) Projector device and projection image adjustment method
JPH02215282A (en) Moving body tracking device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200218

R150 Certificate of patent or registration of utility model

Ref document number: 6664532

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250