JP2012255883A - Image projection system - Google Patents

Image projection system Download PDF

Info

Publication number
JP2012255883A
JP2012255883A JP2011128411A JP2011128411A JP2012255883A JP 2012255883 A JP2012255883 A JP 2012255883A JP 2011128411 A JP2011128411 A JP 2011128411A JP 2011128411 A JP2011128411 A JP 2011128411A JP 2012255883 A JP2012255883 A JP 2012255883A
Authority
JP
Japan
Prior art keywords
image
unit
video
projection system
dimensional object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011128411A
Other languages
Japanese (ja)
Inventor
Junichi Fujita
潤一 藤田
Hiroyuki Matsuda
博幸 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Advanced Layers Inc
Original Assignee
Konica Minolta Advanced Layers Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Advanced Layers Inc filed Critical Konica Minolta Advanced Layers Inc
Priority to JP2011128411A priority Critical patent/JP2012255883A/en
Publication of JP2012255883A publication Critical patent/JP2012255883A/en
Pending legal-status Critical Current

Links

Landscapes

  • Mechanical Optical Scanning Systems (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image projection system which can correct an image according to deformation and/or displacement states of a three-dimensional object while dispensing with a dedicated screen and a connection between the screen and the projector.SOLUTION: An image correction unit IS does not correct image data for projection when determining that the projection plane of a three-dimensional object OBJ is not tilted on the basis of signals from an invisible light imaging unit CA having imaged an invisible light image projected so as to be superimposed on a visible light image, while performing affine transformation, trapezoidal correction and the like when determining that the projection plane is tilted.

Description

本発明は、映像投影システムに関し、例えばレーザビーム等を走査して映像を表示するタイプの映像投影システムに関するものである。   The present invention relates to a video projection system, for example, a video projection system of a type that displays a video by scanning a laser beam or the like.

例えば特許文献1には、スクリーンを回転するモータの駆動量をモニターすることで、スクリーンの変形/変位の状態を検出し、スクリーンが変形/変位しても、それに応じてプロジェクタの投影映像を観測者にとって歪みのない自然なものに補正して投影することが可能な画像形成装置が提案されている。   For example, in Patent Document 1, the amount of deformation / displacement of the screen is detected by monitoring the driving amount of a motor that rotates the screen, and even if the screen is deformed / displaced, the projection image of the projector is observed accordingly. There has been proposed an image forming apparatus capable of correcting and projecting a natural image without distortion for a person.

特開2009−180965号公報JP 2009-180965 A 特開2005−277900号公報JP-A-2005-277900

しかるに、特許文献1の技術では、スクリーンの状態を正確に検知するために、状態検知部が、スクリーンを回転させるモータと作動制御装置との間に介在しており、作動制御装置からモータに印加される電圧を図示しない電圧検知部によって検知し、この検知結果に基づいてスクリーンの向きを検知するようになっている。つまり特許文献1の技術では、機械的に変形/変位を制御可能な専用スクリーンが必要であり、かつその専用スクリーンの変形/変位状態を取得するために、スクリーンと投影装置とが接続されていなければならないという制約がある。又、装置構成が大がかりとなり、小型の投影装置には適用が困難である。   However, in the technique of Patent Document 1, in order to accurately detect the state of the screen, the state detection unit is interposed between the motor that rotates the screen and the operation control device, and is applied to the motor from the operation control device. The detected voltage is detected by a voltage detector (not shown), and the orientation of the screen is detected based on the detection result. In other words, the technique of Patent Document 1 requires a dedicated screen that can mechanically control deformation / displacement, and the screen and the projection device must be connected to obtain the deformation / displacement state of the dedicated screen. There is a restriction that it must be. Further, the apparatus configuration becomes large, and it is difficult to apply to a small projection apparatus.

一方、特許文献2には、立体的に変形するスクリーンの表面形状に応じて2次元の投影データを補償するデータ補償部を設け、そのデータ補償部により補償された投影データにしたがってスクリーンに画像を投影し、また、データ補償部がスクリーンに対するプロジェクタの相対的な位置を考慮して、2次元の投影データを補償することにより、スクリーンに表示する画像を変更することができ、また、スクリーンに対するプロジェクタの相対的な位置が変更されても、適正な画像をスクリーンに表示することができる技術が開示されている。   On the other hand, Patent Document 2 includes a data compensation unit that compensates two-dimensional projection data according to the surface shape of the screen that is three-dimensionally deformed, and an image is displayed on the screen according to the projection data compensated by the data compensation unit. An image displayed on the screen can be changed by projecting and compensating the two-dimensional projection data in consideration of the relative position of the projector with respect to the screen, and the projector with respect to the screen. A technique is disclosed in which an appropriate image can be displayed on the screen even if the relative position of the screen is changed.

しかしながら、特許文献2の技術によれば、形状検出部が、例えば、エンコーダを用いて、アクチュエータにおけるモータの回転量を監視することによって、スクリーンを変位させるアクチェータの駆動量をモニターすることで、スクリーンの変形/変位の状態を検出している。つまり特許文献2の技術では、機械的に変形/変位制御可能な専用スクリーンが必要であり、かつその専用スクリーンの変形/変位状態を取得するために、スクリーンと投影装置とが接続されていなければならないという制約がある。又、装置構成が大がかりとなり、小型の投影装置には適用が困難である。   However, according to the technique of Patent Document 2, the shape detection unit monitors the driving amount of the actuator that displaces the screen by monitoring the rotation amount of the motor in the actuator by using, for example, an encoder. The state of deformation / displacement is detected. That is, in the technique of Patent Document 2, a dedicated screen that can be mechanically deformed / displaced is required, and in order to acquire the deformed / displaced state of the dedicated screen, the screen and the projection device must be connected. There is a restriction that it must not. Further, the apparatus configuration becomes large, and it is difficult to apply to a small projection apparatus.

本発明は、上述の問題に鑑みてなされたものであり、専用スクリーンやスクリーン・プロジェクタ間の接続等も不要でありながらも、立体物の変形及び/又は変位状態に応じて映像の補正を行うことが出来る映像投影システムを提供することを目的とする。   The present invention has been made in view of the above-described problems, and corrects an image according to the deformation and / or displacement state of a three-dimensional object while requiring no connection between a dedicated screen and a screen / projector. An object of the present invention is to provide a video projection system that can perform the above.

請求項1に記載の映像投影システムは、
立体物に映像を投影する映像投影システムであって、
前記立体物に対して可視光映像を投影する可視光投影部と、
前記可視光映像上に不可視光映像を重畳させて投影する不可視光投影部と、
前記不可視光映像を含む領域を撮影する不可視光撮影部と、
前記不可視光撮影部からの信号に基づいて、前記可視光映像内に置かれた前記立体物の変形及び/又は変位状態の認識を行う形状認識部と、
前記形状認識部の認識結果に基づいて前記可視光映像を補正する映像補正部とを備えることを特徴とする。
The video projection system according to claim 1,
An image projection system that projects an image on a three-dimensional object,
A visible light projection unit that projects a visible light image onto the three-dimensional object;
An invisible light projection unit that projects an invisible light image superimposed on the visible light image;
An invisible light photographing unit for photographing an area including the invisible light image;
A shape recognition unit for recognizing deformation and / or displacement state of the three-dimensional object placed in the visible light image based on a signal from the invisible light photographing unit;
And a video correction unit that corrects the visible light video based on a recognition result of the shape recognition unit.

本発明によれば、前記不可視光投影部が、前記可視光映像上に不可視光映像を重畳させて投影するので、観察者は不可視光に邪魔されずに可視光映像を楽しむことができ、又、前記不可視光撮影部が、前記不可視光映像を含む領域を撮影し、前記形状認識部が、前記不可視光撮影部からの信号に基づいて、前記可視光映像内に置かれた前記立体物の変形及び/又は変位状態の認識を行うので、前記映像補正部が、前記形状認識部の認識結果に基づいて前記可視光映像を補正することができ、これにより専用スクリーンやスクリーン・プロジェクタ間の接続等も不要でありながらも、立体物の変形及び/又は変位状態に応じて映像の補正を適切に行うことができる。尚、「可視光」とは、例えば波長帯域が700nm以下の光をいい、「不可視光」とは、波長帯域が700nmを超える光をいうものとするが、両者の境は700nmに限られない。   According to the present invention, since the invisible light projection unit projects the invisible light image superimposed on the visible light image, the observer can enjoy the visible light image without being disturbed by the invisible light. The invisible light photographing unit photographs an area including the invisible light image, and the shape recognizing unit detects the three-dimensional object placed in the visible light image based on a signal from the invisible light photographing unit. Since the deformation and / or displacement state is recognized, the image correction unit can correct the visible light image based on the recognition result of the shape recognition unit, thereby connecting the dedicated screen or the screen projector. However, the image can be appropriately corrected according to the deformation and / or displacement state of the three-dimensional object. “Visible light” means, for example, light having a wavelength band of 700 nm or less, and “invisible light” means light having a wavelength band exceeding 700 nm, but the boundary between them is not limited to 700 nm. .

請求項2に記載の映像投影システムは、請求項1に記載の発明において、前記立体物が、経時的に変形及び/又は変位することを特徴とする。本発明によれば、前記立体物が、経時的に変形及び/又は変位する場合にも、これに追従して映像の補正を適切に行うことができる。   A video projection system according to a second aspect is the invention according to the first aspect, wherein the three-dimensional object is deformed and / or displaced over time. According to the present invention, even when the three-dimensional object is deformed and / or displaced over time, the image can be appropriately corrected following this.

請求項3に記載の映像投影システムは、請求項1又は2に記載の発明において、前記可視光投影部は、出射光を走査することで映像を投影し、前記形状認識部は、三角測量による距離情報の取得を用いて形状認識を行うことを特徴とする。出射光を走査することで映像を投影するものとして、レーザスキャンタイプの映像投影システムが開発されている。このようなレーザスキャンタイプの映像投影システムでは、異なる3色の光を出射するレーザが設けられているので、これに加えて赤外レーザを搭載することで、本発明を構成できる。   According to a third aspect of the present invention, in the video projection system according to the first or second aspect, the visible light projection unit projects an image by scanning the emitted light, and the shape recognition unit is based on triangulation. Shape recognition is performed using acquisition of distance information. A laser scan type image projection system has been developed to project an image by scanning the emitted light. In such a laser scan type image projection system, lasers emitting three different colors of light are provided, and in addition to this, the present invention can be configured by mounting an infrared laser.

請求項4に記載の映像投影システムは、請求項1〜3のいずれかに記載の発明において、前記立体物は多面体であり、前記形状認識部は、前記不可視光撮影部からの信号に基づいて前記多面体の面を認識し、前記映像補正部は、前記形状認識部の認識結果に基づき、前記多面体の面ごとに独立した映像となるよう可視光映像を補正することを特徴とする。これにより、例えば多面体の各面に異なる映像を投影するとともに、面の傾きに応じて、投影される映像を補正できる。   The video projection system according to a fourth aspect is the invention according to any one of the first to third aspects, wherein the three-dimensional object is a polyhedron, and the shape recognition unit is based on a signal from the invisible light photographing unit. The surface of the polyhedron is recognized, and the image correction unit corrects the visible light image so as to be an independent image for each surface of the polyhedron based on the recognition result of the shape recognition unit. Thereby, for example, different images can be projected on each surface of the polyhedron, and the projected image can be corrected according to the inclination of the surface.

請求項5に記載の映像投影システムは、請求項4に記載の発明において、前記多面体が直方体であることを特徴とする。   According to a fifth aspect of the present invention, in the video projection system according to the fourth aspect, the polyhedron is a rectangular parallelepiped.

本発明によれば、専用スクリーンが不要であり、スクリーンとプロジェクタと間の接続も不要であるにも関わらず、スクリーンが変形/変位しても、それに応じてプロジェクタの投影映像を観測者にとって歪みのない自然なものに補正して投影することが可能な映像投影システムを提供できる。   According to the present invention, even if the screen is deformed / displaced even though the dedicated screen is not required and the connection between the screen and the projector is not required, the projected image of the projector is accordingly distorted for the observer. It is possible to provide a video projection system capable of correcting and projecting the image to a natural one with no image.

実施の形態による映像投影システムPSの概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of a video projection system PS according to an embodiment. 映像投影システムPSの具体的構成を示すブロック図である。It is a block diagram which shows the specific structure of video projection system PS. 光スキャナ9の詳細な構成を示す平面図である。3 is a plan view showing a detailed configuration of the optical scanner 9. FIG. 2次元走査ミラー15の図2のIV-IV方向の断面図である。4 is a cross-sectional view of the two-dimensional scanning mirror 15 in the IV-IV direction of FIG. 2次元走査ミラー15を用いたレーザビームWの偏向を行う状態を表示する図である。It is a figure which displays the state which deflects the laser beam W using the two-dimensional scanning mirror. 映像補正の態様を示すフローチャートである。It is a flowchart which shows the aspect of an image correction. 直方体を回転軸線方向に見た図である。It is the figure which looked at the rectangular parallelepiped in the rotation axis direction. 単位角度毎に回転する直方体の面に投影した映像を示す図である。It is a figure which shows the image | video projected on the surface of the rectangular parallelepiped rotated for every unit angle. 直方体の面に投影した映像を示す図である。It is a figure which shows the image | video projected on the surface of the rectangular parallelepiped.

以下、図面を参照して本発明の実施の形態を詳細に説明する。図1は、本発明の実施の形態による映像投影システムPSの概略構成を示すブロック図である。図1において、映像投影システムPSは、立体物OBJに対して可視光映像を投影する可視光投影部PJ1と、前記可視光映像上に不可視光映像を重畳させて投影する不可視光投影部PJ2と、前記不可視光映像を含む領域を撮影する不可視光撮影部(ここでは赤外線カメラ)CAと、前記不可視光撮影部からの信号に基づいて、前記可視光映像内に置かれた立体物OBJの変形及び/又は変位状態の認識を行う形状認識部MRと、形状認識部MRの認識結果に基づいて前記可視光映像を補正する映像補正部ISとを備える。ここでは、映像と画像の用語を同義で用いる。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a video projection system PS according to an embodiment of the present invention. In FIG. 1, a video projection system PS includes a visible light projection unit PJ1 that projects a visible light image onto a three-dimensional object OBJ, and an invisible light projection unit PJ2 that projects an invisible light image superimposed on the visible light image. Based on a signal from an invisible light photographing unit (here, an infrared camera) CA that captures an area including the invisible light image, and a signal from the invisible light photographing unit, a three-dimensional object OBJ placed in the visible light image And / or a shape recognition unit MR for recognizing a displacement state, and an image correction unit IS for correcting the visible light image based on the recognition result of the shape recognition unit MR. Here, the terms video and image are used synonymously.

より具体的に、映像投影システムPSを説明する。図2は、映像投影システムPSの具体的構成を示すブロック図である。映像投影システムPSは、例えば光スキャナプロジェクタに搭載され、レーザ光源7(7r,7g,7b,7IR)、コリメータCL(CLr、CLg、CLb、CLIR)、レーザ制御部100、ダイクロミラー8(8r,8g,8b、8IR)、ハーフミラーHF、検出器PD、光スキャナ9(走査部)、位相検出部110、及び同期信号出力部120を備えている。   More specifically, the video projection system PS will be described. FIG. 2 is a block diagram showing a specific configuration of the video projection system PS. The image projection system PS is mounted on, for example, an optical scanner projector, and includes a laser light source 7 (7r, 7g, 7b, 7IR), a collimator CL (CLr, CLg, CLb, CLIR), a laser control unit 100, and a dichroic mirror 8 (8r, 8g, 8b, 8IR), a half mirror HF, a detector PD, an optical scanner 9 (scanning unit), a phase detection unit 110, and a synchronization signal output unit 120.

駆動手段としてのレーザ制御部100は、フレームメモリ2、映像処理用メモリ3,ラインバッファメモリ4、表示コントローラ5、駆動部である変調器6(6r,6g,6b,6IR)、ドライバ13及びシステムコントローラ14を備え、レーザ光源7を制御する。   The laser control unit 100 as a driving means includes a frame memory 2, a video processing memory 3, a line buffer memory 4, a display controller 5, a modulator 6 (6r, 6g, 6b, 6IR) as a driving unit, a driver 13, and a system. A controller 14 is provided to control the laser light source 7.

フレームメモリ2は、水平同期信号及び垂直同期信号に基づいて、主映像の映像データ(以下、「主映像データ」と表す。)を1フレーム単位で一時的に記憶する。ここで、主映像としては、例えば、映画、テレビ番組等が挙げられる。なお、主映像データは、例えばR,G,Bの色成分からなるカラーの映像データとするが、モノクロの映像データであってもよい。   The frame memory 2 temporarily stores video data of the main video (hereinafter referred to as “main video data”) in units of one frame based on the horizontal synchronization signal and the vertical synchronization signal. Here, examples of the main video include a movie and a television program. The main video data is, for example, color video data composed of R, G, and B color components, but may be monochrome video data.

映像処理用メモリ3に記憶された映像データは、表示映像の歪みを補正する処理等を施される。   The video data stored in the video processing memory 3 is subjected to processing for correcting distortion of the displayed video.

ラインバッファメモリ4は、映像処理用メモリ3の第1の領域と第2の領域から交互に、水平方向の複数ライン単位で順次に出力される主映像データを記憶する。   The line buffer memory 4 stores main video data sequentially output in units of a plurality of lines in the horizontal direction alternately from the first area and the second area of the video processing memory 3.

映像補正部ISの機能を備える表示コントローラ5は、水平同期信号及び垂直同期信号に基づいて、フレームメモリ2への1フレームの主映像データの書き込み制御、形状認識部MRからの形状情報に基づく映像処理用メモリ3における映像処理、映像処理用メモリ3からラインバッファメモリ4への映像データの書き込み制御、及びラインバッファメモリ4から映像データを1画素単位で順次に変調器6に出力させる制御等を行う。ここで、ライバッファメモリ4に記憶された映像データは、R色成分が変調器6rに出力され、G色成分が変調器6gに出力され、B色成分が変調器6bに出力され、赤外成分が変調器6IRに出力される。   The display controller 5 having the function of the video correction unit IS controls the writing of main video data of one frame to the frame memory 2 based on the horizontal synchronization signal and the vertical synchronization signal, and the video based on the shape information from the shape recognition unit MR. Video processing in the processing memory 3, video data writing control from the video processing memory 3 to the line buffer memory 4, and control for sequentially outputting video data from the line buffer memory 4 to the modulator 6 in units of one pixel. Do. Here, in the video data stored in the live buffer memory 4, the R color component is output to the modulator 6r, the G color component is output to the modulator 6g, and the B color component is output to the modulator 6b. The component is output to the modulator 6IR.

具体的には、表示コントローラ5は、同期信号出力部120から垂直同期信号が入力されると、1フレーム分の主映像データをフレームメモリ2に記憶させる。また、ラインバッファメモリ4に、記憶された副映像データの先頭の1ライン分を記憶させる。そして、ラインバッファメモリ4に記憶された副映像データを1画素単位で順次に変調器6に出力させる。   Specifically, the display controller 5 stores the main video data for one frame in the frame memory 2 when a vertical synchronization signal is input from the synchronization signal output unit 120. Further, the first line of the stored sub-picture data is stored in the line buffer memory 4. Then, the sub-picture data stored in the line buffer memory 4 is sequentially output to the modulator 6 in units of one pixel.

そして、水平同期信号が入力されると、ラインバッファメモリ4に次の1ライン分の副映像データを記憶させ、ラインバッファメモリ4から次の1ライン分の副映像データを1画素単位で順次に変調器6に出力させる。これにより、立体物OBJに主映像データで強度が変調されたレーザビームがラスター走査され、主映像が表示されることになる。ラスター走査が画面右下まで行われれば、再びレーザビームを画面左上まで戻す。その間に、フレームバッファ2には新たな映像データが読み込まれ、上述のようにして、次の映像を表示する準備がなされる。以上を繰り返すことで、複数枚の映像を表示できる。   When the horizontal synchronization signal is input, the sub-video data for the next line is stored in the line buffer memory 4, and the sub-video data for the next line is sequentially stored in units of one pixel from the line buffer memory 4. The signal is output to the modulator 6. As a result, the three-dimensional object OBJ is raster-scanned with the laser beam whose intensity is modulated with the main video data, and the main video is displayed. When raster scanning is performed to the lower right of the screen, the laser beam is returned to the upper left of the screen again. In the meantime, new video data is read into the frame buffer 2 and preparation for displaying the next video is made as described above. By repeating the above, a plurality of images can be displayed.

変調器6(6r,6g,6b,6IR)は、それぞれラインバッファメモリ4から1画素単位で順次に出力される映像データのR,G,B,IR(赤外)成分を用いて、レーザ光源7r,7g,7b,7IRから射出されるR,G,B、赤外光のレーザビームの強度を変調する。   The modulator 6 (6r, 6g, 6b, 6IR) uses the R, G, B, IR (infrared) components of the video data sequentially output from the line buffer memory 4 in units of one pixel, respectively. Modulates the intensity of the R, G, B, and infrared laser beams emitted from 7r, 7g, 7b, and 7IR.

レーザ光源7r,7g,7b、7IRは、例えば、レーザダイオードにより構成され、それぞれ、赤(R)、緑(G)、青(B)、赤外光のレーザビームを射出する。コリメータCLr、CLg、CLb、CLIRは、赤(R)、緑(G)、青(B)、赤外光のレーザビームを平行ビームに変換する。レーザ光源7r,7g,7bが可視光投影部を構成し、レーザ光源7IRが不可視光投影部を構成する。   The laser light sources 7r, 7g, 7b, and 7IR are constituted by, for example, laser diodes, and emit red (R), green (G), blue (B), and infrared laser beams, respectively. The collimators CLr, CLg, CLb, and CLIR convert red (R), green (G), blue (B), and infrared laser beams into parallel beams. The laser light sources 7r, 7g, and 7b constitute a visible light projection unit, and the laser light source 7IR constitutes an invisible light projection unit.

ダイクロミラー8(8r,8g,8b、8IR)は、レーザ光源7r,7g,7b、7IRから射出されたレーザビームを合波して、一本のレーザビームWにする。検出器PDは、検出面を有し、ハーフミラーHFにより反射されたレーザビームWの一部を検出する。   The dichroic mirror 8 (8r, 8g, 8b, 8IR) combines the laser beams emitted from the laser light sources 7r, 7g, 7b, 7IR into a single laser beam W. The detector PD has a detection surface and detects a part of the laser beam W reflected by the half mirror HF.

光スキャナ9は、例えば2次元の光スキャナにより構成され、水平同期信号及び垂直同期信号に基づいて、レーザビームWを2次元的に走査(ラスター走査)し、立体物OBJに映像を表示する。立体物OBJは、ラスター走査されるレーザビームWが投影されて、映像を表示させる。   The optical scanner 9 is constituted by a two-dimensional optical scanner, for example, and scans the laser beam W two-dimensionally (raster scanning) based on the horizontal synchronization signal and the vertical synchronization signal, and displays an image on the three-dimensional object OBJ. The three-dimensional object OBJ is projected with a laser beam W that is raster-scanned to display an image.

検出器PDは、レーザ光源7r,7g,7bから射出されるレーザビームの強度を各々モニタし、モニタ信号を変調器6r,6g,6bに出力する機能も有する。なお、変調器6r,6g,6bは、このモニタ信号から、レーザビームの強度の時間平均値が既定値になるようにレーザ光源7r,7g,7bをAPC(auto power control)制御する。これにより、レーザビームの発振強度が安定化されると共に、レーザ光源7の破損が防止される。   The detector PD also has a function of monitoring the intensity of the laser beam emitted from each of the laser light sources 7r, 7g, and 7b and outputting a monitor signal to the modulators 6r, 6g, and 6b. The modulators 6r, 6g, and 6b perform APC (auto power control) control of the laser light sources 7r, 7g, and 7b from the monitor signal so that the time average value of the intensity of the laser beam becomes a predetermined value. Thereby, the oscillation intensity of the laser beam is stabilized and the laser light source 7 is prevented from being damaged.

センサである位置検出部(PR)12は、例えば赤外発光ダイオード等の発光素子及びフォトトランジスタ等の受光素子を含むフォトリフレクタにより構成され、発光素子から出力された光を対象物であるミラー部16(図3参照)に当て、反射光を受光素子で検出し、ミラー部16の水平方向及び垂直方向の傾斜角度を示す検出信号をシステムコントローラ14及び位相検出部110に出力する。尚、位置検出部12は、光スキャナ9の圧電素子(ピエゾ)の抵抗を測定するタイプのものでも良い。   The position detection unit (PR) 12 as a sensor is configured by a photo reflector including a light emitting element such as an infrared light emitting diode and a light receiving element such as a phototransistor. 16 (see FIG. 3), the reflected light is detected by the light receiving element, and a detection signal indicating the horizontal and vertical inclination angles of the mirror unit 16 is output to the system controller 14 and the phase detection unit 110. The position detector 12 may be of a type that measures the resistance of a piezoelectric element (piezo) of the optical scanner 9.

システムコントローラ14は、主映像を表示しない場合、映像を表示しない黒映像を表示するように表示コントローラ5に指示する。又、システムコントローラ14は、ドライバ13を介して光スキャナ9への駆動信号を出力する。   When the main video is not displayed, the system controller 14 instructs the display controller 5 to display a black video that does not display the video. Further, the system controller 14 outputs a drive signal to the optical scanner 9 via the driver 13.

位相検出部110は、位置検出部12により検出された検出信号を用いてミラー部16の水平方向及び垂直方向の傾斜角度を検出する。   The phase detection unit 110 detects the horizontal and vertical tilt angles of the mirror unit 16 using the detection signal detected by the position detection unit 12.

同期信号出力部120は、位相検出部110により検出されたミラー部16の傾斜角度に基づいて水平同期信号及び垂直同期信号を表示コントローラ5に出力する。ここで、同期信号出力部120は、位相検出部110により検出された水平方向の傾斜角度が1ラインの走査を開始する角度となった場合に水平同期信号を出力すればよい。また、同期信号出力部120は、位相検出部110により垂直方向の傾斜角度が1フレームの先頭の1ラインの走査を開始する角度となった場合に垂直同期信号を出力すればよい。   The synchronization signal output unit 120 outputs a horizontal synchronization signal and a vertical synchronization signal to the display controller 5 based on the tilt angle of the mirror unit 16 detected by the phase detection unit 110. Here, the synchronization signal output unit 120 may output a horizontal synchronization signal when the horizontal inclination angle detected by the phase detection unit 110 becomes an angle at which scanning of one line starts. In addition, the synchronization signal output unit 120 may output a vertical synchronization signal when the phase detection unit 110 sets the vertical inclination angle to the angle at which scanning of the first line of one frame starts.

不可視光撮影部CAは、赤外光映像を撮影できる赤外光カメラであって、スクリーンである立体物OBJに投影された不可視光映像を含む領域を撮影する。形状認識部MRは、不可視光撮影部CAからの信号に基づいて、三角測量の原理により、可視光映像内に置かれた立体物OBJの変形及び/又は変位状態の認識を行う。映像補正部IS(表示コントローラ5)は、形状認識部MRの認識結果に基づいて、映像処理メモリ3内の主映像データを補正する。   The invisible light photographing unit CA is an infrared camera capable of photographing an infrared light image, and photographs an area including the invisible light image projected on the three-dimensional object OBJ that is a screen. The shape recognition unit MR recognizes the deformation and / or the displacement state of the three-dimensional object OBJ placed in the visible light image based on the triangulation principle based on the signal from the invisible light photographing unit CA. The video correction unit IS (display controller 5) corrects the main video data in the video processing memory 3 based on the recognition result of the shape recognition unit MR.

尚、特開2003−346130号公報等に開示された三角測量を用いた技術により、立体物OBJに投影された赤外光映像を、不可視光撮影部CAの撮像素子で撮像し、画素毎に映像投影システムPSから立体物OBJまでの距離を求めることができる。   In addition, the infrared light image projected on the three-dimensional object OBJ is imaged by the imaging element of the invisible light photographing unit CA by the technique using triangulation disclosed in Japanese Patent Application Laid-Open No. 2003-346130 and the like. The distance from the video projection system PS to the three-dimensional object OBJ can be obtained.

次に、光スキャナ9の動作について説明する。図3は、光スキャナ9の詳細な構成を示す平面図である。光スキャナ9は、2次元走査ミラー15により構成され、2次元走査ミラー15を固定する固定枠70と、固定枠70の内側に可動部分として枠状に形成された可動枠30と、可動枠30の内側に形成された方形状のミラー部16とを備えている。   Next, the operation of the optical scanner 9 will be described. FIG. 3 is a plan view showing a detailed configuration of the optical scanner 9. The optical scanner 9 includes a two-dimensional scanning mirror 15, a fixed frame 70 that fixes the two-dimensional scanning mirror 15, a movable frame 30 that is formed as a movable part inside the fixed frame 70, and a movable frame 30. And a square-shaped mirror portion 16 formed inside.

ミラー部16は、ミラー部16の中心を通るY軸に沿って外方へ延びるトーションバー21,22を介して、Y軸方向の両側から可動枠30に弾性的に支持されている。また、可動枠30は、Y軸に直交し、ミラー部16の中心を通るX軸近傍の端部30a,30b,30c,30dのそれぞれに一端が接続された曲がり梁41,42,43,44により、X軸の両側から固定枠70に弾性的に支持されている。これらの固定枠70、曲がり梁41〜44、可動枠30、ミラー部16、及びトーションバー21,22は、シリコン基板の異方性エッチングにより一体的に形成されている。   The mirror unit 16 is elastically supported by the movable frame 30 from both sides in the Y-axis direction via torsion bars 21 and 22 that extend outward along the Y-axis passing through the center of the mirror unit 16. In addition, the movable frame 30 is bent beams 41, 42, 43, 44 having one end connected to each of the end portions 30a, 30b, 30c, 30d in the vicinity of the X axis that are orthogonal to the Y axis and pass through the center of the mirror portion 16. Thus, the fixing frame 70 is elastically supported from both sides of the X axis. The fixed frame 70, the bending beams 41 to 44, the movable frame 30, the mirror portion 16, and the torsion bars 21 and 22 are integrally formed by anisotropic etching of the silicon substrate.

また、ミラー部16の表面には、金やアルミニウム等の金属薄膜による反射膜が形成されており、入射光線の反射率が高められている。また、曲がり梁41,42,43,44の表面には、電気−機械変換素子である圧電素子51,52,53,54が接着等により貼り付けられ、4つのユニモルフ部61,62,63,64が形成されている。曲がり梁41〜44は、圧電素子51〜54の曲げ変形により、可動枠30にY軸及びX軸回りに独立に傾動トルクを作用させ、可動枠30をY軸及びX軸を2軸で回動させる。   In addition, a reflection film made of a metal thin film such as gold or aluminum is formed on the surface of the mirror portion 16, and the reflectance of incident light is increased. In addition, piezoelectric elements 51, 52, 53, and 54, which are electro-mechanical conversion elements, are attached to the surfaces of the bending beams 41, 42, 43, and 44 by bonding or the like, and the four unimorph portions 61, 62, 63, 64 is formed. The bending beams 41 to 44 cause tilting torque to act independently on the movable frame 30 around the Y axis and the X axis by bending deformation of the piezoelectric elements 51 to 54, and rotate the movable frame 30 about the Y axis and the X axis. Move.

ここで、可動枠30の回動動作について図4を用いて説明する。図4(a)〜(e)は2次元走査ミラー15の図3のIV-IV方向の断面図である。なお、図4(a)は静止時を示し、図4(b)〜(e)は駆動時を示している。   Here, the rotation operation of the movable frame 30 will be described with reference to FIG. 4A to 4E are cross-sectional views of the two-dimensional scanning mirror 15 in the IV-IV direction of FIG. 4A shows a stationary state, and FIGS. 4B to 4E show a driving state.

図4(a)に示すように、圧電素子51,52の表裏には、それぞれ上部プラス(+)電極511,521、下部マイナス(−)電極512、522が設けられており、上部(+)電極511(521)と下部(−)電極512(522)との間に分極反転を起こさない範囲で交流電圧を印加することで、圧電素子51、52を伸縮させ、ユニモルフ部61,62を厚み方向に変位させる。同様に、圧電素子53,54の表裏には、それぞれ上部(+)電極531,541(図略)、下部(−)電極532,542(図略)が設けられている。   As shown in FIG. 4 (a), upper and lower (+) electrodes 511 and 521 and lower minus (−) electrodes 512 and 522 are provided on the front and back sides of the piezoelectric elements 51 and 52, respectively. By applying an AC voltage between the electrode 511 (521) and the lower (−) electrode 512 (522) in a range that does not cause polarization reversal, the piezoelectric elements 51 and 52 are expanded and contracted, and the unimorph portions 61 and 62 are thickened. Displace in the direction. Similarly, upper (+) electrodes 531 and 541 (not shown) and lower (−) electrodes 532 and 542 (not shown) are provided on the front and back surfaces of the piezoelectric elements 53 and 54, respectively.

最初に、X軸回りの回動動作について説明する。ドライバ13が圧電素子51に伸びる方向の電圧を印加し、圧電素子52に圧電素子51と逆位相の縮む方向の電圧を印加すると、ユニモルフ部61,62の一端は、固定枠70に固定・保持されているので、図4(b)に示すように、ユニモルフ部61は下方に曲がり、一方、ユニモルフ部62は上方に曲がる。同様に、圧電素子53,54にも圧電素子51,52とそれぞれ同じ位相の電圧を印加すると、ユニモルフ部63は下方に曲がり、一方、ユニモルフ部64は上方に曲がる。   First, the rotation operation around the X axis will be described. When a voltage in the direction in which the driver 13 extends to the piezoelectric element 51 is applied and a voltage in a direction in which the phase opposite to that of the piezoelectric element 51 is contracted is applied to the piezoelectric element 52, one end of each of the unimorph portions 61 and 62 is fixed and held on the fixed frame 70. Therefore, as shown in FIG. 4B, the unimorph portion 61 bends downward, while the unimorph portion 62 bends upward. Similarly, when voltages having the same phase as the piezoelectric elements 51 and 52 are applied to the piezoelectric elements 53 and 54, the unimorph part 63 bends downward, while the unimorph part 64 bends upward.

これにより、可動枠30にはX軸を中心とした傾動トルクが作用し、可動枠30はX軸を中心として矢印P方向に傾く。また、圧電素子51〜54に、図4(b)の場合とは逆位相の電圧を印加すると、前述と同様の原理で、図4(c)に示すように、可動枠30にはX軸を中心とした傾動トルクが作用し、X軸を中心として矢印Q方向に傾く。そして、圧電素子51〜54にこのような位相関係を保った交流電圧を印加すると、ユニモルフ部61〜64は、交流電圧に追従して上下方向の振動を繰り返し、可動枠30にシーソー的な傾動トルクが作用され、可動枠30はX軸を中心として所定変位角度まで回転振動する。   As a result, tilting torque about the X axis acts on the movable frame 30, and the movable frame 30 tilts in the direction of arrow P about the X axis. Further, when a voltage having a phase opposite to that in the case of FIG. 4B is applied to the piezoelectric elements 51 to 54, the movable frame 30 has an X axis as shown in FIG. Tilt torque about the X axis acts and tilts in the direction of arrow Q about the X axis. When an AC voltage that maintains such a phase relationship is applied to the piezoelectric elements 51 to 54, the unimorph parts 61 to 64 follow the AC voltage and repeat vertical vibrations so that the movable frame 30 tilts like a seesaw. Torque is applied, and the movable frame 30 rotates and vibrates up to a predetermined displacement angle about the X axis.

次に、Y軸回りの回動動作について説明する。ドライバ13が圧電素子51,52のいずれにも伸びる方向の電圧を印加すると、それぞれのユニモルフ部61,62の一端は、固定枠70に固定・保持されているので、図4(d)に示すように、いずれも下方に曲がる。一方、圧電素子53、54に圧電素子51、52と逆位相の縮む方向の電圧を印加すると、図4(e)に示すように、ユニモルフ部63、64はいずれも上方に曲がる。これにより、可動枠30にはY軸を中心とした傾動トルクが作用し、可動枠30はY軸を中心として傾く。   Next, the rotation operation around the Y axis will be described. When the driver 13 applies a voltage extending in either direction to the piezoelectric elements 51 and 52, one end of each of the unimorph portions 61 and 62 is fixed and held by the fixed frame 70, and therefore, as shown in FIG. As you can see, they all turn downward. On the other hand, when a voltage in the direction in which the phase opposite to that of the piezoelectric elements 51 and 52 contracts is applied to the piezoelectric elements 53 and 54, as shown in FIG. Thereby, a tilting torque about the Y axis acts on the movable frame 30, and the movable frame 30 tilts about the Y axis.

そして、圧電素子51〜54にこのような位相関係を保った交流電圧を印加すると、ユニモルフ部61〜64は、交流電圧に追従して上下方向の振動を繰り返し、可動枠30にシーソー的な傾動トルクが作用し、可動枠30はY軸を中心として所定変位角度まで回転振動する。   When an AC voltage that maintains such a phase relationship is applied to the piezoelectric elements 51 to 54, the unimorph parts 61 to 64 follow the AC voltage and repeat vertical vibrations so that the movable frame 30 tilts like a seesaw. Torque acts, and the movable frame 30 rotates and vibrates up to a predetermined displacement angle around the Y axis.

このように、ドライバ13から4つのユニモルフ部61〜64にそれぞれ所定の電圧を印加することにより、可動枠30によって支持されているミラー部16のX軸及びY軸周りの傾きを任意に制御することができる。また、曲がり梁41〜44は、Y軸及びX軸を挟んで対称に配置され、曲がり梁41〜44に設けられたそれぞれの圧電素子51〜54は、同じ位相あるいは互いに180度異なる逆位相の駆動信号で駆動されるようにしたので、可動枠30を片振れなしにY軸及びX軸の2軸で独立して回動させることができる。   In this way, by applying predetermined voltages from the driver 13 to the four unimorph parts 61 to 64, the inclination of the mirror part 16 supported by the movable frame 30 around the X axis and the Y axis is arbitrarily controlled. be able to. Further, the bending beams 41 to 44 are arranged symmetrically across the Y axis and the X axis, and the piezoelectric elements 51 to 54 provided on the bending beams 41 to 44 have the same phase or opposite phases that are 180 degrees different from each other. Since it is driven by the drive signal, the movable frame 30 can be independently rotated about the Y axis and the X axis without any swing.

次に、2次元走査ミラー15を用いたレーザビームWの偏向を行う方法について、図5を用いて説明する。レーザ光源7から射出されたレーザビームWを2次元走査ミラー15でラスター走査して映像を生成する。   Next, a method for deflecting the laser beam W using the two-dimensional scanning mirror 15 will be described with reference to FIG. The laser beam W emitted from the laser light source 7 is raster scanned by the two-dimensional scanning mirror 15 to generate an image.

ここで、水平方向の走査周波数は例えば30kHz、垂直方向の走査周波数は例えば60Hz程度である。また、ミラー部16の水平、垂直方向の傾斜角度はそれぞれほぼ±10度である。また、ミラー部16の水平走査は正弦波の駆動電圧を用いた機械共振振動を行うことから、水平方向の走査領域の左右の周辺部は水平走査速度が極端に低下する。そのため、図5に示すように、映像表示領域17の水平域は、走査領域18の全てを使用せずに少し内側の領域としている。   Here, the horizontal scanning frequency is, for example, 30 kHz, and the vertical scanning frequency is, for example, about 60 Hz. Further, the horizontal and vertical inclination angles of the mirror section 16 are each about ± 10 degrees. Further, since the horizontal scanning of the mirror unit 16 performs mechanical resonance vibration using a sinusoidal drive voltage, the horizontal scanning speed is extremely reduced in the left and right peripheral portions of the horizontal scanning region. Therefore, as shown in FIG. 5, the horizontal area of the video display area 17 is a slightly inner area without using the entire scanning area 18.

次に、映像投影システムPSの動作について説明する。電源が投入されると、システムコントローラ14は、表示コントローラ5に、黒映像データをラインバッファメモリ4へ出力するように指示する。   Next, the operation of the video projection system PS will be described. When the power is turned on, the system controller 14 instructs the display controller 5 to output black video data to the line buffer memory 4.

上述したように、入力される映像データに応じて、ラインバッファメモリ4への映像データが書き込まれる。   As described above, video data is written to the line buffer memory 4 in accordance with the input video data.

変調器6は、レーザ光源7を発振させ、ラインバッファメモリ4から映像データを1画素単位で読み出し、読み出した映像データを用いてレーザ光源7から射出されるレーザビームを変調する。   The modulator 6 oscillates the laser light source 7, reads video data from the line buffer memory 4 in units of pixels, and modulates the laser beam emitted from the laser light source 7 using the read video data.

レーザ光源7から射出された3本のレーザビームはダイクロミラー8により一本のレーザビームWに合波され、ミラー部16に入射する。   The three laser beams emitted from the laser light source 7 are combined into one laser beam W by the dichroic mirror 8 and enter the mirror unit 16.

レーザビームWは、走査駆動されるミラー部16によりラスター走査され、立体物OBJ上に投影され、これにより高精細な映像を形成できる。このとき、可視光映像に重ねて赤外光映像が立体物OBJに投影されるが、観察者が気づくことはない。   The laser beam W is raster-scanned by the scanning-driven mirror unit 16 and projected onto the three-dimensional object OBJ, thereby forming a high-definition image. At this time, the infrared light image is projected onto the three-dimensional object OBJ so as to be superimposed on the visible light image, but the observer does not notice it.

以下、立体物OBJを直方体として、映像補正の態様を図6のフローチャートに基づいて説明する。まず、ステップS101で、形状認識部MRは、立体物OBJの面に投影された不可視光映像を含む領域を撮影した不可視光撮影部CAからの信号に基づいて、三角測量の原理により、直方体OBJの形状情報を取得する。ここでは、形状情報とは例えば直方体OBJの回転角度である。   Hereinafter, the image correction mode will be described based on the flowchart of FIG. 6 with the three-dimensional object OBJ as a rectangular parallelepiped. First, in step S101, the shape recognizing unit MR performs the rectangular parallelepiped OBJ according to the principle of triangulation based on the signal from the invisible light photographing unit CA that has photographed the region including the invisible light image projected on the surface of the three-dimensional object OBJ. Get shape information. Here, the shape information is, for example, the rotation angle of the rectangular parallelepiped OBJ.

図7は、直方体OBJを真上から見た図であり、直方体OBJの中心軸Xを中心とする回転角度をθと定義する。直方体OBJの投影面SC1(SC2)は、回転角度θに依存して傾きが変化する。更にステップS102で、映像補正部ISが、可視光映像に対して形状情報に基づいた補正を行う。   FIG. 7 is a view of the rectangular parallelepiped OBJ as viewed from directly above, and the rotation angle about the central axis X of the rectangular parallelepiped OBJ is defined as θ. The inclination of the projection surface SC1 (SC2) of the cuboid OBJ changes depending on the rotation angle θ. In step S102, the video correction unit IS corrects the visible light video based on the shape information.

より具体的には、まず形状認識部MRが、不可視光撮影部CAからの信号に基づいて、撮影した面内にエッジED(面同士の境界)がないか検出する。エッジ検出は、立体物OBJに対して水平に赤外光をスキャンしてゆき、画素毎に距離を測定したときに、列内で最も近接した近接画素を求めるようにして画面全体のスキャンを行う。このとき、近接画素が縦に並んでいた場合、これをエッジとして検出できる。ここで、図7に点線で示すようにエッジがない場合には、映像補正部ISは、不可視光撮影部CAからの信号に基づいて、投影面が傾いていないと判断できるので、投影用の映像データを補正しない。   More specifically, the shape recognition unit MR first detects whether there is an edge ED (boundary between surfaces) in the imaged surface based on a signal from the invisible light imaging unit CA. Edge detection scans the entire screen by scanning infrared light horizontally with respect to the three-dimensional object OBJ and obtaining the closest pixel in the column when the distance is measured for each pixel. . At this time, if adjacent pixels are arranged vertically, this can be detected as an edge. Here, when there is no edge as shown by a dotted line in FIG. 7, the video correction unit IS can determine that the projection plane is not inclined based on the signal from the invisible light photographing unit CA. Does not correct the video data.

一方、形状認識部MRが、撮影した面内にエッジEDがあると検出した場合、映像補正部ISは、投影面が2面あると認識して、2つの面SC1,SC2に異なる映像を投影するよう、映像補正部ISに信号を出力する。かかる場合、投影面SC1,SC2は異なる方向に傾いているので、その傾き角に応じて、不可視光撮影部CAからの信号に基づいて、異なる映像データに対して、それぞれアフィン変換や台形補正(特開2010−130181号公報参照)などを行う。このとき、傾き角θに応じて、アフィン変換の変換係数は変化させる。その後、ステップS103で、可視光投影部PJ1が補正された可視光映像を投影する。これにより、投影面SC1,SC2それぞれに、適切に補正された映像を投影することで、観察者が遠近法で自然に映像を観察できるようになる。   On the other hand, when the shape recognition unit MR detects that there is an edge ED within the photographed surface, the image correction unit IS recognizes that there are two projection surfaces and projects different images on the two surfaces SC1 and SC2. A signal is output to the video correction unit IS. In such a case, since the projection surfaces SC1 and SC2 are inclined in different directions, affine transformation and trapezoidal correction (with respect to different video data based on signals from the invisible light photographing unit CA according to the inclination angles ( Japanese Patent Laid-Open No. 2010-130181). At this time, the conversion coefficient of the affine transformation is changed according to the inclination angle θ. Thereafter, in step S103, the visible light image is corrected by the visible light projection unit PJ1. Accordingly, by appropriately projecting the corrected image on each of the projection surfaces SC1 and SC2, the observer can naturally observe the image in perspective.

以上より明らかであるが、撮影した画面内におけるエッジEDが、投影面の境界を表し、その検出により投影映像の追従が行われ、またエッジEDの両側で異なる映像が表示されるということである。即ち、図8に示すように、本実施の形態の映像投影システムPSにより直方体OBJに投影を行ったとき、観察者に第1の投影面SC1が正対した状態(a)では、第1の投影面SC1全体に最初の映像IMG1が補正されない状態で投影される。ここから、直方体OBJを回転させてゆくに連れて、エッジEDが検出され始め、第1の投影面SC1上の映像IMG1が追従して幅が狭くなりつつ補正されてゆき、それと同時に観察者の視界に入ってくる第2の投影面SC2に、次の映像IMG2が補正されて投影されるようになる((b)〜(d))。直方体OBJの回転に伴い、第2の投影面SC2上の次の映像IMG2の幅が広がってゆき((e)、(f))、更に直方体OBJが90度回転した時点で、エッジEDが検出されなくなり、観察者に第2の投影面SC2が正対した状態になる(g)ので、最初の映像IMG1は消え失せて、第2の投影面SC2全体に補正されない映像IMG2が投影されることとなる。つまり、直方体OBJを連続して回転させることで、何の映像も形成されていない直方体OBJの各面上に、回転角90度毎に、異なる映像が次々に形成されてゆき、自動紙芝居のような効果を得ることができる。   As is clear from the above, the edge ED in the captured screen represents the boundary of the projection surface, and the projection image is tracked by the detection, and different images are displayed on both sides of the edge ED. . That is, as shown in FIG. 8, when projection is performed on the rectangular parallelepiped OBJ by the video projection system PS of the present embodiment, in the state (a) where the first projection plane SC1 faces the observer, The first image IMG1 is projected without being corrected on the entire projection surface SC1. From here, as the cuboid OBJ is rotated, the edge ED starts to be detected, and the image IMG1 on the first projection surface SC1 follows and is corrected while becoming narrower. The next image IMG2 is corrected and projected onto the second projection surface SC2 entering the field of view ((b) to (d)). With the rotation of the rectangular parallelepiped OBJ, the width of the next image IMG2 on the second projection plane SC2 increases ((e), (f)), and the edge ED is detected when the rectangular parallelepiped OBJ further rotates 90 degrees. Since the second projection plane SC2 faces the viewer (g), the first image IMG1 disappears and the uncorrected image IMG2 is projected on the entire second projection plane SC2. Become. In other words, by continuously rotating the rectangular parallelepiped OBJ, different images are formed one after another at every rotation angle of 90 degrees on each surface of the rectangular parallelepiped OBJ where no image is formed, like an automatic picture-story show. Effects can be obtained.

特に図9の例では、直方体OBJを手で回転させると、回転に応じて直方体OBJの側面に独立した映像が投影されるものである。映像は直方体OBJの側面ごとに4種類用意されている。直方体OBJに映像をそのまま投影すると映像は歪んでしまうため、映像補正部により、観察者から映像が自然に見えるように補正されることとなる。   In particular, in the example of FIG. 9, when the cuboid OBJ is rotated by hand, an independent image is projected on the side surface of the cuboid OBJ according to the rotation. Four types of images are prepared for each side of the rectangular parallelepiped OBJ. If the image is projected as it is to the rectangular parallelepiped OBJ, the image is distorted, and the image correction unit corrects the image so that it looks natural to the observer.

尚、LED光源などを用いた通常の映像投影システムを用いて立体物へ映像を投影する場合、立体物上のすべての点でピントがあった映像を投影することはできないが、本実施の形態では、光源としてレーザー光源を用いることで、距離に関わらずフォーカスフリーを実現し、立体物のどの位置でもピントがあった映像を投影できる。ある程度焦点深度が大きい映像投影システムならばこのような効果は得られるが、本実施の形態のようなレーザー光源を用いた映像投影システムが特に好ましい。   Note that when an image is projected onto a three-dimensional object using a normal image projection system using an LED light source or the like, an image that is in focus at all points on the three-dimensional object cannot be projected. Then, by using a laser light source as the light source, focus-free is realized regardless of the distance, and a focused image can be projected at any position of the three-dimensional object. Such an effect can be obtained with an image projection system having a certain depth of focus, but an image projection system using a laser light source as in this embodiment is particularly preferred.

2 フレームメモリ
3 映像処理用メモリ
4 ラインバッファメモリ
6,6r,6g,6b,6IR 変調器
7,7r,7g,7b,7IR レーザ光源
8,8r,8g,8b,8IR ダイクロミラー
9 光スキャナ
10 スクリーン
12 位置検出部
14 システムコントローラ
15 2次元走査ミラー
16 ミラー部
17 映像表示領域
18 走査領域
110 位相検出部
120 同期信号出力部
CA 不可視光撮影部
IS 映像補正部
MR 形状認識部
OBJ 立体物
PJ1 可視光投影部
PJ2 不可視光投影部
PS 映像投影システム
2 frame memory 3 image processing memory 4 line buffer memory 6, 6r, 6g, 6b, 6IR modulator 7, 7r, 7g, 7b, 7IR laser light source 8, 8r, 8g, 8b, 8IR dichroic mirror 9 optical scanner 10 screen 12 Position detection unit 14 System controller 15 Two-dimensional scanning mirror 16 Mirror unit 17 Video display region 18 Scanning region 110 Phase detection unit 120 Synchronization signal output unit CA Invisible light imaging unit IS Video correction unit MR Shape recognition unit OBJ Three-dimensional object PJ1 Visible light Projection unit PJ2 Invisible light projection unit PS Image projection system

Claims (5)

立体物に映像を投影する映像投影システムであって、
前記立体物に対して可視光映像を投影する可視光投影部と、
前記可視光映像上に不可視光映像を重畳させて投影する不可視光投影部と、
前記不可視光映像を含む領域を撮影する不可視光撮影部と、
前記不可視光撮影部からの信号に基づいて、前記可視光映像内に置かれた前記立体物の変形及び/又は変位状態の認識を行う形状認識部と、
前記形状認識部の認識結果に基づいて前記可視光映像を補正する映像補正部とを備えることを特徴とする映像投影システム。
An image projection system that projects an image on a three-dimensional object,
A visible light projection unit that projects a visible light image onto the three-dimensional object;
An invisible light projection unit that projects an invisible light image superimposed on the visible light image;
An invisible light photographing unit for photographing an area including the invisible light image;
A shape recognition unit for recognizing deformation and / or displacement state of the three-dimensional object placed in the visible light image based on a signal from the invisible light photographing unit;
An image projection system comprising: an image correction unit that corrects the visible light image based on a recognition result of the shape recognition unit.
前記立体物が、経時的に変形及び/又は変位することを特徴とする請求項1記載の映像投影システム。   The video projection system according to claim 1, wherein the three-dimensional object is deformed and / or displaced over time. 前記可視光投影部は、出射光を走査することで映像を投影し、前記形状認識部は、三角測量による距離情報の取得を用いて形状認識を行うことを特徴とする請求項1又は2記載の映像投影システム。   3. The visible light projection unit projects an image by scanning outgoing light, and the shape recognition unit performs shape recognition using acquisition of distance information by triangulation. Video projection system. 前記立体物は多面体であり、前記形状認識部は、前記不可視光撮影部からの信号に基づいて前記多面体の面を認識し、前記映像補正部は、前記形状認識部の認識結果に基づき、前記多面体の面ごとに独立した映像となるよう可視光映像を補正することを特徴とする請求項1〜3のいずれかに記載の映像投影システム。   The three-dimensional object is a polyhedron, the shape recognition unit recognizes the surface of the polyhedron based on a signal from the invisible light photographing unit, and the video correction unit is based on a recognition result of the shape recognition unit, 4. The image projection system according to claim 1, wherein the visible light image is corrected so that an independent image is obtained for each surface of the polyhedron. 前記多面体が直方体であることを特徴とする請求項4記載の映像投影システム。   5. The video projection system according to claim 4, wherein the polyhedron is a rectangular parallelepiped.
JP2011128411A 2011-06-08 2011-06-08 Image projection system Pending JP2012255883A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011128411A JP2012255883A (en) 2011-06-08 2011-06-08 Image projection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011128411A JP2012255883A (en) 2011-06-08 2011-06-08 Image projection system

Publications (1)

Publication Number Publication Date
JP2012255883A true JP2012255883A (en) 2012-12-27

Family

ID=47527507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011128411A Pending JP2012255883A (en) 2011-06-08 2011-06-08 Image projection system

Country Status (1)

Country Link
JP (1) JP2012255883A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9654748B2 (en) 2014-12-25 2017-05-16 Panasonic Intellectual Property Management Co., Ltd. Projection device, and projection method
JP2017146520A (en) * 2016-02-19 2017-08-24 セイコーエプソン株式会社 Projector and image displacement compensation method
JP2017215374A (en) * 2016-05-30 2017-12-07 パナソニックIpマネジメント株式会社 Image projection system and image projection method
JPWO2020262445A1 (en) * 2019-06-28 2020-12-30

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001083949A (en) * 1999-09-16 2001-03-30 Japan Science & Technology Corp Image projecting device
JP2003029201A (en) * 2001-07-11 2003-01-29 Canon Inc Picture projecting device and picture correcting method
JP2003131319A (en) * 2001-10-25 2003-05-09 Seiko Epson Corp Optical transmission and reception device
JP2006189712A (en) * 2005-01-07 2006-07-20 Nippon Telegr & Teleph Corp <Ntt> Information presenting apparatus, information presenting method and program
JP2011507336A (en) * 2007-12-05 2011-03-03 マイクロビジョン,インク. Proximity detection for control of imaging equipment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001083949A (en) * 1999-09-16 2001-03-30 Japan Science & Technology Corp Image projecting device
JP2003029201A (en) * 2001-07-11 2003-01-29 Canon Inc Picture projecting device and picture correcting method
JP2003131319A (en) * 2001-10-25 2003-05-09 Seiko Epson Corp Optical transmission and reception device
JP2006189712A (en) * 2005-01-07 2006-07-20 Nippon Telegr & Teleph Corp <Ntt> Information presenting apparatus, information presenting method and program
JP2011507336A (en) * 2007-12-05 2011-03-03 マイクロビジョン,インク. Proximity detection for control of imaging equipment

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9654748B2 (en) 2014-12-25 2017-05-16 Panasonic Intellectual Property Management Co., Ltd. Projection device, and projection method
JP2017146520A (en) * 2016-02-19 2017-08-24 セイコーエプソン株式会社 Projector and image displacement compensation method
JP2017215374A (en) * 2016-05-30 2017-12-07 パナソニックIpマネジメント株式会社 Image projection system and image projection method
WO2017208739A1 (en) * 2016-05-30 2017-12-07 Panasonic Intellectual Property Management Co., Ltd. Image projection system and image projection method
CN112954288A (en) * 2016-05-30 2021-06-11 松下知识产权经营株式会社 Image projection system and image projection method
CN112954288B (en) * 2016-05-30 2023-02-24 松下知识产权经营株式会社 Image projection system and image projection method
EP4216541A1 (en) * 2016-05-30 2023-07-26 Panasonic Intellectual Property Management Co., Ltd. Image projection system and image projection method
JPWO2020262445A1 (en) * 2019-06-28 2020-12-30
JP7422148B2 (en) 2019-06-28 2024-01-25 株式会社小糸製作所 lighting system

Similar Documents

Publication Publication Date Title
JP5632473B2 (en) Correction of distortion in scanning projector by changing scanning amplitude
US10672349B2 (en) Device for project an image
US20170318284A1 (en) Method and device for projecting an image
US20190236762A1 (en) Device and Method for Projecting an Image
JP2012145755A (en) Image display device
US8459799B2 (en) Optical scanning projector with raster scanning unit and vector scanning unit
CN102132191B (en) Laser projector
JP5234514B2 (en) Image forming apparatus
JP2012255883A (en) Image projection system
JP2013068859A (en) Image display device
JP4407727B2 (en) Scanning image display device
JP5557113B2 (en) Image display device
US7361878B2 (en) Image display apparatus and image pickup apparatus with two dimensional scanning
US20090079858A1 (en) Image display device
JP4551636B2 (en) Imaging device
JP2007025190A (en) Image display device and method for controlling image display device
JP2012255884A (en) Video projection system
JP2012088357A (en) Image projecting device
JP2012145754A (en) Image display device
JP2011107237A (en) Image forming apparatus
JP2012141340A (en) Image display device
JP2014010261A (en) Image display device
JP2006053403A (en) Stereoscopic image display apparatus, optical reflector and stereoscopic image display method
KR20150063843A (en) Laser scanner device and camera apparatus having the same

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20130415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140423

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140813