JP2012249008A - Multiplex projection control apparatus, multiplex projection control method and multiplex projection control program - Google Patents

Multiplex projection control apparatus, multiplex projection control method and multiplex projection control program Download PDF

Info

Publication number
JP2012249008A
JP2012249008A JP2011118130A JP2011118130A JP2012249008A JP 2012249008 A JP2012249008 A JP 2012249008A JP 2011118130 A JP2011118130 A JP 2011118130A JP 2011118130 A JP2011118130 A JP 2011118130A JP 2012249008 A JP2012249008 A JP 2012249008A
Authority
JP
Japan
Prior art keywords
projector
projection light
projectors
screen
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011118130A
Other languages
Japanese (ja)
Inventor
Isao Miyagawa
勲 宮川
Hiroyuki Arai
啓之 新井
Hideki Koike
秀樹 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011118130A priority Critical patent/JP2012249008A/en
Publication of JP2012249008A publication Critical patent/JP2012249008A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a multiplex projection control apparatus for erasing a shadow on a screen while projection light to an object is suppressed.SOLUTION: A camera 1 photographs a video on a screen projected by projectors 7-1 and 7-2. An image input section 2 acquires image data from the camera 1. A frame managing section 3 transfers image information (frame number) used for shadow erasure and illumination suppression. A content DB (database) 4 supplies contents of multiplex projection to shadow region correction sections 5-1 and 5-2 corresponding to the projectors 7-1 and 7-2. The shadow region correction sections 5-1 and 5-2 correct output luminance values of the projectors 7-1 and 7-2 on the basis of the image information (frame number). Projection light suppressing sections 6-1 and 6-2 suppress projection light of the projectors 7-1 and 7-2 to the object.

Description

本発明は、多重投影制御装置、多重投影制御方法、及び多重投影制御プログラムに関する。   The present invention relates to a multiple projection control apparatus, a multiple projection control method, and a multiple projection control program.

マルチプロジェクタシステムは、様々な用途に利用されている。例えば、各プロジェクタからの画像を繋ぎ合わせて巨大な画像を生成するタイリング法がある。また、HDR(High Dynamic Range)画像を表示するアプリケーションとしても期待されている。一般的に、会議や学会発表でのプレゼンテーションの場面にプロジェクタを使ったフロント・プロジェクションを利用する場合、スクリーンの前に被写体があると、スクリーンに影が発生する。その影を消すため、どのプロジェクタが隠蔽されたかを判定して影の欠損輝度を補償する方法(非特許文献1)が公知である。また、被写体へプロジェクタの投影光が照明されるため、人の目または人体への投影光を抑制する必要がある。   Multi-projector systems are used for various purposes. For example, there is a tiling method in which images from the projectors are connected to generate a huge image. It is also expected as an application for displaying HDR (High Dynamic Range) images. Generally, when using a front projection using a projector for a presentation at a conference or conference presentation, if there is a subject in front of the screen, a shadow is generated on the screen. In order to eliminate the shadow, a method (Non-patent Document 1) for determining which projector is concealed and compensating for the missing luminance of the shadow is known. In addition, since the projection light of the projector is illuminated on the subject, it is necessary to suppress the projection light on the human eye or the human body.

複数のプロジェクタで同時にスクリーンを多重投影する場合、オリジナルの画像をスクリーンに投影するために、環境の明るさに応じてプロジェクタからの出力輝度値を調整する。非特許文献2では、プロジェクタカメラシステムを使った輝度補正方法が開示されている。この方法では、プロジェクタからのRGB輝度値とカメラで観測されたRGB輝度値間の相関関係に着目し、カラー混合行列(Color Mixing Matrix)と呼ばれる3×3の行列Vを使って、所定のRGB輝度値C=(Cr,Cg,Cb)をカメラが観測するように、プロジェクタからのRGB出力値P=(Pr,Pg,Pb)を補正する。   When multiple screens are simultaneously projected by a plurality of projectors, an output luminance value from the projectors is adjusted according to the brightness of the environment in order to project an original image on the screen. Non-Patent Document 2 discloses a luminance correction method using a projector camera system. In this method, attention is paid to the correlation between the RGB luminance values from the projector and the RGB luminance values observed by the camera, and a predetermined RGB is used using a 3 × 3 matrix V called a color mixing matrix. The RGB output value P = (Pr, Pg, Pb) from the projector is corrected so that the camera observes the luminance value C = (Cr, Cg, Cb).

プロジェクタの台数が増えても、この原理を拡張することができる。N台のプロジェクタを具備したマルチプロジェクタシステムにおいて、全てのプロジェクタが所定の領域を多重投影し、カメラが投影領域を撮影する。このシステムにおいて、観測した画像の輝度値Cと各プロジェクタからの出力輝度Pとは、次式(1)で表される線形モデルが成り立つ。 This principle can be extended as the number of projectors increases. In a multi-projector system equipped with N projectors, all projectors project a predetermined area in multiple projections, and a camera captures the projection area. In this system, the observed image luminance value C and the output luminance P j from each projector form a linear model represented by the following equation (1).

Figure 2012249008
Figure 2012249008

はプロジェクタjのカラー混合行列であり、Fはプロジェクタ以外の光源からの照明と全てのプロジェクタのブラックオフセットを含む環境光とである(スクリーンは、固定されているため、物体表面の反射率は、一定と考える)。ある1台のプロジェクタkのカラー混合行列と環境光とを求めるには、プロジェクタk以外のプロジェクタを全てP=(0,0,0)、j≠kで投影する。 V j is the color mixing matrix of projector j, and F is the illumination from the light source other than the projector and the ambient light including the black offset of all projectors (since the screen is fixed, the reflectance of the object surface Is considered constant). In order to obtain the color mixing matrix and ambient light of one projector k, all projectors other than the projector k are projected with P j = (0, 0, 0), j ≠ k.

このときのシステムは、プロジェクタkとカメラとのシンプルなプロジェクタカメラシステムとして簡略化されるので、4枚のサンプル画像が用意できれば、非特許文献2を用いて求めることができる。但し、非特許文献2は、1台のプロジェクタとカメラとについての輝度補正において適用できるが、N台のプロジェクタへ応用するには、数式(1)の条件を満たしつつ、全てのプロジェクタからの出力輝度を補正する工夫が必要になる。   Since the system at this time is simplified as a simple projector camera system of the projector k and the camera, if four sample images can be prepared, it can be obtained using Non-Patent Document 2. However, although Non-Patent Document 2 can be applied in luminance correction for one projector and camera, in order to apply to N projectors, output from all projectors while satisfying the condition of Equation (1). A device to correct the brightness is required.

J. Summet, M. Flagg, T. J. Cham, J. M. Rehg, and R. Sukthankar: “Shadow Elimination and Blinding Light Suppression for Interactive Projected Displays”, IEEE Transactions on Visualization and Computer Graphics, vol.13, no.3, pp.508-517, 2007.J. Summet, M. Flagg, TJ Cham, JM Rehg, and R. Sukthankar: “Shadow Elimination and Blinding Light Suppression for Interactive Projected Displays”, IEEE Transactions on Visualization and Computer Graphics, vol.13, no.3, pp. 508-517, 2007. K. Fujii, M. D. Grossberg, and S. K. Nayar: “A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments”, Proc. of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821, 2005.K. Fujii, MD Grossberg, and SK Nayar: “A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments”, Proc. Of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821 , 2005.

マルチプロジェクタシステムにおいて、被写体に当たる投影光を検出するため、スイッチング方式が用いられる。この方法では、ある1台のプロジェクタ(プロジェクタk)について、全画素からの投影光を出力し、それ以外のプロジェクタからは、何も出力しないでおき、カメラにより画像Aを観測する。次に、プロジェクタkからの投影光を全てオフにし、再度、カメラにより画像Bを観測する。画像Aと画像Bとの各画素に対して差分を計算し、ある許容値未満の(輝度変化がない)ときは、その画素からの投影光が被写体に照明していると判定し、ある許容値以上の(輝度変化がある)ときは、その画素からの投影光が被写体に照明していないと判定する。   In a multi-projector system, a switching method is used to detect projection light that strikes a subject. In this method, projection light from all pixels is output from a certain projector (projector k), and nothing is output from other projectors, and the image A is observed by the camera. Next, all the projection light from the projector k is turned off, and the image B is observed again by the camera. The difference is calculated for each pixel of the image A and the image B. When the difference is less than a certain allowable value (there is no change in luminance), it is determined that the projection light from the pixel illuminates the subject, and a certain allowable If it is equal to or greater than the value (there is a change in luminance), it is determined that the projection light from the pixel is not illuminating the subject.

被写体へ投影光が当たる画素については、その画素から輝度を出力しないようにする。これは、スイッチング方式と呼ばれており、他のプロジェクタは、何も出力しないため、1台のプロジェクタの輝度だけをオン・オフさせることにより、どの画素が被写体に当たっているかが検出できる。   For pixels where projection light strikes the subject, luminance is not output from the pixels. This is called a switching method, and since other projectors do not output anything, it is possible to detect which pixel hits the subject by turning on / off only the luminance of one projector.

マルチプロジェクタシステムを用いた多重投影では、カメラのダイナミックレンジを越えない範囲で、数式(1)を満たすように各プロジェクタからの出力輝度をうまく調整しなければならない。上記のスイッチングを用いて、移動する被写体への照明抑制を行うためには、あるプロジェクタからの投影光が被写体に当たるかどうかを事前に判定する必要がある。その上、残りのプロジェクタの輝度をオフにしないと、その検出を円滑に行うことは困難である。よって、1台ずつプロジェクタの出力輝度をオン・オフさせて、被写体照明の画素を検出することは処理の効率が悪いという問題がある。   In multiple projection using a multi-projector system, the output luminance from each projector must be well adjusted so as to satisfy Equation (1) within a range that does not exceed the dynamic range of the camera. In order to suppress illumination of a moving subject using the above-described switching, it is necessary to determine in advance whether or not projection light from a certain projector strikes the subject. In addition, it is difficult to smoothly detect the remaining projectors unless the brightness of the remaining projectors is turned off. Therefore, there is a problem in that it is inefficient to detect the pixels of the subject illumination by turning on and off the output luminance of the projectors one by one.

本発明は、このような事情を考慮してなされたものであり、その目的は、マルチプロジェクタシステムにおいて、被写体の隠蔽によりスクリーンに影が発生したとき、被写体への投影光を抑制しつつ、スクリーン上の影を消し、かつ、カメラのダイナミックレンジを越えない範囲で、所定の条件を満たすように、輝度補正することができる多重投影制御装置、多重投影制御方法、及び多重投影制御プログラムを提供することにある。   The present invention has been made in consideration of such circumstances, and an object of the present invention is to suppress the projection light on the subject when a shadow occurs on the screen due to the concealment of the subject in the multi-projector system. Provided are a multi-projection control device, a multi-projection control method, and a multi-projection control program capable of correcting the luminance so as to eliminate the upper shadow and satisfy a predetermined condition within a range not exceeding the dynamic range of the camera. There is.

上述した課題を解決するために、本発明は、異なる角度でスクリーンに1つの映像を投影する複数のプロジェクタと、前記スクリーンに投影される映像を撮像する撮像手段と、前記撮像手段で撮像された画像のフレーム番号を管理するフレーム管理手段と、前記フレーム管理手段により管理されるフレーム番号に基づいて、対応するプロジェクタ毎に、前記スクリーン前に存在する物体により前記スクリーンに生じる影領域における輝度を補正する複数の影領域補正手段と、前記複数の影領域補正手段の各々に同期して、対応するプロジェクタからの投影光が前記物体を照明しないように、前記対応するプロジェクタの投影光を抑制する複数の投影光抑制手段とを備えることを特徴とする多重投影制御装置である。   In order to solve the above-described problem, the present invention provides a plurality of projectors that project a single image on a screen at different angles, an image capturing unit that captures an image projected on the screen, and an image captured by the image capturing unit. Based on the frame management means for managing the frame number of the image and the frame number managed by the frame management means, the brightness in the shadow area generated on the screen by the object existing in front of the screen is corrected for each corresponding projector. A plurality of shadow area correction means for controlling the projection light of the corresponding projector so that the projection light from the corresponding projector does not illuminate the object in synchronization with each of the plurality of shadow area correction means And a projection light suppression unit.

また、上述した課題を解決するために、本発明は、多重投影制御方法であって、複数のプロジェクタによりスクリーン上に投影された1つの映像をカメラによって撮像する撮像ステップと、前記カメラで撮像された画像のフレーム番号を管理するフレーム管理ステップと、前記フレーム管理ステップで管理されるフレーム番号に基づいて、対応するプロジェクタ毎に、前記スクリーン前に存在する物体により前記スクリーンに生じる影領域における輝度を補正する影領域補正ステップと、前記影領域補正ステップに同期して、対応するプロジェクタからの投影光が前記物体を照明しないように、前記対応するプロジェクタの投影光を抑制する投影光抑制ステップとを含むことを特徴とする多重投影制御方法である。   Further, in order to solve the above-described problem, the present invention is a multiple projection control method, an imaging step in which one image projected on a screen by a plurality of projectors is captured by a camera, and the image is captured by the camera. A frame management step for managing the frame number of the captured image, and a luminance in a shadow region generated on the screen by an object existing in front of the screen for each corresponding projector based on the frame number managed in the frame management step. A shadow area correction step for correcting, and a projection light suppression step for suppressing the projection light of the corresponding projector so that the projection light from the corresponding projector does not illuminate the object in synchronization with the shadow area correction step. A multiple projection control method comprising:

また、上述した課題を解決するために、本発明は、多重投影制御装置のコンピュータに、複数のプロジェクタによりスクリーン上に投影された1つの映像をカメラによって撮像する撮像機能、前記カメラで撮像された画像のフレーム番号を管理するフレーム管理機能、前記フレーム管理機能で管理されるフレーム番号に基づいて、対応するプロジェクタ毎に、前記スクリーン前に存在する物体により前記スクリーンに生じる影領域における輝度を補正する影領域補正機能、前記影領域補正機能に同期して、対応するプロジェクタからの投影光が前記物体を照明しないように、前記対応するプロジェクタの投影光を抑制する投影光抑制機能を実行させることを特徴とする多重投影制御プログラムである。   In order to solve the above-described problem, the present invention provides an image capturing function for capturing one image projected on a screen by a plurality of projectors on a computer of a multiple projection control apparatus. Based on the frame management function for managing the frame number of the image, and the frame number managed by the frame management function, the brightness in the shadow region generated on the screen by the object existing in front of the screen is corrected for each corresponding projector. In synchronization with the shadow area correction function and the shadow area correction function, the projection light suppression function for suppressing the projection light of the corresponding projector is executed so that the projection light from the corresponding projector does not illuminate the object. This is a featured multiple projection control program.

この発明によれば、複数のプロジェクタを用いて、同一の位置に投影するようなマルチプロジェクタシステムにおいて、スクリーンに発生した影に順応してプロジェクタからの出力輝度を自動的に補正することができるとともに、影を発生させた被写体への投影光を抑制することができ、高品質で高コントラストな投影状態を維持することができる。   According to the present invention, in a multi-projector system that projects to the same position using a plurality of projectors, the output luminance from the projector can be automatically corrected in accordance with the shadow generated on the screen. Therefore, it is possible to suppress the projection light on the subject in which the shadow is generated, and it is possible to maintain a high-quality and high-contrast projection state.

本発明に係る第1実施形態による多重投影制御装置の構成を示すブロック図である。It is a block diagram which shows the structure of the multiple projection control apparatus by 1st Embodiment which concerns on this invention. 本第1実施形態による多重投影制御装置の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the multiple projection control apparatus by this 1st Embodiment. 本第1実施形態によるフレーム管理部3の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the frame management part 3 by this 1st Embodiment. 本第1実施形態による影領域補正部5−1、5−2の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the shadow area correction | amendment parts 5-1 and 5-2 by this 1st Embodiment. 本第1実施形態による投影光抑制部6−1、6−2の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the projection light suppression parts 6-1 and 6-2 by this 1st Embodiment. 本第2実施形態による、N台のプロジェクタを用いた多重投影制御装置の構成を示すブロック図である。It is a block diagram which shows the structure of the multiple projection control apparatus using N projectors by this 2nd Embodiment.

以下、本発明の一実施形態を、図面を参照して説明する。
本発明は、マルチプロジェクタシステムに係り、スクリーンに発生した物体の影(被写体の影)に対して、カメラで観測した各画素の輝度値が所定の値となるように、各プロジェクタから投影する各画素の出力値を補正し、同時に、各プロジェクタからの投影光が被写体を照明しないようにその光を抑制することを特徴としている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
The present invention relates to a multi-projector system, and projects from each projector so that the luminance value of each pixel observed by a camera becomes a predetermined value with respect to an object shadow (subject shadow) generated on a screen. The output value of the pixel is corrected, and at the same time, the light is suppressed so that the projection light from each projector does not illuminate the subject.

A.第1実施形態
まず、本発明の第1実施形態について説明する。本第1実施形態は、2台のプロジェクタと1台のカメラとを備えるマルチプロジェクタシステムにおいて、影消しと照明抑制とを実施することを特徴とする。
A. First Embodiment First, a first embodiment of the present invention will be described. The first embodiment is characterized in that shadow cancellation and illumination suppression are performed in a multi-projector system including two projectors and one camera.

図1は、本発明に係る第1実施形態による多重投影制御装置の構成を示すブロック図である。図1において、カメラ1は、プロジェクタ7−1、7−2により投影されたスクリーン上の映像を撮影し、画像データとして出力する。画像入力部2は、カメラ1から画像データを取得する。フレーム管理部3は、画像入力部2から画像データを取得し、影消しや照明抑制に用いるための画像情報を転送する。コンテンツDB(データベース)4は、多重投影のコンテンツ(映像)を保持しており、適宜、映像を各プロジェクタ7−1、7−2に対応する影領域補正部5−1、5−2に供給する。   FIG. 1 is a block diagram showing the configuration of the multiple projection control apparatus according to the first embodiment of the present invention. In FIG. 1, a camera 1 captures images on a screen projected by projectors 7-1 and 7-2 and outputs them as image data. The image input unit 2 acquires image data from the camera 1. The frame management unit 3 acquires image data from the image input unit 2 and transfers image information for use in shadowing and illumination suppression. The content DB (database) 4 holds multiple projection content (video), and appropriately supplies the video to the shadow area correction units 5-1 and 5-2 corresponding to the projectors 7-1 and 7-2. To do.

影領域補正部5−1、5−2は、各々、上記画像情報を用いて、コンテンツDB4からの映像の輝度変化を検出し、その輝度変化に応じてプロジェクタ7−1、7−2の出力輝度値を補正する。投影光抑制部6−1、6−2は、各々、影領域補正部5−1、5−2による補正に応じてプロジェクタ7−1、7−2の被写体への投影光を抑制する。   The shadow area correction units 5-1 and 5-2 detect the luminance change of the video from the content DB 4 using the image information, and output the projectors 7-1 and 7-2 according to the luminance change. Correct the brightness value. The projection light suppression units 6-1 and 6-2 suppress the projection light on the subject of the projectors 7-1 and 7-2 according to the correction by the shadow area correction units 5-1 and 5-2, respectively.

図2は、本第1実施形態による多重投影制御装置の動作を説明するためのフローチャートである。まず、カメラ1で画像を観測し(ステップSa1)、フレーム管理部3で観測した画像のフレームを管理する(ステップSa2)。フレーム管理部3では、プロジェクタ7−1、7−2を交互に主補正または副補正として選択するようにフレームを管理する。次に、主補正であるか否かを判定し(ステップSa3)、主補正である場合には(ステップSa3のYES)、検出モードであるか否かを判定する(ステップSa4)。   FIG. 2 is a flowchart for explaining the operation of the multiple projection control apparatus according to the first embodiment. First, an image is observed with the camera 1 (step Sa1), and frames of the image observed with the frame management unit 3 are managed (step Sa2). The frame management unit 3 manages frames so that the projectors 7-1 and 7-2 are alternately selected as main correction or sub correction. Next, it is determined whether or not it is a main correction (step Sa3). If it is a main correction (YES in step Sa3), it is determined whether or not it is a detection mode (step Sa4).

そして、検出モードである場合には(ステップSa4のYES)、選択したプロジェクタの投影光を抑制する(ステップSa5)。また、検出モードでない場合には(ステップSa4のNO)、コンテンツDB4からの映像に対して、影領域の主補正(輝度の補正)を実行する(ステップSa6)。さらに、主補正でない場合には(ステップSa3のNO)、コンテンツDB4からの映像に対して、影領域の副補正(輝度の補正)を実行する(ステップSa7)。   If it is in the detection mode (YES in step Sa4), the projection light of the selected projector is suppressed (step Sa5). If the detection mode is not set (NO in step Sa4), the shadow region main correction (luminance correction) is performed on the video from the content DB 4 (step Sa6). Further, when the correction is not the main correction (NO in step Sa3), the shadow region sub-correction (luminance correction) is executed on the video from the content DB 4 (step Sa7).

そして、いずれの場合も、処理が終了したか否かを判別し(ステップSa8)、終了していない場合には(ステップSa8のNO)、ステップSa2に戻り、上述した処理を繰り返す。一方、処理が終了した場合には(ステップSa8のYES)、当該処理を終了する。   In either case, it is determined whether or not the process has been completed (step Sa8). If the process has not been completed (NO in step Sa8), the process returns to step Sa2 to repeat the above-described process. On the other hand, when the process ends (YES in step Sa8), the process ends.

すなわち、まず、1台のプロジェクタ7−1、または7−2を選び、カメラ1で観測した画像に応じて、プロジェクタ7−1、7−2からの出力輝度を交互に補正してスクリーンの影を消去する。次に、その補正による影領域の輝度補正状態を検出し、その結果に応じて投影光を抑制する。この間、それ以外のプロジェクタ7−1、または7−2の輝度は、既知の補正量を用いてスクリーン上の輝度を補正する。   That is, first, one projector 7-1 or 7-2 is selected, and the output luminance from the projectors 7-1 and 7-2 is alternately corrected according to the image observed by the camera 1, and the shadow of the screen is corrected. Erase. Next, the brightness correction state of the shadow area by the correction is detected, and the projection light is suppressed according to the result. During this time, the brightness of the projectors 7-1 and 7-2 other than that is corrected on the screen using a known correction amount.

この構成において、プロジェクタ7−1、7−2、カメラ1、並びに、コンテンツDB4は、必ずしも構成要素として接続している必要はなく、処理に必要なデータを取得すればよく、画像入力部2、フレーム管理部3、影領域補正部5−1、5−2、投影光抑制部6−1、6−2から、それぞれの矢印へのデータの流れは、ハードディスク、RAID装置、CD−ROMなどの記録媒体を利用するか、または、ネットワークを介して、リモートなデータ資源を利用する形態でもどちらでも構わない。   In this configuration, the projectors 7-1, 7-2, the camera 1, and the content DB 4 do not necessarily have to be connected as components, and only need to acquire data necessary for processing. The flow of data from the frame management unit 3, the shadow area correction units 5-1, 5-2, and the projection light suppression units 6-1, 6-2 to the respective arrows is a hard disk, a RAID device, a CD-ROM, or the like. Either a recording medium or a remote data resource via a network may be used.

画像入力部2は、画像を取得する手段であり、カメラ1等で撮像された画像データは、フレーム管理部3へ転送される。画像入力部2で取得する画像の例としては、スクリーン全体が隠れることなく写された画像を用いる。例えば、天井付近の上方にカメラ1を設置し、該カメラ1からスクリーンのみが写るよう撮影された画像を用いても良い。   The image input unit 2 is a means for acquiring an image, and image data captured by the camera 1 or the like is transferred to the frame management unit 3. As an example of an image acquired by the image input unit 2, an image that is captured without hiding the entire screen is used. For example, the camera 1 may be installed above the vicinity of the ceiling, and an image taken from the camera 1 so that only the screen is captured may be used.

図3は、本第1実施形態によるフレーム管理部3の動作を説明するためのフローチャートである。まず、時系列の画像を管理するためのフレーム番号を初期化する(ステップSb1)。次に、カメラ1からの画像を取得するため、待機状態となる(ステップSb2)。そして、画像が観測されたか否かを判定し(ステップSb3)、観測されない場合には(ステップSb3のNO)、ステップSb2に戻り、待機状態を継続する。   FIG. 3 is a flowchart for explaining the operation of the frame management unit 3 according to the first embodiment. First, a frame number for managing time-series images is initialized (step Sb1). Next, in order to acquire the image from the camera 1, it will be in a standby state (step Sb2). Then, it is determined whether or not an image has been observed (step Sb3). If no image is observed (NO in step Sb3), the process returns to step Sb2, and the standby state is continued.

一方、画像が観測された場合には(ステップSb3のYES)、カメラ1からの画像を取得し(ステップSb4)、フレーム番号を更新し(ステップb5)、その画像を影領域補正部5−1、5−2へ転送し、同時にSW信号(以下では、例としてフレーム番号とする)を送出する(ステップSb6)。それらの処理が終わると、ステップSb2の待機状態に戻り、再び、上述した処理を繰り返す。   On the other hand, if an image is observed (YES in step Sb3), the image from the camera 1 is acquired (step Sb4), the frame number is updated (step b5), and the image is converted into a shadow area correction unit 5-1. 5-2, and simultaneously transmits an SW signal (hereinafter referred to as a frame number as an example) (step Sb6). When these processes are completed, the process returns to the standby state in step Sb2, and the above-described processes are repeated again.

次に、影領域補正の基本原理を説明する。2台のプロジェクタ7−1、7−2について、事前のセットアップで、カラー混合行列:V、Vと、環境光の成分を表す:Fを得ておく。以下の説明では、プロジェクタ7−1を主補正対象とし,プロジェクタ7−2を副補正対象とする。 Next, the basic principle of shadow area correction will be described. With respect to the two projectors 7-1 and 7-2, the color mixing matrixes V 1 and V 2 and the ambient light component F are obtained in advance setup. In the following description, the projector 7-1 is a main correction target, and the projector 7-2 is a sub correction target.

まず、オリジナルの輝度値Cを次式(2)、(3)、(4)に示すように分配する。   First, the original luminance value C is distributed as shown in the following equations (2), (3), and (4).

Figure 2012249008
Figure 2012249008

Figure 2012249008
Figure 2012249008

Figure 2012249008
Figure 2012249008

ここで、プロジェクタ7−1を主補正対象の場合には、γ>γとする。 Here, when the projector 7-1 is a main correction target, γ 1 > γ 2 is set.

次に、プロジェクタ7−1、7−2からの出力輝度P1、P2を、カラー混合行列並びに環境光を用いて、それぞれ次式(5)、(6)に示すように補正する。   Next, the output luminances P1 and P2 from the projectors 7-1 and 7-2 are corrected as shown in the following equations (5) and (6) using the color mixing matrix and the ambient light, respectively.

Figure 2012249008
Figure 2012249008

Figure 2012249008
Figure 2012249008

続いて、その補正輝度値をそれぞれのプロジェクタ7−1、7−2から出力する。これらの輝度値がスクリーンに投影されたとき、カメラ1によって観測値C’が得られたとすると、次式(7)の関係となる。   Subsequently, the corrected luminance value is output from each of the projectors 7-1 and 7-2. Assuming that the observed value C ′ is obtained by the camera 1 when these luminance values are projected on the screen, the relationship of the following equation (7) is established.

Figure 2012249008
Figure 2012249008

一般的には、互いのプロジェクタ7−1、7−2では、独立に輝度を補正しているので、オリジナルの輝度値Cは観測されない。そこで、観測輝度値C’と目標輝度値Cとの輝度差ΔC:   In general, the projectors 7-1 and 7-2 mutually correct the luminance independently, so that the original luminance value C is not observed. Therefore, a luminance difference ΔC between the observed luminance value C ′ and the target luminance value C:

Figure 2012249008
Figure 2012249008

をフィードバックさせて、主補正対象であるプロジェクタ7−1の出力輝度を、次式(9)に示すように補正する。 Is fed back, and the output luminance of the projector 7-1 that is the main correction target is corrected as shown in the following equation (9).

Figure 2012249008
Figure 2012249008

一方のプロジェクタ7−2については、数式(6)により輝度を補正する。つまり、プロジェクタ7−2は、初期状態と同じ輝度を出力するため、補正輝度値が固定されている。この輝度補正の後、それぞれの補正輝度値を、再び、プロジェクタ7−1、7−2から出力する.   On the other hand, the brightness of the projector 7-2 is corrected by Expression (6). That is, since the projector 7-2 outputs the same luminance as that in the initial state, the corrected luminance value is fixed. After this luminance correction, the corrected luminance values are output from the projectors 7-1 and 7-2 again.

一方、プロジェクタ7−2を主補正対象の場合には、γ>γとして、上記のプロジェクタ7−1を主補正対象とした場合において、プロジェクタ7−1の出力輝度値の補正処理とプロジェクタ7−2の出力輝度値の補正処理とを入れ替えるだけである。よって、フィードバック補正には、主補正対象であるプロジェクタ7−2の出力輝度を次式(10)に示すように補正する。 On the other hand, when the projector 7-2 is the main correction target, γ 2 > γ 1 and when the projector 7-1 is the main correction target, the output luminance value correction processing of the projector 7-1 and the projector It is only necessary to replace the output luminance value correction process of 7-2. Therefore, in the feedback correction, the output luminance of the projector 7-2 that is the main correction target is corrected as shown in the following equation (10).

Figure 2012249008
Figure 2012249008

このように、主補正対象を切り替えながら、次式(11)を満たす補正輝度値P、Pをそれぞれのプロジェクタ7−1、7−2から出力し、スクリーンの影領域の輝度欠損を補正する。 In this way, while switching the main correction target, the corrected luminance values P 1 and P 2 satisfying the following expression (11) are output from the respective projectors 7-1 and 7-2 to correct the luminance deficiency in the shadow area of the screen. To do.

Figure 2012249008
Figure 2012249008

次に、上記原理を踏まえた上で、影領域補正部5−1、5−2の処理について説明する。図4は、本第1実施形態による影領域補正部5−1、5−2の動作を説明するためのフローチャートである。影領域補正部5−1、5−2は、初期状態では、待機状態となって、フレーム番号の受信を待つ(ステップSc1)。そして、フレーム管理部3からフレーム番号を受信すると、それぞれの影領域補正部5−1、5−2では、フレーム判定を行う(ステップSc2)。このフレーム判定では、それぞれのプロジェクタ7−1、7−2が主補正対象のプロジェクタであるか、副補正対象のプロジェクタであるのかをフレーム番号によって判定する。   Next, the processing of the shadow area correction units 5-1 and 5-2 will be described based on the above principle. FIG. 4 is a flowchart for explaining the operation of the shadow area correction units 5-1 and 5-2 according to the first embodiment. The shadow area correction units 5-1 and 5-2 are in a standby state in the initial state and wait for reception of a frame number (step Sc <b> 1). When the frame number is received from the frame management unit 3, each of the shadow region correction units 5-1, 5-2 performs frame determination (step Sc2). In this frame determination, it is determined based on the frame number whether each of the projectors 7-1 and 7-2 is a main correction target projector or a sub correction target projector.

主補正対象となるのは、1台のプロジェクタであり、2台のプロジェクタから構成されるマルチプロジェクタシステムでは、交互に主補正と副補正とが切り替わることになる。例えば、フレーム番号#1からフレーム番号#2までは、プロジェクタ7−1が主補正の対象とし、フレーム番号#3からフレーム番号#4までは、プロジェクタ7−2を主補正の対象と判定する。フレーム判定は、それ以降のフレームにおいても、受信したフレーム番号がfとすると、プロジェクタ7−1では、次式(12)を計算して、m、またはmが0ならば、主補正と判定する(数式(12)のmodは剰余計算を意味する)。 The main correction target is a single projector. In a multi-projector system composed of two projectors, the main correction and the sub correction are alternately switched. For example, from frame number # 1 to frame number # 2, projector 7-1 is determined as the main correction target, and from frame number # 3 to frame number # 4, projector 7-2 is determined as the main correction target. In the frame determination, if the received frame number is f in the subsequent frames, the projector 7-1 calculates the following equation (12), and if m 1 or m 2 is 0, the main correction and Determine (mod in equation (12) means remainder calculation).

Figure 2012249008
Figure 2012249008

特に、mが0のときは、被写体への投影光を検出するモード(投影光抑制部6−1の処理)も作動させて、本影領域補正部5−1では、影領域をフィードバック補正する。 In particular, when m 2 is 0, the mode for detecting the projection light on the subject (processing of the projection light suppression unit 6-1) is also activated, and the shadow region correction unit 5-1 performs feedback correction of the shadow region. To do.

一方、プロジェクタ7−2では、次式(13)を計算して、m、またはmが0ならば、主補正と判定する(数式(13)のmodは剰余計算を意味する)。 On the other hand, in the projector 7-2, the following equation (13) is calculated, and if m 3 or m 4 is 0, it is determined as main correction (mod in equation (13) means remainder calculation).

Figure 2012249008
Figure 2012249008

特に、mが0のときは、被写体への投影光を検出するモード(投影光抑制部6−2の処理)となり、本影領域補正部5−2では、影領域をフィードバック補正する。 In particular, when m 4 is 0, a mode for detecting projection light onto the subject (processing of the projection light suppression unit 6-2) is performed, and the shadow region correction unit 5-2 performs feedback correction of the shadow region.

以上を踏まえて、数式(12)に従った計算の結果、mが0と判定されたときのプロジェクタ7−1の輝度補正について説明する。主補正と判定されると(ステップSc3のYES)、プロジェクタ7−1には、数式(2)により原画像の輝度を分配する(ステップSc4)。次に、検出モードであるか否かを判定し(ステップSc5)、この場合、検出モードでないので(ステップSc5のNO)、その分配された輝度を数式(5)に従って補正し、プロジェクタ7−1から出力するための輝度Pを求める(ステップSc6)。ここで、投影光抑制部6−1の処理用として観測画像を保持した後、補正された輝度Pをプロジェクタ7−1から出力する(ステップSc11)。この処理が完了すると、全ての処理が終了したか否可を判定し(ステップSc12)、終了していない場合には、次のフレーム番号を受信するために、ステップSc1の待機状態に戻る。 Based on the above, the brightness correction of the projector 7-1 when m 1 is determined to be 0 as a result of the calculation according to Expression (12) will be described. If the main correction is determined (YES in step Sc3), the luminance of the original image is distributed to the projector 7-1 according to equation (2) (step Sc4). Next, it is determined whether or not the detection mode is set (step Sc5). In this case, since the detection mode is not set (NO in step Sc5), the distributed luminance is corrected in accordance with the formula (5), and the projector 7-1. the brightness P 1 for outputting the determined (step Sc6). Here, after holding the observation image for the processing of the projection light suppression unit 6-1, and outputs the corrected luminance P 1 from the projector 7-1 (step Sc11). When this process is completed, it is determined whether or not all the processes are completed (step Sc12). If not, the process returns to the standby state of step Sc1 to receive the next frame number.

次に、mが0と判定されたときのプロジェクタ7−1のフィードバック補正について説明する。この場合には、観測画像を使うので、フレーム管理部3を通して観測画像を読み込み、その画像C’と原画像Cとの間において各画素の輝度差ΔCを数式(8)によって得る(ステップSc9)。さらに、検出モードであるので(ステップSc5のYES)、フィードバック補正では、数式(9)を使って、輝度Pを再び補正する(ステップSc10)。そして、補正された輝度Pをプロジェクタ7−1から出力する(ステップSc11)。この処理が完了すると、全ての処理が終了したか否可を判定し(ステップSc12)、終了していない場合には、次のフレーム番号を受信するために、ステップSc1の待機状態に戻る。 Next, feedback correction of the projector 7-1 when m 2 is determined to be 0 will be described. In this case, since the observation image is used, the observation image is read through the frame management unit 3, and the luminance difference ΔC of each pixel between the image C ′ and the original image C is obtained by Expression (8) (step Sc9). . Furthermore, since the detection mode (YES in step Sc5), the feedback correction using the equation (9), again corrects the brightness P 1 (step Sc10). Then, it outputs the corrected luminance P 1 from the projector 7-1 (step Sc11). When this process is completed, it is determined whether or not all the processes are completed (step Sc12). If not, the process returns to the standby state of step Sc1 to receive the next frame number.

一方、フレーム判定において、m1、またはmが0と判定される間、プロジェクタ7−2については副補正と判定する(ステップSc3のNO)。この判定の後,プロジェクタ7−2には、数式(3)により原画像の輝度を分配する(ステップSc7)。その分配された輝度を数式(6)に従って補正し、プロジェクタ7−2から出力するための輝度Pを求める(ステップSc8)。補正された輝度Pは、プロジェクタ7−2から出力される(ステップS11)。この処理が完了すると、全ての処理が終了したか否可を判定し(ステップSc12)、終了していない場合には、次のフレーム番号を受信するために、ステップSc1の待機状態に戻る。 On the other hand, it is determined in frame determination, m1, or while m 2 is determined to 0, the projector 7-2 and the sub corrected (NO in step Sc3). After this determination, the luminance of the original image is distributed to the projector 7-2 according to Equation (3) (Step Sc7). The distributed brightness corrected according to Equation (6), obtains the luminance P 2 for output from the projector 7-2 (step Sc8). Corrected luminance P 2 is output from the projector 7-2 (step S11). When this process is completed, it is determined whether or not all the processes are completed (step Sc12). If not, the process returns to the standby state of step Sc1 to receive the next frame number.

次に、数式(13)に従った計算の結果、mが0と判定されたときのプロジェクタ7−2の輝度補正について説明する。主補正と判定したとき、プロジェクタ7−2には、数式(3)により原画像の輝度を分配する(ステップSc4:但し、γ>γ)。この場合、検出モードでないので(ステップSc5のNO)、その分配された輝度を数式(6)に従って補正し、プロジェクタ7−2から出力するための輝度Pを求める(ステップSc6)。ここで、投影光抑制部6−2の処理用として観測画像を保持した後、補正された輝度Pをプロジェクタ7−2から出力する(ステップSc11)。この処理が完了すると、全ての処理が終了したか否可を判定し(ステップSc12)、終了していない場合には、次のフレーム番号を受信するために、ステップSc1の待機状態に戻る。 Next, luminance correction of the projector 7-2 when m 3 is determined to be 0 as a result of calculation according to Expression (13) will be described. When the main correction is determined, the luminance of the original image is distributed to the projector 7-2 according to Equation (3) (step Sc4: where γ 2 > γ 1 ). In this case, since no detection mode (NO in step Sc5), the distributed brightness corrected according to Equation (6), obtains the luminance P 2 for output from the projector 7-2 (step Sc6). Here, after holding the observation image for the processing of the projection light suppression unit 6-2, and outputs the corrected luminance P 2 from the projector 7-2 (step Sc11). When this process is completed, it is determined whether or not all the processes are completed (step Sc12). If not, the process returns to the standby state of step Sc1 to receive the next frame number.

次に、mが0と判定されたときのプロジェクタ7−2のフィードバック補正について説明する。この場合には、観測画像を使うので、フレーム管理部3を通して観測画像を読み込み、その画像C’と原画像Cとの間において各画素の輝度差ΔCを数式(8)によって得る(ステップSc9)。さらに、この場合、検出モードであるので(ステップSc5のYES)、フィードバック補正では、数式(10)を使って輝度Pを再び補正する(ステップSc10)。補正された輝度Pは、プロジェクタ7−2から出力される(ステップSc11)。この処理が完了すると、全ての処理が終了したか否可を判定し(ステップSc12)、終了していない場合には、次のフレーム番号を受信するために、ステップSc1の待機状態に戻る。 Next, feedback correction of the projector 7-2 when m 4 is determined to be 0 will be described. In this case, since the observation image is used, the observation image is read through the frame management unit 3, and the luminance difference ΔC of each pixel between the image C ′ and the original image C is obtained by Expression (8) (step Sc9). . Furthermore, in this case, since the detection mode (YES in step Sc5), the feedback correction, again corrects the luminance P 2 using the equation (10) (step Sc10). Corrected luminance P 2 is output from the projector 7-2 (step Sc11). When this process is completed, it is determined whether or not all the processes are completed (step Sc12). If not, the process returns to the standby state of step Sc1 to receive the next frame number.

一方、フレーム判定において、m、またはmが0と判定される間、プロジェクタ7−1については、副補正と判定する(ステップSc3のNO)。この判定の後、プロジェクタ7−1には、数式(2)により原画像の輝度を分配する(ステップSc7:但し、γ>γ)。その分配された輝度を数式(5)に従って補正し、プロジェクタ7−1から出力するための輝度Pを求める(ステップSc8)。補正された輝度Pは、プロジェクタ7−1から出力される。この処理が完了すると、全ての処理が終了したか否可を判定し(ステップSc12)、終了していない場合には、次のフレーム番号を受信するために待機状態に戻る。 On the other hand, while m 3 or m 4 is determined to be 0 in the frame determination, the projector 7-1 is determined to be sub-correction (NO in step Sc3). After this determination, the luminance of the original image is distributed to the projector 7-1 according to Equation (2) (step Sc7: where γ 2 > γ 1 ). The distributed brightness corrected according to Equation (5), obtains the brightness P 1 for output from the projector 7-1 (step Sc8). Corrected luminance P 1 is output from the projector 7-1. When this process is completed, it is determined whether or not all the processes have been completed (step Sc12). If not, the process returns to the standby state in order to receive the next frame number.

図5は、本第1実施形態による投影光抑制部6−1、6−2の動作を説明するためのフローチャートである。フレーム判定において、m、またはmが0と判定されたとき、投影光抑制部6−1、6−2の処理が実行される。この処理は、プロジェクタ7−1、プロジェクタ7−2でも同様に処理するので、以下では、プロジェクタ7−1に対する投影光抑制部6−1の処理について説明する。 FIG. 5 is a flowchart for explaining the operation of the projection light suppression units 6-1 and 6-2 according to the first embodiment. In the frame determination, when m 2 or m 4 is determined to be 0, the processing of the projection light suppression units 6-1 and 6-2 is executed. Since this process is similarly performed in the projector 7-1 and the projector 7-2, the process of the projection light suppressing unit 6-1 for the projector 7-1 will be described below.

投影光抑制部6−1、6−2は、初期状態では、待機状態となって、フレーム番号の受信を待つ(ステップSd1)。そして、フレーム管理部3からフレーム番号を受信すると、それぞれの投影光抑制部6−1、6−2では、フレーム判定を行う(ステップSd2)。次に、フレーム判定結果に従って検出モードであるか否かを判定する(ステップSd3)。この判定は、図4の検出モードと連動しており、図4の検出モードが「YES」と判定するときは、図5の検出モードも「YES」と判定する。そして、フレーム判定において、mが0のとき、現在のスクリーンを撮影した画像を観測する。 The projection light suppression units 6-1 and 6-2 are in a standby state in the initial state and wait for reception of a frame number (step Sd1). Then, when the frame number is received from the frame management unit 3, the projection light suppression units 6-1 and 6-2 perform frame determination (step Sd2). Next, it is determined whether or not the detection mode is set according to the frame determination result (step Sd3). This determination is linked with the detection mode of FIG. 4. When the detection mode of FIG. 4 is determined to be “YES”, the detection mode of FIG. 5 is also determined to be “YES”. In the frame determination, when m 2 is 0, an image obtained by photographing the current screen is observed.

一方、フレーム判定において、mが0のとき検出モードと判定し(ステップSd3のYES)、一つ前の観測画像が保持されているので読み込んで(ステップSd4)、該一つ前の観測画像との輝度変化を検出する(ステップSd5)。輝度変化の検出では、画像間の各画素について順番に輝度値の差分を計算し、その差分が許容値より超えた場合には、輝度が大きく変化した画素を検出する。 On the other hand, in the frame determination, when m 1 is 0, the detection mode is determined (YES in step Sd3), and the previous observation image is held and read (step Sd4). Is detected (step Sd5). In the detection of a change in luminance, a difference in luminance value is calculated in order for each pixel between images, and when the difference exceeds an allowable value, a pixel whose luminance has changed greatly is detected.

次に、被写体領域を判定する(ステップSd6)。被写体領域の判定では、輝度変化が大きく変化した場合には、その画素は、被写体に投影光が当たっていないと判定し、逆に、その差分が許容値より超えずに、輝度がほとんど変化しない場合には、その画素からの投影光が、被写体に当たっていると判定する(被写体に光が当たるため、スクリーンには、補正された輝度が到達していないため)。プロジェクタ7−2からの出力輝度が低めに固定されているので、被写体領域の判定では、プロジェクタ7−1からの投影光が被写体に当たっているかの判定を円滑に処理することができる。   Next, the subject area is determined (step Sd6). In the determination of the subject area, if the luminance change changes significantly, the pixel determines that the subject is not exposed to projection light. Conversely, the difference does not exceed the allowable value, and the luminance hardly changes. In this case, it is determined that the projection light from the pixel is hitting the subject (because the subject hits the light, the corrected luminance has not reached the screen). Since the output luminance from the projector 7-2 is fixed to be low, the determination of whether the projection light from the projector 7-1 hits the subject can be smoothly processed in the determination of the subject area.

次に、マスク画像を生成する(ステップSd7)。マスク画像の生成では、被写体に当たると判定された画素のマスク値を0、そうでない画素のマスク値を1にセットしたマスク画像を生成する。そのマスク画像において、マスク値が1のとき、プロジェクタ7−1、7−2から補正された輝度を出力し、マスク値が0のとき、プロジェクタ7−1、7−2から補正された輝度を0とする。   Next, a mask image is generated (step Sd7). In the generation of the mask image, a mask image is generated in which the mask value of a pixel determined to hit the subject is set to 0, and the mask value of a pixel that is not so is set to 1. In the mask image, when the mask value is 1, the corrected luminance is output from the projectors 7-1 and 7-2, and when the mask value is 0, the corrected luminance is output from the projectors 7-1 and 7-2. 0.

次に、投影光を抑制する(ステップSd8)。投影光の抑制では、補正された輝度値にマスク画像の画素値(0または1)を掛け合わせて、プロジェクタ7−1、7−2から出力して被写体への投影光を抑制する。そして、処理が終了したか否かを判定し(ステップSd9)、終了していない場合には、ステップSd1に戻り、上述した処理を繰り返す。一方、全ての処理が終了した場合には、当該処理を終了する。   Next, the projection light is suppressed (step Sd8). In the suppression of the projection light, the corrected luminance value is multiplied by the pixel value (0 or 1) of the mask image and output from the projectors 7-1 and 7-2 to suppress the projection light on the subject. Then, it is determined whether or not the process is completed (step Sd9). If the process is not completed, the process returns to step Sd1 and the above-described process is repeated. On the other hand, when all the processes are completed, the processes are terminated.

B.第2実施形態
次に、本発明の第2実施形態について説明する。
第1実施形態の処理は、2台のプロジェクタ7−1、7−2を交互に輝度補正する手法である。これに対して、本第2実施形態では、3台以上のプロジェクタから構成されるマルチプロジェクタシステムにおいて本発明を拡張したものである。
B. Second Embodiment Next, a second embodiment of the present invention will be described.
The process of the first embodiment is a method of alternately correcting the brightness of the two projectors 7-1 and 7-2. In contrast, the second embodiment is an extension of the present invention in a multi-projector system composed of three or more projectors.

図6は、本第2実施形態による、N台のプロジェクタを用いた多重投影制御装置の構成を示すブロック図である。なお、図1に対応する部分には同一の符号を付けて説明を省略する。図6において、本第2実施形態では、カメラ1、画像入力部2、フレーム管理部3、コンテンツDB4、影領域補正部5−1〜5−N、投影光抑制部6−1〜6−N、N台のプロジェクタ7−1〜7−Nを備えている。   FIG. 6 is a block diagram showing a configuration of a multiple projection control apparatus using N projectors according to the second embodiment. It should be noted that portions corresponding to those in FIG. 6, in the second embodiment, the camera 1, the image input unit 2, the frame management unit 3, the content DB 4, the shadow area correction units 5-1 to 5-N, and the projection light suppression units 6-1 to 6-N. , N projectors 7-1 to 7-N are provided.

原理は、第1実施形態と同様であるが、N台のプロジェクタに対して、原画像の輝度を分配する点と、フレーム判定に従って、1台ずつ順番に、プロジェクタに対して輝度補正、フィードバック補正の処理を行う点が異なる。以下では、その差分のみを説明する。   The principle is the same as in the first embodiment, but the luminance correction and feedback correction are performed on the projectors one by one in accordance with the point that the luminance of the original image is distributed to the N projectors and the frame determination. The difference is that this process is performed. Only the difference will be described below.

フレーム判定では、フレーム番号が#1と#2のときに、プロジェクタ7−1を主補正の対象に、フレーム番号が#3と#4のときに、プロジェクタ7−2を主補正の対象に、フレーム番号が#2k−1と#2kのときに、プロジェクタ7−kを主補正の対象に、フレーム番号が#2N−1と2Nのときに、プロジェクタ7−Nを主補正の対象に、それぞれ判定するように、次式(14)を計算して、m2k−1、またはm2kが0ならば、プロジェクタ7−kを主補正の対象と判定する。 In the frame determination, when the frame numbers are # 1 and # 2, the projector 7-1 is the main correction target, and when the frame numbers are # 3 and # 4, the projector 7-2 is the main correction target. When the frame numbers are # 2k-1 and # 2k, the projector 7-k is the main correction target. When the frame numbers are # 2N-1 and 2N, the projector 7-N is the main correction target. As determined, the following equation (14) is calculated, and if m 2k−1 or m 2k is 0, the projector 7-k is determined as the main correction target.

Figure 2012249008
Figure 2012249008

それ以外のプロジェクタ7−j(≠k)、j=1,2,…,Nは副補正と判定する。フレーム判定の後、原画像の輝度値Cをそれぞれ次式(15)に示すように分配する。   Other projectors 7-j (≠ k), j = 1, 2,..., N are determined to be sub-corrections. After the frame determination, the luminance value C of the original image is distributed as shown in the following equation (15).

Figure 2012249008
Figure 2012249008

ここで、主補正対象のプロジェクタ7−kの係数は、γ>γ,(j=1,2,…,N,j≠k)とする。 Here, the coefficient of the projector 7-k that is the main correction target is γ k > γ j , (j = 1, 2,..., N, j ≠ k).

2k−1が0のとき、この輝度分配に従って、全てのプロジェクタ7−1〜7−Nは、次式(16)に示すように輝度補正し、m2kが0のときは、フレーム管理部3を通して観測画像を読み出し、その画像C’と原画像Cとの間において、各画素の輝度差を数式(8)によって得て、フィードバック補正により、次式(17)に示すように、プロジェクタ7−kの輝度Pを再び補正する。このとき、投影光抑制部6−kにおいて、被写体検出が行われ、マスク画像を生成し、被写体への投影光を抑制する。 When m 2k−1 is 0, all the projectors 7-1 to 7-N correct the luminance as shown in the following equation (16) according to the luminance distribution. When m 2k is 0, the frame management unit 3, the observed image is read out, the luminance difference of each pixel between the image C ′ and the original image C is obtained by Expression (8), and by feedback correction, as shown in the following Expression (17), the projector 7 again correcting luminance P 1 of -k. At this time, the projection light suppression unit 6-k detects the subject, generates a mask image, and suppresses the projection light on the subject.

Figure 2012249008
Figure 2012249008

Figure 2012249008
Figure 2012249008

フレーム判定に従って、カメラ1で観測した輝度Cが、次式(18)に示す条件を満たすまで、順番に各プロジェクタ7−1〜7−Nからの輝度を補正しつつ、そのプロジェクタ7−1〜7−Nからの投影光が被写体を照明する場合には、その光を抑制する処理を繰り返す。   In accordance with the frame determination, the projectors 7-1 to 7-1 are sequentially corrected while the brightness C observed by the camera 1 satisfies the condition expressed by the following equation (18), while correcting the brightness from the projectors 7-1 to 7-N. When the projection light from 7-N illuminates the subject, the process of suppressing the light is repeated.

Figure 2012249008
Figure 2012249008

なお、本発明は、前述した第1、第2実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム、あるいは装置に供給し、そのシステム、あるいは装置のCPU(MPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、CD−ROM、DVD−ROM、CD−R、CD−RW、MO、HDD等は本発明を構成する。   In the present invention, a storage medium storing software program codes for realizing the functions of the first and second embodiments described above is supplied to a system or apparatus, and the CPU (MPU) of the system or apparatus is provided. It can also be realized by reading and executing the program code stored in the storage medium. In that case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and a storage medium storing the program code, for example, a CD-ROM, a DVD-ROM, a CD-R. , CD-RW, MO, HDD, etc. constitute the present invention.

1 カメラ
2 画像入力部
3 フレーム管理部
4 コンテンツDB
5−1〜5−N 影領域補正部
6−1〜6−N 投影光抑制部
7−1〜7−N プロジェクタ
1 Camera 2 Image input unit 3 Frame management unit 4 Content DB
5-1 to 5-N Shadow area correction unit 6-1 to 6-N Projection light suppression unit 7-1 to 7-N Projector

Claims (3)

異なる角度でスクリーンに1つの映像を投影する複数のプロジェクタと、
前記スクリーンに投影される映像を撮像する撮像手段と、
前記撮像手段で撮像された画像のフレーム番号を管理するフレーム管理手段と、
前記フレーム管理手段により管理されるフレーム番号に基づいて、対応するプロジェクタ毎に、前記スクリーン前に存在する物体により前記スクリーンに生じる影領域における輝度を補正する複数の影領域補正手段と、
前記複数の影領域補正手段の各々に同期して、対応するプロジェクタからの投影光が前記物体を照明しないように、前記対応するプロジェクタの投影光を抑制する複数の投影光抑制手段と
を備えることを特徴とする多重投影制御装置。
Multiple projectors that project a single image onto the screen at different angles;
Imaging means for imaging an image projected on the screen;
Frame management means for managing frame numbers of images taken by the imaging means;
A plurality of shadow area correction means for correcting the luminance in the shadow area generated on the screen by an object existing in front of the screen for each corresponding projector based on the frame number managed by the frame management means;
A plurality of projection light suppressing means for suppressing the projection light of the corresponding projector so that the projection light from the corresponding projector does not illuminate the object in synchronization with each of the plurality of shadow area correction means. A multiple projection control device characterized by the above.
多重投影制御方法であって、
複数のプロジェクタによりスクリーン上に投影された1つの映像をカメラによって撮像する撮像ステップと、
前記カメラで撮像された画像のフレーム番号を管理するフレーム管理ステップと、
前記フレーム管理ステップで管理されるフレーム番号に基づいて、対応するプロジェクタ毎に、前記スクリーン前に存在する物体により前記スクリーンに生じる影領域における輝度を補正する影領域補正ステップと、
前記影領域補正ステップに同期して、対応するプロジェクタからの投影光が前記物体を照明しないように、前記対応するプロジェクタの投影光を抑制する投影光抑制ステップと
を含むことを特徴とする多重投影制御方法。
A multiple projection control method comprising:
An imaging step of imaging one image projected on a screen by a plurality of projectors with a camera;
A frame management step for managing a frame number of an image captured by the camera;
Based on the frame number managed in the frame management step, for each corresponding projector, a shadow area correction step for correcting the luminance in the shadow area generated on the screen by an object existing in front of the screen;
And a projection light suppression step of suppressing the projection light of the corresponding projector so that the projection light from the corresponding projector does not illuminate the object in synchronization with the shadow area correction step. Control method.
多重投影制御装置のコンピュータに、
複数のプロジェクタによりスクリーン上に投影された1つの映像をカメラによって撮像する撮像機能、
前記カメラで撮像された画像のフレーム番号を管理するフレーム管理機能、
前記フレーム管理機能で管理されるフレーム番号に基づいて、対応するプロジェクタ毎に、前記スクリーン前に存在する物体により前記スクリーンに生じる影領域における輝度を補正する影領域補正機能、
前記影領域補正機能に同期して、対応するプロジェクタからの投影光が前記物体を照明しないように、前記対応するプロジェクタの投影光を抑制する投影光抑制機能
を実行させることを特徴とする多重投影制御プログラム。
In the computer of the multiple projection control device,
An imaging function for imaging one image projected on a screen by a plurality of projectors with a camera;
A frame management function for managing the frame number of an image captured by the camera;
A shadow area correction function for correcting the brightness in the shadow area generated on the screen by an object existing in front of the screen for each corresponding projector based on the frame number managed by the frame management function;
A multiple projection that performs a projection light suppression function that suppresses the projection light of the corresponding projector so that the projection light from the corresponding projector does not illuminate the object in synchronization with the shadow area correction function Control program.
JP2011118130A 2011-05-26 2011-05-26 Multiplex projection control apparatus, multiplex projection control method and multiplex projection control program Pending JP2012249008A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011118130A JP2012249008A (en) 2011-05-26 2011-05-26 Multiplex projection control apparatus, multiplex projection control method and multiplex projection control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011118130A JP2012249008A (en) 2011-05-26 2011-05-26 Multiplex projection control apparatus, multiplex projection control method and multiplex projection control program

Publications (1)

Publication Number Publication Date
JP2012249008A true JP2012249008A (en) 2012-12-13

Family

ID=47469065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011118130A Pending JP2012249008A (en) 2011-05-26 2011-05-26 Multiplex projection control apparatus, multiplex projection control method and multiplex projection control program

Country Status (1)

Country Link
JP (1) JP2012249008A (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007520945A (en) * 2004-01-09 2007-07-26 アイマット・インコーポレーテッド Method and apparatus for inhibiting presenter shadows from being projected onto a projection screen
JP2008116565A (en) * 2006-11-01 2008-05-22 Seiko Epson Corp Image correction device, projection system, image correction method, image correction program and recording medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007520945A (en) * 2004-01-09 2007-07-26 アイマット・インコーポレーテッド Method and apparatus for inhibiting presenter shadows from being projected onto a projection screen
JP2008116565A (en) * 2006-11-01 2008-05-22 Seiko Epson Corp Image correction device, projection system, image correction method, image correction program and recording medium

Similar Documents

Publication Publication Date Title
US9137504B2 (en) System and method for projecting multiple image streams
US7855752B2 (en) Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system
US7854518B2 (en) Mesh for rendering an image frame
US20070291189A1 (en) Blend maps for rendering an image frame
US20070291047A1 (en) System and method for generating scale maps
US20150154448A1 (en) Display system, display device, projection device and program
JP6030396B2 (en) Video processing device
WO2007149322A2 (en) System and method for displaying images
JP5771981B2 (en) Drawing image sharing apparatus, data processing method, program, and recording medium
JP5590668B2 (en) Projector apparatus, video signal correction apparatus, video signal correction method, and program
JP6371092B2 (en) Video processing apparatus and projector apparatus using the same
JP2008026424A (en) Image display apparatus and image display method
JP2011257609A (en) Optical projection control method, optical projection control device, optical projection control system and program
KR102650217B1 (en) Method for providing image and electronic device for supporting the same
JP2007300540A (en) Image display system
JP6138779B2 (en) Automatic image synthesizer
JP2019033339A (en) Information processing apparatus, projection apparatus, information processing method, and program
JP2012249008A (en) Multiplex projection control apparatus, multiplex projection control method and multiplex projection control program
JP5592834B2 (en) Optical projection control apparatus, optical projection control method, and program
TW201516553A (en) Display apparatus and display method thereof
JP2006323139A (en) Projector, camera server, and image projection method
JP5590680B2 (en) Image composition apparatus, image composition method, and image composition program
JP5654337B2 (en) Projection correction method, projection correction apparatus, and projection correction program
JP2004080160A (en) Multi-projection system, and method of acquiring correction data in the multi-projection system
JP2009267966A (en) Image correction processing device, method for controlling the same, and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130731

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140516

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141118