JP2006221599A - Method and apparatus for generating mapping function, and compound picture develop method, and its device - Google Patents
Method and apparatus for generating mapping function, and compound picture develop method, and its device Download PDFInfo
- Publication number
- JP2006221599A JP2006221599A JP2005089967A JP2005089967A JP2006221599A JP 2006221599 A JP2006221599 A JP 2006221599A JP 2005089967 A JP2005089967 A JP 2005089967A JP 2005089967 A JP2005089967 A JP 2005089967A JP 2006221599 A JP2006221599 A JP 2006221599A
- Authority
- JP
- Japan
- Prior art keywords
- screen
- projector
- image
- projectors
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims description 118
- 150000001875 compounds Chemical class 0.000 title 1
- 239000000872 buffer Substances 0.000 claims abstract description 85
- 230000006870 function Effects 0.000 claims description 159
- 239000011159 matrix material Substances 0.000 claims description 79
- 239000002131 composite material Substances 0.000 claims description 66
- 230000009466 transformation Effects 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 48
- 238000004364 calculation method Methods 0.000 claims description 42
- 238000003860 storage Methods 0.000 claims description 41
- 238000012937 correction Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 description 18
- 238000009877 rendering Methods 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000009434 installation Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Digital Computer Display Output (AREA)
Abstract
Description
この発明は、コンピュータグラフィックスによる並列映像発生に際して用いるマッピング関数の生成方法及び複合映像発生の方法並びにこれらの装置、さらにはその応用に関するものである。 The present invention relates to a mapping function generation method and a composite image generation method used for parallel image generation by computer graphics, to these devices, and to applications thereof.
訓練用シミュレータや研究用シミュレータにおいて没入感・臨場感を得るためには、高い解像度と広い視野が要求される。これをコストパフォーマンス良く実現する方法として、平面スクリーンに多数のプロジェクタから逆歪みをかけた映像を投影して連続した画像に統合するプロジェクタモザイクあるいはマルチプロジェクション技術が期待されている。従来から電子回路やレンズを用いて光学的に歪みを補正する方法は広く用いられていたが、スクリーンのサイズが固定されたり、プロジェクタ設置時の調整が複雑など多くの問題がある。また、複数配置して大画面を構成するため、境目を緩和する専用回路付きの高価なプロジェクタが必要となり、位置合わせやプロジェクタの特性および経年変化による輝度ズレの調整などにも多大の時間と労力を要する。
また、非特許文献1に示したように、設置位置が不明なプロジェクタj(1…n)から投影した映像と、同様に設置位置が不明なカメラで撮像したスクリーン上の歪み映像とが3行3列のマトリクスにより対応づけられ、このマトリクスを利用してプロジェクタ座標の映像に逆歪みをかけ、映像の歪み補正を行うものがあるが、平面スクリーンに限られている。
Further, as shown in Non-Patent
本発明は、部分画像を投影する比較的低解像度のプロジェクトを複数台用いて、高解像度の大画面をドーム等の二次曲面スクリーン上に表示する実時間映像発生が容易になる方法および手段を提供することにある。 The present invention provides a method and means for facilitating the generation of real-time video by displaying a high-resolution large screen on a quadratic curved screen such as a dome using a plurality of relatively low-resolution projects for projecting partial images. It is to provide.
上記課題を解決するため請求項1に係るマッピング関数生成方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影するように配置された複数nのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラと、コンピュータと、記憶装置とを有し、コンピュータによる処理であって、基準座標系から視点座標系への変換行列(M)と、カメラ座標から基準座標系への変換行列(S)とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列(H)を得る第1の過程と、前記変換行列(H)を用いて、カメラ座標系で求めた二次曲面パラメータ(Q)から仮定視点を原点とする視点座標系における二次曲面パラメータ(Qv)を求める第2の過程と、前記二次曲面パラメータ(Qv)を用いて、前記スクリーンに投影された点をプロジェクタi座標系から見た点と、任意の仮定視点から見た点との対応を示すマッピング関数を求める第3の過程と、前記マッピング関数よりその逆関数を求める第4の過程と、第1の過程から第4の過程を前記複数プロジェクタのn回繰り返して、プロジェクタ毎にマッピング関数の逆関数を得て前記記憶装置に格納する第5の過程と、からなることを特徴とするものである。
In order to solve the above-described problem, a mapping function generation method according to
上記課題を解決するため請求項2に係る複合映像生成方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数nのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項1において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第1の過程と、各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影する第2の過程からなることを特徴とするものである。 In order to solve the above-mentioned problem, the composite image generating method according to claim 2 is such that the quadratic curved screen and the regions projected in front of the screen and overlapping each region have overlapping portions and are continuous. A plurality of n projectors arranged, a computer provided for each of the projectors, and a storage device, and each computer generates an image for each area projected by each projector in a pixel buffer, and in advance. A first process of generating, in a pixel buffer, an image obtained by correcting the distortion of the generated image using the inverse function of the mapping for each projector obtained in step 2, and the quadratic curved surface It consists of the 2nd process of projecting on a screen.
上記課題を解決するため請求項3に係る複合映像生成方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数nのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラと、コンピュータと、記憶装置とを有し、コンピュータによる処理であって、基準座標系から視点座標系への変換行列(M)と、カメラ座標から基準座標系への変換行列(S)とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列(H)を得る第1の過程と、前記変換行列(H)を用いて、カメラ座標系で求めた二次曲面パラメータ(Q)から右目又は左目のいずれか一方の仮定視点を原点とする前記右目又は左目のいずれか一方の視点座標系及び右目又は左目のいずれか他方の仮定視点を原点とする前記右目又は左目のいずれか他方の視点座標系における二次曲面パラメータ(Qv)を求める第2の過程と、前記求めた右目及び左目の視点座標系における二次曲面パラメータ(Qv)を用いて、前記スクリーンに投影された点をプロジェクタi座標系から見た点と、任意の右目及び左目の仮定視点から見た点との対応を示すマッピング関数を求める第3の過程と、前記マッピング関数よりその逆関数を求める第4の過程と、第1の過程から第4の過程を前記複数プロジェクタのn回繰り返して、プロジェクタ毎に右目及び左目用のマッピング関数の逆関数を得て前記記憶装置に格納する第5の過程と、からなることを特徴とするものである。 In order to solve the above-mentioned problem, the composite image generating method according to claim 3 is continuous so that the quadric curved screen and the areas projected in front of the screen and overlapping each area have overlapping portions. A plurality of n projectors arranged; a camera located in front of the screen and arranged to photograph the screen; a computer; and a storage device. From the viewpoint coordinate system to the camera, a predetermined point of the test pattern projected from the projector onto the quadric surface screen by the transformation matrix (M) to the coordinate system and the transformation matrix (S) from the camera coordinates to the reference coordinate system. From the first step of obtaining the transformation matrix (H) to the coordinate system and the quadratic surface parameter (Q) obtained in the camera coordinate system using the transformation matrix (H). The viewpoint coordinate system of either the right eye or the left eye with the assumed viewpoint of either the eye or the left eye as the origin, and the other of the right eye or the left eye with the hypothetical viewpoint of the other of the right eye or the left eye as the origin Using the second step of obtaining the quadric surface parameter (Qv) in the viewpoint coordinate system and the obtained quadric surface parameter (Qv) in the viewpoint coordinate system of the right eye and the left eye, the points projected on the screen are projected. a third process for obtaining a mapping function indicating a correspondence between a point seen from the i coordinate system and a point seen from an arbitrary right eye and left eye assumed viewpoint, and a fourth process for obtaining an inverse function from the mapping function; The first to fourth processes are repeated n times for the plurality of projectors, and the inverse functions of the right eye and left eye mapping functions are obtained for each projector and stored in the storage device. A fifth step that and is characterized in that it consists of.
上記課題を解決するため請求項4に係る複合映像発生方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数nのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタ毎の右目用及び左目用の映像をピクセルバッファに生成するとともに予め請求項3において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第1の過程と、各プロジェクタから前記ピクセルバッファにおいて歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する第2の過程からなることを特徴とするものである。
In order to solve the above-mentioned problem, the composite image generation method according to
上記課題を解決するため請求項5に係る複合映像発生方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する領域を共通して重複する部分を有するように配置された複数nのプロジェクタと、コンピュータと、記憶装置とを有し、前記コンピュータにより各プロジェクタが投影する領域毎の映像を生成するとともに予め請求項1において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第1の過程と、各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくする第2の過程からなることを特徴とするものである。 In order to solve the above-mentioned problem, the composite image generation method according to claim 5 is arranged to have a quadratic curved screen and a portion overlapping in common with an area projected in front of the screen and projected onto the screen. A plurality of n projectors, a computer, and a storage device, wherein the computer generates an image for each area projected by each projector, and the inverse function of the mapping for each projector previously obtained in claim 1 A first process of generating a distortion-corrected image of the generated image in a pixel buffer; and a brightness of a common overlapping portion by projecting the distortion-corrected image from each projector onto the quadric curved screen. It consists of the 2nd process which enlarges thickness.
上記課題を解決するため請求項6に係る複合映像発生方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数nのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項1において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第1の過程と、各プロジェクタから前記歪み補正した映像を前記二次曲面スクリーンに投影する第2の過程からなることを特徴とするものである。
In order to solve the above-mentioned problem, the composite image generating method according to claim 6 is continuous so that the quadratic curved screen and the regions projected in front of the screen and overlapping each region have overlapping portions. Each of the projectors obtained in advance according to
上記課題を解決するため請求項7に係る複合映像発生方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数nのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項3において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第1の過程と、各プロジェクタから前記歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する第2の過程からなることを特徴とするものである。 In order to solve the above-mentioned problem, the composite image generating method according to claim 7 is continuous so that a quadric curved screen and a region projected in front of the screen and overlapping each region have overlapping portions. Each of the projectors obtained by dividing and generating a plurality of n projectors arranged and a video device so as to project an image from the video device onto the screen onto the plurality of n projectors. A first process of generating a distortion-corrected image of the divided and generated image using an inverse function of right-eye and left-eye mapping, and the distortion-corrected right-eye and left-eye images from each projector It consists of the 2nd process of projecting on a curved screen.
上記課題を解決するため請求項8に係る複合映像発生方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する領域を共通にして重複する部分を有するように配置された複数nのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項1において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第1の過程と、各プロジェクタから前記歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくする第2の過程からなることを特徴とするものである。
In order to solve the above problem, the composite image generating method according to claim 8 is arranged to have a quadratic curved screen and an overlapping portion located in front of the screen and having a common area projected on the screen. A plurality of n projectors and video devices, wherein the video from the video devices is divided and generated so as to be projected onto the screen onto the n projectors, and mapping for each projector previously obtained in
上記課題を解決するため請求項9に係る複合映像発生方法は、請求項6又は請求項7又は請求項8に記載のものにおいて、ビデオ機器が、テレビジョン装置、ビデオ再生装置、パーソナルコンピュータであることを特徴とするものである。 In order to solve the above problem, a composite video generation method according to claim 9 is the method according to claim 6 or claim 7 or claim 8, wherein the video equipment is a television device, a video playback device, or a personal computer. It is characterized by this.
上記課題を解決するため請求項10に係る複合映像生成方法は、請求項2又は請求項4又は請求項5又は請求項6又は請求項7又は請求項8又は請求項9に記載のものにおいて、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影するように配置された複数nのプロジェクタと、コンピュータと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラとを有し、前記スクリーンに前記プロジェクタのいずれもから投影しない状態でカメラにより撮影する第1の過程と、前記各プロジェクタより前記スクリーンに黒状態の映像を投影してカメラにより撮影するとともに複数nのプロジェクタのn回繰り返す第2の過程と、コンピュータにおいて、第2の過程による各プロジェクタ毎の映像の輝度から第1の過程により得られた映像の輝度との差により各プロジェクタによる画面の平均値と当該平均値の和により最大値を得るとともに最大値と平均値の差によりオフセット値を得る第3の過程と、コンピュータにおいて、各プロジェクタの映像の前記重複する部分のコントラストを前記オフセット値分下げるとともに輝度をオフセット値分上げて映像生成する第4の過程とからなることを特徴とするものである。
In order to solve the above-mentioned problem, a composite video generation method according to claim 10 is the one according to claim 2,
上記課題を解決するため請求項11に係る複合映像発生方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数nのプロジェクタと、前記各プロジェクタ前方に設けた偏光板と、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項1において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第1の過程と、各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影する第2の過程と、夜間情景を表すときに前記偏光板により減光させる第3の過程からなることを特徴とするものである。
In order to solve the above-mentioned problem, the composite image generation method according to claim 11 is continuous so that a quadric curved screen and a region projected in front of the screen and overlapping each region have overlapping portions. A plurality of n projectors arranged, a polarizing plate provided in front of each projector, a computer provided for each projector, and a storage device, and an image for each area projected by each projector by each computer Is generated in the pixel buffer, and a first process of generating, in the pixel buffer, an image obtained by correcting the distortion of the generated image according to the inverse function of the mapping for each projector previously obtained in
上記課題を解決するため請求項12に係るマッピング関数生成装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影するように配置された複数nのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラと、コンピュータと、記憶装置とを有し、基準座標系から視点座標系への変換行列(M)と、カメラ座標から基準座標系への変換行列(S)とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列(H)を得る変換行列計算手段と、前記変換行列(H)を用いて、カメラ座標系で求めた二次曲面パラメータ(Q)から仮定視点を原点とする視点座標系における二次曲面パラメータ(Qv)を求める二次曲面パラメータ(Qv)計算手段と、前記二次曲面パラメータ(Qv)を用いて、前記スクリーンに投影された点をプロジェクタi座標系から見た点と、任意の仮定視点から見た点との対応を示すマッピング関数及びその逆関数を求めるマッピング関数及び逆関数計算手段と、前記複数プロジェクタ毎にマッピング関数及びその逆関数を格納する記憶装置とからなることを特徴とするものである。 In order to solve the above-described problem, a mapping function generation device according to a twelfth aspect includes a quadric curved screen, a plurality of n projectors disposed in front of the screen and arranged to project onto the screen, and in front of the screen. A camera, a computer, and a storage device, which are positioned so as to capture a screen, a conversion matrix (M) from a reference coordinate system to a viewpoint coordinate system, and conversion from a camera coordinate to a reference coordinate system Transformation matrix calculation means for obtaining a transformation matrix (H) from the viewpoint coordinate system to the camera coordinate system for a predetermined point of the test pattern projected from the projector onto the quadric curved screen by the matrix (S), and the transformation matrix (H) is used to calculate the quadric surface parameter in the viewpoint coordinate system with the assumed viewpoint as the origin from the quadric surface parameter (Q) obtained in the camera coordinate system. From the quadratic surface parameter (Qv) calculation means for obtaining Qv), the point projected on the screen from the projector i coordinate system using the quadric surface parameter (Qv), and an arbitrary assumed viewpoint A mapping function and inverse function calculation means for obtaining a mapping function indicating the correspondence with the viewed point and its inverse function, and a storage device for storing the mapping function and its inverse function for each of the plurality of projectors It is.
上記課題を解決するため請求項13に係る複合映像発生装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数nのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項12において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影する複数nのプロジェクタとからなることを特徴とするものである。 In order to solve the above-mentioned problem, the composite image generating apparatus according to claim 13 is continuous so that a quadric curved screen and a region projected in front of the screen and overlapping each region have overlapping portions. 13. A plurality of n projectors arranged, a computer provided for each projector, and a storage device, wherein each computer generates an image for each area projected by each projector in a pixel buffer, and is preliminarily defined. And an image generation means for generating an image obtained by correcting distortion of the generated image in a pixel buffer according to an inverse function of the mapping for each projector obtained in the above, and each distortion corrected image from the pixel buffer of each computer A plurality of projectors that project onto a curved screen. .
上記課題を解決するため請求項14に係るマッピング関数生成装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数nのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラと、コンピュータと、記憶装置とを有し、基準座標系から視点座標系への変換行列(M)と、カメラ座標から基準座標系への変換行列(S)とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列(H)を得る変換行列計算手段と、前記変換行列(H)を用いて、カメラ座標系で求めた二次曲面パラメータ(Q)から右目又は左目のいずれか一方の仮定視点を原点とする前記右目又は左目のいずれか一方の視点座標系及び右目又は左目のいずれか他方の仮定視点を原点とする前記右目又は左目のいずれか他方の視点座標系における二次曲面パラメータ(Qv)を求める二次曲面パラメータ(Qv)計算手段と、前記求めた右目及び左目の視点座標系における二次曲面パラメータ(Qv)を用いて、前記スクリーンに投影された点をプロジェクタi座標系から見た点と、任意の右目及び左目の仮定視点から見た点との対応を示すマッピング関数及びその逆関数を求めるマッピング関数及び逆関数計算手段と、前記複数プロジェクタ毎に右目及び左目用のマッピング関数及びその逆関数を格納する記憶装置とからなることを特徴とするものである。 In order to solve the above-described problem, the mapping function generation device according to claim 14 is continuous so that a quadric curved screen and a region projected in front of the screen and overlapping each region have overlapping portions. A plurality of n projectors arranged; a camera arranged in front of the screen to shoot a screen; a computer; and a storage device, and a conversion matrix (from a reference coordinate system to a viewpoint coordinate system) M) and the transformation matrix (S) from the camera coordinates to the reference coordinate system, the transformation matrix (from the viewpoint coordinate system to the camera coordinate system) for a predetermined point of the test pattern projected from the projector onto the quadric curved screen ( H) transformation matrix calculation means for obtaining and using the transformation matrix (H), either the right eye or the left eye from the quadric surface parameter (Q) obtained in the camera coordinate system Two in the viewpoint coordinate system of either the right eye or the left eye with the one assumed viewpoint as the origin and in the other viewpoint coordinate system of the right eye or the left eye with the other assumed viewpoint as the origin. Using the quadric surface parameter (Qv) calculation means for obtaining the quadric surface parameter (Qv) and the quadric surface parameter (Qv) in the viewpoint coordinate system for the right eye and the left eye, the points projected on the screen are projected. a mapping function indicating the correspondence between a point viewed from the i-coordinate system and a point viewed from an arbitrary right-eye and left-eye assumed viewpoint, and a mapping function and inverse function calculating means for obtaining the inverse function thereof; It comprises a storage device for storing a left eye mapping function and its inverse function.
上記課題を解決するため請求項15に係る複合映像発生装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数nのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタ毎の右目用及び左目用の映像をピクセルバッファに生成するとともに予め請求項14において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、各プロジェクタからピクセルバッファにおいて歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する複数nのプロジェクタとからなることを特徴とするものである。 In order to solve the above-mentioned problem, the composite image generating apparatus according to claim 15 has a quadratic curved screen and a continuous portion having a portion where the regions projected in front of the screen overlap each other. A plurality of n projectors arranged; a computer provided for each projector; and a storage device. The computers generate right-eye and left-eye images for each projector in a pixel buffer and request in advance. According to the inverse function of the mapping for the right eye and the left eye for each projector obtained in item 14, image generation means for generating an image obtained by correcting the generated image in a pixel buffer, and distortion correction from each projector in the pixel buffer A plurality of n projectors that project right-eye and left-eye images onto the quadric curved screen. And it is characterized in that comprising the data.
上記課題を解決するため請求項16に係る複合映像発生装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する領域を共通して重複する部分を有するように配置された複数nのプロジェクタと、コンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項12において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくするように配置された複数nのプロジェクタとからなることを特徴とするものである。 In order to solve the above-described problem, the composite image generation device according to claim 16 is arranged to have a portion that overlaps a quadric curved screen and a region that is located in front of the screen and that is projected onto the screen in common. 13. A projector having a plurality of n projectors, a computer, and a storage device, wherein each computer generates an image for each region projected by each projector in a pixel buffer and reverses the mapping for each projector previously obtained in claim 12. A function for generating distortion-corrected video in the pixel buffer by a function, and projecting each distortion-corrected video from the pixel buffer of each computer onto the quadric curved screen From a plurality of n projectors arranged to increase the brightness of overlapping portions And it is characterized in Rukoto.
上記課題を解決するため請求項17に係る複合映像発生装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数nのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項12において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、前記歪み補正した各映像を前記二次曲面スクリーンに投影する複数nの各プロジェクタとからなることを特徴とするものである。 In order to solve the above problem, the composite image generating apparatus according to claim 17 is continuous so that a quadric curved screen and a region projected in front of the screen and overlapping each region have overlapping portions. 13. Each projector having a plurality of n projectors arranged and a video device, each of which is divided and generated so that an image from the video device is projected onto the screen onto the plurality of n projectors. An image generation means for generating a distortion-corrected image of the divided and generated image, and a plurality of n projectors for projecting the distortion-corrected images onto the quadric curved screen. It is a feature.
上記課題を解決するため請求項18に係る複合映像発生装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数nのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項14において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、前記歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する複数nの各プロジェクタからなることを特徴とするものである。
In order to solve the above-mentioned problem, the composite image generating apparatus according to
上記課題を解決するため請求項19に係る複合映像発生装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する領域を共通にして重複する部分を有するように配置された複数nのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項12において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、前記歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくするように配置された複数nのプロジェクタからなることを特徴とするものである。 In order to solve the above problem, the composite image generating device according to claim 19 is arranged to have a quadratic curved screen and an overlapping portion located in front of the screen and having a common area projected on the screen. 13. A projector having a plurality of n projectors and a video device, wherein the video from the video device is divided and generated so as to be projected onto the screen onto the plurality of n projectors, and mapping for each projector previously obtained in claim 12 is performed. By using an inverse function, image generation means for generating an image obtained by correcting distortion of the divided and generated image, and projecting the image subjected to distortion correction onto the quadric curved screen to increase the brightness of the common overlapping portion. It is characterized by comprising a plurality of n projectors arranged as described above.
上記課題を解決するため請求項20に係る複合映像発生装置は、請求項17又は請求項18又は請求項19記載のものにおいて、ビデオ機器が、テレビジョン装置、ビデオ再生装置、パーソナルコンピュータであることを特徴とするものである。 In order to solve the above problem, the composite video generation device according to claim 20 is the one according to claim 17 or claim 18 or claim 19, wherein the video equipment is a television device, a video playback device, or a personal computer. It is characterized by.
上記課題を解決するため請求項21に係る複合映像発生装置は、請求項9又は請求項11又は請求項12又は請求項17又は請求項18又は請求項19又は請求項20に記載のものにおいて、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影するように配置された複数nのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラとを有し、プロジェクタの何れからも投影しない第1の状態のスクリーンを撮影するとともに前記各プロジェクタより黒状態を投影したスクリーンの第2の状態をプロジェクタ毎に撮影するカメラと、前記カメラが撮影した前記第2の状態を投影した各プロジェクタ毎の映像の輝度から、前記第1の状態を撮影した映像の輝度との差により各プロジェクタによる画面の平均値と当該平均値の和により最大値を得るとともに最大値と平均値の差によりオフセット値を得るオフセット計算手段と、前記各コンピュータにより各プロジェクタ毎の映像の前記重複する部分のコントラストを前記オフセット値分下げるとともに輝度をオフセット値分上げて映像生成する映像生成手段とからなることを特徴とするものである。 In order to solve the above-mentioned problem, a composite video generation device according to claim 21 is the one according to claim 9 or claim 11 or claim 12 or claim 17 or claim 18 or claim 19 or claim 20. A quadratic curved screen, a plurality of n projectors arranged in front of the screen and arranged to project on the screen, and a camera arranged in front of the screen and arranged to photograph the screen A camera that shoots a screen in a first state that is not projected from any of the projectors, and shoots a second state of the screen that projects a black state from each of the projectors, and the second that is captured by the camera. Each projector has a difference between the brightness of the image projected for each projector and the brightness of the image captured for the first state. Offset calculating means for obtaining a maximum value by a sum of the average value of the screen by the projector and the average value and obtaining an offset value by a difference between the maximum value and the average value, and for each overlapping portion of the image of each projector by the computer It is characterized by comprising image generation means for generating an image by decreasing the contrast by the offset value and increasing the luminance by the offset value.
上記課題を解決するため請求項22に係る複合映像発生装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数nのプロジェクタと、偏光板と、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項12において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影する複数nのプロジェクタと、前記各プロジェクタ前方に設け、夜間情景を表すときに各プロジェクタからの光量を減光させる偏光板とからなることを特徴とするものである。
複合映像発生装置。
In order to solve the above-described problem, the composite image generating apparatus according to claim 22 is continuous so that a quadric curved screen and a region projected in front of the screen and overlapping each region have overlapping portions. A plurality of n projectors arranged, a polarizing plate, a computer provided for each projector, and a storage device, and each computer generates an image of each area projected by each projector in a pixel buffer; 13. Image generation means for generating, in a pixel buffer, an image obtained by correcting the distortion of the generated image according to an inverse function of the mapping for each projector previously obtained in claim 12, and each image after distortion correction from the pixel buffer of each computer A plurality of projectors that project the image onto the quadric curved screen, and the front of each projector The provided and is characterized by comprising a polarizing plate for dimming the quantity of light from the projector to represent a night scene.
Composite video generator.
上記課題を解決するため請求項23に係る複合映像発生装置は、請求項12又は請求項14に記載のものにおいて、各プロジェクタが自由度を持ったフレキシブルアームにより基台に取り付けられたことを特徴とするものである。 In order to solve the above-mentioned problem, the composite image generating apparatus according to claim 23 is characterized in that each projector is attached to the base by a flexible arm having a degree of freedom. It is what.
上記課題を解決するため請求項24に係る複合映像発生装置は、請求項13又は請求項15〜22のいずれかに記載のものにおいて、各プロジェクタが自由度を持ったフレキシブルアームにより基台に取り付けられたことを特徴とするものである。 In order to solve the above-mentioned problems, a composite video generator according to claim 24 is the one according to claim 13 or claim 15 to 22, wherein each projector is attached to the base by a flexible arm having a degree of freedom. It is characterized by that.
請求項1に係るマッピング関数生成方法によると、二次曲面であるとの想定を利用することにより基準点としての中心での曲面の形を決めることができ、これにより、仮定視点を原点とする視点座標系における二次曲面パラメータ(Qv)を、数学的に求めることができ、距離の計算を伴わないので精度を向上させることができ、また、特殊な装置を使わず安価に実現することができる。
According to the mapping function generation method according to
請求項2に係る複合映像発生方法によると、1つの二次曲面スクリーンに投影する映像を複数のプロジェクタとそれらに備えたコンピュータにより生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、複数のプロジェクタに備えたコンピュータの処理は、それぞれ異なる映像をレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、従来のようにデータベース映像の解像度に依存せずに、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。 According to the composite video generation method according to claim 2, since the video to be projected onto one quadratic curved screen is generated and projected by a plurality of projectors and a computer equipped therewith, the resolution can be increased, Detailed portions can be displayed, and the processing of the computer provided in the plurality of projectors can reduce the rendering load by rendering different videos. Further, since partial videos in different projection areas can be rendered with high resolution, the resolution of the video projected on the screen can be improved without depending on the resolution of the database video as in the past. Thereby, the resolution of the image on the screen can be improved by increasing the number of projectors.
請求項3に係るマッピング関数生成方法によると、二次曲面であるとの想定を利用することにより基準点としての中心での曲面の形を決めることができ、これにより、仮定視点を原点とする視点座標系における右目用と左目用の二次曲面パラメータ(Qv)を、数学的に求めることができ、距離の計算を伴わないので精度を向上させることができ、また、特殊な装置を使わず安価に実現することができる。 According to the mapping function generation method according to claim 3, the shape of the curved surface at the center as the reference point can be determined by using the assumption that the surface is a quadric surface, and thereby the assumed viewpoint is the origin. The quadric surface parameters (Qv) for the right eye and left eye in the viewpoint coordinate system can be mathematically obtained, and accuracy is improved because no distance calculation is performed, and no special device is used. It can be realized at low cost.
請求項4に係る複合映像発生方法によると、1つの二次曲面スクリーンに投影する映像を複数のプロジェクタとそれらに備えたコンピュータにより生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、複数のプロジェクタに備えたコンピュータの処理は、それぞれ異なる領域の映像を右目用と左目用についてレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、従来のようにデータベース映像の解像度に依存せずに、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。
According to the composite video generation method according to
請求項5に係る複合映像発生方法によると、プロジェクタを数台使用し投影領域を重ね合わせることよって投影領域の明るさを向上させるため、高価なプロジェクタを使用せず必要な明るさを得ることができ、プロジェクタの台数の変更により投影領域の明るさを調整することができ、プロジェクタの重ね合わせと歪み補正を組み合わせることにより、決まった位置の明るさを向上させることができる。 According to the composite image generation method of the fifth aspect, since the brightness of the projection area is improved by using several projectors and overlapping the projection areas, the necessary brightness can be obtained without using an expensive projector. In addition, the brightness of the projection area can be adjusted by changing the number of projectors, and the brightness at a fixed position can be improved by combining the projector overlay and distortion correction.
請求項6に係る複合映像生成方法によると、1つの二次曲面スクリーンに投影する映像をビデオ機器により生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、ビデオ機器の映像の処理は、分割したそれぞれプロジェクタ毎に異なる映像をレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。 According to the composite video generation method according to claim 6, since the video to be projected onto one quadric curved screen is generated and projected by the video equipment, the resolution can be increased, and a fine portion of the video is displayed. In addition, the video processing of the video equipment can reduce the rendering load by rendering a different video for each divided projector. In addition, since partial videos in different projection areas can be rendered with high resolution, the resolution of the video projected on the screen can be improved. Thereby, the resolution of the image on the screen can be improved by increasing the number of projectors.
請求項7に係る複合映像生成方法によると、1つの二次曲面スクリーンに投影する映像をビデオ機器により生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、ビデオ機器の映像の処理は、分割したそれぞれプロジェクタ毎に異なる映像を右目用と左目用についてレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。 According to the composite video generation method according to claim 7, since the video to be projected onto one quadric curved screen is generated and projected by the video equipment, the resolution can be increased and a fine portion of the video can be displayed. In addition, the video processing of the video equipment can reduce the rendering load by rendering the divided video for each projector for the right eye and the left eye. In addition, since partial videos in different projection areas can be rendered with high resolution, the resolution of the video projected on the screen can be improved. Thereby, the resolution of the image on the screen can be improved by increasing the number of projectors.
請求項8に係る複合映像生成方法によると、プロジェクタを数台使用し投影領域を重ね合わせることよって投影領域の明るさを向上させるため、高価なプロジェクタを使用せず必要な明るさを得ることができ、プロジェクタの台数の変更により投影領域の明るさを調整することができ、プロジェクタの重ね合わせと歪み補正を組み合わせることにより、決まった位置の明るさを向上させることができる。 According to the composite video generation method according to the eighth aspect, since the brightness of the projection area is improved by using several projectors and overlapping the projection areas, the necessary brightness can be obtained without using an expensive projector. In addition, the brightness of the projection area can be adjusted by changing the number of projectors, and the brightness at a fixed position can be improved by combining the projector overlay and distortion correction.
請求項9に係る複合映像生成方法によると、ビデオ機器としてテレビジョン装置、ビデオ再生装置、パーソナルコンピュータ等の家庭用の機器を用いて、簡単に実現することができる。 According to the composite video generation method of the ninth aspect, it can be easily realized by using a household device such as a television device, a video playback device, a personal computer, or the like as the video device.
請求項10に係る複合映像生成方法によると、黒を出した状態でのプロジェクタ投影領域の重複部分における輝度の目立ちを軽減することができ、特別なブレンディング用装置を必要とすることなく、例えばグラフィックスボードの機能を用いて実現することができる。 According to the composite video generation method according to the tenth aspect, it is possible to reduce the conspicuousness of the luminance in the overlapping portion of the projector projection area in a state where black is produced, and without using a special blending apparatus, for example, a graphic It can be realized using the function of the board.
請求項11に係る複合映像発生方法によると、段階的に減光することができるため最適な減光率に調整が行うことができるので各プロジェクタによる投影領域の重複部分がより目立たなくすることが可能となる。 According to the composite image generation method according to the eleventh aspect, since it is possible to perform the dimming step by step, the optimum dimming rate can be adjusted, so that the overlapping portions of the projection areas by the projectors become less noticeable. It becomes possible.
請求項12に係るマッピング関数生成装置によると、二次曲面であるとの想定を利用することにより基準点としての中心での曲面の形を決めることができ、これにより、仮定視点を原点とする視点座標系における二次曲面パラメータ(Qv)を、数学的に求めることができ、距離の計算を伴わないので精度を向上させることができ、また、特殊な装置を使わず安価に実現することができる。 According to the mapping function generation device according to the twelfth aspect, it is possible to determine the shape of the curved surface at the center as the reference point by using the assumption that the surface is a quadratic curved surface, and thus the assumed viewpoint is the origin. The quadratic surface parameter (Qv) in the viewpoint coordinate system can be obtained mathematically, the accuracy can be improved because it does not involve distance calculation, and it can be realized at low cost without using a special device. it can.
請求項13に係る複合映像発生装置によると、1つの二次曲面スクリーンに投影する映像を複数のプロジェクタとそれらに備えたコンピュータにより生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、複数のプロジェクタに備えたコンピュータの処理は、それぞれ異なる映像をレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、従来のようにデータベース映像の解像度に依存せずに、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。 According to the composite video generation device of the thirteenth aspect, since the video to be projected onto one quadric curved screen is generated and projected by a plurality of projectors and a computer equipped therewith, the resolution can be increased, Detailed portions can be displayed, and the processing of the computer provided in the plurality of projectors can reduce the rendering load by rendering different videos. Further, since partial videos in different projection areas can be rendered with high resolution, the resolution of the video projected on the screen can be improved without depending on the resolution of the database video as in the past. Thereby, the resolution of the image on the screen can be improved by increasing the number of projectors.
請求項14に係るマッピング関数生成装置によると、二次曲面であるとの想定を利用することにより基準点としての中心での曲面の形を決めることができ、これにより、仮定視点を原点とする視点座標系における右目用と左目用の二次曲面パラメータ(Qv)を、数学的に求めることができ、距離の計算を伴わないので精度を向上させることができ、また、特殊な装置を使わず安価に実現することができる。 According to the mapping function generation device of the fourteenth aspect, it is possible to determine the shape of the curved surface at the center as the reference point by using the assumption that the surface is a quadratic curved surface, and thus the assumed viewpoint is the origin. The quadric surface parameters (Qv) for the right eye and left eye in the viewpoint coordinate system can be mathematically obtained, and accuracy is improved because no distance calculation is performed, and no special device is used. It can be realized at low cost.
請求項15に係る複合映像発生装置によると、1つの二次曲面スクリーンに投影する映像を複数のプロジェクタとそれらに備えたコンピュータにより生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、複数のプロジェクタに備えたコンピュータの処理は、それぞれ異なる領域の映像を右目用と左目用についてレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、従来のようにデータベース映像の解像度に依存せずに、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。 According to the composite image generation device of the fifteenth aspect, since the image to be projected onto one quadric curved screen is generated and projected by a plurality of projectors and a computer equipped with them, the resolution can be increased, A detailed portion can be displayed, and the processing of the computer provided in the plurality of projectors can reduce the rendering load by rendering the video of different areas for the right eye and the left eye, respectively. Further, since partial videos in different projection areas can be rendered with high resolution, the resolution of the video projected on the screen can be improved without depending on the resolution of the database video as in the past. Thereby, the resolution of the image on the screen can be improved by increasing the number of projectors.
請求項16に係る複合映像発生装置によると、プロジェクタを数台使用し投影領域を重ね合わせることよって投影領域の明るさを向上させるため、高価なプロジェクタを使用せず必要な明るさを得ることができ、プロジェクタの台数の変更により投影領域の明るさを調整することができ、プロジェクタの重ね合わせと歪み補正を組み合わせることにより、決まった位置の明るさを向上させることができる。 According to the composite video generation device of the sixteenth aspect, since the brightness of the projection area is improved by using several projectors and overlapping the projection areas, the necessary brightness can be obtained without using an expensive projector. In addition, the brightness of the projection area can be adjusted by changing the number of projectors, and the brightness at a fixed position can be improved by combining the projector overlay and distortion correction.
請求項17に係る複合映像生成装置によると、1つの二次曲面スクリーンに投影する映像をビデオ機器により生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、ビデオ機器の映像の処理は、分割したそれぞれプロジェクタ毎に異なる映像をレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。 According to the composite video generation device of the seventeenth aspect, since the video to be projected onto one quadratic curved screen is generated and projected by the video device, the resolution can be increased and a fine portion of the video can be displayed. In addition, the video processing of the video equipment can reduce the rendering load by rendering a different video for each divided projector. In addition, since partial videos in different projection areas can be rendered with high resolution, the resolution of the video projected on the screen can be improved. Thereby, the resolution of the image on the screen can be improved by increasing the number of projectors.
請求項18に係る複合映像生成装置によると、1つの二次曲面スクリーンに投影する映像をビデオ機器により生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、ビデオ機器の映像の処理は、分割したそれぞれプロジェクタ毎に異なる映像を右目用と左目用についてレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。
According to the composite image generation device according to
請求項19に係る複合映像生成装置によると、プロジェクタを数台使用し投影領域を重ね合わせることよって投影領域の明るさを向上させるため、高価なプロジェクタを使用せず必要な明るさを得ることができ、プロジェクタの台数の変更により投影領域の明るさを調整することができ、プロジェクタの重ね合わせと歪み補正を組み合わせることにより、決まった位置の明るさを向上させることができる。 According to the composite video generation device of the nineteenth aspect, since the brightness of the projection area is improved by using several projectors and overlapping the projection areas, the necessary brightness can be obtained without using an expensive projector. In addition, the brightness of the projection area can be adjusted by changing the number of projectors, and the brightness at a fixed position can be improved by combining the projector overlay and distortion correction.
請求項20に係る複合映像生成装置によると、ビデオ機器としてテレビジョン装置、ビデオ再生装置、パーソナルコンピュータ等の家庭用の機器を用いて、簡単に実現することができる。 According to the composite video generation device of the twentieth aspect, it can be easily realized by using a household device such as a television device, a video reproduction device, or a personal computer as the video device.
請求項21に係る複合映像生成装置によると、黒を出した状態でのプロジェクタ投影領域の重複部分における輝度の目立ちを軽減することができ、特別なブレンディング用装置を必要とすることなく、例えばグラフィックスボードの機能を用いて実現することができる。 According to the composite video generation device according to claim 21, it is possible to reduce the conspicuousness of the luminance in the overlapping portion of the projector projection area in a state where black is produced, and without using a special blending device, for example, a graphic It can be realized using the function of the board.
請求項22に係る複合映像発生装置によると、段階的に減光することができるため最適な減光率に調整が行うことができるので各プロジェクタによる投影領域の重複部分がより目立たなくすることが可能となる。 According to the composite image generation device of the twenty-second aspect, since the light can be gradually reduced, the adjustment can be made to the optimum light reduction rate, so that the overlapping portion of the projection area by each projector can be made less noticeable. It becomes possible.
請求項23に係るマッピング関数生成装置によると、スクリーンとプロジェクタを取り付ける基台との位置関係を厳密に設定しなくともフレキシブルアームにより調整幅が広範囲となるため、短時間で表示システムを構成することができる。 According to the mapping function generation device of the twenty-third aspect, since the adjustment range is wide by the flexible arm without strictly setting the positional relationship between the screen and the base on which the projector is mounted, the display system can be configured in a short time. Can do.
請求項24に係る複合映像生成装置によると、スクリーンとプロジェクタを取り付ける基台との位置関係を厳密に設定しなくともフレキシブルアームにより調整幅が広範囲となるため、短時間で表示システムを構成することができる。 According to the composite image generation device of the twenty-fourth aspect, since the adjustment range is wide by the flexible arm without strictly setting the positional relationship between the screen and the base on which the projector is mounted, the display system can be configured in a short time. Can do.
([1]二次曲面スクリーンに係るマッピング関数、その逆関数及び映像発生)
以下、本発明の実施例について図を参照して説明する。図1(a)は二次曲面スクリーンに係るマッピング関数の生成方法の一実施例を説明するフロー図、及び図1(b)は二次曲面スクリーンに係る映像発生方法の一実施例を説明するフロー図である。図2(a),(b),(c)は二次曲面スクリーンに係る補正関数の生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。図2において、101は二次曲面スクリーン、102j(j=1,2,3,…n)は前記スクリーン前方に設けられるプロジェクタ、103jは前記プロジェクタ102j毎に対応して備えられる複数のコンピュータである。1041,1042はデジタルカメラ、105は前記デジタルカメラ104を接続するコンピュータ、106はコンピュータ105内の変換行列計算手段、107はコンピュータ105内の二次曲面パラメータ(Qv)計算手段、108はコンピュータ105内の記憶装置、109jは各コンピュータ103j内のマッピング関数及び逆関数計算手段、110jは各コンピュータ103j内の記憶装置、111jは各コンピュータ103jに備えられる画像生成手段、112aj,112bjは各コンピュータ103jに備えられるピクセルバッファであり、当該コンピュータ103j、画像生成手段111jとともに映像生成手段を構成する。113は各コンピュータ103j,105を接続するネットワークである。114jは各コンピュータ103jのオフセット計算手段である。
([1] Mapping function related to quadratic curved screen, inverse function thereof and image generation)
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1A is a flowchart for explaining an embodiment of a mapping function generating method related to a quadric curved screen, and FIG. 1B explains an embodiment of a video generating method related to a quadric curved screen. FIG. FIGS. 2A, 2B, and 2C are functional block diagrams illustrating an embodiment of a correction function generation device and a video generation device related to a quadratic curved screen. In FIG. 2, 101 is a quadric curved screen, 102j (j = 1, 2, 3,... N) is a projector provided in front of the screen, and 103j is a plurality of computers provided corresponding to each projector 102j. .
(プロジェクタの配置取り付け)
二次曲面スクリーン101はその面が二次曲面例えば球面を形成し、周囲を円形に形成している。図3(a)のように二次曲面スクリーン101は基台301の上に支持枠302により固定される。基台301の左右の端に支持柱303,304が設けられ、支持柱303,304のそれぞれには2機づつのフレキシブルアーム3051,3052と3053,3054が取り付けられる。フレキシブルアーム3051,3052,3053,3054には、プロジェクタ1021,1022,1023,1024がそれぞれ取り付けられ、二次曲面スクリーン101の凹面に対向するように周囲前方に位置させる。図3(b)に例えばフレキシブルアーム3051とプロジェクタ1021の連結状態を示す。プロジェクタ1021,1022,1023,1024から二次曲面スクリーン101に光を投影すると、図3(c)のように二次曲面スクリーン101に正対して見た場合で説明すると、4つの投影光の領域が互いに重なる部分を有するようにし、中央部に光が当たらない部分が生じないように、フレキシブルアーム3051,3052,3053,3054を調整する。この時、各プロジェクタ1021,1022,1023,1024からの各投影領域(各領域を一点鎖線、二点鎖線、三点鎖線、四点鎖線で示している。)がスクリーンをカバーしていればよく、形状、面積を同じにする必要はない。
なお、実施例において、二次曲面スクリーン101を球面としたがこれに限らず双曲面、楕円面等で形成しても良く、また、表示面を凹面にしたが凸面でも良い。さらに、プロジェクタの数を4の場合を説明するが、数に制限なく本発明が適用できる。
(Projector mounting)
The surface of the quadric
In the embodiment, the quadric
(歪み補正の原理)
視点と視点と投影中心が一致する場合、映像歪みは生じない。しかし、一般的には視点と投影中心は一致しないため歪みが発生する。この歪みを補正するには、視点から見て歪みが無くなるように、予め、投影する原画像に対して逆の歪みをかけて投影すれば良い。
図4に逆歪みによる歪み補正の模式図を示す。図4では、プロジェクタの投影により発生する歪fを映像発生時f−1で逆歪をかけて投影するとf(f−1)で歪が相殺されることを示している。すなわち、プロジェクタ映像とスクリーン上の歪を関係付けるマッピング関数fを求める。その逆関数f−1はマッピング関数より求められる。図4では歪みを検出する段階において設置するカメラ位置及び方向が視点及び視線方向と同じであると想定している。
(Principle of distortion correction)
When the viewpoint, the viewpoint, and the projection center match, there is no video distortion. However, distortion generally occurs because the viewpoint and the projection center do not match. In order to correct this distortion, the original image to be projected may be projected in a reverse distortion in advance so that the distortion disappears when viewed from the viewpoint.
FIG. 4 shows a schematic diagram of distortion correction by reverse distortion. FIG. 4 shows that if distortion f generated by the projection of the projector is projected with reverse distortion at f −1 at the time of image generation, the distortion is canceled out by f (f −1 ). That is, a mapping function f that relates the projector image and the distortion on the screen is obtained. The inverse function f −1 is obtained from the mapping function. In FIG. 4, it is assumed that the camera position and direction to be installed at the stage of detecting distortion are the same as the viewpoint and the line-of-sight direction.
以下の手順により、マッピング関数を求める。
([1−1]スクリーン上の複数点の3D座標位置の計測)
いずれかの例えばプロジェクタ102jから光点を二次曲面スクリーン101に投影する。光点は、予め定められたテストパターンを構成する所定の座標点を示す。この光点をステレオカメラを構成するデジタルカメラ1041,1042で撮像することにより三次元位置Piを三角測量の原理から求める。iは点数を示す。このときステレオカメラは所定のキャリブレーション処理によりそれぞれのカメラのレンズの焦点距離や画素数の内部特性を示す内部パラメータ及び外部位置関係を示す外部パラメータが分かっていることを前提としている。左カメラ1041の内部及び外部パラメータを表すマトリクスをAc1、Mc1とする。同様に右カメラ1042の内部及び外部パラメータを表すマトリクスをAc2、Mc2とする。このとき、スクリーン上三次元位置Piと左カメラ画像上の光点の位置pi c1、右カメラ画像上の光点の位置pi c2との関係は
pi c1=Ac1Mc1Pi
pi c2=Ac2Mc2Pi (1)
で表される。ここで、Mc1、Mc2は
Mc1=[I|0]
Mc2=[Rc2|Tc2] (2)
である。
左カメラ1041の投影中心を座標の原点とするため、左カメラ1041の外部パラメータMc1は単位マトリクスIを用いて表される。また、右カメラ1042の投影中心は左カメラ1041の投影中心から回転Rc2、平行移動Tc2させた位置となるため、右カメラ1042の外部パラメータMc2はRc2、Tc2を用いて表すことができる。図5、図6において、左カメラ1041の投影中心(Center Of Projection)(以後COPと呼ぶ場合がある。)をCOPc1、右カメラ1042のCOPをCOPc2とする。また、各カメラのCOPと画像上の光点の位置を結んだ直線をlc1、lc2とするとスクリーン上の三次元位置Piはlc1、lc2を用いてこれらの交点に推定することができる。交点が見つからないときは、lc1、lc2の距離が最小となる共通法線を求め、その法線の中点をPiとして決定する。また、プロジェクタ画像座標上の光点の位置をpi pj、プロジェクタの内部パラメータを表すマトリクスをApjとすると、pi pj、Apj、Pi、左カメラ1041のCOPを原点としたときのプロジェクタの回転マトリクスRpj、平行移動マトリクスTpjは以下の関係を持つ。
pi pj=Apj[Rpj|Tpj]Pi (3)
ここで、jはプロジェクタ数を表す。また、プロジェクタ画像座標上の位置pi pjはテストパターンの点の位置であるため既知である。Apjは所定のキャリブレーション処理により得ているため既知である。よって、pi pj,Apj,Piを用いてRpj,Tpjを求めることができる。Rpj,Tpjは対応関係を持つすべてのpi pj,Piを用いて繰り返し計算を行ない、誤差が最小となるときの値を用いる。これらの計算は、カメラ1041,1042が接続されるコンピュータ105において行われ、これらの計算結果は記憶装置108に記憶される。
次に、以上の方法を用いて得られたプロジェクタの内部パラメータを利用して二次曲面の種類(球面、双曲面、楕円面等)と形状を表す情報である二次曲面パラメータQを求める。
The mapping function is obtained by the following procedure.
([1-1] Measurement of 3D coordinate positions of multiple points on the screen)
A light spot is projected onto the quadric
p i c2 = A c2 M c2 P i (1)
It is represented by Here, M c1 and M c2 are M c1 = [I | 0]
M c2 = [R c2 | T c2 ] (2)
It is.
To the projection center of the
p i pj = A pj [R pj | T pj ] P i (3)
Here, j represents the number of projectors. Also, the position p i pj on the projector image coordinates is known because it is the position of the point of the test pattern. Apj is known because it is obtained by a predetermined calibration process. Therefore, R pj and T pj can be obtained using p i pj , A pj and P i . R pj and T pj are repeatedly calculated using all the corresponding p i pj and P i , and the values when the error is minimized are used. These calculations are performed in the
Next, using the internal parameters of the projector obtained by the above method, a quadric surface parameter Q, which is information representing the type and shape of the quadric surface (spherical surface, hyperboloid, ellipsoid, etc.) and shape, is obtained.
([1−2]二次曲面パラメータQの計算)
マッピング関数f()を求めるためには二次曲面Qを求める必要がある。そこでまず、左カメラ1041のプロジェクションマトリクスをPc1、プロジェクタのプロジェクションマトリクスをPj prjとして、これらのプロジェクションマトリクス、左カメラ画像上の光点の位置pi c1、プロジェクタ画像座標上のテストパターンの一光点であるコーナー位置pi pjを用いて、三次元位置Piを求める。求める方法としてはステレオカメラで三次元位置を求めた場合と同様の方法を用いる。計算は、カメラ1041,1042が接続されるコンピュータ105において行われる。ここで、Pc1、Pj prjは以下のように表される。
Pc1 =Ac1[I|0]
Pj prj=Apj[Rpj|Tpj] (4)
求めた三次元位置Piが二次曲面Qの上にあるとき、
N点(N≧9)用いれば、以下の連立方程式が成立する。
X《V》 = 《0》
但し XはN行10列のマトリクスである。
この連立方程式を解けば、《V》、即ちQが求まる。
([1-2] Calculation of quadric surface parameter Q)
In order to obtain the mapping function f (), it is necessary to obtain the quadric surface Q. Therefore, first, assuming that the projection matrix of the
P c1 = A c1 [I | 0]
P j prj = A pj [R pj | T pj ] (4)
When the obtained three-dimensional position P i is on the quadric surface Q,
If N points (N ≧ 9) are used, the following simultaneous equations are established.
X << V >> = << 0 >>
X is a matrix of N rows and 10 columns.
By solving these simultaneous equations, << V >>, that is, Q can be obtained.
([1−3]マッピング関数f()の導出の原理)
二次曲面例えばスクリーン上の1点
を、異なる視点即ちプロジェクタ102j及びカメラ1041又は1042から見たときの像pi及びpi′の関係を示すマッピング関数fを求める。以下、図7をもとに説明する。すなわち、カメラの位置及び方向が視点及び視線方向と同じである場合を考える。
今、射影空間P2における点を
、射影空間p3における対応する点を
とすれば、
また、P3の点
をプロジェクタの座標系Ψから見たp2の点を
、カメラ座標系Ψ′から見た点を
とすれば、
はΨ′におけるエピポールであり、Hはホモグラフィー行列である。
今、
が二次曲面上にあるとの制約を課すと、
と
との関係を示す倍率
である。)
右辺は
でまとめられ、次式を得る。
をプロジェクタ座標Ψから見た点
と、カメラ座標系Ψ′から見た点
の対応を示すマッピング関数
Quadratic surface, for example, one point on the screen
Is a mapping function f indicating the relationship between the images p i and p i ′ when viewed from different viewpoints, that is, from the projector 102j and the
Now, the point in the projective space P 2
, The corresponding point in the projective space p 3
given that,
In addition, in terms of P 3
P 2 point from the projector coordinate system Ψ
, The point seen from the camera coordinate system Ψ ′
given that,
Is the epipole in ψ ′ and H is the homography matrix.
now,
Imposes the constraint that is on a quadric surface
When
Magnification showing the relationship with
It is. )
The right side is
And the following formula is obtained.
From the projector coordinate Ψ
And the point seen from the camera coordinate system Ψ ′
Mapping function to show the correspondence of
([1−4]対角化仮想カメラ法によるマッピング関数)
([1−4−1]原理)
カメラ設置位置と視点が一致しない場合でも、スクリーンの形状情報を用いて、視点にカメラを仮想的に移してキャリブレーションが行えることを説明する。
訓練装置等の精度を要求される表示システムにおいては、視点位置は基準点からの変位により規定されるのが普通である。例えば、ドームスクリーンの場合ドーム中心を通る基線の後方1mなどと基準点からの変位で規定される。図8に、基準点801、カメラ802の設置位置及び姿勢、並びに803で参照される視点及び視線方向すなわち仮想カメラの位置及び姿勢の関係を示す。設置位置・姿勢が不確かなカメラから、指定された視点位置・姿勢に直接移す回転・平行移動量を求めると考えず、一旦基準点に正確に移し、この点からの変位を用いて最終的に指定された視点位置・姿勢に移動すると二段階で考える。この考えに立てば、スクリーンが二次曲面の場合、一般的に基準点はスクリーンの中心であるので、カメラを任意の位置・姿勢から基準点の位置・姿勢へ移動することは、二次曲面規定行列の対角化に対応する。この対応を用いればカメラの姿勢位置を実際に計測することなく、曖昧な位置姿勢から基準点への移動量が正確に求まり、最終的に指定された視点の位置姿勢へ移動できる。これは、カメラを仮想的に指定の視点位置姿勢に配置してキャリブレーションを行ったことに対応する。
([1-4] Mapping function by diagonalized virtual camera method)
([1-4-1] Principle)
Even when the camera installation position and the viewpoint do not match, it will be described that calibration can be performed by virtually moving the camera to the viewpoint using the screen shape information.
In a display system that requires accuracy such as a training apparatus, the viewpoint position is usually defined by a displacement from a reference point. For example, in the case of a dome screen, it is defined by 1 m behind the base line passing through the center of the dome and the displacement from the reference point. FIG. 8 shows the relationship between the
([1−4−2]対角化による中心への移動)
カメラ座標系で求めた二次曲面の種類と形状を表す情報である二次曲面パラメータをQ、視点を原点とする視点座標系における二次曲面パラメータをQvとする。両者の関係は、Hを視点座標系からカメラ座標系への変換(移動、回転)行列として次式で与えられる。
Qv = HtQH (16)
二次曲面パラメータQは、前記([1−2]二次曲面パラメータQの計算)により説明した方法で得られる。
カメラ座標系から二次曲面の中心を原点とする基準座標系への変換行列をSとし、基準座標系から視点座標系への変換行列をMとする二段階の変換を考えれば、Hは次式で表される。
H = MS (17)
Sは、式(18)のようにQを対角化する。
座標変換によるQの対角化StQSを、Qを対角化する相似変換S−1QSと捉えて直接的にSを求められない。なぜならば、Sは回転行列Rと平行移動行列Tの積からなるがTによりSが正規直交行列とならないからである。
しかしSの3行3列の回転成分R22は正規直交行列となるため座標変換による対角化問題を相似変換の問題へおきかえることが可能である。すなわち、座標変換によるQ33の対角化R−1 33Q33R33=Λは相似変換の問題に帰着できる。これにより、未知のR33がQ33の固有ベクトルを並べたものとして決まり、
The quadric surface parameter is information that represents the quadric surface type and shape determined by the camera coordinate system Q, a quadric surface parameter at the viewpoint coordinate system with its origin at the viewpoint and Q v. The relationship between the two is given by the following equation using H as a transformation (movement, rotation) matrix from the viewpoint coordinate system to the camera coordinate system.
Q v = H t QH (16)
The quadric surface parameter Q is obtained by the method described above ([1-2] Calculation of quadric surface parameter Q).
Considering a two-step transformation where S is the transformation matrix from the camera coordinate system to the reference coordinate system with the center of the quadric surface as the origin, and M is the transformation matrix from the reference coordinate system to the viewpoint coordinate system, H is It is expressed by a formula.
H = MS (17)
S diagonalizes Q as shown in equation (18).
The diagonalization S t QS of Q by coordinate transformation is regarded as a similarity transformation S −1 QS that diagonalizes Q, and S cannot be obtained directly. This is because S is a product of the rotation matrix R and the translation matrix T, but S does not become an orthonormal matrix due to T.
However, since the rotation component R22 of S in 3 rows and 3 columns is an orthonormal matrix, it is possible to replace the diagonalization problem by coordinate transformation with the problem of similarity transformation. That is, the diagonalization of Q 33 by coordinate transformation R −1 33 Q 33 R 33 = Λ can be reduced to the problem of similarity transformation. As a result, the unknown R 33 is determined as an array of Q 33 eigenvectors,
すなわち、Mは設計時に指定される既知の変換行列であるので、変換行列計算手段106の計算によりHが決まり(図1(a)のステップP101)、これにより二次曲面パラメータ(Qv)計算手段107の計算においてQvが求まる(図1(a)のステップP102)。これらの結果はテーブルとして記憶装置108に格納しておく。各コンピュータ103jのマッピング関数及び逆関数計算手段109jにおいてマッピング関数f()が式(15)から計算できる(図1(a)のステップP103)。マッピング関数及び逆関数計算手段109jでは、マッピング関数f()からその逆関数を求める(図1(a)のステップP104)。ステップP101からステップP102、ステップP103、ステップP104をプロジェクタ102jの複数n回(実施例ではn=4)繰り返した後、前記ステップP104で求めた逆関数を各コンピュータ103jの記憶装置110jに格納する(図1(a)のステップP105)。これら一連の処理に得られるマッピング関数及び逆関数を適当な数の仮想視点について、予め求めてテーブルとして保持しておく。
That is, since M is a known transformation matrix designated at the time of design, H is determined by the computation of the transformation matrix computing means 106 (step P101 in FIG. 1A), and thereby the quadric surface parameter (Qv) computing means. Qv is obtained in the calculation of 107 (step P102 in FIG. 1A). These results are stored in the
([2]並列処理による負荷分散)
スクリーンの円周は、正対した位置から俯瞰しない限り、楕円となる。前記の「[1−4−2]対角化による中心への移動」において説明した対角化により仮想した視点位置をスクリーンに正対することが可能となるため、円に概説する矩形を計算により直接求めることができ、オーバーラップを許した視野分割ができる。
([2] Load distribution by parallel processing)
The circumference of the screen is an ellipse unless it is looked down from a directly facing position. Since the diagonal viewpoint described in “[1-4-2] Moving to the center by diagonalization” described above makes it possible to face the virtual viewpoint position directly on the screen, the rectangle outlined in the circle is calculated. The field of view can be obtained directly and overlapped.
([2−1]矩形を用いた視野角の分割
図9(a)にスクリーンの縁を表す円に外接する矩形とそれを用いた視野の分割とオーバーラップの関係を示す。また、図9(b)に視野角の分割法を示す。以下では、図中の投影可能領域内に各分割が含まれるとして説明する。
([2-1] Division of Viewing Angle Using Rectangle FIG. 9A shows the relationship between the rectangle circumscribing the circle representing the edge of the screen and the division and overlap of the field of view using the rectangle. (B) shows the viewing angle division method, which will be described below assuming that each division is included in the projectable region in the figure.
([2−2]複合するための変換行列)
以下では、視野の4分割(4並列)を例に変換行列の計算を示す。しかし、ここでの議論は、4分割以外でも一般性を失うことはない。プロジェクタ102jのプロジェクタ座標から仮想のカメラ座標(図9(a)に示す4分割した領域)へのマッピング関数fj()は以下のようにして求める。
(1)スクリーンの半径rを求め、これを用いて図9(a)に示すWrct及びHrctを計算する。
(2)円に外接する矩形領域を重複部Hover,Woverを持つように4等分、外接矩形表示領域から、4等分された該当領域への変換行列Hj rctを計算する。
(3)Hj rctを用いて当該プロジェクタ102jに対応して備えられるコンピュータ103jのマッピング関数及び逆関数計算手段109jにおいてマッピング関数fj()を計算する。
以下、順に説明する。
([2-2] Transformation matrix for combining)
In the following, the calculation of the transformation matrix is shown by taking 4 fields of view (4 parallel) as an example. However, the discussion here does not lose generality other than the four divisions. The mapping function f j () from the projector coordinates of the projector 102j to the virtual camera coordinates (a region divided into four as shown in FIG. 9A) is obtained as follows.
(1) Obtain the radius r of the screen and use this to calculate W rct and H rct shown in FIG.
(2) A rectangular matrix circumscribing the circle is divided into four so as to have overlapping portions H over and W over , and a transformation matrix H j rct from the circumscribed rectangular display area to the corresponding area divided into four is calculated.
(3) The mapping function f j () is calculated in the mapping function and inverse function calculating means 109j of the
Hereinafter, it demonstrates in order.
([2−2−1]円の半径)
前記した式(15)の平方根の中の
を用いた
はカメラ座標でのスクリーンの縁を表す楕円を示す式である。従って、カメラ座標系における二次曲面行列Qを、視点座標系に変換したQvを用いて計算し直したEに対応するEvを用いた以下の式
は、スクリーンに正対する視点座標系でのスクリーンの縁に対応する円を示す式となる。
また、Evで規定される円と任意の点
の距離dは、
の関係がある。
ここで、
e11x2 i+2e12xiyi
+2e13xi+2e23yi
+e22y2 i+e33
=d2 (28)
この距離dが最大となる点が、円の中心であり、また、このときの距離が半径となる。dを最大とする点
は次の関係を満足する。
r=√(e11x2 c+2e12xcyc+2e13xc
+2e23yc+e22y2 c+e33) (31)
となる。
([2-2-1] Circle radius)
In the square root of the above equation (15)
Used
Is an equation representing an ellipse representing the edge of the screen in camera coordinates. Therefore, the following equation using E v corresponding to E recalculated using Q v converted from the quadratic surface matrix Q in the camera coordinate system to the viewpoint coordinate system:
Is an expression showing a circle corresponding to the edge of the screen in the viewpoint coordinate system directly facing the screen.
Also, the circle defined by Ev and any point
The distance d of
There is a relationship.
here,
e 11 x 2 i + 2e 12 x i y i
+ 2e 13 x i + 2e 23 y i
+ E 22 y 2 i + e 33
= D 2 (28)
The point where the distance d is maximum is the center of the circle, and the distance at this time is the radius. Point that maximizes d
Satisfies the following relationship:
r = √ (e 11 x 2 c + 2e 12 x c y c + 2e 13 x c
+ 2e 23 y c + e 22 y 2 c + e 33) (31)
It becomes.
([2−2−2]視野の分割)
図9(a)のように横方向の投影映像の重なりの幅をWover、縦方向の重なり幅をHoverとすれば、分割した視野の大きさWrct及びHrctは次式となる。
As shown in FIG. 9A, if the overlap width of the projected images in the horizontal direction is W over and the overlap width in the vertical direction is H over , the divided visual field sizes Wrct and Hrct are as follows.
([2−2−3]マッピング関数f())
式(15)にHjrctを操作した以下の式が上記のように視野角を分割した場合のプロジェクタ102jに関する新たなマッピング関数fj()である。
The following expression obtained by operating Hjrct to Expression (15) is a new mapping function f j () related to the projector 102j when the viewing angle is divided as described above.
([2−3]輝度調整)
投影領域の重複部分は輝度が高くなるため投影する映像の輝度を補正する必要がある。この輝度補正は、スクリーン上で重複する各プロジェクタの画素位置に重み係数を予めテーブルとして保持しておき、歪み補正時に画素値と対応する重み係数の乗算により行われる。重みの決定方法を図10に示す。図10のプログラムは疑似言語で記述したものである。
ここで、(p,q)はカメラ座標系における画素位置、i,jは(1…4)のプロジェクタ番号、Hはプロジェクタの横方向の画素数、Wは縦方向の画素数、αi(pi,qi)はプロジェクタiの画素位置(pi,qi)における重み係数をそれぞれ表す。プロジェクタiとプロジェクタjの重なり部分を判定してその部分の重みを重複幅に反比例して与えている。
([2-3] Brightness adjustment)
Since the overlapping portion of the projection area has high luminance, it is necessary to correct the luminance of the projected image. This luminance correction is performed by preliminarily holding a weighting coefficient at a pixel position of each projector overlapping on the screen as a table, and multiplying the pixel value and the corresponding weighting coefficient at the time of distortion correction. A method of determining the weight is shown in FIG. The program in FIG. 10 is written in a pseudo language.
Here, (p, q) is the pixel position in the camera coordinate system, i, j is the projector number of (1... 4), H is the number of pixels in the horizontal direction of the projector, W is the number of pixels in the vertical direction, and α i ( p i , q i ) represent weighting factors at the pixel position (p i , q i ) of the projector i, respectively. The overlapping part of the projector i and the projector j is determined, and the weight of the part is given in inverse proportion to the overlapping width.
([3]プロジェクタの漏れ光によるブラックオフセットの軽減)
([3−1]ブラックオフセットの軽減の必要性)
複数のプロジェクタを用いて高解像度の映像を生成しようとする場合、各プロジェクタの投影領域に重複部分が生じる。重複部分は各プロジェクタの輝度が加算され、重複しない部分よりも明るくなる。プロジェクタが完全な黒を表示できれば問題ないが、投影する映像が黒であっても、プロジェクタの漏れ光により投影される領域は完全に黒にはならない(図11(a)参照)。また、重複領域はそれぞれのプロジェクタの漏れ光が重なるためさらに明るくなる。つまり、プロジェクタの漏れ光によりブラックオフセットが生じ、黒を出した状態でも重複部分が目立つことになる。
([3] Reduction of black offset due to projector leakage light)
([3-1] Necessity of reducing black offset)
When a high-resolution video is generated using a plurality of projectors, an overlapping portion is generated in the projection area of each projector. The overlapping part is added with the brightness of each projector, and becomes brighter than the non-overlapping part. There is no problem as long as the projector can display completely black, but even if the projected image is black, the area projected by the leakage light of the projector is not completely black (see FIG. 11A). In addition, the overlapping area becomes brighter because the leakage light of the projectors overlaps. In other words, a black offset occurs due to light leaked from the projector, and the overlapped portion becomes conspicuous even when black is emitted.
([3−2]ブラックオフセットの軽減)
プロジェクタの漏れ光によるブラックオフセット部分はプロジェクタに依存しており調整することはできない。調整できるのは投影する映像の色のみである。単純な色のかさ上げでは色の値が1.0以上になった場合(色の値を0.0〜1.0に正規化してある。)にその色が1.0に補正されてしまい元の映像の色と異なってしまう。そこで元の映像のコントラストを下げ、色を保持しながらかさ上げをすることで色の変化が生じないようにする(図11(b)参照)。実現方法としては、Cg(C for Graphics by nVidia)言語を用いてグラフィックスボードが持つfragment shader機能を活用し、撮影する映像の色を補正することで重複部分の輝度の目立ち(図11(c)、図11(d)参照)を軽減させる。
Cgで用いた色の補正式は以下の式(35)の通りである。この式を用いることでブラックレベルを調整し、重複部分のブレンディングを行うαブレンド機能を利用することができる(図11(e)参照)。そして、ブラックオフセットによる輝度のズレを軽減することができる。
C_new
=K*C_org+C_offset (35)
但し、
C_new:補正された色(The corrected color)
K:コントラストを下げる係数(The coefficient for reducing the contrast)
C_org:画像のオリジナルの輝度(The original color of image)
C_offset:輝度のオフセット(The offset of color)
([3-2] Reduction of black offset)
The black offset portion due to the leakage light of the projector depends on the projector and cannot be adjusted. Only the color of the projected image can be adjusted. If the color value becomes 1.0 or more with simple color raising (the color value is normalized to 0.0 to 1.0), the color is corrected to 1.0. It will be different from the color of the original video. Therefore, the contrast of the original image is lowered, and the color is not changed by raising the color while maintaining the color (see FIG. 11B). As an implementation method, by using the fragment shader function of the graphics board using the Cg (C for Graphics by nVidia) language and correcting the color of the video to be captured, the brightness of the overlapping portion is conspicuous (FIG. 11 (c ), (See FIG. 11D).
The color correction formula used in Cg is as shown in the following formula (35). By using this equation, it is possible to use the α blend function for adjusting the black level and blending overlapping portions (see FIG. 11E). In addition, it is possible to reduce luminance deviation due to black offset.
C_new
= K * C_org + C_offset (35)
However,
C_new: Corrected color (The corrected color)
K: the coefficient for reducing the contrast (the coefficient for reducing the contrast)
C_org: The original color of image (The original color of image)
C_offset: The brightness of color (The offset of color)
([3−3]KおよびC_offsetの計算方法)
カメラ画像の輝度から決定する。
1.プロジェクタ1021〜1024から何も投影しない状態をカメラ1041で撮像する。(Background Imageとして使用する。)その画像をImg_bkgrndとする(図12のステップP1201)。
2.各プロジェクタ1021〜1024から黒を出した状態をカメラ1041で撮影する(図12のステップP1202)。その画像をImg_blkofst_nとする。nはプロジェクタの番号とする。画像から得られる輝度をIとすると、オフセット計算部114jにおいて以下の計算をする。
なお、式(36)の分母のWimg,Himgはそれぞれカメラでスクリーン101を撮像したときのスクリーン101の周囲にある矩形の幅、高さである(図9(a)参照)。式(38)の分母の256は例えばカメラが持つ輝度値を8bitで持つとした場合の28=256である。
Determined from the brightness of the camera image.
1. A state in which nothing is projected from the
2. A state in which black is emitted from each of the
Note that Wimg and Himg in the denominator of Expression (36) are the width and height of a rectangle around the
([3]映像発生)
従来、映像のレンダリングを行う場合に、一般的にはグラフィックスボードが持つフレームバッファ(メモリ領域)に映像を書き込み、そのバッファをディスプレイやプロジェクタなどを経由して表示するものであった。
プロジェクションクラスタ(複数のプロジェクタの投影領域のそれぞれの全体によりスクリーンをカバーするようにしたもの)では、映像の歪みを補正する際にバッファに保持されている映像データに対しサンプリング(映像の参照)を行い参照したデータを元に映像を再度作成することで歪みを補正する。このバッファが大きければ大きいほど映像を高精細に描画することができる。このバッファがフレームバッファの場合、フレームバッファはディスプレイやプロジェクタとの解像度に依存するため、ディスプレイやプロジェクタの解像度以上にバッファを大きくすることはできない。よって、高解像度化をディスプレイやプロジェクタの機能以上にすることが難しい。
本発明において、映像データを格納する際に、フレームバッファの代わりにピクセルバッファを使用する。直接ピクセルバッファへ格納しオフスクリーンレンダリングを行うことで、ディスプレイやプロジェクタの解像度の制限を受けない。ピクセルバッファのサイズは2のべき乗という制限はあるが任意に設定可能である。実際には、グラフィックスカードの機能にも依存するためピクセルバッファのサイズにも限界は存在するが、フレームバッファよりも大きなサイズのバッファを確保することができる。
ピクセルバッファのサイズは任意に決定され、ディスプレイの解像度以上の映像をバッファに格納する。ここではバッファサイズを2048×2048とする。
ピクセルバッファを使用する場合、直接バッファにレンダリングすることができるためフレームバッファを使用する必要がない。また、OpenGLの拡張命令を使用することで、ピクセルバッファに格納されたデータを直接テクスチャとして扱うことができる。
図2のピクセルバッファ112a,112bは、Quadric Transfer(QT)を用いてデータのサンプリングを行う。QTはカメラ画像座標からプロジェクタ画像座標への変換を表し、その逆変換(QT_inv)はプロジェクタ画像座標からカメラ画像座標への変換を表す。プロジェクションクラスタではQT_invを用いてデータのサンプリングを行う。
サンプリング方法としては、プロジェクタ画像座標の(0,0)から順に(1024,768)までの座標を走査し、その位置がカメラ画像座標ではどの位置に対応するかを求める。また、カメラをOpenGL上の視点と考えると、テクスチャメモリの格納した映像をカメラから見た映像とみなすことができる。この関係(ここでは変換マトリクス
とする)を利用し、プロジェクタ画像座標のある位置がテクスチャ座標のどの位置に対応するかを求めることができ、そのテクスチャ座標の位置の色をサンプリングして色情報として保持する(図14参照)。
サンプリング結果を元に歪み補正を施した映像を作成し、プロジェクタから投影する。投影された映像はスクリーン上で正しく映像として表示される。
図2の各プロジェクタ103j毎に備えられたコンピュータ103jの画像生成手段111jにより生成された画像を、ピクセルバッファ112jaにレンダリングし、この画像を当該プロジェクタ103jについて求めたマッピングの逆関数f−1()により、歪み補正した映像をピクセルバッファ112jbに生成する(図1(b)のステップS101)。この歪み補正した映像を各プロジェクタ103jから二次曲面スクリーン101に投影する(図1(b)のステップS102)。
([3] Video generation)
Conventionally, when video rendering is performed, the video is generally written in a frame buffer (memory area) of the graphics board, and the buffer is displayed via a display or a projector.
In a projection cluster (the screen is covered by the entire projection area of a plurality of projectors), the video data stored in the buffer is sampled (video reference) when correcting the video distortion. The distortion is corrected by recreating the video based on the referenced data. The larger the buffer, the higher the resolution of the video. When this buffer is a frame buffer, the frame buffer depends on the resolution with the display or projector, and therefore the buffer cannot be made larger than the resolution of the display or projector. Therefore, it is difficult to increase the resolution beyond the function of the display or projector.
In the present invention, a pixel buffer is used instead of a frame buffer when storing video data. By storing directly in the pixel buffer and performing off-screen rendering, the resolution of the display or projector is not limited. Although the size of the pixel buffer is limited to a power of 2, it can be arbitrarily set. Actually, the size of the pixel buffer is limited because it depends on the function of the graphics card, but a buffer having a size larger than the frame buffer can be secured.
The size of the pixel buffer is arbitrarily determined, and video having a display resolution or higher is stored in the buffer. Here, the buffer size is 2048 × 2048.
When using a pixel buffer, it is not necessary to use a frame buffer because it can be rendered directly into the buffer. Further, by using an OpenGL extension instruction, data stored in the pixel buffer can be directly handled as a texture.
The pixel buffers 112a and 112b in FIG. 2 perform sampling of data using Quadric Transfer (QT). QT represents conversion from camera image coordinates to projector image coordinates, and inverse conversion (QT_inv) represents conversion from projector image coordinates to camera image coordinates. In the projection cluster, data sampling is performed using QT_inv.
As a sampling method, the coordinates from (0, 0) to (1024, 768) of the projector image coordinates are sequentially scanned, and the position corresponding to the position in the camera image coordinates is obtained. If the camera is considered as a viewpoint on OpenGL, an image stored in the texture memory can be regarded as an image viewed from the camera. This relationship (here transformation matrix
Can be used to determine which position in the texture coordinates the position of the projector image coordinates corresponds to, and the color at the position of the texture coordinates is sampled and held as color information (see FIG. 14). .
Based on the sampling result, an image with distortion correction is created and projected from the projector. The projected image is correctly displayed as an image on the screen.
The image generated by the image generation means 111j of the
前述の([2−3]輝度調整)においては投影領域の重複部分の広さを図9(a)のように重ならない部分よりも比較的小さく設定してあるが、図13(a)のように例えば2台のプロジェクタ1301、1302による投影領域1303,1304の重複部分を大きくして、複合映像発生し、重ね合わせにより投影領域の明るさを向上することができる。このとき、スクリーンは上記のように二次曲面でも良いが、平面スクリーン1305であっても良い。
この2台のプロジェクタ使用の場合も、図2の2台のコンピュータ1021,1022により各プロジェクタ1021,1022毎の映像を生成するとともに各プロジェクタ1021,1022毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファ112aに生成し(図13(b)のステップS1301)、各プロジェクタ1021,1022からピクセルバッファ112bにおいて歪み補正した映像を二次曲面スクリーン101に投影して前記共通して重複する部分の明るさを大きくする(図13(b)のステップS1302)。
In the above ([2-3] luminance adjustment), the width of the overlapping portion of the projection area is set to be relatively smaller than the non-overlapping portion as shown in FIG. 9A. As described above, for example, the overlapping portions of the
Also in the case of using these two projectors, the two
前述の([3]プロジェクタの漏れ光によるブラックオフセットの軽減)において、プロジェクタが完全な黒を表示できれば問題ないが、投影する映像が黒であっても、プロジェクタの漏れ光により投影される領域は完全に黒にはならないことを説明した。これは、夜間の暗い情景の映像を投影している場合では人間の目がわずかな輝度差に対しても敏感に感じ取れる為、一層目立ちやすい傾向となる。
この場合、考えられる措置として、ソフト的に投影する元の映像の輝度を補正することで、ブラックオフセットによって生じる重複領域の輝度を下げ重複部分の目立ちを軽減させることができるが、これだけで夜間のシーンでは完全に重複部分を認識させないようにするのは困難である。
このため、元の映像の輝度の補正と合わせて偏光板を組み合わせて重複部分に対する減光率を段階的に調整することで、重複部分をより感じさせない映像を表示することが可能となる。
減光率を段階的に調整可能なフローを図15(a)に、その装置を図15(b)に示す。図15(b)において、1501はプロジェクタ、1502は偏光子、1503は検光子、1504は前記検光子1503を回転させるモータ、歯車、その他の機械部品、電気回路を含む回転手段である。1506は、検光子の周囲に設け前記回転手段1504の歯車とかみ合うように形成した歯車の歯である。
偏光子1502は、それ自身が位置するプロジェクタ1501の映像領域が図示しない他のプロジェクタとの映像領域との重複部分に対応した個所の範囲をカバーする(カバーするように斜線で示している。)。検光子1503の回転状態により、プロジェクタ1501からスクリーンへの投影光について重複部分のみの輝度を調整する。
Maluの法則により
I(θ)=I(0)cos2θ
ただし、I(θ):偏光子と検光子を通過した際の光の強度
I(0):偏光子を通過した際の光の強度
となるため検光子の角度を変えることで重複部分の輝度を調整することが可能となる。
図2の各コンピュータ103jにより各プロジェクタ102j毎の映像をピクセルバッファ112aに生成するとともに、各プロジェクタ102j毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファ112bに生成する(P1501)。各プロジェクタ102jから前記ピクセルバッファ112bにおいて歪み補正した映像を二次曲面スクリーン101に投影する(P1502)。夜間情景を表すときに操作者は回転手段1504を操作し、検光子1503を回転させる。検光子1503の回転に応じて、プロジェクタ102jからの光を減光させる(P1503)。
重複部分の輝度を各プロジェクタ102j単体による輝度と同程度まで落とせば重複部分は目立たなくなる。
In the above ([3] Reduction of black offset due to leakage light from projector), there is no problem if the projector can display perfect black, but even if the projected image is black, the area projected by the leakage light of the projector is I explained that it was not completely black. This is because when a dark scene image at night is projected, the human eye can be sensitive to even a slight difference in luminance, and thus tends to be more noticeable.
In this case, as a possible measure, by correcting the brightness of the original image to be projected softly, the brightness of the overlapping area caused by black offset can be reduced and the conspicuousness of the overlapping part can be reduced. It is difficult to prevent the overlap part from being completely recognized in the scene.
For this reason, it is possible to display an image in which the overlapping portion is not felt more by combining the polarizing plates in combination with the correction of the luminance of the original image and adjusting the dimming rate for the overlapping portion in a stepwise manner.
FIG. 15A shows a flow in which the light attenuation rate can be adjusted stepwise, and FIG. 15B shows the apparatus. In FIG. 15B, 1501 is a projector, 1502 is a polarizer, 1503 is an analyzer, 1504 is a rotating means including a motor, gears, other mechanical parts, and an electric circuit for rotating the
Polarizer 1502 covers a range corresponding to an overlapping area between the image area of
According to Malu's law, I (θ) = I (0) cos2θ
However, I (θ): intensity of light when passing through the polarizer and analyzer I (0): intensity of light when passing through the polarizer, so the luminance of the overlapping portion is changed by changing the angle of the analyzer Can be adjusted.
Each
If the luminance of the overlapping portion is reduced to the same level as the luminance of each projector 102j alone, the overlapping portion becomes inconspicuous.
(ステレオ映像表示への応用)
上述した技術は、ステレオ映像表示においても実現することができる。図16(a)は二次曲面スクリーンに係るマッピング関数の生成方法の一実施例を説明するフロー図、及び図16(b)は二次曲面スクリーンに係る映像発生方法の一実施例を説明するフロー図である。図17は二次曲面スクリーンに係る補正関数の生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。図17において、1601は二次曲面スクリーン、1602j(j=1,2,3,…n)は前記スクリーン前方に設けられるプロジェクタ、1603jは前記プロジェクタ1602j毎に対応して備えられる複数のコンピュータである。16041,16042はデジタルカメラ、1605は前記デジタルカメラ1604を接続するコンピュータ、1606はコンピュータ1605内の変換行列計算手段、1607はコンピュータ105内の二次曲面パラメータ(Qv)計算手段、1608はコンピュータ1605内の記憶装置、1609jは各コンピュータ1603j内のマッピング関数及び逆関数計算手段、1610jは各コンピュータ103j内の記憶装置、1611は各コンピュータ1603jに備えられる画像生成手段、1612a,1612bは各コンピュータ1603jに備えられるピクセルバッファである。1613は各コンピュータ103j,105を接続するネットワークである。1614は各コンピュータ1603jのオフセット計算手段である。
(Application to stereo image display)
The above-described technique can also be realized in stereo video display. FIG. 16A is a flowchart for explaining an embodiment of a mapping function generation method related to a quadric curved screen, and FIG. 16B shows an embodiment of an image generation method related to a quadric curved screen. FIG. FIG. 17 is a functional block diagram for explaining an embodiment of a correction function generation apparatus and video generation apparatus relating to a quadratic curved screen. In FIG. 17, 1601 is a quadric curved screen, 1602j (j = 1, 2, 3,... N) is a projector provided in front of the screen, and 1603j is a plurality of computers provided corresponding to each projector 1602j. .
([1]ステレオ表示のための二次曲面スクリーンに係るマッピング関数、その逆関数)
ステレオ表示は、前述の実施例1において、1つの視点の代わりに、左右両目の視点についてマッピング関数及び逆マッピング関数を求めて、左右それぞれの目用の画像を発生するものである。
すなわち、ステレオ表示のための二次曲面スクリーンに係るマッピング関数、その逆関数は、以下のように得る。
基準座標系から視点座標系への変換行列(M)と、カメラ座標から基準座標系への変換行列(S)とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、変換行列計算手段1606の計算により視点座標系からカメラ座標系への変換行列(H)を得る(図16(a)のステップP1601)。前記変換行列(H)を用いて、カメラ座標系で求めた二次曲面パラメータ(Q)から右目又は左目のいずれか一方の仮定視点を原点とする前記右目又は左目のいずれか一方の視点座標系及び右目又は左目のいずれか他方の仮定視点を原点とする前記右目又は左目のいずれか他方の視点座標系における二次曲面パラメータ(Qv)を二次曲面パラメータ(Qv)計算手段1607の計算により求める(図16(a)のステップP1602)。これらの結果はテーブルとして記憶装置1608に格納しておく。マッピング関数及び逆関数計算手段1609jでは、前記求めた右目及び左目の視点座標系における二次曲面パラメータ(Qv)を用いて、前記スクリーン1601に投影された点をプロジェクタi座標系から見た点と、任意の右目及び左目の仮定視点から見た点との対応を示すマッピング関数を求める(図16(a)のステップP1603)。前記マッピング関数よりその逆関数を求める(図16(a)のステップP1604)。ステップP1601からステップP1604を前記複数プロジェクタのn回繰り返して、プロジェクタ毎に右目及び左目用のマッピング関数の逆関数を得て前記記憶装置1601jに格納する(図16(a)のステップP1605)。
([1] Mapping function related to quadratic surface for stereo display and its inverse function)
In the first embodiment, the stereo display is to generate a mapping function and an inverse mapping function for the viewpoints of both the left and right eyes instead of one viewpoint, and generate images for the left and right eyes.
That is, a mapping function related to a quadric curved screen for stereo display and its inverse function are obtained as follows.
With respect to a predetermined point of the test pattern projected from the projector onto the quadric surface screen by the transformation matrix (M) from the reference coordinate system to the viewpoint coordinate system and the transformation matrix (S) from the camera coordinates to the reference coordinate system, A transformation matrix (H) from the viewpoint coordinate system to the camera coordinate system is obtained by calculation of the transformation matrix calculation means 1606 (step P1601 in FIG. 16A). Using the transformation matrix (H), the viewpoint coordinate system of either the right eye or the left eye with the assumed viewpoint of either the right eye or the left eye as the origin from the quadric surface parameter (Q) obtained in the camera coordinate system Further, the quadric surface parameter (Qv) in the viewpoint coordinate system of either the right eye or the left eye with the other assumed viewpoint of the right eye or the left eye as the origin is obtained by calculation of the quadric surface parameter (Qv) calculation means 1607. (Step P1602 in FIG. 16A). These results are stored in the
([2]ステレオ映像発生)
また、ステレオ表示は以下のように行う。
各コンピュータ1603jの画像生成手段1611jにより各プロジェクタ1602j毎の右目用及び左目用の映像をピクセルバッファ1612jaに生成するとともに上記のように求めた各プロジェクタ1602j毎の右目用及び左目用のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファ1612jbに生成する(図16(b)のステップS1601)。各プロジェクタ1602jから前記ピクセルバッファ1612bにおいて歪み補正した右目用及び左目用の映像を交互に前記二次曲面スクリーン1601に投影する(図16(b)のステップS1602)。
([2] Stereo image generation)
Stereo display is performed as follows.
The image generation means 1611j of each
実施例2として説明した技術もステレオ表示に適用することができる。実施例3として説明した技術もステレオ表示に適用することができる。 The technique described as the second embodiment can also be applied to the stereo display. The technique described as the third embodiment can also be applied to stereo display.
図18(a)は実施例5を説明する機能ブロック図であり、1801はビデオ機器であり、テレビジョン装置、ビデオ再生装置、パーソナルコンピュータ等を用いる。1802は歪み補正映像生成部、1803はビデオ機器1801の信号を歪み補正映像生成部1802での処理に適するように信号変換する変換器、1804は変換器1803からの出力信号を一時格納するメモリ、1805,1806,1807,1808はプロジェクタとスクリーンとの位置に応じて実施例1で説明したようにマッピング関数の逆関数により映像を歪み補正する歪み補正手段、1809,1810,1811,1812は歪み補正した映像を一時格納する補正後メモリ、1813,1814,1815,1816は補正した映像信号をプロジェクタに投影するに適した信号に変換する変換器、1817,1818,1819,1820はプロジェクタ、1821は二次曲面スクリーンである。
マッピング関数及びその逆関数は、実施例1で説明したように図示しないコンピュータにより求めておく。
メモリ1084はフレームメモリで構成する場合があるが、これである必要はなく、ラインメモリでもよい。また、メモリ1084は必須のものでなく、変換器1803から直接歪み補正手段1805〜1808に直接接続してもよい。補正後メモリ1809,1810,1811,1812は、フレームメモリで構成する場合があるが、これである必要はなく、ラインメモリでもよい。また、補正後メモリ1809,1810,1811,1812は必須のものでなく、歪み補正手段1805,1806,1807,1808のそれぞれは直接に変換器1813,1814,1815,1816に接続してもよい。
プロジェクタ1817,1818,1819,1820の数は任意の数nを用いることができ、この実施例では4台の例を図示した。
FIG. 18A is a functional block diagram for explaining the fifth embodiment.
The mapping function and its inverse function are obtained by a computer (not shown) as described in the first embodiment.
The memory 1084 may be composed of a frame memory, but this need not be the case and may be a line memory. Further, the memory 1084 is not essential, and may be directly connected from the
Arbitrary number n can be used as the number of
ビデオ機器1801からの映像(図18(b))は、変換器1803で処理に適するように変換され、メモリ1804に一時格納される。メモリ1804の映像は、プロジェクタ1817,1818,1819,1820のそれぞれに投影される範囲で分割されて、その範囲でそれぞれが歪み補正手段1805,1806,1807,1808に歪み補正され(図19のステップST1901)て、補正後メモリ1809,1810,1811,1812に一時格納される(図18(c))。映像信号は、変換器1813,1814,1815,1816で処理され、プロジェクタ1817,1818,1819,1820によりスクリーン1821に投影される(図19のステップST1902)。
The video from the video device 1801 (FIG. 18B) is converted by the
変換器1813,1814,1815,1816において、実施例1の([2−3]輝度調整)において説明したように輝度調整により、各プロジェクタ1817,1818,1819,1820の互いに重複する投影領域の輝度を補正することができる。
In the
図18において、図示しないコンピュータにより、実施例1の([3]プロジェクタの漏れ光によるブラックオフセットの軽減)において説明したようにオフセット調整がされている。 In FIG. 18, offset adjustment is performed by a computer (not shown) as described in the first embodiment ([3] Reduction of black offset due to leakage light of projector).
例えば、2台のプロジェクタの投影領域の重複部分を大きくして、上述の実施例2のようにして、共通して重複する部分の明るさを大きくすることができる。
ビデオ機器1801からの映像は、変換器1803で処理に適するように変換され、メモリ1804に一時格納される。メモリ1804の映像は、プロジェクタ1817,1818,1819,1820のそれぞれに投影される範囲で分割されて、その範囲でそれぞれが歪み補正手段1805,1806,1807,1808に歪み補正され(図20のステップST2001)て、補正後メモリ1809,1810,1811,1812に一時格納される。映像信号は、変換器1813,1814,1815,1816で処理され、プロジェクタ1817,1818,1819,1820によりスクリーン1821に投影して共通して重複する部分の明るさを大きくする(図20のステップST2002)。
For example, the overlapping portion of the projection areas of two projectors can be enlarged, and the brightness of the overlapping portion can be increased as in the second embodiment.
The video from the
各プロジェクタ1817,1818,1819,1820の前方に実施例3のような偏光子と検光子を配置して、プロジェクタからの光を減光して、プロジェクタの漏れ光を目立たなくすることができる。
A polarizer and an analyzer as in the third embodiment are arranged in front of each
偶数個のプロジェクタ1817,1818,1819,1820を右目用と左見用に区分して、実施例4を適用して、左右両目の視点についてマッピング関数及び逆マッピング関数を求めて、ビデオ機器1801からの映像に立体用の映像を用いてステレオ映像を実現することができる。
例えば、プロジェクタ1817,1819を右目用、プロジェクタ1818,1820を左目用とする。
ビデオ機器1801からの各プロジェクタ1817,1818,1819,1820の右目用及び左目用の映像が、各プロジェクタ1817,1818,1819,1820の右目用及び左目用のマッピングの逆関数により、歪み補正される(図21のステップST2101)。各プロジェクタ1817,1818,1819,1820から前記歪み補正された右目用及び左目用の映像が交互に前記二次曲面スクリーン1821に投影される(図21のステップST2102)。
The even number of
For example,
Distortion correction is performed on the right-eye and left-eye images of the
101…二次曲面スクリーン、102j(j=1,2,3,…n)…プロジェクタ、103j…コンピュータ、1041,1042…デジタルカメラ、105…コンピュータ、106…変換行列計算手段、107…二次曲面パラメータ(Qv)計算手段、108…記憶装置、109j…マッピング関数及び逆関数計算手段、110j…記憶装置、111…画像生成手段、112a,112b…ピクセルバッファ、113…ネットワーク。
DESCRIPTION OF
Claims (24)
コンピュータによる処理であって、
基準座標系から視点座標系への変換行列(M)と、カメラ座標から基準座標系への変換行列(S)とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列(H)を得る第1の過程と、
前記変換行列(H)を用いて、カメラ座標系で求めた二次曲面パラメータ(Q)から仮定視点を原点とする視点座標系における二次曲面パラメータ(Qv)を求める第2の過程と、
前記二次曲面パラメータ(Qv)を用いて、前記スクリーンに投影された点をプロジェクタi座標系から見た点と、任意の仮定視点から見た点との対応を示すマッピング関数を求める第3の過程と、
前記マッピング関数よりその逆関数を求める第4の過程と、
第1の過程から第4の過程を前記複数プロジェクタのn回繰り返して、プロジェクタ毎にマッピング関数の逆関数を得て前記記憶装置に格納する第5の過程と、
からなることを特徴とするマッピング関数生成方法。 A quadratic curved screen, a plurality of n projectors disposed in front of the screen and projected onto the screen, a camera disposed in front of the screen and photographed on the screen, and a computer; A storage device,
Computer processing,
With respect to a predetermined point of the test pattern projected from the projector onto the quadric surface screen by the transformation matrix (M) from the reference coordinate system to the viewpoint coordinate system and the transformation matrix (S) from the camera coordinates to the reference coordinate system, A first step of obtaining a transformation matrix (H) from the viewpoint coordinate system to the camera coordinate system;
A second step of obtaining a quadric surface parameter (Qv) in a viewpoint coordinate system having an assumed viewpoint as an origin from a quadric surface parameter (Q) obtained in the camera coordinate system using the transformation matrix (H);
A third mapping function is obtained that uses the quadric surface parameter (Qv) to obtain a mapping function indicating a correspondence between a point projected from the projector i coordinate system and a point viewed from an arbitrary assumed viewpoint. Process,
A fourth step of obtaining the inverse function from the mapping function;
A fifth process in which a first process to a fourth process are repeated n times for the plurality of projectors, an inverse function of a mapping function is obtained for each projector, and stored in the storage device;
A mapping function generation method characterized by comprising:
前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項1において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第1の過程と、
各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影する第2の過程からなることを特徴とする複合映像発生方法。 A quadratic curved screen, a plurality of n projectors arranged in front of the screen and arranged so that each region projected onto the screen overlaps with each other, and a computer provided for each projector And a storage device,
An image for each area projected by each projector is generated in the pixel buffer by each computer, and an image obtained by correcting the distortion of the generated image by an inverse function of mapping for each projector previously obtained in claim 1 is used for the pixel buffer. A first process to generate;
A composite image generation method comprising a second step of projecting an image corrected for distortion in the pixel buffer from each projector onto the quadric curved screen.
コンピュータによる処理であって、
基準座標系から視点座標系への変換行列(M)と、カメラ座標から基準座標系への変換行列(S)とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列(H)を得る第1の過程と、
前記変換行列(H)を用いて、カメラ座標系で求めた二次曲面パラメータ(Q)から右目又は左目のいずれか一方の仮定視点を原点とする前記右目又は左目のいずれか一方の視点座標系及び右目又は左目のいずれか他方の仮定視点を原点とする前記右目又は左目のいずれか他方の視点座標系における二次曲面パラメータ(Qv)を求める第2の過程と、
前記求めた右目及び左目の視点座標系における二次曲面パラメータ(Qv)を用いて、前記スクリーンに投影された点をプロジェクタi座標系から見た点と、任意の右目及び左目の仮定視点から見た点との対応を示すマッピング関数を求める第3の過程と、
前記マッピング関数よりその逆関数を求める第4の過程と、
第1の過程から第4の過程を前記複数プロジェクタのn回繰り返して、プロジェクタ毎に右目及び左目用のマッピング関数の逆関数を得て前記記憶装置に格納する第5の過程と、
からなることを特徴とするマッピング関数生成方法。 A quadratic curved screen, a plurality of n projectors arranged so that each region projected on the screen in front of the screen overlaps with each other, and a screen located in front of the screen A camera arranged to take a picture, a computer, and a storage device,
Computer processing,
With respect to a predetermined point of the test pattern projected from the projector onto the quadric surface screen by the transformation matrix (M) from the reference coordinate system to the viewpoint coordinate system and the transformation matrix (S) from the camera coordinates to the reference coordinate system, A first step of obtaining a transformation matrix (H) from the viewpoint coordinate system to the camera coordinate system;
Using the transformation matrix (H), the viewpoint coordinate system of either the right eye or the left eye with the assumed viewpoint of either the right eye or the left eye as the origin from the quadric surface parameter (Q) obtained in the camera coordinate system And a second step of obtaining a quadratic surface parameter (Qv) in the viewpoint coordinate system of either the right eye or the left eye with the other assumed viewpoint of the right eye or the left eye as the origin,
Using the obtained quadric surface parameter (Qv) in the right-eye and left-eye viewpoint coordinate systems, the points projected on the screen are viewed from the projector i coordinate system and viewed from any right eye and left-eye assumed viewpoint. A third step of obtaining a mapping function indicating the correspondence with the points;
A fourth step of obtaining the inverse function from the mapping function;
A fifth process in which a first process to a fourth process are repeated n times for the plurality of projectors, an inverse function of a mapping function for the right eye and the left eye is obtained for each projector, and stored in the storage device;
A mapping function generation method characterized by comprising:
前記各コンピュータにより各プロジェクタ毎の右目用及び左目用の映像をピクセルバッファに生成するとともに予め請求項3において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第1の過程と、
各プロジェクタから前記ピクセルバッファにおいて歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する第2の過程からなることを特徴とする複合映像発生方法。 A quadratic curved screen, a plurality of n projectors arranged in front of the screen and arranged so that each region projected onto the screen overlaps with each other, and a computer provided for each projector And a storage device,
The computers generate the right-eye and left-eye images for each projector in the pixel buffer and use the inverse functions of the right-eye and left-eye mapping for each projector previously determined in claim 3 to generate the generated images. A first process of generating a distortion-corrected image in a pixel buffer;
A composite image generating method comprising: a second process of projecting right-eye and left-eye images corrected for distortion in the pixel buffer from each projector onto the quadric curved screen.
前記コンピュータにより各プロジェクタが投影する領域毎の映像を生成するとともに予め請求項1において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第1の過程と、
各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくする第2の過程からなることを特徴とする複合映像発生方法。 A quadratic curved screen, a plurality of n projectors disposed in front of the screen and arranged to have a common overlapping area projected onto the screen, a computer, and a storage device,
A first image for generating an image for each area projected by each projector by the computer and generating an image obtained by correcting the distortion of the generated image in a pixel buffer by an inverse function of mapping for each projector previously obtained in claim 1. And the process
A composite image generation method comprising a second step of projecting a distortion corrected image in each pixel buffer from each projector onto the quadric curved screen to increase the brightness of the common overlapping portion.
前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項1において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第1の過程と、
各プロジェクタから前記歪み補正した映像を前記二次曲面スクリーンに投影する第2の過程からなることを特徴とする複合映像発生方法。 A quadratic curved screen, a plurality of n projectors arranged in front of the screen and arranged so that each region projected onto the screen overlaps with each other, and a video device,
The image generated from the video device is divided and generated so as to be projected onto the plurality of n projectors onto the screen, and the divided and generated image is subjected to distortion correction by using an inverse function of mapping for each projector previously obtained in claim 1. A first process of generating a video;
A composite image generation method comprising a second process of projecting the distortion-corrected image from each projector onto the quadric curved screen.
前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項3において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第1の過程と、
各プロジェクタから前記歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する第2の過程からなることを特徴とする複合映像発生方法。 A quadratic curved screen, a plurality of n projectors arranged in front of the screen and arranged so that each region projected onto the screen overlaps with each other, and a video device,
The division generation is performed by dividing and generating the image from the video device so as to project the image onto the screen onto the plurality of n projectors, and using the inverse function of the right-eye and left-eye mapping for each projector previously obtained in claim 3. A first process of generating a distortion corrected image,
A composite image generation method comprising a second step of projecting the distortion-corrected right-eye and left-eye images from the respective projectors onto the quadric curved screen.
前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項1において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第1の過程と、
各プロジェクタから前記歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくする第2の過程からなることを特徴とする複合映像発生方法。 A secondary curved screen, a plurality of n projectors arranged in front of the screen and arranged to overlap with a common area projected onto the screen, and a video device,
The image generated from the video device is divided and generated so as to be projected onto the plurality of n projectors onto the screen, and the divided and generated image is subjected to distortion correction by using an inverse function of mapping for each projector previously obtained in claim 1. A first process of generating a video;
A composite image generation method comprising: a second step of projecting the distortion-corrected image from each projector onto the quadric curved screen to increase the brightness of the common overlapping portion.
二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影するように配置された複数nのプロジェクタと、コンピュータと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラとを有し、
前記スクリーンに前記プロジェクタのいずれもから投影しない状態でカメラにより撮影する第1の過程と、
前記各プロジェクタより前記スクリーンに黒状態の映像を投影してカメラにより撮影するとともに複数nのプロジェクタのn回繰り返す第2の過程と、
コンピュータにおいて、第2の過程による各プロジェクタ毎の映像の輝度から第1の過程により得られた映像の輝度との差により各プロジェクタによる画面の平均値と当該平均値の和により最大値を得るとともに最大値と平均値の差によりオフセット値を得る第3の過程と、
コンピュータにおいて、各プロジェクタの映像の前記重複する部分のコントラストを前記オフセット値分下げるとともに輝度をオフセット値分上げて映像生成する第4の過程とからなることを特徴とする複合映像生成方法。 In the composite image generation method according to claim 2, claim 4, claim 5, claim 6, claim 7, claim 8, or claim 9,
A quadratic curved screen, a plurality of n projectors arranged in front of the screen and arranged to project onto the screen, a computer, and a camera located in front of the screen and arranged to photograph the screen; Have
A first step of photographing with a camera in a state where none of the projectors projects onto the screen;
A second process in which a black image is projected from the projectors onto the screen and photographed by a camera and repeated n times by a plurality of n projectors;
In the computer, the maximum value is obtained by the sum of the average value of the screen by each projector and the average value based on the difference between the brightness of the image for each projector in the second process and the brightness of the image obtained in the first process. A third step of obtaining an offset value by the difference between the maximum value and the average value;
A composite video generation method comprising: a fourth step of generating a video by lowering the contrast of the overlapping portion of the video of each projector by the offset value and increasing the luminance by the offset value in a computer.
前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項1において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第1の過程と、
各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影する第2の過程と、
夜間情景を表すときに前記偏光板により減光させる第3の過程からなることを特徴とする複合映像発生方法。 A quadratic curved screen, a plurality of n projectors arranged in front of the screen and arranged so that each region projected onto the screen overlaps with each other, and polarized light provided in front of each projector A board, a computer provided for each projector, and a storage device,
An image for each area projected by each projector is generated in the pixel buffer by each computer, and an image obtained by correcting the distortion of the generated image by an inverse function of mapping for each projector previously obtained in claim 1 is used for the pixel buffer. A first process to generate;
A second process of projecting, from each projector, a distortion corrected image in the pixel buffer onto the quadric curved screen;
A composite image generation method comprising a third step of dimming with the polarizing plate when representing a night scene.
基準座標系から視点座標系への変換行列(M)と、カメラ座標から基準座標系への変換行列(S)とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列(H)を得る変換行列計算手段と、
前記変換行列(H)を用いて、カメラ座標系で求めた二次曲面パラメータ(Q)から仮定視点を原点とする視点座標系における二次曲面パラメータ(Qv)を求める二次曲面パラメータ(Qv)計算手段と、
前記二次曲面パラメータ(Qv)を用いて、前記スクリーンに投影された点をプロジェクタi座標系から見た点と、任意の仮定視点から見た点との対応を示すマッピング関数及びその逆関数を求めるマッピング関数及び逆関数計算手段と、
前記複数プロジェクタ毎にマッピング関数及びその逆関数を格納する記憶装置と
からなることを特徴とするマッピング関数生成装置。 A quadratic curved screen, a plurality of n projectors disposed in front of the screen and projected onto the screen, a camera disposed in front of the screen and photographed on the screen, and a computer; A storage device,
With respect to a predetermined point of the test pattern projected from the projector onto the quadric surface screen by the transformation matrix (M) from the reference coordinate system to the viewpoint coordinate system and the transformation matrix (S) from the camera coordinates to the reference coordinate system, Transformation matrix calculation means for obtaining a transformation matrix (H) from the viewpoint coordinate system to the camera coordinate system;
Using the transformation matrix (H), a quadric surface parameter (Qv) for obtaining a quadric surface parameter (Qv) in the viewpoint coordinate system with the assumed viewpoint as the origin from the quadric surface parameter (Q) obtained in the camera coordinate system. Calculation means;
Using the quadratic surface parameter (Qv), a mapping function indicating the correspondence between the point projected on the screen from the projector i coordinate system and the point viewed from an arbitrary assumed viewpoint, and its inverse function, A mapping function and inverse function calculation means to be obtained;
A mapping function generation device comprising a storage device storing a mapping function and its inverse function for each of the plurality of projectors.
前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項12において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、
前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影する複数nのプロジェクタとからなることを特徴とする複合映像発生装置。 A quadratic curved screen, a plurality of n projectors arranged in front of the screen and arranged so that each region projected onto the screen overlaps with each other, and a computer provided for each projector And a storage device,
An image for each area projected by each projector is generated in the pixel buffer by each computer, and an image obtained by correcting the distortion of the generated image by an inverse function of the mapping for each projector previously obtained in claim 12 is stored in the pixel buffer. Video generation means for generating;
A composite image generating apparatus comprising: a plurality of n projectors for projecting each distortion corrected image from a pixel buffer of each computer onto the quadric curved screen.
基準座標系から視点座標系への変換行列(M)と、カメラ座標から基準座標系への変換行列(S)とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列(H)を得る変換行列計算手段と、
前記変換行列(H)を用いて、カメラ座標系で求めた二次曲面パラメータ(Q)から右目又は左目のいずれか一方の仮定視点を原点とする前記右目又は左目のいずれか一方の視点座標系及び右目又は左目のいずれか他方の仮定視点を原点とする前記右目又は左目のいずれか他方の視点座標系における二次曲面パラメータ(Qv)を求める二次曲面パラメータ(Qv)計算手段と、
前記求めた右目及び左目の視点座標系における二次曲面パラメータ(Qv)を用いて、前記スクリーンに投影された点をプロジェクタi座標系から見た点と、任意の右目及び左目の仮定視点から見た点との対応を示すマッピング関数及びその逆関数を求めるマッピング関数及び逆関数計算手段と、
前記複数プロジェクタ毎に右目及び左目用のマッピング関数及びその逆関数を格納する記憶装置とからなることを特徴とするマッピング関数生成装置。 A quadratic curved screen, a plurality of n projectors arranged so that each region projected on the screen in front of the screen overlaps with each other, and a screen located in front of the screen A camera arranged to take a picture, a computer, and a storage device,
With respect to a predetermined point of the test pattern projected from the projector onto the quadric surface screen by the transformation matrix (M) from the reference coordinate system to the viewpoint coordinate system and the transformation matrix (S) from the camera coordinates to the reference coordinate system, Transformation matrix calculation means for obtaining a transformation matrix (H) from the viewpoint coordinate system to the camera coordinate system;
Using the transformation matrix (H), the viewpoint coordinate system of either the right eye or the left eye with the assumed viewpoint of either the right eye or the left eye as the origin from the quadric surface parameter (Q) obtained in the camera coordinate system And a quadric surface parameter (Qv) calculating means for obtaining a quadric surface parameter (Qv) in the viewpoint coordinate system of either the right eye or the left eye with the other assumed viewpoint of the right eye or the left eye as an origin,
Using the obtained quadric surface parameter (Qv) in the right-eye and left-eye viewpoint coordinate systems, the points projected on the screen are viewed from the projector i coordinate system and viewed from any right eye and left-eye assumed viewpoint. A mapping function and a inverse function calculation means for obtaining a mapping function indicating the correspondence with the point and its inverse function;
A mapping function generation device comprising a storage device for storing a mapping function for right eye and left eye and an inverse function thereof for each of the plurality of projectors.
前記各コンピュータにより各プロジェクタ毎の右目用及び左目用の映像をピクセルバッファに生成するとともに予め請求項14において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、
前記ピクセルバッファにおいて歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する複数nのプロジェクタとからなることを特徴とする複合映像発生装置。 A quadratic curved screen, a plurality of n projectors arranged in front of the screen and arranged so that each region projected onto the screen overlaps with each other, and a computer provided for each projector And a storage device,
The computers generate right-eye and left-eye images for each projector in a pixel buffer, and use the inverse functions of the right-eye and left-eye mapping for each projector previously determined in claim 14 to generate the generated images. Image generation means for generating a distortion corrected image in a pixel buffer;
A composite image generation apparatus comprising: a plurality of n projectors that project right-eye and left-eye images corrected for distortion in the pixel buffer onto the quadric curved screen.
前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項12において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、
前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくするように配置された複数nのプロジェクタとからなることを特徴とする複合映像発生装置。 A quadratic curved screen, a plurality of n projectors disposed in front of the screen and arranged to have a common overlapping area projected onto the screen, a computer, and a storage device,
An image for each area projected by each projector is generated in the pixel buffer by each computer, and an image obtained by correcting the distortion of the generated image by an inverse function of the mapping for each projector previously obtained in claim 12 is stored in the pixel buffer. Video generation means for generating;
A plurality of projectors arranged so as to project the distortion-corrected images from the pixel buffer of each computer onto the quadric curved screen to increase the brightness of the common overlapping portion. A composite video generator.
前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項12において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、
前記歪み補正した各映像を前記二次曲面スクリーンに投影する複数nの各プロジェクタとからなることを特徴とする複合映像発生装置。 A quadratic curved screen, a plurality of n projectors arranged in front of the screen and arranged so that each region projected onto the screen overlaps with each other, and a video device,
The image generated from the video device is divided and generated so as to be projected onto the plurality of n projectors onto the screen, and the divided and generated image is subjected to distortion correction by the inverse function of the mapping for each projector previously obtained in claim 12. Video generation means for generating video;
A composite image generating apparatus comprising: a plurality of n projectors that project the distortion-corrected images onto the quadric curved screen.
前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項14において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、
前記歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する複数nの各プロジェクタからなることを特徴とする複合映像発生装置。 A quadratic curved screen, a plurality of n projectors arranged in front of the screen and arranged so that each region projected onto the screen overlaps with each other, and a video device,
The division generation is performed by dividing and generating the image from the video device so as to be projected onto the screen on the plurality of n projectors, and by the inverse function of the right-eye and left-eye mapping for each projector previously obtained in claim 14. Image generation means for generating a distortion corrected image,
A composite image generating apparatus comprising a plurality of n projectors that project the distortion-corrected right-eye and left-eye images onto the quadric curved screen.
前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項12において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、
前記歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくするように配置された複数nのプロジェクタからなることを特徴とする複合映像発生装置。 A secondary curved screen, a plurality of n projectors arranged in front of the screen and arranged to overlap with a common area projected onto the screen, and a video device,
The image generated from the video device is divided and generated so as to be projected onto the plurality of n projectors onto the screen, and the divided and generated image is subjected to distortion correction by the inverse function of the mapping for each projector previously obtained in claim 12. Video generation means for generating video;
A composite video generation apparatus comprising a plurality of n projectors arranged to project the distortion-corrected video onto the quadric curved screen and increase the brightness of the common overlapping portion.
二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影するように配置された複数nのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラとを有し、
プロジェクタの何れからも投影しない第1の状態のスクリーンを撮影するとともに前記各プロジェクタより黒状態を投影したスクリーンの第2の状態をプロジェクタ毎に撮影するカメラと、
前記カメラが撮影した前記第2の状態を投影した各プロジェクタ毎の映像の輝度から、前記第1の状態を撮影した映像の輝度との差により各プロジェクタによる画面の平均値と当該平均値の和により最大値を得るとともに最大値と平均値の差によりオフセット値を得るオフセット計算手段と、
前記各コンピュータにより各プロジェクタ毎の映像の前記重複する部分のコントラストを前記オフセット値分下げるとともに輝度をオフセット値分上げて映像生成する映像生成手段とからなることを特徴とする複合映像生成装置。 In the composite video generation device according to claim 9 or claim 11 or claim 12 or claim 17 or claim 18 or claim 19 or claim 20,
A quadratic curved screen, a plurality of n projectors arranged in front of the screen and arranged to project on the screen, and a camera arranged in front of the screen and arranged to photograph the screen ,
A camera that shoots a screen in a first state that is not projected from any of the projectors and that shoots a second state of the screen that projects a black state from each projector;
The average value of the screen by each projector and the sum of the average values by the difference from the luminance of the video for each projector that has projected the second state photographed by the camera, from the luminance of the video that has photographed the first state An offset calculation means for obtaining a maximum value by means of and obtaining an offset value by a difference between the maximum value and the average value;
A composite video generation apparatus comprising: video generation means for generating video by reducing the contrast of the overlapping portion of the video for each projector by the offset value and increasing the luminance by the offset value by the computers.
前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項12において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、
前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影する複数nのプロジェクタと、
前記各プロジェクタ前方に設け、夜間情景を表すときに各プロジェクタからの光量を減光させる偏光板とからなることを特徴とする複合映像発生装置。 A quadratic curved screen, a plurality of n projectors arranged in front of the screen and projecting onto the screen with overlapping portions, arranged so as to be continuous, a polarizing plate, and each projector Having a computer and a storage device,
An image for each area projected by each projector is generated in the pixel buffer by each computer, and an image obtained by correcting the distortion of the generated image by an inverse function of the mapping for each projector previously obtained in claim 12 is stored in the pixel buffer. Video generation means for generating;
A plurality of projectors for projecting each distortion-corrected image from the pixel buffer of each computer onto the quadric curved screen;
A composite image generating apparatus comprising: a polarizing plate provided in front of each projector for reducing the amount of light from each projector when representing a night scene.
23. The composite video generation apparatus according to claim 13, wherein each projector is attached to a base by a flexible arm having a degree of freedom.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005089967A JP4751084B2 (en) | 2005-01-11 | 2005-03-25 | Mapping function generation method and apparatus, and composite video generation method and apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005004085 | 2005-01-11 | ||
JP2005004085 | 2005-01-11 | ||
JP2005089967A JP4751084B2 (en) | 2005-01-11 | 2005-03-25 | Mapping function generation method and apparatus, and composite video generation method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006221599A true JP2006221599A (en) | 2006-08-24 |
JP4751084B2 JP4751084B2 (en) | 2011-08-17 |
Family
ID=36983876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005089967A Active JP4751084B2 (en) | 2005-01-11 | 2005-03-25 | Mapping function generation method and apparatus, and composite video generation method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4751084B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009005044A (en) * | 2007-06-21 | 2009-01-08 | Mitsubishi Precision Co Ltd | Distortion correction and integration method by division imaging, mapping function generation method therefor, distortion correction and integration apparatus by division imaging and mapping function generator therefor |
JP2013026824A (en) * | 2011-07-21 | 2013-02-04 | Mitsubishi Precision Co Ltd | Method of correcting distortion in video, device of correcting distortion in video, simulated visual field display device and simulator for operation training |
US8791880B2 (en) | 2008-11-17 | 2014-07-29 | Nec Corporation | System, method and program for specifying pixel position correspondence |
KR101580056B1 (en) * | 2014-09-17 | 2015-12-28 | 국립대학법인 울산과학기술대학교 산학협력단 | Apparatus for correcting image distortion and method thereof |
JP2017161908A (en) * | 2010-11-15 | 2017-09-14 | スケーラブル ディスプレイ テクノロジーズ インコーポレイテッド | System and method for calibrating display system using manual and semi-manual techniques |
EP3706410A4 (en) * | 2017-12-19 | 2020-09-09 | Sony Corporation | Image processing device, image processing method, program, and projection system |
CN114531579A (en) * | 2020-11-23 | 2022-05-24 | 华强方特(深圳)科技有限公司 | Circular screen projection method, system and equipment |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000347128A (en) * | 1999-03-26 | 2000-12-15 | Mr System Kenkyusho:Kk | Head mount display device and head mount display system |
JP2002072359A (en) * | 2000-08-29 | 2002-03-12 | Olympus Optical Co Ltd | Image projection display device |
JP2004282712A (en) * | 2003-02-28 | 2004-10-07 | Victor Co Of Japan Ltd | Adjustment device |
-
2005
- 2005-03-25 JP JP2005089967A patent/JP4751084B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000347128A (en) * | 1999-03-26 | 2000-12-15 | Mr System Kenkyusho:Kk | Head mount display device and head mount display system |
JP2002072359A (en) * | 2000-08-29 | 2002-03-12 | Olympus Optical Co Ltd | Image projection display device |
JP2004282712A (en) * | 2003-02-28 | 2004-10-07 | Victor Co Of Japan Ltd | Adjustment device |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009005044A (en) * | 2007-06-21 | 2009-01-08 | Mitsubishi Precision Co Ltd | Distortion correction and integration method by division imaging, mapping function generation method therefor, distortion correction and integration apparatus by division imaging and mapping function generator therefor |
US8791880B2 (en) | 2008-11-17 | 2014-07-29 | Nec Corporation | System, method and program for specifying pixel position correspondence |
JP2017161908A (en) * | 2010-11-15 | 2017-09-14 | スケーラブル ディスプレイ テクノロジーズ インコーポレイテッド | System and method for calibrating display system using manual and semi-manual techniques |
US10503059B2 (en) | 2010-11-15 | 2019-12-10 | Scalable Display Technologies, Inc. | System and method for calibrating a display system using manual and semi-manual techniques |
US11269244B2 (en) | 2010-11-15 | 2022-03-08 | Scalable Display Technologies, Inc. | System and method for calibrating a display system using manual and semi-manual techniques |
JP2013026824A (en) * | 2011-07-21 | 2013-02-04 | Mitsubishi Precision Co Ltd | Method of correcting distortion in video, device of correcting distortion in video, simulated visual field display device and simulator for operation training |
KR101580056B1 (en) * | 2014-09-17 | 2015-12-28 | 국립대학법인 울산과학기술대학교 산학협력단 | Apparatus for correcting image distortion and method thereof |
EP3706410A4 (en) * | 2017-12-19 | 2020-09-09 | Sony Corporation | Image processing device, image processing method, program, and projection system |
US11115632B2 (en) | 2017-12-19 | 2021-09-07 | Sony Corporation | Image processing device, image processing method, program, and projection system |
CN114531579A (en) * | 2020-11-23 | 2022-05-24 | 华强方特(深圳)科技有限公司 | Circular screen projection method, system and equipment |
Also Published As
Publication number | Publication date |
---|---|
JP4751084B2 (en) | 2011-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5236219B2 (en) | Distortion correction and integration method using divided imaging, mapping function generation method therefor, distortion correction and integration device using divided imaging, and mapping function generation apparatus therefor | |
US6793350B1 (en) | Projecting warped images onto curved surfaces | |
JP6569742B2 (en) | Projection system, image processing apparatus, projection method, and program | |
KR100653200B1 (en) | Method and apparatus for providing panoramic view with geometry correction | |
JP5224721B2 (en) | Video projection system | |
KR100796849B1 (en) | Method for photographing panorama mosaics picture in mobile device | |
US8358873B2 (en) | Hybrid system for multi-projector geometry calibration | |
US7133083B2 (en) | Dynamic shadow removal from front projection displays | |
US9195121B2 (en) | Markerless geometric registration of multiple projectors on extruded surfaces using an uncalibrated camera | |
US7006709B2 (en) | System and method deghosting mosaics using multiperspective plane sweep | |
CN111192552B (en) | Multi-channel LED spherical screen geometric correction method | |
JP4751084B2 (en) | Mapping function generation method and apparatus, and composite video generation method and apparatus | |
JP4425672B2 (en) | How to display an image on the display screen | |
JPWO2018235163A1 (en) | Calibration apparatus, calibration chart, chart pattern generation apparatus, and calibration method | |
US20040257540A1 (en) | Single or multi-projector for arbitrary surfaces without calibration nor reconstruction | |
JP2005500756A (en) | Multi-projector mosaic with automatic alignment | |
JP2004288181A (en) | Method for adapting output image to shape of display surface | |
JP2004289822A (en) | Method for determining largest rectangle on display surface | |
CN111866523B (en) | Panoramic video synthesis method and device, electronic equipment and computer storage medium | |
CN112734860A (en) | Arc-screen prior information-based pixel-by-pixel mapping projection geometric correction method | |
JP2002071315A (en) | Projection planar measuring system | |
JP2003091720A (en) | View point converting device, view point converting program and image processor for vehicle | |
US20020009699A1 (en) | Data receiving device and image forming apparatus using same | |
TWI615808B (en) | Image processing method for immediately producing panoramic images | |
TWI443604B (en) | Image correction method and image correction apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110509 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4751084 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140527 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |