JP2012010125A - Image signal processing apparatus, and virtual reality generating system - Google Patents
Image signal processing apparatus, and virtual reality generating system Download PDFInfo
- Publication number
- JP2012010125A JP2012010125A JP2010144536A JP2010144536A JP2012010125A JP 2012010125 A JP2012010125 A JP 2012010125A JP 2010144536 A JP2010144536 A JP 2010144536A JP 2010144536 A JP2010144536 A JP 2010144536A JP 2012010125 A JP2012010125 A JP 2012010125A
- Authority
- JP
- Japan
- Prior art keywords
- distortion correction
- pixel
- image
- output
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
Abstract
Description
本発明は、平面映像信号を任意形状のスクリーンに投射しても、歪みなく映し出すことができるように、入力映像信号に予め歪み補正を施す映像信号処理装置、それを用いて構成される仮想現実感生成システムに関する。 The present invention relates to a video signal processing apparatus that performs distortion correction on an input video signal in advance so that even if a flat video signal is projected onto a screen having an arbitrary shape, the virtual reality configured using the video signal processing apparatus. It relates to a feeling generation system.
任意形状のスクリーンへ歪み無く映像を投射する技術は、仮想現実感生成装置で既に実用化されている。例えば、その先行技術としては、特許文献1等が挙げられる。これらの仮想現実感生成装置では、入力映像信号が、当該仮想現実感生成装置用に生成したCGの信号であったり、DV信号であった。また、歪み無く映像を投影するための歪み補正の関係式(歪み補正の前後の映像同士の関連の記述、歪み補正テーブル)の生成は、当該システムの内部で行っていた。
A technique for projecting an image onto a screen having an arbitrary shape without distortion has already been put into practical use in a virtual reality generation apparatus. For example,
しかしながら、上述した技術では、入力可能な映像信号が限定されていて、出力画像の画素ごとに複数の平面映像を切り替えることができていなかった。 However, in the above-described technique, the video signals that can be input are limited, and a plurality of plane videos cannot be switched for each pixel of the output image.
そこで、本発明は、上述した実情に鑑みて提案されたものであり、複数の平面映像を使用して、歪み補正を施した出力画像を簡単な歪み補正処理によって生成できる映像信号処理装置、仮想現実感生成システムを提供することを目的とする。 Therefore, the present invention has been proposed in view of the above-described circumstances, and a video signal processing device that can generate an output image subjected to distortion correction by using a plurality of plane images by simple distortion correction processing, virtual An object is to provide a reality generation system.
上記の課題を解決する第1の発明に係る映像信号処理装置は、任意形状の投影面に映像光を投影させる出力映像信号を投影手段に出力する映像信号処理装置であって、平面の投影面に映像光を投影させるための平面映像信号を入力する映像信号入力手段と、平面の投影面と前記任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルであって、前記映像信号入力手段により入力した平面映像信号に歪み補正処理を施すための歪み補正テーブルを外部から入力する外部入力手段と、前記外部入力手段により入力した歪み補正テーブルを参照して、前記映像信号入力手段により入力した平面映像信号の画素ごとに歪み補正処理を施して、前記投影面に映像光を投影させるための出力映像信号を作成する歪み補正手段と、前記歪み補正手段により作成された出力映像信号を前記投影手段に出力する出力手段とを備え、前記歪み補正テーブルは、前記対応マップとして、前記出力映像の画素に対応する、歪み補正前の前記平面映像の画素であって、当該平面映像を選択する番号、又は、前記平面映像の画素に対応する歪み補正後の前記出力映像の画素であって、当該出力映像を選択する番号を記述してなり、前記歪み補正手段は、前記番号に対応した平面映像を選択し、当該選択した平面映像の画素を出力画像の画素に変換、又は、前記平面映像を、前記番号に対応した出力映像の画素に変換するときに、前記歪み補正テーブルによる変換前の画素の代表点が変換後の画素の代表点からずれるずれ量に相当する割合で、変換前の複数の画素の色情報を混合した色情報を、前記変換後の画素の色情報にして、前記出力映像信号を作成することを特徴とするものである。 A video signal processing apparatus according to a first invention for solving the above-mentioned problems is a video signal processing apparatus that outputs an output video signal for projecting video light onto a projection surface of an arbitrary shape to a projection means, and is a planar projection surface A distortion correction table which is a correspondence map between a video signal input means for inputting a plane video signal for projecting video light onto a plane and a mesh model of a plane projection plane and the projection plane of the arbitrary shape, With reference to the external input means for inputting a distortion correction table for performing distortion correction processing on the planar video signal input by the input means from the outside, and the distortion correction table input by the external input means, the video signal input means Distortion correction means for performing distortion correction processing for each pixel of the input planar video signal to create an output video signal for projecting video light on the projection plane; and the distortion Output means for outputting the output video signal created by the correction means to the projection means, and the distortion correction table corresponds to the pixel of the output video as the correspondence map, and the planar video before distortion correction A pixel, the number for selecting the planar video, or the pixel of the output video after distortion correction corresponding to the pixel of the planar video, wherein the number for selecting the output video is described, The distortion correction unit selects a plane image corresponding to the number and converts the pixel of the selected plane image into an output image pixel, or converts the plane image into an output image pixel corresponding to the number. Sometimes, the color information obtained by mixing the color information of a plurality of pixels before conversion at a ratio corresponding to the amount of deviation of the representative point of the pixel before conversion by the distortion correction table from the representative point of the pixel after conversion, And the color information of pixel after serial conversion, and is characterized in that to create the output video signal.
第1の発明に係る映像信号処理装置であって、第2の発明は、前記歪み補正テーブルは、前記出力映像の画素に対応して各画素を透過させる度合いを示す透明度を更に記述してなり、前記歪み補正手段は、前記画像番号によって選択した平面映像の画素について前記透明度に基づいて透明度合いを調整する画像処理を行って、当該選択した平面映像の画素を出力画像の画素に変換することを特徴とするものである。 The video signal processing apparatus according to the first invention is the video signal processing device according to the second invention, wherein the distortion correction table further describes a transparency indicating a degree of transmission of each pixel corresponding to a pixel of the output video. The distortion correction unit performs image processing for adjusting the transparency degree based on the transparency of the pixel of the planar video selected by the image number, and converts the pixel of the selected planar video into a pixel of the output image. It is characterized by.
第1又は第2の発明に係る映像信号処理装置であって、第3の発明は、前記歪み補正テーブルには、前記平面映像信号の入力画素順に平面の投影面と前記任意形状の投影面のメッシュモデルとの対応が記述され、前記歪み補正手段は、前記歪み補正テーブルに記述された入力画素を入力した時点で、当該入力した画素を用いた歪み補正処理を行うことを特徴とするものである。 The video signal processing apparatus according to the first or second invention, wherein the distortion correction table includes a planar projection plane and an arbitrary-shaped projection plane in the order of input pixels of the planar video signal. Correspondence with a mesh model is described, and the distortion correction unit performs distortion correction processing using the input pixel when the input pixel described in the distortion correction table is input. is there.
第1乃至第3の何れかの発明に係る映像信号処理装置であって、第4の発明は、前記歪み補正テーブルには、前記出力映像信号の出力画素順に平面の投影面と前記任意形状の投影面のメッシュモデルとの対応が記述され、前記歪み補正手段は、前記歪み補正テーブルに記述された入力画素を入力した時点で、当該入力した画素を用いた歪み補正処理を行い、前記歪み補正テーブルに記述された出力画素の順で出力映像信号を作成することを特徴とするものである。 The video signal processing apparatus according to any one of the first to third aspects, wherein the distortion correction table includes a planar projection surface and the arbitrary shape in the output pixel order of the output video signal. Correspondence with the mesh model of the projection surface is described, and when the input pixel described in the distortion correction table is input, the distortion correction unit performs a distortion correction process using the input pixel, and the distortion correction The output video signal is created in the order of the output pixels described in the table.
第1乃至第4の何れかの発明に係る映像信号処理装置であって、第5の発明は、前記外部入力手段は、外部から前記投影手段の動作を制御する制御信号を入力し、前記出力手段は、前記出力映像信号と共に、前記外部入力手段により入力した制御信号を前記投影手段に出力することを特徴とするものである。 The video signal processing apparatus according to any one of the first to fourth inventions, wherein the external input means inputs a control signal for controlling the operation of the projection means from the outside, and the output The means outputs the control signal input by the external input means together with the output video signal to the projection means.
第1乃至第5の何れかの発明に係る映像信号処理装置であって、第6の発明は、前記外部入力手段は、前記映像信号入力手段により入力した平面映像信号に輝度補正処理を施すための輝度補正テーブルを外部から入力し、前記外部入力手段により入力した輝度補正テーブルを参照して、前記映像信号入力手段により入力した平面映像信号の画素ごとに輝度補正処理を施して、前記任意形状の投影面に投影させるための出力映像信号を作成する輝度補正手段を更に備えることを特徴とするものである。 The video signal processing apparatus according to any one of the first to fifth inventions, wherein the external input means performs luminance correction processing on the planar video signal input by the video signal input means. The luminance correction table is input from the outside, the luminance correction table input by the external input means is referred to, the luminance correction processing is performed for each pixel of the planar video signal input by the video signal input means, and the arbitrary shape is obtained. And a luminance correction unit for generating an output video signal to be projected onto the projection plane.
第1乃至第6の何れかの発明に係る映像信号処理装置であって、第7の発明は、前記信号処理手段による複数の平面映像信号の処理タイミングの同期を取る同期処理手段を更に備えることを特徴とするものである。 The video signal processing apparatus according to any one of the first to sixth inventions, wherein the seventh invention further includes synchronization processing means for synchronizing processing timings of a plurality of planar video signals by the signal processing means. It is characterized by.
第1乃至第7の何れかの発明に係る映像信号処理装置であって、第8の発明は、前記映像信号入力手段によって入力された複数の平面映像信号を用いて、当該複数の平面映像信号間で視差を与えて合成した視差付き映像信号を作成する立体映像用視差付き平面映像信号作成手段を更に備え、前記歪み補正手段は、前記立体映像用視差付き平面映像信号作成手段で作成された視差付き平面映像信号を歪み補正処理して出力映像信号を作成することを特徴とするものである。 The video signal processing apparatus according to any one of the first to seventh inventions, wherein the eighth invention uses a plurality of planar video signals input by the video signal input means, and uses the plurality of planar video signals. A stereoscopic video parallax-added planar video signal creating means for creating a video signal with parallax synthesized by giving a parallax between, and the distortion correction means created by the stereoscopic video parallax-added planar video signal creating means The present invention is characterized in that an output video signal is created by performing a distortion correction process on a parallax-equipped planar video signal.
第9の発明は、観察者に凹面を向けた任意形状の投影面を有し、当該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンと、第1乃至第8の何れかの映像信号処理装置と、平面の投影面と前記任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルを作成する外部処理装置と、前記映像信号処理装置から出力された出力映像信号に基づいた映像を前記スクリーンに投影する投影手段とを備えたことを特徴とするものである。 According to a ninth aspect of the present invention, there is provided a projection screen having an arbitrary shape with a concave surface directed toward the observer, a wide viewing angle screen capable of displaying an image larger than the effective viewing angle of the observer, and any of the first to eighth aspects A video signal processing device, an external processing device that creates a distortion correction table that is a correspondence map between a flat projection surface and a mesh model of the arbitrary-shaped projection surface, and an output video output from the video signal processing device Projection means for projecting an image based on the signal onto the screen.
本発明によれば、歪み補正をするときに、歪み補正テーブルにおける画像番号に対応した平面映像を選択し、当該選択した平面映像の画素を出力画像の画素に変換するので、複数の平面映像を使用して、歪み補正を施した出力画像を簡単な歪み補正処理によって生成できる。 According to the present invention, when performing distortion correction, a plane image corresponding to an image number in the distortion correction table is selected, and pixels of the selected plane image are converted into pixels of an output image. It is possible to generate an output image subjected to distortion correction by a simple distortion correction process.
以下、本発明の実施の形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
本発明を適用した仮想現実感生成システムは、図1に示すように、観察者に凹面を向けた任意形状の投影面を有し、当該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーン1に3次元の映像光を投影するために、投影手段である2台のプロジェクタ2a、2bからなる映像投影機器2によって右眼用映像光と左眼用映像光とからなる出力映像を出射して、観察者に仮想現実感を与えるものである。
As shown in FIG. 1, a virtual reality generation system to which the present invention is applied has a projection surface having an arbitrary shape with a concave surface facing an observer, and is capable of displaying an image beyond the effective viewing angle of the observer. In order to project three-dimensional image light onto the
この仮想現実感生成システムは、映像信号処理装置である歪み補正ユニット3に、プロジェクタ2a、2bと映像生成機器4とパラメータ調整用パーソナルコンピュータ5とが接続されている。歪み補正ユニット3は、任意形状の投影面のスクリーン1に映像光が投影されたときの映像歪みを補正して出力映像信号を作成する映像信号処理を行う。なお、パラメータ調整用パーソナルコンピュータ5は、歪み補正ユニット3に常時接続されている必要はなく、後述するように歪み補正テーブル、輝度補正テーブル、制御信号等を歪み補正ユニット3に出力するときのみ接続されていれば良いものである。
In this virtual reality generation system,
スクリーン1は、プロジェクタ2a、2bからの右眼用映像光と左眼用映像光とを反射する。なお、このスクリーン1の投影面形状としては、球体の一部を利用した半球状、円筒状などが挙げられ、複数の平面を接続した形状であっても良い。
The
プロジェクタ2a、2bは、右眼用映像光と左眼用映像光とを出射するために、歪み補正ユニット3から右眼用映像信号と左眼用映像信号とからなる出力映像信号を受信する。これらプロジェクタ2a、2bは、歪み補正ユニット3の2チャンネルの映像出力端子3e,3fのそれぞれに接続されている。
The
なお、観察者に立体視をさせる場合、例えばプロジェクタ2aに右眼用偏光フィルター、プロジェクタ2bに左眼用偏光フィルターを装着させ、スクリーン1としては鏡面反射スクリーンを使用し、観察者には偏光フィルターに対応した偏光メガネを装着させることになる。また、プロジェクタとしては、2台である必要はなく、1台のプロジェクタから時分割で右眼用映像光と左眼用映像光とを交互に出射するものであっても良い。
In order to make the observer stereoscopically view, for example, the
映像生成機器4は、平面映像光を出射するための映像信号を記憶する記憶媒体を備えている。この映像生成機器4としては、パーソナルコンピュータ、ビデオデッキやDVDデッキ等の映像再生装置、ビデオカメラ、立体カメラなどが挙げられる。なお、映像生成機器4は、4チャンネル分の出力端子を有し、歪み補正ユニット3の1チャンネル〜4チャンネルの映像入力端子3a,3b,3c,3dに接続されている。なお、図1乃至図3に示した例では、4チャンネル入力、2チャンネル出力の構成を示しているが、入出力ともに1チャンネルのみであっても良い。
The
パラメータ調整用パーソナルコンピュータ5は、スクリーン1の曲面形状に合わせて歪み補正ユニット3で平面映像信号に歪み補正を施すための歪み補正テーブル、平面映像信号に輝度補正を施すための輝度補正テーブルを作成して、歪み補正ユニット3に供給する。
The parameter adjusting personal computer 5 creates a distortion correction table for performing distortion correction on the planar video signal by the
この歪み補正テーブルは、平面の投影面と任意形状の投影面のメッシュモデルとの対応マップである。この歪み補正テーブルは、歪み補正後の出力画像の画素に対応する、歪み補正前の入力画像の画素と、その画素からのずれ量を記述することで、入力画像の複数の画素の色情報を適切な割合で混合して出力画像の画素の色情報とすることも可能としたテーブルであっても良い。また、輝度補正テーブルは、歪み補正処理前の平面映像信号又は歪み補正処理後の出力映像信号の各画素を何倍の輝度にするかを記述したテーブルである。 This distortion correction table is a correspondence map between a planar projection surface and a mesh model of an arbitrary-shaped projection surface. This distortion correction table describes the color information of a plurality of pixels of the input image by describing the pixels of the input image before distortion correction corresponding to the pixels of the output image after distortion correction and the amount of deviation from the pixels. It may be a table that can be mixed at an appropriate ratio to obtain color information of pixels of the output image. The luminance correction table is a table describing how many times the luminance of each pixel of the planar video signal before distortion correction processing or the output video signal after distortion correction processing is set.
また、この歪み補正テーブルは、後述するように、映像入力端子3a,3b,3c,3dといったように複数の端子がチャンネル番号で特定されている場合に、出力映像信号を生成するために使用する平面映像信号をチャンネル番号で特定しても良い。すなわち、歪み補正テーブルには、当該各映像入力端子3a,3b,3c,3dにより入力する平面映像信号のうちどの平面映像信号を用いて出力映像信号を生成するかを示すチャンネル番号を含めても良い。
Further, as will be described later, this distortion correction table is used for generating an output video signal when a plurality of terminals such as
また、この歪み補正テーブルに記載されるチャンネル番号は、各映像入力端子より入力された平面映像信号がどの出力映像信号の生成で利用されるかを示す、出力映像信号のチャンネル番号であっても良い。 Further, the channel number described in the distortion correction table may be a channel number of an output video signal indicating which output video signal is used to generate a planar video signal input from each video input terminal. good.
更に、この歪み補正テーブルには、出力映像信号を生成するために使用する平面映像の画素ごとに、透明度を含めても良い。この透明度は、α値と呼ばれる0〜1の値を取る係数であって、画素を透過させる度合いを示す値である。例えば、ある映像入力端子3a,3b,3c,3dから入力した第1平面映像を背景とし、他の映像入力端子3a,3b,3c,3dから入力した第2平面映像を当該背景に対して上から重ねる前景とする。このとき、下記の式のように、前景の第2平面映像(Value2)及び背景の第1平面映像(Value1)に対して透明度αが設定される。透明度αが1の場合、前景の第2平面映像(Value2)は、完全な不透明となり、背景の第1平面映像を全く表示させない。逆に、透明度αが0のとき、第2平面映像は完全な透明となって全く表示されない映像となり、背景の第1平面映像のみを視認させることができる。
Further, the distortion correction table may include transparency for each pixel of the planar video used for generating the output video signal. This transparency is a coefficient that takes a value of 0 to 1 called an α value, and is a value that indicates the degree to which a pixel is transmitted. For example, a first plane image input from one
Value=Value1×(1.0−α)+Value2×α
平面の投影面と任意形状の投影面のメッシュモデルとの対応マップのみを記述した歪み補正テーブルは、例えば、入力画像の画素座標(x,y)=(5,7)と出力画像の画素座標(u,v)=(6,8)とを対応させて記述している。また、入力画像の複数の画素の色情報から出力画像の画素の色情報を作成できる歪み補正テーブルは、例えば、x方向に0.55,y方向に0.3のずれ量がある場合に、入力画像の画素座標(5.55,7.3)と出力画像の画素座標(6,8)とを対応させて記述している。
Value = Value1 × (1.0−α) + Value2 × α
For example, the distortion correction table describing only the correspondence map between the planar projection plane and the mesh model of the arbitrary-shaped projection plane is the pixel coordinates (x, y) = (5, 7) of the input image and the pixel coordinates of the output image. (U, v) = (6, 8) is described in correspondence. In addition, a distortion correction table that can create color information of pixels of an output image from color information of a plurality of pixels of an input image has, for example, a shift amount of 0.55 in the x direction and 0.3 in the y direction. The pixel coordinates (5.55, 7.3) of the input image are described in correspondence with the pixel coordinates (6, 8) of the output image.
歪み補正ユニット3は、パラメータ調整用パーソナルコンピュータ5と接続された外部入力端子3gを備え、歪み補正テーブル、輝度補正テーブルを入力する。なお、このパラメータ調整用パーソナルコンピュータ5による歪み補正テーブルの作成処理については後述する。
The
パラメータ調整用パーソナルコンピュータ5は、プロジェクタ2a、2bの動作を制御する制御信号を歪み補正ユニット3に出力する。この制御信号は、プロジェクタ2a、2bの映像光の出力開始及び停止をはじめとして、プロジェクタ2a、2bの映像投影位置や映像サイズ、ズーム倍率、色調整などのあらゆるプロジェクタ2a、2bの制御コマンドを含む。この制御信号は、歪み補正ユニット3によって入力されて、歪み補正ユニット3の外部出力端子3hを介してプロジェクタ2a、2bのそれぞれに供給される。
The parameter adjusting personal computer 5 outputs a control signal for controlling the operation of the
歪み補正ユニット3は、そのハードウェア構成を図2に示すように、映像入力側の信号方式変換回路11と、映像信号処理回路12と、外部機器制御回路13と、デジタルシグナルプロセッサ(DSP)14と、計算用メモリ15と、テーブル用メモリ16と、映像出力側の信号方式変換回路17と、制御信号用メモリ18とを備える。このようなハードウェア構成を有する歪み補正ユニット3は、その機能的なソフトウェア構成を図3に示すように、入力映像処理部21と、映像切替/分配部22と、映像合成部23と、歪み補正部24と、出力映像処理部25と、同期処理部26と、変換テーブル読み込み/保存部27と、外部機器制御部28と、制御信号読み込み/保存部29とを有する。
As shown in FIG. 2, the
信号方式変換回路11は、映像入力端子3a,3b,3c,3dを介して映像生成機器4からの映像を入力する入力映像処理部21として機能する。この信号方式変換回路11は、映像生成機器4からの平面映像信号として、コンポジット信号、セパレート信号、コンポーネント信号、ディジタルビデオ信号等を入力する。なお、このように複数種類の平面映像信号を入力可能な構成である場合、映像入力端子3a,3b,3c,3dは、それぞれの方式に準じた端子形状であるDVI−I端子、RGB端子、S端子、コンポジット端子、D端子などとなっている。このように、あらゆる種類の平面映像信号を入力可能とすることによって、入力する平面映像信号の種類幅を広げている。信号方式変換回路11は、映像入力端子3a,3b,3c,3dを介して平面映像信号を入力したことに応じて、当該平面映像信号の方式を、後段の映像信号処理回路12等で処理可能な方式にデコードして、映像信号処理回路12に出力する。
The signal
映像信号処理回路12は、図3における映像切替/分配部22となる映像切替/分配回路、映像合成部23となる映像合成回路、歪み補正部24となる映像補正回路、同期処理部26となる同期処理回路を有している。この映像信号処理回路12は、映像切替/分配部22によって入力映像処理部21からの平面映像信号の切替又は分配を行い、複数の平面映像信号を合成する場合には映像合成部23で映像合成を行って、歪み補正部24に供給する。
The video
歪み補正部24は、変換テーブル読み込み/保存部27に予め記憶された歪み補正テーブルを参照して、画素毎の座標変換処理を行うことによって平面映像信号を出力映像信号に変換する歪み補正処理を行う。また、歪み補正部24は、変換テーブル読み込み/保存部27に記憶された輝度補正テーブルを参照して、画素ごとの輝度値を変換することによって平面映像信号を出力映像信号に変換する輝度補正処理を行う。更に、歪み補正部24は、歪み補正処理の座標変換の際に、歪み補正テーブル内部に記述されたずれ量を参照することで、出力画像の画素に関連した入力画像の複数の画素の色情報をもとに出力画像の画素の色情報を生成することもできる。この歪み補正処理、輝度補正処理を行うに際して、映像信号処理回路12(歪み補正部24)は、計算用メモリ15を作業領域として利用する。
The
この歪み補正部24による歪み補正処理は、図4(a)に示す平面映像信号100の画素a,b,cを、図4(b)に示す出力映像信号100’の画素a’,b’,c’に変換することによって、歪み補正を行う。この出力映像信号100’は、任意形状の投影面となっているスクリーン1のメッシュモデルに従って、座標変換が施された結果である。
The distortion correction processing by the
歪み補正部24による輝度補正処理は、変換テーブル読み込み/保存部27に歪み補正処理後の出力映像信号に対応した輝度補正テーブルが記憶されている場合には、図5に示す処理となる。すなわち、先ず図5(a)に示す平面映像信号100に対して輝度補正処理を施し、図5(b)の平面映像信号100’を作成し、その後に、当該平面映像信号100’に歪み補正処理が施される。
The luminance correction process by the
また、輝度補正処理は、変換テーブル読み込み/保存部27に歪み補正処理前の平面映像信号に対応した輝度補正テーブルが記憶されている場合には、図6に示す処理となる。すなわち、図6(a)に示す平面映像信号100が歪み補正処理された結果である図6(b)の出力映像信号100’に対して、当該歪み補正後の画素a’,b’,c’の輝度を変換して、図6(c)に示す新たな輝度補正後の画素a’’,b’’,c’’とする。なお、歪み補正部24の歪み補正処理では、歪み補正処理の座標変換の際に、歪み補正テーブル内部に記述されたずれ量を参照することで、出力画像の画素に関連した入力画像の複数の画素の色情報をもとに出力画像の画素の色情報を生成することも可能であるが、この出力画像の画素の色情報を補間して作成する処理を含む歪み補正処理の詳細については、後述する。
Further, the luminance correction processing is the processing shown in FIG. 6 when the conversion table reading / saving
この歪み補正部24によって歪み補正処理及び輝度補正処理が施された出力映像信号は、出力映像処理部25(信号方式変換回路17)に渡されて、当該出力映像処理部25からプロジェクタ2a、2bに供給される。このとき、出力映像処理部25(信号方式変換回路17)は、出力映像信号をプロジェクタ2a、2bで映像投影可能な信号方式に変換して出力する。なお、映像出力端子3e,3dは、出力映像信号の方式に準じた端子形状であるDVI−I端子、RGB端子などとなっている。
The output video signal that has been subjected to the distortion correction processing and the luminance correction processing by the
また、この歪み補正ユニット3において、同期処理部26は、リアルタイムで入力映像処理部21、映像切替/分配部22、映像合成部23、歪み補正部24及び出力映像処理部25を動作させるために同期処理部26によって、各部間の映像信号の処理タイミング、映像信号転送タイミングを制御している。この歪み補正ユニット3は、デジタルシグナルプロセッサ14によって、映像信号処理回路12のソフトウェア的な処理が制御されている。
In this
更に、歪み補正ユニット3は、パラメータ調整用パーソナルコンピュータ5から供給された制御信号を制御信号読み込み/保存部29で受信・保存し、外部機器制御回路13(外部機器制御部28)が、適宜、制御信号を制御信号読み込み/保存部29から選択し、当該制御信号を外部出力端子3hを通じてプロジェクタ2a,2bに転送する。なお、歪み補正ユニット3からプロジェクタ2a,2bに送信する制御信号は、図3に示すように、ユーザに操作される押しボタンやリモコンなどの操作入力部6からの操作入力信号に応じて、外部機器制御部28から出力しても良い。これによって、制御信号読み込み/保存部29に保存されている制御信号をユーザが自由に切り換えながらプロジェクタ2a,2bを制御させることができる。
Further, the
このように、歪み補正ユニット3によれば、事前に変換テーブル読み込み/保存部27に歪み補正テーブル、輝度補正テーブルを記憶させておき、プロジェクタ2a、2bからスクリーン1に映像光を出射させるに際して平面映像信号に歪み補正処理、輝度補正処理を施す場合に、2次元における座標変換、輝度変換を行うのみで、3次元処理を行うことなく出力映像信号を作成できる。すなわち、歪み補正の関係式の生成を外部のパラメータ調整用パーソナルコンピュータ5で行い、当該パラメータ調整用パーソナルコンピュータ5の処理結果を歪み補正テーブルとして入力できるので、歪み補正ユニット3内部において、3次元の計算処理を必要とせず、2次元の計算処理のみで歪み補正が可能である。したがって、歪み補正ユニット3によれば、観察者に視認させる映像の歪みを抑制する処理を簡単な構成でリアルタイムに実現できる。
As described above, according to the
また、この歪み補正ユニット3によれば、様々な種類の映像信号に対して上述の処理を施すことができ、入力映像の種類に対する制限を軽減できる。
In addition, according to the
更に、歪み補正ユニット3は、複数の平面映像信号を同時に入力すると共に、映像信号を複数同時に出力する構成となっている。映像信号処理回路12は、同時に複数の平面映像信号を入力した場合に、当該複数の平面映像信号を選択して、歪み補正をした出力映像信号を信号方式変換回路17に出力することができ、当該複数の平面映像信号を合成して信号方式変換回路17から出力させることができる。この複数の平面映像信号のうち信号方式変換回路17に出力する出力映像信号を選択する条件は、パラメータ調整用パーソナルコンピュータ5によって設定できる。また、複数の平面映像信号を合成する前に、当該複数の平面映像信号の映像サイズを統一するように映像の拡大、縮小処理を施すことが望ましい。
Furthermore, the
また、複数の平面映像信号を同時に入力した場合、DSP14で構成される同期処理部26によって、複数の平面映像信号の処理タイミングの同期を取ることができる。これによって、2台のプロジェクタ2a,2bを使用して立体視をさせることもできる。
In addition, when a plurality of plane video signals are input simultaneously, the
更に、上述した映像信号処理回路12は、複数の平面映像信号を用いて、当該複数の平面映像信号間で視差を与えて合成した視差付き平面映像信号を作成しても良い。例えば、3チャンネル入力の場合、チャンネル3の平面映像信号をチャンネル1の平面映像信号とチャンネル2の平面映像信号に対して視差を付けて合成して、視差付き平面映像信号を作成してもよく、4チャンネル入力の場合、チャンネル3、チャンネル4の平面映像信号をそれぞれチャンネル1、チャンネル2の平面映像信号に視差を付けて合成して、視差付き平面映像信号を作成してもよい。このような視差付き平面映像信号の作成処理の条件は、パラメータ調整用パーソナルコンピュータ5によって設定でき、当該設定によって、スクリーン1に歪みがない立体映像を表示させることができる。
Further, the video
(以下、追加説明)
つぎに、上述した仮想現実感生成システムにおいて、複数の平面映像信号を用い、当該平面映像を切り替えて出力映像信号を生成するものについて説明する。
(Hereafter, additional explanation)
Next, a description will be given of the virtual reality generation system described above that uses a plurality of planar video signals and switches the planar video to generate an output video signal.
この仮想現実感生成システムは、例えば図7(a)、(b)に示すように、平面映像信号のうち、出力映像信号として使用する画素を選択する。図7(a)は、平面映像信号P1,P2が映像入力端子3a,3bに供給され、歪み補正ユニット3によって、映像切替、歪み補正、輝度補正等の画像処理を行って、2つの出力映像信号(P1’、P1”、P2’、P2”)を映像出力端子3e,3fから出力する。また、図7(b)に示すように、歪み補正ユニット3による平面映像信号の切り替え機能によって、1つの平面映像信号P1を、複数の異なる映像処理を施した出力映像信号P1’、P1”として出力することも可能である。この出力映像信号は、各平面映像信号P1,P2のいずれか一方に基づいて作成された映像であり、各出力映像信号は、異なった映像処理がされたP1’、P1”、P2’、P2”として表現している。
For example, as shown in FIGS. 7A and 7B, the virtual reality generation system selects a pixel to be used as an output video signal from a planar video signal. In FIG. 7A, planar video signals P1 and P2 are supplied to
この映像出力端子3e,3fから出力される出力映像信号の組み合わせとしては、様々なものが実現可能であり、映像出力端子3e,3fから出力される映像が同じではなく、出力映像信号ごとに異なる処理が施される。
Various combinations of output video signals output from the
例えば、出力映像信号P1’を、歪み補正のみ、出力映像信号P1”を、歪み補正に加えて透過度の調整もされているものとすることができる。また、単純な例としては、出力映像信号P1’は平面映像信号P1の右半分のみを歪み補正したものとし、出力映像信号P1”は平面映像信号P1の左半分のみを歪み補正したものとすることができる。このように、異なった補正(変換)を施した場合も含まる。 For example, the output video signal P1 ′ may be corrected for distortion only, and the output video signal P1 ″ may be adjusted for transparency in addition to distortion correction. The signal P1 ′ can be obtained by correcting the distortion of only the right half of the planar video signal P1, and the output video signal P1 ″ can be obtained by correcting the distortion of only the left half of the planar video signal P1. Thus, the case where different correction | amendment (conversion) is performed is also included.
更に、図8に示すように、映像入力端子3a,3bから平面映像信号P1,P2を入力し、歪み補正ユニット3によって、当該平面映像信号P1,P2を合成し、且つ、異なる映像処理(歪み補正、透過度等)を施した出力映像信号P(1+2)’、P(1+2)”を生成して、映像出力端子3e,3fから出力しても良い。
Further, as shown in FIG. 8, the planar video signals P1 and P2 are input from the
このように、入力画像としての平面映像信号の切替を行って出力映像信号を生成するための歪み補正テーブルは、例えば図9乃至図16に示すようになっている。 As described above, the distortion correction tables for generating the output video signal by switching the planar video signal as the input image are as shown in FIGS. 9 to 16, for example.
図9に示す歪み補正テーブルは、出力映像の画素(u,v)に対して、入力画像のチャンネル番号及び当該対応入力画像の画素(x,y)が対応付けられている。歪み補正ユニット3は、このような歪み補正テーブルを用いる場合、チャンネル番号に対応した入力画像を選択し、当該選択した入力画像の画素を出力画像の画素に変換する。このような歪み補正テーブルは、後述の出力順に処理する際に用いられる歪み補正テーブルの一例である。ここで、歪み補正ユニット3は、歪み補正後の出力画像の画素に対応する、歪み補正前の入力画像の画素及びその画素からのずれ量が記述されている場合、入力画像の複数の画素の色情報を適切な割合で混合して出力画像の画素の色情報とすることも可能である。
In the distortion correction table shown in FIG. 9, the channel number of the input image and the pixel (x, y) of the corresponding input image are associated with the pixel (u, v) of the output video. When using such a distortion correction table, the
図10に示す歪み補正テーブルは、図9における入力画像の画素(x,y)に対して、対応する出力画像のチャンネル番号及び対応出力画像の画素(u,v)が対応付けられている。歪み補正ユニット3は、このような歪み補正テーブルを用いる場合、入力画像を入力したときに、当該入力画像の画素を当該テーブルに記載されたチャンネル番号に対応した出力画像の画素に変換する。このような歪み補正テーブルは、後述の入力順に処理する際に用いられる歪み補正テーブルの一例である。ここで、歪み補正ユニット3は、歪み補正後の出力画像の画素に対応する、歪み補正前の入力画像の画素及びその画素からのずれ量が記述されている場合、入力画像の複数の画素の色情報を適切な割合で混合して出力画像の画素の色情報とすることも可能である。
In the distortion correction table shown in FIG. 10, the channel number of the corresponding output image and the pixel (u, v) of the corresponding output image are associated with the pixel (x, y) of the input image in FIG. When such a distortion correction table is used, the
図9に示す歪み補正テーブルは、図11(a)、(b)のように構成しても良い。例えば、既存の歪み補正テーブルとして図11(b)のように出力画像の画素と対応入力画像の画素との関係のみを記憶していた場合、図11(a)のように出力画像の画素に対して入力画像のチャンネル番号を特定するテーブルを追加する。これにより、出力画像の画素を生成するために用いる平面映像信号を切り替えることができる。 The distortion correction table shown in FIG. 9 may be configured as shown in FIGS. For example, when only the relationship between the pixel of the output image and the pixel of the corresponding input image is stored as an existing distortion correction table as shown in FIG. 11B, the pixel of the output image is stored as shown in FIG. On the other hand, a table for specifying the channel number of the input image is added. Thereby, the planar video signal used to generate the pixels of the output image can be switched.
同様に、図10に示す歪み補正テーブルは、図12(a)、(b)のように構成しても良い。例えば、既存の歪み補正テーブルとして図12(b)のように入力画像の画素と対応出力画像の画素との関係のみを記憶していた場合、図12(a)のように入力画像の画素に対して出力画像のチャンネル番号を特定するテーブルを追加する。これにより、出力画像の画素を生成するために用いる平面映像信号を切り替えることができる。 Similarly, the distortion correction table shown in FIG. 10 may be configured as shown in FIGS. For example, when only the relationship between the pixel of the input image and the pixel of the corresponding output image is stored as an existing distortion correction table as shown in FIG. 12B, the pixel of the input image is stored as shown in FIG. On the other hand, a table for specifying the channel number of the output image is added. Thereby, the planar video signal used to generate the pixels of the output image can be switched.
なお、図10のように入力画像の画素順に歪み補正テーブルを構成している場合、当該入力画像の画素(x、y)が、複数の出力画像の画素(u,v)の算出に用いられる場合、当該入力画像の画素に対応して複数の出力画像の画素を記述する。この場合、各出力画像の画素は、ずれ量に応じた少数点以下の表記に従って、当該入力画像の画素の混合割合が決定される。 When the distortion correction table is configured in the order of pixels of the input image as shown in FIG. 10, the pixel (x, y) of the input image is used for calculating the pixels (u, v) of a plurality of output images. In this case, a plurality of pixels of the output image are described corresponding to the pixels of the input image. In this case, for the pixels of each output image, the mixing ratio of the pixels of the input image is determined according to the notation below the decimal point corresponding to the shift amount.
図13に示す歪み補正テーブルは、図9に示した歪み補正テーブルに対して、透過度αを加えたものである。出力画像P1’の画素(ui,vj)を得るために、チャンネル番号が「1」の対応入力画像の画素(xk,yl)の透明度αを「0.7」とし、チャンネル番号が「2」の対応入力画像の画素(xm,yn)の透明度αを「0.3」とする。これにより、この入力画像の画素(xk,yl)と画素(xm,yn)との不透明度合いを7:3とした出力画像の画素(ui,vj)を生成できる。 The distortion correction table shown in FIG. 13 is obtained by adding transparency α to the distortion correction table shown in FIG. In order to obtain the pixel (u i , v j ) of the output image P1 ′, the transparency α of the corresponding input image pixel (x k , y l ) with the channel number “1” is set to “0.7”, and the channel number The transparency α of the pixel (xm, yn) of the corresponding input image with “2” is “0.3”. Thereby, the pixel (u i , v j ) of the output image in which the degree of opacity between the pixel (x k , y l ) and the pixel (x m , y n ) of the input image is 7: 3 can be generated.
なお、図13に示す歪み補正テーブルは、一つの出力画像の画素を、複数の入力画像の画素を混合して生成する場合には、当該複数の入力画像の画素を並べて記述することとなる。これにより、歪み補正ユニット3は、ある出力画像の画素を生成するときに、当該出力画像の画素に対応付けられて記述された複数の入力画像の画素を透過度αに従って混合できる。
Note that in the distortion correction table shown in FIG. 13, when pixels of one output image are generated by mixing pixels of a plurality of input images, the pixels of the plurality of input images are described side by side. Thus, when generating a pixel of a certain output image, the
図14に示す歪み補正テーブルは、図10に示した歪み補正テーブルに対して、透過度αを加えたものである。(a)より、入力画像P1の画素(xi,yj)が入力されたとき、それに対応するチャンネル番号が「1」の出力画像の画素(uk,vl)は透過度「0.7」とし、(b)より、入力画像P2の画素(xa,yb)が入力されたとき、それに対応するチャンネル番号「1」の出力画像の画素(uk,vl)は透過度「0.3」とする。これにより、出力画像P1’の画素(uk,vl)を生成できる。 The distortion correction table shown in FIG. 14 is obtained by adding transparency α to the distortion correction table shown in FIG. From (a), when the pixel (x i , y j ) of the input image P1 is input, the pixel (u k , v l ) of the output image corresponding to the channel number “1” has the transparency “0. 7 ”, and when the pixel (x a , y b ) of the input image P2 is input from (b), the pixel (u k , v l ) of the output image corresponding to the channel number“ 1 ”is transmitted. “0.3”. Thereby, the pixel (u k , v l ) of the output image P1 ′ can be generated.
図13に示す歪み補正テーブルは、図15(a)、(b)のように構成しても良い。例えば、既存の歪み補正テーブルとして図15(b)のように出力画像の画素と対応入力画像の画素との関係のみを記憶していた場合、図15(a)のように出力画像の画素に対して入力画像のチャンネル番号及び透過度αを特定するテーブルを追加する。これにより、出力画像の画素を生成するために用いる平面映像信号を切り替えることができる。 The distortion correction table shown in FIG. 13 may be configured as shown in FIGS. For example, when only the relationship between the pixel of the output image and the pixel of the corresponding input image is stored as an existing distortion correction table as shown in FIG. 15B, the pixel of the output image is stored as shown in FIG. On the other hand, a table for specifying the channel number and transparency α of the input image is added. Thereby, the planar video signal used to generate the pixels of the output image can be switched.
同様に、図14に示す歪み補正テーブルは、図16(a)、(b)のように構成しても良い。例えば、既存の歪み補正テーブルとして図16(b)のように入力画像の画素と対応出力画像の画素との関係のみを記憶していた場合、図16(a)のように入力画像の画素に対して入力画像のチャンネル番号及び透過度αを特定するテーブルを追加する。これにより、出力画像の画素を生成するために用いる平面映像信号を切り替えることができる。 Similarly, the distortion correction table shown in FIG. 14 may be configured as shown in FIGS. For example, when only the relationship between the pixel of the input image and the pixel of the corresponding output image is stored as an existing distortion correction table as shown in FIG. 16B, the pixel of the input image is stored as shown in FIG. On the other hand, a table for specifying the channel number and transparency α of the input image is added. Thereby, the planar video signal used to generate the pixels of the output image can be switched.
図14に示す歪み補正テーブルにおいて、入力画像の画素が、複数の出力画像の画素の算出に用いられる場合、当該入力画像の画素に対応させて複数の出力画像の画素を記述しても良い。この場合、歪み補正ユニット3は、ある出力画像の画素を生成するときに、ずれ量に応じた少数点以下の表記に従って当該入力画像の画素の混合割合を決定して各出力画像の画素を生成し、当該出力画像の画素に対応付けられて記述された複数の入力画像の画素を透過度αに従って混合できる。
In the distortion correction table shown in FIG. 14, when the pixels of the input image are used for calculating the pixels of the plurality of output images, the pixels of the plurality of output images may be described corresponding to the pixels of the input image. In this case, when generating a pixel of an output image, the
なお、上述した歪み補正テーブルには、映像入力端子3a、3b、3c、3dに対応した入力画像のチャンネル番号と、映像出力端子3e、3fに対応した出力画像のチャンネル番号を同時に含めても良い。入力画像のチャンネル番号と出力画像のチャンネル番号を同時に歪み補正テーブルに含めた場合には、映像入力端子3a、3b、3c、3dごとに、または、映像出力端子3e、3fごとに歪み補正テーブルを設けることなく、歪み補正ユニット3に記憶する歪み補正テーブルを1つにすることができる。
Note that the distortion correction table described above may include the channel number of the input image corresponding to the
また、透過度αの記述がなく、チャンネル番号ごとの出力画像を生成する画素順に、入力画像の画素、入力画像のチャンネル番号を対応させる場合、出力画像の画素(u,v)を歪み補正テーブルに含める必要が無くなる。 Further, when there is no description of the transparency α and the pixel of the input image and the channel number of the input image are made to correspond to the order of the pixels for generating the output image for each channel number, the pixel (u, v) of the output image is converted into the distortion correction table. Need not be included.
つぎに、上述したように構成された仮想現実感生成システムにおいて、パラメータ調整用パーソナルコンピュータ5による歪み補正テーブルの作成処理について説明する。 Next, a distortion correction table creation process by the parameter adjustment personal computer 5 in the virtual reality generation system configured as described above will be described.
パラメータ調整用パーソナルコンピュータ5は、歪み補正テーブルに関するテーブル・作成出力部の機能として、スクリーンモデル創造部、プロジェクタ配置・セットアップ部、ユーザ位置設定部を主として有する。スクリーンモデル創造部は、図17に示すように、スクリーン1のメッシュモデルを創造するものである。このスクリーンモデル創造部は、先ず、基本的な3つのモデルが記憶されている。すなわち、球形のみのモデル31と、円筒のみのモデル32と、混合モデル33とである。混合モデル33は、球形を主とし他の平面又は曲面を混合した球面混合モデル34と、円筒を主として他の平面又は曲面を混合した円筒混合モデル35と、平面を主として他の平面又は曲面を混合した平面混合モデル36とから構成されている。そして、各モデル31、32、34〜36の内容は、何れか1つを設定し、更に、入力パラメータ31a,32a,34a〜36aを入力することで、実際のスクリーン1に適応したメッシュモデル31b、32b、34b〜36bを作成することができる。なお、スクリーンモデル創造部に記憶しておく基本的なモデルとしては、図17に示したモデル31〜33に限らず、当該モデル31〜33と並列して、楕円形のモデル、長方形のモデルなども設定しておき、入力パラメータの入力、メッシュモデルの作成を行うことができる。これによって、楕円形や長方形、当該楕円形や長方形を複数組み合わせたスクリーン1であっても、当該スクリーン1に投影した映像に歪みを発生させない歪み補正テーブルを作成できる。
The parameter adjustment personal computer 5 mainly has a screen model creation unit, a projector arrangement / setup unit, and a user position setting unit as functions of a table / creation output unit related to the distortion correction table. The screen model creation unit creates a mesh model of the
基本モデルと入力パラメータとしては、以下のとおりである。 The basic model and input parameters are as follows.
スクリーン1が球面(真球の一部)の場合、入力パラメータとしては、図18で示すように、球形モデルの半径Rと球形モデルの中心から切断面までの距離Aとである。
When the
ここで、球形モデルは、式1のように表される。
Here, the spherical model is expressed as
x2+y2+z2=R2 (式1)
ここで、A≦x≦R、−y1≦y≦y1、−z1≦z≦z1である。y1は、式1において、x=A、z=0を代入することによって求められ、z1は、式1において、z=A、y=0を代入することによって求められ、y1=z1となる。従って、上述のようにスクリーン1が球面の場合、パラメータ調整用パーソナルコンピュータ5への入力パラメータとしては、球形モデルの半径Rと、球形モデルの中心から切断面までの距離Aとを入力すればよい。
x 2 + y 2 + z 2 = R 2 (Formula 1)
Here, A ≦ x ≦ R, −y1 ≦ y ≦ y1, and −z1 ≦ z ≦ z1. y1 is obtained by substituting x = A and z = 0 in
また、スクリーン1の正面から見た形状が、図20のように、球面スクリーンの一部を上下左右のある端から切り欠いた形状の球面スクリーンであった場合に対応した球面モデルは、以下のように表される。例えば、スクリーン1が図20(a)のように正面から見た際に下端から切断された球面スクリーンであった場合は、対応した球面モデルは、図19で示すように、式1とA≦x≦R、−B≦y≦y1、−z1≦z≦z1と表される。y1は、式1において、x=A、z=0を代入することによって求められ、z1は、式1において、x=A、y=0を代入することによって求められ、x1は、式1において、y=−B、z=0を代入することによって求められる。従って、上述のスクリーン1の場合、パラメータ調整用パーソナルコンピュータ5への入力パラメータとしては、球面モデルの半径Rと、球面モデルの中心から切断面までの距離Aと共に、球面モデルの中心から切り欠く位置までの距離Bを入力すればよい。
In addition, the spherical model corresponding to the case where the shape of the
同様に、スクリーン1が図20(b)、図20(c)、図20(d)のように、正面から見た際にそれぞれ上端、左端、右端から切断された球面スクリーンであった場合は、それぞれに対応した球面モデルは以下のように表される。図20(b)のように、上端から切断された球面スクリーンであった場合は、球面モデルは、式1とA≦x≦R、−y1≦y≦B、−z1≦z≦z1である。図20(c)のように、スクリーン1が右端から切断された球面スクリーンであった場合は、球面モデルは、式1とA≦x≦R、−y1≦y≦y1、−z1≦z≦Bである。図20(d)のように、スクリーン1が左端から切断された球面スクリーンであった場合は、球面モデルは、式1とA≦x≦R、−y1≦y≦y1、−B≦z≦z1である。なお、パラメータ調整用パーソナルコンピュータ5への入力パラメータを増やせば、2箇所以上の切断を組み合わせたような形状をしたスクリーン1にも対応ができる。
Similarly, when the
一方、スクリーン1が円筒を切断したような形状のアーチスクリーンであった場合、対応するスクリーンモデルは図21のような円筒モデルで表される。
On the other hand, when the
図21の円筒モデルのxz平面の断面上の円は、式2のように表される。 A circle on the cross section of the xz plane of the cylindrical model in FIG.
x2+z2=R2 (式2)
ここで、A≦x≦R、0<y≦H、−z1≦z≦z1の制限を加えることで、円筒モデルの表面の式となる。z1は、式2において、x=Aを代入することによって求められる。従って、パラメータ調整用パーソナルコンピュータ5への入力パラメータとしては、円の半径R(アーチスクリーンの半径R)と、円の中心から切断面までの距離Aと、(アーチスクリーンの)高さHとである。
x 2 + z 2 = R 2 (Formula 2)
Here, by adding the restrictions of A ≦ x ≦ R, 0 <y ≦ H, and −z1 ≦ z ≦ z1, the surface equation of the cylindrical model is obtained. z1 is obtained by substituting x = A in
さらにまた、図22(a)は、複数平面(長方形の面が複数存在)からなるスクリーン1の投影面の場合を示し、この場合、パラメータ調整用パーソナルコンピュータ5への入力パラメータとしては、図22(b)で示すような上面から見たときの面の配置と、面の高さHとである。図22(b)の場合、
z=−x+1(0≦x<1) (式3−1)
z=0(1≦x<3) (式3−2)
z=x−3(3≦x≦4) (式3−3)
0<y≦H (式3−4)
である。
Furthermore, FIG. 22A shows the case of the projection surface of the
z = −x + 1 (0 ≦ x <1) (Formula 3-1)
z = 0 (1 ≦ x <3) (Formula 3-2)
z = x−3 (3 ≦ x ≦ 4) (Formula 3-3)
0 <y ≦ H (Formula 3-4)
It is.
また、複数の球面を連結したような形状球面を真横に並べた形状をしたスクリーン1の場合には、パラメータ調整用パーソナルコンピュータ5への入力パラメータとしては、図18または図19、10で示す例と同様に、半径Rと、切断面までの距離Aと、切り欠く位置までの切り欠く位置までの距離Bと、横に並べる球の個数とを入力すればよい。すなわち、例えば、上下に2つの球面スクリーンを並べてスクリーン1とした場合、図20(a)と図20(b)とを組み合わせることで実現することができ、同様に左右に2つの球面スクリーンを並べるスクリーン1とした場合、図20(c)と図20(d)とを組み合わせることで実現することができ、パラメータ調整用パーソナルコンピュータ5への入力パラメータとしては、前述のように、半径Rと、切断面までの距離Aと、切り欠く位置までの切り欠く位置までの距離Bと、横に並べる球の個数とを入力すればよいことが理解される。
Further, in the case of the
複数の円筒面のスクリーン1の場合には、上面から見た配置図に、面の高さHと、各スクリーン1の半径R及び距離Aと、個数とを入力すればよい。このようにして、スクリーン1の投影面の関数式が決まるので、x、y、zに適当な値を代入することで、或る一定個数以上のスクリーン1上の点をサンプリング点として記録することで、スクリーン1の投影面形状を特定することができる。各スクリーン1の投影面の関数式は、スクリーンモデル創造部において、予め各モデル31,32,34〜36内に格納されて、歪み補正テーブルの設定時に呼び出すことができる。そして、入力パラメータ31a,32a,34a〜36aとして上記のパラメータを入力するだけで、パラメータ調整用パーソナルコンピュータ5により、実際のスクリーン1に適応したメッシュモデル31b、32b、34b〜36bを作成することができる。
In the case of a plurality of
なお、上記のようなスクリーン1の投影面上のサンプリング点は、x軸周り、y軸周り、z軸周りに回転可能(傾いたスクリーン1を定義可能)である。
Note that the sampling points on the projection surface of the
すなわち、x軸周りのα度の回転は、式4で表すことができる。
また、y軸周りのβ度の回転は、式5で表すことができる。
さらにまた、z軸周りのγ度の回転は、式6で表すことができる。
パラメータ調整用パーソナルコンピュータ5は、このようにして得たスクリーン1の投影面上のサンプリング点に、歪み補正ユニット3に入力される平面映像信号の各サンプリング点をマッピングさせる対応マップを歪み補正テーブルとして作成することで、歪み補正ユニット3で歪み補正処理を行わせることができ、平面映像信号の各画素を歪み補正テーブルで対応した画素に割り付けてゆくことで、歪み補正処理が施された出力映像信号を作成させることができる。
The personal computer 5 for parameter adjustment uses, as a distortion correction table, a correspondence map that maps each sampling point of the planar video signal input to the
この歪み補正テーブルは、使用するスクリーン1の投影面形状が決定し、パラメータ調整用パーソナルコンピュータ5に各パラメータを入力し、一旦作成すれば、パラメータ等の変更がない限り変更する必要なくパラメータ調整用パーソナルコンピュータ5から歪み補正ユニット3に供給されて、歪み補正ユニット3内に記憶される。
This distortion correction table determines the projection plane shape of the
以上の図18〜図22を用いた説明は、図23に示すようなスクリーン1の投影面形状に対する歪み補正処理を歪み補正ユニット3によって実行させるものである。すなわち、平面の投影面に対する平面映像信号を、そのまま球形のスクリーン1に投影すると、図23(a)に示すように歪んだ映像となり、このため球形のスクリーン1に投影された映像の歪みが無くなるように、図23(b)に示すように予め歪ませた出力映像信号を作成するものである。しかしながら、プロジェクタ2a、2bのスクリーン1に対する配置位置の違い及び観察者のスクリーン1に対する位置の違いなどから、さらなる歪み補正が必要になる。従って、上述のようにして求めた歪み補正テーブルには、さらにそのような補正を施すことができるようになる。
In the above description using FIGS. 18 to 22, the
以下に、投影面が球面のスクリーン1に対するプロジェクタ2a、2b及び観察者の位置の違いに対する歪み補正テーブルの作成処理について説明する。この処理は、プロジェクタ配置・セットアップ部及びユーザ位置設定部からの入力に応答してパラメータ調整用パーソナルコンピュータ5によって行われる。
Hereinafter, a process for creating a distortion correction table for differences in the positions of the
図24は、上述した球面補正に、プロジェクタ2a、2b及び観察者の位置補正を含めた歪み補正の手法を説明するための図である。先ず補正にあたり、図24に示すように、観察者の視点位置よりビューフラスタム及びプロジェクタ2a、2bの投影位置より映像投影フラスタムを定義する。ビューフラスタムは、視点位置としての頂点をP0、底面をP0,0、Pm,n、P0,n、Pm,0とする四角錐で表現され、投影フラスタムは、プロジェクタバックフォーカス位置としての頂点をQ0、底面をQ0,0、Qm,0、Qm,n、Q0,nとして表現される。ここで、m,nは映像解像度を表すものとし、映像信号が、例えばSXGAの場合は、m=1279,n=1023である。なお、底面は仮想スクリーン面とも呼ばれる。
FIG. 24 is a diagram for explaining a distortion correction method including the above-described spherical correction and the position corrections of the
ここで、簡易表現のため、m=iにおけるy−z二次元断面から見たイメージを図25に示す。先ず、仮想スクリーン面1a内に点Pi,jを想定し、ベクトルP0Pi,jとドーム型のスクリーン1(メッシュモデル31b,32b,34b〜36b)との交点Ri,jを求める。i,jを、0≦i≦m,0≦j≦nで変化してゆくと、Pi,j→Qi,j対応マップを作成することができ、この対応マップが映像の歪みに対する逆補正となる。
Here, for simple expression, an image viewed from a yz two-dimensional section at m = i is shown in FIG. First, assuming a point Pi, j in the
すなわち、先ずビューフラスタムに基づいて通常の映像生成を行い、次にこの映像データを取り出し、このイメージにPi,j→Qi,j対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行わせることで、歪み補正を実現させる。グリッド映像にPi,j→Qi,j対応マップを適用したイメージを図26に示す(すなわち図23(b)とは逆になる)。この歪み補正処理は、スクリーン1の投影面形状を制限しない。従って、上述のようにして求めた球面のメッシュモデル31bだけでなく、他のメッシュモデル32b、34b〜36b等へも適用可能である。
That is, first, normal video generation is performed based on the view frustum, then this video data is taken out, and the video is generated again by applying texture mapping coordinates using the Pi, j → Qi, j correspondence map to this image. By doing so, distortion correction is realized. An image obtained by applying the Pi, j → Qi, j correspondence map to the grid video is shown in FIG. 26 (that is, opposite to FIG. 23B). This distortion correction processing does not limit the projection surface shape of the
このように、パラメータ調整用パーソナルコンピュータ5によって歪み補正処理を行わせるための歪み補正テーブルを使用させることにより、平面の表示面に対する平面映像信号に対して逐次歪み補正処理をさせて、映像光をプロジェクタ2a、2bから出射させることができ、任意形状のスクリーン1に歪みの無い映像を表示させることができる。
In this way, by using the distortion correction table for causing the parameter adjustment personal computer 5 to perform the distortion correction processing, the distortion correction processing is sequentially performed on the planar video signal for the flat display surface, and the image light is transmitted. The light can be emitted from the
つぎに、上述した、歪み補正テーブル内部に記述されたずれ量を参照することで、歪み補正処理の座標変換の際に、出力画像の画素に関連した入力画像の複数の画素の色情報をもとに出力画像の画素の色情報を生成する処理(色情報補間式歪み補正処理)について説明する。この色情報補間式歪み補正処理は、必ずしも行わなければならない処理ではない。ただし、この色情報補間式歪み補正処理を行うことにより、単に歪み補正処理をした場合と比べて、出力画像のジャギーを軽減することが可能となる。 Next, by referring to the above-described deviation amount described in the distortion correction table, the color information of the plurality of pixels of the input image related to the pixels of the output image is obtained at the time of coordinate conversion of the distortion correction processing. A process for generating color information of the pixels of the output image (color information interpolation type distortion correction process) will be described. This color information interpolation distortion correction process is not necessarily a process that must be performed. However, by performing this color information interpolation type distortion correction process, it is possible to reduce jaggies in the output image as compared with the case of simply performing the distortion correction process.
なお、この歪み補正テーブルにずれ量を記述する場合であっても、上述したように、平面映像信号のチャンネル番号を含めた場合には、当該チャンネル番号に従って平面映像信号の切り替えや平面映像信号の合成ができるものとする。また、歪み補正テーブルに透過度αを加えることによって、チャンネル番号によって選択した平面映像信号同士の透過度合いを調整できる。 Even when the amount of deviation is described in this distortion correction table, as described above, when the channel number of the planar video signal is included, the switching of the planar video signal or the switching of the planar video signal is performed according to the channel number. It can be synthesized. Further, by adding the transparency α to the distortion correction table, it is possible to adjust the transparency of the planar video signals selected by the channel number.
歪み補正部24は、歪み補正テーブルによって平面映像信号を出力映像信号に変換する歪み補正処理をする際に、歪み補正テーブルによる変換前の平面映像信号の画素の代表点が、変換後の出力映像信号の画素の代表点からずれるずれ量に相当する割合で、変換前の複数の画素の色情報を混合した色情報を、変換後の画素の色情報にして、出力映像信号を作成する。具体的には、歪み補正部24は、変換前のx方向で隣り合う2画素内における変換後の画素の代表点の位置に応じて、平面映像信号の2画素内の色情報を混合して出力映像信号を作成する。又は、歪み補正部24は、変換前のy方向で隣り合う2画素内における変換後の画素の代表点の位置に応じて、平面映像信号の2画素内の色情報を混合して、出力映像信号を作成する。
When the
ここで、スクリーン1の投影面上のサンプリング点に平面映像信号のサンプリング点をマッピングさせる対応マップを歪み補正テーブルとして変換テーブル読み込み/保存部27に記憶しておき、平面映像信号の各画素を歪み補正テーブルで対応した画素に割り付けてゆく際に、平面映像信号の1画素を出力映像信号の1画素に対応させるとすると、画素が映像解像度によって規定される有限の大きさを有していることにより、座標位置の丸めに相当する誤差が生じて、変換後の出力画像で階段状の色むら、いわゆるジャギーが目立つ場合がある。丸めによる誤差は変換前の画素の代表点、例えば画素の中心位置が変換後の画素の代表点から離れた位置に対応することによって生じるので、当該ずれ量に相当する割合で、平面映像信号において隣接する画素の色情報を利用して出力映像信号の色情報を補間する。これによって、出力映像信号に発生するジャギーを低減する。
Here, a correspondence map for mapping the sampling point of the planar video signal to the sampling point on the projection surface of the
例えばx方向においてずれがある場合、図27に示すように、x方向において隣接する平面映像信号(以下、入力画像100と呼ぶ。)の画素P1,P2を出力映像信号(以下、出力画像100’と呼ぶ。)の画素P1’に変換し、x方向において隣接する入力画像100の画素P3,P4を出力画像100’の画素P2’に変換するに際して、入力画像100のx方向にて隣接する画素P1,P2の色情報を用いて出力画像100’の画素P1’の色情報を作成し、入力画像100のx方向にて隣接する画素P3,P4の色情報を用いて出力画像100’の画素P2’の色情報を作成する。
For example, when there is a shift in the x direction, as shown in FIG. 27, pixels P1 and P2 of a planar video signal (hereinafter referred to as input image 100) adjacent in the x direction are output video signals (hereinafter referred to as
x方向のずれ量Δxは、0以上1未満で表現でき、0又は1のときは隣接する何れかの画素の代表点に一致するものとして表現できる。すなわち、入力画像100のx方向で隣接する2画素が出力画像100’において1画素に変換されるに際して、ずれ量Δxが入力画像100と出力画像100’との間で存在する場合、図28(a)に示すように、入力画像100における画素P1(x,y)の色情報と隣接する画素P2(x+1,y)の色情報とを、1−Δx:Δxの割合で平均化した仮想画素P(x+Δx,y)の色情報Cx+Δx,y=Cx,y(1−Δx)+Cx+1,yΔxを出力画像100’の画素の色情報とすることができ、図28(b)に示すように、仮想の入力画素(x+Δx,y)に対応する出力画像100’の変換後画素P’(u,v)の色情報を
Cx+Δx,y=Cx,y(1−Δx)+Cx+1,yΔx
とすることができる。
The shift amount Δx in the x direction can be expressed as 0 or more and less than 1, and when it is 0 or 1, it can be expressed as matching with the representative point of any adjacent pixel. That is, when two adjacent pixels in the x direction of the
It can be.
このように歪み補正ユニット3は、入力画像100と出力画像100’との間でx方向のずれがあり、x方向の2画素を用いて色情報補間式歪み補正処理を行って出力画像100’を作成するために、ずれ量の記述が含まれる歪み補正テーブルを変換テーブル読み込み/保存部27に記憶しておく。そして、図27に示したように、歪み補正部24は、出力画像100’の画素P1’,P2’を、それぞれ入力画像100のx方向の2画素から生成する。従って、入力画像100の2画素と出力画像100’の1画素は、入力画像100の2画素の色情報がそれぞれどの程度の割合で、出力画像100’の画素の色情報に影響を及ぼしているかに応じて、色情報が算出される。
As described above, the
ここで、出力画像100’の画素(u,v)が対応する入力画像100の画素が、画素(x,y)からΔxだけずれているとすると、出力画像100’の画素(u,v)を、入力画像100の仮想画素(x+Δx,y)と対応しているというずれ量の記述が含まれる歪み補正テーブルを作成しておく。これにより、歪み補正部24は、出力画像100’の画素(u,v)の色情報を、画素(x,y)と画素(x+1,y)との色情報を(1−Δx):Δxの割合で含むように混合して、出力画像100’の画素(u,v)の色情報Cu,vを、
Cu,v=Cx,y(1−Δx)+Cx+1,yΔx
という式で演算することができる。
Here, if the pixel of the
C u, v = C x, y (1−Δx) + C x + 1, y Δx
It can be calculated by the expression
また、y方向にずれがある場合、図29に示すように、y方向において隣接する入力画像100の画素P1,P2を出力画像100’の画素P1’に変換し、y方向において隣接する入力画像100の画素P3,P4を出力画像100’の画素P2’に変換するに際して、入力画像100のy方向にて隣接する画素P1,P2の色情報を用いて出力画像100’の画素P1’の色情報を作成し、入力画像100のy方向にて隣接する画素P3,P4の色情報を用いて出力画像100’の画素P2’の色情報を作成する。
If there is a shift in the y direction, as shown in FIG. 29, the pixels P1 and P2 of the
y方向のずれ量Δyは、0以上1未満で表現でき、0又は1のときは隣接する何れかの画素の代表点に一致するものとして表現できる。すなわち、入力画像100のy方向で隣接する2画素が出力画像100’において1画素に変換されるに際して、ずれ量Δyが入力画像100と出力画像100’との間で存在する場合、図30(a)に示すように、入力画像100における画素P1(x,y)の色情報と隣接する画素P2(x,y+1)の色情報とを、1−Δy:Δyの割合で平均化した仮想画素P(x,y+Δy)の色情報Cx,y+Δy=Cx,y(1−Δy)+Cx,y+1Δyを出力画像100’の画素の色情報とすることができ、図30(b)に示すように、仮想の入力画素(x,y+Δy)に対応する出力画像100’の変換後画素P’(u,v)の色情報を
Cx,y+Δy=Cx,y(1−Δy)+Cx,y+1Δy
とすることができる。
The displacement amount Δy in the y direction can be expressed as 0 or more and less than 1, and when it is 0 or 1, it can be expressed as being coincident with a representative point of any adjacent pixel. That is, when two pixels adjacent in the y direction of the
It can be.
このように歪み補正ユニット3は、入力画像100と出力画像100’との間でy方向のずれがあり、y方向の2画素を用いて色情報補間式歪み補正処理を行って出力画像100’を作成するために、ずれ量の記述が含まれる歪み補正テーブルを変換テーブル読み込み/保存部27に記憶する。そして、図29に示したように、歪み補正部24は、出力画像100’の画素P1’,P2’を、それぞれ入力画像100のy方向の2画素から生成する。従って、入力画像100の2画素と出力画像100’の1画素は、入力画像100の2画素の色情報がそれぞれどの程度の割合で、出力画像100’の画素の色情報に影響を及ぼしているかに応じて、出力画像100’の色情報を算出する。
As described above, the
ここで、出力画像100’の画素(u,v)が対応する入力画像100の画素が、画素(x,y)からΔyだけずれているとすると、出力画像100’の画素(u,v)を、入力画像100の仮想画素(x,y+Δy)と対応しているというずれ量の記述が含まれる歪み補正テーブルを作成しておく。これにより、歪み補正部24は、出力画像100’の画素(u,v)の色情報を、画素(x,y)と画素(x,y+1)との色情報を(1−Δy):Δyの割合で含むように混合して、出力画像100’の画素(u,v)の色情報Cu,vを、
Cu,v=Cx,y(1−Δy)+Cx,y+1Δy
という式で演算することができる。
Here, if the pixel of the
C u, v = C x, y (1−Δy) + C x, y + 1 Δy
It can be calculated by the expression
更に、x方向及びy方向においてずれがある場合、図31に示すように、x方向及びy方向において隣接する入力画像100の画素P1〜P4を出力画像100’の画素P1’に変換し、x方向及びy方向において隣接する入力画像100の画素P5〜P8を出力画像100’の画素P2’に変換するに際して、入力画像100のx方向及びy方向にて隣接する画素P1〜P4の色情報を用いて出力画像100’の画素P1’の色情報を作成し、入力画像100のx方向及びy方向にて隣接する画素P5〜P8の色情報を用いて出力画像100’の画素P2’の色情報を作成する。
Further, when there is a deviation in the x direction and the y direction, as shown in FIG. 31, the pixels P1 to P4 of the
x方向にΔx、y方向にΔyのずれがある場合には、入力画像100のx方向及びy方向で隣接する4画素が出力画像100’において1画素に変換されるに際して、図32(a)に示すように、入力画像100における画素P1(x,y)の色情報と画素P2(x+1,y)の色情報と画素P3(x,y+1)の色情報と画素P4(x+1,y+1)の色情報とを用いて、(1−Δx)(1−Δy):Δx(1−Δy):(1−Δx)Δy:ΔxΔyの割合で平均化する。これにより、4画素を混合した色情報Cx+Δx,y+Δy=Cx,y(1−Δx)(1−Δy)+Cx+1,yΔx(1−Δy)+Cx,y+1(1−Δx)Δy+Cx+1,y+1ΔxΔyを得ることができ、図32(b)に示すように、仮想の入力画素(x+Δx,y+Δy)に対応する出力画像100’の変換後画素P’(u,v)の色情報を
Cx+Δx,y+Δy=Cx,y(1−Δx)(1−Δy)+Cx+1,yΔx(1−Δy)+Cx,y+1(1−Δx)Δy+Cx+1,y+1ΔxΔy
とすることができる。
When there is a deviation of Δx in the x direction and Δy in the y direction, when the four pixels adjacent in the x direction and the y direction of the
It can be.
このように仮想現実感生成システムは、入力画像100と出力画像100’との間でx方向及びy方向のずれがあり、x方向及びy方向の2画素を用いて色情報補間式歪み補正処理を行って出力画像100’を作成するために、ずれ量の記述が含まれる歪み補正テーブルを変換テーブル読み込み/保存部27に記憶する。そして、図31に示したように、歪み補正部24は、出力画像100’の画素P1’,P2’を、それぞれ入力画像100のx方向及びy方向の4画素から生成する。従って、入力画像100の4画素と出力画像100’の1画素は、入力画像100の4画素の色情報がそれぞれどの程度の割合で、出力画像100’の画素の色情報に影響を及ぼしているかに応じて、出力画像100’の色情報を算出する。
As described above, in the virtual reality generation system, there is a shift in the x direction and the y direction between the
ここで、出力画像100’の画素(u,v)が対応する入力画像100の画素が、画素(x,y)からΔx、Δyだけずれているとすると、出力画像100’の画素(u,v)を、入力画像100の仮想画素(x+Δx,y+Δy)と対応しているというずれ量の記述が含まれる歪み補正テーブルを作成しておく。これにより、歪み補正部24は、出力画像100’の画素(u,v)の色情報を、画素(x,y)と画素(x+1,y)と画素(x,y+1)と画素(x+1,y+1)との色情報を(1−Δx)(1−Δy):Δx(1−Δy):(1−Δx)Δy:ΔxΔyの割合で含むように混合して、出力画像100’の画素(u,v)の色情報Cu,vを、
Cu,v=Cx,y(1−Δx)(1−Δy)+Cx+1,yΔx(1−Δy)+Cx,y+1(1−Δx)Δy+Cx+1,y+1ΔxΔy
という式で演算することができる。
Here, if the pixel of the
C u, v = C x, y (1−Δx) (1−Δy) + C x + 1, y Δx (1−Δy) + C x, y + 1 (1−Δx) Δy + C x + 1, y + 1 ΔxΔy
It can be calculated by the expression
このような色情報補間式歪み補正処理を行うための歪み補正テーブルは、出力画像の画素ごとに、補間対象となる入力画像の画素(2個以上)、ずれ量を記憶しておくことによって構成できる。このずれ量は、歪み補正テーブルによる座標変換によって得られた画素位置のx座標、y座標における小数部分である。通常、出力画像100’のある画素(u,v)が入力画像100(10,5)という整数値の画素に対応していることとなるが、本発明を適用した仮想現実感生成システムにおいては、出力画像100’のある画素(u,v)が入力画像100の2〜4個の画素に跨っていることを考慮して、出力画像100’のある画素が、入力画像100の(10.3,5.55)の画素に対応するといったように、x方向は0.3画素分、y方向は0.55画素分という小数点分のずれがあるとする。なお、x方向のみ又はy方向のみに隣接した2画素を用いて出力画像100’の色情報を作成する場合には、歪み補正テーブルは、x方向又はy方向のずれ量のみを登録しておけばよい。
A distortion correction table for performing such color information interpolation type distortion correction processing is configured by storing, for each pixel of the output image, the pixels (two or more) of the input image to be interpolated and the shift amount. it can. This shift amount is a decimal part in the x-coordinate and y-coordinate of the pixel position obtained by coordinate conversion using the distortion correction table. Normally, a certain pixel (u, v) in the
また、この歪み補正テーブルにおけるずれ量は、上記の(10.3,5.55)といった表記、又は、(0.3,0.55)といった小数分のみを記憶するといった表記の何れであっても良い。更に、歪み補正テーブル中のずれ量は、小数第1位までの表記を10倍して0〜9の整数値で記述しておいても良く、小数第2位までの表記を100倍して0〜100の整数値で記述しておいても良い。この場合、色情報補間式歪み補正処理を行う際に、ずれ量を10又は100で除算して用いる。こうすることで、歪み補正テーブル中に小数値で表される情報をなくし、整数値で表される情報のみを持つことが可能となる。更にまた、色情報補間式歪み補正処理等を行う歪み補正ユニット3の処理がn進数で行われる場合、ずれ量を0〜nのr乗−1の値で記述しておき、色情報補間式歪み補正処理に際して、当該ずれ量をnのr乗で除算して用いても良い。この場合、色情報補間式歪み補正処理を行う際に、0〜nのr乗−1の値で記述されたずれ量(n進数)をr個右にシフトするだけでよい。例えば、歪み補正ユニット3の処理が2進数で行われる場合、ずれ量を0〜15(24−1)の整数値で記述しておき、色情報補間式歪み補正処理を行う際に、ずれ量を16で除算して用いる。16で除算する処理は、ビット列を4つ右にシフトするだけである。なお、ずれ量は8(2の3乗),32(2の5乗)等であっても良い。
Further, the deviation amount in the distortion correction table is either of the above notation (10.3, 5.55) or the notation of storing only a fractional number (0.3, 0.55). Also good. Further, the amount of deviation in the distortion correction table may be described by an integer value of 0 to 9 by multiplying the notation to the first decimal place, and the notation to the second decimal place may be multiplied by 100. You may describe with the integer value of 0-100. In this case, when the color information interpolation distortion correction process is performed, the deviation amount is divided by 10 or 100 and used. By doing so, it is possible to eliminate information represented by decimal values in the distortion correction table and to have only information represented by integer values. Furthermore, when the process of the
ずれ量を整数値の0〜9、0〜100、又は歪み補正ユニット3が2進数で処理するために0〜16とした場合には、それぞれ、精度が0.1、0.01又は1/16となる。しかし、整数値でずれ量を表記するために使用するビット数は、小数でずれ量を表記するために使用するビット数よりも格段に少なくすることができ、歪み補正テーブルのデータ量の削減ができる。また、歪み補正ユニット3が処理するn進数に応じたずれ量の表記とすることにより、歪み補正テーブル中に小数値で表される情報をなくして整数値で表される情報のみを持つことが可能となるだけでなく、整数値のずれ量を10又は100で除算するよりも処理量を減らすことが可能となる。
When the shift amount is an integer value of 0 to 9, 0 to 100, or 0 to 16 for the
以上のように、本発明を適用した仮想現実感生成システムによれば、歪み補正テーブルによって歪み補正処理を行うと共に、変換後の出力画像100’の各画素の画素情報(色情報)を計算するために、各画素に対応する入力画像100の少なくともx方向、または、y方向の2画素を用いるので、出力画像100’内で隣り合う画素間での色情報の変化を滑らかにすることができ、ジャギーを軽減することができる。
As described above, according to the virtual reality generation system to which the present invention is applied, distortion correction processing is performed using the distortion correction table, and pixel information (color information) of each pixel of the
なお、色情報補間式歪み補正処理は、基本的にはx方向及びy方向において隣接する4画素の入力画像100によって行うことが望ましいが、スクリーン1に表示させる映像の絵柄に応じてx方向又はy方向のみにて隣接する2画素で出力画像100’の色情報を求めても、ジャギーの発生を抑制できる。例えば、映像内上下方向に向いた柱が立ち並んでいるような画像をスクリーン1に投影する場合には、y方向に隣接する2画素で出力画像100’の色情報を作成する必要が薄く、逆に、映像内左右方向に向いた棒が多く存在するような画像をスクリーン1に投影する場合には、x方向に隣接する2画素で出力画像100’の色情報を作成する必要が薄く、また、スクリーン1に投影する映像が格子状の絵柄である場合には、x方向又はy方向のみにて隣接する画素の色情報を用いて出力画像100’の色情報を作成しても周期的なジャギーが発生する可能性がある。
The color information interpolation type distortion correction processing is basically desirably performed by the
また、上述したずれ量の記述が含まれる歪み補正テーブルを用いる色情報補間式歪み補正処理において、入力画像100及び出力画像100’の色情報としてRGB(red-green-blue)やCMY(cyan-magenta-yellow)といった複数の原色信号を用いても良い。この場合、歪み補正部24は、R(赤色成分)信号、G(緑色成分)信号、B(青色成分)信号、あるいはC(シアン)信号、M(マゼンタ)信号、Y(イエロー)信号の各原色ごとに独立に同一の処理方法で、入力画像100における隣接画素の色情報を混合して出力画像100’の色情報を作成する。3原色、特にRGBで色情報を表現した場合は、コンピュータグラフィック画像やプロジェクタ2a、2bへの出力画像100’の色表現方式に適合するという利点があり、ジャギーの少ない出力画像100’を得ることができる。また、各原色ごとに並列化して出力画像100’の色情報を作成することができるために、色情報補間式歪み補正処理の高速化が可能となる。更に、RGBの3原色に加えて、透明度のα値についても、RGBの3原色と同様に並列して色情報補間式歪み補正処理を行って出力画像100’の色情報を作成しても良い。
Further, in the color information interpolation type distortion correction processing using the distortion correction table including the description of the deviation amount described above, RGB (red-green-blue) or CMY (cyan-) is used as the color information of the
更に、上述したずれ量の記述が含まれる歪み補正テーブルを用いる色情報補間式歪み補正処理において、入力画像100及び出力画像100’の色情報としてYUV(YCbCr)などの輝度情報(Y)と色差情報(U(輝度信号と青色成分の差),V(輝度信号と赤色成分の差))とからなる信号を用いても良い。この場合、歪み補正部24は、輝度情報と色差情報ごとに独立に同一の処理方法で、入力画像100における隣接画素の色情報を混合して出力画像100’の色情報を作成する。これにより、出力画像100’の色表現方式に適合した色情報によって色情報補間式歪み補正処理を行うことができる。また、輝度情報に敏感で、色差情報には敏感でないという人間の視覚特性を利用して、入力画像100の輝度情報のみを用いて色情報補間式歪み補正処理を行って出力画像100’の輝度情報を求め、色差情報を用いた色情報補間式歪み補正処理は複数の画素ごとに間引いて行うことができ、色情報補間式歪み補正処理の高速化が可能となる。例えば、輝度情報については、x方向及びy方向の4画素から出力画像100’の輝度情報を作成することに対し、色差情報については当該4画素のうちの斜め方向の2画素のみを用いて出力画像100’の色差情報を作成しても良い。
Further, in the color information interpolation type distortion correction process using the distortion correction table including the description of the shift amount described above, the luminance information (Y) such as YUV (YCbCr) and the color difference are used as the color information of the
つぎに、上述した色情報補間式歪み補正処理を行うためのずれ量の記述が含まれる歪み補正テーブルを、入力画像100の入力順に記述した場合の仮想現実感生成システムの動作について説明する。
Next, the operation of the virtual reality generation system when a distortion correction table including a description of a deviation amount for performing the color information interpolation distortion correction process described above is described in the input order of the
色情報補間式歪み補正処理の処理対象となる入力画像100は、映像入力端子3a,3b,3c,3dに入力されて、入力映像処理部21、映像切替/分配部22及び映像合成部23を経由して歪み補正部24に供給される。一般的に、入力画像100の走査線に沿って、画素ごとに順次データが歪み補正部24に供給される。
The
入力画像100の入力画素順に従って色情報補間式歪み補正処理を行う場合、歪み補正ユニット3は、入力順に記述された入力画像100の画素座標に対応させて、当該画素の変換後の出力画像100’における画素座標を記述した歪み補正テーブルを変換テーブル読み込み/保存部27に記憶させておく。この歪み補正テーブルは、パラメータ調整用パーソナルコンピュータ5によって作成される。また、この歪み補正テーブルには、色情報補間式歪み補正処理のためのずれ量も記述されている。
When the color information interpolation type distortion correction processing is performed in accordance with the input pixel order of the
歪み補正部24は、図33(a)、(b)の入力画像に示すように、入力画像100の画素がP1,P2,P3・・・といった順序で入力される場合であって、x方向に隣接する入力画像100の2画素の色情報を混合して、出力画像100’の画素の色情報を作成する場合には、先ず、最初の2画素P1,P2を読み込んだ時点で、当該2画素P1,P2を用いて計算可能な出力画像100’の色情報の全てを算出する。この例においては、2画素P1,P2の色情報を混合して、図33(a)に示す出力画像100’の画素P1’,P2’,P3’の色情報を作成する。この場合、歪み補正テーブルには、入力画像100の画素P1と画素P2が、出力画像100’の画素P1’,P2’,P3’に対応し、それぞれの色情報は、それぞれ入力画像100の画素P1,P2をそれぞれのずれ量に合わせた割合で混合した色情報になるように処理する。なお、出力画像100’の画素P1’,P2’,P3’それぞれを作成するに際しての入力画像100の画素P1,P2の混合度合いはそれぞれ異なるものとなっている。
As shown in the input images of FIGS. 33A and 33B, the
次に、図33(b)に示すように、歪み補正部24に画素P1,P2に続く画素P3が入力されると、歪み補正部24は、当該画素P2,P3の色情報を用いて計算可能な出力画像100’の色情報の全てを算出する。この例においては、歪み補正テーブルを参照して、入力画像100の画素P2、P3が、出力画像100’の画素P4’、P5’に対応し、出力画像100’の画素P4’、P5’の画素の色情報は、それぞれ入力画像100の画素P2、P3をそれぞれのずれ量に合わせた割合で混合した色情報になるように処理する。
Next, as shown in FIG. 33B, when the pixel P3 following the pixels P1 and P2 is input to the
このように、入力画像100のx方向の2画素を最初から順に一つずつ最後の2画素になるまでずらしていき、入力画像100のそれぞれの2画素から計算可能な出力画像100’の画素の色情報のすべてを求めていくことで、出力画像100’のすべての画素の色情報を求める。これにより、歪み補正部24は、常に少なくとも入力画像100のx方向における2画素を読み込んでおけばよく、1画素分の読み込みに必要な時間遅れで、色情報補間式歪み補正処理を行うことができ、歪み補正部24におけるデータ待ち時間を最小にでき、歪み補正部24における処理遅れを少なくできる。
In this way, the two pixels in the x direction of the
また、歪み補正部24は、図34(a)、(b)の入力画像に示すように、入力画像100の画素が第1ライン(走査線)の先頭からP1,P3,・・・と入力され、第2ラインの先頭からP2,P4・・・といった順序で入力される場合であって、y方向に隣接する入力画像100の2画素の色情報を混合して、出力画像100’の画素の色情報を作成する場合には、第1ラインの先頭画素P1及び第2ラインの先頭画素P2を読み込んだ時点で、当該2画素P1,P2を用いて計算可能な出力画像100’の色情報の全てを算出する。なお、歪み補正部24は、画素P2が入力されるまで第1ラインの画素を記憶しておく。この例においては、2画素P1,P2の色情報を混合して、図34(a)に示す出力画像100’の画素P1’,P2’の色情報を作成する。この場合、歪み補正テーブルには、入力画像100の画素P1と画素P2が、出力画像100’の画素P1’、P2’に対応し、それぞれの色情報は入力画像100の画素P1、P2をそれぞれのずれ量に合わせた割合で混合した色情報になることが記述されている。なお、出力画像100’の画素P1’,P2’それぞれを作成するに際しての入力画像100の画素P1,P2の混合度合いはそれぞれ異なるものとなっている。
Also, as shown in the input images of FIGS. 34A and 34B, the
次に、図34(b)に示すように、歪み補正部24に画素P2に続く画素P4が入力されると、歪み補正部24は、当該画素P3,P4の色情報を用いて計算可能な出力画像100’の色情報の全てを算出する。この例においては、歪み補正テーブルを参照して、入力画像100の画素P3、P4が、出力画像100’の画素P3’に対応し、出力画像100’の画素P3’の画素の色情報は、入力画像100の画素P3、P4をずれ量に合わせた割合で混合した色情報になるように処理する。
Next, as illustrated in FIG. 34B, when the pixel P4 subsequent to the pixel P2 is input to the
このように、入力画像100のy方向に隣接する2画素を歪み補正部24で入力した時点で色情報補間式歪み補正処理を行うことで、出力画像100’のすべての画素の色情報を求める。なお、歪み補正部24は、常に少なくとも計算用メモリ15にx方向の1ライン+1画素を読み込んでおけばよい。これにより、歪み補正部24は、x方向1ライン分の遅れで色情報補間式歪み補正処理を行うことによってデータ待ち時間を少なくでき、歪み補正部24における処理遅れを少なくできる。
As described above, the color information interpolation type distortion correction processing is performed at the time when the two pixels adjacent in the y direction of the
更に、歪み補正部24は、図35(a)、(b)の入力画像に示すように、入力画像100の画素が第1ラインの先頭からP1,P2,・・・と入力され、第2ラインの先頭からP3,P4・・・といった順序で入力される場合であって、x方向及びy方向に隣接する入力画像100の4画素の色情報を混合して、出力画像100’の画素の色情報を作成する場合には、第1ラインの先頭2画素P1,P2を読み込み且つ第2ラインの先頭2画素P3,P4を読み込んだ時点で、当該4画素P1〜P4を用いて計算可能な出力画像100’の色情報の全てを算出する。この例においては、4画素P1〜P4の色情報を混合して、図35(a)に示す出力画像100’の画素P1’の色情報を作成する。この場合、歪み補正テーブルには、入力画像100の画素P1〜P4が、出力画像100’の画素P1’に対応し、その色情報は入力画像100の画素P1〜P4をずれ量に合わせた割合で混合した色情報になることが記述されている。
Further, as shown in the input images of FIGS. 35A and 35B, the
次に、図35(b)に示すように、歪み補正部24に画素P4に続く画素P6が入力されると、歪み補正部24は、第1ラインの入力時に記憶しておいた画素P2,P5及び画素P4,P6の色情報を用いて計算可能な出力画像100’の色情報の全てを算出する。この例においては、歪み補正テーブルを参照して、入力画像100の画素P2、P5、P4、P6が、出力画像100’の画素P2’、P3’、P4’に対応し、出力画像100’の画素P2’、P3’、P4’の画素の色情報は、それぞれ入力画像100の画素P2、P5、P4、P6をそれぞれのずれ量に合わせた割合で混合した色情報になるように処理する。
Next, as shown in FIG. 35B, when the pixel P6 following the pixel P4 is input to the
このように、入力画像100のx方向及びy方向に隣接する4画素を歪み補正部24で入力した時点で色情報補間式歪み補正処理を行うことで、出力画像100’のすべての画素の色情報を求める。なお、歪み補正部24は、常に少なくとも計算用メモリ15にx方向の1ライン+2画素を読み込んでおけばよい。これにより、歪み補正部24は、x方向及びy方向の双方にずれがある場合であっても、x方向1ライン分+1画素分の遅れで色情報補間式歪み補正処理を行うことによってデータ待ち時間を少なくでき、歪み補正部24における処理遅れを少なくできる。
As described above, the color information interpolation distortion correction processing is performed at the time when the four pixels adjacent in the x direction and the y direction of the
つぎに、上述した色情報補間式歪み補正処理を行うための歪み補正テーブルを、出力画像100’の出力順に記述した場合の仮想現実感生成システムの動作について説明する。
Next, the operation of the virtual reality generation system when the distortion correction table for performing the color information interpolation distortion correction process described above is described in the output order of the
色情報補間式歪み補正処理の処理後の出力画像100’は、歪み補正部24から出力映像処理部25に出力される。一般的に、入力画像100の走査線に沿って、画素ごとに順次データが歪み補正部24から出力映像処理部25に出力される。一般的な出力画像100’が走査線に沿って画素ごとに順次データを読み飛ばし無く出力することを考慮すると、出力側の画素の順に歪み補正テーブルを表現した場合、歪み補正処理における出力側の画素座標が自明であるため、歪み補正テーブルの先頭から入力側の画素座標のみを記述した対応マップとできる。これにより、歪み補正テーブルの大きさが小さくできて、変換テーブル読み込み/保存部27の記憶領域が節約できる。また、この歪み補正テーブルには、色情報補間式歪み補正処理のためのずれ量も記述されている。ずれ量の記述を含む歪み補正テーブルは、パラメータ調整用パーソナルコンピュータ5によって作成される。
The
このような歪み補正テーブルを変換テーブル読み込み/保存部27に記憶した場合であって、x方向に隣接する入力画像100の2画素の色情報を混合して、出力画像100’の画素の色情報を作成する場合には、歪み補正部24は、図36(a)に示すように、先ず、入力画像100の先頭から歪み補正テーブルの先頭に記述された入力画像100のx方向に隣接した2画素P1,P2を読み込んだ時点で、当該x方向に隣接した2画素P1,P2を用いて出力画像100’の先頭画素P1’の色情報を作成して、当該画素P1’のデータを出力映像処理部25に出力する。次に、図36(b)に示すように、出力画像100’の画素P1’に続く画素P2’を作成するために、歪み補正部24は、歪み補正テーブルを参照して入力画像100のx方向に隣接した2画素P3,P4を読み込むと、当該x方向に隣接した2画素P3,P4の色情報を用いて出力画像100’の画素P2’の色情報を作成して、当該画素P2’のデータを出力映像処理部25に出力する。
When such a distortion correction table is stored in the conversion table reading / storing
また、y方向に隣接する入力画像100の2画素の色情報を混合して、出力画像100’の画素の色情報を作成する場合には、歪み補正部24は、図37(a)に示すように、先ず、入力画像100の先頭から歪み補正テーブルの先頭に記述された入力画像100のy方向に隣接した2画素P1,P2を読み込んだ時点で、当該y方向に隣接した2画素P1,P2を用いて出力画像100’の先頭画素P1’の色情報を作成して、当該画素P1’のデータを出力映像処理部25に出力する。次に、図37(b)に示すように、出力画像100’の画素P1’に続く画素P2’を作成するために、歪み補正部24は、歪み補正テーブルを参照して入力画像100のy方向に隣接した2画素P3,P4を読み込むと、当該y方向に隣接した2画素P3,P4の色情報を用いて出力画像100’の画素P2’の色情報を作成して、当該画素P2’のデータを出力映像処理部25に出力する。
When the color information of the two pixels of the
更に、x方向及びy方向に隣接する入力画像100の4画素の色情報を混合して、出力画像100’の画素の色情報を作成する場合には、歪み補正部24は、図38(a)に示すように、先ず、入力画像100の先頭から歪み補正テーブルの先頭に記述された入力画像100のx方向及びy方向に隣接した4画素P1〜P4を読み込んだ時点で、当該x方向及びy方向に隣接した4画素P1〜P4を用いて出力画像100’の先頭画素P1’の色情報を作成して、当該画素P1’のデータを出力映像処理部25に出力する。次に、図38(b)に示すように、出力画像100’の画素P1’に続く画素P2’を作成するために、歪み補正部24は、歪み補正テーブルを参照して入力画像100のx方向及びy方向に隣接した4画素P5〜P8を読み込むと、当該x方向及びy方向に隣接した4画素P5〜P8の色情報を用いて出力画像100’の画素P2’の色情報を作成して、当該画素P2’のデータを出力映像処理部25に出力する。
Further, when the color information of the four pixels of the
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。 The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.
例えば、上述した実施の形態では、2軸直交座標における方形画素を用いて、x方向又はy方向に隣接する2画素を用いた色補間、又は、x方向及びy方向に隣接する4画素を用いた色補間を行うことについて説明したが、三角形画素からなる3軸座標系の映像信号の場合には、三角形画素の隣接する6個の6角形形状の画素群を用いて色補間をすることもできる。 For example, in the above-described embodiment, color interpolation using two pixels adjacent in the x direction or y direction using square pixels in two-axis orthogonal coordinates, or four pixels adjacent in the x direction and y direction are used. In the case of a three-axis coordinate system image signal composed of triangular pixels, the color interpolation may be performed using six hexagonal pixel groups adjacent to the triangular pixels. it can.
1 スクリーン
2 映像投影機器
2a,2b プロジェクタ
3 歪み補正ユニット
3a,3b,3c,3d 映像入力端子
3e,3d 映像出力端子
3g 外部入力端子
3h 外部出力端子
4 映像生成機器
5 パラメータ調整用パーソナルコンピュータ
6 操作入力部
11 信号方式変換回路
12 映像信号処理回路
13 外部機器制御回路
14 デジタルシグナルプロセッサ
15 計算用メモリ
16 テーブル用メモリ
17 信号方式変換回路
18 制御信号用メモリ
21 入力映像処理部
22 映像切替/分配部
23 映像合成部
24 歪み補正部
25 出力映像処理部
26 同期処理部
27 変換テーブル読み込み/保存部
28 外部機器制御部
29 制御信号読み込み/保存部
31 モデル
31,32,34〜36 モデル
31a,32a,34a〜36a 入力パラメータ
31b,32b,34b〜36b メッシュモデル
33 混合モデル
34 球面混合モデル
35 円筒混合モデル
36 平面混合モデル
DESCRIPTION OF
Claims (9)
平面の投影面に映像光を投影させるための平面映像信号を入力する映像信号入力手段と、
平面の投影面と前記任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルであって、前記映像信号入力手段により入力した平面映像信号に歪み補正処理を施すための歪み補正テーブルを外部から入力する外部入力手段と、
前記外部入力手段により入力した歪み補正テーブルを参照して、前記映像信号入力手段により入力した平面映像信号の画素ごとに歪み補正処理を施して、前記投影面に映像光を投影させるための出力映像信号を作成する歪み補正手段と、
前記歪み補正手段により作成された出力映像信号を前記投影手段に出力する出力手段とを備え、
前記歪み補正テーブルは、前記対応マップとして、前記出力映像の画素に対応する、歪み補正前の前記平面映像の画素であって、当該平面映像を選択する番号、又は、前記平面映像の画素に対応する歪み補正後の前記出力映像の画素であって、当該出力映像を選択する番号を記述してなり、
前記歪み補正手段は、前記番号に対応した平面映像を選択し、当該選択した平面映像の画素を出力画像の画素に変換、又は、前記平面映像を、前記番号に対応した出力映像の画素に変換するときに、前記歪み補正テーブルによる変換前の画素の代表点が変換後の画素の代表点からずれるずれ量に相当する割合で、変換前の複数の画素の色情報を混合した色情報を、前記変換後の画素の色情報にして、前記出力映像信号を作成することを特徴とする映像信号処理装置。 An image signal processing apparatus that outputs an output image signal for projecting image light onto a projection surface of an arbitrary shape to a projection unit,
Video signal input means for inputting a planar video signal for projecting video light onto a planar projection surface;
A distortion correction table that is a correspondence map between a planar projection plane and a mesh model of the arbitrary-shaped projection plane, the distortion correction table for performing distortion correction processing on the planar video signal input by the video signal input means An external input means for inputting from the outside;
An output image for projecting image light on the projection surface by performing distortion correction processing for each pixel of the planar image signal input by the image signal input unit with reference to the distortion correction table input by the external input unit Distortion correction means for creating a signal;
Output means for outputting the output video signal created by the distortion correction means to the projection means,
The distortion correction table, as the correspondence map, corresponds to the pixel of the planar image before distortion correction corresponding to the pixel of the output image, and corresponds to the number for selecting the planar image or the pixel of the planar image. A pixel of the output video after distortion correction, which describes a number for selecting the output video,
The distortion correction unit selects a plane image corresponding to the number and converts the pixel of the selected plane image into an output image pixel or converts the plane image into an output image pixel corresponding to the number. In this case, color information obtained by mixing color information of a plurality of pixels before conversion at a ratio corresponding to a deviation amount in which the representative point of the pixel before conversion by the distortion correction table deviates from the representative point of the pixel after conversion, The video signal processing apparatus, wherein the output video signal is created using the color information of the pixel after the conversion.
前記歪み補正手段は、前記番号によって選択した平面映像の画素について前記透明度に基づいて透明度合いを調整する画像処理を行って、当該選択した平面映像の画素を出力画像の画素に変換すること
を特徴とする請求項1に記載の映像信号処理装置。 The distortion correction table further describes a transparency indicating a degree of transmitting each pixel corresponding to the pixel of the output video,
The distortion correction unit performs image processing for adjusting the degree of transparency based on the transparency for the pixel of the plane image selected by the number, and converts the pixel of the selected plane image into a pixel of the output image. The video signal processing apparatus according to claim 1.
前記歪み補正手段は、前記歪み補正テーブルに記述された入力画素を入力した時点で、当該入力した画素を用いた歪み補正処理を行うことを特徴とする請求項1又は請求項2に記載の映像信号処理装置。 In the distortion correction table, a correspondence between a planar projection surface and a mesh model of the arbitrary-shaped projection surface is described in the order of input pixels of the planar video signal.
3. The video according to claim 1, wherein the distortion correction unit performs a distortion correction process using the input pixel when the input pixel described in the distortion correction table is input. 4. Signal processing device.
前記歪み補正手段は、前記歪み補正テーブルに記述された入力画素を入力した時点で、当該入力した画素を用いた歪み補正処理を行い、前記歪み補正テーブルに記述された出力画素の順で出力映像信号を作成することを特徴とする請求項1乃至請求項2の何れか一項に記載の映像信号処理装置。 In the distortion correction table, a correspondence between a planar projection surface and the mesh model of the arbitrary-shaped projection surface is described in the order of output pixels of the output video signal.
The distortion correction means performs a distortion correction process using the input pixels when the input pixels described in the distortion correction table are input, and outputs video in the order of the output pixels described in the distortion correction table. The video signal processing apparatus according to claim 1, wherein a signal is created.
前記出力手段は、前記出力映像信号と共に、前記外部入力手段により入力した制御信号を前記投影手段に出力すること
を特徴とする請求項1乃至請求項4の何れか一項に記載の映像信号処理装置。 The external input means inputs a control signal for controlling the operation of the projection means from the outside,
The video signal processing according to any one of claims 1 to 4, wherein the output means outputs a control signal input by the external input means to the projection means together with the output video signal. apparatus.
前記外部入力手段により入力した輝度補正テーブルを参照して、前記映像信号入力手段により入力した平面映像信号の画素ごとに輝度補正処理を施して、前記任意形状の投影面に投影させるための出力映像信号を作成する輝度補正手段を更に備えることを特徴とする請求項1乃至請求項5の何れか一項に記載の映像信号処理装置。 The external input means inputs from the outside a luminance correction table for performing luminance correction processing on the planar video signal input by the video signal input means,
Output image for projecting on the projection surface of the arbitrary shape by performing luminance correction processing for each pixel of the planar video signal input by the video signal input unit with reference to the luminance correction table input by the external input unit 6. The video signal processing apparatus according to claim 1, further comprising a luminance correction unit that creates a signal.
前記信号処理手段による複数の平面映像信号の処理タイミングの同期を取る同期処理手段を更に備えることを特徴とする請求項1乃至請求項6の何れか一項に記載の映像信号処理装置。 The video signal input means is configured to simultaneously input a plurality of planar video signals,
The video signal processing apparatus according to claim 1, further comprising synchronization processing means for synchronizing processing timings of a plurality of planar video signals by the signal processing means.
前記歪み補正手段は、前記立体映像用視差付き平面映像信号作成手段で作成された視差付き平面映像信号を歪み補正処理して出力映像信号を作成することを特徴とする請求項1乃至請求項7の何れか一項に記載の映像信号処理装置。 Using a plurality of planar video signals input by the video signal input means, creating a parallax-equipped planar video signal creating means for creating a parallax video signal that is synthesized by giving a parallax between the plurality of planar video signals. In addition,
8. The distortion correcting unit generates an output video signal by performing a distortion correction process on the parallax planar video signal created by the stereoscopic video parallax planar video signal creating unit. The video signal processing device according to claim 1.
請求項1乃至請求項8の何れか一項に記載の映像信号処理装置と、
平面の投影面と前記任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルを作成する外部処理装置と、
前記映像信号処理装置から出力された出力映像信号に基づいた映像を前記スクリーンに投影する投影手段と
を備えたことを特徴とする仮想現実感生成システム。 A wide viewing angle screen having an arbitrarily shaped projection surface with a concave surface facing the observer and capable of displaying an image larger than the effective viewing angle of the observer;
The video signal processing device according to any one of claims 1 to 8,
An external processing device that creates a distortion correction table that is a correspondence map between a planar projection surface and a mesh model of the projection surface of the arbitrary shape;
A virtual reality generation system comprising: projection means for projecting an image based on an output video signal output from the video signal processing device onto the screen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010144536A JP5624383B2 (en) | 2010-06-25 | 2010-06-25 | Video signal processing device, virtual reality generation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010144536A JP5624383B2 (en) | 2010-06-25 | 2010-06-25 | Video signal processing device, virtual reality generation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012010125A true JP2012010125A (en) | 2012-01-12 |
JP5624383B2 JP5624383B2 (en) | 2014-11-12 |
Family
ID=45540162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010144536A Expired - Fee Related JP5624383B2 (en) | 2010-06-25 | 2010-06-25 | Video signal processing device, virtual reality generation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5624383B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014035589A (en) * | 2012-08-07 | 2014-02-24 | Hitachi Information & Telecommunication Engineering Ltd | Correction apparatus and correction method of fish-eye image |
JP2015219679A (en) * | 2014-05-16 | 2015-12-07 | 株式会社リコー | Image processing system, information processing device, and program |
CN110870317A (en) * | 2017-06-30 | 2020-03-06 | Vid拓展公司 | Weighted-to-spherical homogeneous PSNR for 360 degree video quality assessment using cube map based projection |
US11587211B2 (en) * | 2020-03-31 | 2023-02-21 | Lapis Semiconductor Co., Ltd. | Image distortion correction circuit and display device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007312420A (en) * | 2006-02-20 | 2007-11-29 | Matsushita Electric Works Ltd | Video signal processing apparatus and virtual reality creating system |
JP2009276557A (en) * | 2008-05-14 | 2009-11-26 | Panasonic Corp | Video processing device, video processing lsi, display, car navigation system, mixing ratio information generating method, program, and recording medium |
JP2010135966A (en) * | 2008-12-03 | 2010-06-17 | Panasonic Electric Works Co Ltd | Image signal processor |
-
2010
- 2010-06-25 JP JP2010144536A patent/JP5624383B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007312420A (en) * | 2006-02-20 | 2007-11-29 | Matsushita Electric Works Ltd | Video signal processing apparatus and virtual reality creating system |
JP2009276557A (en) * | 2008-05-14 | 2009-11-26 | Panasonic Corp | Video processing device, video processing lsi, display, car navigation system, mixing ratio information generating method, program, and recording medium |
JP2010135966A (en) * | 2008-12-03 | 2010-06-17 | Panasonic Electric Works Co Ltd | Image signal processor |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014035589A (en) * | 2012-08-07 | 2014-02-24 | Hitachi Information & Telecommunication Engineering Ltd | Correction apparatus and correction method of fish-eye image |
JP2015219679A (en) * | 2014-05-16 | 2015-12-07 | 株式会社リコー | Image processing system, information processing device, and program |
CN110870317A (en) * | 2017-06-30 | 2020-03-06 | Vid拓展公司 | Weighted-to-spherical homogeneous PSNR for 360 degree video quality assessment using cube map based projection |
CN110870317B (en) * | 2017-06-30 | 2023-05-23 | Vid拓展公司 | Method and apparatus for encoding 360 degree video content |
US11587211B2 (en) * | 2020-03-31 | 2023-02-21 | Lapis Semiconductor Co., Ltd. | Image distortion correction circuit and display device |
Also Published As
Publication number | Publication date |
---|---|
JP5624383B2 (en) | 2014-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4013989B2 (en) | Video signal processing device, virtual reality generation system | |
JP5061227B2 (en) | Video signal processing apparatus and virtual reality generation system | |
KR100445209B1 (en) | Image processing system and image conversion processor for generating input images into at least one output image through parallax conversion | |
US20060152579A1 (en) | Stereoscopic imaging system | |
US10659742B2 (en) | Image generating apparatus and image display control apparatus | |
KR20200052846A (en) | Data processing systems | |
JP5624383B2 (en) | Video signal processing device, virtual reality generation system | |
US20140160169A1 (en) | Image processing apparatus and image processing method | |
JP5249733B2 (en) | Video signal processing device | |
JP6719596B2 (en) | Image generation device and image display control device | |
JP2013238716A (en) | Method for synthesizing multi-visual point image information | |
JP4631878B2 (en) | Video signal processing device, virtual reality generation system | |
CN107534763B (en) | Adaptive color levels interpolation method and equipment | |
US20220108420A1 (en) | Method and system of efficient image rendering for near-eye light field displays | |
US10930185B2 (en) | Information processing system, information processing apparatus, output apparatus, program, and recording medium | |
JP2004282712A (en) | Adjustment device | |
JP2011114381A (en) | Video signal processing apparatus and virtual reality creating system | |
JP2023162943A (en) | Information processing device and information processing method | |
US20190394509A1 (en) | Image delivery apparatus | |
JP2002165232A (en) | Virtual-space generation and presentation apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20120116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130820 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140625 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20140703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140902 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140926 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5624383 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |