JP2020507100A - Method for projecting image onto curved projection area and projection system therefor - Google Patents
Method for projecting image onto curved projection area and projection system therefor Download PDFInfo
- Publication number
- JP2020507100A JP2020507100A JP2019532009A JP2019532009A JP2020507100A JP 2020507100 A JP2020507100 A JP 2020507100A JP 2019532009 A JP2019532009 A JP 2019532009A JP 2019532009 A JP2019532009 A JP 2019532009A JP 2020507100 A JP2020507100 A JP 2020507100A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- image
- curved surface
- area
- projection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3147—Multi-projection systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
Abstract
本発明は、曲面の投影領域及び複数の投影装置が備えられた上映館におけるイメージ投影方法及び投影システムに係り、更に詳しくは、複数の投影装置の投影領域間の相対的変換情報を演算することにより、これらの投影装置を一つのクラスタとして定義し、さらに前記クラスタのうちの基準投影装置と原本イメージの投影領域との間の相対的な関係を定義することにより、最終的には、複数の投影装置により一つのイメージを曲面投影領域に歪みなく投影させることができるイメージ投影方法及び投影システムに関する。The present invention relates to an image projection method and a projection system in a theater having a curved projection area and a plurality of projection devices, and more particularly to calculating relative conversion information between projection areas of a plurality of projection devices. By defining these projection devices as one cluster, and further defining the relative relationship between the reference projection device of the cluster and the projection area of the original image, finally, a plurality of The present invention relates to an image projection method and a projection system that can project one image onto a curved surface projection area without distortion by a projection device.
Description
本発明は、曲面の投影領域及び複数の投影装置が備えられた上映館におけるイメージ投影方法及び投影システムに係り、更に詳しくは、複数の投影装置の投影領域間の相対的変換情報を演算することにより、これらの投影装置を一つのクラスタとして定義し、さらに前記クラスタのうちの基準投影装置と原本イメージの投影領域との間の相対的な関係を定義することにより、最終的には、複数の投影装置により一つのイメージを曲面投影領域に歪みなく投影させることができるイメージ投影方法及び投影システムに関する。 The present invention relates to an image projection method and a projection system in a theater having a curved projection area and a plurality of projection devices, and more particularly to calculating relative conversion information between projection areas of a plurality of projection devices. By defining these projection devices as one cluster, and further defining the relative relationship between the reference projection device of the cluster and the projection area of the original image, finally, a plurality of The present invention relates to an image projection method and a projection system that can project one image onto a curved surface projection area without distortion by a projection device.
より立体感のあり、現実感の高い上映環境を提供するために、最近では、複数の投影装置を用いて一つの映像を実現するための試みが続いている。特に、大型スクリーンによる映画鑑賞の需要が高まるにつれて、複数の投影装置を用いて大型スクリーンに一つのイメージを投影する技術に対する関心が高まっている。 In order to provide a more realistic viewing environment with a more three-dimensional effect, recently, attempts have been made to realize one image using a plurality of projection devices. In particular, as the demand for watching a movie on a large screen increases, interest in a technique of projecting one image on a large screen using a plurality of projection devices has been increasing.
一方、従来には、一般的に上映館のスクリーンとして平面スクリーンを用いられていた。また、この場合、複数の投影装置を用いて平面の大型スクリーン上に一つの映像を実現しようとする際に、複数の投影装置を一つのクラスタとして定義することが試みられてきた。この場合、クラスタリングを行う際には、投影面の大部分が平面であると仮定してホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ、平面射影変換）を用いてキーストーン補正などを行った。 On the other hand, in the past, a flat screen was generally used as a screen in a screening hall. Also, in this case, when one image is to be realized on a large flat screen using a plurality of projection devices, it has been attempted to define the plurality of projection devices as one cluster. In this case, when performing clustering, keystone correction and the like were performed using homography (homography, planar projection transformation), assuming that most of the projection plane was a plane.
しかしながら、最近では、平面スクリーンに比べて「曲面スクリーン」の方が立体感や没入感を高める上で有利であるという効果が知られるようになり、投影面を平面ではなく曲面で構成する上映館の数が多くなっている。このように増大に伴い、曲面の投影面においても、複数の投影装置を用いて一つの映像を実現しようとする試みがなされている。 However, recently, it has become known that the "curved screen" is more advantageous than the flat screen in enhancing the three-dimensional feeling and immersive feeling. The number of is increasing. With such an increase, attempts have been made to realize one image on a curved projection surface using a plurality of projection devices.
一方、従来には、クラスタリングを行う際に、スクリーンを平面と仮定してホモグラフィを用いていた。ホモグラフィを曲面の投影面に適用すると、曲面によって生じる複雑な歪みが除去されてないという問題がある。さらに、投影装置間の相対的な関係が明確に定義されていないため、重なり領域では焦点が外れるという問題、エッジブレンディングが不正確であるという問題などが発生した。 On the other hand, conventionally, when performing clustering, homography was used on the assumption that the screen was a flat surface. When homography is applied to a projection surface of a curved surface, there is a problem that complicated distortion caused by the curved surface is not removed. Furthermore, since the relative relationship between the projection devices is not clearly defined, there has been a problem that the focus is deviated in the overlapping region, a problem that the edge blending is inaccurate, and the like.
これらの問題を解決するために、ソフトウェア的な解決策が提示されてきた。しかしながら、これらの解決策では、曲面の形状がドーム、円筒などのいくつかの形状に限定されるので、補正コントローラを提供するにとどまり、任意の曲面投影面では活用が難しいという問題がある。 In order to solve these problems, software solutions have been proposed. However, in these solutions, since the shape of the curved surface is limited to some shapes such as a dome and a cylinder, there is a problem that only a correction controller is provided, and it is difficult to utilize it on an arbitrary curved surface projection surface.
本発明は、このように複数の投影装置を用いて任意の曲面投影面にイメージを投影するためのものであり、上述した技術的ニーズを満たすとともに、この技術分野において通常の知識を有する者が容易に発明し難いさらなる技術要素を提供するために発明されたものである。 The present invention is for projecting an image on an arbitrary curved projection surface using a plurality of projection devices as described above, and satisfies the above-mentioned technical needs and has a person having ordinary knowledge in this technical field. It has been invented to provide a further technical element that is difficult to invent easily.
本発明は、複数の投影装置を用いて曲面の投影面に映像を実現するにあたり、複数の投影装置をクラスタリングして制御を容易にすることを目的とする。 An object of the present invention is to facilitate control by clustering a plurality of projection devices when realizing an image on a curved projection surface using the plurality of projection devices.
特に、本発明は、従来の平面投影面へのイメージ投影を前提にした投影装置のクラスタリングとは異なり、サブディビジョン（ｓｕｂｄｉｖｉｓｉｏｎ、細分化）とＴＰＳ（Ｔｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅ、薄板スプライン）ベースのワーピング技法に基づいて投影装置間の相対的変換情報の演算及びクラスタリングを行うことにより、定型曲面ではない投影面に対しても歪みなくイメージを投影することができる投影装置クラスタを実現することを目的とする。 In particular, the present invention is different from the conventional clustering of a projection apparatus on the assumption that an image is projected onto a plane projection plane, and is based on a subdivision (subdivision) and a TPS (Thin Plate Spline) based warping technique. It is an object of the present invention to realize a projection device cluster that can project an image without distortion even on a projection surface that is not a fixed curved surface by calculating relative conversion information between projection devices and performing clustering based on the information.
また、本発明は、投影装置クラスタによって曲面投影面に一つの映像を歪みなく実現できるように、投影されるイメージを曲面投影面上に配置することを目的とする。 Another object of the present invention is to arrange an image to be projected on a curved surface projection surface so that one image can be realized on the curved surface projection surface without distortion by the projection device cluster.
特に、このとき、本発明は、投影される原本イメージと曲面投影面とをマッチングする際、原本イメージに複数の仮想の制御点を設定し、これらの制御点を移動させることにより、原本イメージが曲面投影面の形状と正確にマッチングできるようにして、曲面に起因するイメージの歪みを最小限に抑えることを目的とする。 In particular, at this time, the present invention sets a plurality of virtual control points in the original image when matching the original image to be projected and the curved surface projection surface, and moves the control points, whereby the original image is obtained. An object of the present invention is to minimize the distortion of an image caused by a curved surface by enabling accurate matching with the shape of a curved surface projection surface.
一態様において、投影管理装置が、複数の投影装置を用いて曲面にイメージを投影する方法は、（ａ）前記複数の投影装置の投影領域に基づいて投影装置間の相対的変換情報を演算し、前記相対的変換情報に基づいて前記複数の投影装置をグループ化して投影装置クラスタを生成するステップと、（ｂ）前記投影装置クラスタにより投影されるイメージを曲面の投影領域にマッチングさせるステップと、を含む。 In one aspect, a method in which a projection management device projects an image on a curved surface using a plurality of projection devices includes: (a) calculating relative conversion information between projection devices based on projection regions of the plurality of projection devices. Grouping the plurality of projection devices based on the relative conversion information to generate a projection device cluster; and (b) matching an image projected by the projection device cluster to a projection area of a curved surface; including.
他の態様において、前記複数の投影装置のうちの任意の投影装置がイメージを投影可能な曲面の投影領域と、前記任意の投影装置に隣接する投影装置の投影領域とが、部分的に重なることを特徴とする。 In another aspect, a projection area of a curved surface on which any of the plurality of projection apparatuses can project an image partially overlaps a projection area of a projection apparatus adjacent to the arbitrary projection apparatus. It is characterized by.
また他の態様において、前記（ａ）ステップは、（ａ−１）前記複数の投影装置のうちのいずれか一つの投影装置を基準投影装置と設定するステップと、（ａ−２）前記基準投影装置と、前記基準投影装置に隣接する投影装置のうちで前記投影装置クラスタに含まれる投影装置との間の相対的変換情報を演算するステップと、を含む。 In another aspect, the step (a) includes: (a-1) setting any one of the plurality of projection devices as a reference projection device; and (a-2) the reference projection. Calculating relative conversion information between the device and a projection device included in the projection device cluster among projection devices adjacent to the reference projection device.
また他の態様において、前記（ａ−２）ステップでは、前記基準投影装置の投影領域と前記基準投影装置に隣接する投影装置の投影領域とが部分的に重なる重複領域内において前記基準投影装置の投影領域から対応点Ｃｉを抽出し、前記基準投影装置に隣接する投影装置の投影領域から対応点Ｃｊを抽出し、前記対応点を相対的変換式に代入することで前記相対的変換情報を演算することを特徴とする。 In still another aspect, in the step (a-2), the projection area of the reference projection apparatus is overlapped with a projection area of a projection apparatus adjacent to the reference projection apparatus in an overlapping area where the projection area of the reference projection apparatus partially overlaps. extracting corresponding points C i from the projection area, the corresponding point C j is extracted from the projection area of the projection device adjacent to the reference projection apparatus, the relative conversion information by substituting the corresponding point to the relative conversion formula Is calculated.
また他の態様において、前記相対的変換式は、
となっている。
In still another aspect, the relative conversion equation is:
It has become.
式中、ｘｉは基準投影装置のピクセル位置であり、Ｃｉ ｋは対応点メッシュの各頂点（ｖｅｒｔｅｘ）の位置であり、ｗｋは加重値であり、Ａ（ｘｉ）は大局的アフィン変換（ＧＡＴ：Ｇｌｏｂａｌ Ａｆｆｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）であることを特徴とする。 Where xi is the pixel location of the reference projection device, C i k is the location of each vertex of the corresponding point mesh, w k is the weight, and A (x i ) is the global affine transformation (GAT: Global Affine Transformation).
また他の態様において、（ａ−３）前記基準投影装置と、前記基準投影装置に隣接する投影装置のうちで前記投影装置クラスタに含まれていない投影装置との間の相対的変換情報を演算するステップをさらに含むことを特徴とする。 In another aspect, (a-3) calculating relative conversion information between the reference projection device and projection devices that are not included in the projection device cluster among projection devices adjacent to the reference projection device. The method further comprises the step of:
また他の態様において、前記（ｂ）ステップは、（ｂ−１）前記投影装置クラスタにより投影されるイメージの最も外側の任意数の初期点を抽出するステップと、（ｂ−２）複数の制御点を前記投影されるイメージ内に配置し、前記複数の制御点を連結することで複数のサブイメージ領域に区画するステップと、（ｂ−３）前記初期点及び前記制御点を曲面の投影領域の形状にマッチングさせるステップと、を含むことを特徴とする。 In still another aspect, the step (b) includes: (b-1) extracting an arbitrary number of outermost initial points of an image projected by the projection device cluster; and (b-2) a plurality of control points. Arranging a point in the projected image and connecting the plurality of control points to partition the image into a plurality of sub-image areas; and (b-3) setting the initial point and the control points to a curved projection area. And a step of matching the shape.
また他の態様において、前記（ｂ−３）ステップは、バイリニア補間法（ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いて行われることを特徴とする。 In another aspect, the step (b-3) is performed by using a bilinear interpolation method.
また他の態様において、前記初期点は、前記投影されるイメージの最も外側の頂点であることを特徴とする。 In another aspect, the initial point is an outermost vertex of the projected image.
また他の態様において、前記複数の制御点は、等間隔で配置されることを特徴とする。 In another aspect, the plurality of control points are arranged at equal intervals.
また他の態様において、曲面へのイメージ投影システムは、上映館内に備えられた複数の投影装置間の相対的変換情報を演算し、前記相対的変換情報に基づいて複数の投影装置をグループ化して投影装置クラスタを生成し、前記投影装置クラスタにより投影されるイメージを上映館内の投影領域にマッチングさせる投影管理装置と、上映館内の投影領域にイメージを投影する複数の投影装置と、を含む。 In yet another aspect, a system for projecting an image onto a curved surface calculates relative conversion information between a plurality of projection devices provided in a theater, and groups a plurality of projection devices based on the relative conversion information. The image processing apparatus includes a projection management device that generates a projection device cluster and matches an image projected by the projection device cluster to a projection region in the exhibition hall, and a plurality of projection devices that project the image to a projection region in the exhibition hall.
また他の態様において、前記投影管理装置は、前記複数の投影装置のうちのいずれか一つの投影装置を基準投影装置と設定し、前記基準投影装置に隣接する投影装置間の相対的変換情報を演算することを特徴とする。 In still another aspect, the projection management device sets any one of the plurality of projection devices as a reference projection device, and calculates relative conversion information between projection devices adjacent to the reference projection device. The operation is performed.
また他の態様において、前記投影管理装置は、前記基準投影装置の投影領域と前記基準投影装置に隣接する投影装置の投影領域とが部分的に重なる重複領域内において、前記基準投影装置の投影領域から対応点Ｃｉを抽出し、前記基準投影装置に隣接する投影装置の投影領域から対応点Ｃｊを抽出し、前記対応点を相対的変換式に代入することで前記相対的変換情報を演算することを特徴とする。 In still another aspect, the projection management device includes a projection area of the reference projection device in an overlapping area where a projection area of the reference projection apparatus and a projection area of a projection apparatus adjacent to the reference projection apparatus partially overlap. extracting corresponding points C i from extracts corresponding points C j from the projection area of the projection device adjacent to the reference projection apparatus, calculating the relative conversion information by substituting the corresponding point to the relative conversion formula It is characterized by doing.
また他の態様において、前記投影管理装置は、前記投影装置クラスタにより投影されるイメージを曲面の投影領域にマッチングさせるが、前記投影装置クラスタにより投影されるイメージの最も外側の任意数の初期点を抽出し、複数の制御点を前記投影されるイメージ内に配置し、前記複数の制御点を連結することで前記イメージを複数のサブイメージ領域に区画し、前記初期点及び前記制御点を曲面の投影領域の形状にマッチングさせることを特徴とする。 In still another aspect, the projection management device matches the image projected by the projection device cluster to a projection area of a curved surface, but sets an arbitrary number of outermost initial points of the image projected by the projection device cluster. Extracting, arranging a plurality of control points in the projected image, dividing the image into a plurality of sub-image areas by connecting the plurality of control points, and dividing the initial point and the control points into a curved surface. It is characterized by matching with the shape of the projection area.
本発明によれば、複数の投影装置を一つのクラスタにグループ化して制御することができるという効果がある。具体的には、本発明によれば、複数の投影装置をクラスタ単位で制御することで、イメージ領域の配置やイメージ補正などの作業を行うことができ、例えば、本発明によれば、基準投影装置が投影装置のクラスタ内に定義されており、したがって、基準投影装置を基準としてイメージ領域の配置やイメージ補正などの作業を行う場合、残りの投影装置に対しても自動的にイメージ領域の配置やイメージ補正が行われるため、複数の投影装置を容易に制御することができるという効果がある。 According to the present invention, there is an effect that a plurality of projection devices can be grouped into one cluster and controlled. Specifically, according to the present invention, by controlling a plurality of projection devices in cluster units, it is possible to perform operations such as image area arrangement and image correction. If a device is defined in a cluster of projectors, and you want to perform tasks such as arranging the image area and correcting the image with respect to the reference projector, the image area is automatically allocated to the remaining projectors. And image correction are performed, so that there is an effect that a plurality of projection devices can be easily controlled.
また、本発明によれば、投影装置のクラスタリングが行われるときに、サブディビジョン（ｓｕｂｄｉｖｉｓｉｏｎ、細分化）とＴＰＳ（Ｔｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅ、薄板スプライン）演算に基づいて各投影装置間の相対的変換情報を取得することができ、これにより従来の平面投影面を前提にしたクラスタリングとは異なり、非定型曲面投影面に対しても投影装置を効果的にクラスタ化することができるという効果がある。 Further, according to the present invention, when clustering of projection apparatuses is performed, relative conversion information between projection apparatuses is calculated based on subdivision (subdivision, subdivision) and TPS (Thin Plate Spline, thin plate spline) calculation. Thus, unlike the conventional clustering based on a plane projection plane, the projection apparatus can be effectively clustered even on an irregular surface projection plane.
また、本発明によれば、投影装置をクラスタリングするステップの後、イメージ領域を配置するステップにおいてもサブディビジョン（ｓｕｂｄｉｖｉｓｉｏｎ、細分化）方式を利用してイメージを非定型曲面に効率よくマッチングさせることができるという効果がある。 Further, according to the present invention, in the step of arranging the image area after the step of clustering the projection apparatus, the image can be efficiently matched to the irregular surface using the subdivision (subdivision) method. There is an effect that can be.
１００ 投影装置
１５１ａ〜１５１ｅ 投影装置別の投影領域
２００ 投影装置クラスタ
１０００ 投影管理装置
１１００ 演算部
１２００ 記憶部
１３００ 投影装置管理部
１４００ 通信部
１５００ ユーザインタフェース部
１６００ カメラ部
１７００ 制御部
REFERENCE SIGNS LIST 100 Projection device 151 a to 151 e Projection area for each projection device 200 Projection device cluster
1000 Projection management device 1100 Operation unit 1200 Storage unit 1300 Projection device management unit 1400 Communication unit 1500 User interface unit 1600 Camera unit 1700 Control unit
本発明の目的と技術的構成およびそれに伴う作用効果に関する詳細な事項は、本発明の明細書に添付した図面に基づく以下の詳細な説明によりなお一層明確に理解できる筈である。添付図面を参照して本発明に係る実施形態について詳細に説明する。 The details of the object and technical configuration of the present invention and the accompanying operational effects will be more clearly understood from the following detailed description based on the drawings attached to the specification of the present invention. An embodiment according to the present invention will be described in detail with reference to the accompanying drawings.
本明細書に開示される実施形態は、本発明の範囲を限定するものと解釈されてはならず、且つ、本発明の範囲を限定するものとして用いられてはならない。この分野における通常の技術者にとって、本明細書の実施形態を含む説明は様々な応用を有することはいうまでもない。よって、本発明の詳細な説明に記載されている任意の実施形態は、本発明をより理解し易く説明するための例示的なものに過ぎず、本発明の範囲が実施形態に限定されることを意図するわけではない。 The embodiments disclosed herein should not be construed as limiting the scope of the invention, and should not be used as limiting the scope of the invention. It will be appreciated by those skilled in the art that the description, including the embodiments herein, has a variety of applications. Therefore, any embodiment described in the detailed description of the present invention is merely an example for easier understanding of the present invention, and the scope of the present invention is limited to the embodiment. Is not intended.
図面に表示され、且つ、下記に説明される機能ブロックは、採用可能な実現の例に過ぎない。他の実現においては、詳細な説明の思想および範囲を逸脱しない範囲内において他の機能ブロックが使用可能である。なお、本発明の１以上の機能ブロックが個別のブロックとして表示されるが、本発明の機能ブロックのうちの１以上は、同じ機能を実行する様々なハードウェアおよびソフトウェア構成の組み合わせであってもよい。 The functional blocks shown in the drawings and described below are only examples of possible implementations. In other implementations, other functional blocks may be used without departing from the spirit and scope of the detailed description. Although one or more functional blocks of the present invention are displayed as individual blocks, one or more of the functional blocks of the present invention may be a combination of various hardware and software configurations that perform the same function. Good.
また、「ある構成要素を含む」という表現は「開放型」の表現であり、単に当該構成要素が存在することを指すものに過ぎず、さらなる構成要素を排除するものと理解されてはならない。 Further, the expression “including a certain component” is an expression of “open type”, merely indicates that the component exists, and should not be understood as excluding additional components.
さらに、ある構成要素が他の構成要素に「連結されている」と言及されるとき、またはある構成要素が他の構成要素に「接続されている」と言及されるときには、その他の構成
要素に直接的に連結または接続されていてもよく、これらの間に他の構成要素が存在してもよいものと理解されるべきである。
Further, when one element is referred to as being “coupled” to another element, or when one element is referred to as being “connected” to another element, It is to be understood that other components may be directly coupled or connected between which other components may be present.
また、後述する曲面へのイメージ投影方法は、様々なハードウェア及びソフトウェアの連動動作により実現できると理解すべきであろう。例えば、本発明は、複数の投影装置及び前記複数の投影装置と有線または無線にて連結される投影管理装置（サーバ）の連動動作により実現でき、このような連動のほかに、様々なハードウェア及びソフトウェアの連動動作により実現できる。 It should also be understood that a method of projecting an image on a curved surface, which will be described later, can be realized by an interlocking operation of various hardware and software. For example, the present invention can be realized by an interlocking operation of a plurality of projection devices and a projection management device (server) that is connected to the plurality of projection devices by wire or wirelessly. And software interlocking operation.
図１は、曲面の投影面及び複数の投影装置が備えられた上映館において曲面へのイメージ投影方法を概略的に示す図である。 FIG. 1 is a diagram schematically illustrating a method of projecting an image on a curved surface in a theater having a curved projection surface and a plurality of projection devices.
図１に示すように、本発明に係る曲面へのイメージ投影方法は、投影管理装置が、複数の投影装置の投影領域に基づいて投影装置間の相対的変換情報を演算し、前記相対的変換情報に基づいて複数の投影装置をクラスタリングする第１ステップと、投影管理装置が、前記投影装置クラスタにより投影されるイメージを曲面の投影領域にマッチングさせる第２ステップと、を含む。 As shown in FIG. 1, in the method of projecting an image onto a curved surface according to the present invention, a projection management device calculates relative conversion information between projection devices based on the projection areas of a plurality of projection devices, and performs the relative conversion. The method includes a first step of clustering a plurality of projection devices based on information and a second step in which a projection management device matches an image projected by the projection device cluster to a projection area of a curved surface.
以下、投影装置をクラスタリングする第１ステップと、イメージを曲面の投影領域にマッチングさせる第２ステップとに分けて説明する。 Hereinafter, the first step of clustering the projection apparatus and the second step of matching the image to the projection area of the curved surface will be described separately.
まず、図２乃至図４を参照して、投影装置をクラスタリングする第１ステップについて説明する。 First, a first step of clustering the projection device will be described with reference to FIGS.
図２は、クラスタリングステップをより細分化したものであり、図２に示すように、クラスタリングステップは、複数の投影装置のうちのいずれか一つの投影装置を基準投影装置と設定するステップ（Ｓ１０１）と、前記基準投影装置と前記基準投影装置に隣接する投影装置との間の相対的変換情報を演算するステップ（Ｓ１０３）と、を含む。 FIG. 2 shows a more subdivided clustering step. As shown in FIG. 2, the clustering step sets one of a plurality of projection devices as a reference projection device (S101). And calculating relative conversion information between the reference projection device and a projection device adjacent to the reference projection device (S103).
ステップ（Ｓ１０１）及びステップ（Ｓ１０３）についての本格的な説明に先立って、本ステップでは、まず、クラスタリングされる複数の投影装置の投影領域が部分的に重なるように配列されることを前提としている。上述したように、本発明は、複数の投影装置により一つの投影面にそれぞれのイメージを投影させるが、これらの投影されたイメージが全体的に一つの完成イメージを実現することを目的とする。したがって、図３に示すように、本発明で述べられる複数の投影装置は、投影領域の一部が重なったまま配列されることを前提としている。 Prior to the full explanation of step (S101) and step (S103), this step is based on the premise that the projection areas of a plurality of projection devices to be clustered are arranged so as to partially overlap. . As described above, an object of the present invention is to project each image on one projection surface by a plurality of projection devices, and an object of these projection images is to realize a complete image as a whole. Therefore, as shown in FIG. 3, the plurality of projection devices described in the present invention are based on the premise that the projection regions are arranged with a part thereof overlapping.
この場合、隣接する投影装置の投影領域は、好ましくは、４つの頂点と４本の辺を持つ長四角形状に重なっていてもよい。投影装置間の相対的変換情報を演算するためには、少なくとも４つ以上の点対応情報（ｐｏｉｎｔ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｉｎｆｏｒｍａｔｉｏｎ）が必要である。これは、上述のように投影領域の一部が四角形状に重なっていれば、点対応情報を容易に抽出することができるからである。また、重なった投影領域が四角形であれば、重複投影領域を比較的明瞭に特定することができるため、当該領域に対するイメージ補正（例えば、エッジブレンディングやブラックオフセットなど）を容易に行うことができる。しかし、隣接する投影装置の投影領域は、必ずしも特定の幾何学的形状（例えば、長方形）に限定されるものではなく、投影装置の配置状態に応じて様々な形状に重なり合ってもよい。 In this case, the projection regions of adjacent projection devices may preferably overlap in a rectangular shape having four vertices and four sides. In order to calculate relative conversion information between projection devices, at least four or more point correspondence information is required. This is because the point correspondence information can be easily extracted if a part of the projection area overlaps with the rectangular shape as described above. Further, if the overlapping projection area is a quadrangle, the overlapping projection area can be identified relatively clearly, so that image correction (for example, edge blending or black offset) for the area can be easily performed. However, the projection regions of adjacent projection devices are not necessarily limited to a specific geometric shape (for example, a rectangle), and may overlap with various shapes according to the arrangement state of the projection devices.
再びステップ（Ｓ１０１）の説明に戻ると、投影管理装置は、複数の投影装置のうちのいずれか一つの投影装置を基準投影装置と設定する。この場合、基準投影装置は、特別な条件により限定されるものではなく、前記複数の投影装置のうちから自由に設定されてもよい。 Returning to the description of step (S101), the projection management device sets any one of the plurality of projection devices as the reference projection device. In this case, the reference projection device is not limited by special conditions, and may be freely set from among the plurality of projection devices.
基準投影装置を設定する理由と関連して、平面投影面でのクラスタリングの場合（図３の投影面を平面と仮定した場合）、隣接するＰ１とＰ３、そしてＰ１とＰ２の対応点をマッチングして相対的なホモグラフィを演算すると、演算された２つのホモグラフィを組み合わせることで、Ｐ２とＰ３間の相対的な関係を自動的に取得することができる。しかし、曲面投影面でのクラスタリングの場合、曲面の正確な幾何学的情報を知ることができないため、隣接するすべての投影装置のペアに対して対応点を必ず入力しなければならない。 In connection with the reason for setting the reference projection device, in the case of clustering on a plane projection plane (assuming the projection plane in FIG. 3 is a plane), adjacent P1 and P3, and corresponding points of P1 and P2 are matched. When the relative homography is calculated by the calculation, the relative relationship between P2 and P3 can be automatically obtained by combining the calculated two homography. However, in the case of clustering on a curved surface projection surface, since accurate geometric information of the curved surface cannot be known, corresponding points must be input to all pairs of adjacent projection devices.
その結果、平面でのクラスタリングとは異なり、曲面でのクラスタリングの場合には、循環対応関係（例えば、Ｐ１⇔Ｐ２⇔Ｐ３）が生成される。ある一方向への相対的変換情報のみを演算する場合、すなわち、Ｐ１→Ｐ２方向の相対的変換情報のみを演算する場合には、Ｐ２→Ｐ３方向の演算結果に必然的に影響を与えるため、平面のように独立した演算が困難であるという問題がある。本発明では、これを解決するために、基準投影装置を選定した後、すべての投影装置について順次相対的変換情報を演算する。 As a result, unlike clustering on a plane, in the case of clustering on a curved surface, a cyclic correspondence (for example, P1⇔P2⇔P3) is generated. When only the relative conversion information in one direction is calculated, that is, when only the relative conversion information in the P1 → P2 direction is calculated, the calculation result in the P2 → P3 direction is inevitably affected. There is a problem that independent calculation is difficult like a plane. In the present invention, in order to solve this, after selecting a reference projection device, relative conversion information is sequentially calculated for all projection devices.
次に、ステップ（Ｓ１０３）は、基準投影装置と隣接する投影装置間の相対的変換情報を演算するステップである。本発明では、相対的変換情報の演算にＴＰＳ（Ｔｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅ、薄板スプライン）を使用する。ＴＰＳは、分散データ内補（Ｓｃａｔｔｅｒｅｄ Ｄａｔａ Ｉｎｔｅｒｐｏｌａｔｉｏｎ、分散データ補間）のために、コンピュータグラフィックス及びコンピュータビジョンにおいて使われる技法の一つである。ＴＰＳは、放射基底関数（ＲＢＦ：ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ、動径基底関数）の形で表現されるので、ユーザによって入力されプロジェクタの重複領域で不規則に生成された対応点（例えば、４つの対応点のマッチング）を効率的に処理することができ、また、ＴＢＳは、グローバルアフィン変換（ＧＡＴ：Ｇｌｏｂａｌ Ａｆｆｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）も計算されるので、重複領域の外側の残りの投影領域を外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）することもできるという利点を有する。 Next, step (S103) is a step of calculating relative conversion information between the reference projection device and an adjacent projection device. In the present invention, TPS (Thin Plate Spline) is used for calculating relative conversion information. TPS is one of the techniques used in computer graphics and computer vision for distributed data interpolation (scattered data interpolation). Since the TPS is expressed in the form of a radial basis function (RBF), corresponding points (eg, four corresponding points) input by the user and generated irregularly in the overlapping area of the projector Can be efficiently processed, and the TBS also calculates a global affine transformation (GAT), and thus extrapolates the remaining projection area outside the overlap area. It has the advantage that it can also.
ＧＡＴは、ｎ次元空間における点の対応を表すための関数であって、物体の動きを表すためのモデルの一つである。２次元空間でのＧＡＴは２＊３行列であり、以下のように定義される。 GAT is a function for representing the correspondence of points in an n-dimensional space, and is one of models for representing the motion of an object. GAT in a two-dimensional space is a 2 * 3 matrix and is defined as follows.
２次元の点に適用されるＧＡＴを用いて、２次元点ｐ＝（ｘ、ｙ）をｐ’＝（ｘ’、ｙ’）に移動させる場合、ｐ’は、以下の通りである。 If the two-dimensional point p = (x, y) is moved to p ′ = (x ′, y ′) using the GAT applied to the two-dimensional point, p ′ is as follows.
すなわち、２次元点ｐ＝（ｘ、ｙ）は、ｘ’＝ａ００＊ｘ＋ａ０１＊ｙ＋ａ０２であり、ｙ’＝ａ１０＊ｘ＋ａ１１＊ｙ＋ａ１２であるｐ’＝（ｘ’、ｙ’）に移動する。前述した方法と同様にＧＡＴを用いて全ピクセルを移動させると、投影装置により投影されたイメージが変形し、このため、重複領域の外側の残り投影領域は、外挿、すなわち推定して計算することが可能である。 That is, the two-dimensional point p = (x, y) moves to p '= (x', y ') where x' = a00 * x + a01 * y + a02 and y '= a10 * x + a11 * y + a12. When all pixels are moved using the GAT in the same manner as described above, the image projected by the projection device is deformed. Therefore, the remaining projection area outside the overlapping area is extrapolated, that is, estimated and calculated. It is possible.
図４を参照して、投影管理装置が、実際の相対的変換情報を演算する過程について説明する。重複領域内のＣｉ、Ｃｊは、ｎ台の投影装置のうちの基準投影装置とこれに隣接する投影装置との間の対応点として存在するものであり、当然のことながら、これらの対応点の数は、基準投影装置と隣接投影装置との間で同一の「ｍ」である。一方、対応点の数に関しては、従来技術において平面クラスタリングに用いられていた４つの対応点と比較して、曲面クラスタリングには、より多くの対応点が必要となる可能性がある。すなわち、既存の４つの対応点のみを用いたＴＰＳによる曲面幾何学的近似の精度はわずかに低い可能性があり、この問題を解決するために、４つの対応点に加えて、サブディビジョン（ｓｕｂｄｉｖｉｓｉｏｎ、細分化）による追加の対応点を生成することもできる。この場合、追加対応点の座標は、単に周囲の点の平均値を取るだけでよいので、投影領域の区画（メッシュ）をスムーズに維持することができる。 A process in which the projection management device calculates actual relative conversion information will be described with reference to FIG. C i and C j in the overlap region exist as corresponding points between the reference projection device and the neighboring projection devices of the n projection devices. The number of points is the same "m" between the reference projection device and the adjacent projection device. On the other hand, with regard to the number of corresponding points, more corresponding points may be required for curved surface clustering than for the four corresponding points used for plane clustering in the related art. That is, the accuracy of the curved surface geometric approximation by the TPS using only the existing four corresponding points may be slightly low, and in order to solve this problem, in addition to the four corresponding points, the subdivision (subdivision) is used. , Subdivision) can be generated. In this case, since the coordinates of the additional corresponding point need only take the average value of the surrounding points, the division (mesh) of the projection area can be maintained smoothly.
このような状態で、基準投影装置から隣接投影装置への相対的変換情報の演算と、隣接投影装置から基準投影装置への相対的変換情報の演算とは、以下の数式により行われる。 In such a state, the calculation of the relative conversion information from the reference projection device to the adjacent projection device and the calculation of the relative conversion information from the adjacent projection device to the reference projection device are performed by the following equations.
前記式１において、ｘｉは投影装置ｐｉのピクセルの位置を表し、Ｃｉｋは対応点の位置を表し、ＴＰＳ関数を定義するセンター値を意味する。また、ｗｋは、各センター値の加重値を表す。ＴＰＳは、ＲＢＦカーネル関数Φ（ｒ）としてｒ２＊ｌｏｇ ｒを使用する。 In Equation 1, x i represents the position of a pixel of the projection device p i , C i k represents the position of a corresponding point, and represents a center value defining a TPS function. W k represents a weight of each center value. TPS uses r2 * log r as the RBF kernel function Φ (r).
一方、Ａ（ｘｉ）は、ＧＡＴを表し、ｗｋ及びＡは、Ｃｊ＝ＴＰＳｉ→ｊ（Ｃｉ）に基づいて連立線形方程式を構成した後、最小二乗法（ｌｅａｓｔ ｓｑｕａｒｅ ｓｏｌｖｅｒ）を用いて計算する。最小二乗法は、多数の測定値から最も正確な値に近い値を算出する方法であり、誤差の二乗の和を最小にするために決定する方法である。 On the other hand, A (x i ) represents a GAT, w k and A form a simultaneous linear equation based on C j = TPS i → j (C i ), and then apply a least squares method (least square solver). Calculate using The least-squares method is a method of calculating a value closest to the most accurate value from a large number of measured values, and is a method of determining an error to minimize the sum of squares of the error.
４つの頂点を有する対応点メッシュは、以下の通りである。 The corresponding point mesh having four vertices is as follows.
Ｃｊ＝ＴＰＳｉ→ｊ（Ｃｉ）に基づいて連立線形方程式を構成した後、最小二乗法（ｌｅａｓｔ ｓｑｕａｒｅ ｓｏｌｖｅｒ）を用いて得られた式１のｗｋは、以下の通りである。 After constructing a simultaneous linear equation based on C j = TPS i → j (C i ), w k of the equation 1 obtained by using the least squares solver is as follows.
Ｃｊ＝ＴＰＳｉ→ｊ（Ｃｉ）に基づいて連立線形方程式を構成した後、最小二乗法（ｌｅａｓｔ ｓｑｕａｒｅ ｓｏｌｖｅｒ）を用いて得られた数式１のＡは、以下の通りである。 After constructing a system of linear equations based on C j = TPS i → j (C i ), A in Equation 1 obtained by using the least squares solver is as follows.
投影装置ｉのｘｉが（１０４３．０１、６４０．１３１）である場合には、 相対的変換情報であるｘｊは、数式１により（２１６０．５７、６１１．８３９）と算出される。 If x i of the projection apparatus i is (1043.01,640.131) is x j is relative transformation information is calculated by Equation 1 and (2160.57,611.839).
一方、ステップ（Ｓ１０３）で基準投影装置と隣接する投影装置との間の相対的変換情報を演算した後、演算結果値であるＴＰＳｉ→ｒｅｆを用いて対応点を基準投影装置の座標に更新する（Ｓ１０５）。すなわち、基準投影装置の制御のみで隣接投影装置の投影領域を制御できるように、相対的変換情報を用いて対応点を基準投影装置に適用させる。 On the other hand, after calculating the relative conversion information between the reference projection device and the adjacent projection device in step (S103), the corresponding point is updated to the coordinates of the reference projection device by using the calculation result value TPS i → ref. (S105). That is, the corresponding point is applied to the reference projection device using the relative conversion information so that the projection area of the adjacent projection device can be controlled only by the control of the reference projection device.
ステップ（Ｓ１０１）〜ステップ（Ｓ１０５）では、基準投影装置及びこれに隣接する投影装置との間で繰り返し行われる。すなわち、基準投影装置を中心に隣接している投影装置に対して、ステップ（Ｓ１０３）とステップ（Ｓ１０５）が繰り返し行われる。 Steps (S101) to (S105) are repeatedly performed between the reference projection apparatus and the adjacent projection apparatus. That is, the step (S103) and the step (S105) are repeatedly performed on a projection apparatus adjacent to the reference projection apparatus.
図５は、クラスタリングステップの後の複数の投影装置による投影領域を例示的に示す図である。同図に示すように、最も左側の投影装置は、比較的平面の投影領域を有し、 投影装置は、右側に行くほど曲面になっており、最も右側の投影装置は、主に曲面を多く含む投影領域を有することが分かる。また、左端の投影装置と右端の投影装置との間には、左端の投影装置から右端の投影装置までの投影領域を曲面で滑らかに連結する投影装置が存在することが確認できる。このように、本発明では、非定型曲面に対して、複数の投影装置の投影領域に基づいて相対的変換情報を演算し、これにより複数の投影装置を一つのクラスタとして定義することができる。 FIG. 5 is a diagram exemplarily showing a projection area by a plurality of projection devices after the clustering step. As shown in the figure, the leftmost projection device has a relatively flat projection area, the projection device has a curved surface toward the right side, and the rightmost projection device mainly has many curved surfaces. It can be seen that the projection area includes the projection area. Also, it can be confirmed that there is a projection device between the leftmost projection device and the rightmost projection device that smoothly connects a projection area from the leftmost projection device to the rightmost projection device on a curved surface. As described above, in the present invention, relative transformation information is calculated for an atypical curved surface based on the projection areas of a plurality of projection devices, whereby the plurality of projection devices can be defined as one cluster.
以上、図２乃至図５を参照して投影装置をクラスタリングするステップについて説明した。 The steps for clustering the projection devices have been described with reference to FIGS.
以下では、図６乃至図８を参照して、第２ステップである、イメージを曲面の投影領域にマッチングさせるステップについて説明する。 Hereinafter, the step of matching the image to the projection area of the curved surface, which is the second step, will be described with reference to FIGS.
図６によれば、第２ステップは、投影装置クラスタにより投影されるイメージの最も外側から任意の数の初期点を抽出するステップ（Ｓ２０１）と、投影されるイメージ内の複数の制御点を設定し、前記複数の制御点を連結することで領域を複数のサブイメージ領域に区画する、いわゆるサブディビジョン（ｓｕｂｄｉｖｉｓｉｏｎ、細分化）するステップ（Ｓ２０３）と、前記初期点及び前記制御点を曲面の投影領域の形状にマッチングするように位置を調整するステップ（Ｓ２０５）と、を含む。 According to FIG. 6, the second step is a step of extracting an arbitrary number of initial points from the outermost side of the image projected by the projection device cluster (S201), and setting a plurality of control points in the projected image. A step of dividing the area into a plurality of sub-image areas by connecting the plurality of control points, that is, a so-called subdivision (S203); and projecting the initial point and the control points onto a curved surface. Adjusting the position to match the shape of the region (S205).
図７は、従来の平面投影面を前提としたときのイメージ領域配置方式と、本発明に係る曲面投影面におけるイメージ領域配置方式と、を比較したものである。図７の（ａ）に示すように、平面へのイメージ領域の配置時には、４つの点のみで投影領域とイメージとをマッチングさせることが可能であったが、曲面へのイメージ領域の指定時には、平面のように４点を調整するだけでは不十分である。これは、４つの点によるホモグラフィの推定は、任意の幾何学的曲面に近似していないからである。したがって、これを解決するために、図７の（ｂ）に示すように、より多くの点、すなわち、制御点を活用する必要がある。 FIG. 7 shows a comparison between a conventional image area arrangement method based on a plane projection plane and an image area arrangement method on a curved projection plane according to the present invention. As shown in FIG. 7A, when the image area is arranged on the plane, the projection area and the image can be matched only with four points, but when the image area is designated on the curved surface, Adjusting four points like a plane is not enough. This is because the homography estimation by four points does not approximate any geometric surface. Therefore, to solve this, it is necessary to utilize more points, that is, control points, as shown in FIG.
ステップ（Ｓ２０１）において、投影管理装置は、既にクラスタリングされた投影装置クラスタについて、当該クラスタの投影領域内の初期点を優先的に把握する。 In step (S201), the projection management apparatus preferentially grasps the initial point in the projection region of the cluster of the projection apparatus cluster that has already been clustered.
図７の（ｂ）に示すように、投影管理装置は、イメージ領域の境界を優先的に把握するために、初期点を選択する。この際、初期点は、好ましくは、イメージの最も外側を形成する線分の中から選択することができ、より好ましくは、イメージ領域の頂点をそれぞれの初期点として選択することができる。このように選択された初期点は、イメージ領域とクラスタによる投影領域とをマッチングさせるために基準となる点である。図８の（ａ）には、曲面で構成されたクラスタの投影領域と、これにマッチングするための原本イメージとがそれぞれ示されている。図８の（ｂ）に示すように、イメージの最も外側の初期点を投影領域とマッチングするように調整する。 As shown in FIG. 7B, the projection management apparatus selects an initial point in order to preferentially grasp the boundary of the image area. At this time, the initial point can be preferably selected from among the line segments forming the outermost part of the image, and more preferably, the vertices of the image area can be selected as the respective initial points. The initial point selected in this way is a reference point for matching the image area and the projection area by the cluster. FIG. 8A shows a projection area of a cluster formed by a curved surface and an original image for matching the projection area. As shown in FIG. 8B, the outermost initial point of the image is adjusted to match the projection area.
ステップ（Ｓ２０３）において、投影管理装置は、投影されるイメージ領域内に複数の制御点を配置し、前記複数の制御点を連結することで領域を複数のサブイメージ領域に区画する。これは、いわゆるサブディビジョン（ｓｕｂｄｉｖｉｓｉｏｎ、細分化）を意味するものであり、所定のイメージ領域をサブイメージ領域に細分化するステップである。 In step (S203), the projection management device arranges a plurality of control points in the image area to be projected, and divides the area into a plurality of sub-image areas by connecting the plurality of control points. This means a so-called subdivision (subdivision), and is a step of subdividing a predetermined image area into subimage areas.
図７の（ｂ）は、イメージ内に仮想線を縦横に配置し、その上に複数の制御点を配置した実施形態を示している。この際、制御点は、等間隔で配置されることが好ましい。図８の（ｂ）は、複数の制御点がクラスタの投影領域、すなわち曲面の投影領域とマッチングされるように、その位置が調整された状態を示している。このように、イメージ上に配置された初期点及び制御点を、クラスタの投影領域とマッチングさせるために、その位置を調整することができる。初期点及び制御点の数が多いほど、非定型曲面形状に合わせてより正確にマッチングすることが可能となる。 FIG. 7B shows an embodiment in which virtual lines are arranged vertically and horizontally in an image, and a plurality of control points are arranged thereon. At this time, the control points are preferably arranged at equal intervals. FIG. 8B shows a state where the positions of the plurality of control points have been adjusted so as to be matched with the projection region of the cluster, that is, the projection region of the curved surface. In this way, the positions of the initial point and the control point arranged on the image can be adjusted in order to match the initial point and the control point with the projection area of the cluster. The greater the number of initial points and control points, the more accurately matching can be performed according to the irregular shaped surface shape.
一方、投影管理装置は、初期点または制御点の位置を調整するとともに、各サブイメージ（ｃｅｌｌ）内に含まれる内部ピクセルの座標を決定する。この場合、座標を決定するためには、バイリニア補間（ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）法を用いることが望ましい。これは、曲面の正確な幾何学的形状が未知の状態で各サブイメージセル単位が線形（ｌｉｎｅａｒ）であると仮定すると、他の補間法に比べて最も安定した結果が得られるからである。 Meanwhile, the projection management device adjusts the position of the initial point or the control point, and determines the coordinates of an internal pixel included in each sub-image (cell). In this case, it is desirable to use a bilinear interpolation method to determine the coordinates. This is because assuming that each sub-image cell unit is linear in a state where the exact geometric shape of the curved surface is unknown, the most stable result can be obtained as compared with other interpolation methods.
バイリニア補間法は、１次元の線形補間（ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を２次元の線形補間に拡張したものである。 The bilinear interpolation method is an extension of one-dimensional linear interpolation to two-dimensional linear interpolation.
以上、図６乃至図８を参照して、イメージ領域を曲面の投影領域にマッチングさせる第２ステップについて説明した。 The second step of matching the image area with the projection area of the curved surface has been described above with reference to FIGS.
一方、本発明に係る投影管理装置は、第１ステップ及び第２ステップのクラスタリング及びイメージ領域マッチングの後にも、追加機能を実行することができ、例えば、投影装置別に微調整を行うことができる。 On the other hand, the projection management apparatus according to the present invention can execute an additional function even after the clustering and the image area matching in the first step and the second step, and for example, can perform fine adjustment for each projection apparatus.
まず、投影装置別の微調整機能に関連して、投影管理装置は、クラスタリング及びイメージ領域マッチング後の対応点の誤差や投影装置のレンズ歪みに起因する微細なキャリブレーション誤差を補正するために、投影装置別に微調整ステップを行ってもよい。 First, in relation to the fine adjustment function of each projection device, the projection management device, in order to correct a fine calibration error caused by lens distortion of the projection device and errors of corresponding points after clustering and image region matching, A fine adjustment step may be performed for each projection device.
微調整では、平面微調整方法と曲面微調整方法とで若干の違いがある。 In the fine adjustment, there is a slight difference between the plane fine adjustment method and the curved surface fine adjustment method.
平面微調整の場合には、初期値として４つの初期点または制御点が与えられ、これらの４つの初期点または制御点を調整することによって追加のホモグラフィ（ｈｏｍｏｇｒａｐｈｙ）を用いたキーストーン補正（台形補正）を行うことができる。一方、キーストーン補正により補正するのが難しいレンズ歪みや局所補正は、サブディビジョン（細分化）によって制御点の数を増やすことによって補正される。特に、レンズ歪みなどの非線形補正は、前述の曲面クラスタリングにおいて説明された数式１により行われる。 In the case of plane fine adjustment, four initial points or control points are given as initial values, and a keystone correction using an additional homography (adjustment of these four initial points or control points) using an additional homography (homography) is performed. Keystone correction). On the other hand, lens distortion and local correction that are difficult to correct by keystone correction are corrected by increasing the number of control points by subdivision (subdivision). In particular, the non-linear correction such as lens distortion is performed by Expression 1 described in the above-described curved surface clustering.
ホモグラフィは、３次元平面の回転とサイズの変化を表すことができる行列（マトリックス）であり、投影装置がイメージを斜めに投影したときに生じるイメージの歪みを補正するために用いられる。ホモグラフィは３＊３の行列で、以下のように定義される。 Homography is a matrix that can represent the rotation and size change of a three-dimensional plane, and is used to correct image distortion that occurs when a projection device projects an image obliquely. Homography is a 3 * 3 matrix, defined as follows:
２次元点ｐ＝（ｘ、ｙ）にホモグラフィを適用してｐ＝（ｘ、ｙ）をｐ’＝（ｘ’、ｙ’）に移動させる場合、ｘ’とｙ’は以下の通りである。 If homography is applied to the two-dimensional point p = (x, y) to move p = (x, y) to p ′ = (x ′, y ′), x ′ and y ′ are as follows: is there.
ｐ’＝（ｘ’、ｙ’）はホモグラフィによって変形された点である。前記方法を全ピクセルに適用して移動させると、投影装置で投影されたイメージが変形する可能性がある。 p ′ = (x ′, y ′) is a point transformed by homography. When the method is applied to all pixels and moved, the image projected by the projection device may be deformed.
一方、曲面微調整の場合、投影管理装置は、既にマッチングされて配置されたイメージ領域上に補正用制御点を自動的に生成する。イメージ領域内の補正用制御点が連結されると、各区画領域が生成され、グリッドメッシュが形成される。このようなグリッドメッシュは、前述の「基準投影装置」を基準に配置される。したがって、グリッドメッシュ上の補正用制御点の位置は、以下の数式２のように求められる。 On the other hand, in the case of the curved surface fine adjustment, the projection management device automatically generates a correction control point on an image area that has been already matched and arranged. When the correction control points in the image area are connected, each section area is generated, and a grid mesh is formed. Such a grid mesh is arranged on the basis of the aforementioned “reference projection device”. Therefore, the position of the correction control point on the grid mesh is obtained as in the following Expression 2.
ＴＰＳｒｅｆ→ｉ（基準投影装置から投影装置Ｐｉへのマッピング関数）は、前述の第１ステップで説明した相対的変換情報の演算結果である。各投影装置に対して、個々の投影領域内のサブディビジョンによるサブイメージ領域（ｃｅｌｌ）の補正用制御点は、前記数式２によって決定されてもよい。その結果、各投影装置に対しては、クラスタの投影領域に配置された制御点（またはグリッドメッシュ）の一部を、補正用制御点（または補正用グリッドメッシュ）として取っても良い。 TPS ref → i (mapping function from the reference projection device to the projection device Pi) is a calculation result of the relative conversion information described in the first step. For each projection device, a control point for correcting a sub-image area (cell) in a sub-division within each projection area may be determined by Equation (2). As a result, for each projection device, a part of the control points (or grid mesh) arranged in the projection area of the cluster may be taken as the correction control points (or correction grid mesh).
以上、投影管理装置が曲面の投影面にイメージを投影するまでの過程について説明した。以下では、図９乃至１０を参照して、本発明の一実施形態に係る曲面へのイメージ投影システムについて説明する。 The process until the projection management device projects the image on the curved projection surface has been described above. Hereinafter, a system for projecting an image onto a curved surface according to an embodiment of the present invention will be described with reference to FIGS.
後述する曲面へのイメージ投影システムは、前述した「曲面へのイメージ投影方法」を実現するための例示的なシステムであり、したがって、たとえカテゴリは異なるとしても、前記「曲面へのイメージ投影方法」に関連して上述した特徴は、後述する曲面へのイメージ投影システムにも当然類推適用することができる。 The system for projecting an image onto a curved surface described below is an exemplary system for realizing the above-described “method of projecting an image onto a curved surface”. Therefore, even if the category is different, the “projecting an image onto a curved surface” is performed. The features described above in relation to are naturally applicable by analogy to a system for projecting an image onto a curved surface described later.
図９を参照すると、本発明の一実施形態に係る曲面へのイメージ投影システムは、２つ以上の投影装置クラスタと、前記２つ以上の投影装置クラスタの動作を制御及び管理する投影管理装置と、を含んでいてもよい。 Referring to FIG. 9, a system for projecting an image onto a curved surface according to an embodiment of the present invention includes two or more projection device clusters, and a projection management device that controls and manages operations of the two or more projection device clusters. May be included.
前記２つ以上の投影装置クラスタは、上映館に設けられる多数の投影装置がグループ化されてなる構成要素である。ここで、各投影装置クラスタは、各集団別に複数の投影装置１００を含んでいてもよい。 The two or more projection device clusters are components formed by grouping a large number of projection devices provided in a theater. Here, each projection device cluster may include a plurality of projection devices 100 for each group.
前記上映館に設けられる多数の投影装置をグループ化する過程は、様々な方法で実行してもよいが、好ましくは、前記上映館に形成される投影面情報に基づいて多数の投影装置をグループ化してもよい。例えば、上映館が複数の投影面を有する多面上映館であり、上映館内部に「正面投影面、左側面投影面、右側面投影面、天井投影面、底面投影面」が形成されるとすると、上映館に設けられる多数の投影装置は、「正面投影面に映像を投影する集団、左側面投影面に映像を投影する集団、右側面投影面に映像を投影する集団、天井投影面に映像を投影する集団、底面投影面に映像を投影する集団」にグループ化されてもよい。すなわち、特定の投影面に映像を同時に投影する複数の投影装置を一つの集団（Ｃｌｕｓｔｅｒ：クラスタ）にグループ化してもよい。 The process of grouping a plurality of projection devices provided in the screening hall may be performed in various ways, but preferably, the grouping of the plurality of projection devices based on projection plane information formed in the screening hall is performed. It may be. For example, if the screening hall is a multi-sided screening hall having a plurality of projection planes, and `` a front projection plane, a left projection plane, a right projection plane, a ceiling projection plane, and a bottom projection plane '' are formed in the screening hall. Many projection devices installed in the screening hall are composed of a group that projects images on the front projection plane, a group that projects images on the left projection plane, a group that projects images on the right projection plane, and an image that is projected on the ceiling projection plane. And a group that projects images onto the bottom projection plane. That is, a plurality of projection devices that simultaneously project an image on a specific projection plane may be grouped into one group (Cluster).
図９は、上映館に設けられる多数の投影装置を３つの集団（クラスタＡ、クラスタＢ、クラスタＣ）にグループ化した例を示している。この場合、前記３つの集団は、様々な方法で形成されてもよいが、好ましくは、前述したように上映館に形成される投影面の情報に基づいて形成されてもよい。例えば、クラスタＡは、左投影面に映像を投影する投影装置をグループ化して形成し、クラスタＢは、正面投影面に映像を投影する投影装置をグループ化して形成し、クラスタＣは、右側投影面に映像を投影する投影装置をグループ化して形成してもよい。 FIG. 9 shows an example in which a large number of projection devices provided in a screening hall are grouped into three groups (cluster A, cluster B, and cluster C). In this case, the three groups may be formed by various methods. However, preferably, the three groups may be formed based on information on the projection plane formed in the exhibition hall as described above. For example, cluster A is formed by grouping projection devices that project images on the left projection plane, cluster B is formed by grouping projection devices that project images on the front projection surface, and cluster C is formed by grouping right projection devices. Projection devices that project an image on a surface may be grouped and formed.
前記投影管理装置は、前記２つ以上の投影装置クラスタを制御し、管理する構成要素である。具体的には、前記投影管理装置は、上映館に設けられる多数の投影装置を集団（クラスタ）単位で制御したり、各投影装置を個別に制御したりすることが可能である。 The projection management device is a component that controls and manages the two or more projection device clusters. Specifically, the projection management device can control a large number of projection devices provided in the exhibition hall in a unit of a group (cluster) or individually control each projection device.
一方、前記投影管理装置は、様々な電子装置の形態で実現されてもよい。一つの電子装置として実現されてもよく、種々の電子装置が相互に連結された形態で実現されてもよい。例えば、前記投影管理装置は、一つのサーバ（ｓｅｒｖｅｒ）装置を含む形態で実現されてもよく、２つ以上のサーバが相互に連結された形態で実現されてもよい。また、前記投影管理装置は、サーバと他の電子装置とが相互に連結された形態で実現されてもよく、サーバ以外の他の電子装置によって実現されてもよい。また、前記投影管理装置は、ユーザインタフェースのための入力装置及び出力装置を含む形態で実現されてもよい。 Meanwhile, the projection management device may be realized in various electronic device forms. It may be implemented as one electronic device, or various electronic devices may be implemented in an interconnected form. For example, the projection management apparatus may be implemented in a form including one server apparatus, or may be implemented in a form in which two or more servers are interconnected. Further, the projection management device may be realized in a form in which a server and another electronic device are interconnected, or may be realized by another electronic device other than the server. Further, the projection management device may be realized in a form including an input device and an output device for a user interface.
以下、図１０を参照して、前記投影管理装置に含まれる詳細な構成要素の例について説明する。 Hereinafter, with reference to FIG. 10, an example of detailed components included in the projection management device will be described.
図１０に示すように、前記投影管理装置は、演算部１１００、記憶部１２００、投影装置管理部１３００、通信部１４００、ユーザインタフェース部１５００、カメラ部１６００、及び制御部１７００などの構成要素を含んでいてもよく、このような構成要素に加えて、投影装置クラスタを管理するための様々な構成要素をさらに含んでいてもよい。 As shown in FIG. 10, the projection management device includes components such as a calculation unit 1100, a storage unit 1200, a projection device management unit 1300, a communication unit 1400, a user interface unit 1500, a camera unit 1600, and a control unit 1700. And, in addition to such components, may further include various components for managing the projection device cluster.
演算部１１００は、前記２つ以上の投影装置クラスタに対して、各集団（クラスタ）別に投影装置の相対的変換情報を演算し、管理する構成要素である。 The calculation unit 1100 is a component for calculating and managing relative conversion information of the projection device for each group (cluster) for the two or more projection device clusters.
演算部１１００は、各集団（クラスタ）に対して、各集団に含まれる複数の投影装置の投影領域が重なった状態で、各集団の基準投影装置と残りの投影装置との間の相対的変換情報を演算することができる。 The arithmetic unit 1100 performs relative conversion between the reference projection device of each group and the remaining projection devices in a state where the projection regions of the plurality of projection devices included in each group overlap each group (cluster). Information can be calculated.
各投影装置間の相対的変換情報を演算する過程については前述したので、以下では詳細な説明を省略する。 Since the process of calculating the relative conversion information between the projection devices has been described above, a detailed description will be omitted below.
前記記憶部１２００は、本発明に係る曲面へのイメージ投影システムに関する様々な情報を保存する構成要素である。特に、前記記憶部１２００は、演算部１１００により生成される相対的変換情報を保存することができ、データベース（ＤＢ）化することができる。この場合、前記記憶部１２００は、集団（クラスタ）単位で識別子を付与して相対的変換情報をＤＢ化することができ、各集団に含まれる個々の投影装置にも識別子を付与して変換情報をＤＢ化することができる。 The storage unit 1200 is a component that stores various information related to the system for projecting an image onto a curved surface according to the present invention. In particular, the storage unit 1200 can store the relative conversion information generated by the calculation unit 1100, and can make a database (DB). In this case, the storage unit 1200 can convert the relative conversion information into a DB by assigning an identifier for each group (cluster), and assign an identifier to each of the projection devices included in each group. Can be converted to a DB.
また、前記記憶部１２００は、前述した様々なデータを一時的または恒久的に保存してもよいし、各種メモリ（Ｍｅｍｏｒｙ）素子を含む形態で構成されてもよい。 In addition, the storage unit 1200 may temporarily or permanently store the various data described above, or may be configured to include various memory devices.
前記投影装置管理部１３００は、前記２つ以上の投影装置集団に含まれる多数の投影装置の動作を制御する構成要素である。具体的には、前記投影装置管理部１３００は、上映館に設けられる各投影装置のレンズやボディなどを制御することができ、この制御により各投影装置の投影方向を制御する構成要素である。 The projection device management unit 1300 is a component that controls the operation of many projection devices included in the two or more projection device groups. Specifically, the projection device management unit 1300 is a component that can control a lens, a body, and the like of each projection device provided in the exhibition hall, and controls a projection direction of each projection device by this control.
前述したように、前記演算部１１００が各集団（クラスタ）に対して相対的変換情報を演算するためには、各集団に含まれる投影装置の投影領域が互いに重なった状態で配置（隣接する投影装置の投影領域が、好ましくは、四角形状に重なった状態で配置）される必要があり、前記投影装置管理部１３００の動作によりこのような配置状態が制御されてもよい。 As described above, in order for the calculation unit 1100 to calculate the relative conversion information for each group (cluster), the projection regions of the projection devices included in each group are arranged in an overlapping state (adjacent projections). It is necessary that the projection areas of the apparatus are preferably arranged in a state of overlapping in a rectangular shape), and such an arrangement state may be controlled by the operation of the projection apparatus management unit 1300.
一方、前記投影装置管理部１３００は、様々な情報に基づいて各集団（クラスタ）に含まれる投影装置を制御してもよい。例えば、前記投影装置管理部１３００は、前記ユーザインタフェース部１５００を介して入力される情報、前記カメラ部１６００により生成される情報、前記通信部２４０を介して伝えられる情報などに基づいて前記投影装置の動作を制御することができる。また、前記投影装置管理部１３００は、これらの情報を複合的に考慮して、投影装置の投影方向を制御することもでき、このような動作により制御の精度をさらに高めることもできる。 On the other hand, the projection device management unit 1300 may control the projection devices included in each group (cluster) based on various information. For example, the projection device management unit 1300 may control the projection device based on information input via the user interface unit 1500, information generated by the camera unit 1600, information transmitted via the communication unit 240, and the like. Can be controlled. In addition, the projection apparatus management unit 1300 can control the projection direction of the projection apparatus by considering these pieces of information in a complex manner, and the operation can further increase the control accuracy.
前記通信部１４００は、システムの動作に関わる様々な情報を送受信するための構成要素である。前記投影管理装置は、このような通信部１４００を介して、上映館に設けられる多数の投影装置、多数の上映装備、ユーザ端末、外部のサーバ装置などと有線または無線で接続可能であり、システム運営に必要な様々な情報を送受信することができる。 The communication unit 1400 is a component for transmitting and receiving various information related to the operation of the system. The projection management device can be connected to a large number of projection devices, a large number of screening equipment, user terminals, external server devices, and the like, via a communication unit 1400, in a wired or wireless manner. Various information required for operation can be transmitted and received.
一方、前記通信部１４００は、各種の有線または無線の送受信モジュール（Ｔｒａｎｓｃｅｉｖｅｒ：トランシーバ）を含み得、様々な通信規格の有線通信網または無線通信網を介してデータを送受信することができる。 Meanwhile, the communication unit 1400 may include various wired or wireless transmission / reception modules (Transceiver), and can transmit and receive data through a wired or wireless communication network of various communication standards.
前記ユーザインタフェース部１５００は、ユーザとインタフェースする環境を実現する構成要素である。斯かる前記ユーザインタフェース部１５００は、様々な入力装置、ディスプレイ装置、音声出力装置などを含み得、ユーザからシステム制御に基礎となる情報の入力を受けたり、システムに関連する様々な情報を提供したりすることができる。 The user interface unit 1500 is a component that implements an environment for interfacing with a user. The user interface unit 1500 may include various input devices, a display device, an audio output device, and the like, receive input of information that is basic for system control from a user, and provide various information related to the system. Or you can.
一方、前記投影装置管理部１３００が、前記ユーザインタフェースを介して入力される情報に基づいて投影装置の動作を制御する場合、前記ユーザインタフェース部１５００は、重複投影領域の識別に役に立つ様々な視覚機能を実現することができる。例えば、前記ユーザインタフェース部１５００は、重複投影領域を形成する２つの隣接する投影装置の投影領域のみ表示し、残りの投影装置の投影領域は表示しない機能、隣接する投影装置の投影領域を互いに異なる色（例えば、青、赤）で表示する機能、重複投影領域の対応点を視覚的に表示する機能などを実現することができる。 On the other hand, when the projection device management unit 1300 controls the operation of the projection device based on information input via the user interface, the user interface unit 1500 may include various visual functions useful for identifying overlapping projection regions. Can be realized. For example, the user interface unit 1500 displays only the projection areas of two adjacent projection apparatuses that form an overlapping projection area and does not display the projection areas of the remaining projection apparatuses. The projection areas of the adjacent projection apparatuses are different from each other. It is possible to realize a function of displaying colors (for example, blue and red), a function of visually displaying corresponding points in the overlapping projection area, and the like.
前記カメラ部１６００は、上映館内部に設けられ、上映館内部の様々な視覚情報を感知（Ｓｅｎｓｉｎｇ）したり、感知された視覚情報を映像化したりする構成要素である。斯かる前記カメラ部１６００は、様々なカメラモジュールを含み得る。 The camera unit 1600 is provided in the inside of the screening hall, and is a component that senses various visual information of the inside of the screening hall and visualizes the sensed visual information. The camera unit 1600 may include various camera modules.
特に、前記カメラ部１６００は、上映館に設けられる各投影装置が映像を投影する投影領域を認識することができ、且つ、隣接する２つ以上の投影装置が形成する重複投影領域を視覚的に認識することができる。さらに、カメラ部１６００は、このような情報を前記投影装置管理部１３００に伝達して、投影装置の動作を制御するための基礎情報として活用できるようにする。 In particular, the camera unit 1600 can recognize a projection area where each projection device provided in the exhibition hall projects an image, and visually recognizes an overlapping projection area formed by two or more adjacent projection devices. Can be recognized. Further, the camera unit 1600 transmits such information to the projection device management unit 1300 so that the information can be used as basic information for controlling the operation of the projection device.
前記制御部１７００は、前記演算部１１００、前記記憶部１２００、前記投影装置管理部１３００、前記通信部１４００、前記ユーザインタフェース部１５００、前記カメラ部１６００を含む前記投影管理装置の様々な構成要素の動作を個別にまたは複合的に制御する構成要素である。 The control unit 1700 includes various components of the projection management device including the calculation unit 1100, the storage unit 1200, the projection device management unit 1300, the communication unit 1400, the user interface unit 1500, and the camera unit 1600. A component that controls the operation individually or in combination.
斯かる前記制御部１７００は、少なくとも一つの演算手段を含んでいてもよい。この場合、前記演算手段は、汎用中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）であってもよいが、ある特定用途向けのプログラマブルデバイス （ＣＰＬＤ：Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、オンデマンド半導体演算装置（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）またはマイクロコントローラチップであってもよい。 The control unit 1700 may include at least one calculation unit. In this case, the arithmetic means may be a general-purpose central processing unit (CPU), but may be a programmable device for a specific application (CPLD: Complex Programmable Logic Device, FPGA: Field Programmable Gate Array), and ON. It may be a demand semiconductor arithmetic device (ASIC: application-specific integrated circuit) or a microcontroller chip.
以上で説明した本発明の実施形態は、例示の目的のために開示されたものであり、 これらによって本発明が限定されるものではない。また、本発明の技術分野における通常の知識を有する者であれば、本発明の思想と範囲内で様々な修正及び変更が可能であり、このような修正及び変更は本発明の特許請求の範囲に属するものであると理解されるべきである。 The embodiments of the present invention described above have been disclosed for the purpose of illustration, and the present invention is not limited by these. In addition, various modifications and changes can be made by those having ordinary knowledge in the technical field of the present invention within the spirit and scope of the present invention, and such modifications and changes are described in the claims of the present invention. Should be understood to belong to
Claims (15)
（ａ）前記複数の投影装置の投影領域に基づいて投影装置間の相対的変換情報を演算し、前記相対的変換情報に基づいて前記複数の投影装置をグループ化して投影装置クラスタを生成するステップと、
（ｂ）前記投影装置クラスタにより投影されるイメージを曲面の投影領域にマッチングさせるステップと、
を含むことを特徴とする曲面へのイメージ投影方法。 In a method in which a projection management device projects an image on a curved surface using a plurality of projection devices,
(A) calculating relative conversion information between the projection devices based on the projection areas of the plurality of projection devices, and grouping the plurality of projection devices based on the relative conversion information to generate a projection device cluster; When,
(B) matching an image projected by the projection device cluster to a projection area of a curved surface;
A method of projecting an image onto a curved surface, comprising:
（ａ−１）前記複数の投影装置のうちのいずれか一つの投影装置を基準投影装置と設定するステップと、
（ａ−２）前記基準投影装置と、前記基準投影装置に隣接する投影装置のうちで前記投影装置クラスタに含まれる投影装置との間の相対的変換情報を演算するステップと、
を含むことを特徴とする請求項２に記載の曲面へのイメージ投影方法。 The step (a) comprises:
(A-1) setting any one of the plurality of projection devices as a reference projection device;
(A-2) calculating relative conversion information between the reference projection device and projection devices included in the projection device cluster among projection devices adjacent to the reference projection device;
The method for projecting an image on a curved surface according to claim 2, comprising:
前記基準投影装置の投影領域と前記基準投影装置に隣接する投影装置の投影領域とが部分的に重なる重複領域内において、前記基準投影装置の投影領域から対応点（Ｃｉ）を抽出し、前記基準投影装置に隣接する投影装置の投影領域から対応点（Ｃｊ）を抽出し、
前記対応点を相対的変換式に代入することで前記相対的変換情報を演算することを特徴とする請求項３に記載の曲面へのイメージ投影方法。 In the step (a-2),
Extracting a corresponding point (C i ) from the projection region of the reference projection device in an overlapping region where the projection region of the reference projection device and the projection region of the projection device adjacent to the reference projection device partially overlap; Extracting a corresponding point (C j ) from the projection area of the projection device adjacent to the reference projection device,
4. The method according to claim 3, wherein the relative conversion information is calculated by substituting the corresponding points into a relative conversion equation.
であり、
式中、ｘｉは基準投影装置のピクセル位置であり、Ｃｉ ｋは対応点メッシュの各頂点（ｖｅｒｔｅｘ）の位置であり、ｗｋは加重値であり、Ａ（ｘｉ）は大局的アフィン変換（ＧＡＴ；Ｇｌｏｂａｌ Ａｆｆｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）であることを特徴とする請求項４に記載の曲面へのイメージ投影方法。 The relative conversion equation is
And
Where x i is the pixel location of the reference projector, C i k is the location of each vertex of the corresponding point mesh, w k is the weight, and A (x i ) is the global affine The method for projecting an image on a curved surface according to claim 4, wherein the transformation is a transformation (GAT: Global Affine Transformation).
（ｂ−１）前記投影装置クラスタにより投影されるイメージの最も外側の任意数の初期点を抽出するステップと、
（ｂ−２）複数の制御点を前記投影されるイメージ内に配置し、前記複数の制御点を連結することで複数のサブイメージ領域に区画するステップと、
（ｂ−３）前記初期点及び前記制御点を曲面の投影領域の形状にマッチングさせるステップと、
を含むことを特徴とする請求項１に記載の曲面へのイメージ投影方法。 The step (b) comprises:
(B-1) extracting an arbitrary number of outermost initial points of an image projected by the projector cluster;
(B-2) arranging a plurality of control points in the projected image, and dividing the plurality of control points into a plurality of sub-image areas;
(B-3) matching the initial point and the control point to a shape of a projection area of a curved surface;
The method for projecting an image on a curved surface according to claim 1, comprising:
バイリニア補間法（ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いて行われることを特徴とする請求項７に記載の曲面へのイメージ投影方法。 The step (b-3) includes:
The method of claim 7, wherein the method is performed using a bilinear interpolation method.
上映館内の投影領域にイメージを投影する複数の投影装置と、
を含むことを特徴とする曲面へのイメージ投影システム。 Compute relative conversion information between a plurality of projection devices provided in the exhibition hall, group a plurality of projection devices based on the relative conversion information to generate a projection device cluster, and project the projection device cluster. A projection management device that matches the image to be projected to the projection area in the exhibition hall,
A plurality of projection devices for projecting an image onto a projection area in the screening hall;
A system for projecting an image onto a curved surface, comprising:
前記基準投影装置の投影領域と前記基準投影装置に隣接する投影装置の投影領域とが部分的に重なる重複領域内において、前記基準投影装置の投影領域から対応点Ｃｉを抽出し、前記基準投影装置に隣接する投影装置の投影領域から対応点Ｃｊを抽出し、前記対応点を相対的変換式に代入することで前記相対的変換情報を演算することを特徴とする請求項１１に記載の曲面へのイメージ投影システム。 The projection management device,
In the overlap region where the projection area of the projection device adjacent to the reference projection device and the projection area of the reference projection device partially overlap to extract corresponding points C i from the projection area of the reference projection apparatus, the reference projection 12. The relative conversion information is calculated by extracting a corresponding point Cj from a projection area of a projection device adjacent to the device and substituting the corresponding point into a relative conversion formula. An image projection system for curved surfaces.
であり、
式中、ｘｉは基準投影装置のピクセル位置であり、Ｃｉ ｋは対応点メッシュの各頂点（ｖｅｒｔｅｘ）の位置であり、ｗｋは加重値であり、Ａ（ｘｉ）は大局的アフィン変換（ＧＡＴ；Ｇｌｏｂａｌ Ａｆｆｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）であることを特徴とする請求項１３に記載の曲面へのイメージ投影システム。 The relative conversion equation is
And
Where x i is the pixel location of the reference projector, C i k is the location of each vertex of the corresponding point mesh, w k is the weight, and A (x i ) is the global affine 14. The system for projecting an image onto a curved surface according to claim 13, wherein the system is a transformation (GAT: Global Affine Transformation).
前記投影装置クラスタにより投影されるイメージを曲面の投影領域にマッチングさせるが、前記投影装置クラスタにより投影されるイメージの最も外側の任意数の初期点を抽出し、複数の制御点を前記投影されるイメージ内に配置し、前記複数の制御点を連結することで前記イメージを複数のサブイメージ領域に区画し、前記初期点及び前記制御点を曲面の投影領域の形状にマッチングさせることを特徴とする請求項１１に記載の曲面へのイメージ投影システム。 The projection management device,
The image projected by the projector cluster is matched to the projected area of the curved surface, but an arbitrary number of outermost initial points of the image projected by the projector cluster are extracted, and a plurality of control points are projected. The method is characterized in that the image is divided into a plurality of sub-image regions by arranging the plurality of control points in an image, and the initial points and the control points are matched with a shape of a curved projection region. An image projection system onto a curved surface according to claim 11.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160172310A KR101847996B1 (en) | 2016-12-16 | 2016-12-16 | Image projection method for a curved projection area and projection system therefor |
| KR10-2016-0172310 | 2016-12-16 | ||
| PCT/KR2017/011753 WO2018110822A1 (en) | 2016-12-16 | 2017-10-24 | Method of projecting image onto curved projection area and projection system therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020507100A true JP2020507100A (en) | 2020-03-05 |
Family
ID=61969154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019532009A Pending JP2020507100A (en) | 2016-12-16 | 2017-10-24 | Method for projecting image onto curved projection area and projection system therefor |
Country Status (6)
| Country | Link |
|---|---|
| EP (1) | EP3539289A4 (en) |
| JP (1) | JP2020507100A (en) |
| KR (1) | KR101847996B1 (en) |
| CN (1) | CN110089111A (en) |
| IL (1) | IL267087A (en) |
| WO (1) | WO2018110822A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112584116B (en) * | 2021-02-24 | 2021-06-29 | 深圳市火乐科技发展有限公司 | Projection correction method, projection correction device, storage medium and electronic equipment |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7306341B2 (en) * | 2005-02-28 | 2007-12-11 | Hewlett-Packard Development Company, L.P. | Multi-projector geometric calibration |
| US9282335B2 (en) * | 2005-03-15 | 2016-03-08 | Hewlett-Packard Development Company, L.P. | System and method for coding image frames |
| US20070291184A1 (en) * | 2006-06-16 | 2007-12-20 | Michael Harville | System and method for displaying images |
| JP4965967B2 (en) * | 2006-10-30 | 2012-07-04 | 株式会社日立製作所 | Image display system adjustment system |
| KR20140048073A (en) * | 2010-11-15 | 2014-04-23 | 스케일러블 디스플레이 테크놀로지스, 인크. | System and method for calibrating a display system using manual and semi-automatic techniques |
| KR101208767B1 (en) * | 2011-04-22 | 2012-12-05 | 한국과학기술원 | Stereoscopic image generation method, device and system using circular projection and recording medium for the same |
| DE102011076083A1 (en) * | 2011-05-18 | 2012-11-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Projection display and method for displaying an overall image for projection relief surfaces or tilted projection surfaces |
| WO2014000159A1 (en) * | 2012-06-26 | 2014-01-03 | Yan Tao | Method and device for correcting projector of multichannel visual projection system |
| CN104036475A (en) * | 2013-07-22 | 2014-09-10 | 成都智慧星球科技有限公司 | High-robustness geometric correction method adapted to random projector group and projection screen |
| KR101515368B1 (en) * | 2013-08-26 | 2015-04-27 | 씨제이씨지브이 주식회사 | Method for clustering projectors, management apparatus and system using the same |
| KR102160839B1 (en) * | 2014-09-15 | 2020-09-28 | 한국과학기술원 | Muti-projection system and method for projector calibration thereof |
-
2016
- 2016-12-16 KR KR1020160172310A patent/KR101847996B1/en active IP Right Grant
-
2017
- 2017-10-24 JP JP2019532009A patent/JP2020507100A/en active Pending
- 2017-10-24 WO PCT/KR2017/011753 patent/WO2018110822A1/en unknown
- 2017-10-24 CN CN201780077188.1A patent/CN110089111A/en not_active Withdrawn
- 2017-10-24 EP EP17880555.2A patent/EP3539289A4/en not_active Withdrawn
-
2019
- 2019-06-04 IL IL267087A patent/IL267087A/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018110822A1 (en) | 2018-06-21 |
| EP3539289A4 (en) | 2020-11-11 |
| CN110089111A (en) | 2019-08-02 |
| EP3539289A1 (en) | 2019-09-18 |
| KR101847996B1 (en) | 2018-04-12 |
| IL267087A (en) | 2019-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6569742B2 (en) | Projection system, image processing apparatus, projection method, and program | |
| JP6299124B2 (en) | Projection system, image processing apparatus, projection method, and program | |
| JP4013989B2 (en) | Video signal processing device, virtual reality generation system | |
| JP6568854B2 (en) | Multi-screen screening video generation method, storage medium thereof, and video management apparatus using the same | |
| JP5061227B2 (en) | Video signal processing apparatus and virtual reality generation system | |
| JP6423650B2 (en) | Projector clustering method, management apparatus and management system using the same | |
| US9116599B2 (en) | Systems and methods for visualizing a 3D scene using a flexible display | |
| CN104346779B (en) | Image correction method and apparatus using creation of feature points | |
| CN108737799A (en) | A kind of projecting method, apparatus and system | |
| US11962946B2 (en) | Image processing apparatus, display system, image processing method, and medium | |
| US9479747B2 (en) | Guide image generation device and method using parameters | |
| US11315306B2 (en) | Systems and methods for processing volumetric data | |
| JP2020507100A (en) | Method for projecting image onto curved projection area and projection system therefor | |
| Askarian Bajestani et al. | Scalable and view-independent calibration of multi-projector display for arbitrary uneven surfaces | |
| JP7366563B2 (en) | Image generation device, image generation method, and program | |
| JP2017215706A (en) | Video synthesis method, video acquisition device, video synthesis system, and computer program | |
| WO2015141214A1 (en) | Processing device for label information for multi-viewpoint images and processing method for label information | |
| JP4631878B2 (en) | Video signal processing device, virtual reality generation system | |
| WO2022185719A1 (en) | Information processing device, information processing method, and display device | |
| JP6326138B2 (en) | Method for expressing visible area of screening theater and management apparatus for screening information using the same | |
| CN117152244A (en) | Inter-screen relationship determination method and device, electronic equipment and storage medium | |
| JP2021157458A5 (en) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190619 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200825 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210323 |