JP2007142495A - Planar projector and planar projection program - Google Patents

Planar projector and planar projection program Download PDF

Info

Publication number
JP2007142495A
JP2007142495A JP2005329215A JP2005329215A JP2007142495A JP 2007142495 A JP2007142495 A JP 2007142495A JP 2005329215 A JP2005329215 A JP 2005329215A JP 2005329215 A JP2005329215 A JP 2005329215A JP 2007142495 A JP2007142495 A JP 2007142495A
Authority
JP
Japan
Prior art keywords
projection
image
plane
points
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005329215A
Other languages
Japanese (ja)
Inventor
Jun Shimamura
潤 島村
Hiroyuki Arai
啓之 新井
Kenichi Arakawa
賢一 荒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2005329215A priority Critical patent/JP2007142495A/en
Publication of JP2007142495A publication Critical patent/JP2007142495A/en
Pending legal-status Critical Current

Links

Landscapes

  • Projection Apparatus (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technology capable of providing information of an observation image with less distortions, by automatically determining the information providing position, even when a plurality of planes and unevenness exist in a projected plane, in a plane projector using an inexpensive system configuration. <P>SOLUTION: A cross-reference means 13 generates a prescribed pattern image, projectingly outputs the image, and determines a projection image point corresponding to an imaged image point from an imaged image, resulting from imaging a projection image to obtain a cross-reference point list; a planar division means 14 uses a planar projective transformation matrix, obtained from the cross-reference points of the cross-reference point list so as to apply clustering to imaged image points by each plane in a space; a projection region determining means 15 determines the projection region from the imaged image points clustered by each plane; and a video correction means 16 applies geometric transformation to the projected image, by using the projection region and the planar projective transformation matrix to output a geometrically transformed image to a projection unit. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、離れた位置の投影面から平面を検出し、この平面にプロジェクタ等の投影装置により画像を光学的に投影する平面投影技術に関する。   The present invention relates to a planar projection technique for detecting a plane from a projection plane at a distant position and optically projecting an image onto the plane by a projection device such as a projector.

従来のプロジェクタ等の投影装置を利用した情報提示装置の一例では、情報提示位置を自動決定し、その場所に投影される画像に歪みが生じないよう前記投影装置に入力された投影像に何らかの幾何変換を行なってから投影装置に出力することによって歪みの少ない観測像を得ることを可能としている。   In an example of an information presentation device using a projection device such as a conventional projector, an information presentation position is automatically determined, and a certain geometric shape is applied to the projection image input to the projection device so that an image projected on the location is not distorted. It is possible to obtain an observation image with little distortion by performing conversion and then outputting to the projection apparatus.

例えば、平面で構成される空間に複数の投影装置で光を投射して、これを撮像した画像を用いて投射領域、非投射領域に分割した画像から投射領域に内接する最大矩形を求める。続いて、撮像画像点に対応する投影像点を求め、対応点から平面上に存在する点同士の関係を表現する平面射影変換行列を求め、平面射影変換行列を用いて投影像に幾何変換を施し、これを投影装置へと出力することによって、投影した投影像の面積が最大となる位置に歪みの少ない観測像を情報提示することを可能としている(例えば、非特許文献１参照。)。   For example, light is projected by a plurality of projection devices into a space constituted by a plane, and a maximum rectangle inscribed in the projection area is obtained from an image obtained by capturing the light and divided into a projection area and a non-projection area. Subsequently, a projection image point corresponding to the captured image point is obtained, a plane projection transformation matrix expressing the relationship between points existing on the plane is obtained from the corresponding point, and a geometric transformation is performed on the projection image using the plane projection transformation matrix. By applying this and outputting it to the projection apparatus, it is possible to present information with a small distortion at a position where the area of the projected image is maximized (see, for example, Non-Patent Document 1).

また、例えば投影装置とは異なる位置に配置された、レーザを対象物に当てて往復時間を計測することによって対象物までの距離を求めるレーザレンジファインダを用いて投影面の３次元データを計測し、計測された３次元データから平面上に属する３次元データを選出し、選出された３次元データ群から構成される平面を情報提示位置とし、そこに投影像をテクスチャマッピングすることによって歪みの少ない観測像を情報提示することを可能としている(例えば、非特許文献２参照。)。
Ｒｅｍｅｓｈ Ｒａｓｋａｒ，Ｊｅｒｏｅｎ ｖａｎ Ｂａａｒ，Ｐａｕｌ Ｂｅａｒｄｓｌｅｙ，Ｔｈｏｍａｓ Ｗｉｌｌｗａｃｈｅｒ，Ｓｒｉｎｉｖａｓ Ｒａｏ，Ｃｌｉｆｒｏｎ Ｆｏｒｌｉｎｅｓ，「ｉＬａｍｐｓ：Ｇｅｏｍｅｔｒｉｃａｌｌｙ ａｗａｒｅ ａｎｄ ｓｅｌｆ−ｃｏｎｆｉｇｕｒｉｎｇ ｐｒｏｊｅｃｔｏｒｓ」，ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ（ＴＯＧ），ＩＳＳＮ：０７３０−０３０１，Ｖｏｌ．２２，Ｉｓｓｕｅ ３，ｐｐ．８０９−８１８，Ｊｕｌｙ ２００３ 徳田 泰久，岩崎 慎介，佐藤 洋一、「室内空間への情報投影を目的とした実環境モデルの自動獲得」、情報技術レターズ、ＦＩＴ２００２ 情報科学技術フォーラム，Ｖｏｌ．１，ｐｐ．１２９−１３０，２００２ In addition, for example, the three-dimensional data on the projection plane is measured using a laser range finder that is arranged at a position different from the projection apparatus and obtains the distance to the object by measuring the round trip time by applying the laser to the object. The three-dimensional data belonging to the plane is selected from the measured three-dimensional data, the plane composed of the selected three-dimensional data group is set as the information presentation position, and the projected image is texture-mapped there, thereby reducing distortion. It is possible to present information of an observation image (see, for example, Non-Patent Document 2).
Remesh Raskar, Jeroen van Baar, Paul Beardsley, Thomas Willwacher, Srinivas Rao, Clifron Forlines, "iLamps: Geometrically aware and self-configuring projectors", ACM Transactions on Graphics (TOG), ISSN: 0730-0301, Vol. 22, Issue 3, pp. 809-818, July 2003 Yasuhisa Tokuda, Shinsuke Iwasaki, Yoichi Sato, “Automatic acquisition of real environment models for the purpose of projecting information into indoor spaces”, Information Technology Letters, FIT2002 Information Science and Technology Forum, Vol. 1, pp. 129-130, 2002

しかしながら、非特許文献１の方法では投影装置によって投射される投影面は平面であることが前提であり、平面有無が未知の場合や投影面が複数平面から構成される場合や凹凸を含む場合には情報提示位置の決定が実現できないといった問題があった。また、非特許文献２の方法では、レーザレンジファインダを利用するため装置全体が非常に高価となるといった問題があった。   However, the method of Non-Patent Document 1 is based on the premise that the projection surface projected by the projection device is a plane, and when the presence or absence of a plane is unknown, the projection plane is composed of a plurality of planes, or includes unevenness. However, there was a problem that the information presentation position could not be determined. Further, the method of Non-Patent Document 2 has a problem that the entire apparatus becomes very expensive because a laser range finder is used.

上述したような従来技術が有する問題点に鑑みてなされたものであり、平面投影装置において、安価なシステム構成で、投影面中に複数平面や凹凸が存在する場合においても、情報提示位置を自動決定し、歪みの少ない観測像を情報提示することを可能とする技術を提供することを目的とする。   The present invention has been made in view of the problems of the prior art as described above, and in a flat projection apparatus, the information presentation position is automatically set even when there are multiple planes and irregularities in the projection plane with an inexpensive system configuration. It is an object of the present invention to provide a technique that makes it possible to determine and present information of an observation image with little distortion.

上記課題を解決するために、請求項１に記載の発明は、パターン画像を生成して該パターン画像を投影装置により投影出力し、該投影像を含む投影面を撮影装置により撮像した撮像画像から、該撮像画像点に対応する投影像点を決定し対応点リストとする対応付け手段と、前記撮像画像点を前記対応点リストの対応点から求まる平面射影変換行列を用いて空間中の平面毎にクラスタリングする平面分割手段と、前記平面毎にクラスタリングされた撮像画像点から投影領域を決定する投影領域決定手段と、前記投影領域、及び前記平面射影変換行列を用いて前記投影像を幾何変換し、該幾何変換像を投影装置へ出力する映像補正手段と、を備えることを特徴とする。   In order to solve the above-mentioned problem, the invention according to claim 1 generates a pattern image, projects and outputs the pattern image by a projection device, and captures a projection plane including the projection image from a captured image. Each plane in the space using an association unit that determines a projection image point corresponding to the captured image point and sets it as a corresponding point list, and a planar projective transformation matrix that obtains the captured image point from the corresponding point in the corresponding point list. A plane dividing means for clustering to each other, a projection area determining means for determining a projection area from captured image points clustered for each plane, the projection area, and the plane projective transformation matrix to geometrically transform the projection image. And image correction means for outputting the geometrically transformed image to the projection apparatus.

また、請求項２に記載の発明は、前記投影領域決定手段において投影領域を決定する際に、前記平面毎にクラスタリングされた撮像画像点の数が最も多いクラスタを選択し、該投影領域を構成する撮像画像点に外接する矩形を投影領域とすることを特徴とする。   According to the second aspect of the present invention, when the projection area is determined by the projection area determination means, a cluster having the largest number of captured image points clustered for each plane is selected, and the projection area is configured. A rectangle circumscribing the picked-up image point is set as a projection area.

また、請求項３に記載の発明は、前記投影領域決定手段において投影領域を決定する際に、前記平面毎にクラスタリングされた撮像画像点で構成される画像領域において内接する矩形の面積が最大となる内接矩形を決定し、該内接矩形を投影領域とすることを特徴とする。   Further, in the invention according to claim 3, when the projection area is determined by the projection area determination means, the area of the rectangle inscribed in the image area composed of the captured image points clustered for each plane is the maximum. The inscribed rectangle is determined, and the inscribed rectangle is set as a projection area.

また、請求項４に記載の発明は、前記映像補正手段において幾何変換像を生成する際に、投影領域内部を格子状に区切り、該格子点のみについて平面射影変換行列を用いて幾何変換点を求め、前記格子点以外の幾何変換点は幾何変換点を用いた線形補間により求めることを特徴とする。   According to a fourth aspect of the present invention, when generating a geometric transformation image in the image correction means, the inside of the projection area is divided into a lattice shape, and a geometric transformation point is determined using a plane projection transformation matrix only for the lattice point. The geometric transformation points other than the lattice points are obtained by linear interpolation using the geometric transformation points.

また、請求項５に記載の発明は、対応付け手段に、パターン画像を生成させて該パターン画像を投影装置により投影出力させ、該投影像を含む投影面の状態を撮影装置により撮像した撮像画像から、該撮像画像点に対応する投影像点を決定し対応点リストとさせる対応付け過程と、平面分割手段に、前記撮像画像点を前記対応点リストの対応点から求まる平面射影変換行列を用いて空間中の平面毎にクラスタリングさせる平面分割過程と、投影領域決定手段に、前記平面毎にクラスタリングされた撮像画像点から投影領域を決定させる投影領域決定過程と、映像補正手段に、前記投影領域、及び前記平面射影変換行列を用いて前記投影像を幾何変換させ、該幾何変換像を投影装置へ出力させる映像補正過程と、を有することを特徴とする。   The invention according to claim 5 is a captured image obtained by causing the associating means to generate a pattern image, projecting and outputting the pattern image by the projection device, and imaging the state of the projection plane including the projection image by the imaging device. From the association process for determining the projection image point corresponding to the captured image point and making it a corresponding point list, and using the plane projective transformation matrix for obtaining the captured image point from the corresponding point in the corresponding point list for the plane dividing means A plane dividing process for clustering for each plane in the space, a projection area determining means for determining a projection area from the picked-up image points clustered for each plane, and a video correcting means for the projection area And a video correction process in which the projected image is geometrically transformed using the planar projective transformation matrix, and the geometrically transformed image is output to a projection apparatus.

また、請求項６に記載の発明は、前記投影領域決定過程において投影領域を決定する際に、前記平面毎にクラスタリングされた撮像画像点の数が最も多いクラスタを選択させ、該投影領域を構成する撮像画像点に外接する矩形を投影領域とさせることを特徴とする。   In the invention according to claim 6, when determining the projection area in the projection area determination process, the cluster having the largest number of captured image points clustered for each plane is selected, and the projection area is configured. A rectangle circumscribing the picked-up image point is set as a projection area.

また、請求項７に記載の発明は、前記投影領域決定過程において投影領域を決定する際に、前記平面毎にクラスタリングされた撮像画像点で構成される画像領域において内接する矩形の面積が最大となる内接矩形を決定させ、該内接矩形を投影領域とさせることを特徴とする。   In the invention according to claim 7, when the projection area is determined in the projection area determination process, the area of the rectangle inscribed in the image area formed by the captured image points clustered for each plane is maximized. The inscribed rectangle is determined, and the inscribed rectangle is used as a projection area.

また、請求項８に記載の発明は、前記映像補正過程において幾何変換像を生成する際に、投影領域内部を格子状に区切らせ、該格子点のみについて平面射影変換行列を用いて幾何変換点を求めさせ、前記格子点以外の幾何変換点は幾何変換点を用いた線形補間により求めさせることを特徴とする。   In the invention according to claim 8, when generating a geometric transformation image in the image correction process, the inside of the projection area is divided into a lattice shape, and only the lattice points are converted into a geometric transformation point using a planar projection transformation matrix. The geometric transformation points other than the grid points are obtained by linear interpolation using the geometric transformation points.

請求項１〜８に記載の発明では、投影面を撮像した画像の撮像画像点を空間中の平面毎にクラスタリングして該クラスタリングされた撮像画像点から投影領域を決定し、該投影領域に歪み無く投影するよう投影像に幾何変換を施して投影出力する。   According to the first to eighth aspects of the present invention, the captured image points of the image obtained by capturing the projection plane are clustered for each plane in the space, the projection area is determined from the clustered captured image points, and the projection area is distorted. The projected image is subjected to geometric transformation so that it is projected without any projection.

請求項１〜８に記載の発明によれば、安価な装置構成で、投影面中に複数平面や凹凸が存在する場合においても、情報提示位置を自動決定し、歪みの少ない観測像を情報提示することが可能となる。   According to the first to eighth aspects of the present invention, an information presentation position is automatically determined and an observation image with little distortion is presented even when there are a plurality of planes and irregularities in the projection plane with an inexpensive apparatus configuration. It becomes possible to do.

以下、実施形態について図面を用いて説明する。   Hereinafter, embodiments will be described with reference to the drawings.

まず、平面投影装置の構成について説明する。図１は、実施形態の平面投影装置の構成図である。この平面投影装置は、撮像装置１１、及び投影装置１２に接続し、対応付け手段１３、平面分割手段１４、投影領域決定手段１５、及び映像補正手段１６を備えて構成されている。   First, the configuration of the flat projection apparatus will be described. FIG. 1 is a configuration diagram of a flat projection apparatus according to an embodiment. This planar projection device is connected to the imaging device 11 and the projection device 12 and includes an association unit 13, a plane division unit 14, a projection area determination unit 15, and an image correction unit 16.

撮像装置１１は、投影面を撮像する装置で、例えばＣＣＤカメラ、ＣＭＯＳカメラなどで実現できる。   The imaging device 11 is a device that images a projection surface, and can be realized by, for example, a CCD camera, a CMOS camera, or the like.

投影装置１２は、入力された投影像を投影面に対して投影表示する装置で、例えば、液晶プロジェクタや、ＤＬＰプロジェクタなどで実現できる。   The projection device 12 is a device that projects and displays an input projection image on a projection surface, and can be realized by, for example, a liquid crystal projector or a DLP projector.

対応付け手段１３は、所定のパターン画像を生成し、このパターン画像を投影像として投影装置１２により投影出力し、その時の投影面の状態を撮像装置１１により撮像した撮像画像から、この撮像画像点に対応する投影像点を決定し対応点リストして出力する。   The associating unit 13 generates a predetermined pattern image, projects and outputs the pattern image as a projection image by the projection device 12, and picks up the captured image point from the captured image captured by the imaging device 11 at that time. A projection image point corresponding to is determined, and a corresponding point list is output.

平面分割手段１４は、対応点リストを受信し、撮像画像点を対応点リストの対応点から求まる平面射影変換行列を用い空間中の平面毎にクラスタリングして出力する。   The plane dividing unit 14 receives the corresponding point list, and clusters and outputs the captured image points for each plane in the space using a plane projective transformation matrix obtained from the corresponding points in the corresponding point list.

投影領域決定手段１５は、平面毎にクラスタリングされた撮像画像点から投影領域を決定し、出力する。   The projection area determination unit 15 determines a projection area from the captured image points clustered for each plane and outputs the projection area.

映像補正手段１６は、投影領域、及び平面射影変換行列を受信し、投影像を投影領域、及び平面射影変換行列を用いて幾何変換し、この幾何変換像を投影装置１２へ転送、出力する。   The image correction unit 16 receives the projection area and the plane projection transformation matrix, geometrically transforms the projection image using the projection area and the plane projection transformation matrix, and transfers and outputs the geometric transformation image to the projection device 12.

ここで平面投影装置で行われる処理フローを図２を用いて詳細に説明する。   Here, the processing flow performed in the flat projection apparatus will be described in detail with reference to FIG.

平面投影装置ではまず対応付け手段１３が起動される。対応付け手段１３は起動すると、所定のパターン画像を生成し、このパターン画像を投影像として投影装置１２により投影出力し、その時の投影面の状態を撮像装置１１により撮像した撮像画像から、この撮像画像点に対応する投影像点を決定し対応点リストとする(Ｓ１)。   In the flat projection apparatus, the association unit 13 is first activated. When the associating means 13 is activated, it generates a predetermined pattern image, projects and outputs the pattern image as a projection image by the projection device 12, and captures the state of the projection plane at that time from the captured image captured by the imaging device 11. A projection image point corresponding to the image point is determined and used as a corresponding point list (S1).

対応点リストの決定は、例えば、プロジェクタにより２進コードパターン画像や２進グレイコード化パターン画像を投影し、これをカメラにて撮影した画像群を処理する空間コーディング法により取得することができる。   The corresponding point list can be determined by, for example, a spatial coding method in which a binary code pattern image or a binary gray coded pattern image is projected by a projector and an image group photographed by a camera is processed.

ここで、空間コーディング法の説明を、図３を用いて説明する。例えば、図３に示すようなパターン画像１〜３をプロジェクタにより投影出力する。続いてカメラが撮像を行ないパターン撮像画像として記録装置へ保存する。この例ではパターン撮像画像として図３のパターン撮像画像１〜３のような画像が得られたものとする。続いてパターン撮像画像全てに対して、パターン画像で使用されている２色の色による二値化を行なう。続いて二値化された複数の画像をパターン画像１〜３を撮像順序に並べて図３に示すような空間コード画像を生成し、この空間コード画像からパターン撮像画像の各画素における２進コードを復元する。縦縞横縞両方向の２進コードが復元できると、図３のようにパターン画像とパターン撮像画像が全画素で対応づけることが可能である。   Here, the spatial coding method will be described with reference to FIG. For example, pattern images 1 to 3 as shown in FIG. Subsequently, the camera captures an image and stores it as a pattern captured image in the recording device. In this example, it is assumed that images such as pattern captured images 1 to 3 in FIG. 3 are obtained as pattern captured images. Subsequently, binarization with two colors used in the pattern image is performed on all pattern captured images. Next, a plurality of binarized images are arranged in the order of pattern images 1 to 3 to generate a spatial code image as shown in FIG. 3, and a binary code in each pixel of the pattern captured image is generated from the spatial code image. Restore. If the binary code in both the vertical stripes and the horizontal stripes can be restored, the pattern image and the pattern captured image can be associated with each other as shown in FIG.

その後、平面分割手段１４が起動される。平面分割手段１４は起動すると、まず対応点リストを受信する。続いて、対応点リストの対応点から求まる平面射影変換行列を用い空間中の平面毎にクラスタリングする(Ｓ２)。   Thereafter, the plane dividing means 14 is activated. When the plane dividing means 14 is activated, it first receives a corresponding point list. Subsequently, clustering is performed for each plane in the space using a plane projection transformation matrix obtained from the corresponding points in the corresponding point list (S2).

この方法は、例えば「特徴点の位置分布に基づくランダムサンプリングによる平面領域のロバストな検出法」（川上 裕司，伊藤 吉弘，金澤 靖：電子情報通信学会論文誌，ｖｏｌ．Ｊ８８−ＤＩＩ，ｎｏ．２，ｐｐ．３１３−３２４，Ｆｅｂ．，２００５）に記載の平面検出方法のように、対応点リストから対応点の組をランダムに一組選択し、この選択点近傍４点を距離に基づく確率分布から選択して平面射影変換行列を算出し、この平面射影変換行列に対する未選択点の、ある対象点を平面射影変換行列により変換した点と対象点の対応点とのユークリッド距離である再投影誤差が一定閾値内なら選択点で構成される微小領域が属する平面と同一平面上に属するとして微小領域を成長させることにより、撮像画像点を空間中の平面毎にクラスタリングできる。   This method is, for example, “a robust detection method of a planar region by random sampling based on the position distribution of feature points” (Yuji Kawakami, Yoshihiro Ito, Atsushi Kanazawa: IEICE Transactions, vol. J88-DII, no. 2). , Pp. 313-324, Feb., 2005), a set of corresponding points is randomly selected from the corresponding point list, and the probability distribution based on the distance of the four points near the selected point is selected. Reprojection error, which is the Euclidean distance between the point selected by the plane projection transformation matrix and the corresponding point of the target point of the unselected points for this plane projection transformation matrix If the value is within a certain threshold value, the captured image point is set for each plane in the space by growing the minute area as belonging to the same plane as the plane to which the minute area composed of the selected points belongs. It can raster ring.

また、「プロジェクタ・カメラシステムにおける射影変換行列と直線パターン検出に基づく複数平面の検出」（島村 潤，荒川 賢一：画像の認識・理解シンポジウム（ＭＩＲＵ２００５），Ｖｏｌ．２００５，Ｎｏ．７，ｐｐ．１２９０−１２９６，Ｊｕｌ．２００５．）のように、各撮像画像点において対応点リストから投影像に含まれる直線パターンを検出し、撮像画像点毎に検出された直線の傾きを用いてクラスタリングし、その後に平面射影変換行列を算出して、この平面射影変換行列を用いて先のクラスタリング結果から異なる平面に属する撮像画像点を分割した後に、再度平面射影変換行列を用いて同一平面領域を統合することによっても撮像画像点を空間中の平面毎にクラスタリングできる。   Also, “Detection of Multiple Planes Based on Projection Transformation Matrix and Line Pattern Detection in Projector / Camera System” (Jun Shimamura, Kenichi Arakawa: Image Recognition and Understanding Symposium (MIRU2005), Vol. 2005, No. 7, pp. 1290) -1296, Jul. 2005.), a linear pattern included in the projected image is detected from the corresponding point list at each captured image point, and clustering is performed using the slope of the detected straight line for each captured image point. After calculating the plane projection transformation matrix and dividing the captured image points belonging to different planes from the previous clustering result using this plane projection transformation matrix, the same plane area is integrated again using the plane projection transformation matrix The captured image points can be clustered for each plane in the space.

その後、投影領域決定手段１５が起動する。投影領域決定手段１５は起動されるとまず、平面毎にクラスタリングされた撮像画像点を受信する。続いて撮像画像点から投影領域を決定する(Ｓ３)。   Thereafter, the projection area determining means 15 is activated. When the projection area determination unit 15 is activated, it first receives captured image points clustered for each plane. Subsequently, a projection area is determined from the captured image point (S3).

この投影領域の決定は、例えば、平面毎にクラスタリングされた撮像画像点の数が最も多いクラスタを選択し、この投影領域を構成する撮像画像点に外接する矩形を投影領域とすることによって実現される。   The determination of the projection area is realized, for example, by selecting a cluster having the largest number of captured image points clustered for each plane and setting a rectangle circumscribing the captured image points constituting the projection area as the projection area. The

また、別の方法では、平面毎にクラスタリングされた撮像画像点で構成される画像領域において内接する矩形の面積が大きな内接矩形を決定し、この内接矩形を投影領域とすることによって実現される。内接矩形の決定は、平面毎にクラスタリングされた撮像画像点の画素に平面毎に異なる色を割り当てた画像から、画像から階層画像を生成し、階層画像から予め定義された背景色以外の少なくとも１色以上を有す階層画像を決定し、決定された階層画像の各色領域において予め与えられた矩形形状のマスクを走査して背景色以外の１つの領域色内に留まる面積最大のマスク縦横サイズとマスク中心位置を決定し、マスク縦横サイズとマスク中心位置を入力画像上での縦横サイズ、中心位置に変換した後に、領域色内に留まるうちは画像上で拡大させ、縦横サイズ、中心位置を更新することによって実現できる。   Another method is realized by determining an inscribed rectangle having a large inscribed rectangle area in an image region composed of captured image points clustered for each plane, and using the inscribed rectangle as a projection region. The The inscribed rectangle is determined by generating a hierarchical image from an image obtained by assigning different colors for each plane to the pixels of the captured image points clustered for each plane, and at least a background color other than the predefined background color from the hierarchical image. A hierarchical image having one or more colors is determined, and a mask of a rectangular shape given in advance in each color region of the determined hierarchical image is scanned, and the maximum mask vertical and horizontal size that remains in one region color other than the background color The mask center position is determined, the mask height and width size and the mask center position are converted into the vertical and horizontal size and center position on the input image, and then enlarged on the image while remaining within the area color, and the vertical and horizontal size and center position are set. It can be realized by updating.

その後、映像補正手段１６が起動する。映像補正手段１６は起動されると、投影領域である、ある同一クラスタに属する撮像画像点で構成される領域の外接若しくは内接の矩形情報、並びに撮像画像点が属するクラスタの平面射影変換行列を受信する。続いて投影像を投影領域である矩形情報及び平面射影変換行列を用いて幾何変換し、この幾何変換像を投影装置へ転送、出力する(Ｓ４)。   Thereafter, the image correction means 16 is activated. When the image correction means 16 is activated, the circumscribing or inscribed rectangle information of a region composed of captured image points belonging to a certain cluster, which is a projection region, and the planar projective transformation matrix of the cluster to which the captured image point belongs are obtained. Receive. Subsequently, the projected image is geometrically transformed using rectangular information as a projection area and a planar projective transformation matrix, and the geometrically transformed image is transferred to the projection apparatus and output (S4).

幾何変換像の生成は、例えば、カメラから観測した時に正対した観測像を得るためには図４に示すように、撮像画像上の矩形内に投影像を拡大縮小して設定し、この矩形内の全点に関して平面射影変換行列を用いて投影像の点に変換することにより実現できる。また、「ｉＬａｍｐｓ：Ｇｅｏｍｅｔｒｉｃａｌｌｙ ａｗａｒｅ ａｎｄ ｓｅｌｆ−ｃｏｎｆｉｇｕｒｉｎｇ ｐｒｏｊｅｃｔｏｒｓ」のように、投影面の形状に従って観測される像を投影可能な幾何変換を投影像に施してもよい。この方法は従来の方法と特に変わるところが無いので詳細な記述は省略する。   For example, in order to obtain an observation image that is directly opposed when observed from the camera, the geometric transformation image is generated by enlarging and reducing the projection image within a rectangle on the captured image as shown in FIG. It can be realized by converting all the points in the image into points of the projected image using a planar projective transformation matrix. Moreover, you may perform geometric transformation which can project the image observed according to the shape of a projection surface like "iLamps: Geometrically aware and self-configuring projectors". Since this method is not particularly different from the conventional method, detailed description is omitted.

なお、幾何変換像生成の際に投影領域である矩形内の全点に関して平面射影変換行列を用いて投影像の点に変換することは計算処理量が多くなるため、幾何変換像生成に時間が掛かる。そこで、投影領域内部を格子状に区切り、この格子点のみについて平面射影変換行列を用いて幾何変換点を求め、格子点以外の幾何変換点は幾何変換点を用いた線形補間により求めることによって、より高速に近似的な幾何変換像を生成してもよい。   In addition, converting all the points in the rectangle that is the projection area into the projected image points using the plane projection transformation matrix when generating the geometrically transformed image requires a large amount of calculation processing, so that it takes time to generate the geometrically transformed image. It takes. Therefore, by dividing the inside of the projection area into a grid and obtaining a geometric transformation point using only the plane projection transformation matrix for only this lattice point, and obtaining a geometric transformation point other than the lattice point by linear interpolation using the geometric transformation point, An approximate geometric transformation image may be generated at a higher speed.

(実施例)
実施形態を具体的データに即して説明する。本実施例では、図５に示すような投影像を図６に示すような複数平面と凹凸を含む投影面へ、投影装置とは異なる位置に設置されたカメラから観測した時に正対した観測像を得るよう投影表示するため、投影領域を自動で検知し、幾何補正像を生成して投影する例について述べる。なお、上記実施形態を適用せず、投影図へ投影像を投影し、カメラによって観測した場合は図７のように歪んだ像が観測されることとなる。 (Example)
The embodiment will be described with reference to specific data. In the present embodiment, an observation image that faces the projection image as shown in FIG. 5 when it is observed from a camera installed at a position different from the projection device onto a projection plane including a plurality of planes and irregularities as shown in FIG. An example in which a projection area is automatically detected and a geometric correction image is generated and projected in order to perform projection display will be described. Note that, when the above embodiment is not applied and a projection image is projected onto a projection diagram and observed with a camera, a distorted image as shown in FIG. 7 is observed.

平面投影装置では、まず対応付け手段１３が起動し、所定のパターン画像を生成し、このパターン画像を投影像として投影装置１２により投影出力し、その時の投影面の状態を撮像装置１１により撮像した撮像画像から、この撮像画像点に対応する投影像点を決定し対応点リストとする。   In the flat projection apparatus, first, the association unit 13 is activated to generate a predetermined pattern image, and this pattern image is projected and output as a projection image by the projection apparatus 12, and the state of the projection plane at that time is imaged by the imaging apparatus 11. From the captured image, a projection image point corresponding to the captured image point is determined and used as a corresponding point list.

本実施例では、所定のパターンとしてグレイコード画像を用い、図８に示すような対応点リストを取得したものとする。   In this embodiment, it is assumed that a gray code image is used as a predetermined pattern and a corresponding point list as shown in FIG. 8 is acquired.

なお、図８においてＣｘ，Ｃｙは撮像画像上の点の座標、Ｐｘ，Ｐｙは投影像の点の座標であり、ＩＤは対応点毎に唯一に割り当てられた対応点リストＩＤである。   In FIG. 8, Cx and Cy are the coordinates of points on the captured image, Px and Py are the coordinates of the points of the projected image, and ID is a corresponding point list ID assigned uniquely for each corresponding point.

また、図９に撮像画像の各座標（Ｃｘ，Ｃｙ）に、対応する投影像のｘ座標Ｐｘ、ｙ座標Ｐｙを輝度値表現した様子をそれぞれ上段、下段に示す。   Further, FIG. 9 shows the state where the x-coordinate Px and the y-coordinate Py of the corresponding projected image are expressed as luminance values at the coordinates (Cx, Cy) of the captured image, respectively.

なお、図９において最も濃い濃度(黒色)で示す部分は、プロジェクタの光が到達しないため対応点が存在しない、又は反射率が極端に悪いため対応点の信頼度が低く、削除した領域を示している。   In FIG. 9, the darkest density (black) portion indicates a deleted area where the corresponding point does not exist because the projector light does not reach, or the reliability of the corresponding point is low due to extremely poor reflectance. ing.

その後、平面分割手段１４が起動する。平面分割手段１４は起動すると、対応点リストを受信し、撮像画像点を対応点リストの対応点から求まる平面射影変換行列を用い空間中の平面毎にクラスタリングして出力する。本実施例では「プロジェクタ・カメラシステムにおける射影変換行列と直線パターン検出に基づく複数平面の検出」同様の方法により平面へのクラスタリングを行ない、平面毎にクラスタリングされた撮像画像点の画素に平面毎に異なる濃度(色)を割り当てた結果、図１０に示すような結果を得たものとする。なお、図１０において濃度(色)の違いは異なる空間中の平面を示す。   Thereafter, the plane dividing means 14 is activated. When the plane dividing unit 14 is activated, the plane dividing unit 14 receives the corresponding point list, and clusters and outputs the captured image points for each plane in the space using a plane projective transformation matrix obtained from the corresponding points in the corresponding point list. In this embodiment, clustering to a plane is performed by a method similar to “Detection of multiple planes based on projection transformation matrix and straight line pattern detection in a projector / camera system”, and pixels of captured image points clustered for each plane are classified for each plane. As a result of assigning different densities (colors), it is assumed that a result as shown in FIG. 10 is obtained. In FIG. 10, the difference in density (color) indicates a plane in a different space.

その後、投影領域決定手段１５が起動する。投影領域決定手段１５は起動すると、平面毎にクラスタリングされた撮像画像点から投影領域を決定し、出力する。本実施例では、図１０で示した撮像画像点の画素に平面毎に異なる濃度(色)を割り当てた画像を階層毎に２で除算した階層画像を作成し、最も濃い濃度(黒色)で表現した背景濃度(色)以外の少なくとも１種類以上の濃度(色)を有す階層画像を決定して、決定された階層画像の各濃度(色)領域において予め設定した（３×３），（３×２），（２×２），（３×１），（２×１），（１×１）の順にマスクを走査して背景濃度(色)以外の１つの領域濃度(色)内に留まる面積最大のマスク縦横サイズとマスク中心位置を決定し、マスク縦横サイズとマスク中心位置を入力画像上での縦横サイズ、中心位置に変換した後に、領域濃度内に留まるうちは画像上で拡大させ、縦横サイズ、中心位置を更新して図１１白枠に示すような内接矩形を求めこれを投影領域として決定したものとする。   Thereafter, the projection area determining means 15 is activated. When activated, the projection area determination unit 15 determines and outputs a projection area from captured image points clustered for each plane. In this embodiment, a hierarchical image is created by dividing an image obtained by assigning different densities (colors) to the pixels of the captured image point shown in FIG. 10 for each plane by 2 for each hierarchy, and expressed by the darkest density (black). A hierarchical image having at least one density (color) other than the background density (color) determined is determined, and preset in each density (color) region of the determined hierarchical image (3 × 3), ( 3 × 2), (2 × 2), (3 × 1), (2 × 1), and (1 × 1) are scanned in the order of one area density (color) other than the background density (color). After determining the maximum mask height and width size and mask center position, and converting the mask height and width size and mask center position to the vertical and horizontal size and center position on the input image, the image is enlarged while remaining within the area density. And update the vertical and horizontal sizes and center position to obtain the inscribed rectangle as shown in the white frame in FIG. It is assumed that was determined as.

その後、映像補正手段１６が起動する。映像補正手段１６は起動すると、図１１白枠に示す矩形情報と、この矩形内の撮像画像点が属するクラスタの平面射影変換行列を受信する。続いて図５で示した投影像に幾何変換を施す。   Thereafter, the image correction means 16 is activated. When activated, the video correction unit 16 receives the rectangular information shown in the white frame in FIG. 11 and the planar projective transformation matrix of the cluster to which the captured image points in the rectangle belong. Subsequently, geometric transformation is applied to the projected image shown in FIG.

本実施例では、カメラから観測した時に正対した観測像を高速に得るため、矩形を構成する辺を３等分して９つの格子状に区切り、この格子点のみについて平面射影変換行列を用いて幾何変換点を求め、格子点以外の幾何変換点はＣＧのテクスチャマッピング機能を用い線形補間により求めることによって幾何補正像を生成した。   In this embodiment, in order to obtain an observation image facing the camera at high speed, the sides constituting the rectangle are equally divided into nine grids, and a plane projection transformation matrix is used only for these grid points. A geometric correction image was generated by obtaining a geometric transformation point and obtaining a geometric transformation point other than the grid point by linear interpolation using a texture mapping function of CG.

本実施例において、格子状の点の幾何変換した結果は図１２のように、また、幾何変換された格子点と線形補間された点を用いて投影像を幾何変換した結果は図１３のようになる。   In this embodiment, the result of the geometric transformation of the grid-like points is as shown in FIG. 12, and the result of the geometric transformation of the projected image using the geometrically transformed grid points and the points that are linearly interpolated is as shown in FIG. become.

最後に映像補正手段１６は図１３に示す幾何変換像を投影装置１２に転送、出力する。最終的に投影装置１２によって幾何変換像を投射し、これをカメラにて観測した様子を図１４に示す。   Finally, the image correction means 16 transfers and outputs the geometric transformation image shown in FIG. FIG. 14 shows a state in which a geometric transformation image is finally projected by the projection device 12 and observed by a camera.

以上、実施形態、実施例について説明したが、これらの説明は特許請求の範囲に記載の発明を限定し、或は範囲を減縮する様に解すべきではない。また、各部構成は実施形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。   As mentioned above, although embodiment and the Example were described, these description should not be interpreted so that the invention as described in a claim may be limited or the range may be reduced. Moreover, each part structure is not restricted to embodiment, Of course, various deformation | transformation are possible within the technical scope as described in a claim.

以上説明したように、上記実施形態、実施例では、プロジェクタ等の投影装置とカメラ等の撮像装置を用い、投影面を撮像した画像の撮像画像点を空間中の平面毎にクラスタリングしてクラスタリングされた撮像画像点から投影領域を決定し、投影領域に歪み無く投影するよう投影像に幾何変換を施して投影出力するため、安価なシステム構成で、投影面中に複数平面や凹凸が存在する場合においても、情報提示位置を自動決定し、歪みの少ない観測像を情報提示することが可能となる。   As described above, in the above-described embodiments and examples, using a projection device such as a projector and an imaging device such as a camera, the captured image points of the image obtained by imaging the projection plane are clustered and clustered for each plane in the space. The projection area is determined from the captured image points, and the projected image is subjected to geometric transformation so that the projected image is projected without distortion. In this case, it is possible to automatically determine the information presentation position and present the observation image with less distortion.

(プログラム等)
上記実施形態、実施例において、平面投影装置は、例えば、平面投影装置を構成するコンピュータ装置が有するＣＰＵによって実現され、対応付け手段、平面分割手段、投影領域決定手段、映像補正手段などをアプリケーションプログラムとして搭載することができる。 (Program etc.)
In the above-described embodiments and examples, the flat projection apparatus is realized by, for example, a CPU included in a computer device that configures the flat projection apparatus, and an association program, a plane division unit, a projection area determination unit, a video correction unit, and the like are used as application programs. Can be mounted as.

また、対応付け手段、平面分割手段、投影領域決定手段、映像補正手段などで行った処理結果、計算結果、当該処理に必要な情報等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。   In addition, data such as processing results, calculation results, and information necessary for the processing performed by the association unit, plane division unit, projection area determination unit, video correction unit, etc. can be written to and read from an internal memory or an external storage device. You may be able to do it.

また、平面投影装置の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム、又は装置に供給し、そのシステム、又は装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することも可能である。この場合、記憶媒体から読み出されたプログラムコード自体が上記実施形態の機能を実現することになり、このプログラムコードを記憶した記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、及びＨＤＤ等がある。   In addition, a recording medium that records a program code of software that realizes the function of the flat projection apparatus is supplied to the system or apparatus, and the CPU (MPU) of the system or apparatus reads the program code stored in the storage medium. It is also possible to execute. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and examples of the storage medium storing the program code include CD-ROM, DVD-ROM, and CD-R. , CD-RW, MO, and HDD.

平面投影装置の構成図。The block diagram of a plane projection apparatus. 平面投影装置における処理フロー図。The processing flowchart in a plane projection apparatus. 対応付け手段における処理フロー図。The processing flow figure in a matching means. 映像補正手段における処理フロー図。The processing flow figure in a video correction means. 平面投影装置における投影像の説明図。Explanatory drawing of the projection image in a plane projection apparatus. 平面投影装置における投影面の説明図。Explanatory drawing of the projection surface in a plane projection apparatus. 平面投影装置における投影像の説明図。Explanatory drawing of the projection image in a plane projection apparatus. 平面投影装置における対応点リストの説明図。Explanatory drawing of the corresponding point list | wrist in a plane projection apparatus. 平面投影装置における投影像の輝度値表現の説明図。Explanatory drawing of the luminance value expression of the projection image in a plane projection apparatus. 平面投影装置における撮像画像点の説明図。Explanatory drawing of the captured image point in a plane projection apparatus. 平面投影装置における矩形情報の説明図。Explanatory drawing of the rectangular information in a plane projection apparatus. 平面投影装置における幾何変換の説明図。Explanatory drawing of the geometric transformation in a plane projection apparatus. 平面投影装置における幾何変換の説明図。Explanatory drawing of the geometric transformation in a plane projection apparatus. 平面投影装置における幾何変換像投射の説明図。Explanatory drawing of the geometric transformation image projection in a plane projection apparatus.

符号の説明Explanation of symbols

１１ 撮像装置
１２ 投影装置
１３ 対応付け手段
１４ 平面分割手段
１５ 投影領域決定手段
１６ 映像補正手段 DESCRIPTION OF SYMBOLS 11 Imaging device 12 Projector 13 Correlation means 14 Plane division means 15 Projection area determination means 16 Image correction means

Claims (8)

パターン画像を生成して該パターン画像を投影装置により投影出力し、該投影像を含む投影面を撮影装置により撮像した撮像画像から、該撮像画像点に対応する投影像点を決定し対応点リストとする対応付け手段と、
前記撮像画像点を前記対応点リストの対応点から求まる平面射影変換行列を用いて空間中の平面毎にクラスタリングする平面分割手段と、
前記平面毎にクラスタリングされた撮像画像点から投影領域を決定する投影領域決定手段と、
前記投影領域、及び前記平面射影変換行列を用いて前記投影像を幾何変換し、該幾何変換像を投影装置へ出力する映像補正手段と、を備えることを特徴とする平面投影装置。 A pattern image is generated, the pattern image is projected and output by a projection device, a projection image point corresponding to the captured image point is determined from a captured image obtained by capturing a projection plane including the projection image by a photographing device, and a corresponding point list An association means
Plane dividing means for clustering the captured image points for each plane in the space using a plane projective transformation matrix obtained from the corresponding points in the corresponding point list;
Projection area determination means for determining a projection area from captured image points clustered for each plane;
A flat projection apparatus comprising: the image correction unit that geometrically transforms the projection image using the projection region and the planar projection transformation matrix, and outputs the geometric transformation image to the projection apparatus. 前記投影領域決定手段において投影領域を決定する際に、
前記平面毎にクラスタリングされた撮像画像点の数が最も多いクラスタを選択し、該投影領域を構成する撮像画像点に外接する矩形を投影領域とすることを特徴とする請求項１に記載の平面投影装置。 When determining the projection area in the projection area determination means,
2. The plane according to claim 1, wherein a cluster having the largest number of captured image points clustered for each plane is selected, and a rectangle circumscribing the captured image points constituting the projection region is used as the projection region. Projection device. 前記投影領域決定手段において投影領域を決定する際に、
前記平面毎にクラスタリングされた撮像画像点で構成される画像領域において内接する矩形の面積が最大となる内接矩形を決定し、該内接矩形を投影領域とすることを特徴とする請求項１に記載の平面投影装置。 When determining the projection area in the projection area determination means,
2. An inscribed rectangle having a maximum area of an inscribed rectangle in an image area composed of captured image points clustered for each plane is determined, and the inscribed rectangle is set as a projection area. The flat projection apparatus described in 1. 前記映像補正手段において幾何変換像を生成する際に、
投影領域内部を格子状に区切り、該格子点のみについて平面射影変換行列を用いて幾何変換点を求め、
前記格子点以外の幾何変換点は幾何変換点を用いた線形補間により求めることを特徴とする請求項１〜３いずれかに記載の平面投影装置。 When generating a geometric transformation image in the image correction means,
Dividing the inside of the projection area into a grid, and obtaining a geometric transformation point using a plane projection transformation matrix only for the grid point,
The planar projection device according to claim 1, wherein geometric transformation points other than the lattice points are obtained by linear interpolation using the geometric transformation points. 対応付け手段に、パターン画像を生成させて該パターン画像を投影装置により投影出力させ、該投影像を含む投影面の状態を撮影装置により撮像した撮像画像から、該撮像画像点に対応する投影像点を決定し対応点リストとさせる対応付け過程と、
平面分割手段に、前記撮像画像点を前記対応点リストの対応点から求まる平面射影変換行列を用いて空間中の平面毎にクラスタリングさせる平面分割過程と、
投影領域決定手段に、前記平面毎にクラスタリングされた撮像画像点から投影領域を決定させる投影領域決定過程と、
映像補正手段に、前記投影領域、及び前記平面射影変換行列を用いて前記投影像を幾何変換させ、該幾何変換像を投影装置へ出力させる映像補正過程と、を有することを特徴とする平面投影プログラム。 The associating means generates a pattern image, and the pattern image is projected and output by the projection device. From the captured image obtained by capturing the state of the projection plane including the projection image by the imaging device, the projection image corresponding to the captured image point An associating process for determining points and corresponding points list;
A plane division process for causing the plane division means to cluster the captured image points for each plane in the space using a plane projection transformation matrix obtained from the corresponding points in the corresponding point list;
A projection area determination step for causing the projection area determination means to determine the projection area from the captured image points clustered for each plane;
Plane projection characterized by comprising: a video correction step for causing the video correction means to geometrically transform the projection image using the projection area and the planar projection transformation matrix and to output the geometric transformation image to a projection device. program. 前記投影領域決定過程において投影領域を決定する際に、
前記平面毎にクラスタリングされた撮像画像点の数が最も多いクラスタを選択させ、該投影領域を構成する撮像画像点に外接する矩形を投影領域とさせることを特徴とする請求項５に記載の平面投影プログラム。 In determining the projection area in the projection area determination process,
6. The plane according to claim 5, wherein a cluster having the largest number of captured image points clustered for each plane is selected, and a rectangle circumscribing the captured image points constituting the projection area is set as the projection area. Projection program. 前記投影領域決定過程において投影領域を決定する際に、
前記平面毎にクラスタリングされた撮像画像点で構成される画像領域において内接する矩形の面積が最大となる内接矩形を決定させ、該内接矩形を投影領域とさせることを特徴とする請求項５に記載の平面投影プログラム。 In determining the projection area in the projection area determination process,
6. The inscribed rectangle having the largest area of the inscribed rectangle in the image area composed of the picked-up image points clustered for each plane is determined, and the inscribed rectangle is set as a projection area. Planar projection program described in 1. 前記映像補正過程において幾何変換像を生成する際に、
投影領域内部を格子状に区切らせ、該格子点のみについて平面射影変換行列を用いて幾何変換点を求めさせ、
前記格子点以外の幾何変換点は幾何変換点を用いた線形補間により求めさせることを特徴とする請求項５〜７いずれかに記載の平面投影プログラム。 When generating a geometric transformation image in the image correction process,
Let the inside of the projection area be divided into a grid, and let the geometric transformation point be obtained using a plane projection transformation matrix only for the grid point,
The planar projection program according to claim 5, wherein geometric transformation points other than the grid points are obtained by linear interpolation using the geometric transformation points.
JP2005329215A 2005-11-14 2005-11-14 Planar projector and planar projection program Pending JP2007142495A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005329215A JP2007142495A (en) 2005-11-14 2005-11-14 Planar projector and planar projection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005329215A JP2007142495A (en) 2005-11-14 2005-11-14 Planar projector and planar projection program

Publications (1)

Publication Number Publication Date
JP2007142495A true JP2007142495A (en) 2007-06-07

Family

ID=38204886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005329215A Pending JP2007142495A (en) 2005-11-14 2005-11-14 Planar projector and planar projection program

Country Status (1)

Country Link
JP (1) JP2007142495A (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009216883A (en) * 2008-03-10 2009-09-24 Hitachi Ltd Projection type image display apparatus
JP2010271580A (en) * 2009-05-22 2010-12-02 Panasonic Electric Works Co Ltd Illumination system, space-rendering system, projection image generating method
CN102508398A (en) * 2011-11-09 2012-06-20 东莞市环宇激光工程有限公司 Method for performing ball screen projection processing on planar picture to be displayed by using computer
WO2013024794A1 (en) * 2011-08-18 2013-02-21 Ricoh Company, Ltd. Image processing apparatus, projector and image processing method
WO2013136602A1 (en) * 2012-03-16 2013-09-19 富士フイルム株式会社 Imaging device with projector and imaging control method therefor
US8791880B2 (en) 2008-11-17 2014-07-29 Nec Corporation System, method and program for specifying pixel position correspondence
JP2014176074A (en) * 2013-03-13 2014-09-22 Nippon Telegr & Teleph Corp <Ntt> Space projection device, space projection method and space projection program
JP2014531787A (en) * 2011-08-19 2014-11-27 クアルコム，インコーポレイテッド Dynamic selection of surfaces in the real world to project information onto
JP2015106050A (en) * 2013-11-29 2015-06-08 日本電信電話株式会社 Spatial projection device, spatial projection method, spatial projection program and recording medium
JP2015172712A (en) * 2014-03-12 2015-10-01 日本電信電話株式会社 Space projection device and space projection program
JP2016197171A (en) * 2015-04-03 2016-11-24 日本電信電話株式会社 Image projection device, method, and program
JP2017049783A (en) * 2015-09-01 2017-03-09 キヤノン株式会社 Image processing apparatus and image processing method
JP2017120530A (en) * 2015-12-28 2017-07-06 キヤノン株式会社 Image processing apparatus and image processing method
CN112261396A (en) * 2020-10-26 2021-01-22 成都极米科技股份有限公司 Projection method, projection device, projection equipment and computer readable storage medium
JP2021121087A (en) * 2020-01-31 2021-08-19 セイコーエプソン株式会社 Method for controlling image projection system, and image projection system
CN114567763A (en) * 2022-02-22 2022-05-31 湖南泊湾科技有限公司 Bilinear geometric correction method and system capable of adding points randomly

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009216883A (en) * 2008-03-10 2009-09-24 Hitachi Ltd Projection type image display apparatus
US8791880B2 (en) 2008-11-17 2014-07-29 Nec Corporation System, method and program for specifying pixel position correspondence
JP2010271580A (en) * 2009-05-22 2010-12-02 Panasonic Electric Works Co Ltd Illumination system, space-rendering system, projection image generating method
CN103733248A (en) * 2011-08-18 2014-04-16 株式会社理光 Image processing apparatus, projector and image processing method
JP2013041167A (en) * 2011-08-18 2013-02-28 Ricoh Co Ltd Image processing device, projector, projector system, image processing method, program thereof, and recording medium with the program stored therein
WO2013024794A1 (en) * 2011-08-18 2013-02-21 Ricoh Company, Ltd. Image processing apparatus, projector and image processing method
US9696613B2 (en) 2011-08-18 2017-07-04 Ricoh Company, Ltd. Image processing apparatus, projector and image processing method
JP2017038397A (en) * 2011-08-19 2017-02-16 クアルコム，インコーポレイテッド Dynamic selection of surfaces in real world for projection of information thereon
JP2014531787A (en) * 2011-08-19 2014-11-27 クアルコム，インコーポレイテッド Dynamic selection of surfaces in the real world to project information onto
US9245193B2 (en) 2011-08-19 2016-01-26 Qualcomm Incorporated Dynamic selection of surfaces in real world for projection of information thereon
CN102508398B (en) * 2011-11-09 2015-03-25 东莞市环宇文化科技有限公司 Method for performing ball screen projection processing on planar picture to be displayed by using computer
CN102508398A (en) * 2011-11-09 2012-06-20 东莞市环宇激光工程有限公司 Method for performing ball screen projection processing on planar picture to be displayed by using computer
WO2013136602A1 (en) * 2012-03-16 2013-09-19 富士フイルム株式会社 Imaging device with projector and imaging control method therefor
JP2014176074A (en) * 2013-03-13 2014-09-22 Nippon Telegr & Teleph Corp <Ntt> Space projection device, space projection method and space projection program
JP2015106050A (en) * 2013-11-29 2015-06-08 日本電信電話株式会社 Spatial projection device, spatial projection method, spatial projection program and recording medium
JP2015172712A (en) * 2014-03-12 2015-10-01 日本電信電話株式会社 Space projection device and space projection program
JP2016197171A (en) * 2015-04-03 2016-11-24 日本電信電話株式会社 Image projection device, method, and program
JP2017049783A (en) * 2015-09-01 2017-03-09 キヤノン株式会社 Image processing apparatus and image processing method
JP2017120530A (en) * 2015-12-28 2017-07-06 キヤノン株式会社 Image processing apparatus and image processing method
JP2021121087A (en) * 2020-01-31 2021-08-19 セイコーエプソン株式会社 Method for controlling image projection system, and image projection system
JP7467947B2 (en) 2020-01-31 2024-04-16 セイコーエプソン株式会社 METHOD FOR CONTROLLING IMAGE PROJECTION SYSTEM AND IMAGE PROJECTION SYSTEM
CN112261396A (en) * 2020-10-26 2021-01-22 成都极米科技股份有限公司 Projection method, projection device, projection equipment and computer readable storage medium
CN112261396B (en) * 2020-10-26 2022-02-25 成都极米科技股份有限公司 Projection method, projection device, projection equipment and computer readable storage medium
CN114567763A (en) * 2022-02-22 2022-05-31 湖南泊湾科技有限公司 Bilinear geometric correction method and system capable of adding points randomly

Similar Documents

Publication Publication Date Title
JP2007142495A (en) Planar projector and planar projection program
CN110111262B (en) Projector projection distortion correction method and device and projector
WO2021227360A1 (en) Interactive video projection method and apparatus, device, and storage medium
US10887519B2 (en) Method, system and apparatus for stabilising frames of a captured video sequence
WO2018214365A1 (en) Image correction method, apparatus, device, and system, camera device, and display device
CN110300292B (en) Projection distortion correction method, device, system and storage medium
JP2009135921A (en) Image projection apparatus, and image projection method
CA2464569A1 (en) Single or multi-projector for arbitrary surfaces without calibration nor reconstruction
US9615040B2 (en) Determining a maximum inscribed size of a rectangle
JP2010028411A (en) Image correcting apparatus, image correcting method, projector and projection system
JP4965967B2 (en) Image display system adjustment system
JP7163943B2 (en) INFORMATION GENERATION METHOD, INFORMATION GENERATION SYSTEM AND PROGRAM
CN113643414A (en) Three-dimensional image generation method and device, electronic equipment and storage medium
CN114697623A (en) Projection surface selection and projection image correction method and device, projector and medium
WO2022105277A1 (en) Projection control method and apparatus, projection optical machine, and readable storage medium
WO2020209108A1 (en) Image processing device, 3d model generation method, and program
JP4554231B2 (en) Distortion parameter generation method, video generation method, distortion parameter generation apparatus, and video generation apparatus
CN117522963A (en) Corner positioning method and device of checkerboard, storage medium and electronic equipment
CN116912331A (en) Calibration data generation method and device, electronic equipment and storage medium
JP7272336B2 (en) INFORMATION GENERATION METHOD, INFORMATION GENERATION SYSTEM AND PROGRAM
TWI497448B (en) Method and system for image enhancement
CN112419459A (en) Method, apparatus, computer device and storage medium for baked model AO mapping
CN115134569B (en) Image display method and projector
CN114666558B (en) Method and device for detecting definition of projection picture, storage medium and projection equipment
CN115278184B (en) Projection picture correction method and device