JP2015142237A - Position identification device, video processing device, pattern generation device, screen, screen system, and position identification method - Google Patents
Position identification device, video processing device, pattern generation device, screen, screen system, and position identification method Download PDFInfo
- Publication number
- JP2015142237A JP2015142237A JP2014013792A JP2014013792A JP2015142237A JP 2015142237 A JP2015142237 A JP 2015142237A JP 2014013792 A JP2014013792 A JP 2014013792A JP 2014013792 A JP2014013792 A JP 2014013792A JP 2015142237 A JP2015142237 A JP 2015142237A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- point
- screen
- address code
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本実施形態は、位置特定装置、映像処理装置、パターン生成装置、スクリーン、スクリーンシステムおよび位置特定方法に関する。 The present embodiment relates to a position specifying device, a video processing device, a pattern generating device, a screen, a screen system, and a position specifying method.
建物や物体、空間などの３次元形状を有するスクリーンに対して映像を映し出す技術がある。この技術は、例えばプロジェクションマッピング等と呼ばれる。スクリーンが固定されている場合には、映像を歪みなく投影するために、既知のスクリーンの形状情報を用いることができる。また、未知の形状のスクリーンに投影する方法として、マーカーやパターン等をスクリーンに投影して、スクリーンの形状を把握する方法もある。 There is a technique for projecting an image on a screen having a three-dimensional shape such as a building, an object, or a space. This technique is called, for example, projection mapping. When the screen is fixed, known screen shape information can be used to project the image without distortion. Further, as a method of projecting onto a screen having an unknown shape, there is a method of grasping the shape of the screen by projecting a marker, a pattern or the like onto the screen.
また、建物等の固定物だけでなく、移動する動体に設けられた立体スクリーンに対して映像を投影する映像投影システムが、下記特許文献１に開示されている。特許文献１に記載の技術では、立体スクリーンに投影する被投影体に複数のマーカーを設け、マーカーを含む映像を撮影する。そして、撮影した映像中のマーカーの一座標を用いて立体スクリーンの位置および方向情報を取得する。 In addition, Patent Document 1 below discloses a video projection system that projects an image on a stereoscopic screen provided on a moving body as well as a fixed object such as a building. In the technique described in Patent Document 1, a plurality of markers are provided on a projection object to be projected onto a stereoscopic screen, and an image including the markers is captured. Then, the position and direction information of the stereoscopic screen is acquired using one coordinate of the marker in the captured video.
しかしながら、従来のスクリーンが移動する場合、マーカーや座標系等をスクリーンに投影する方法では、スクリーンへのマーカー等を投影し、投影した映像に基づいてスクリーンの位置や形状を把握し、その後に映像を投影することになる。このため、スクリーンの移動速度が速い場合等には、これらの処理時間が移動の速度より遅くなり、処理が間に合わない可能性があるという問題がある。 However, when a conventional screen moves, the method of projecting a marker, coordinate system, etc. onto the screen projects the marker on the screen, grasps the position and shape of the screen based on the projected image, and then the image Will be projected. For this reason, when the moving speed of the screen is high, the processing time becomes slower than the moving speed, and there is a problem that the processing may not be in time.
また、上記特許文献１に記載の技術は、ある程度の形状が既知である動体を想定して、複数のマーカーを用いて、投影する映像データをスクリーンに整合させている。特許文献１に記載の技術では、ある形状のものがその形状のまま移動することを想定しており、局所的な形状変化には対応できないという問題がある。また、検出できないマーカーが発生した場合等に、各マーカーの位置を求めることができないという問題がある。 Further, the technique described in Patent Document 1 assumes that a moving body having a certain shape is known, and uses a plurality of markers to match projected video data with a screen. The technique described in Patent Document 1 assumes that a certain shape moves as it is, and has a problem that it cannot cope with a local shape change. Further, there is a problem that the position of each marker cannot be obtained when an undetectable marker occurs.
本発明は、上記に鑑みてなされたものであって、立体の各部の位置の特定を高速に実施することができる位置特定装置、映像処理装置、パターン生成装置、スクリーン、スクリーンシステムおよび位置特定方法を得ることを目的とする。 The present invention has been made in view of the above, and a position specifying device, a video processing device, a pattern generating device, a screen, a screen system, and a position specifying method capable of specifying the position of each part of a three-dimensional object at high speed. The purpose is to obtain.
本発明の一つの実施形態によれば、位置特定装置は、位置座標の異なる複数の点で構成されるパターンが複数配置された部材を撮影した画像に基づいて、前記画像内の前記点の前記画像内の座標値を算出する座標算出部と、前記座標値に基づいて前記パターンの前記部材内の位置を示す情報であるアドレスコードを推定する格子パターン推定部と、推定した前記アドレスコードに基づいて、前記部材内の位置を特定するアドレス決定部と、を備え、前記パターンは、複数の点で構成される基準パターンに対して、前記パターンの点ごとに前記基準パターンの対応する点からずれた前記部材内の位置に配置され、前記パターンを構成する点に対応する前記基準パターンの対応する点に対するずれの方向を数値化した値を点コードとし、前記アドレスコードは、前記パターンを構成する前記複数の点の前記点コードで構成される数列であることを特徴とする。 According to one embodiment of the present invention, the position specifying device is configured to obtain the point of the point in the image based on an image obtained by photographing a member in which a plurality of patterns including a plurality of points having different position coordinates are arranged. Based on the coordinate calculation unit that calculates the coordinate value in the image, the lattice pattern estimation unit that estimates the address code that is the information indicating the position of the pattern in the member based on the coordinate value, and the estimated address code And an address determination unit that identifies a position in the member, wherein the pattern is shifted from a corresponding point of the reference pattern for each point of the pattern with respect to a reference pattern composed of a plurality of points. A value obtained by quantifying the direction of deviation from the corresponding point of the reference pattern corresponding to the point constituting the pattern, which is arranged at a position in the member, is used as a point code. Sukodo is characterized by a sequence composed of the point code of the plurality of points constituting the pattern.
本発明によれば、立体の各部の位置の特定を高速に実施することができるという効果を奏する。 According to the present invention, there is an effect that the position of each part of a solid can be specified at high speed.
以下に添付図面を参照して、実施形態にかかる位置特定装置、映像処理装置、パターン生成装置、スクリーン、スクリーンシステムおよび位置特定方法を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。 Exemplary embodiments of a position specifying device, a video processing device, a pattern generating device, a screen, a screen system, and a position specifying method will be described below in detail with reference to the accompanying drawings. Note that the present invention is not limited to these embodiments.
図１は、本発明にかかるスクリーンシステムの構成例を示す図である。図１に示すように、本実施の形態のスクリーンシステムは、スクリーン１（部材）、映像処理装置２、投影装置３および撮影装置４を備える。 FIG. 1 is a diagram showing a configuration example of a screen system according to the present invention. As shown in FIG. 1, the screen system of the present embodiment includes a screen 1 (member), a video processing device 2, a projection device 3, and a photographing device 4.
図２は、本実施の形態のスクリーンシステムの適用例を示す図である。図２に示すように、スクリーン１は、例えば、移動可能な立体５の表面に沿って設置される。映像処理装置２は、パーソナルコンピュータ等の計算機システムである。投影装置３は、プロジェクタ等と呼ばれ、映像を拡大して投影する装置である。撮影装置４は、例えばデジタルカメラ等であり、撮影した映像を映像データとして出力可能な装置である。投影装置３、撮影装置４の方式等に制約はなく、どのようなものを用いてもよい。 FIG. 2 is a diagram showing an application example of the screen system of the present embodiment. As shown in FIG. 2, the screen 1 is installed along the surface of a movable solid 5, for example. The video processing apparatus 2 is a computer system such as a personal computer. The projection device 3 is called a projector or the like, and is a device that magnifies and projects an image. The photographing device 4 is, for example, a digital camera or the like, and is a device that can output a photographed video as video data. There are no restrictions on the method of the projection device 3 and the photographing device 4, and any method may be used.
図３は、本実施の形態の映像処理装置２として機能する計算機システムの構成例を示す図である。この計算機システムは、たとえば、制御部１０１と入力部１０２と記憶部１０３と表示部１０４と通信部１０５とを備え、これらはシステムバス１０６を介して接続されている。 FIG. 3 is a diagram illustrating a configuration example of a computer system that functions as the video processing apparatus 2 according to the present embodiment. This computer system includes, for example, a control unit 101, an input unit 102, a storage unit 103, a display unit 104, and a communication unit 105, which are connected via a system bus 106.
制御部１０１は、本発明にかかる位置特定プログラムおよび映像投影プログラムを実行する。入力部１０２は、たとえばキーボードやマウスなどで構成され、計算機システムのユーザが、各種情報の入力を行うために使用する。記憶部１０３は、ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの各種メモリおよびハードディスクなどのストレージデバイスを含み、上記制御部１０１が実行すべきプログラム，処理の過程で得られた必要なデータ，などを記憶する。また、記憶部１０３は、プログラムが一時的に利用する一時的な記憶領域としても使用される。表示部１０４は、ＣＲＴ，ＬＣＤ（液晶表示パネル）などで構成され、計算機システムのユーザに対して各種画面を表示する。 The control unit 101 executes a position specifying program and a video projection program according to the present invention. The input unit 102 includes, for example, a keyboard and a mouse, and is used by a computer system user to input various information. The storage unit 103 includes various memories such as a RAM (Random Access Memory) and a ROM (Read Only Memory) and a storage device such as a hard disk. The storage unit 103 is a program to be executed by the control unit 101 and necessary information obtained in the process. Memorize data, etc. The storage unit 103 is also used as a temporary storage area that is temporarily used by the program. The display unit 104 is composed of a CRT, LCD (liquid crystal display panel), etc., and displays various screens for the computer system user.
ここで、本発明にかかる位置特定プログラムおよび映像投影プログラムが実行可能な状態になるまでの計算機システムの動作例について説明する。上述した構成をとる計算機システムには、たとえば、ＣＤ−ＲＯＭドライブ（図示せず）にセットされたＣＤ−ＲＯＭから、位置特定プログラムおよび映像投影プログラムが記憶部１０３にインストールされる。そして、位置特定プログラムおよび映像投影プログラムの実行時に、記憶部１０３から読み出された位置特定プログラムおよび映像投影プログラムが記憶部１０３の所定の場所に格納される。この状態で、制御部１０１は、記憶部１０３に格納されたプログラムに従って、位置特定処理および映像投影処理を実行する。 Here, an example of the operation of the computer system until the position specifying program and the video projection program according to the present invention are executable will be described. In the computer system having the above-described configuration, for example, a position specifying program and a video projection program are installed in the storage unit 103 from a CD-ROM set in a CD-ROM drive (not shown). Then, when the position specifying program and the video projection program are executed, the position specifying program and the video projection program read from the storage unit 103 are stored in predetermined locations in the storage unit 103. In this state, the control unit 101 executes position specifying processing and video projection processing according to a program stored in the storage unit 103.
なお、ここでは、ＣＤ−ＲＯＭを記録媒体として、上記プログラムを提供しているが、これに限らず、計算機システムの構成、提供するプログラムの容量などに応じて、たとえば、フロッピー（登録商標）ディスクなどの磁気ディスク，光磁気ディスク，磁気テープなどの記録媒体を用いることも可能である。また、電子メール，インターネットなどの伝送媒体により提供されたプログラムを用いることとしてもよい。 Here, the above-described program is provided using a CD-ROM as a recording medium. However, the present invention is not limited to this. For example, a floppy (registered trademark) disk may be used depending on the configuration of the computer system, the capacity of the provided program, and the like. It is also possible to use a recording medium such as a magnetic disk, a magneto-optical disk, or a magnetic tape. Moreover, it is good also as using the program provided by transmission media, such as an email and the internet.
図４は、本実施の形態の映像処理装置２の機能構成例を示す図である。映像処理装置２は、座標算出部２１、格子パターン推定部２２、アドレス決定部２３、座標変換行列決定部２４および映像データ変換部２５を備える。座標算出部２１、格子パターン推定部２２、アドレス決定部２３は、位置特定プログラムにより制御部１０１内に生成される処理部である。座標変換行列決定部２４および映像データ変換部２５は、映像投影プログラムにより制御部１０１内に生成される処理部である。また、映像処理装置２は、格子パターンデータ２６および映像データ２７を、図３の記憶部１０３内に保持している。 FIG. 4 is a diagram illustrating a functional configuration example of the video processing device 2 according to the present embodiment. The video processing device 2 includes a coordinate calculation unit 21, a lattice pattern estimation unit 22, an address determination unit 23, a coordinate conversion matrix determination unit 24, and a video data conversion unit 25. The coordinate calculation unit 21, the lattice pattern estimation unit 22, and the address determination unit 23 are processing units generated in the control unit 101 by the position specifying program. The coordinate transformation matrix determination unit 24 and the video data conversion unit 25 are processing units generated in the control unit 101 by the video projection program. In addition, the video processing apparatus 2 holds the lattice pattern data 26 and the video data 27 in the storage unit 103 of FIG.
なお、本実施の形態では、映像処理装置２が、位置特定プログラムを実行する位置特定装置としての機能と映像投影プログラムを実行する映像投影プログラム実行装置としての機能とを備えるようにしたが、位置特定プログラムと映像投影プログラムをそれぞれ異なる装置により実行してもよい。位置特定プログラムと映像投影プログラムをそれぞれ異なる装置で実行する場合、位置特定プログラムを実行する位置特定装置は、座標算出部２１、格子パターン推定部２２、アドレス決定部２３を備え、格子パターンデータ２６を保持する。映像投影プログラム実行装置は、座標変換行列決定部２４および映像データ変換部２５を備え、映像データ２７を保持する。 In the present embodiment, the video processing device 2 has a function as a position specifying device that executes the position specifying program and a function as a video projection program execution device that executes the video projection program. The specific program and the video projection program may be executed by different apparatuses. When the position specifying program and the video projection program are executed by different apparatuses, the position specifying apparatus that executes the position specifying program includes a coordinate calculation unit 21, a lattice pattern estimation unit 22, and an address determination unit 23, and the lattice pattern data 26 is stored in the position determination program. Hold. The video projection program execution device includes a coordinate transformation matrix determination unit 24 and a video data conversion unit 25 and holds video data 27.
図５は、本実施の形態のパターン生成装置６の構成例を示す図である。本実施の形態のパターン生成装置６は、格子パターン生成プログラムを実行する装置であり、スクリーン１に印刷される後述の格子パターンのデータを生成する装置である。パターン生成装置６は、本実施の形態のスクリーンシステムとは独立した別の装置であってもよいし、スクリーンシステムの構成要素であってもよい。パターン生成装置６は、映像処理装置２が実装される図３に示した計算機システムと同様の計算機システムに実装される。例えば、１つの計算機システムが映像処理装置２としての機能とパターン生成装置６としての機能を有していてもよい。格子パターン生成プログラムが実行可能な状態になるまでの計算機システムの動作例は、上述の位置特定プログラムと同様である。 FIG. 5 is a diagram illustrating a configuration example of the pattern generation device 6 according to the present embodiment. The pattern generation device 6 according to the present embodiment is a device that executes a lattice pattern generation program, and is a device that generates data of a lattice pattern to be described later printed on the screen 1. The pattern generation device 6 may be a separate device independent of the screen system of the present embodiment, or may be a component of the screen system. The pattern generation device 6 is mounted on a computer system similar to the computer system shown in FIG. 3 on which the video processing device 2 is mounted. For example, one computer system may have a function as the video processing device 2 and a function as the pattern generation device 6. An example of the operation of the computer system until the lattice pattern generation program is executable is the same as the above-described position specifying program.
本実施の形態のパターン生成装置６は、アドレスコード配置部６１、格子パターン生成部６２および印刷データ生成部６３を備える。アドレスコード配置部６１、格子パターン生成部６２および印刷データ生成部６３は、格子パターン生成プログラムにより制御部１０１内に生成される処理部である。また、パターン生成装置６は、格子パターンデータ６４を、記憶部１０３内に保持している。 The pattern generation apparatus 6 according to the present embodiment includes an address code arrangement unit 61, a lattice pattern generation unit 62, and a print data generation unit 63. The address code arrangement unit 61, the lattice pattern generation unit 62, and the print data generation unit 63 are processing units that are generated in the control unit 101 by a lattice pattern generation program. Further, the pattern generation device 6 holds lattice pattern data 64 in the storage unit 103.
次に、本実施の形態の動作について説明する。本実施の形態では、スクリーン１に、アドレスコードを埋め込んだ格子パターンが印刷されている。アドレスコードとは、後述するように格子パターンの基準座標系における位置を示す情報（数列）であり、本実施の形態では、この数列により、格子パターンのスクリーン１内の位置を示す。なお、ここでは、格子パターンが印刷される例を示すが、格子パターンがスクリーン１上に配置される方法であれば、印刷に限定されず、例えば、格子パターンの点となる物質をスクリーン１にスプレー等で塗布する方法であってもよく、どのような方法であってもよい。 Next, the operation of the present embodiment will be described. In the present embodiment, a lattice pattern in which an address code is embedded is printed on the screen 1. The address code is information (a number sequence) indicating the position of the lattice pattern in the reference coordinate system as will be described later. In the present embodiment, the position of the lattice pattern in the screen 1 is indicated by this number sequence. Here, an example in which a lattice pattern is printed is shown. However, the method is not limited to printing as long as the lattice pattern is arranged on the screen 1. For example, a substance that becomes a point of the lattice pattern is applied to the screen 1. A method of applying by spraying or the like may be used, and any method may be used.
まず、パターン生成装置６のアドレスコード配置部６１は、スクリーン１内の各格子パターンを配置する格子領域（ここでは、一例として矩形の平面の領域とする）をそれぞれ決定し、格子パターンごとのアドレスコードを決定する。格子領域は、各格子パターンを配置する際に、格子パターンの各点の位置を決定するために定義する基準領域であり、ここではスクリーンが平面状であるとしてスクリーン１を示す平面内に設けられた領域とする。スクリーン１には、格子領域が配置される。各格子領域は互いに重複しないように配置されてもよいし、一部重複されてもよく、格子領域間は離れていても（接していなくても）よい。格子領域内の格子パターンの各点は、後述するように、アドレスコードに応じて、格子領域内に基準パターンが配置された場合の各点の位置からそれぞれずれた位置に決定される。なお、ここでは、格子領域を平面としたが、格子領域は完全な平面でなくてもよく「局所的に平面近似可能な曲面」であってもよい。例えば、カーテンのような曲面であってもよい。格子パターン生成部６２は、アドレスコード配置部６１が決定したアドレスコードに基づいて、アドレスコードを埋め込んだ格子パターンを生成する。 First, the address code arrangement unit 61 of the pattern generation device 6 determines a lattice area (in this example, a rectangular plane area) where each lattice pattern in the screen 1 is arranged, and addresses for each lattice pattern. Determine the code. The grid area is a reference area that is defined to determine the position of each point of the grid pattern when each grid pattern is arranged. Here, the grid area is provided in a plane showing the screen 1 on the assumption that the screen is planar. Territory. A lattice area is arranged on the screen 1. The respective lattice regions may be arranged so as not to overlap each other, may be partially overlapped, and the lattice regions may be separated (not in contact). As will be described later, each point of the lattice pattern in the lattice region is determined at a position shifted from the position of each point when the reference pattern is arranged in the lattice region, according to the address code. Here, although the lattice region is a plane, the lattice region may not be a perfect plane but may be a “curved surface that can be locally approximated to a plane”. For example, a curved surface such as a curtain may be used. The lattice pattern generation unit 62 generates a lattice pattern in which the address code is embedded based on the address code determined by the address code arrangement unit 61.
アドレスコードを埋め込んだ格子パターンとは、格子パターンの位置自体にアドレス情報が含まれている格子パターンのことを示す。ここで、本実施の形態のアドレスコードを埋め込んだ格子パターンについて説明する。基準座標系とは、スクリーン１が移動や歪み等のない初期状態に置かれた場合のスクリーン１上の座標系である。 The lattice pattern in which the address code is embedded indicates a lattice pattern in which address information is included in the position of the lattice pattern itself. Here, the lattice pattern in which the address code of the present embodiment is embedded will be described. The reference coordinate system is a coordinate system on the screen 1 when the screen 1 is placed in an initial state without movement or distortion.
図６は、基準となる格子パターン（基準パターン）の一例を示す図である。ここでは、アドレスコードを埋め込んだ格子パターンとして３×３点の正方格子パターンを用いる例を説明する。図６の３×３の９点について、インデックスｋを図６に示すように設定する（図６の各点の右上方に記載した数字が各点のｋの値）。 FIG. 6 is a diagram illustrating an example of a reference lattice pattern (reference pattern). Here, an example will be described in which a 3 × 3 square lattice pattern is used as a lattice pattern in which an address code is embedded. For nine 3 × 3 points in FIG. 6, the index k is set as shown in FIG. 6 (the numbers shown at the upper right of each point in FIG. 6 are the values of k at each point).
各インデックスｋに対応する点の座標を［ｕ（ｋ），ｖ（ｋ）］Tとする。アドレスコードは、３×３の９点にそれぞれ設定されたコードを示す数列である。各点に対応するコード（点コード）ｐ（ｋ）は、０から３の整数とする。このとき、コードに応じて位置をずらした点の座標［ｕ´（ｋ），ｖ´（ｋ）］Tを、次の式（１）で与える。 The coordinates of the point corresponding to each index k are [u (k), v (k)] T. The address code is a numerical sequence indicating a code set for each of 9 points of 3 × 3. The code (point code) p (k) corresponding to each point is an integer from 0 to 3. At this time, the coordinates [u ′ (k), v ′ (k)] T of the point shifted in accordance with the code are given by the following equation (1).
ここで、Ｄは、位置をずらす幅であり定数である。ここでは、Ｄを格子点間隔の１／１０の幅とする。１／１０は一例であり、Ｄは１／１０に限定されず、格子点間隔の半分より小さい数値であればよい。例えば、アドレスコードｐとして［０，１，２，３，０，１，２，３，０］を与えた場合、格子パターンは図７のようになる。図７は、アドレスコードを与えた格子パターンの一例を示す図である。図７の、黒丸は図６で示した基準パターンの各点の座標（［ｕ（ｋ），ｖ（ｋ）］T）を示し、×は各点をアドレスコードに従って、それぞれ位置をずらした格子点の座標（［ｕ´（ｋ），ｖ´（ｋ）］T）である。この×がアドレスコードを埋め込んだ格子パターンとなる。 Here, D is a width for shifting the position and is a constant. Here, D is a width of 1/10 of the lattice point interval. 1/10 is an example, D is not limited to 1/10, and may be a numerical value smaller than half of the lattice point interval. For example, when [0, 1, 2, 3, 0, 1, 2, 3, 0] is given as the address code p, the lattice pattern is as shown in FIG. FIG. 7 is a diagram showing an example of a lattice pattern given an address code. In FIG. 7, black circles indicate the coordinates ([u (k), v (k)] T ) of each point of the reference pattern shown in FIG. 6, and × is a lattice in which each point is shifted according to the address code. The coordinates of the point ([u ′ (k), v ′ (k)] T ). This x is a lattice pattern in which an address code is embedded.
本実施の形態では、アドレスコードを格子パターンが含まれる格子領域のスクリーン１内の位置に応じて生成しておくことで、格子領域内の格子パターンのアドレスコードを解読できれば、当該格子領域のスクリーン１内の位置を知ることができる。なお、格子領域の一例としては、図６、７に領域２００として示したような矩形の領域を用いることができるが、格子領域の形状は図６、７の例に限定されず、どのような形状であってもよい。 In the present embodiment, if the address code is generated according to the position in the screen 1 of the lattice area including the lattice pattern, and the address code of the lattice pattern in the lattice area can be decoded, the screen of the lattice area is displayed. The position within 1 can be known. As an example of the lattice region, a rectangular region as shown as the region 200 in FIGS. 6 and 7 can be used. However, the shape of the lattice region is not limited to the example in FIGS. It may be a shape.
印刷データ生成部６３は、スクリーン１に印刷する全格子パターンについて、格子パターン生成部６２が生成した格子パターンを、当該格子パターンに対応する（アドレスコード配置部６１が決定した）格子領域のスクリーン１内の位置に配置し、スクリーン１に対応する印刷データとして出力する。なお、ここでは、スクリーン１に印刷する全格子パターンをまとめて出力するようにしたが、スクリーン１の領域を２つ以上に分割して、分割した領域ごとに、印刷データを出力するようにしてもよい。そして、印刷データに基づいて、スクリーン１への各格子パターン（格子パターンを構成する各点）を印刷する。なお、印刷データ生成部６３が、スクリーン１へ印刷する機能を有している場合は、印刷データ生成部６３は、印刷データを出力するのではなく、印刷データをスクリーン１へ印刷してもよい。以上の処理により、アドレスコードを埋め込んだ格子パターンが印刷されたスクリーン１が生成される。 The print data generation unit 63 selects the lattice pattern generated by the lattice pattern generation unit 62 for all the lattice patterns to be printed on the screen 1, corresponding to the lattice pattern (determined by the address code arrangement unit 61). And output as print data corresponding to the screen 1. Here, all the lattice patterns to be printed on the screen 1 are output together, but the area of the screen 1 is divided into two or more, and print data is output for each divided area. Also good. Based on the print data, each lattice pattern (each point constituting the lattice pattern) is printed on the screen 1. When the print data generation unit 63 has a function of printing on the screen 1, the print data generation unit 63 may print the print data on the screen 1 instead of outputting the print data. . Through the above processing, the screen 1 on which the lattice pattern in which the address code is embedded is printed is generated.
スクリーン１は、平板上の基材にコーティング等が施された生地を備え、この生地に格子パターンを構成する各点が印刷される。基材としては、布や樹脂シート等どのようなものを用いてもよく、コーティング剤にもどのようなものを用いてもよい。スクリーン１への格子パターンの印刷方法としてはどのような方法を用いてもよいが、例えば、特定の方向の光のみを反射する材質や可視光以外の光（例えば赤外光）を放出または反射する材質等を格子パターンとしてスクリーンに印刷することが考えられる。このような材質を用いることにより、投影した映像を観測する観測者からは格子パターンは見えない。例えば、特定の方向の光のみを反射する材質を用いる場合、撮影装置４の視線方向と一致する方向に光を放出する光源を用い、撮影装置４からは格子パターンが撮影できるように配置する。特定の方向の光のみを反射する材質としては、例えば、再帰性反射材を用いることができる。また、可視光以外の光（例えば赤外光）を放出または反射する材質を格子パターンとして用いる場合、どのような材質を用いてもよいが、格子パターンを構成する材質、それ以外の領域（生地に相当する部分）との間で、撮影装置４において十分な感度の差が得られる波長を適用する。また、再帰性反射材が全面に形成されたものを生地として、格子パターンを構成するマーカー部分以外の領域を別の印刷塗料で塗布し、マーカー部分以外の再帰性反射材を隠す（例：酸化チタンによる塗料で例えば白色に塗布する等）といった方法も考えられる。 The screen 1 includes a cloth on which a base material on a flat plate is coated, and each point constituting a lattice pattern is printed on the cloth. As a base material, what kind of thing, such as a cloth and a resin sheet, may be used, and what kind of thing may be used also for a coating agent. Any method may be used as a method for printing a lattice pattern on the screen 1. For example, a material that reflects only light in a specific direction or light other than visible light (for example, infrared light) is emitted or reflected. It is conceivable to print the material to be printed on the screen as a lattice pattern. By using such a material, an observer who observes the projected image cannot see the lattice pattern. For example, when a material that reflects only light in a specific direction is used, a light source that emits light in a direction that coincides with the line-of-sight direction of the image capturing device 4 is used, and the lattice pattern is arranged to be captured from the image capturing device 4. As a material that reflects only light in a specific direction, for example, a retroreflecting material can be used. In addition, when a material that emits or reflects light other than visible light (for example, infrared light) is used as the lattice pattern, any material may be used, but the material constituting the lattice pattern, other regions (clothes) The wavelength at which a sufficient difference in sensitivity is obtained in the photographing device 4 is applied. In addition, using a material with the retroreflective material formed on the entire surface as a fabric, apply a region other than the marker part that constitutes the lattice pattern with another printing paint to hide the retroreflective material other than the marker part (eg, oxidation) For example, a method of applying a white paint with a titanium paint is also conceivable.
図８は、本実施の形態の位置特定処理および映像投影処理の一例を示すフローチャートである。位置特定処理は、位置特定プログラムにより実現される処理であり、映像投影処理は、映像投影プログラムにより実現される処理である。本実施の形態では、図８に示す処理を、例えば、一定時間ごと、またはスクリーン１の移動が検出された場合等に実施する。 FIG. 8 is a flowchart illustrating an example of the position specifying process and the video projecting process according to the present embodiment. The position specifying process is a process realized by a position specifying program, and the video projecting process is a process realized by a video projecting program. In the present embodiment, the process shown in FIG. 8 is performed, for example, at regular time intervals or when movement of the screen 1 is detected.
図８に示すように、まず、座標算出部２１が撮影装置４からスクリーン１（アドレスコードを埋め込んだ格子パターンが印刷されたスクリーン１）を撮影した画像データを取得する（ステップＳ１）。本実施の形態では、上述したように格子パターンのスクリーン内の位置（すなわち、上記の格子領域のスクリーン内１の位置）により異なるアドレスコードを埋め込み、スクリーン１にこれらの格子パターンを印刷しておく。そして、撮影装置４は、スクリーン１を撮影することにより、これらの格子パターンを含む画像データを取得する。上記のステップＳ１では、座標算出部２１は、この画像データを撮影装置４から取得する。格子パターンのアドレスコードと格子パターンの位置との対応は格子パターンデータ２６として保持される。格子パターンデータ２６としては、パターン生成装置６の格子パターンデータ６４と同一のものを用いる。 As shown in FIG. 8, first, the coordinate calculation unit 21 acquires image data obtained by photographing the screen 1 (the screen 1 on which the lattice pattern with the address code embedded is printed) from the photographing device 4 (step S1). In the present embodiment, as described above, different address codes are embedded depending on the position of the lattice pattern in the screen (that is, the position of the lattice region 1 in the screen), and these lattice patterns are printed on the screen 1. . And the imaging device 4 acquires the image data containing these lattice patterns by imaging the screen 1. In step S <b> 1, the coordinate calculation unit 21 acquires this image data from the imaging device 4. The correspondence between the address code of the lattice pattern and the position of the lattice pattern is held as lattice pattern data 26. As the lattice pattern data 26, the same data as the lattice pattern data 64 of the pattern generation device 6 is used.
次に、格子パターン推定部２２が、画像データを用いて格子点の画像データ中の座標を算出する（ステップＳ２）。具体的には、画像データ中の印刷されている３×３の９点の格子点の座標を求める。ここでは、１組の（９点で構成される）格子パターンについてアドレスコードを推定する例について説明するが、複数の格子パターンについてアドレスコードを推定する場合は、図８のステップＳ２〜ステップＳ５を繰り返す。 Next, the grid pattern estimation unit 22 calculates the coordinates of the grid point image data using the image data (step S2). Specifically, the coordinates of nine 3 × 3 grid points printed in the image data are obtained. Here, an example in which an address code is estimated for a set of lattice patterns (consisting of 9 points) will be described. However, when an address code is estimated for a plurality of lattice patterns, steps S2 to S5 in FIG. 8 are performed. repeat.
次に、格子パターン推定部２２が、画像データ中の複数の（ここでは９点の）格子点の座標に基づいて、この９点の格子パターンのアドレスコードを推定する（ステップＳ３）。具体的には、次のようにアドレスコードを推定する。 Next, the lattice pattern estimation unit 22 estimates the address code of the nine lattice patterns based on the coordinates of a plurality of (here, nine lattice points) in the image data (step S3). Specifically, the address code is estimated as follows.
画像データ中の格子点の座標を［ｕcam（ｋ），ｖcam（ｋ）］Tとすると、［ｕcam（ｋ），ｖcam（ｋ）］Tは、以下の式（２）に示すように、［ｕ´（ｋ），ｖ´（ｋ）］Tに射影変換行列Ｈ（太字）を適用したものとして観測される。なお、ｓは、スケールを決定するための変数である。 If the coordinates of lattice points in the image data are [u cam (k), v cam (k)] T , [u cam (k), v cam (k)] T is expressed by the following equation (2). Thus, it is observed that the projection transformation matrix H (bold) is applied to [u ′ (k), v ′ (k)] T. Note that s is a variable for determining the scale.
このとき、［ｕcam（ｋ），ｖcam（ｋ）］Tと［ｕ´（ｋ），ｖ´（ｋ）］Tの組が４組以上あれば、射影変換行列Ｈ（太字）を推定することができる。しかしながら、［ｕ´（ｋ），ｖ´（ｋ）］Tは、アドレスコードが既知の場合にしか計算することができない。そこで、［ｕ´（ｋ），ｖ´（ｋ）］Tの代わりに［ｕ（ｋ），ｖ（ｋ）］Tを用いても大きな誤差が生じないと仮定し、［ｕcam（ｋ），ｖcam（ｋ）］Tと［ｕ（ｋ），ｖ（ｋ）］Tの組を用いて最小二乗法により射影変換行列Ｈ（太字）´を推定する。 In this case, [u cam (k), v cam (k)] T and [u'(k), v'( k)] If T set of four or more of, estimating the projective transformation matrix H (in bold) can do. However, [u ′ (k), v ′ (k)] T can be calculated only when the address code is known. Therefore, [u'(k), v' (k)] instead of T [u (k), v (k)] assuming large error does not occur even with a T, [u cam (k) , V cam (k)] T and [u (k), v (k)] T are used to estimate the projective transformation matrix H (bold) ′ by the least square method.
具体的には、例えば、次のようにして射影変換行列Ｈ（太字）´を推定する。まず、Ｈ（太字）´を以下の式（３）で表されるとする。Ｈ（太字）´の９番目の要素が１であるのは、スケールが任意のためである。式（３）に示すように、射影変換行列Ｈ（太字）´は８パラメータで表すことができる。 Specifically, for example, the projective transformation matrix H (bold) ′ is estimated as follows. First, it is assumed that H (bold) ′ is represented by the following formula (3). The ninth element of H (bold) ′ is 1 because the scale is arbitrary. As shown in Expression (3), the projective transformation matrix H (bold) ′ can be expressed by eight parameters.
Ｎ（Ｎ≧４）組の［ｕcam（ｋ），ｖcam（ｋ）］Tと［ｕ´（ｋ），ｖ´（ｋ）］Tとの組み合わせ（ｋ＝１，２，…，Ｎ、かつＮ≧４）を用いるとすると、ｋ＝１，２，…，Ｎ（Ｎ≧４）について、上記式(２)、（３）から２Ｎ個の方程式が得られる。これらの方程式を行列の掛け算で表現すると以下の式（４）のようになる。 N (N ≧ 4) sets of [u cam (k), v cam (k)] T and [u'(k), v'( k)] combination of T (k = 1,2, ..., N And N ≧ 4), 2N equations are obtained from the above equations (2) and (3) for k = 1, 2,..., N (N ≧ 4). When these equations are expressed by matrix multiplication, the following equation (4) is obtained.
このとき、射影変換行列Ｈ（太字）´の８パラメータ（８個の要素）を要素とするｈ（太字）は以下の式（５）で最小二乗法により求めることができる。なお、Ｂ（太字）+は、Ｂ（太字）の擬似逆行列を示す。 At this time, h (bold) whose elements are eight parameters (eight elements) of the projective transformation matrix H (bold) ′ can be obtained by the least square method using the following equation (5). B (bold) + indicates a pseudo inverse matrix of B (bold).
以下の式（５）により求めたｈ（太字）の要素を上記の式（３）のように成形することで射影変換行列Ｈ（太字）´を推定することができる。なお、以上述べた射影変換行列Ｈ（太字）´の推定方法は一例であり、具体的な処理手順は上記の例に限定されない。 The projective transformation matrix H (bold) ′ can be estimated by shaping the element of h (bold) obtained by the following formula (5) as in the above formula (3). In addition, the estimation method of the projection transformation matrix H (bold) 'described above is an example, and a specific processing procedure is not limited to the above example.
この推定された射影変換行列Ｈ（太字）´を用いて以下の式（６）に示すように、［ｕ（ｋ），ｖ（ｋ）］Tからもとの格子パターンの座標［ｕ´´（ｋ），ｖ´´（ｋ）］Tを推定する。 Using the estimated projective transformation matrix H (bold) ′, the coordinates [u ″ of the original lattice pattern from [u (k), v (k)] T as shown in the following equation (6). (K), v ″ (k)] T is estimated.
最後に、［ｕ´´（ｋ），ｖ´´（ｋ）］Tが［ｕ（ｋ），ｖ（ｋ）］Tからどの方向にずれているかを格子点ごとに求めることによりアドレスコードを推定する。すなわち、推定されるアドレスコードｐest（ｋ）は、次の式（７）で与えられる。 Finally, [u ″ (k), v ″ (k)] T is deduced from [u (k), v (k)] T in which direction the address code is obtained by obtaining for each lattice point. presume. That is, the estimated address code p est (k) is given by the following equation (7).
ただし、θ＝tan-1（（ｖ´´（ｋ）−ｖ（ｋ））／（ｕ´´（ｋ）−ｕ（ｋ）））は、［ｕ（ｋ），ｖ（ｋ）］Tからみた［ｕ´´（ｋ），ｖ´´（ｋ）］Tの角度を表す。 However, θ = tan −1 ((v ″ (k) −v (k)) / (u ″ (k) −u (k))) is [u (k), v (k)] T The angle of [u ″ (k), v ″ (k)] T viewed from the point of view.
以上に述べたアドレスコードの推定方法では、アドレスコードによって射影変換の推定誤差の傾向が異なるため、推定されるアドレスコードｐest（ｋ）の推定において、誤りが生じやすいコード列と誤りにくいコード列が存在する。また、射影変換行列Ｈ（太字）´の推定には、図６の基準パターンを用いる場合、格子パターンを構成する９点の全てを使用する場合に比べ、インデックスｋが５となる格子点（図６の中央の点）を除いた点を用いた方がアドレスコードの推定精度が高くなることをシミュレーションにより確認している。このように、格子パターンにより、推定時に用いる格子点の点数を適切に選択することにより、アドレスコードの推定精度を向上させることができる。 In the address code estimation method described above, the tendency of the projection transformation estimation error varies depending on the address code. Therefore , in the estimation of the estimated address code p est (k), an error-prone code string and an error-prone code string are difficult. Exists. 6 is used for estimating the projective transformation matrix H (bold) ′, compared to the case where all nine points constituting the lattice pattern are used in the case of using the reference pattern of FIG. It has been confirmed by simulation that the estimation accuracy of the address code is higher when the points excluding the center point of 6 are used. As described above, by appropriately selecting the number of grid points used at the time of estimation based on the grid pattern, it is possible to improve the accuracy of address code estimation.
図８の説明に戻り、ステップＳ３の処理の後、格子パターン推定部２２は、アドレスコードの推定が可であったか否かを判断する（ステップＳ４）。アドレスコードの推定が可であった場合（ステップＳ４ Ｙｅｓ）、アドレス決定部２３は、アドレスコードに基づいて格子パターンの基準座標系における位置を確定する（ステップＳ５）。 Returning to the description of FIG. 8, after the process of step S <b> 3, the lattice pattern estimation unit 22 determines whether the address code can be estimated (step S <b> 4). If the address code can be estimated (step S4 Yes), the address determination unit 23 determines the position of the lattice pattern in the reference coordinate system based on the address code (step S5).
そして、座標変換行列決定部２４は、格子パターンの基準座標系における位置（座標値）と画像データ中の格子パターンの位置（座標値）とに基づいて、投影する映像を変換するための座標変換行列を算出する（ステップＳ６）。そして、映像データ変換部２５は、保持している映像データを座標変換行列を用いて変換して、変換後の映像データを投影データとして生成して投影装置３へ出力する（ステップＳ７）。その後、投影装置３は、投影データをスクリーン１に投影する。 Then, the coordinate transformation matrix determination unit 24 performs coordinate transformation for transforming the projected image based on the position (coordinate value) of the lattice pattern in the reference coordinate system and the position (coordinate value) of the lattice pattern in the image data. A matrix is calculated (step S6). Then, the video data conversion unit 25 converts the stored video data using a coordinate conversion matrix, generates the converted video data as projection data, and outputs the projection data to the projection device 3 (step S7). Thereafter, the projection device 3 projects the projection data onto the screen 1.
アドレスコードの推定が不可であった場合（ステップＳ４ Ｎｏ）、座標算出部２１は、画像データ中の座標を求める格子点を変更し（ステップＳ８）、ステップＳ２へ戻る。アドレスコードの推定が不可となるのは、座標を算出した９点の格子点が同一の格子パターンを構成するものではなかった場合である。例えば隣接する２つの格子パターンに属する９点であった場合等、隣接する格子パターンの点が混ざった９点であった場合等である。このような場合には、画像データ中の座標を求める格子点を変更する（例えば、１点ずつずらす等）。 If the address code cannot be estimated (No at Step S4), the coordinate calculation unit 21 changes the grid point for obtaining the coordinates in the image data (Step S8), and returns to Step S2. The address code cannot be estimated when the nine lattice points whose coordinates are calculated do not constitute the same lattice pattern. For example, when there are 9 points belonging to two adjacent grid patterns, there are 9 points where adjacent grid pattern points are mixed. In such a case, the grid point for obtaining the coordinates in the image data is changed (for example, shifted by one point).
なお、ここでは、格子パターン単位で位置（すなわち射影変換行列）を求める例を説明したが、格子パターン内の各格子点の配置を用いて、格子点単位で位置（すなわち射影変換行列）を求めることも可能である。 Here, an example has been described in which the position (that is, the projective transformation matrix) is obtained in units of lattice patterns, but the position (ie, the projective transformation matrix) is obtained in units of lattice points using the arrangement of each lattice point in the lattice pattern. It is also possible.
スクリーン１上にアドレスコードの異なる格子パターンを複数配置することにより、スクリーン１上の複数の位置の検出が可能となる。図９は、スクリーン１上にアドレスコードの異なる格子パターンを配置した例を示す図である。図９の黒丸は、各格子点である。図９では、図６、７を用いて説明した３×３の格子パターンを用いる例を示している。図９中の薄く示した数字は、格子パターンの番号を示している。 By arranging a plurality of grid patterns having different address codes on the screen 1, a plurality of positions on the screen 1 can be detected. FIG. 9 is a diagram showing an example in which lattice patterns having different address codes are arranged on the screen 1. The black circles in FIG. 9 are each lattice point. FIG. 9 shows an example using the 3 × 3 lattice pattern described with reference to FIGS. The numbers shown in light in FIG. 9 indicate the numbers of the lattice patterns.
また、図９に示した格子パターンの番号は、アドレスコードの推定精度を示すスコアに応じて定めている。上述したように、アドレスコードの推定精度は、アドレスコードを設定した際のアドレスコードの値（基準パターンからのずらし方）に依存する。 Further, the lattice pattern numbers shown in FIG. 9 are determined according to a score indicating the estimation accuracy of the address code. As described above, the estimation accuracy of the address code depends on the value of the address code when the address code is set (how to shift from the reference pattern).
以下では、アドレスコードの推定精度が高い、すなわち射影変換にロバストなアドレスコードの選択方法について説明する。射影変換にロバストなアドレスコードは、全てのアドレスコード（４9通り）について、それぞれ射影変換に対するロバスト性の指標となるスコアを求める。ここでは、シミュレーションにより、正対する平面を±８０の範囲で５°ずつＸ軸およびＹ軸回りに（ロールおよびピッチ）回転させた平面に変化するための射影変換を与え、上述した方法によりアドレスコードを推定する。そして、９点のアドレスコードの全てが正解した場合にスコアを１加算する。したがって、スコアの上限は、Ｘ軸およびＹ軸回りの全ての角度で、アドレスコードが全て正解した場合に対応する、３３×３３＝１０８９である。 In the following, a description will be given of a method for selecting an address code that has a high estimation accuracy of the address code, that is, is robust to projective transformation. Robust address code to projective transformation, for all the address code (4 nine), obtaining a score respectively the robustness index for projective transformation. Here, a projection transformation is applied by simulation to change the facing plane into a plane rotated about the X-axis and Y-axis (roll and pitch) by 5 ° in a range of ± 80 by ± 80. Is estimated. If all nine address codes are correct, the score is incremented by one. Therefore, the upper limit of the score is 33 × 33 = 1089 corresponding to the case where all the address codes are correct at all angles around the X axis and the Y axis.
このようにしてアドレスコードごとにスコアを求め、スコアの高い順に３×３の格子パターンを走査線上に並べて格子パターンを生成する。図９では、格子パターンの番号が、当該格子パターンに対応するスコアを示している。このように、図９では、スコアの高い順に格子パターンを並べている。図９では、スコアの高い順に格子パターンを並べる例を示したが、スクリーン１上の配置はこれに限定されない。ただし、スクリーン１の端等の歪みが大きくなることが予想される場所には、スコアの高い格子パターンを配置すること望ましい。 In this way, a score is obtained for each address code, and a 3 × 3 lattice pattern is arranged on the scanning line in descending order of score to generate a lattice pattern. In FIG. 9, the grid pattern number indicates the score corresponding to the grid pattern. Thus, in FIG. 9, the lattice patterns are arranged in descending order of score. Although FIG. 9 shows an example in which lattice patterns are arranged in descending order of score, the arrangement on the screen 1 is not limited to this. However, it is desirable to arrange a grid pattern having a high score in a place where distortion at the edge of the screen 1 is expected to increase.
図１０〜図１３は、図９に示した配置の格子パターンをカメラにより実際に撮影した画像の例を示している。図１０〜図１３は、それぞれ異なる角度で撮影している。図１０，１１，１２，１３に示した画像を用いて、図１０では１０番、図１１では３８番、図１２では２１番、図１３では１６番の格子パターンのアドレスコードをそれぞれシミュレーションで推定した。シミュレーションの結果、いずれの場合も、正しくアドレスコードが推定できた。 10 to 13 show examples of images obtained by actually capturing the lattice pattern having the arrangement shown in FIG. 9 with a camera. 10 to 13 are taken at different angles. Using the images shown in FIGS. 10, 11, 12 and 13, the address codes of the grid pattern No. 10 in FIG. 10, No. 38 in FIG. 11, No. 21 in FIG. 12, and No. 16 in FIG. did. As a result of the simulation, the address code was correctly estimated in all cases.
以上の処理により、移動する立体とともにスクリーン１が時間の経過に伴い移動または形状変化する、または移動するとともに形状変換する場合にも、高速に任意のスクリーン１上の位置（スクリーン上の基準座標系に対する射影変換）を推定することができる。 With the above processing, even when the screen 1 moves or changes its shape with the passage of time along with the moving solid, or when it moves and changes its shape, any position on the screen 1 (the reference coordinate system on the screen) Projective transformation).
なお、ここでは、アドレスコードを埋め込むパターンの一例として３×３の正方格子パターンを用いる例を説明したが、ｎ×ｍ（ｎ≠ｍ）の点の長方形のパターンであってもよい。また、ここでは、基準パターンとして、縦方向、および横方向の各点の間隔が等間隔となる例を説明したが、縦方向、横方向の一方または両方が等間隔でなくてもよい。さらに、基準パターンが正方形や長方形の矩形ではなく、円であったり、多角形であったりしてもよく、５点以上で構成されるパターンであれば形状に制約はない。ただし、位置算出時の誤差を低減するには、基準パターン内の各点は基準パターン内でなるべく偏らないよう配置されることが望ましい。また、格子パターン同士が重なるようにしても、本実施の形態の位置特定方法により位置の特定を実施することができる。 Although an example in which a 3 × 3 square lattice pattern is used as an example of an address code embedding pattern has been described here, a rectangular pattern of n × m (n ≠ m) points may be used. Here, an example has been described in which the interval between the vertical and horizontal points is equal as the reference pattern, but one or both of the vertical and horizontal directions may not be equal. Furthermore, the reference pattern may be a circle or a polygon instead of a square or rectangle, and there is no restriction on the shape as long as it is a pattern composed of five or more points. However, in order to reduce errors in position calculation, it is desirable that each point in the reference pattern is arranged so as not to be biased in the reference pattern as much as possible. Even if the lattice patterns overlap each other, the position can be specified by the position specifying method of the present embodiment.
上述したアドレスコードを埋め込んだ格子パターンを用いることで、撮影されたカメラ画像上の位置・２次元座標の回転角度・３次元平面の位置・３次元平面の傾きを推定することができる。これらの情報は、プロジェクタ・カメラシステムにおいて、投影画像の幾何補正のために利用される情報である。一方で，これらの情報を用いることで，アドレスコードを埋め込んだ格子パターンをＡＲ（Augmented Reality，拡張現実）マーカーとして利用することも可能である。ＡＲは、カメラで撮影した画像をディスプレイに表示する際に、カメラ画像に情報を付加して表示する技術である。例えば、画像上に文字情報を付加したり、現実には存在しない物体をＣＧ（Computer Graphics）モデルで付加したりする。このＡＲでは、しばしば、ＡＲマーカーを補助的に使用する。例えば、Hiroマーカーが有名である。ＡＲマーカーを、紙や布，平板などに印刷しておき、それをカメラで撮影し、ＡＲマーカーの位置や傾きに合わせてＣＧモデルの位置や傾きを決定することで、現実には存在しない仮想情報（ＣＧモデルなど）を違和感なくカメラ画像に合成することができる。 By using the lattice pattern in which the above-described address code is embedded, it is possible to estimate the position on the captured camera image, the rotation angle of the two-dimensional coordinate, the position of the three-dimensional plane, and the inclination of the three-dimensional plane. These pieces of information are information used for geometric correction of the projected image in the projector / camera system. On the other hand, by using these pieces of information, it is also possible to use a lattice pattern in which an address code is embedded as an AR (Augmented Reality) marker. AR is a technology for adding and displaying information to a camera image when an image taken by a camera is displayed on a display. For example, character information is added to an image, or an object that does not actually exist is added using a CG (Computer Graphics) model. In this AR, an AR marker is often used as an auxiliary. For example, the Hiro marker is famous. The AR marker is printed on paper, cloth, flat plate, etc., taken with a camera, and the position and inclination of the CG model are determined in accordance with the position and inclination of the AR marker. Information (such as a CG model) can be combined with a camera image without a sense of incongruity.
アドレスコードを埋め込んだ格子パターンは、カメラ画像から、カメラ画像上の位置・２次元座標の回転角度・３次元平面の位置・３次元平面の傾きを推定することができるため、ＣＧモデルなどの付加情報を合成する位置・姿勢の決定に利用できる。また、格子パターンが印刷された面（平面やゆるやかな曲面）の形状をカメラから推定することができるため、現実には印刷されていない仮想情報（画像や模様，文字など）があたかもその平面に印刷されているかのように画像に合成するための情報を付加することも可能である。すなわち、仮想情報（ＣＧモデルや平面の画像や模様，文字など）をカメラ画像に合成するための情報に基づいてアドレスコードを生成することにより、格子パターンをＡＲマーカーとして用いることができる。格子パターンを実装する方法としては印刷に限定されず、例えば、格子パターンの点となる物質をスクリーン１にスプレー等で塗布する方法であってもよく、どのような方法であってもよい。 The grid pattern with the embedded address code can estimate the position on the camera image, the rotation angle of the two-dimensional coordinates, the position of the three-dimensional plane, and the inclination of the three-dimensional plane from the camera image. It can be used to determine the position / posture for combining information. In addition, since the shape of the surface (plane or gentle curved surface) on which the lattice pattern is printed can be estimated from the camera, virtual information that is not actually printed (images, patterns, characters, etc.) appears on the plane. It is also possible to add information for combining with an image as if it were printed. That is, the lattice pattern can be used as an AR marker by generating an address code based on information for synthesizing virtual information (CG model, planar image, pattern, character, etc.) with a camera image. The method of mounting the lattice pattern is not limited to printing, and for example, a method of applying a substance that becomes a point of the lattice pattern to the screen 1 by spraying or the like may be used.
アドレスコードを埋め込んだ格子パターンでは、アドレスコードによって印刷面上の絶対座標を定義することができるため、アドレスコードごとに異なる情報を付加することが可能である。このとき、カメラの移動に伴い、あるアドレスコードが一時的に見えなくなったことで、そのアドレスコードに対応する情報が画像上に付加できなくなったとしても、再度そのアドレスコードがカメラから見えた際には、そのアドレスコードに対応する情報を再び表示することができる。 In the lattice pattern in which the address code is embedded, the absolute coordinates on the printing surface can be defined by the address code, so that different information can be added for each address code. At this time, even if information corresponding to the address code cannot be added to the image due to the temporary disappearance of the address code as the camera moves, the address code can be seen again from the camera. The information corresponding to the address code can be displayed again.
一般に、これまでに使用されているＡＲマーカーを用いてマーカーごとに異なる情報を付加したい場合、多くの種類のＡＲマーカーが必要になる。これに対し、アドレスコードを埋め込んだ格子パターンをＡＲマーカーとして用いると、アドレスコードを変えることで、容易に多様な情報を付加することが可能である。 In general, when it is desired to add different information for each marker using AR markers that have been used so far, many types of AR markers are required. On the other hand, when a lattice pattern in which an address code is embedded is used as an AR marker, various information can be easily added by changing the address code.
これまでに使用されているＡＲマーカーは、ロバストに位置・姿勢を求めるために、Hiroマーカーのように、四角形の枠内に固有のコードや模様をもつものが使用されていた。これに対して、アドレスコードを埋め込んだ格子パターンは、点の座標で情報を表現できるため、印刷されるＡＲマーカーを目立たなくすることができる。また、印刷の際に、特定の方向の光のみを反射する材質や可視光以外の光（例えば赤外光）を放出または反射する材質等を格子パターンとしてスクリーンに印刷することが考えられる。このような材質を用いることにより、観測者からは格子パターンは見えないＡＲマーカーを実現することができる。 AR markers that have been used so far have a unique code or pattern in a rectangular frame, such as the Hiro marker, in order to robustly determine the position and orientation. On the other hand, since the lattice pattern in which the address code is embedded can express information by the coordinates of the points, the printed AR marker can be made inconspicuous. In printing, a material that reflects only light in a specific direction or a material that emits or reflects light other than visible light (for example, infrared light) may be printed on the screen as a lattice pattern. By using such a material, it is possible to realize an AR marker whose lattice pattern is not visible to the observer.
以上のように、本発明にかかる位置特定装置、映像処理装置、パターン生成装置、スクリーン、スクリーンシステムおよび位置特定方法は、映像を投影するスクリーンシステムに有用であり、特に、スクリーンが移動するシステムに適している。 As described above, the position specifying device, the image processing device, the pattern generating device, the screen, the screen system, and the position specifying method according to the present invention are useful for a screen system that projects an image, and particularly for a system in which the screen moves. Is suitable.
１ スクリーン、２ 映像処理装置、３ 投影装置、４ 撮影装置、５ 立体、６ パターン生成装置、２１ 座標算出部、２２ 格子パターン推定部、２３ アドレス決定部、２４ 座標変換行列決定部、２５ 映像データ変換部、２６ 格子パターンデータ、２７ 映像データ、６１ アドレスコード配置部、６２ 格子パターン生成部、６３ 印刷データ生成部、１０１ 制御部、１０２ 入力部、１０３ 記憶部、１０４ 表示部、１０５ 通信部、１０６ システムバス。 1 screen, 2 video processing device, 3 projection device, 4 imaging device, 5 solid, 6 pattern generation device, 21 coordinate calculation unit, 22 grid pattern estimation unit, 23 address determination unit, 24 coordinate transformation matrix determination unit, 25 video data Conversion unit, 26 grid pattern data, 27 video data, 61 address code arrangement unit, 62 grid pattern generation unit, 63 print data generation unit, 101 control unit, 102 input unit, 103 storage unit, 104 display unit, 105 communication unit, 106 System bus.
Claims (15)
前記座標値に基づいて前記パターンの前記部材内の位置を示す情報であるアドレスコードを推定する格子パターン推定部と、
推定した前記アドレスコードに基づいて、前記パターンの前記部材内の位置を特定するアドレス決定部と、
を備え、
前記パターンは、複数の点で構成される基準パターンに対して、前記パターンの点ごとに前記基準パターンの対応する点からずれた前記部材内の位置に配置され、
前記パターンを構成する点に対応する前記基準パターンの対応する点に対するずれの方向を数値化した値を点コードとし、前記アドレスコードは、前記パターンを構成する前記複数の点の前記点コードで構成される数列であることを特徴とする位置特定装置。 A coordinate calculation unit that calculates a coordinate value in the image of the point in the image, based on an image obtained by photographing a member in which a plurality of patterns composed of a plurality of points having different position coordinates are arranged;
A lattice pattern estimator for estimating an address code which is information indicating the position of the pattern in the member based on the coordinate value;
Based on the estimated address code, an address determining unit that identifies the position of the pattern in the member;
With
The pattern is arranged at a position in the member that is deviated from a corresponding point of the reference pattern for each point of the pattern with respect to a reference pattern composed of a plurality of points.
A value obtained by quantifying the direction of deviation from the corresponding point of the reference pattern corresponding to the point constituting the pattern is a point code, and the address code is composed of the point codes of the plurality of points constituting the pattern A position specifying device characterized in that the position specifying device is a number sequence.
前記座標値に基づいて前記パターンの前記部材内の位置を示す情報であるアドレスコードを推定する格子パターン推定部と、
推定した前記アドレスコードに基づいて、前記パターンの前記部材内の位置を特定するアドレス決定部と、
前記アドレス決定部により特定された前記パターンの位置に基づいて、前記部材の形状に対応した射影変換行列を算出し、前記部材へ投影する映像データを、前記射影変換行列を用いて座標変換する映像データ変換部と、
を備え、
前記パターンは、複数の点で構成される基準パターンに対して、前記パターンの点ごとに前記基準パターンの対応する点からずれた前記部材内の位置に配置され、
前記パターンを構成する点に対応する前記基準パターンの対応する点に対するずれの方向を数値化した値を点コードとし、前記アドレスコードは、前記パターンを構成する前記複数の点の前記点コードで構成される数列であること特徴とする映像処理装置。 A coordinate calculation unit that calculates a coordinate value in the image of the point in the image, based on an image obtained by photographing a member in which a plurality of patterns composed of a plurality of points having different position coordinates are arranged;
A lattice pattern estimator for estimating an address code which is information indicating the position of the pattern in the member based on the coordinate value;
Based on the estimated address code, an address determining unit that identifies the position of the pattern in the member;
An image in which a projection transformation matrix corresponding to the shape of the member is calculated based on the position of the pattern specified by the address determination unit, and image data to be projected onto the member is coordinate-converted using the projection transformation matrix A data converter,
With
The pattern is arranged at a position in the member that is deviated from a corresponding point of the reference pattern for each point of the pattern with respect to a reference pattern composed of a plurality of points.
A value obtained by quantifying the direction of deviation from the corresponding point of the reference pattern corresponding to the point constituting the pattern is a point code, and the address code is composed of the point codes of the plurality of points constituting the pattern A video processing apparatus characterized by being a sequence of numbers.
部材内の位置を示す情報であるアドレスコードに基づいて、前記パターンの前記部材内の配置を決定する配置部と、
を備え、
前記パターンは、複数の点で構成される基準パターンに対して、前記パターンの点ごとに前記基準パターンの対応する点からずれた前記部材内の位置に配置され、
前記パターンを構成する点に対応する前記基準パターンの対応する点に対するずれの方向を数値化した値を点コードとし、前記アドレスコードは、前記パターンを構成する前記複数の点の前記点コードで構成される数列であることを特徴とするパターン生成装置。 A lattice pattern generation unit that generates a pattern composed of a plurality of points;
An arrangement unit that determines the arrangement of the pattern in the member based on an address code that is information indicating a position in the member;
With
The pattern is arranged at a position in the member that is deviated from a corresponding point of the reference pattern for each point of the pattern with respect to a reference pattern composed of a plurality of points.
A value obtained by quantifying the direction of deviation from the corresponding point of the reference pattern corresponding to the point constituting the pattern is a point code, and the address code is composed of the point codes of the plurality of points constituting the pattern A pattern generation apparatus characterized by being a numerical sequence to be processed.
前記生地に印刷された複数のパターンと、
を備え、
前記パターンは複数の点で構成され、前記点の位置は、前記生地内の位置を示すアドレスコードに基づいて決定され、
前記パターンは、複数の点で構成される基準パターンに対して、前記パターンの点ごとに前記基準パターンの対応する点からずれた前記生地内の位置に配置され、
前記パターンを構成する点に対応する前記基準パターンの対応する点に対するずれの方向を数値化した値を点コードとし、前記アドレスコードは、前記パターンを構成する前記複数の点の前記点コードで構成される数列であること特徴とするスクリーン。 Dough,
A plurality of patterns printed on the fabric;
With
The pattern is composed of a plurality of points, and the position of the points is determined based on an address code indicating a position in the fabric,
The pattern is arranged at a position in the fabric shifted from a corresponding point of the reference pattern for each point of the pattern with respect to a reference pattern composed of a plurality of points,
A value obtained by quantifying the direction of deviation from the corresponding point of the reference pattern corresponding to the point constituting the pattern is a point code, and the address code is composed of the point codes of the plurality of points constituting the pattern A screen characterized in that it is a sequence of numbers.
前記スクリーンを含む画像を撮影する撮影装置と、
前記画像に基づいて、前記スクリーンに投影する映像データを座標変換する請求項５に記載の映像処理装置と、
前記映像処理装置により座標変換された映像データを前記スクリーンに投影する投影装置と、
を備えることを特徴とするスクリーンシステム。 A screen according to claim 7;
A photographing device for photographing an image including the screen;
The video processing apparatus according to claim 5, wherein the video data projected on the screen is coordinate-converted based on the image;
A projection device that projects the video data coordinate-transformed by the video processing device onto the screen;
A screen system comprising:
前記座標値に基づいて前記パターンの前記部材内の位置を示す情報であるアドレスコードを推定する格子パターン推定ステップと、
推定した前記アドレスコードに基づいて、前記パターンの前記部材内の位置を特定するアドレス決定ステップと、
を含み、
前記パターンは、複数の点で構成される基準パターンに対して、前記パターンの点ごとに前記基準パターンの対応する点からずれた前記部材内の位置に配置され、
前記パターンを構成する点に対応する前記基準パターンの対応する点に対するずれの方向を数値化した値を点コードとし、前記アドレスコードは、前記パターンを構成する前記複数の点の前記点コードで構成される数列であること特徴とする位置特定方法。 A coordinate calculation step for calculating a coordinate value in the image of the point in the image, based on an image obtained by photographing a member in which a plurality of patterns composed of a plurality of points having different position coordinates are arranged;
A lattice pattern estimation step for estimating an address code which is information indicating the position of the pattern in the member based on the coordinate values;
An address determining step for identifying a position of the pattern in the member based on the estimated address code;
Including
The pattern is arranged at a position in the member that is deviated from a corresponding point of the reference pattern for each point of the pattern with respect to a reference pattern composed of a plurality of points.
A value obtained by quantifying the direction of deviation from the corresponding point of the reference pattern corresponding to the point constituting the pattern is a point code, and the address code is composed of the point codes of the plurality of points constituting the pattern The position specifying method characterized by being a numerical sequence to be performed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014013792A JP6351984B2 (en) | 2014-01-28 | 2014-01-28 | Position specifying device, video processing device, pattern generating device, screen, screen system, and position specifying method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014013792A JP6351984B2 (en) | 2014-01-28 | 2014-01-28 | Position specifying device, video processing device, pattern generating device, screen, screen system, and position specifying method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015142237A true JP2015142237A (en) | 2015-08-03 |
| JP6351984B2 JP6351984B2 (en) | 2018-07-04 |
Family
ID=53772338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014013792A Active JP6351984B2 (en) | 2014-01-28 | 2014-01-28 | Position specifying device, video processing device, pattern generating device, screen, screen system, and position specifying method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6351984B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110580721A (en) * | 2019-09-04 | 2019-12-17 | 吴怡锦 | Continuous area positioning system and method based on global identification map and visual image identification |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6556539B2 (en) * | 2015-07-15 | 2019-08-07 | 国立大学法人東北大学 | Screen and method of manufacturing screen |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004145342A (en) * | 2002-10-24 | 2004-05-20 | Eastman Kodak Co | Overhead projection medium having intensified contrast |
| JP2011013872A (en) * | 2009-07-01 | 2011-01-20 | Dainippon Printing Co Ltd | Information processing system and program thereof |
-
2014
- 2014-01-28 JP JP2014013792A patent/JP6351984B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004145342A (en) * | 2002-10-24 | 2004-05-20 | Eastman Kodak Co | Overhead projection medium having intensified contrast |
| JP2011013872A (en) * | 2009-07-01 | 2011-01-20 | Dainippon Printing Co Ltd | Information processing system and program thereof |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110580721A (en) * | 2019-09-04 | 2019-12-17 | 吴怡锦 | Continuous area positioning system and method based on global identification map and visual image identification |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6351984B2 (en) | 2018-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105026997B (en) | Optical projection system, semiconductor integrated circuit and image correcting method | |
| JP6344050B2 (en) | Image processing system, image processing apparatus, and program | |
| US9613463B2 (en) | Augmented reality extrapolation techniques | |
| JP6418449B2 (en) | Image processing apparatus, image processing method, and program | |
| CN106663334B (en) | Method executed by computing device, mobile communication device and storage medium | |
| JP4508049B2 (en) | 360 ° image capturing device | |
| JP6083747B2 (en) | Position and orientation detection system | |
| US8335400B2 (en) | Information processing method and information processing apparatus | |
| JP6674192B2 (en) | Image processing apparatus and image processing method | |
| JP2023111962A (en) | Image processing device, image processing method, and program | |
| US8791880B2 (en) | System, method and program for specifying pixel position correspondence | |
| US20240071016A1 (en) | Mixed reality system, program, mobile terminal device, and method | |
| KR20150120866A (en) | Apparatus and methods for correcting errors in Integral Image Display | |
| JP2015233266A (en) | Image processing system, information processing device, and program | |
| KR20180032059A (en) | 3-Dimensional Contents Providing System, Method and Computer Readable Recoding Medium | |
| JP2011155412A (en) | Projection system and distortion correction method in the same | |
| WO2010013289A1 (en) | Camera calibration image creation apparatus and camera calibration image creation program | |
| JP6351984B2 (en) | Position specifying device, video processing device, pattern generating device, screen, screen system, and position specifying method | |
| JP2013101592A (en) | Three-dimensional coordinate calculation device, three-dimensional coordinate calculation method, and program | |
| JP6556539B2 (en) | Screen and method of manufacturing screen | |
| CN109101121B (en) | Electromagnetic electronic whiteboard coordinate conversion method and device and readable medium | |
| JP2022138883A (en) | Image creation method, control method, and information processing apparatus | |
| WO2015141214A1 (en) | Processing device for label information for multi-viewpoint images and processing method for label information | |
| JP6748504B2 (en) | MTF measurement chart | |
| JP2017215706A (en) | Video synthesis method, video acquisition device, video synthesis system, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180508 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180606 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6351984 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |