JP2019205133A - Image processing apparatus, image processing method, image projection system, and program - Google Patents
Image processing apparatus, image processing method, image projection system, and program Download PDFInfo
- Publication number
- JP2019205133A JP2019205133A JP2018100808A JP2018100808A JP2019205133A JP 2019205133 A JP2019205133 A JP 2019205133A JP 2018100808 A JP2018100808 A JP 2018100808A JP 2018100808 A JP2018100808 A JP 2018100808A JP 2019205133 A JP2019205133 A JP 2019205133A
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- imaging
- data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Projection Apparatus (AREA)
Abstract
Description
本発明は、印刷物に画像を投影する技術に関する。 The present invention relates to a technique for projecting an image on a printed material.
従来から、ポスターなどの印刷物における画像に投影装置から様々な投影画像を投影して、印刷物の見かけを変化させたり、情報を追加表示したりする技術が知られている。特許文献１では、投影装置から画像データの画素値を調整した画像を実物の絵に投影することで、絵のコントラストを上げる技術が提案されている。 2. Description of the Related Art Conventionally, a technique for projecting various projection images from a projection device onto an image on a printed matter such as a poster to change the appearance of the printed matter or additionally displaying information is known. Patent Document 1 proposes a technique for increasing the contrast of a picture by projecting an image in which pixel values of image data are adjusted from a projection device onto an actual picture.
しかしながら、特許文献１では、投影画像が絵に適切に重なるように、投影装置の設置位置を調整する必要がある。このような調整は、煩雑であり、また、高精度に位置を合わせることが困難である。 However, in Patent Document 1, it is necessary to adjust the installation position of the projection apparatus so that the projection image appropriately overlaps the picture. Such adjustment is complicated and difficult to align with high accuracy.
本発明は、投影装置から印刷物における画像に対して投影するために、印刷物と適切に位置合わせされた投影画像を生成することを目的とする。 An object of the present invention is to generate a projection image appropriately aligned with a printed material in order to project an image on the printed material from a projection device.
本発明の一態様に係る画像処理装置は、投影装置から印刷物における画像に投影される投影コンテンツの画像を生成する画像処理装置であって、前記印刷物における画像を少なくとも含む面を撮像するように設置されている撮像装置によって撮像された撮像データを取得する取得手段と、前記印刷物における画像に対応する第１の画像データと、前記撮像装置によって撮像された撮像データとに基づいて、前記印刷物と前記撮像装置との位置関係を決定する第１の決定手段と、前記投影装置から前記印刷物における画像に投影された位置合わせ用パターンと、前記撮像装置によって前記位置合わせ用パターンが撮像された撮像データと、に基づいて、前記撮像装置と前記投影装置との位置関係を決定する第２の決定手段と、前記第１の決定手段及び前記第２の決定手段で決定された前記位置関係に基づいて、前記投影コンテンツの画像を変形した第２の画像データを生成する生成手段と、を備えることを特徴とする。 An image processing apparatus according to an aspect of the present invention is an image processing apparatus that generates an image of a projection content projected from a projection apparatus onto an image on a printed matter, and is installed so as to capture a surface that includes at least the image on the printed matter. Based on acquisition means for acquiring imaging data imaged by the imaging device being imaged, first image data corresponding to an image in the printed material, and imaging data imaged by the imaging device, the printed material and the First determining means for determining a positional relationship with the imaging device; an alignment pattern projected from the projection device onto an image on the printed matter; and imaging data obtained by imaging the alignment pattern by the imaging device; , Based on the second determination means for determining a positional relationship between the imaging device and the projection device, and the first determination unit And based on the positional relationship determined by said second determining means, characterized in that it comprises, generating means for generating a second image data obtained by modifying the image of the projection content.
本発明によれば、投影装置から印刷物における画像に対して投影するために、印刷物と適切に位置合わせされた投影画像を生成することができる。 According to the present invention, it is possible to generate a projection image appropriately aligned with the printed material in order to project the image on the printed material from the projection device.
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The following embodiments do not limit the present invention, and all the combinations of features described in the present embodiment are not necessarily essential to the solution means of the present invention. In addition, about the same structure, the same code | symbol is attached | subjected and demonstrated.
＜＜実施形態１＞＞
＜概要＞
図１は、実施形態１の画像投影システムの構成および概要を示す図である。図１を用いて本実施形態の概要を説明する。図１に示すように、画像投影システムは、撮像装置１０、投影装置２０、および画像処理装置３０を備える。画像処理装置３０は、撮像装置１０および投影装置２０に対して画像データおよび各種の制御情報を送受信可能に構成されている。
<< Embodiment 1 >>
<Overview>
FIG. 1 is a diagram illustrating a configuration and an outline of an image projection system according to the first embodiment. The outline of the present embodiment will be described with reference to FIG. As shown in FIG. 1, the image projection system includes an imaging device 10, a projection device 20, and an image processing device 30. The image processing device 30 is configured to be able to transmit and receive image data and various control information to the imaging device 10 and the projection device 20.
本実施形態では、図１に示すように、印刷物４０を被投影物とする。印刷物４０は、例えばポスターである。本実施形態では、印刷物４０を包含して投影できるように設置した１台の投影装置２０が備えられている。投影装置２０は、印刷物４０を包含して投影できれば良く、印刷物４０に対する位置が高精度に調整して設置されていなくて良い。 In the present embodiment, as shown in FIG. 1, the printed material 40 is a projection object. The printed material 40 is, for example, a poster. In the present embodiment, a single projection device 20 installed so as to be able to project including the printed matter 40 is provided. The projection device 20 only needs to be able to project including the printed matter 40, and the projection device 20 does not have to be installed with the position of the printed matter 40 adjusted with high accuracy.
本実施形態では、画像処理装置３０は、投影装置２０と印刷物４０との位置関係に基づいて、投影装置２０で投影される投影画像を生成する。この位置関係は、撮像装置１０で撮像した撮像画像を用いて推定される。撮像装置１０は、印刷物４０とその周囲を撮像できる位置に設置されている。即ち、撮像装置１０は、撮像装置１０の画角が印刷物４０を含むように設置されている。 In the present embodiment, the image processing device 30 generates a projection image projected by the projection device 20 based on the positional relationship between the projection device 20 and the printed material 40. This positional relationship is estimated using a captured image captured by the imaging device 10. The imaging device 10 is installed at a position where the printed matter 40 and its surroundings can be imaged. That is, the imaging device 10 is installed so that the angle of view of the imaging device 10 includes the printed matter 40.
投影装置２０は、画像処理装置３０で生成された投影画像を投影する。これにより、印刷物４０に投影画像が重畳投影される。この結果、例えば、印刷物４０の所定の色を強調したり、所定の画像効果を付加したりすることができる。 The projection device 20 projects the projection image generated by the image processing device 30. Thereby, the projected image is superimposed and projected on the printed matter 40. As a result, for example, a predetermined color of the printed material 40 can be emphasized, or a predetermined image effect can be added.
＜構成の説明＞
撮像装置１０は、画像処理装置３０の制御に基づいて撮像を行う。撮像装置１０は、撮像した撮像データを画像処理装置３０に出力する。本実施形態では、撮像装置１０は、印刷物４０を撮像する場合と、投影装置２０で投影された位置合わせ用パターンを撮像する場合とがある。印刷物４０を撮像して得た撮像データを、第１の撮像データといい、位置合わせ用パターンを撮像して得た撮像データを、第２の撮像データという。
<Description of configuration>
The imaging device 10 performs imaging based on the control of the image processing device 30. The imaging device 10 outputs the captured image data to the image processing device 30. In the present embodiment, the imaging device 10 may image the printed matter 40 and may image the alignment pattern projected by the projection device 20. Imaging data obtained by imaging the printed matter 40 is referred to as first imaging data, and imaging data obtained by imaging the alignment pattern is referred to as second imaging data.
本実施形態では、印刷物４０を撮像する場合と、投影装置２０で投影された位置合わせ用パターンを撮像する場合とで、撮像装置１０の位置、姿勢、および画角等を変更しないで撮像が行われる。本実施形態における撮像装置１０は、カラーカメラとして説明するが、印刷物と位置合わせ用パターンとを撮像できれば、モノクロカメラでも、赤外カメラでも良い。 In the present embodiment, imaging is performed without changing the position, orientation, angle of view, and the like of the imaging device 10 when imaging the printed matter 40 and when imaging the alignment pattern projected by the projection device 20. Is called. Although the imaging apparatus 10 in the present embodiment will be described as a color camera, it may be a monochrome camera or an infrared camera as long as it can capture the printed matter and the alignment pattern.
投影装置２０は、投影領域５０が印刷物４０を含むように設置されている。投影装置２０は、画像処理装置３０の制御に基づいて、画像処理装置３０で生成された投影画像を投影する。投影画像は、投影コンテンツの画像（投影コンテンツ画像という）を変形することで生成された画像である。詳細は後述する。投影コンテンツ画像は、印刷物４０の画像（コンテンツ画像という）と関連する画像である。例えば、投影コンテンツ画像の少なくとも一部は、印刷物４０のコンテンツ画像の少なくとも一部と同じである。また、投影装置２０は、位置合わせ用パターン（パターン画像）を投影する。 The projection device 20 is installed so that the projection area 50 includes the printed material 40. The projection device 20 projects the projection image generated by the image processing device 30 based on the control of the image processing device 30. The projected image is an image generated by deforming an image of the projected content (referred to as a projected content image). Details will be described later. The projected content image is an image related to the image of the printed material 40 (referred to as a content image). For example, at least a part of the projected content image is the same as at least a part of the content image of the printed matter 40. The projection device 20 projects an alignment pattern (pattern image).
図２は、本実施形態における画像処理装置３０のハードウェア構成の一例を示す図である。図２に示す画像処理装置３０は、ＣＰＵ２０１、メインメモリ２０２、記憶部２０３、入力部２０４、および出力部２０５を備え、各部がバス２０８を介して接続されている。ＣＰＵ２０１は、画像処理装置３０を統括的に制御する演算処理装置であり、記憶部２０３等に格納された各種プログラムを実行して様々な処理を行う。メインメモリ２０２は、各種処理で用いられるデータおよびパラメータなどを一時的に格納するほか、ＣＰＵ２０１に作業領域を提供する。記憶部２０３は、各種プログラムおよび各種データを記憶する大容量記憶装置である。記憶部２０３としては、例えばハードディスクまたはシリコンディスク等の不揮発性メモリが用いられる。入力部２０４は、撮像装置１０で撮像された撮像データおよび印刷物４０のコンテンツ画像の画像データなどを入力する。また、入力部２０４は、ユーザの各種の指示を入力する。出力部２０５は、投影装置２０に投影画像の画像データを出力したり、投影装置２０および撮像装置１０に各種の制御命令を出力したりする。 FIG. 2 is a diagram illustrating an example of a hardware configuration of the image processing apparatus 30 according to the present embodiment. The image processing apparatus 30 illustrated in FIG. 2 includes a CPU 201, a main memory 202, a storage unit 203, an input unit 204, and an output unit 205, and each unit is connected via a bus 208. The CPU 201 is an arithmetic processing device that controls the image processing device 30 in an integrated manner, and executes various programs by executing various programs stored in the storage unit 203 or the like. The main memory 202 temporarily stores data and parameters used in various processes, and provides a work area for the CPU 201. The storage unit 203 is a mass storage device that stores various programs and various data. As the storage unit 203, for example, a nonvolatile memory such as a hard disk or a silicon disk is used. The input unit 204 inputs imaging data captured by the imaging apparatus 10 and image data of a content image of the printed matter 40. The input unit 204 inputs various instructions of the user. The output unit 205 outputs the image data of the projection image to the projection device 20 and outputs various control commands to the projection device 20 and the imaging device 10.
図３は、画像処理装置３０の機能構成を示すブロックを含む図である。画像処理装置３０は、画像データ取得部３０１、撮像データ取得部３０２、第一位置合わせ部３０３、第二位置合わせ部３０４、画像生成部３０６、および制御部３１０を備える。図３に示す画像処理装置３０の各部の一部もしくは全部は、記憶部２０３に記憶されたプログラムをＣＰＵ２０１がメインメモリ２０２に展開し、実行することで実現することができる。あるいは、各部の一部もしくは全部は、専用のハードウェアによって実現されても良い。 FIG. 3 is a diagram including a block diagram illustrating a functional configuration of the image processing apparatus 30. The image processing apparatus 30 includes an image data acquisition unit 301, an imaging data acquisition unit 302, a first alignment unit 303, a second alignment unit 304, an image generation unit 306, and a control unit 310. 3 may be realized by causing the CPU 201 to develop and execute a program stored in the storage unit 203 in the main memory 202 and execute the program. Alternatively, part or all of each unit may be realized by dedicated hardware.
制御部３１０は、画像処理装置３０の装置全体の制御を行う。制御部３１０は、撮像装置１０の撮像を制御したり、投影装置２０の投影の制御をしたりすることが可能である。即ち、制御部３１０は、画像投影システムの全体の制御を行うことが可能である。なお、本実施形態では、画像投影システムの全体の制御を行う制御部３１０は、画像処理装置３０に含まれる形態を例に挙げて説明するが、これに限られない。画像投影システムの全体の制御を行う制御装置（不図示）が、画像処理装置とは別個に用意されていても良い。あるいは、画像投影システムの全体の制御を行う制御部が、撮像装置１０または投影装置２０に含まれていても良い。また、制御部３１０は、記憶部２０３などに記憶されている位置合わせ用パターンを投影装置２０に供給することができる。 The control unit 310 controls the entire image processing apparatus 30. The control unit 310 can control the imaging of the imaging apparatus 10 and can control the projection of the projection apparatus 20. That is, the control unit 310 can control the entire image projection system. In the present embodiment, the control unit 310 that performs overall control of the image projection system will be described by taking a form included in the image processing apparatus 30 as an example, but the present invention is not limited thereto. A control device (not shown) that performs overall control of the image projection system may be prepared separately from the image processing device. Alternatively, a control unit that performs overall control of the image projection system may be included in the imaging device 10 or the projection device 20. Further, the control unit 310 can supply the alignment pattern stored in the storage unit 203 or the like to the projection device 20.
画像データ取得部３０１は、不図示のユーザインタフェースなどを介してユーザが指定した印刷物の画像データ（第１の画像データまたはコンテンツ画像データという）を、記憶部２０３などから取得する。画像データ取得部３０１は、取得したコンテンツ画像データを第一位置合わせ部３０３に供給する。なお、コンテンツ画像データは、ユーザの指定に応じて取得されなくても良く、予め定められている画像データを取得するようにしても良い。 An image data acquisition unit 301 acquires image data (referred to as first image data or content image data) of a printed matter designated by the user via a user interface (not shown) from the storage unit 203 or the like. The image data acquisition unit 301 supplies the acquired content image data to the first alignment unit 303. Note that the content image data may not be acquired in accordance with the user's designation, and predetermined image data may be acquired.
撮像データ取得部３０２は、撮像装置１０によって撮像された撮像データを取得し、第一位置合わせ部３０３または第二位置合わせ部３０４に供給する。なお、撮像装置１０が第一位置合わせ部３０３に供給する画像を撮像する際には、制御部３１０が、投影装置２０から白色もしくは灰色光を投影させても良い。これにより、撮像データ（第１の撮像データ）において印刷物４０が暗くなるのを避けることができる。また、コンテンツ画像データと撮像データとで色が異なる場合には、制御部３１０は、投影装置２０を制御して、色を一致させるもしくは似せるような投影を行っても良い。即ち、制御部３１０は、輝度および色の少なくとも１つが類似するような投影が行われるよう、投影装置２０を制御して良い。 The imaging data acquisition unit 302 acquires imaging data captured by the imaging device 10 and supplies the imaging data to the first alignment unit 303 or the second alignment unit 304. Note that when the image capturing apparatus 10 captures an image supplied to the first alignment unit 303, the control unit 310 may project white or gray light from the projection apparatus 20. Thereby, it can avoid that the printed matter 40 becomes dark in imaging data (1st imaging data). Further, when the content image data and the imaging data have different colors, the control unit 310 may control the projection device 20 to perform projection so as to match or resemble the colors. That is, the control unit 310 may control the projection device 20 so that projection is performed so that at least one of luminance and color is similar.
撮像装置１０が第二位置合わせ部３０４に供給する画像を撮像する際には、制御部３１０は、位置合わせ用パターンを投影装置２０に供給して、投影装置２０に位置合わせ用パターンを投影させる。撮像装置１０は、位置合わせ用パターンが投影されている状態で、位置合わせ用パターンを撮像する。これにより、第二位置合わせ部３０４に供給される撮像データ（第２の撮像データ）が撮像される。位置合わせ用パターンとしては、例えばグレイコードパターンを用いることができる。 When the imaging device 10 captures an image to be supplied to the second alignment unit 304, the control unit 310 supplies the alignment pattern to the projection device 20 and causes the projection device 20 to project the alignment pattern. . The imaging device 10 images the alignment pattern in a state where the alignment pattern is projected. As a result, the imaging data (second imaging data) supplied to the second alignment unit 304 is imaged. For example, a gray code pattern can be used as the alignment pattern.
第一位置合わせ部３０３は、画像データ取得部３０１で取得されたコンテンツ画像データと、撮像データ取得部３０２で取得された第１の撮像データとを入力する。そして、それぞれの画像の座標系における座標の対応関係を取得する。第一位置合わせ部３０３は、取得した対応関係に基づいて、印刷物４０と撮像装置１０との位置関係を決定する。詳細は後述する。 The first alignment unit 303 inputs the content image data acquired by the image data acquisition unit 301 and the first imaging data acquired by the imaging data acquisition unit 302. And the correspondence of the coordinate in the coordinate system of each image is acquired. The first alignment unit 303 determines the positional relationship between the printed matter 40 and the imaging device 10 based on the acquired correspondence relationship. Details will be described later.
第二位置合わせ部３０４は、撮像データ取得部３０２で取得された第２の撮像データと、位置合わせ用に投影された位置合わせ用パターン（パターン画像）とのそれぞれの画像の座標系における座標の対応関係を取得する。第二位置合わせ部３０４は、取得した対応関係に基づいて、投影装置２０と撮像装置１０との位置関係を決定する。 The second alignment unit 304 includes coordinates of coordinates in the coordinate system of each of the second imaging data acquired by the imaging data acquisition unit 302 and the alignment pattern (pattern image) projected for alignment. Get correspondence. The second alignment unit 304 determines the positional relationship between the projection device 20 and the imaging device 10 based on the acquired correspondence relationship.
画像生成部３０６は、第一位置合わせ部３０３で決定された印刷物４０と撮像装置１０との位置関係と、第二位置合わせ部３０４で決定された投影装置２０と撮像装置１０との位置関係とを用いて、印刷物４０と投影装置２０との位置関係を決定する。そして、決定した印刷物４０と投影装置２０との位置関係に基づいて、投影コンテンツ用の画像データを、印刷物４０に対して投影した際に位置が合うように変形することで、投影画像用の画像データ（第２の画像データ）を生成する。なお、投影コンテンツ用の画像データは、画像データ取得部３０１が取得した画像データでも良い。即ち、印刷物４０のコンテンツと、投影画像のコンテンツとは、同じであって良い。また、投影コンテンツ用の画像データは、画像データ取得部３０１が取得した画像データでなくても良く、同一解像度の別の画像データでも良い。即ち、印刷物４０のコンテンツと、投影画像のコンテンツとは、異なっていても良い。本実施形態では、印刷物４０のコンテンツと、投影画像のコンテンツとは、同じである場合を例に挙げて説明することとする。 The image generation unit 306 includes the positional relationship between the printed matter 40 and the imaging device 10 determined by the first alignment unit 303, and the positional relationship between the projection device 20 and the imaging device 10 determined by the second alignment unit 304. Is used to determine the positional relationship between the printed matter 40 and the projection device 20. Then, based on the determined positional relationship between the printed matter 40 and the projection device 20, the image data for the projection content is deformed so as to be aligned when projected onto the printed matter 40. Data (second image data) is generated. Note that the image data for the projection content may be image data acquired by the image data acquisition unit 301. That is, the content of the printed matter 40 and the content of the projection image may be the same. Further, the image data for the projection content may not be the image data acquired by the image data acquisition unit 301, and may be other image data having the same resolution. That is, the content of the printed matter 40 and the content of the projection image may be different. In the present embodiment, a case where the content of the printed matter 40 and the content of the projection image are the same will be described as an example.
＜フローチャート＞
図４は、本実施形態における画像処理装置３０を含む画像投影システムのフローチャートの一例を示す図である。図４のフローチャートで示される一連の処理は、ＣＰＵ２０１が記憶部２０３に記憶されているプログラムコードをメインメモリ２０２に展開し実行することにより行われる。あるいはまた、図４におけるステップの一部または全部の機能をＡＳＩＣまたは電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。
<Flowchart>
FIG. 4 is a diagram illustrating an example of a flowchart of the image projection system including the image processing apparatus 30 according to the present embodiment. A series of processing shown in the flowchart of FIG. 4 is performed by the CPU 201 developing and executing the program code stored in the storage unit 203 in the main memory 202. Alternatively, some or all of the steps in FIG. 4 may be realized by hardware such as an ASIC or an electronic circuit. The symbol “S” in the description of each process means a step in the flowchart.
Ｓ４０１にて、制御部３１０は、画像投影システムの初期化を行う。例えば、制御部３１０は、画像処理装置３０に接続された撮像装置１０および投影装置２０の起動および各種のパラメータ設定を行う。 In S401, control unit 310 initializes the image projection system. For example, the control unit 310 activates the imaging device 10 and the projection device 20 connected to the image processing device 30 and sets various parameters.
Ｓ４０２にて、画像データ取得部３０１は、記憶部２０３から印刷物４０の画像データ（コンテンツ画像データ）を取得する。なお、ここでは記憶部２０３からコンテンツ画像データを取得する例を説明するが、不図示のネットワーク等を通じて、他の装置からコンテンツ画像データを取得しても良い。本実施形態におけるコンテンツ画像データは、１画素につきＲＧＢの３成分で構成される画像のデータであるものとする。 In S <b> 402, the image data acquisition unit 301 acquires image data (content image data) of the printed matter 40 from the storage unit 203. Although an example in which content image data is acquired from the storage unit 203 will be described here, content image data may be acquired from another device via a network (not shown) or the like. It is assumed that the content image data in the present embodiment is image data composed of three RGB components per pixel.
Ｓ４０３にて、制御部３１０は、撮像装置１０に撮像命令を出力する。制御部３１０は、撮像データ取得部３０２を制御して、撮像装置１０に撮像命令を出力させても良い。撮像装置１０は、撮像命令に従って印刷物４０及びその周辺の画像を撮像する。なお、撮像装置１０は、印刷物４０の全体が画角に含まれるように予め設置されている。撮像データ取得部３０２は、撮像装置１０が撮像した撮像データ（第１の撮像データ）を取得する。本実施形態における撮像装置１０で撮像される撮像データは、コンテンツ画像データと同様に、１画素につきＲＧＢの３成分で構成される画像のデータであるものとする。 In S403, control unit 310 outputs an imaging command to imaging device 10. The control unit 310 may control the imaging data acquisition unit 302 to cause the imaging device 10 to output an imaging command. The imaging device 10 captures the printed material 40 and its surrounding images according to the imaging command. The imaging device 10 is installed in advance so that the entire printed matter 40 is included in the angle of view. The imaging data acquisition unit 302 acquires imaging data (first imaging data) captured by the imaging device 10. Imaging data captured by the imaging apparatus 10 in the present embodiment is image data composed of three RGB components per pixel, as in the case of content image data.
Ｓ４０４にて、制御部３１０は、第一位置合わせ部３０３を制御し、第一位置合わせ処理を実行させる。第一位置合わせ部３０３は、Ｓ４０２で画像データ取得部３０１が取得した印刷物４０のコンテンツ画像データと、Ｓ４０３で撮像データ取得部３０２が取得した第１の撮像データとの画像座標系における座標の対応関係を取得する。第一位置合わせ部３０３は、取得した対応関係に基づいて、印刷物４０と撮像装置１０との位置関係を決定する。 In S404, control unit 310 controls first alignment unit 303 to execute the first alignment process. The first alignment unit 303 corresponds to the coordinates in the image coordinate system between the content image data of the printed matter 40 acquired by the image data acquisition unit 301 in S402 and the first imaging data acquired by the imaging data acquisition unit 302 in S403. Get relationship. The first alignment unit 303 determines the positional relationship between the printed matter 40 and the imaging device 10 based on the acquired correspondence relationship.
図５は、Ｓ４０４の第一位置合わせ処理の詳細を示すフローチャートである。Ｓ５０１において第一位置合わせ部３０３は、画像データ取得部３０１が取得した印刷物４０のコンテンツ画像データから特徴点を抽出する。ここで抽出する特徴点の例として、Ａ−ＫＡＺＥ特徴が挙げられる。Ａ−ＫＡＺＥ特徴は、スケール、回転、輝度変化、及びブラー等に対してロバストな対応関係を取得できる特徴点である。なお、抽出する特徴点はＡ−ＫＡＺＥ特徴に限定するものではなく、画像の局所特徴であれば、いかなる特徴点でも良い。 FIG. 5 is a flowchart showing details of the first alignment process in S404. In step S <b> 501, the first alignment unit 303 extracts feature points from the content image data of the printed matter 40 acquired by the image data acquisition unit 301. As an example of the feature points extracted here, an A-KAZE feature can be cited. The A-KAZE feature is a feature point that can acquire a robust correspondence relationship with respect to scale, rotation, luminance change, blur, and the like. The feature points to be extracted are not limited to the A-KAZE feature, and any feature points may be used as long as they are local features of the image.
Ｓ５０２では、第一位置合わせ部３０３は、撮像データ取得部３０２が取得した第１の撮像データから特徴点を抽出する。特徴点の抽出方法は、Ｓ５０１で用いたものと同様の方法を採用すれば良い。 In S <b> 502, the first alignment unit 303 extracts feature points from the first imaging data acquired by the imaging data acquisition unit 302. A feature point extraction method may be the same as that used in S501.
Ｓ５０３では、第一位置合わせ部３０３は、Ｓ５０１でコンテンツ画像データから抽出した特徴点と、Ｓ５０２で第１の撮像データから抽出した特徴点との対応関係を取得する。即ち、第一位置合わせ部３０３は、コンテンツ画像データの座標系と、第１の撮像データの座標系とにおける座標の対応関係を取得する。対応関係の取得方法は、Ａ−ＫＡＺＥ特徴量が最も一致する特徴点を互いに全探索する方法を用いれば良い。 In S503, the first alignment unit 303 acquires a correspondence relationship between the feature points extracted from the content image data in S501 and the feature points extracted from the first imaging data in S502. That is, the first alignment unit 303 acquires the correspondence relationship between the coordinate system of the content image data and the coordinate system of the first imaging data. As a method for acquiring the correspondence relationship, a method in which all the feature points having the best A-KAZE feature amount are searched for each other may be used.
Ｓ５０４では、第一位置合わせ部３０３は、Ｓ５０３で取得した特徴点の対応関係から、コンテンツ画像データと、第１の撮像データと間のホモグラフィを決定する。ホモグラフィは、ある平面を別の平面に写像する射影変換を表すものである。決定したホモグラフィによって、コンテンツ画像データと第１の撮像データとの位置関係が決定できる。つまり、コンテンツ画像データに対応するコンテンツ画像の各座標と、第１の撮像データに対応する第１の撮像画像の各座標との位置関係が決定される。 In S504, the first alignment unit 303 determines homography between the content image data and the first imaging data from the correspondence relationship of the feature points acquired in S503. Homography represents a projective transformation that maps one plane to another. The positional relationship between the content image data and the first imaging data can be determined by the determined homography. That is, the positional relationship between each coordinate of the content image corresponding to the content image data and each coordinate of the first captured image corresponding to the first imaging data is determined.
なお、本実施形態では、より詳細な位置関係を決定するために、コンテンツ画像と第１の撮像画像との間の位置関係を２段階の方法で決定する。例えば、第１の段階として、コンテンツ画像と第１の撮像画像との間の大域的な位置関係を決定する。第２の段階として、第１の段階よりも詳細な位置関係を求めるために、局所的な位置関係を決定する。Ｓ５０４で決定される位置関係は、大域的な位置関係とすることができる。Ｓ５０４では、ＲＡＮＳＡＣなどのロバスト推定を行うことで、高い精度で対応関係を推定することが可能である。 In this embodiment, in order to determine a more detailed positional relationship, the positional relationship between the content image and the first captured image is determined by a two-stage method. For example, as a first stage, a global positional relationship between the content image and the first captured image is determined. As a second stage, a local positional relation is determined in order to obtain a more detailed positional relation than in the first stage. The positional relationship determined in S504 can be a global positional relationship. In S504, it is possible to estimate the correspondence with high accuracy by performing robust estimation such as RANSAC.
図６は、位置関係を２段階で決定することを説明する模式図である。図６（ａ）には、コンテンツ画像６１０と第１の撮像画像６２０とを示している。各画像の特徴点の対応関係に基づいてコンテンツ画像６１０と第１の撮像画像６２０との位置関係が決定される。Ｓ５０４では、このような位置関係が決定される。 FIG. 6 is a schematic diagram for explaining that the positional relationship is determined in two stages. FIG. 6A shows a content image 610 and a first captured image 620. The positional relationship between the content image 610 and the first captured image 620 is determined based on the correspondence between the feature points of each image. In S504, such a positional relationship is determined.
図５に戻る。Ｓ５０５では、第一位置合わせ部３０３は、より詳細な位置関係を求めるために、コンテンツ画像と第１の撮像画像とを、それぞれメッシュ構造で表される局所領域に分割する。例えば、第一位置合わせ部３０３は、Ｓ４０１の初期化処理において予め定められていたサイズの四角形のメッシュに、各画像を分割する。ただし、ブロックの分割方法はこの限りではなく、局所領域に分割できれば良い。例えば、Ｓ５０２およびＳ５０３で抽出した特徴点を母点としたボロノイ領域に分割しても良い。あるいは、特徴点と画像の頂点とをドロネー点としたドロネー三角形分割を用いても良い。 Returning to FIG. In S505, the first alignment unit 303 divides the content image and the first captured image into local regions each represented by a mesh structure in order to obtain a more detailed positional relationship. For example, the first alignment unit 303 divides each image into quadrangular meshes having a size determined in advance in the initialization processing in S401. However, the block dividing method is not limited to this, and it is sufficient that the block can be divided into local regions. For example, the feature points extracted in S502 and S503 may be divided into Voronoi regions using the feature points. Alternatively, Delaunay triangulation may be used in which feature points and image vertices are Delaunay points.
Ｓ５０６では、第一位置合わせ部３０３は、Ｓ５０５で分割した局所領域ごと（領域の頂点ごと）に、コンテンツ画像データと第１の撮像データとの間の変形パラメータを推定する。まず、第一位置合わせ部３０３は、Ｓ５０４で決定したホモグラフィＨによって、第１の撮像データをコンテンツ画像データの座標系にホモグラフィ変換する。つまり、大域的な位置関係に基づいて、第１の撮像データの各画素の座標変換を行い、第１の撮像画像座標系からコンテンツ画像座標系に座標変換する。図６（ｂ）は、第１の撮像画像６２０を、第１の撮像画像座標系からコンテンツ画像座標系に座標変換した変換後画像６２１の様子を模した図である。 In S506, the first alignment unit 303 estimates a deformation parameter between the content image data and the first imaging data for each local region (for each vertex of the region) divided in S505. First, the first alignment unit 303 performs homography conversion of the first imaging data into the content image data coordinate system by the homography H determined in S504. That is, based on the global positional relationship, coordinate conversion of each pixel of the first image data is performed, and coordinate conversion is performed from the first captured image coordinate system to the content image coordinate system. FIG. 6B is a diagram simulating the state of the converted image 621 obtained by coordinate-converting the first captured image 620 from the first captured image coordinate system to the content image coordinate system.
次に、第一位置合わせ部３０３は、第１の撮像データ上の画像座標（Ｕｃ、Ｖｃ）をホモグラフィ変換した画像データ上（コンテンツ画像座標系上）の初期座標（Ｕｉ0、Ｖｉ0）の周辺領域に着目する。即ち、第一位置合わせ部３０３は、変換後画像６２１の初期座標（Ｕｉ0、Ｖｉ0）の周辺領域に着目する。図６（ｃ）は、変換後画像６２１の所定の着目点に対応する周辺領域６２５と、その周辺領域６２５と同じ座標位置のコンテンツ画像６１０の領域６１５とを示している。第一位置合わせ部３０３は、変換後画像６２１の周辺領域６２５の着目点（Ｕｉ0、Ｖｉ0）ともっとも一致する位置をコンテンツ画像の領域６１５において探索する。即ち、第一位置合わせ部３０３は、ホモグラフィ変換した第１の撮像データ（変換後画像６２１）とコンテンツ画像データ（コンテンツ画像６１０）とがもっとも一致する位置を探索する。そして第一位置合わせ部３０３は、探索の結果もっとも一致する位置を、第１の撮像データ上の画像座標（Ｕｃ、Ｖｃ）に対応する画像座標（Ｕｉ、Ｖｉ）として決定する。このような処理を各座標において行うことで、第１の撮像データとコンテンツ画像データとの位置関係が決定される。なお、各画素の位置関係を示す変形パラメータは、コンテンツ画像データを分割した領域の頂点（Ｕｉ、Ｖｉ）に対応する第１の撮像データ上の画像座標（Ｕｃ、Ｖｃ）として式（１）のように保持することができる。
（Ｕｉ、Ｖｉ）＝ｆ（Ｕｃ、Ｖｃ） （１）
Next, the first alignment unit 303 sets initial coordinates (Ui 0 , Vi 0 ) on the image data (on the content image coordinate system) obtained by homography conversion of the image coordinates (Uc, Vc) on the first imaging data. Focus on the surrounding area. That is, the first alignment unit 303 focuses on the peripheral area of the initial coordinates (Ui 0 , Vi 0 ) of the converted image 621. FIG. 6C shows a peripheral region 625 corresponding to a predetermined point of interest in the converted image 621 and a region 615 of the content image 610 at the same coordinate position as the peripheral region 625. The first alignment unit 303 searches the content image area 615 for a position that most closely matches the point of interest (Ui 0 , Vi 0 ) in the peripheral area 625 of the converted image 621. That is, the first alignment unit 303 searches for a position where the first imaging data (converted image 621) subjected to homography conversion and the content image data (content image 610) most closely match. Then, the first alignment unit 303 determines the position that most matches as a result of the search as the image coordinates (Ui, Vi) corresponding to the image coordinates (Uc, Vc) on the first imaging data. By performing such processing at each coordinate, the positional relationship between the first imaging data and the content image data is determined. Note that the deformation parameter indicating the positional relationship of each pixel is expressed by the equation (1) as the image coordinates (Uc, Vc) on the first imaging data corresponding to the vertex (Ui, Vi) of the area into which the content image data is divided. Can be held.
(Ui, Vi) = f (Uc, Vc) (1)
なお、アフィン変換で位置関係が決定できる場合には、変形パラメータとして、全画素に共通のパラメータｆを保持すれば良い。また、各画素に対応する画素をマッピングして、マップした情報を変形パラメータとして保持しても良い。以上、２段階での位置合わせ処理を説明した。このように大域的な位置合わせを行った後に、局所領域ごとの位置合わせをすることで、例えば、印刷物４０の表面に歪みが生じている箇所が存在する場合においても、正確な位置合わせを行うことが可能となる。しかしながら、先に説明したように、位置合わせを１段階で行う形態でも良い。第一位置合わせ処理により、印刷物４０と撮像装置１０との位置関係が決定される。 When the positional relationship can be determined by affine transformation, a parameter f common to all pixels may be held as a deformation parameter. In addition, pixels corresponding to each pixel may be mapped, and the mapped information may be held as a deformation parameter. Heretofore, the alignment process in two stages has been described. After performing global alignment in this way, by performing alignment for each local region, for example, even when there is a place where distortion occurs on the surface of the printed matter 40, accurate alignment is performed. It becomes possible. However, as described above, the alignment may be performed in one step. The positional relationship between the printed matter 40 and the imaging device 10 is determined by the first alignment process.
図４に戻り、フローチャートの説明を続ける。Ｓ４０５では、制御部３１０は、投影装置２０を制御して、投影装置２０と撮像装置１０との位置関係を推定するための位置合わせ用パターンを投影する。位置関係を推定するためのパターンとしては、例えばグレイコードパターンを用いることができる。グレイコードは、例えば白黒のパターン画像であり、パターンが異なる複数のパターン画像を投影することで位置を推定することが可能である。 Returning to FIG. 4, the description of the flowchart will be continued. In step S <b> 405, the control unit 310 controls the projection device 20 to project an alignment pattern for estimating the positional relationship between the projection device 20 and the imaging device 10. As a pattern for estimating the positional relationship, for example, a gray code pattern can be used. The gray code is, for example, a black and white pattern image, and the position can be estimated by projecting a plurality of pattern images having different patterns.
Ｓ４０６では、制御部３１０は、撮像装置１０に撮像命令を出力する。制御部３１０は、撮像データ取得部３０２を制御して、撮像装置１０に撮像命令を出力させても良い。撮像装置１０は、撮像命令に従って、位置合わせ用パターンが投影されている印刷物４０及びその周辺の画像を撮像する。撮像データ取得部３０２は、撮像装置１０が撮像した画像を取得する。 In S <b> 406, the control unit 310 outputs an imaging command to the imaging device 10. The control unit 310 may control the imaging data acquisition unit 302 to cause the imaging device 10 to output an imaging command. The imaging device 10 captures the printed material 40 on which the alignment pattern is projected and the surrounding image according to the imaging command. The imaging data acquisition unit 302 acquires an image captured by the imaging device 10.
Ｓ４０７では、制御部３１０は、位置合わせ用のパターンの投影及び撮像が完了したかを判定する。上述したように、制御部３１０は、複数のパターン画像の全ての投影及び撮像が完了したかを判定する。完了していない場合には、次の位置合わせ用パターンをセットしてＳ４０５に戻る。完了した場合にはＳ４０８に進む。 In step S407, the control unit 310 determines whether the projection and imaging of the alignment pattern have been completed. As described above, the control unit 310 determines whether all projection and imaging of the plurality of pattern images have been completed. If not completed, the next alignment pattern is set and the process returns to S405. If completed, the process proceeds to S408.
Ｓ４０８では、制御部３１０は、第二位置合わせ部３０４を制御して、第二位置合わせ処理を実行させる。第二位置合わせ部３０４は、投影に用いられた位置合わせ用パターンと、投影されている位置合わせ用パターンを撮像して得られた第２の撮像データとの対応関係を決定することで、撮像装置１０と投影装置２０との位置関係を決定することができる。ここでは、投影装置２０の各画素座標（Ｕｐ、Ｖｐ）に対応する撮像装置１０の画像座標（Ｕｃ，Ｖｃ）のマップを生成する。各画素の位置関係は、例えば下記の式（２）で表すことができる。
（Ｕｃ、Ｖｃ）＝ｇ（Ｕｐ、Ｖｐ） （２）
In step S408, the control unit 310 controls the second alignment unit 304 to execute the second alignment process. The second alignment unit 304 determines the correspondence between the alignment pattern used for projection and the second imaging data obtained by imaging the projected alignment pattern, thereby capturing an image. The positional relationship between the device 10 and the projection device 20 can be determined. Here, a map of the image coordinates (Uc, Vc) of the imaging device 10 corresponding to each pixel coordinate (Up, Vp) of the projection device 20 is generated. The positional relationship of each pixel can be expressed by, for example, the following formula (2).
(Uc, Vc) = g (Up, Vp) (2)
なお、Ｓ４０５からＳ４０８の処理は、撮像装置１０と投影装置２０との位置関係が決定できていない場合に行う処理とすることができる。撮像装置１０と投影装置２０との位置が固定の場合、ホモグラフィは不変である。このため、既に位置合わせ処理が行われた結果が記憶部２０３に記憶されている場合には、Ｓ４０５からＳ４０８の処理では、第二位置合わせ部３０４は、記憶している位置合わせ結果（位置関係）を取得する処理を行っても良い。 Note that the processing from S405 to S408 can be performed when the positional relationship between the imaging device 10 and the projection device 20 has not been determined. When the positions of the imaging device 10 and the projection device 20 are fixed, the homography is unchanged. For this reason, when the result of the alignment process has already been stored in the storage unit 203, in the processes from S405 to S408, the second alignment unit 304 stores the stored alignment result (positional relationship). ) May be performed.
Ｓ４０９では、制御部３１０は、画像生成部３０６を制御して、画像生成処理を実行させる。画像生成部３０６は、Ｓ４０４で決定した印刷物４０と撮像装置１０との位置関係、および、Ｓ４０８で決定した撮像装置１０と投影装置２０との位置関係に基づいて、投影コンテンツの画像データを変形する。変形前の投影コンテンツの画像データのことを、投影コンテンツ画像データという。前述したように、投影コンテンツ画像データは、印刷物４０のコンテンツ画像に対応するコンテンツ画像データと同じでも良いし、異なっていても良い。投影コンテンツ画像データおよびコンテンツ画像データの解像度は、同じであるものとする。画像生成部３０６は、投影コンテンツ画像データを変形して、変形後画像データ（第２の画像データともいう）を生成する。変形後画像データは、投影装置２０から印刷物４０に重畳投影される投影画像の画像データである。 In step S409, the control unit 310 controls the image generation unit 306 to execute image generation processing. The image generation unit 306 deforms the image data of the projection content based on the positional relationship between the printed matter 40 and the imaging device 10 determined in S404 and the positional relationship between the imaging device 10 and the projection device 20 determined in S408. . The image data of the projection content before transformation is referred to as projection content image data. As described above, the projected content image data may be the same as or different from the content image data corresponding to the content image of the printed matter 40. Assume that the resolutions of the projected content image data and the content image data are the same. The image generation unit 306 deforms the projection content image data to generate post-deformation image data (also referred to as second image data). The post-deformation image data is image data of a projected image that is superimposed and projected on the printed material 40 from the projection device 20.
投影コンテンツ画像の画像座標（Ｕｐ，Ｖｐ）に対応する変形後画像データの画像座標（Ｕｉ、Ｖｉ）は、式（１）及び式（２）を用いて、式（３）により決定される。
（Ｕｉ、Ｖｉ）＝ｆ’（ｇ’（Ｕｐ、Ｖｐ）） （３）
ここで、ｇ’及びｆ’はそれぞれ、ｇ及びｆに近傍の点を用いた線形補間処理を追加したものである。
The image coordinates (Ui, Vi) of the post-deformation image data corresponding to the image coordinates (Up, Vp) of the projection content image are determined by Expression (3) using Expression (1) and Expression (2).
(Ui, Vi) = f ′ (g ′ (Up, Vp)) (3)
Here, g ′ and f ′ are obtained by adding linear interpolation processing using neighboring points to g and f, respectively.
図７は、印刷物４０のコンテンツ画像の座標系と、印刷物４０を撮像した第１の撮像画像の座標系と、投影コンテンツ画像の座標系との関係を示す図である。コンテンツ画像と投影コンテンツ画像とが同じシーンの画像の場合には、両者は本来的には同じ画像となる。ただし、投影装置２０と印刷物４０との位置関係に応じて、投影コンテンツ画像が変形される。この投影装置２０と印刷物４０との位置関係は、図７に示すように、第一の位置合わせ処理および第二の位置合わせ処理の結果求められた位置関係を用いて決定される。 FIG. 7 is a diagram illustrating a relationship between the coordinate system of the content image of the printed matter 40, the coordinate system of the first captured image obtained by imaging the printed matter 40, and the coordinate system of the projected content image. When the content image and the projected content image are images of the same scene, they are essentially the same image. However, the projection content image is deformed according to the positional relationship between the projection device 20 and the printed material 40. The positional relationship between the projection device 20 and the printed material 40 is determined using the positional relationship obtained as a result of the first alignment process and the second alignment process, as shown in FIG.
図４に戻る。Ｓ４１０では、制御部３１０は、投影装置２０を制御して、Ｓ４０９で生成された投影画像（変形後画像データ）を印刷物４０に向けて投影させる。これにより、印刷物４０と投影装置２０との位置が合った投影画像が印刷物４０に重畳投影される。 Returning to FIG. In S410, the control unit 310 controls the projection device 20 to project the projection image (deformed image data) generated in S409 toward the printed matter 40. As a result, a projected image in which the printed material 40 and the projection device 20 are aligned with each other is superimposed and projected on the printed material 40.
なお、Ｓ４０２〜Ｓ４０４における印刷物４０と撮像装置１０との位置合わせ処理と、Ｓ４０５〜Ｓ４０８における撮像装置１０と投影装置２０との位置合わせ処理とは、どちらを先に行っても良い。また、Ｓ４０２のコンテンツ画像データの取得処理は、Ｓ４０４の第一位置合わせ処理の前に行っていれば良く、Ｓ４０３の撮像処理の後でも良い。また、図４の処理では、第一の位置合わせ処理と第二の位置合わせ処理とで用いる撮像データが異なる形態を例に挙げて説明した。しかしながら、第二の位置合わせ処理で得られた第２の撮像データ（位置合わせパターンを撮像した撮像データ）を用いて、第一の位置合わせ処理が可能であれば、第１の撮像データを用いらずに第２の撮像データを用いて第一の位置合わせ処理を行っても良い。また、第一の位置合わせ処理で大域的な位置合わせと局所領域ごとの位置合わせとを行う例を説明したが、第二の位置合わせ処理でも、大域的な位置合わせと局所領域ごとの位置合わせとを行っても良い。 Note that either the alignment process between the printed matter 40 and the imaging apparatus 10 in S402 to S404 and the alignment process between the imaging apparatus 10 and the projection apparatus 20 in S405 to S408 may be performed first. Further, the content image data acquisition process of S402 may be performed before the first alignment process of S404, and may be performed after the imaging process of S403. In the process of FIG. 4, the description has been given by taking as an example a mode in which imaging data used in the first alignment process and the second alignment process are different. However, if the first alignment process is possible using the second imaging data (imaging data obtained by imaging the alignment pattern) obtained by the second alignment process, the first imaging data is used. Instead, the first alignment process may be performed using the second imaging data. In addition, although the example in which the global alignment and the alignment for each local area are performed in the first alignment process has been described, the global alignment and the alignment for each local area are also performed in the second alignment process. And you may go.
以上に述べたように、本実施形態では、撮像装置１０を用いることで、印刷物４０と投影装置２０との位置関係を推定することができる。この結果、印刷物４０に対して投影装置２０から重畳投影を行う画像データを印刷物における画像の位置に合うように自動で生成することができる。このため、投影画像に合わせるようにユーザが投影装置２０の位置を高精度に調整することなく、印刷物４０に投影画像を重畳投影することができる。即ち、印刷物４０と投影装置２０との位置関係に基づいて、その位置関係に適合するように投影コンテンツ画像が変形され、変形後の画像を投影することで、結果として、高精度に位置を調整した場合と同等の投影結果を得ることができる。また、本実施形態では、印刷物４０と撮像装置１０の位置関係を局所領域ごとに推定することで、印刷物４０の歪みがある場合にも高精度に位置合わせができる。このように高精度に位置合わせがされた投影画像を投影することで、印刷物４０の所定の色を強調したり、所定の画像効果を付加したりすることができる。例えば印刷物４０の画像のコントラストを上げたり印刷物４０の見かけを変化させたりすることができる。 As described above, in the present embodiment, the positional relationship between the printed matter 40 and the projection device 20 can be estimated by using the imaging device 10. As a result, it is possible to automatically generate image data to be superimposed and projected on the printed matter 40 from the projection device 20 so as to match the position of the image on the printed matter. Therefore, the projection image can be superimposed and projected on the printed matter 40 without the user adjusting the position of the projection device 20 with high accuracy so as to match the projection image. That is, based on the positional relationship between the printed matter 40 and the projection device 20, the projection content image is deformed to match the positional relationship, and the deformed image is projected, and as a result, the position is adjusted with high accuracy. A projection result equivalent to that obtained can be obtained. Further, in the present embodiment, the positional relationship between the printed matter 40 and the imaging device 10 is estimated for each local region, so that the alignment can be performed with high accuracy even when the printed matter 40 is distorted. By projecting the projected image that has been aligned with high accuracy in this way, it is possible to emphasize a predetermined color of the printed matter 40 or add a predetermined image effect. For example, the contrast of the image of the printed matter 40 can be increased, or the appearance of the printed matter 40 can be changed.
＜変形例１＞
実施形態１では、第一位置合わせ処理として、印刷物４０と撮像装置１０との特徴点の対応付けに基づいてホモグラフィを決定して大域的な位置関係を取得し、さらに、局所領域ごとに変形パラメータを決定する形態を説明した。これにより、印刷物の歪みがある場合にも高精度な位置関係を決定できることを説明した。しかしながら、印刷物４０と撮像装置１０との位置合わせ手法はこれに限るものではない。
<Modification 1>
In the first embodiment, as the first alignment processing, the homography is determined based on the correspondence between the feature points of the printed matter 40 and the imaging device 10 to acquire a global positional relationship, and further, deformation is performed for each local region. The form of determining parameters has been described. Thus, it has been described that a highly accurate positional relationship can be determined even when there is distortion of the printed matter. However, the alignment method between the printed matter 40 and the imaging device 10 is not limited to this.
変形例１として、印刷物４０のコンテンツ画像データを加工することで、位置合わせを安定化させる例を説明する。具体的には、第一位置合わせ部３０３は、画像データ取得部３０１で取得したコンテンツ画像データに任意の色の外枠を付与する。そして、第一位置合わせ部３０３は、枠を付与後のコンテンツ画像データと、第１の撮像データとの対応を求めることで、印刷物４０と撮像装置１０との位置関係を決定する。一般的に、印刷物４０とその周辺を撮像した第１の撮像データ上では、印刷物４０とその周辺との境界部分が明確になっている。一方で、コンテンツ画像データは、外側部分に枠が含まれている画像となっていない場合が多い。このため、コンテンツ画像データに枠を付与することで、互いの画像の境界部分が明確となり、特徴点を対応付ける際に位置合わせが安定化される。 As a first modification, an example in which the alignment is stabilized by processing the content image data of the printed matter 40 will be described. Specifically, the first alignment unit 303 adds an outer frame of an arbitrary color to the content image data acquired by the image data acquisition unit 301. Then, the first alignment unit 303 determines the positional relationship between the printed matter 40 and the imaging device 10 by obtaining a correspondence between the content image data after the frame is added and the first imaging data. Generally, on the first image data obtained by imaging the printed matter 40 and its periphery, the boundary portion between the printed matter 40 and its periphery is clear. On the other hand, in many cases, the content image data is not an image including a frame in the outer portion. For this reason, by adding a frame to the content image data, the boundary portion between the images becomes clear, and the alignment is stabilized when the feature points are associated with each other.
なお、コンテンツ画像データに枠を付与する処理としては、コンテンツ画像のサイズ自体は変更せず、コンテンツ画像を外側部分に数画素分だけ拡張し、その拡張部分に枠を付与すれば良い。 As processing for adding a frame to the content image data, the size of the content image itself is not changed, the content image is expanded by several pixels to the outer portion, and a frame is added to the expanded portion.
位置決定の要求精度が低い場合には、決定したホモグラフィを印刷物４０と撮像装置１０との位置関係としても良いし、特徴点による対応関係をそのまま印刷物４０と撮像装置１０との位置関係としても良い。また、ホモグラフィを求める処理を、画像データと撮像データの対応する点を、ユーザが３点以上指定する方法に置き換えても良い。 When the required accuracy of position determination is low, the determined homography may be used as the positional relationship between the printed matter 40 and the imaging device 10, or the correspondence relationship between the feature points may be directly used as the positional relationship between the printed matter 40 and the imaging device 10. good. Further, the processing for obtaining homography may be replaced with a method in which the user designates three or more points corresponding to image data and imaging data.
＜変形例２＞
実施形態１では、位置合わせ用パターンとしてグレイコードパターンを用いて撮像装置１０と投影装置２０との位置合わせを行う形態を説明した。しかし、撮像装置１０と投影装置２０との位置合わせは、撮像装置１０の撮像データの画素と投影装置２０の位置合わせ用パターン（パターン画像）の画素との対応関係が決定できれば良く、これに限ったものではない。
<Modification 2>
In the first embodiment, the mode in which the imaging device 10 and the projection device 20 are aligned using the gray code pattern as the alignment pattern has been described. However, the alignment between the imaging device 10 and the projection device 20 is not limited as long as the correspondence between the pixels of the imaging data of the imaging device 10 and the pixels of the alignment pattern (pattern image) of the projection device 20 can be determined. Not a thing.
例えば、グレイコードに加えて位相シフトパターンも用いることで、サブピクセルでの対応点を取得することができる。これにより、高精度に位置合わせを行っても良い。また、ランダムドットパターンや、波線グリッドパターンなどの１枚の投影と撮像によって、撮像装置と投影装置との位置関係を推定できる方法を用いても良い。このような方法によれば、印刷物が揺れているなど、微小な変化がある場合にも位置関係を取得できる。 For example, by using a phase shift pattern in addition to the gray code, it is possible to obtain corresponding points in the subpixel. Thereby, alignment may be performed with high accuracy. Also, a method that can estimate the positional relationship between the imaging device and the projection device by one projection and imaging such as a random dot pattern or a wavy grid pattern may be used. According to such a method, the positional relationship can be acquired even when there is a minute change such as when the printed material is shaking.
＜＜実施形態２＞＞
実施形態１では、１台の投影装置を用いて重畳投影を行う形態を説明した。本実施形態では、投影装置が２台の場合を例に挙げて説明する。なお、本実施形態では、投影装置が２台の場合を例に挙げて説明するが、３台以上の場合であっても同様である。
<< Embodiment 2 >>
In the first embodiment, the form in which superimposing projection is performed using one projection apparatus has been described. In this embodiment, a case where there are two projection apparatuses will be described as an example. In the present embodiment, a case where there are two projectors will be described as an example, but the same applies to a case where there are three or more projectors.
図８は、本実施形態の画像投影システムの概要を説明する図である。画像投影システムは、投影装置２１、投影装置２２、撮像装置１０、および画像処理装置３０を備えている。撮像装置１０は、実施形態１と同様に、印刷物４１とその周辺を撮像可能に設置されている。投影装置２１および投影装置２２は、各投影装置の投影領域の一部が重複するように設置されている。各投影領域を合わせた領域は、印刷物４１を包含する領域となっている。複数台の投影装置で１枚のコンテンツ画像に相当する画像を投影することで、高い解像度の投影画像が投影される。 FIG. 8 is a diagram for explaining the outline of the image projection system of the present embodiment. The image projection system includes a projection device 21, a projection device 22, an imaging device 10, and an image processing device 30. As in the first embodiment, the imaging device 10 is installed so as to be able to image the printed matter 41 and its periphery. The projection device 21 and the projection device 22 are installed so that a part of the projection area of each projection device overlaps. A region obtained by combining the projection regions is a region including the printed matter 41. By projecting an image corresponding to one content image with a plurality of projection devices, a high-resolution projection image is projected.
本実施形態における画像処理装置３０の構成および機能は、投影装置が複数になる以外は基本的に実施形態１と同一であるため、説明を省略する。画像処理装置３０は、各投影装置用にそれぞれ処理を行う。なお、画像生成部３０６では、投影領域が重複する部分について、境界を目立たなくする処理を行う。詳細は後述する。本実施形態においても、各投影装置で投影する予定の投影コンテンツ画像は、印刷物４０のコンテンツ画像と同じシーンの画像であるものとする。即ち、投影装置２１および投影装置２２が投影に用いる投影コンテンツ画像データは、同じものであるとする。 Since the configuration and functions of the image processing apparatus 30 in this embodiment are basically the same as those in the first embodiment except that there are a plurality of projection apparatuses, description thereof will be omitted. The image processing device 30 performs processing for each projection device. Note that the image generation unit 306 performs a process of making the boundary inconspicuous in a portion where the projection areas overlap. Details will be described later. Also in the present embodiment, it is assumed that the projected content image to be projected by each projection device is an image of the same scene as the content image of the printed matter 40. That is, the projection content image data used for projection by the projection device 21 and the projection device 22 are the same.
図９は、本実施形態の画像投影システムの処理手順を示すフローチャートである。なお、実施形態１の図４と同様の処理には、同一の符号を付している。同一の処理であるものに関する説明は省略する。本実施形態では、Ｓ４０５〜Ｓ４０８における撮像装置と投影装置との位置合わせ処理と、Ｓ４１０における投影処理とを、それぞれ各投影装置分繰り返し行うための繰り返し判定処理（Ｓ９０１、Ｓ９０３）が追加されている。また、Ｓ９０２の画像生成処理の詳細が変更される。その他の処理の詳細は、実施形態１と同一であるので説明を省略する。 FIG. 9 is a flowchart showing a processing procedure of the image projection system of this embodiment. In addition, the same code | symbol is attached | subjected to the process similar to FIG. 4 of Embodiment 1. FIG. A description of what is the same process is omitted. In the present embodiment, a repeat determination process (S901, S903) for repeatedly performing the alignment process between the imaging apparatus and the projection apparatus in S405 to S408 and the projection process in S410 for each projection apparatus is added. . Further, details of the image generation processing in S902 are changed. The details of the other processes are the same as those in the first embodiment, and a description thereof will be omitted.
Ｓ９０１では、制御部３１０は、Ｓ４０５〜Ｓ４０８の処理を、投影装置分繰り返し処理したかを判定する。未処理の投影装置があれば、繰り返し処理を行う。Ｓ９０３では、制御部３１０は、Ｓ４１０の処理を投影装置分繰り返し処理したかを判定する。未処理の投影装置があれば、繰り返し処理を行う。 In step S901, the control unit 310 determines whether the processes in steps S405 to S408 have been repeated for the projection apparatus. If there is an unprocessed projection apparatus, the process is repeated. In step S903, the control unit 310 determines whether the processing in step S410 has been repeated for the projection apparatus. If there is an unprocessed projection apparatus, the process is repeated.
Ｓ９０２では、画像生成部３０６は、実施形態１と同様の投影コンテンツ画像の変形を行う。また、本実施形態では、実施形態１で説明した変形に加えて、複数の投影装置で重複して投影される領域の輝度を、重複していない領域との境界で目立たなくさせるためのブレンディング処理を行う。 In step S <b> 902, the image generation unit 306 performs the same deformation of the projected content image as in the first embodiment. Further, in the present embodiment, in addition to the modification described in the first embodiment, a blending process for making the luminance of the region projected by the plurality of projection apparatuses inconspicuous at the boundary with the non-overlapping region I do.
図１０は、ブレンディング処理の詳細なフローチャートを示す図である。図１１は、ブレンディング処理を説明する模式図である。以下、図１０および図１１を参照して、ブレンディング処理を説明する。図１１（ａ）は、印刷物４０と、投影装置２１の投影領域５１と、投影装置２２の投影領域５２との関係を示す図である。 FIG. 10 is a diagram showing a detailed flowchart of the blending process. FIG. 11 is a schematic diagram for explaining the blending process. Hereinafter, the blending process will be described with reference to FIGS. 10 and 11. FIG. 11A is a diagram illustrating a relationship among the printed material 40, the projection area 51 of the projection apparatus 21, and the projection area 52 of the projection apparatus 22.
Ｓ１００１では、画像生成部３０６は、印刷物４０のコンテンツ画像データを領域（セル）に分割する。あるいは、画像生成部３０６は、Ｓ４０４で分割した局所領域の情報を取得する。図１１（ｂ）は、印刷物４０のコンテンツ画像データを領域に分割した例を示している。 In step S1001, the image generation unit 306 divides the content image data of the printed matter 40 into regions (cells). Alternatively, the image generation unit 306 acquires information on the local area divided in S404. FIG. 11B shows an example in which the content image data of the printed matter 40 is divided into regions.
Ｓ１００２では、画像生成部３０６は、投影装置ごとにカバーする分割領域を判定する。本実施形態においては、投影領域によって列および行の全てのセルのセル全体が覆われている列および行を特定する。そして、投影領域内の特定した列および行までを、その投影装置がカバーする領域として判定する。例を挙げて説明する。図１１（ｃ）の投影装置２１の投影領域５１は、１行４列目のセルｒ１（灰色箇所）もセル全体を覆っている。しかし、４列目の他のセルは、投影領域５１によってセル全体がカバーされていない。図１１（ｃ）の投影領域５１では、垂直方向の全てのセルをカバーする列数は３である。このため、セルｒ１を含む４列目のセルについては、画像生成部３０６は、投影装置２１ではカバーしないと判定し、縦線領域ｒ２を投影装置２１のカバー領域と判定する。同様にして、画像生成部３０６は、投影領域５２の横線領域ｒ３を投影装置２２のカバーする領域として判定する。 In step S1002, the image generation unit 306 determines a divided area to be covered for each projection apparatus. In the present embodiment, the column and row in which the entire cell of all the cells in the column and row is covered by the projection region are specified. Then, the area up to the specified column and row in the projection area is determined as the area covered by the projection apparatus. An example will be described. In the projection region 51 of the projection device 21 in FIG. 11C, the cell r1 (gray portion) in the first row and the fourth column also covers the entire cell. However, the other cells in the fourth column are not entirely covered by the projection area 51. In the projection area 51 of FIG. 11C, the number of columns covering all the cells in the vertical direction is three. For this reason, the image generation unit 306 determines that the cell in the fourth column including the cell r1 is not covered by the projection device 21, and determines the vertical line region r2 as the cover region of the projection device 21. Similarly, the image generation unit 306 determines the horizontal line region r3 of the projection region 52 as a region covered by the projection device 22.
Ｓ１００３では、画像生成部３０６は、Ｓ１００２で判定した各投影装置のカバー領域を組み合わせて、分割領域ごとに投影を担当する投影装置を決定する。図１１（ｄ）においては、画像生成部３０６は、縦線領域ｒ４を投影装置２１、横線領域ｒ５を投影装置２２、格子領域ｒ６を投影装置２１と投影装置２２との両方が担当する領域として決定する。 In step S1003, the image generation unit 306 combines the cover areas of the respective projection apparatuses determined in step S1002, and determines a projection apparatus in charge of projection for each divided area. In FIG. 11D, the image generation unit 306 uses the vertical line area r4 as the area that the projection device 21, the horizontal line area r5 as the projection apparatus 22, and the lattice area r6 as the area that both the projection apparatus 21 and the projection apparatus 22 are responsible for. decide.
Ｓ１００４では、画像生成部３０６は、Ｓ１００３で決定した分割領域ごとの担当投影装置に基づいて透過度を決定する。ここで、透過度は０〜１の値とし、透過度「１」は完全透過を示す。完全透過の場合、投影装置が黒を投影することで完全透過が実現される。 In step S1004, the image generation unit 306 determines the transparency based on the assigned projection device for each divided region determined in step S1003. Here, the transmittance is a value of 0 to 1, and the transmittance “1” indicates complete transmission. In the case of complete transmission, complete transmission is realized by the projection device projecting black.
画像生成部３０６は、各投影装置が単独で担当する領域の透過度を「０」（図１１（ｅ）の黒領域ｒ７）と決定する。画像生成部３０６は、各投影装置の担当外の領域の透過度を「１」（図１１（ｅ）の白領域ｒ８）と決定する。画像生成部３０６は、複数の投影装置で担当する領域（図１１（ｅ）のグラデーション領域ｒ９）の透過度を、次のように決定する。投影装置が単独で担当する領域側の端点の透過度を「０」、担当外の領域の端点の透過度を「１」と決定する。また、これらの端点の間の透過度を、線形補間によって決定する。 The image generation unit 306 determines the transparency of the area that each projection apparatus is independently responsible for as “0” (black area r7 in FIG. 11E). The image generation unit 306 determines the transparency of the area not in charge of each projection apparatus as “1” (the white area r8 in FIG. 11E). The image generation unit 306 determines the transparency of the area in charge of the plurality of projection apparatuses (gradation area r9 in FIG. 11E) as follows. The transparency of the end point on the area side that the projection apparatus is in charge of is determined to be “0”, and the transparency of the end point of the area that is not in charge is determined to be “1”. Also, the transparency between these end points is determined by linear interpolation.
投影装置２１の投影領域５１に関しては、図１１（ｄ）の縦線領域ｒ４が図１１（ｅ）の黒領域ｒ７に、横線領域ｒ５が白領域ｒ８に、格子領域ｒ６がグラデーション領域ｒ９に相当する。同様に、投影装置２２の投影領域５２に関しては、図１１（ｄ）の縦線領域ｒ４が図１１（ｅ）の白領域ｒ８に、横線領域ｒ５が黒領域ｒ７に、格子領域ｒ６がグラデーション領域ｒ９に相当する。 Regarding the projection area 51 of the projection device 21, the vertical line area r4 in FIG. 11D corresponds to the black area r7 in FIG. 11E, the horizontal line area r5 corresponds to the white area r8, and the lattice area r6 corresponds to the gradation area r9. To do. Similarly, with respect to the projection region 52 of the projection device 22, the vertical line region r4 in FIG. 11D is the white region r8 in FIG. 11E, the horizontal line region r5 is the black region r7, and the lattice region r6 is the gradation region. It corresponds to r9.
図１０に戻り説明を続ける。Ｓ１００５では、画像生成部３０６は、投影用の画像データを生成する。画像生成部３０６は、実施形態１と同様に、投影コンテンツ画像データを変形して変形後画像データを生成する。このとき、Ｓ１００４で決定した透過度を反映させた変形後画像データを生成する。生成する変形後画像データの各画素値Ｉ’（ｘ）は、式（４）のように決定される。
Ｉ’（ｘ）＝（１−透過度）×Ｉ（ｘ） （４）
ここで、Ｉ（ｘ）は、画素位置ｘにおける色情報を表す。
Returning to FIG. In step S1005, the image generation unit 306 generates image data for projection. Similar to the first embodiment, the image generation unit 306 deforms the projection content image data to generate post-deformation image data. At this time, post-deformation image data reflecting the transparency determined in S1004 is generated. Each pixel value I ′ (x) of the post-deformation image data to be generated is determined as shown in Expression (4).
I ′ (x) = (1−transmittance) × I (x) (4)
Here, I (x) represents color information at the pixel position x.
このように生成した各投影装置の変形後画像データに対応する投影用画像をそれぞれ投影することで、投影領域の境界部分が目立たずに投影ができる。また、１台の投影装置で投影する場合に比べて投影用画像の解像度を高めることができる。 By projecting the projection image corresponding to the post-deformation image data of each projection apparatus generated in this way, the projection can be performed without making the boundary portion of the projection area conspicuous. Further, the resolution of the projection image can be increased as compared with the case of projecting with one projector.
なお、ブレンディング処理は上述した例に限られるものではなく、透過度を「０」か「１」の２値にしても良いし、「０」、「１」、「０．５」の３値にしても良い。また、分割領域ごとに透過度を決定する方法を説明したが、画素ごとに決定してもよい。また、本実施形態では、印刷物４０のコンテンツ画像と、各投影装置の投影コンテンツ画像とが同じ場合の形態を例に挙げて説明したが、印刷物４０のコンテンツ画像と、各投影装置のコンテンツ画像とが異なっていても良い。また、各投影装置のコンテンツ画像同士が異なっていても良い。 The blending process is not limited to the above-described example, and the transparency may be a binary value of “0” or “1”, or a ternary value of “0”, “1”, and “0.5”. Anyway. Moreover, although the method for determining the transparency for each divided region has been described, it may be determined for each pixel. In the present embodiment, the case where the content image of the printed matter 40 and the projection content image of each projection device are the same has been described as an example. However, the content image of the printed matter 40, the content image of each projection device, May be different. Further, the content images of the respective projection devices may be different.
以上説明したように、本実施形態では、複数台の投影装置を用いる場合であっても、撮像装置を用いて印刷物と投影装置との位置関係を決定することが可能であり、印刷物に対して位置合わせが行われた重畳投影される投影画像を自動で生成することができる。また、複数の投影装置を用いることで、疑似的に投影画像の解像度を向上させることができる。また、投影画像の重複領域をブレンディング処理することで、重複領域の境界部分の輝度の段差を抑制して境界部分を目立たなくすることができる。 As described above, in the present embodiment, even when a plurality of projection devices are used, the positional relationship between the printed material and the projection device can be determined using the imaging device. It is possible to automatically generate a projection image to be superimposed and projected after alignment. Further, by using a plurality of projection devices, it is possible to improve the resolution of the projection image in a pseudo manner. In addition, by blending the overlapping area of the projected image, it is possible to suppress the luminance step at the boundary part of the overlapping area and make the boundary part inconspicuous.
＜変形例＞
実施形態２では、投影領域が重複領域を持つように複数の投影装置を配置し、重複領域では、重複していない領域と輝度が同一になるようにブレンディング処理を行い、疑似的に投影画像の解像度を向上させる例を説明した。しかし、複数の投影装置を用いた投影方法はこの限りではない。
<Modification>
In the second embodiment, a plurality of projection devices are arranged so that the projection area has an overlapping area, and in the overlapping area, blending processing is performed so that the luminance is the same as that of the non-overlapping area. An example of improving the resolution has been described. However, the projection method using a plurality of projection apparatuses is not limited to this.
図１２は、実施形態２の変形例の画像投影システムの構成例を示す図である。図１２の例では、投影装置２１の投影領域５１と投影装置２２の投影領域５２とのほぼ全体が重なるように投影装置が設置されている。各投影領域は、印刷物４０を含むように投影される。このように、投影領域のほぼ全体を重ねることによって、ダイナミックレンジを向上させることができる。図１２の例では、複数の投影装置が同一の投影コンテンツ画像を投影することで、線形に輝度を増やすことができる。あるいは、１台の投影装置が比較的暗めの領域の投影を担当し、別の投影装置がより明るくした領域の投影を担当するように、各投影装置の投影コンテンツ画像を用意しても良い。 FIG. 12 is a diagram illustrating a configuration example of an image projection system according to a modification of the second embodiment. In the example of FIG. 12, the projection apparatus is installed so that the projection area 51 of the projection apparatus 21 and the projection area 52 of the projection apparatus 22 almost overlap each other. Each projection area is projected so as to include the printed material 40. In this way, the dynamic range can be improved by overlapping almost the entire projection area. In the example of FIG. 12, a plurality of projection apparatuses project the same projection content image, so that the luminance can be increased linearly. Alternatively, the projection content image of each projection apparatus may be prepared so that one projection apparatus is in charge of projecting a relatively dark area and another projection apparatus is in charge of projection of a brighter area.
＜＜実施形態３＞＞
本実施形態では、印刷物に対して動画像を重畳投影することで、印刷物に動きを加える。形態を説明する。以下では、実施形態１の画像投影システムと同様の構成を用いる形態を説明する。なお、本実施形態の印刷物は、動画像のある１フレームの画像でも良いし、動画像の全フレームの各画素の中央値でも良いし、全フレームの各画素の最小値でも良い。印刷物のコンテンツ画像データと解像度が同一であれば動画像と関係ないものでも良い。本実施形態の画像投影システムの構成は、実施形態１と同様であるので、説明は省略する。
<< Embodiment 3 >>
In the present embodiment, a motion image is superimposed on a printed material to add movement to the printed material. A form is demonstrated. Below, the form using the structure similar to the image projection system of Embodiment 1 is demonstrated. Note that the printed matter of the present embodiment may be an image of one frame with a moving image, the median value of each pixel of all frames of the moving image, or the minimum value of each pixel of all frames. If the resolution is the same as the content image data of the printed material, it may be unrelated to the moving image. Since the configuration of the image projection system of the present embodiment is the same as that of the first embodiment, description thereof is omitted.
＜フローチャート＞
図１３は、本実施形態における画像投影システムの処理手順を示すフローチャートである。なお、図４に示す実施形態１と同様の処理には、同一のステップ番号を付し、説明は省略する。実施形態１と実施形態３の処理は、Ｓ４０８まで同一である。即ち、印刷物と撮像装置との位置関係を決定し、かつ、投影装置と撮像装置との位置関係を決定する処理は、実施形態１と同じである。
<Flowchart>
FIG. 13 is a flowchart showing a processing procedure of the image projection system in the present embodiment. In addition, the same step number is attached | subjected to the process similar to Embodiment 1 shown in FIG. 4, and description is abbreviate | omitted. The processing in the first and third embodiments is the same up to S408. That is, the process of determining the positional relationship between the printed material and the imaging device and determining the positional relationship between the projection device and the imaging device is the same as in the first embodiment.
Ｓ１３０９では、制御部３１０は、実施形態１のＳ４０９と同様に、画像生成部３０６を制御して、式（３）のように、投影コンテンツ画像の変形パラメータを決定する。Ｓ１３１０では、制御部３１０は、記憶部２０３から投影コンテンツである動画データを取得する。なお、Ｓ１３１０は、Ｓ１３１１の前に行われていればよく、Ｓ４０１の初期化の処理において行われていても良い。 In step S1309, the control unit 310 controls the image generation unit 306 to determine the deformation parameter of the projection content image as in Expression (3), similarly to step S409 in the first embodiment. In step S <b> 1310, the control unit 310 acquires moving image data that is projection content from the storage unit 203. Note that S1310 only needs to be performed before S1311, and may be performed in the initialization process of S401.
Ｓ１３１１では、制御部３１０は、Ｓ１３１０で取得した動画データのｎフレーム目のフレーム画像を取得する。ｎの初期値は、Ｓ４０１の初期化処理もしくはＳ１３１０の動画データ取得時に、動画のフレーム数以内で設定される。 In step S1311, the control unit 310 acquires the nth frame image of the moving image data acquired in step S1310. The initial value of n is set within the number of frames of the moving image during the initialization process in S401 or the moving image data acquisition in S1310.
Ｓ１３１２では、制御部３１０は、画像生成部３０６を制御して、Ｓ１３０９で決定した変形パラメータに基づいて、Ｓ３１１０で取得した動画データのｎ番目のフレームの画像を変形して変形後画像データを生成する。Ｓ１３１３では、制御部３１０は、投影装置２０を制御して、Ｓ１３１２で生成した変形後画像データに対応する投影画像を印刷物４０に向けて投影する。 In step S1312, the control unit 310 controls the image generation unit 306 to generate the post-deformation image data by deforming the image of the nth frame of the moving image data acquired in step S3110 based on the deformation parameter determined in step S1309. To do. In step S <b> 1313, the control unit 310 controls the projection device 20 to project a projection image corresponding to the post-deformation image data generated in step S <b> 1312 toward the printed material 40.
Ｓ１３１４では、ｎを次のフレーム番号に変更する。なお、ここでは１フレームごとに投影コンテンツ画像を投影する形態を説明するが、この限りではない。数フレーム毎に投影コンテンツ画像を投影しても良い。Ｓ１３１５では、制御部３１０は、ｎが動画のフレーム数より大きいか否かを判定する。ｎが動画のフレーム数以下の場合、Ｓ１３１１に戻り、ｎフレームに対する処理を行う。ｎが動画のフレーム数より大きい場合、処理を終了する。なお、処理を終了せずに、動画の最初のフレームに戻って処理を繰り返しても良い。 In S1314, n is changed to the next frame number. Here, a mode in which a projected content image is projected for each frame will be described, but this is not restrictive. A projected content image may be projected every several frames. In step S1315, the control unit 310 determines whether n is larger than the number of moving image frames. If n is less than or equal to the number of frames of the moving image, the process returns to S1311 to perform processing for n frames. If n is larger than the number of frames of the moving image, the process ends. Note that the processing may be repeated by returning to the first frame of the moving image without ending the processing.
以上に述べたように、本実施形態によれば、撮像装置を用いて印刷物と投影装置との位置関係を決定することが可能であり、印刷物に対して位置合わせが行われて重畳投影される投影画像を自動で生成することができる。印刷物に動画像を重畳することで、印刷物に動きを加えたような表現が可能になる。なお、実施形態２で説明したように、複数の投影装置を用いて動画像の投影コンテンツを投影する形態であっても良い。 As described above, according to the present embodiment, it is possible to determine the positional relationship between the printed material and the projection device using the imaging device, and the printed material is aligned and superimposed and projected. A projection image can be automatically generated. By superimposing a moving image on a printed material, it is possible to express the printed material as if it had been moved. Note that, as described in the second embodiment, the projection content of a moving image may be projected using a plurality of projection devices.
＜その他の実施形態＞
以上説明した各実施形態では、被投影物が印刷物である場合を例に挙げて説明した。しかしながら、被投影物は、印刷物でなくても良い。被投影物に対応するコンテンツ画像データが取得できるものであれば良い。例えば、絵柄あるいはパターンがある絵画、または、カーテンおよび服などの布製品でも良い。また、印刷物のコンテンツ画像データは、記憶部２０３に記憶されている形態を例に挙げて説明したが、これに限られない。例えば、印刷物を撮像して得られた撮像データから、印刷物のコンテンツ画像データを取得する形態でも良い。また、撮像装置は、撮像装置で印刷物を撮像した撮像データと印刷物の画像データとの対応関係が取得できるものであれば良く、カラーカメラでも、モノクロカメラでも、赤外カメラでも、深度も取得できるＲＧＢＤカメラでもよい。
<Other embodiments>
In each embodiment described above, the case where the projection object is a printed material has been described as an example. However, the projection object may not be a printed material. What is necessary is just to be able to acquire the content image data corresponding to the projection object. For example, it may be a picture with a pattern or pattern, or cloth products such as curtains and clothes. Further, the content image data of the printed material has been described by taking the form stored in the storage unit 203 as an example, but the present invention is not limited to this. For example, a form in which content image data of a printed material is acquired from imaging data obtained by imaging the printed material. Further, the image pickup apparatus only needs to be able to acquire a correspondence relationship between image data obtained by picking up an image of the printed matter with the image pickup device and image data of the printed matter. An RGBD camera may be used.
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１０ 撮像装置
２０ 投影装置
３０ 画像処理装置
３０３ 第一位置合わせ部
３０４ 第二位置合わせ部
３０６ 画像生成部
DESCRIPTION OF SYMBOLS 10 Imaging device 20 Projector 30 Image processing device 303 1st position alignment part 304 2nd position alignment part 306 Image generation part
Claims (20)
前記印刷物における画像を少なくとも含む面を撮像するように設置されている撮像装置によって撮像された撮像データを取得する取得手段と、
前記印刷物における画像に対応する第１の画像データと、前記撮像装置によって撮像された撮像データとに基づいて、前記印刷物と前記撮像装置との位置関係を決定する第１の決定手段と、
前記投影装置から前記印刷物における画像に投影された位置合わせ用パターンと、前記撮像装置によって前記位置合わせ用パターンが撮像された撮像データと、に基づいて、前記撮像装置と前記投影装置との位置関係を決定する第２の決定手段と、
前記第１の決定手段及び前記第２の決定手段で決定された前記位置関係に基づいて、前記投影コンテンツの画像を変形した第２の画像データを生成する生成手段と、
を備えることを特徴とする画像処理装置。 An image processing device that generates an image of projection content projected from a projection device onto an image in a printed matter,
Acquisition means for acquiring imaging data imaged by an imaging device installed so as to image a surface including at least an image in the printed matter;
First determination means for determining a positional relationship between the printed material and the imaging device based on first image data corresponding to an image in the printed material and imaging data captured by the imaging device;
The positional relationship between the imaging device and the projection device based on the alignment pattern projected on the image on the printed matter from the projection device and the imaging data obtained by imaging the alignment pattern by the imaging device. Second determining means for determining
Generating means for generating second image data obtained by modifying an image of the projection content based on the positional relationship determined by the first determining means and the second determining means;
An image processing apparatus comprising:
前記枠の付与がされた前記第１の画像データを用いて前記位置関係を決定することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。 The first determining means assigns an image frame to the first image data,
The image processing apparatus according to claim 1, wherein the positional relationship is determined using the first image data to which the frame is added.
前記撮像装置と、
前記投影装置と、
前記撮像装置及び投影装置を制御する制御手段と、
を有する画像投影システム。 An image processing apparatus according to any one of claims 1 to 15,
The imaging device;
The projection device;
Control means for controlling the imaging device and the projection device;
An image projection system.
前記印刷物における画像を少なくとも含む面を撮像するように設置されている撮像装置によって撮像された撮像データを取得する取得ステップと、
前記印刷物における画像に対応する第１の画像データと、前記撮像装置によって撮像された撮像データとに基づいて、前記印刷物と前記撮像装置との位置関係を決定する第１の決定ステップと、
前記投影装置から前記印刷物における画像に投影された位置合わせ用パターンと、前記撮像装置によって前記位置合わせ用パターンが撮像された撮像データと、に基づいて、前記撮像装置と前記投影装置との位置関係を決定する第２の決定ステップと、
前記第１の決定ステップ及び前記第２の決定ステップで決定された前記位置関係に基づいて、前記投影コンテンツの画像を変形した第２の画像データを生成する生成ステップと、
を備えることを特徴とする画像処理方法。 An image processing method for generating an image of projection content projected from a projection device onto an image in a printed matter,
An acquisition step of acquiring imaging data imaged by an imaging device installed to image a surface including at least an image in the printed matter;
A first determination step of determining a positional relationship between the printed material and the imaging device based on first image data corresponding to an image in the printed material and imaging data captured by the imaging device;
The positional relationship between the imaging device and the projection device based on the alignment pattern projected on the image on the printed matter from the projection device and the imaging data obtained by imaging the alignment pattern by the imaging device. A second determining step for determining
A generation step of generating second image data obtained by deforming an image of the projection content based on the positional relationship determined in the first determination step and the second determination step;
An image processing method comprising:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018100808A JP2019205133A (en) | 2018-05-25 | 2018-05-25 | Image processing apparatus, image processing method, image projection system, and program |
| US16/417,751 US10939081B2 (en) | 2018-05-25 | 2019-05-21 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018100808A JP2019205133A (en) | 2018-05-25 | 2018-05-25 | Image processing apparatus, image processing method, image projection system, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019205133A true JP2019205133A (en) | 2019-11-28 |
Family
ID=68727427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018100808A Pending JP2019205133A (en) | 2018-05-25 | 2018-05-25 | Image processing apparatus, image processing method, image projection system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019205133A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12067656B2 (en) | 2022-03-30 | 2024-08-20 | Seiko Epson Corporation | Image editing method, information processing apparatus, and recording medium having program recorded thereon |
-
2018
- 2018-05-25 JP JP2018100808A patent/JP2019205133A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12067656B2 (en) | 2022-03-30 | 2024-08-20 | Seiko Epson Corporation | Image editing method, information processing apparatus, and recording medium having program recorded thereon |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6330987B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN105026997B (en) | Optical projection system, semiconductor integrated circuit and image correcting method | |
| US8941750B2 (en) | Image processing device for generating reconstruction image, image generating method, and storage medium | |
| JP6625745B2 (en) | Image processing device | |
| US10939081B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP5445461B2 (en) | Pixel position correspondence specifying system, pixel position correspondence specifying method, and pixel position correspondence specifying program | |
| JP7387434B2 (en) | Image generation method and image generation device | |
| KR20070093995A (en) | Motion vector calculation method, hand-movement correction device using the method, imaging device, and motion picture generation device | |
| EP3327662B1 (en) | Image processing device, image processing method, and program | |
| WO2009090727A1 (en) | Display | |
| JP5151922B2 (en) | Pixel position correspondence specifying system, pixel position correspondence specifying method, and pixel position correspondence specifying program | |
| JP2019205133A (en) | Image processing apparatus, image processing method, image projection system, and program | |
| JP2019175283A (en) | Recognition apparatus, recognition system, program, and position coordinate detecting method | |
| JP6317611B2 (en) | Display display pattern generating apparatus and program thereof | |
| JP2014147047A (en) | Image processing device, method, and program, and image pickup device | |
| JP4506501B2 (en) | Image composition device and imaging system | |
| CN110692235B (en) | Image processing apparatus, image processing program, and image processing method | |
| JP2022138883A (en) | Image creation method, control method, and information processing apparatus | |
| JP7391502B2 (en) | Image processing device, image processing method and program | |
| JP4733448B2 (en) | Parallax generation device and parallax generation program | |
| JP2020102230A (en) | Calibration method | |
| JP2020160756A5 (en) | ||
| CN116433769B (en) | Space calibration method, device, electronic equipment and storage medium | |
| JP2018190201A (en) | Image processing device, image processing method and program | |
| JP7496564B2 (en) | Image processing device, image processing method, and program |