JP2015080190A - Extraction method, program, extraction device, and image projection device - Google Patents
Extraction method, program, extraction device, and image projection device Download PDFInfo
- Publication number
- JP2015080190A JP2015080190A JP2014107087A JP2014107087A JP2015080190A JP 2015080190 A JP2015080190 A JP 2015080190A JP 2014107087 A JP2014107087 A JP 2014107087A JP 2014107087 A JP2014107087 A JP 2014107087A JP 2015080190 A JP2015080190 A JP 2015080190A
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- extraction
- image
- feature points
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、投影画像の歪み補正に関し、より詳細には、スクリーン等の被投影物に投影された校正用パターン画像に含まれる特徴点を抽出する抽出方法、プログラム、抽出装置および画像投影装置に関する。 More particularly, the present invention relates to an extraction method, a program, an extraction apparatus, and an image projection apparatus for extracting feature points included in a calibration pattern image projected on a projection object such as a screen. .
従来、プロジェクタ等の投影装置からスクリーンに画像を投影する場合、投影装置とスクリーンの相対的な位置関係によって投影画像が台形に歪む台形歪みが生じることがある。また、スクリーン面の局所的な凹凸や捻じれによって、投影画像に非線形の歪みが生じることがある。 Conventionally, when an image is projected onto a screen from a projection device such as a projector, a trapezoidal distortion may occur in which the projected image is distorted into a trapezoid depending on the relative positional relationship between the projection device and the screen. In addition, non-linear distortion may occur in the projected image due to local unevenness or twisting of the screen surface.
このような歪みを補正するために、特定の図形配列で形成される校正用パターン画像を投影したスクリーンを撮影装置で撮影し、実際に撮影画像で抽出した特徴点の位置と、当該特徴点の理想的な位置とのずれから歪みの程度を算出し、歪みを解消するように画像を補正する技術が存在する。 In order to correct such distortion, a screen on which a calibration pattern image formed with a specific figure array is projected is photographed by a photographing device, and the position of the feature point actually extracted from the photographed image and the feature point There is a technique for calculating an extent of distortion from a deviation from an ideal position and correcting an image so as to eliminate the distortion.
このような従来技術の一例として、特許文献１は、等間隔に配列された特徴点パターンをスクリーンに投影して撮影し、撮影画像に含まれる特徴点の座標を使用して投影による歪み量を算出し、歪み量に応じて投影画像を補正する画像補正装置を開示する。 As an example of such a conventional technique, Patent Document 1 projects and captures feature point patterns arranged at equal intervals on a screen, and uses the coordinates of the feature points included in the captured image to determine the distortion amount due to projection. An image correction apparatus that calculates and corrects a projected image according to a distortion amount is disclosed.
しかしながら、特許文献１が開示する画像補正装置では、外光がスクリーンに照射した状態で、当該スクリーンに投影された特徴点パターンを撮影すると、外光が照射した部分の撮影画像の画質が劣化し、総ての特徴点を抽出することができない。このため、特徴点が欠損した箇所では歪み量を算出することができず、画像補正を適切に行うことができないという問題があった。 However, in the image correction apparatus disclosed in Patent Document 1, when the feature point pattern projected on the screen is captured in a state where the external light is irradiated on the screen, the image quality of the captured image of the portion irradiated with the external light deteriorates. All feature points cannot be extracted. For this reason, there is a problem in that a distortion amount cannot be calculated at a point where a feature point is missing, and image correction cannot be performed appropriately.
この場合、欠損した特徴点の近傍の特徴点を利用して、欠損した特徴点を補間する方法も考えられるが、近傍の特徴点で補間すると、補間した特徴点の座標位置の精度が低くなり、画像補正の精度が低下する虞がある。 In this case, it is possible to interpolate the missing feature points using the feature points in the vicinity of the missing feature points, but if the neighboring feature points are interpolated, the accuracy of the coordinate position of the interpolated feature points will be reduced. There is a risk that the accuracy of the image correction is lowered.
本発明は、上記従来技術の問題に鑑みてなされたものであり、校正用パターン画像が投影された被投影物の撮影画像から校正用パターン画像の特徴点を効果的に抽出することが可能な抽出方法、プログラム、抽出装置および画像投影装置を提供することを目的とするものである。 The present invention has been made in view of the above problems of the prior art, and can effectively extract feature points of a calibration pattern image from a photographed image of a projection onto which the calibration pattern image is projected. It is an object of the present invention to provide an extraction method, a program, an extraction device, and an image projection device.
上記課題を解決するために、本発明の抽出方法は、校正用パターン画像が投影された被投影物の撮影画像を加工して特徴点を抽出する第１の抽出ステップと、第１の抽出ステップで特徴点を抽出できなかった欠損領域を特定するステップと、欠損領域に加工処理を施して特徴点を抽出する第２の抽出ステップとを含む。 In order to solve the above-described problem, an extraction method of the present invention includes a first extraction step for extracting a feature point by processing a captured image of a projection object on which a calibration pattern image is projected, and a first extraction step. And a second extracting step of extracting a feature point by performing a processing on the missing region.
本発明は、校正用パターン画像が投影された被投影物の撮影画像から校正用パターン画像の特徴点を効果的に抽出することができ、画像補正の精度を向上させることができる。 The present invention can effectively extract the feature points of the calibration pattern image from the captured image of the projection object onto which the calibration pattern image is projected, and can improve the accuracy of image correction.
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。図１は、本発明の画像投影システムの一実施形態を示す図である。画像投影システム１００は、情報処理装置１１０と、画像投影装置１２０と、スクリーン１４０とを含んで構成される。 Hereinafter, although this invention is demonstrated with embodiment, this invention is not limited to embodiment mentioned later. FIG. 1 is a diagram showing an embodiment of an image projection system of the present invention. The image projection system 100 includes an information processing apparatus 110, an image projection apparatus 120, and a screen 140.
情報処理装置１１０は、画像投影装置１２０に画像を投影させる情報処理装置である。図１では、情報処理装置１１０としてタブレット型ＰＣを示しているが、デスクトップ型ＰＣやノート型ＰＣ等の種々のコンピュータを情報処理装置１１０として採用することができる。 The information processing apparatus 110 is an information processing apparatus that causes the image projection apparatus 120 to project an image. In FIG. 1, a tablet PC is shown as the information processing apparatus 110, but various computers such as a desktop PC and a notebook PC can be used as the information processing apparatus 110.
画像投影装置１２０は、種々の画像をスクリーン１４０等の被投影物に投影する装置である。図１に示す実施形態では、画像投影装置１２０としてプロジェクタを採用する。 The image projection device 120 is a device that projects various images onto a projection object such as a screen 140. In the embodiment shown in FIG. 1, a projector is employed as the image projection device 120.
情報処理装置１１０は、ユーザが所望する投影対象の画像を画像投影装置１２０に投影させる前の準備処理として、校正用パターン（図形）を含む校正用パターン画像１３０を画像投影装置１２０に投影させる。画像投影装置１２０がスクリーン１４０に投影した投影画像１５０は、図１に示すように、スクリーン１４０の状態によって歪みが生じることがある。このため、情報処理装置１１０は、スクリーン１４０に投影された投影画像１５０を撮影し、その歪みを補正する補正係数を算出する。 The information processing apparatus 110 causes the image projection apparatus 120 to project a calibration pattern image 130 including a calibration pattern (figure) as a preparatory process before the image projection apparatus 120 projects a projection target image desired by the user. As shown in FIG. 1, the projection image 150 projected by the image projection device 120 onto the screen 140 may be distorted depending on the state of the screen 140. For this reason, the information processing apparatus 110 captures the projection image 150 projected on the screen 140 and calculates a correction coefficient for correcting the distortion.
そして、情報処理装置１１０は、この補正係数を用いて投影対象の画像を補正し、補正画像を画像投影装置１２０に投影させる。これにより、スクリーン１４０に映し出される画像の歪みを解消することができる。 Then, the information processing apparatus 110 corrects the projection target image using the correction coefficient, and causes the image projection apparatus 120 to project the corrected image. Thereby, distortion of the image displayed on the screen 140 can be eliminated.
図２は、本発明の抽出方法を実行する情報処理装置のハードウェア構成を示す図である。情報処理装置１１０は、プロセッサ２００と、ＲＯＭ２０１と、ＲＡＭ２０２と、ＳＳＤ２０３と、撮影装置２０４と、無線ＬＡＮアダプタ２０５とを含んで構成される。 FIG. 2 is a diagram illustrating a hardware configuration of an information processing apparatus that executes the extraction method of the present invention. The information processing apparatus 110 includes a processor 200, a ROM 201, a RAM 202, an SSD 203, a photographing apparatus 204, and a wireless LAN adapter 205.
プロセッサ２００は、本発明のプログラムを実行する演算装置である。ＲＯＭ２０１は、ブートプログラムなどが保存される不揮発性メモリである。ＲＡＭ２０２は、情報処理装置１１０が実行するプログラムの実行空間を提供する不揮発性メモリである。ＳＳＤ２０３は、本発明のプログラムや校正用パターン画像などの様々なデータが保存される不揮発性メモリである。 The processor 200 is an arithmetic device that executes the program of the present invention. The ROM 201 is a non-volatile memory that stores a boot program and the like. The RAM 202 is a nonvolatile memory that provides an execution space for programs executed by the information processing apparatus 110. The SSD 203 is a non-volatile memory that stores various data such as a program of the present invention and a calibration pattern image.
プロセッサ２００は、ＳＳＤ２０３から本発明のプログラムを読み出し、ＷＩＮＤＯＷＳ（登録商標）シリーズ、Ｍａｃ（登録商標）ＯＳ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などの種々のＯＳの管理下で、本発明のプログラムをＲＡＭ２０２に展開して実行することにより、後述する各機能手段を情報処理装置１１０上に実現する。 The processor 200 reads the program of the present invention from the SSD 203, and controls the present invention under the management of various OSs such as the WINDOWS (registered trademark) series, the Mac (registered trademark) OS, the UNIX (registered trademark), the LINUX (registered trademark), and the like. Each function means described later is realized on the information processing apparatus 110 by expanding and executing the program in the RAM 202.
撮影装置２０４は、ＣＣＤやＣＭＯＳ等の撮影素子を含んで構成される撮影装置である。撮影装置２０４は、スクリーン１４０等の被投影物を撮影素子で撮影して撮影画像を生成する。 The imaging device 204 is an imaging device that includes an imaging element such as a CCD or CMOS. The imaging device 204 captures a projection object such as the screen 140 with an imaging element to generate a captured image.
無線ＬＡＮアダプタ２０５は、外部装置との間で無線通信を行うインタフェースである。情報処理装置１１０は、無線ＬＡＮアダプタ２０５を介して、スクリーン１４０等の被投影物に投影すべき画像を画像投影装置１２０に送信する。 The wireless LAN adapter 205 is an interface that performs wireless communication with an external device. The information processing apparatus 110 transmits an image to be projected onto a projection object such as the screen 140 to the image projection apparatus 120 via the wireless LAN adapter 205.
図３は、画像投影装置１２０のハードウェア構成および機能構成と、情報処理装置１１０の機能構成の一実施形態を示す図である。 FIG. 3 is a diagram illustrating an embodiment of a hardware configuration and a functional configuration of the image projection apparatus 120 and a functional configuration of the information processing apparatus 110.
画像投影装置１２０は、通信部３００と、投影制御部３０１と、記憶部３０２と、光源３０３と、ＤＭＤ（Digital Mirror Device）３０４と、カラーホイール３０５と、投影用レンズ３０６とを備えている。 The image projection apparatus 120 includes a communication unit 300, a projection control unit 301, a storage unit 302, a light source 303, a DMD (Digital Mirror Device) 304, a color wheel 305, and a projection lens 306.
通信部３００は、情報処理装置１１０との間でデータ通信を行う手段である。本実施形態では、通信部３００は、情報処理装置１１０と無線通信を行う。通信部３００は、情報処理装置１１０から投影対象の画像を受信すると、記憶手段である記憶部３０２に保存する。 The communication unit 300 is means for performing data communication with the information processing apparatus 110. In the present embodiment, the communication unit 300 performs wireless communication with the information processing apparatus 110. When the communication unit 300 receives an image to be projected from the information processing apparatus 110, the communication unit 300 stores the image in the storage unit 302 serving as a storage unit.
投影制御部３０１は、画像投影装置１２０による画像投影を制御する手段である。投影制御部３０１は、記憶部３０２に投影対象の画像が保存されると、当該画像を取得し、光源３０３、ＤＭＤ３０４およびカラーホイール３０５を制御して当該画像を投影する。 The projection control unit 301 is a unit that controls image projection by the image projection device 120. When the image to be projected is stored in the storage unit 302, the projection control unit 301 acquires the image, and controls the light source 303, the DMD 304, and the color wheel 305 to project the image.
情報処理装置１１０は、通信部３０７と、撮影制御部３０８と、対応点抽出部３０９と、二値化部３１０と、特徴点抽出部３１１と、欠損領域特定部３１２と、特徴点補間部３１３と、補正係数算出部３１４と、画像補正部３１５と、投影処理部３１６と、記憶部３１７とを含んで構成される。 The information processing apparatus 110 includes a communication unit 307, a shooting control unit 308, a corresponding point extraction unit 309, a binarization unit 310, a feature point extraction unit 311, a missing area specification unit 312, and a feature point interpolation unit 313. A correction coefficient calculation unit 314, an image correction unit 315, a projection processing unit 316, and a storage unit 317.
通信部３０７は、無線ＬＡＮアダプタ２０５を制御する手段である。通信部３０７は、無線ＬＡＮアダプタ２０５を制御して情報処理装置１１０と種々のデータを通信する。撮影制御部３０８は、撮影装置２０４を制御する手段である。撮影制御部３０８は、撮影装置２０４に撮影を実行させ、撮影画像を生成する。 The communication unit 307 is means for controlling the wireless LAN adapter 205. The communication unit 307 controls the wireless LAN adapter 205 to communicate various data with the information processing apparatus 110. The imaging control unit 308 is a unit that controls the imaging device 204. The shooting control unit 308 causes the shooting device 204 to perform shooting and generates a shot image.
対応点抽出部３０９は、オリジナルの校正用パターン画像の特徴点と、当該特徴点に対応する撮影画像の校正用パターン画像の特徴点とを抽出する対応点抽出処理を実行する手段である。対応点抽出部３０９は、二値化部３１０、特徴点抽出部３１１、欠損領域特定部３１２および特徴点補間部３１３を制御して、対応点抽出処理を実行して、対応する特徴点を抽出する。 The corresponding point extraction unit 309 is a means for executing corresponding point extraction processing for extracting the feature points of the original calibration pattern image and the feature points of the calibration pattern image of the captured image corresponding to the feature points. The corresponding point extracting unit 309 controls the binarizing unit 310, the feature point extracting unit 311, the missing region specifying unit 312, and the feature point interpolating unit 313 to execute corresponding point extraction processing and extract corresponding feature points. To do.
二値化部３１０は、撮影画像を取得して二値化し、二値化画像を生成する手段である。二値化部３１０は、撮影画像の全画素の明度と所定の閾値とを比較し、画素を区別して二値化する方法や、大津の二値化（判別分析法）などの種々の二値化の手法を採用することができる。 The binarization unit 310 is a means for acquiring a binarized image and binarizing it to generate a binarized image. The binarization unit 310 compares the brightness of all the pixels of the captured image with a predetermined threshold value, distinguishes the pixels and binarizes them, and various binary values such as Otsu's binarization (discriminant analysis method). Can be adopted.
特徴点抽出部３１１は、撮影画像の特徴点を抽出する手段である。特徴点抽出部３１１は、二値化部３１０が生成した二値化画像から複数の黒画素で構成される連結成分を抽出し、当該黒画素の連結成分から特徴点を抽出する。 The feature point extraction unit 311 is a means for extracting feature points of the captured image. The feature point extraction unit 311 extracts a connected component composed of a plurality of black pixels from the binarized image generated by the binarization unit 310, and extracts a feature point from the connected components of the black pixels.
本実施形態では、特徴点抽出部３１１は、当該連結成分の面積や長さを算出し、スクリーン１４０と撮影装置２０４との距離、校正用パターン画像の投影サイズおよび撮影画素数によって規定される校正用パターン画像の特徴点の面積や長さと近似する黒画素の連結成分を、校正用パターン画像の特徴点として抽出する。なお、撮影装置２０４とスクリーン１４０との距離、投影サイズ、撮影画素数は既知とする。 In this embodiment, the feature point extraction unit 311 calculates the area and length of the connected component, and is calibrated by the distance between the screen 140 and the imaging device 204, the projection size of the calibration pattern image, and the number of imaging pixels. A connected component of black pixels approximating the area and length of the feature points of the pattern image for extraction is extracted as the feature points of the calibration pattern image. It is assumed that the distance between the imaging device 204 and the screen 140, the projection size, and the number of imaging pixels are known.
黒画素の連結成分の長さを基準に特徴点を識別して抽出する場合、スクリーンの歪みの程度により、校正用パターンの形状が大きく変形する場合がある。例えば、円形の校正用パターンが楕円に変形する可能性がある。このため、特徴点抽出部３１１は、黒画素の連結成分の縦方向または横方向の長さの閾値を緩和して特徴点を識別する。これにより、微細なノイズを誤って抽出することなく、形状が大きく変形した特徴点も漏れなく抽出することができる。 When feature points are identified and extracted based on the length of connected components of black pixels, the shape of the calibration pattern may be greatly deformed depending on the degree of screen distortion. For example, a circular calibration pattern may be deformed into an ellipse. For this reason, the feature point extraction unit 311 identifies the feature points by relaxing the vertical or horizontal length threshold of the connected components of the black pixels. As a result, it is possible to extract feature points whose shape has been greatly deformed without omission without erroneously extracting fine noise.
欠損領域特定部３１２は、欠損した特徴点を含む領域（以下、「欠損領域」とする。）を特定する手段である。欠損領域特定部３１２は、特徴点抽出部３１１が抽出できなかった特徴点を含む近傍の領域を、欠損領域として特定する。本実施形態では、欠損領域には欠損した特徴点のみが含まれており、既に抽出された特徴点は含まれないものとする。 The missing area specifying unit 312 is a means for specifying an area including a missing feature point (hereinafter referred to as “missing area”). The missing area specifying unit 312 specifies a neighboring area including a feature point that cannot be extracted by the feature point extracting unit 311 as a missing area. In the present embodiment, it is assumed that the missing region includes only missing feature points and does not include feature points that have already been extracted.
特徴点補間部３１３は、未抽出の特徴点を、当該特徴点の近傍の特徴点を用いて補間する手段である。特徴点の補間方法については、図１０〜図１２を参照して詳述する。 The feature point interpolation unit 313 is means for interpolating unextracted feature points using feature points in the vicinity of the feature points. The feature point interpolation method will be described in detail with reference to FIGS.
補正係数算出部３１４は、投影対象の原画像を補正してスクリーン１４０の撓みによる歪みを相殺する補正係数を算出する手段である。補正係数算出部３１４は、対応点抽出処理で抽出された特徴点を使用して補正係数を算出する。本実施形態では、非特許文献１が開示する射影変換行列Ｈを補正係数として採用する。補正係数の算出方法については、図５を参照して詳述する。 The correction coefficient calculation unit 314 is a means for calculating a correction coefficient that corrects the original image to be projected and cancels distortion caused by the deflection of the screen 140. The correction coefficient calculation unit 314 calculates a correction coefficient using the feature points extracted by the corresponding point extraction process. In the present embodiment, the projective transformation matrix H disclosed in Non-Patent Document 1 is adopted as a correction coefficient. A method for calculating the correction coefficient will be described in detail with reference to FIG.
画像補正部３１５は、投影対象の原画像を補正して補正画像を生成する手段である。画像補正部３１５は、補正係数算出部３１４が算出した補正係数を用いて投影対象の原画像を補正する。本実施形態では、画像補正部３１５は、非特許文献１が開示する幾何補正手法および補正係数を用いて、投影対象の原画像を変換し、補正画像を生成する。 The image correction unit 315 is a unit that corrects an original image to be projected and generates a corrected image. The image correction unit 315 corrects the original image to be projected using the correction coefficient calculated by the correction coefficient calculation unit 314. In the present embodiment, the image correction unit 315 converts the original image to be projected using the geometric correction method and correction coefficient disclosed in Non-Patent Document 1, and generates a corrected image.
投影処理部３１６は、投影対象の画像を画像投影装置１２０に提供する手段である。投影処理部３１６は、画像補正部３１５を制御して投影対象の原画像を補正し、補正画像を画像投影装置１２０に提供する。本実施形態では、投影対象の原画像は、情報処理装置１１０のディスプレイに表示されている画像や動画などの種々の画像である。 The projection processing unit 316 is means for providing an image to be projected to the image projection apparatus 120. The projection processing unit 316 controls the image correcting unit 315 to correct the original image to be projected, and provides the corrected image to the image projecting device 120. In the present embodiment, the original image to be projected is various images such as an image and a moving image displayed on the display of the information processing apparatus 110.
記憶部３１７は、情報処理装置１１０が処理する種々データが保存される記憶手段であり、ＲＯＭ２０１やＲＡＭ２０２、ＳＳＤ２０３によって実現される。記憶部３１７には、校正用のパターン画像や撮影画像、投影対象の原画像、補正係数などが保存される。 The storage unit 317 is a storage unit that stores various data processed by the information processing apparatus 110, and is realized by the ROM 201, the RAM 202, and the SSD 203. The storage unit 317 stores calibration pattern images, captured images, projection target original images, correction coefficients, and the like.
また、記憶部３１７は、座標データバッファと、ステータスバッファとが含まれる。座標データバッファには、撮影画像から得られる校正用パターン画像の特徴点の座標情報である座標値が保存される。ステータスバッファには、撮影画像から得られる校正用パターン画像の特徴点のステータス情報が保存される。 The storage unit 317 includes a coordinate data buffer and a status buffer. The coordinate data buffer stores coordinate values that are coordinate information of feature points of the calibration pattern image obtained from the captured image. The status buffer stores the status information of the feature points of the calibration pattern image obtained from the captured image.
図４は、本発明の情報処理装置が実行する処理の一実施形態を示すフローチャートである。以下、図４を参照して、情報処理装置１１０が、校正用パターン画像を画像投影装置１２０に投影させた後、ユーザの所望する投影対象の画像を画像投影装置１２０に投影させる前に実行する準備処理について説明する。 FIG. 4 is a flowchart showing an embodiment of processing executed by the information processing apparatus of the present invention. Hereinafter, with reference to FIG. 4, the information processing apparatus 110 projects the calibration pattern image on the image projecting apparatus 120 and then projects the projection target image desired by the user onto the image projecting apparatus 120. The preparation process will be described.
図４に示す処理は、ステップＳ４００でスクリーン１４０に投影された校正用パターン画像の撮影するユーザ指示を受け付けることにより開始する。ステップＳ４０１では、撮影制御部３０８が撮影装置２０４を制御して、スクリーン１４０に投影された校正用パターン画像を撮影し、撮影画像を生成して記憶部３１７に保存する。 The process shown in FIG. 4 is started by receiving a user instruction to capture the calibration pattern image projected on the screen 140 in step S400. In step S <b> 401, the photographing control unit 308 controls the photographing device 204 to photograph the calibration pattern image projected on the screen 140, generates a photographed image, and saves it in the storage unit 317.
ステップＳ４０２では、対応点抽出部３０９が、図７を参照して説明する対応点抽出処理を実行し、オリジナルの校正用パターン画像内の特徴点と、当該特徴点に対応する撮影画像に含まれる校正用パターン画像内の特徴点とを抽出する。ステップＳ４０３では、補正係数算出部３１４が、これらの特徴点の座標値を使用して補正係数を算出し、記憶部３１７に保存し、ステップＳ４０４で処理が終了する。 In step S402, the corresponding point extraction unit 309 executes a corresponding point extraction process described with reference to FIG. 7, and is included in the feature point in the original calibration pattern image and the captured image corresponding to the feature point. Feature points in the calibration pattern image are extracted. In step S403, the correction coefficient calculation unit 314 calculates a correction coefficient using the coordinate values of these feature points, stores the correction coefficient in the storage unit 317, and the process ends in step S404.
図５は、本発明が採用する補正係数の算出方法を示す概念図である。以下、図５を参照して、投影対象の原画像を補正する補正係数の算出方法について説明する。 FIG. 5 is a conceptual diagram showing a correction coefficient calculation method employed by the present invention. Hereinafter, with reference to FIG. 5, a method for calculating a correction coefficient for correcting an original image to be projected will be described.
図５に示す実施形態では、対応点抽出処理によってオリジナルの校正用パターン画像５００に含まれる特徴点５０１，５０２，５０３，５０４と、撮影画像に含まれる校正用パターン画像５１０に含まれる特徴点５１１，５１２，５１３，５１４とが抽出されている。校正用パターン画像５００の特徴点５０１，５０２，５０３，５０４と、校正用パターン画像５１０の特徴点５１１，５１２，５１３，５１４とがそれぞれ対応する。 In the embodiment shown in FIG. 5, the feature points 501, 502, 503, and 504 included in the original calibration pattern image 500 and the feature points 511 included in the calibration pattern image 510 included in the photographed image are obtained by corresponding point extraction processing. , 512, 513, 514 are extracted. The feature points 501, 502, 503, and 504 of the calibration pattern image 500 correspond to the feature points 511, 512, 513, and 514 of the calibration pattern image 510, respectively.
補正係数算出部３１４は、これらの特徴点、すなわち、対応点で規定される四角形領域５０５，５１５の４頂点を用いて、非特許文献１が開示する射影変換行列Ｈである補正係数を導出する。補正係数算出部３１４は、校正用パターン画像の対応点で規定される総ての四角形領域について補正係数を算出し、記憶部３１７に保存する。 The correction coefficient calculation unit 314 uses these feature points, that is, the four vertices of the rectangular regions 505 and 515 defined by the corresponding points, to derive a correction coefficient that is the projective transformation matrix H disclosed in Non-Patent Document 1. . The correction coefficient calculation unit 314 calculates correction coefficients for all rectangular areas defined by corresponding points of the calibration pattern image, and stores the correction coefficients in the storage unit 317.
図６は、本発明の情報処理装置が実行する処理の別の実施形態と、本発明の画像投影装置が実行する処理の一実施形態とを示すフローチャートである。以下、図６を参照して、ユーザの所望する投影対象の画像を投影する際に、情報処理装置１１０および画像投影装置１２０が実行する処理について説明する。 FIG. 6 is a flowchart showing another embodiment of processing executed by the information processing apparatus of the present invention and one embodiment of processing executed by the image projection apparatus of the present invention. Hereinafter, with reference to FIG. 6, processing executed by the information processing apparatus 110 and the image projection apparatus 120 when projecting an image of a projection target desired by the user will be described.
ステップＳ６００〜ステップＳ６０６に示す処理は、情報処理装置１１０が実行する処理であり、ステップＳ６００で、ユーザが投影対象の画像の投影を指示することにより開始する。ステップＳ６０１では、投影処理部３１６が、記憶部３１７から補正係数を取得する。ステップＳ６０２では、投影処理部３１６は、記憶部３１７に保存されている投影対象の原画像を取得する。 The processing shown in steps S600 to S606 is processing executed by the information processing apparatus 110, and starts when the user instructs to project an image to be projected in step S600. In step S <b> 601, the projection processing unit 316 acquires a correction coefficient from the storage unit 317. In step S <b> 602, the projection processing unit 316 acquires the projection target original image stored in the storage unit 317.
ステップＳ６０３では、投影処理部３１６は画像補正部３１５を呼び出し、画像補正部３１５が、補正係数を用いて投影対象の原画像を補正する。ステップＳ６０４では、投影処理部３１６は、通信部３０７を介して補正画像を画像投影装置１２０に送信する。 In step S603, the projection processing unit 316 calls the image correction unit 315, and the image correction unit 315 corrects the projection target original image using the correction coefficient. In step S <b> 604, the projection processing unit 316 transmits the corrected image to the image projection device 120 via the communication unit 307.
ステップＳ６０５では、投影処理部３１６は、ユーザから投影の停止命令を受け付けたか否か判断する。投影の停止命令を受け付けていない場合には（ｎｏ）、ステップＳ６０２に処理を戻し、次に投影すべき投影対象の画像に対して、上述した処理を実行する。一方、投影の停止命令を受け付けた場合には（ｙｅｓ）、ステップＳ６０６で処理が終了する。 In step S605, the projection processing unit 316 determines whether a projection stop command has been received from the user. If a projection stop command has not been received (no), the process returns to step S602, and the above-described process is performed on the projection target image to be projected next. On the other hand, if a projection stop command is accepted (yes), the process ends in step S606.
ステップＳ６０７〜ステップＳ６０９に示す処理は、画像投影装置１２０が実行する処理であり、ステップＳ６０７で画像投影装置１２０の通信部３００が情報処理装置１１０から補正画像を受信することにより開始する。ステップＳ６０８では、投影制御部３０１が、光源３０３、ＤＭＤ３０４およびカラーホイール３０５を制御して補正画像を投影し、ステップＳ６０９で処理が終了する。画像投影装置１２０は、情報処理装置１１０から補正画像を受信する度、上述した処理を実行する。 The processing shown in steps S607 to S609 is processing executed by the image projection device 120, and starts when the communication unit 300 of the image projection device 120 receives the corrected image from the information processing device 110 in step S607. In step S608, the projection control unit 301 controls the light source 303, DMD 304, and color wheel 305 to project a corrected image, and the process ends in step S609. The image projection device 120 executes the above-described process every time a correction image is received from the information processing device 110.
図７は、図４のＳ４０２に示す対応点抽出処理を示すフローチャートである。図７に示す処理は、ステップＳ７００から開始し、ステップＳ７０１では、二値化部３１０が、記憶部３１７から撮影画像を取得して二値化し、二値化画像を生成する。ステップＳ７０２では、特徴点抽出部３１１が、二値化画像の中から複数の黒画素で形成される連結成分を抽出する。 FIG. 7 is a flowchart showing the corresponding point extraction processing shown in S402 of FIG. The process shown in FIG. 7 starts from step S700. In step S701, the binarization unit 310 acquires a captured image from the storage unit 317, binarizes it, and generates a binarized image. In step S702, the feature point extraction unit 311 extracts a connected component formed by a plurality of black pixels from the binarized image.
ステップＳ７０３では、特徴点抽出部３１１は、黒画素の連結成分の中から校正用パターン画像の特徴点に対応する特徴点を識別して抽出する。ステップＳ７０４では、欠損領域特定部３１２が、ステップＳ７０３で抽出した撮影画像の特徴点と、校正用パターン画像の特徴点とを照合し、特徴点の欠損領域を特定する。 In step S703, the feature point extraction unit 311 identifies and extracts feature points corresponding to the feature points of the calibration pattern image from among the connected components of black pixels. In step S704, the missing area specifying unit 312 matches the feature point of the captured image extracted in step S703 with the feature point of the calibration pattern image, and specifies the missing area of the feature point.
ステップＳ７０５では、二値化部３１０が、撮影画像の欠損領域のみを二値化して二値化画像を生成する。この二値化処理では、ステップＳ７０２で使用した二値化方法とは別の二値化方法を採用することが好適である。本実施形態では、大津の二値化（判別分析法）を使用する。 In step S705, the binarization unit 310 binarizes only the missing area of the captured image to generate a binarized image. In this binarization process, it is preferable to employ a binarization method different from the binarization method used in step S702. In this embodiment, Otsu's binarization (discriminant analysis method) is used.
ステップＳ７０６では、特徴点抽出部３１１が、ステップＳ７０５で生成した二値化画像の中から黒画素の連結成分を抽出する。ステップＳ７０７では、特徴点抽出部３１１は、ステップＳ７０６で抽出した黒画素の連結成分の中から校正用パターン画像の特徴点に対応する特徴点を抽出する。 In step S706, the feature point extraction unit 311 extracts a black pixel connected component from the binarized image generated in step S705. In step S707, the feature point extraction unit 311 extracts a feature point corresponding to the feature point of the calibration pattern image from the black pixel connected components extracted in step S706.
ステップＳ７０８では、対応点抽出部３０９が、ステップＳ７０４で特定した総ての欠損領域について、ステップＳ７０５〜ステップＳ７０７の処理を実行したか否か判断する。総ての欠損領域について当該処理を実行していない場合には（ｎｏ）、ステップＳ７０５に処理が戻り、別の欠損領域について当該処理を実行する。一方、総ての欠損領域について当該処理を実行した場合には（ｙｅｓ）、ステップＳ７０９に処理が分岐する。 In step S708, the corresponding point extraction unit 309 determines whether or not the processing in steps S705 to S707 has been executed for all the missing regions identified in step S704. If the process has not been executed for all the missing areas (no), the process returns to step S705, and the process is executed for another missing area. On the other hand, if the process has been executed for all missing regions (yes), the process branches to step S709.
ステップＳ７０９では、対応点抽出部３０９は、撮影画像から校正用パターン画像の特徴点に対応する総ての特徴点を抽出できたか否か判断する。総ての特徴点を抽出できた場合には（ｙｅｓ）、ステップＳ７１１で処理が終了する。一方、総ての特徴点を抽出できていない場合には（ｎｏ）、ステップＳ７１０に処理が分岐する。ステップＳ７１０では、特徴点補間部３１３が、特徴点補間処理を実行して、未抽出の特徴点を近傍の特徴点から補間し、ステップＳ７１１で処理が終了する。 In step S709, the corresponding point extraction unit 309 determines whether all feature points corresponding to the feature points of the calibration pattern image have been extracted from the captured image. If all feature points have been extracted (yes), the process ends in step S711. On the other hand, if all the feature points have not been extracted (no), the process branches to step S710. In step S710, the feature point interpolation unit 313 executes feature point interpolation processing to interpolate unextracted feature points from nearby feature points, and the processing ends in step S711.
図８は、本発明が採用する欠損領域から特徴点を抽出する方法を示す概念図である。図８に示す実施形態では、撮影画像８００には、特徴点である９つの円パターンが含まれている。撮影画像８００の円パターン８０２の近傍領域は、外光が照射されており、当該領域のコントラストが低下している。 FIG. 8 is a conceptual diagram showing a method for extracting feature points from a defect region adopted by the present invention. In the embodiment shown in FIG. 8, the captured image 800 includes nine circle patterns that are feature points. The area near the circular pattern 802 of the captured image 800 is irradiated with external light, and the contrast of the area is reduced.
まず、対応点抽出部３０９は、撮影画像８００全体を二値化して撮影画像全体の二値化画像８１０を生成し、二値化画像８１０から特徴点を抽出する。二値化画像８１０には、特徴点である円パターン８０２を抽出できない欠損領域が存在するため、対応点抽出部３０９は、当該欠損領域を再び二値化する。この二値化処理により、欠損領域の二値化画像８２０のように円パターン８０２が現れた場合、対応点抽出部３０９は、当該円パターン８０２を特徴点として抽出し、当該特徴点の位置を特定する。 First, the corresponding point extraction unit 309 binarizes the entire captured image 800 to generate a binarized image 810 of the entire captured image, and extracts feature points from the binarized image 810. Since the binarized image 810 includes a missing area where the circular pattern 802 that is a feature point cannot be extracted, the corresponding point extraction unit 309 binarizes the missing area again. When a circular pattern 802 appears like a binarized image 820 of a missing region by this binarization processing, the corresponding point extraction unit 309 extracts the circular pattern 802 as a feature point, and determines the position of the feature point. Identify.
上述した実施形態では、欠損領域に対して大津の二値化等の二値化処理を施して特徴点を抽出するが、別の実施形態では、欠損領域に二値化処理を施す代わりに、撮影画像の欠損領域のコントラストを強調して特徴点を抽出してもよい。さらに他の実施形態では、撮影画像の欠損領域のコントラストを強調した後、当該欠損領域に二値化処理を施して特徴点を抽出してもよい。 In the embodiment described above, a feature point is extracted by performing binarization processing such as binarization of Otsu on the missing region, but in another embodiment, instead of performing binarization processing on the missing region, The feature points may be extracted by enhancing the contrast of the defective area of the captured image. In still another embodiment, after enhancing the contrast of the defective area of the captured image, the characteristic points may be extracted by performing binarization processing on the defective area.
具体的には、対応点抽出部３０９は、撮影画像の欠損領域に対してγ補正を施し、図９に示すように、欠損部分の明度分散を増大させる。これにより、外光の照射によってコントラストが低下した場合でも、明度の近似する各画素の明度をγ補正によって分散させ、欠損領域内の特徴点を有意に抽出することができる。 Specifically, the corresponding point extraction unit 309 performs γ correction on the missing region of the photographed image, and increases the brightness variance of the missing portion as shown in FIG. As a result, even when the contrast is reduced due to external light irradiation, the lightness of each pixel whose lightness approximates can be dispersed by γ correction, and the feature points in the defect region can be extracted significantly.
図１０は、図７のＳ７１０に示す特徴点補間処理を示すフローチャートである。以下、図１０を参照して、欠損した特徴点を近傍の特徴点を用いて補間する処理について説明する。 FIG. 10 is a flowchart showing the feature point interpolation processing shown in S710 of FIG. Hereinafter, with reference to FIG. 10, a process of interpolating a missing feature point using a nearby feature point will be described.
図１０の処理は、ステップＳ１０００から開始し、ステップＳ１００１で特徴点補間部３１３が、記憶部３１７の座標データバッファおよびステータスバッファに保存されている特徴点の座標およびステータス値を初期化する。 The processing in FIG. 10 starts from step S1000, and in step S1001, the feature point interpolation unit 313 initializes the coordinates and status values of the feature points stored in the coordinate data buffer and the status buffer of the storage unit 317.
具体的には、特徴点補間部３１３は、数式１に示すように、図７のステップＳ７０９の処理で抽出できていないと判断した特徴点、すなわち、未抽出の特徴点の座標およびステータス値と、その他の抽出済の特徴点の座標およびステータス値を初期化する。 Specifically, as shown in Equation 1, the feature point interpolation unit 313 determines the feature points that have not been extracted in the process of step S709 in FIG. 7, that is, the coordinates and status values of unextracted feature points. Initialize the coordinates and status values of other extracted feature points.
本実施形態のステータス値は、図１１に示す値を取り得る。ステータス値「０」は、特徴点が補間されておらず未確定であることを示す。ステータス値「１」は、初期状態から特徴点が存在し確定していることを示す。ステータス値「２」は、特徴点が補間されたことを示す。 The status value of this embodiment can take the value shown in FIG. The status value “0” indicates that the feature point has not been interpolated and has not yet been determined. The status value “1” indicates that the feature point exists and is determined from the initial state. The status value “2” indicates that the feature point has been interpolated.
ステップＳ１００２では、特徴点補間部３１３は、ステータスバッファを参照し、未確定の特徴点（すなわち、Ｓ［ｉ，ｊ］＝０である特徴点）を抽出する。ステップＳ１００３では、特徴点補間部３１３が、ステップＳ１００２で抽出した未確定の特徴点の座標を算出する。 In step S1002, the feature point interpolation unit 313 refers to the status buffer and extracts an undefined feature point (that is, a feature point with S [i, j] = 0). In step S1003, the feature point interpolation unit 313 calculates the coordinates of the undetermined feature points extracted in step S1002.
本実施形態では、図１２に示すように、補間対象である１の特徴点（Ｐ０）について、当該特徴点の近傍の８つの特徴点（Ｐ１〜Ｐ８）をグループ化し、各グループの外挿補間座標を算出する。そして、当該外挿補間の有意性を考慮し、外挿補間座標から補間対象の特徴点（Ｐ０）の座標値を導出することにより、未確定の特徴点を補間する。 In the present embodiment, as shown in FIG. 12, for one feature point (P0) to be interpolated, eight feature points (P1 to P8) in the vicinity of the feature point are grouped, and extrapolation of each group is performed. Calculate the coordinates. Then, in consideration of the significance of the extrapolation interpolation, the coordinate value of the feature point (P0) to be interpolated is derived from the extrapolation interpolation coordinates, thereby interpolating the undecided feature points.
より詳細には、特徴点補間部３１３は、数式２に示すように、特徴点Ｐ１、Ｐ２およびＰ４で構成されるグループａの外挿補間座標（ｘａ，ｙａ）と、特徴点Ｐ２、Ｐ３およびＰ５で構成されるグループｂの外挿補間座標（ｘｂ，ｙｂ）と、特徴点Ｐ４、Ｐ６およびＰ７で構成されるグループｃの外挿補間座標（ｘｃ，ｙｃ）と、特徴点Ｐ５、Ｐ７およびＰ８で構成されるグループｄの外挿補間座標（ｘｄ，ｙｄ）と、外挿補間の有意性を示す情報であるフラグＦａ，Ｆｂ，Ｆｃ，Ｆｄとを算出する。 More specifically, the feature point interpolation unit 313, as shown in Formula 2, the extrapolation coordinates (xa, ya) of the group a composed of the feature points P1, P2, and P4, the feature points P2, P3, and The extrapolation interpolation coordinates (xb, yb) of the group b composed of P5, the extrapolation interpolation coordinates (xc, yc) of the group c composed of the feature points P4, P6 and P7, and the feature points P5, P7 and Extrapolated interpolation coordinates (xd, yd) of group d configured by P8 and flags Fa, Fb, Fc, Fd, which are information indicating the significance of extrapolation, are calculated.
そして、特徴点補間部３１３は、数式３を用いて、補間対象の特徴点（Ｐ０）の補間座標を導出することができる。 Then, the feature point interpolation unit 313 can derive the interpolation coordinates of the feature point (P0) to be interpolated using Equation 3.
次に、ステップＳ１００４では、特徴点補間部３１３は、直前のステップＳ１００３で補間した特徴点のステータス値を、特徴点が補間されたことを示す値に変更する（Ｓ［ｉ，ｊ］＝２）。 Next, in step S1004, the feature point interpolation unit 313 changes the status value of the feature point interpolated in the immediately preceding step S1003 to a value indicating that the feature point has been interpolated (S [i, j] = 2). ).
ステップＳ１００５では、特徴点補間部３１３が、ステータスバッファに保存された特徴点のステータス値を参照し、未確定の特徴点が存在するか否か判断する。未確定の特徴点が存在する場合には（ｙｅｓ）、処理をステップＳ１００２に戻し、未確定の特徴点が存在しなくなるまで、ステップＳ１００２〜ステップＳ１００５の処理を反復して実行する。 In step S1005, the feature point interpolation unit 313 refers to the status value of the feature point stored in the status buffer and determines whether there is an undecided feature point. If there is an undetermined feature point (yes), the process returns to step S1002, and the processes of step S1002 to step S1005 are repeated until no undetermined feature point exists.
一方、未確定の特徴点が存在しない場合には（ｎｏ）、ステップＳ１００６に処理が分岐して終了する。 On the other hand, if there is no undecided feature point (no), the process branches to step S1006 and ends.
図１３は、本発明の画像投影システムの別の実施形態を示す図である。以下、図１に示す実施形態との相違点を中心に説明する。 FIG. 13 is a diagram showing another embodiment of the image projection system of the present invention. Hereinafter, the description will focus on the differences from the embodiment shown in FIG.
画像投影システム１３００は、画像投影装置１３１０と、スクリーン１４０とを含んで構成される。画像投影装置１３１０は撮影装置を備えており、情報処理装置１１０と同様に、スクリーン１４０に投影した校正用パターン画像を撮影し、対応点抽出処理を実行して補正係数を算出する。そして、画像投影装置１３１０は、当該補正係数を用いて投影対象の原画像を補正し、補正画像を投影する。画像投影装置１３１０は、外部装置（図示せず）が提供する画像や画像投影装置１３１０に接続された外部記憶装置に保存されている画像を投影する。 The image projection system 1300 includes an image projection device 1310 and a screen 140. Similar to the information processing apparatus 110, the image projection apparatus 1310 captures a calibration pattern image projected on the screen 140, executes corresponding point extraction processing, and calculates a correction coefficient. Then, the image projector 1310 corrects the original image to be projected using the correction coefficient, and projects the corrected image. The image projection device 1310 projects an image provided by an external device (not shown) or an image stored in an external storage device connected to the image projection device 1310.
図１４は、画像投影装置１３１０のハードウェア構成および機能構成を示す図である。以下、図１４を参照して、画像投影装置１３１０のハードウェア構成および機能構成について、画像投影装置１２０との相違点を中心に説明する。 FIG. 14 is a diagram illustrating a hardware configuration and a functional configuration of the image projection apparatus 1310. Hereinafter, with reference to FIG. 14, the hardware configuration and functional configuration of the image projection device 1310 will be described focusing on differences from the image projection device 120.
画像投影装置１３１０は、画像投影装置１２０と同様に、投影制御部３０１と、光源３０３と、ＤＭＤ３０４と、カラーホイール３０５と、投影用レンズ３０６とを備えている。 Similar to the image projection apparatus 120, the image projection apparatus 1310 includes a projection control unit 301, a light source 303, a DMD 304, a color wheel 305, and a projection lens 306.
また、画像投影装置１３１０は、画像投影装置１２０と同様に、撮影制御部３０８と、対応点抽出部３０９と、二値化部３１０と、特徴点抽出部３１１と、欠損領域特定部３１２と、特徴点補間部３１３と、補正係数算出部３１４と、画像補正部３１５と、投影処理部３１６と、記憶部３１７とを備えている。本実施形態では、記憶部３１７には、図３に示す記憶部３１７に保存されるデータに加え、記憶部３０２に保存されるデータが保存される。 Similarly to the image projecting device 120, the image projecting device 1310 includes an imaging control unit 308, a corresponding point extracting unit 309, a binarizing unit 310, a feature point extracting unit 311, a missing region specifying unit 312, A feature point interpolation unit 313, a correction coefficient calculation unit 314, an image correction unit 315, a projection processing unit 316, and a storage unit 317 are provided. In the present embodiment, the storage unit 317 stores data stored in the storage unit 302 in addition to data stored in the storage unit 317 illustrated in FIG.
さらに、画像投影装置１３１０は、撮影装置１４００と、３次元形状計測部１４０１とを備えている。本実施形態では、上述した機能部をＡＳＩＣ等の半導体装置として画像投影装置１３１０に実装することができる。 Further, the image projection device 1310 includes an imaging device 1400 and a three-dimensional shape measurement unit 1401. In the present embodiment, the functional unit described above can be mounted on the image projection device 1310 as a semiconductor device such as an ASIC.
撮影装置１４００は、ＣＣＤやＣＭＯＳ等の撮影素子を含んで構成される撮影装置である。撮影装置１４００は、撮影制御部３０８の制御下で、校正用パターン画像が投影されたスクリーン１４０を撮影し、撮影画像を生成する。 The imaging device 1400 is an imaging device that includes an imaging element such as a CCD or a CMOS. The photographing apparatus 1400 shoots the screen 140 on which the calibration pattern image is projected, under the control of the photographing control unit 308, and generates a photographed image.
３次元形状計測部１４０１は、非特許文献１に示すように、対応点抽出処理で抽出した対応点を用いて３次元座標Ｍを導出する。そして、３次元形状計測部１４０１は、図１５に示すように、撮影装置１４００を仮想位置に移動したときの透視投影行列Ｐを用いて、各３次元点を仮想的な撮影画像上の点に変換する。図１５に示す実施形態では、ユーザは、ＤＭＤ３０４および撮影装置１４００の中間点１５００とスクリーン１４０とを結ぶ線の延長線上に居るものとする。 As shown in Non-Patent Document 1, the three-dimensional shape measurement unit 1401 derives a three-dimensional coordinate M using the corresponding points extracted by the corresponding point extraction process. Then, as shown in FIG. 15, the three-dimensional shape measuring unit 1401 uses each perspective projection matrix P when the photographing apparatus 1400 is moved to the virtual position as a point on the virtual photographed image. Convert. In the embodiment shown in FIG. 15, it is assumed that the user is on an extension line of the line connecting the screen 140 with the intermediate point 1500 of the DMD 304 and the imaging apparatus 1400.
そして、補正係数算出部３１４は、図５を参照して説明したように、仮想的な撮影画像上の特徴点と、オリジナルの校正用パターン画像の特徴点とで規定される四角形領域の４頂点を用いて、射影変換行列Ｈである補正係数を導出する。そして、画像補正部３１５が、投影処理部３１６の制御下で、非特許文献１（４節）に記載の手法などで投影可能領域を求めた上で当該補正係数を使用して投影対象の原画像を補正する。 Then, as described with reference to FIG. 5, the correction coefficient calculation unit 314 performs the four vertices of the quadrangular area defined by the feature points on the virtual captured image and the feature points of the original calibration pattern image. Is used to derive a correction coefficient which is a projective transformation matrix H. Then, the image correction unit 315 obtains a projectable area by the method described in Non-Patent Document 1 (Section 4) under the control of the projection processing unit 316, and uses the correction coefficient to project the original of the projection target. Correct the image.
より詳細には、図１６に示すように、補正画像上の点（Ａ）の画素値を導出する場合、点（Ａ）における射影変換行列Ｈ（すなわち、（ｘ’ｐ，ｙ’ｐ）を（ｘ０，ｙ０）に写像する変換式）を用いて、点（Ａ）ｃの位置を算出する。そして、撮影画像内の投影領域（原点（ｘ０，ｙ０，））における点（Ａ）ｃの位置を算出する。そして、原画像の幅（Ｗｐ）と投影画像の幅（Ｗｃ）の比率による比例計算を用いて、原画像における当該相対位置を算出することにより、点（Ａ）に対応する原画像上の点（Ａ）ｐ（ｘｐ，ｙｐ）を算出することができる。ここで、原画像と投影画像のアスペクト比は同じであるため、点（Ａ）ｐと点（Ａ）ｃの各領域における相対位置も同じである。 More specifically, as shown in FIG. 16, when the pixel value of the point (A) on the corrected image is derived, the projective transformation matrix H (that is, (x ′ p , y ′ p ) at the point (A) is calculated. The position of the point (A) c is calculated using (a conversion formula that maps to x 0 , y 0 ). Then, the position of the point (A) c in the projection area (the origin (x 0 , y 0 )) in the captured image is calculated. Then, by calculating the relative position in the original image using proportional calculation based on the ratio of the width (W p ) of the original image and the width (W c ) of the projected image, the original image corresponding to the point (A) The point (A) p (x p , y p ) can be calculated. Here, since the aspect ratios of the original image and the projected image are the same, the relative positions in the respective areas of the points (A) p and (A) c are also the same.
そして、投影制御部３０１が、補正画像をスクリーン１４０に投影する。これにより、ユーザが撮影装置１４００と異なる位置に居る場合でも、ユーザの位置に応じた歪み補正を行うことができ、投影対象の画像の歪み補正の精度を向上させることができる。 Then, the projection control unit 301 projects the corrected image on the screen 140. As a result, even when the user is at a position different from that of the image capturing apparatus 1400, it is possible to perform distortion correction according to the user's position, and to improve the accuracy of distortion correction of the image to be projected.
図１７は、上述した特徴点抽出部の別の機能構成を示す図である。以下、図１７を参照して、特徴点抽出部１７００の機能構成について説明する。 FIG. 17 is a diagram illustrating another functional configuration of the above-described feature point extraction unit. Hereinafter, the functional configuration of the feature point extraction unit 1700 will be described with reference to FIG.
特徴点抽出部１７００は、特徴点候補抽出部１７０１と、近似形状算出部１７０２と、特徴点近似形状判断部１７０７と、特徴点位置算出部１７０８とを有する。 The feature point extraction unit 1700 includes a feature point candidate extraction unit 1701, an approximate shape calculation unit 1702, a feature point approximate shape determination unit 1707, and a feature point position calculation unit 1708.
特徴点候補抽出部１７０１は、二値化された撮影画像から特徴点の候補となる画素（以下、「特徴点候補」とする。）を抽出する手段である。本実施形態では、特徴点候補抽出部１７０１は、黒画素の連結成分を特徴点候補として抽出する。 The feature point candidate extraction unit 1701 is a means for extracting pixels that become feature point candidates (hereinafter referred to as “feature point candidates”) from the binarized captured image. In this embodiment, the feature point candidate extraction unit 1701 extracts the connected components of black pixels as feature point candidates.
近似形状算出部１７０２は、撮影画像に含まれるノイズや欠けの無い校正用パターンに近似する形状（以下、「特徴点近似形状」とする。）を算出する手段である。近似形状算出部１７０２は、輪郭画素抽出部１７０３と、近似形状式算出部１７０４と、距離算出部１７０５と、輪郭画素削除部１７０６とを有する。 The approximate shape calculation unit 1702 is a means for calculating a shape (hereinafter referred to as “feature point approximate shape”) that approximates a calibration pattern that is free of noise and chipping included in the captured image. The approximate shape calculation unit 1702 includes a contour pixel extraction unit 1703, an approximate shape formula calculation unit 1704, a distance calculation unit 1705, and a contour pixel deletion unit 1706.
輪郭画素抽出部１７０３は、撮影画像内の特徴点の輪郭を形成する輪郭画素を特徴点候補から抽出する手段である。本実施形態では、輪郭画素抽出部１７０３は、輪郭画素として、黒画素の連結成分のうち白画素に隣接する画素を抽出する。 The contour pixel extraction unit 1703 is means for extracting contour pixels that form the contour of the feature point in the captured image from the feature point candidates. In the present embodiment, the contour pixel extraction unit 1703 extracts a pixel adjacent to the white pixel from the connected components of black pixels as the contour pixel.
近似形状式算出部１７０４は、特徴点近似形状を規定する数式である近似形状式を算出する手段である。近似形状式算出部１７０４は、輪郭画素抽出部１７０３が抽出した輪郭画素の座標値を用いて、近似形状規定式を算出する。より詳細には、特徴点近似形状が楕円である場合、近似形状式算出部１７０４は、数式４に示す楕円方法式を使用する。 The approximate shape formula calculation unit 1704 is a means for calculating an approximate shape formula that is a formula that defines the approximate shape of a feature point. The approximate shape formula calculation unit 1704 calculates an approximate shape defining formula using the coordinate values of the contour pixels extracted by the contour pixel extraction unit 1703. More specifically, when the feature point approximate shape is an ellipse, the approximate shape formula calculation unit 1704 uses the ellipse method formula shown in Formula 4.
他の実施形態では、近似形状式算出部１７０４は、数式６に示す楕円方程式を使用してもよい。この場合、数式６の楕円方程式を数式４のようにｘ，ｙについて整理し、整理された方程式の係数に、数式５で算出した係数を代入することにより、定数Ａ，Ｂ，ｘ0，ｙ0，θを求めることができる。 In another embodiment, the approximate shape formula calculation unit 1704 may use the elliptic equation shown in Formula 6. In this case, the elliptic equation of Equation 6 is arranged with respect to x and y as shown in Equation 4, and the constants A, B, x 0 , y are substituted by substituting the coefficients calculated in Equation 5 for the coefficients of the arranged equations. 0 and θ can be obtained.
距離算出部１７０５は、各輪郭画素と、当該輪郭画素に対応する特徴点近似形状の点との距離を算出する手段である。特徴点近似形状が楕円である場合、距離算出部１７０５は、数式７を用いて、当該距離を算出することができる。 The distance calculation unit 1705 is a means for calculating the distance between each contour pixel and a feature point approximate shape corresponding to the contour pixel. When the feature point approximate shape is an ellipse, the distance calculation unit 1705 can calculate the distance using Expression 7.
輪郭画素削除部１７０６は、近似形状規定式の算出に不要な輪郭画素を削除する手段である。輪郭画素削除部１７０６は、特徴点近似形状の輪郭部から離れた輪郭画素、すなわち、距離算出部１７０５の算出した距離が所定の閾値以上となる輪郭画素を削除する。 The contour pixel deletion unit 1706 is means for deleting a contour pixel unnecessary for calculating the approximate shape defining formula. The contour pixel deletion unit 1706 deletes a contour pixel that is away from the contour portion of the feature point approximate shape, that is, a contour pixel in which the distance calculated by the distance calculation unit 1705 is equal to or greater than a predetermined threshold.
特徴点近似形状判断部１７０７は、近似形状式算出部１７０４が算出した近似形状式によって規定される特徴点近似形状が、撮影画像内の欠けやノイズの無い状態の校正用パターンの形状に近似するか否か判断する手段である。 The feature point approximate shape determination unit 1707 approximates the feature point approximate shape defined by the approximate shape formula calculated by the approximate shape formula calculation unit 1704 to the shape of the calibration pattern in the captured image without any chipping or noise. It is means for determining whether or not.
特徴点位置算出部１７０８は、撮影画像内の特徴点の位置を算出する手段である。特徴点位置算出部１７０８は、特徴点近似形状の中心の座標値を特徴点の位置として算出する。 The feature point position calculation unit 1708 is a means for calculating the position of the feature point in the captured image. The feature point position calculation unit 1708 calculates the coordinate value of the center of the feature point approximate shape as the position of the feature point.
図１８は、図１７に示す特徴点抽出部１７００が実行する処理の一実施形態を示す図である。以下、図１８および図１９を参照して、図７に示すステップＳ７０３の処理の代わりに特徴点抽出部１７００が実行する処理について説明する。 FIG. 18 is a diagram illustrating an embodiment of processing executed by the feature point extraction unit 1700 illustrated in FIG. Hereinafter, with reference to FIGS. 18 and 19, a process executed by the feature point extraction unit 1700 instead of the process of step S703 illustrated in FIG. 7 will be described.
図１８に示す処理は、ステップＳ１８００から開始し、ステップＳ１８０１で近似形状算出部１７０２の輪郭画素抽出部１７０３が、ステップＳ７０２で特徴点候補抽出部１７０１が抽出した特徴点候補である黒画素の連結成分から１の連結成分を選択し、図１９に示すように、当該連結成分から輪郭画素を抽出する。 The processing shown in FIG. 18 starts from step S1800. In step S1801, the outline pixel extraction unit 1703 of the approximate shape calculation unit 1702 extracts the feature pixel candidates that are extracted by the feature point candidate extraction unit 1701 in step S702. One connected component is selected from the components, and contour pixels are extracted from the connected component as shown in FIG.
ステップＳ１８０２では、近似形状式算出部１７０４が、輪郭画素の座標値を用いて近似形状規定式を算出する。本実施形態では、近似形状式として、楕円を規定する楕円方程式を算出する。ステップＳ１８０３では、距離算出部１７０５が、各輪郭画素と当該輪郭画素に対応する楕円の円周上の点との距離を算出する。 In step S1802, the approximate shape formula calculation unit 1704 calculates an approximate shape defining formula using the coordinate values of the contour pixels. In this embodiment, an elliptic equation that defines an ellipse is calculated as the approximate shape formula. In step S1803, the distance calculation unit 1705 calculates the distance between each contour pixel and a point on the circumference of the ellipse corresponding to the contour pixel.
ステップＳ１８０４では、特徴点近似形状判断部１７０７が、ステップＳ１８０３で算出した距離の最大値が、所定の閾値以上であるか否か判断する。本実施形態では、輪郭座標が近似形状の円周上の点とは認められない距離を所定の閾値とするのが好適である。 In step S1804, the feature point approximate shape determination unit 1707 determines whether or not the maximum distance calculated in step S1803 is equal to or greater than a predetermined threshold. In the present embodiment, it is preferable to set a distance at which the contour coordinates are not recognized as a point on the circumference of the approximate shape as a predetermined threshold value.
距離の最大値が閾値以上である場合（ｙｅｓ）、ステップＳ１８０５に処理が分岐する。ステップＳ１８０５では、輪郭画素削除部１７０６が、当該距離が最大値となる輪郭画素を削除する。 If the maximum value of the distance is greater than or equal to the threshold (yes), the process branches to step S1805. In step S1805, the contour pixel deletion unit 1706 deletes the contour pixel having the maximum distance.
ステップＳ１８０６では、特徴点近似形状判断部１７０７が、輪郭画素が所定数以上残っているか否か判断する。楕円方程式を算出する実施形態では、楕円方程式の係数を算出可能な５以上の整数を所定数とすることが好適である。 In step S1806, the feature point approximate shape determination unit 1707 determines whether or not a predetermined number or more of contour pixels remain. In the embodiment for calculating the elliptic equation, it is preferable that the predetermined number is an integer of 5 or more that can calculate the coefficient of the elliptic equation.
輪郭画素が所定数以上残っている場合は（ｙｅｓ）、ステップＳ１８０２に処理を戻し、残りの輪郭画素を用いてステップＳ１８０２〜１８０４の処理を実行する。これにより、図１９に示すように、真正の輪郭画素を用いて近似形状式を算出することができ、特徴点近似形状を校正用パターンの形状に近似させることができる。 If a predetermined number or more of the contour pixels remain (yes), the process returns to step S1802, and the processes of steps S1802 to 1804 are executed using the remaining contour pixels. As a result, as shown in FIG. 19, an approximate shape equation can be calculated using genuine contour pixels, and the feature point approximate shape can be approximated to the shape of the calibration pattern.
一方、輪郭画素が所定数以上残っていない場合は（ｎｏ）、ステップＳ１８０７に処理が分岐する。ステップＳ１８０７では、特徴点近似形状判断部１７０７が、当該輪郭画素を含む特徴点候補がノイズと判断し、ステップＳ１８１１に処理が移行する。 On the other hand, when the predetermined number or more of the contour pixels does not remain (no), the process branches to step S1807. In step S1807, the feature point approximate shape determination unit 1707 determines that the feature point candidate including the contour pixel is noise, and the process proceeds to step S1811.
ステップＳ１８０４で距離の最大値が閾値よりも小さいと判断した場合（ｎｏ）、ステップＳ１８０８に処理が分岐する。ステップＳ１８０８では、特徴点位置算出部１７０８が、特徴点近似形状である楕円の２つの軸の長さを算出する。ステップＳ１８０９では、特徴点位置算出部１７０８は、ステップＳ１８０２で算出した楕円方程式で規定される楕円の軸長を用いて、特徴点近似形状が、ノイズや欠損の無い校正用パターンに近似するか否か判断する。 If it is determined in step S1804 that the maximum distance is smaller than the threshold (no), the process branches to step S1808. In step S1808, the feature point position calculation unit 1708 calculates the lengths of the two axes of the ellipse that is the feature point approximate shape. In step S1809, the feature point position calculation unit 1708 uses the ellipse axis length defined by the elliptic equation calculated in step S1802 to determine whether the feature point approximate shape approximates a calibration pattern without noise or defects. Judge.
投影対象として円形状の校正用パターンを使用する実施形態では、例えば、長軸が短軸に対して極端に長い場合、当該長軸および短軸によって形成される楕円は、極端に扁平な形状となるため、校正用パターンに近似しないと判断する。 In an embodiment using a circular calibration pattern as a projection target, for example, when the long axis is extremely long with respect to the short axis, the ellipse formed by the long axis and the short axis has an extremely flat shape. Therefore, it is determined not to approximate the calibration pattern.
また、長軸および短軸の長さが、予測される撮影画像内の校正用パターンの大きさに比べて極端に大きい場合は、当該長軸および短軸によって形成される楕円のサイズが極端に大きいため、校正用パターンに近似しないと判断する。 In addition, when the lengths of the major axis and the minor axis are extremely large compared to the predicted size of the calibration pattern in the captured image, the size of the ellipse formed by the major axis and the minor axis is extremely large. Since it is large, it is determined not to approximate the calibration pattern.
さらに、長軸および短軸の長さが、予測される撮影画像内の校正用パターンの大きさに比べて極端に小さい場合は、当該長軸および短軸によって形成される楕円のサイズが極端に小さいため、校正用パターンに近似しないと判断する。 Furthermore, when the lengths of the long axis and the short axis are extremely small compared to the predicted size of the calibration pattern in the captured image, the size of the ellipse formed by the long axis and the short axis is extremely large. Since it is small, it is determined not to approximate the calibration pattern.
特徴点近似形状が校正用パターンに近似しない場合（ｎｏ）、ステップＳ１８０７に処理が分岐する。一方、特徴点近似形状が校正用パターンに近似する場合（ｙｅｓ）、ステップＳ１８１０に処理が分岐する。ステップＳ１８１０では、特徴点位置算出部１７０８が、特徴点近似形状である楕円の中心の座標値を算出する。 If the feature point approximate shape does not approximate the calibration pattern (no), the process branches to step S1807. On the other hand, if the feature point approximate shape approximates the calibration pattern (yes), the process branches to step S1810. In step S1810, the feature point position calculation unit 1708 calculates the coordinate value of the center of the ellipse that is the feature point approximate shape.
ステップＳ１８１１では、特徴点位置算出部１７０８は、総ての特徴点候補について、ステップＳ１８０１〜ステップＳ１８１０の処理を実行したか否か判断する。総ての特徴点候補について当該処理を実行していない場合は（ｎｏ）、ステップＳ１８０１に処理を戻す。一方、総ての特徴点候補について当該処理を実行した場合は（ｙｅｓ）、ステップＳ１８１２に処理が分岐する。 In step S1811, the feature point position calculation unit 1708 determines whether the processing in steps S1801 to S1810 has been executed for all feature point candidates. If the process has not been executed for all feature point candidates (no), the process returns to step S1801. On the other hand, when the process has been executed for all feature point candidates (yes), the process branches to step S1812.
ステップＳ１８１２では、特徴点位置算出部１７０８は、ステップＳ１８１０で算出した楕円中心の座標値を特徴点の位置として決定し、ステップＳ１８１３で処理が終了する。次いで、図７に示すステップＳ７０４の処理が実行される。本実施形態では、ステップＳ７０４の処理で、欠損領域特定部３１２が、当該特徴点の位置と、校正用パターン画像の特徴点の位置とを照合し、特徴点の欠損領域を特定する。 In step S1812, the feature point position calculation unit 1708 determines the coordinate value of the ellipse center calculated in step S1810 as the position of the feature point, and the process ends in step S1813. Next, the process of step S704 shown in FIG. 7 is executed. In the present embodiment, in the process of step S704, the missing area specifying unit 312 compares the position of the feature point with the position of the feature point of the calibration pattern image, and specifies the missing area of the feature point.
図２１は、円形状の校正用パターンを含む校正用パターン画像を投影して得られた撮影画像に含まれる特徴点の一実施形態を示す図である。図２１には、投影対象の校正用パターン画像に含まれる校正用パターン２１００と、当該校正用パターンをスクリーンに投影して得られた撮影画像に含まれる特徴点２１１０，２１２０，２１３０とが示される。 FIG. 21 is a diagram illustrating an embodiment of feature points included in a captured image obtained by projecting a calibration pattern image including a circular calibration pattern. FIG. 21 shows a calibration pattern 2100 included in a calibration pattern image to be projected, and feature points 2110, 2120, 2130 included in a captured image obtained by projecting the calibration pattern onto a screen. .
特徴点２１１０は、スクリーンの歪みによって円形状の校正用パターンが楕円状に歪んだ特徴点である。特徴点２１２０は、特徴点２１１０の一部が欠損した状態の特徴点である。特徴点２１３０は、特徴点２１１０に対してノイズが付加した状態の特徴点である。これらの特徴点の特徴点近似形状は、特徴点２１１０と同一形状の楕円である。 The feature point 2110 is a feature point in which a circular calibration pattern is distorted into an ellipse due to screen distortion. The feature point 2120 is a feature point in a state where a part of the feature point 2110 is missing. The feature point 2130 is a feature point in a state where noise is added to the feature point 2110. The feature point approximate shape of these feature points is an ellipse having the same shape as the feature point 2110.
楕円状に歪んだ特徴点２１１０では、当該特徴点の重心と、長軸および短軸の交点とが、校正用パターンの中心点と一致する。一方、一部が欠損した特徴点２１２０やノイズが付加した特徴点２１３０では、当該特徴点の重心が長軸および短軸の交点からずれる。このため、特徴点の位置として特徴点の重心を採用する方法では、特徴点の位置の検出精度が低くなる。 In the feature point 2110 distorted in an elliptical shape, the center of gravity of the feature point and the intersection of the major axis and the minor axis coincide with the center point of the calibration pattern. On the other hand, in the feature point 2120 that is partially missing or the feature point 2130 that is added with noise, the center of gravity of the feature point is deviated from the intersection of the major axis and the minor axis. For this reason, in the method of using the centroid of the feature point as the position of the feature point, the detection accuracy of the position of the feature point is lowered.
図１７〜図２０を参照して説明した実施形態では、特徴点２１１０と同一形状の特徴点近似形状を算出し、当該特徴点近似形状の中心位置を特徴点の位置とするため、特徴点の一部が欠損した場合や特徴点にノイズが付加した場合でも、特徴点の位置の検出精度を高く維持することができる。 In the embodiment described with reference to FIGS. 17 to 20, a feature point approximate shape having the same shape as the feature point 2110 is calculated, and the center position of the feature point approximate shape is set as the feature point position. Even when a part is missing or noise is added to a feature point, the detection accuracy of the position of the feature point can be maintained high.
上述した実施形態では、特徴点近似形状が楕円であるため、楕円近似を用いて特徴点近似形状を算出するが、特徴点近似形状が円である場合は、円近似を用いて特徴点近似形状を算出してもよい。また、特徴点形状が円形や楕円以外の図形である場合も同様に、特徴点近似形状を算出することができる。なお、上述した実施形態では、特徴点近似形状を算出する方法として線形最小二乗法を用いるが、他の実施形態では、ニュートン法等の別の手法を採用してもよい。 In the embodiment described above, since the feature point approximate shape is an ellipse, the feature point approximate shape is calculated using the ellipse approximation. When the feature point approximate shape is a circle, the feature point approximate shape is calculated using the circle approximation. May be calculated. Similarly, the feature point approximate shape can be calculated when the feature point shape is a figure other than a circle or an ellipse. In the above-described embodiment, the linear least square method is used as a method for calculating the feature point approximate shape. However, in another embodiment, another method such as a Newton method may be employed.
図２２は、図１７に示す特徴点抽出部１７００が実行する処理の別の実施形態を示す図である。以下、図２２を参照して、図７に示すステップＳ７０７の処理の代わりに特徴点抽出部１７００が実行する処理について説明する。 FIG. 22 is a diagram showing another embodiment of the process executed by the feature point extraction unit 1700 shown in FIG. Hereinafter, with reference to FIG. 22, a process executed by the feature point extraction unit 1700 instead of the process of step S <b> 707 illustrated in FIG. 7 will be described.
図２２に示す処理は、ステップＳ２２００から開始し、ステップＳ２２０１で近似形状算出部１７０２の輪郭画素抽出部１７０３が、ステップＳ７０６で特徴点候補抽出部１７０１が抽出した特徴点候補である黒画素の連結成分から１の連結成分を選択し、当該連結成分から輪郭画素を抽出する。 The process shown in FIG. 22 starts from step S2200. In step S2201, the contour pixel extraction unit 1703 of the approximate shape calculation unit 1702 and the feature point candidate extraction unit 1701 extracted in step S706 connect black pixels that are feature point candidates. One connected component is selected from the components, and a contour pixel is extracted from the connected component.
ステップＳ２２０２では、近似形状式算出部１７０４が、輪郭画素の座標値を用いて近似形状規定式を算出する。本実施形態では、近似形状式として、楕円を規定する楕円方程式を算出する。ステップＳ２２０３では、距離算出部１７０５が、各輪郭画素と当該輪郭画素に対応する楕円の円周上の点との距離を算出する。 In step S2202, the approximate shape formula calculation unit 1704 calculates an approximate shape defining formula using the coordinate values of the contour pixels. In this embodiment, an elliptic equation that defines an ellipse is calculated as the approximate shape formula. In step S2203, the distance calculation unit 1705 calculates the distance between each contour pixel and a point on the circumference of the ellipse corresponding to the contour pixel.
ステップＳ２２０４では、特徴点近似形状判断部１７０７が、ステップＳ２２０３で算出した距離の最大値が、所定の閾値以上であるか否か判断する。距離の最大値が閾値以上である場合（ｙｅｓ）、ステップＳ２２０５に処理が分岐する。ステップＳ２２０５では、輪郭画素削除部１７０６が、当該距離が最大値となる輪郭画素を削除する。 In step S2204, the feature point approximate shape determination unit 1707 determines whether or not the maximum distance calculated in step S2203 is equal to or greater than a predetermined threshold. If the maximum distance value is greater than or equal to the threshold (yes), the process branches to step S2205. In step S2205, the contour pixel deletion unit 1706 deletes the contour pixel having the maximum distance.
ステップＳ２２０６では、特徴点近似形状判断部１７０７が、輪郭画素が所定数以上残っているか否か判断する。輪郭画素が所定数以上残っている場合は（ｙｅｓ）、ステップＳ２２０２に処理を戻し、残りの輪郭画素を用いてステップＳ２２０２〜２２０４の処理を実行する。 In step S2206, the feature point approximate shape determination unit 1707 determines whether or not a predetermined number or more of contour pixels remain. If a predetermined number or more of the contour pixels remain (yes), the process returns to step S2202, and the processes of steps S2202 to 2204 are executed using the remaining contour pixels.
一方、輪郭画素が所定数以上残っていない場合は（ｎｏ）、ステップＳ２２０７に処理が分岐する。ステップＳ２２０７では、特徴点近似形状判断部１７０７が、当該輪郭画素を含む特徴点候補がノイズと判断し、ステップＳ２２１２で処理が終了する。次いで、図７に示すステップＳ７０８の処理が実行される。 On the other hand, if the predetermined number or more of the contour pixels does not remain (no), the process branches to step S2207. In step S2207, the feature point approximate shape determination unit 1707 determines that the feature point candidate including the contour pixel is noise, and the process ends in step S2212. Next, the process of step S708 shown in FIG. 7 is executed.
ステップＳ２２０４で距離の最大値が閾値よりも小さいと判断した場合（ｎｏ）、ステップＳ２２０８に処理が分岐する。ステップＳ２２０８では、特徴点位置算出部１７０８が、特徴点近似形状である楕円の２つの軸の長さを算出する。ステップＳ２２０９では、特徴点位置算出部１７０８は、ステップＳ２２０２で算出した楕円方程式で規定される楕円の軸長を用いて、特徴点近似形状が、ノイズや欠損の無い校正用パターンに近似するか否か判断する。 If it is determined in step S2204 that the maximum distance is smaller than the threshold (no), the process branches to step S2208. In step S2208, the feature point position calculation unit 1708 calculates the lengths of the two axes of the ellipse that is the feature point approximate shape. In step S2209, the feature point position calculation unit 1708 uses the ellipse axis length defined by the elliptic equation calculated in step S2202 to determine whether the feature point approximate shape approximates a calibration pattern without noise or defects. Judge.
特徴点近似形状が校正用パターンに近似しない場合（ｎｏ）、ステップＳ２２０７に処理が分岐する。一方、特徴点近似形状が校正用パターンに近似する場合（ｙｅｓ）、ステップＳ２２１０に処理が分岐する。 If the feature point approximate shape does not approximate the calibration pattern (no), the process branches to step S2207. On the other hand, if the feature point approximate shape approximates the calibration pattern (yes), the process branches to step S2210.
ステップＳ２２１０では、特徴点位置算出部１７０８が、特徴点近似形状である楕円の中心の座標値を算出する。ステップＳ２２１１は、特徴点位置算出部１７０８は、ステップＳ２２１０で算出した楕円中心の座標値を特徴点の位置として決定し、ステップＳ２２１２で処理が終了する。次いで、図７に示すステップＳ７０８の処理が実行される。 In step S2210, the feature point position calculation unit 1708 calculates the coordinate value of the center of the ellipse that is the feature point approximate shape. In step S2211, the feature point position calculation unit 1708 determines the coordinate value of the ellipse center calculated in step S2210 as the position of the feature point, and the process ends in step S2212. Next, the process of step S708 shown in FIG. 7 is executed.
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、本実施形態の構成要件を変更または削除し、または他の構成要件を付加するなど、当業者が想到することができる範囲内で変更することができる。いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 Although the present embodiment has been described so far, the present invention is not limited to the above-described embodiment. The present invention is not limited to the above-described embodiment. For example, the configuration requirements of the present embodiment may be changed or deleted, or other configuration requirements may be added. It can be changed within a range that can be conceived by a trader. Any aspect is included in the scope of the present invention as long as the operations and effects of the present invention are exhibited.
１００…画像投影システム、１１０…情報処理装置、１２０…画像投影装置、１３０…校正用パターン画像、１４０…スクリーン、１５０…投影画像 DESCRIPTION OF SYMBOLS 100 ... Image projection system 110 ... Information processing apparatus 120 ... Image projection apparatus 130 ... Pattern image for calibration 140 ... Screen, 150 ... Projection image
Claims (14)
パターン画像が投影された被投影物の撮影画像を加工して特徴点を抽出する第１の抽出ステップと、
前記第１の抽出ステップで特徴点を抽出できなかった欠損領域を特定するステップと、
前記欠損領域に加工処理を施して特徴点を抽出する第２の抽出ステップと
を実行する、抽出方法。 An extraction method executed by an apparatus for extracting feature points of a pattern image, wherein the extraction method extracts a feature point by processing a photographed image of a projection object on which the pattern image is projected. An extraction step;
Identifying a missing region where feature points could not be extracted in the first extraction step;
And a second extraction step of extracting feature points by performing processing on the defect area.
前記第２の抽出ステップは、前記第１の抽出ステップで実行される二値化とは異なる方法で前記欠損領域を二値化して特徴点を抽出するステップを含む、請求項１に記載の抽出方法。 The first extracting step includes a step of binarizing the captured image and extracting a feature point,
2. The extraction according to claim 1, wherein the second extraction step includes a step of binarizing the missing region and extracting a feature point by a method different from the binarization performed in the first extraction step. Method.
欠損領域内の未抽出の特徴点を補間対象とし、前記未抽出の特徴点の近傍の特徴点を使用して、前記未抽出の特徴点を補間するステップをさらに含む、請求項１〜３のいずれか１項に記載の抽出方法。 The extraction method is:
The method further comprises the step of interpolating the unextracted feature points using feature points in the vicinity of the unextracted feature points, using unextracted feature points in the missing region as an interpolation target. The extraction method according to any one of the above.
二値化した撮影画像から特徴点近似形状を算出するステップと、
前記特徴点近似形状の中心を特徴点の位置として決定するステップと
を含む、請求項２〜４のいずれか１項に記載の抽出方法。 The step of binarizing the photographed image and extracting feature points includes:
Calculating a feature point approximate shape from the binarized captured image;
The method according to claim 2, further comprising: determining a center of the feature point approximate shape as a feature point position.
二値化した欠損領域から特徴点近似形状を算出するステップと、
前記特徴点近似形状の中心を特徴点の位置として決定するステップと
を含む、請求項２〜５のいずれか１項に記載の抽出方法。 The step of binarizing the missing region and extracting the feature points includes:
Calculating a feature point approximate shape from the binarized missing region;
6. The extraction method according to claim 2, further comprising: determining a center of the feature point approximate shape as a position of the feature point.
パターン画像が投影された被投影物の撮影画像を加工して特徴点を抽出する第１の抽出手段と、
前記第１の抽出手段が特徴点を抽出できなかった欠損領域を特定する特定手段と、
前記欠損領域に加工処理を施して特徴点を抽出する第２の抽出手段と
を備える抽出装置。 An extraction device for extracting feature points of a pattern image,
First extraction means for processing a captured image of a projection onto which a pattern image is projected to extract feature points;
Identifying means for identifying a missing area where the first extracting means could not extract a feature point;
An extraction apparatus comprising: a second extraction unit that performs processing on the defect region to extract a feature point.
前記第２の抽出手段は、前記第１の抽出手段が実行する二値化とは異なる方法で前記欠損領域を二値化して特徴点を抽出することを特徴とする、請求項８に記載の抽出装置。 The first extraction means binarizes the captured image to extract feature points,
The said 2nd extraction means binarizes the said defect area | region by the method different from the binarization which said 1st extraction means performs, The feature point is extracted, The feature point of Claim 8 characterized by the above-mentioned. Extraction device.
欠損領域内の未抽出の特徴点を補間対象とし、前記未抽出の特徴点の近傍の特徴点を使用して、前記未抽出の特徴点を補間する補間手段をさらに含む、請求項８〜１０のいずれか１項に記載の抽出装置。 The extraction device comprises:
The interpolating means for interpolating the unextracted feature points using the unextracted feature points in the missing region as an interpolation target and using the feature points in the vicinity of the unextracted feature points is further included. The extraction device according to any one of the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014107087A JP2015080190A (en) | 2013-09-11 | 2014-05-23 | Extraction method, program, extraction device, and image projection device |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013188356 | 2013-09-11 | ||
| JP2013188356 | 2013-09-11 | ||
| JP2014107087A JP2015080190A (en) | 2013-09-11 | 2014-05-23 | Extraction method, program, extraction device, and image projection device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015080190A true JP2015080190A (en) | 2015-04-23 |
Family
ID=53011258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014107087A Pending JP2015080190A (en) | 2013-09-11 | 2014-05-23 | Extraction method, program, extraction device, and image projection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015080190A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017038096A1 (en) * | 2015-09-01 | 2017-03-09 | Ｎｅｃプラットフォームズ株式会社 | Projection device, projection method and program storage medium |
| US11514592B2 (en) | 2019-07-29 | 2022-11-29 | Seiko Epson Corporation | Control method for projector and projector |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001083949A (en) * | 1999-09-16 | 2001-03-30 | Japan Science & Technology Corp | Image projecting device |
| JP2004213332A (en) * | 2002-12-27 | 2004-07-29 | Olympus Corp | Calibration device, calibration method, program for calibration, and calibration mending tool |
| JP2005020314A (en) * | 2003-06-25 | 2005-01-20 | Olympus Corp | Calculating method, calculating program and calculating apparatus for display characteristic correction data |
| JP2010197541A (en) * | 2009-02-24 | 2010-09-09 | Seiko Epson Corp | Projector, image correction method, image correction apparatus, and projection system |
| JP2011050013A (en) * | 2009-08-28 | 2011-03-10 | Panasonic Corp | Video projection apparatus and video projection method |
-
2014
- 2014-05-23 JP JP2014107087A patent/JP2015080190A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001083949A (en) * | 1999-09-16 | 2001-03-30 | Japan Science & Technology Corp | Image projecting device |
| JP2004213332A (en) * | 2002-12-27 | 2004-07-29 | Olympus Corp | Calibration device, calibration method, program for calibration, and calibration mending tool |
| JP2005020314A (en) * | 2003-06-25 | 2005-01-20 | Olympus Corp | Calculating method, calculating program and calculating apparatus for display characteristic correction data |
| JP2010197541A (en) * | 2009-02-24 | 2010-09-09 | Seiko Epson Corp | Projector, image correction method, image correction apparatus, and projection system |
| JP2011050013A (en) * | 2009-08-28 | 2011-03-10 | Panasonic Corp | Video projection apparatus and video projection method |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017038096A1 (en) * | 2015-09-01 | 2017-03-09 | Ｎｅｃプラットフォームズ株式会社 | Projection device, projection method and program storage medium |
| CN108028900A (en) * | 2015-09-01 | 2018-05-11 | Nec平台株式会社 | Projector equipment, projecting method and program recorded medium |
| JPWO2017038096A1 (en) * | 2015-09-01 | 2018-06-14 | Ｎｅｃプラットフォームズ株式会社 | Projection device, projection method, and projection program |
| US10572971B2 (en) | 2015-09-01 | 2020-02-25 | Nec Platforms, Ltd. | Projection device, projection method and program storage medium |
| CN108028900B (en) * | 2015-09-01 | 2020-10-09 | Nec平台株式会社 | Projection apparatus, projection method, and program storage medium |
| US11514592B2 (en) | 2019-07-29 | 2022-11-29 | Seiko Epson Corporation | Control method for projector and projector |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6363863B2 (en) | Information processing apparatus and information processing method | |
| JP5961945B2 (en) | Image processing apparatus, projector and projector system having the image processing apparatus, image processing method, program thereof, and recording medium recording the program | |
| JP5834615B2 (en) | PROJECTOR, ITS CONTROL METHOD, ITS PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM | |
| JP4752918B2 (en) | Image processing apparatus, image collation method, and program | |
| US10572971B2 (en) | Projection device, projection method and program storage medium | |
| WO2016147731A1 (en) | Projection system, projector device, image capturing device, and program | |
| JP2011192228A (en) | Three-dimensional modeling device, three-dimensional modeling method, and program | |
| JP2005326247A (en) | Calibrator, calibration method, and calibration program | |
| JP5849522B2 (en) | Image processing apparatus, projector, projector system, image processing method, program thereof, and recording medium recording the program | |
| US10482571B2 (en) | Dual fisheye, hemispherical image projection and stitching method, device and computer-readable medium | |
| JP2016100698A (en) | Calibration device, calibration method, and program | |
| WO2012029658A1 (en) | Imaging device, image-processing device, image-processing method, and image-processing program | |
| JP5987584B2 (en) | Image processing apparatus, video projection system, and program | |
| JP2015080190A (en) | Extraction method, program, extraction device, and image projection device | |
| JP6318576B2 (en) | Image projection system, image processing apparatus, image projection method, and program | |
| JP2018009927A (en) | Image processing device, image processing method and program | |
| JPWO2018012524A1 (en) | Projection apparatus, projection method and projection control program | |
| JP5955003B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2008224323A (en) | Stereoscopic photograph measuring instrument, stereoscopic photograph measuring method, and stereoscopic photograph measuring program | |
| KR102195762B1 (en) | Acquisition method for high quality 3-dimension spatial information using photogrammetry | |
| JP2016142991A (en) | Image processing system, information processing device, image processing method and program | |
| JP2016072691A (en) | Image processing system, control method of the same, and program | |
| JP2008077489A (en) | Image processor, method, program, and storage medium | |
| JP6671977B2 (en) | MEASURING DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
| JP6299269B2 (en) | Image processing system, program, and projection apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170509 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180206 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180731 |