JP2020102230A - Calibration method - Google Patents
Calibration method Download PDFInfo
- Publication number
- JP2020102230A JP2020102230A JP2020018970A JP2020018970A JP2020102230A JP 2020102230 A JP2020102230 A JP 2020102230A JP 2020018970 A JP2020018970 A JP 2020018970A JP 2020018970 A JP2020018970 A JP 2020018970A JP 2020102230 A JP2020102230 A JP 2020102230A
- Authority
- JP
- Japan
- Prior art keywords
- image
- size
- distance
- unit
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、画像処理装置、画像処理方法およびプログラムに関する。 The present invention relates to an image processing device, an image processing method and a program.
三次元計測技術の一つであるステレオ法では、一方のカメラで撮像した画像中の画素ブロックと相関を有する画素ブロックを、他方のカメラで撮像した画像において特定し（対応点を抽出し）、両画像における相対的なずれ量である視差から三角測量の原理を用いて距離データを算出する。距離データの算出精度を高めることを目的として、対応点抽出の密度を高くするために、多くの特徴点を有するパターン（例えば不規則なパターンを有するランダムパターン）を使用する技術が知られている。 In the stereo method, which is one of the three-dimensional measurement techniques, a pixel block having a correlation with a pixel block in the image captured by one camera is specified in the image captured by the other camera (extracting corresponding points), Distance data is calculated from the parallax, which is the relative amount of displacement in both images, using the principle of triangulation. There is known a technique of using a pattern having many feature points (for example, a random pattern having an irregular pattern) in order to increase the density of corresponding point extraction for the purpose of increasing the calculation accuracy of distance data. ..
例えば特許文献１には、均一性と分散性とを向上させることを目的として、ランダムパターンに含まれる低周波数成分をカット（除去）する技術が開示されている。 For example, Patent Document 1 discloses a technique of cutting (removing) low frequency components included in a random pattern for the purpose of improving uniformity and dispersibility.
しかしながら、従来技術では、撮像距離（撮像時におけるカメラとランダムパターンとの間の距離）を考慮せずにランダムパターンを生成しているので、安定して特徴点を抽出することができないという問題がある。 However, in the conventional technique, since the random pattern is generated without considering the imaging distance (the distance between the camera and the random pattern at the time of imaging), there is a problem that the feature points cannot be extracted stably. is there.
上述した課題を解決し、目的を達成するために、本発明は、複数の空間周波数と１対１に対応する複数の第１の画像を取得する取得部と、前記取得部により取得された前記複数の第１の画像を合成して第２の画像を生成する生成部と、を備え、前記取得部は、第１の画像のサイズとは異なるサイズの画像領域に含まれる複数の画素の各々の画素値をランダムに決定することで原画像を生成し、該原画像のサイズを第１の画像と同じサイズに変更することで、前記複数の空間周波数のうちの一の空間周波数に対応する第１の画像を生成する、画像処理装置である。 In order to solve the above-mentioned problems and achieve the object, the present invention provides an acquisition unit that acquires a plurality of first images corresponding to a plurality of spatial frequencies and one-to-one, and the acquisition unit that acquires the first images. A generation unit configured to combine a plurality of first images to generate a second image, wherein the acquisition unit includes each of a plurality of pixels included in an image region having a size different from the size of the first image. An original image is generated by randomly determining the pixel value of, and the size of the original image is changed to the same size as the first image, so as to correspond to one spatial frequency of the plurality of spatial frequencies. An image processing device that generates a first image.
本発明によれば、パターンの撮像距離が変化しても、安定して特徴点を抽出できる。 According to the present invention, feature points can be stably extracted even if the imaging distance of the pattern changes.
以下、添付図面を参照しながら、本発明に係る画像処理装置、画像処理方法およびプログラムの実施形態を詳細に説明する。以下では、本発明が適用される画像処理装置の一例として、画像投影装置の一態様であるパターン投影装置を例に挙げて説明するが、これに限られるものではない。 Hereinafter, embodiments of an image processing apparatus, an image processing method, and a program according to the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, as an example of the image processing apparatus to which the present invention is applied, a pattern projection apparatus which is one aspect of the image projection apparatus will be described as an example, but the invention is not limited thereto.
図１は、本実施形態のシステム１の構成の一例を示す図である。図１に示すように、本実施形態のシステム１は、パターン投影装置１０と、三次元測定装置２０とを備える。 FIG. 1 is a diagram showing an example of the configuration of a system 1 of this embodiment. As shown in FIG. 1, the system 1 of the present embodiment includes a pattern projection device 10 and a three-dimensional measurement device 20.
パターン投影装置１０は、後述の撮像画像の座標値を補正するための補正パラメータの決定に用いられる被撮像用具３０（対象物の一例）の表面に対して、多数の特徴点を含む第２の画像（後述）に基づく光を投影する。これにより、被撮像用具３０の表面（投影面）には、後述の第２の画像を表す投影像が形成される。見方を変えれば、パターン投影装置１０によって、被撮像用具（対象物）３０には後述の第２の画像が表示されると考えることもできる。パターン投影装置１０の詳細な構成については後述する。 The pattern projection apparatus 10 includes a second surface including a large number of characteristic points on the surface of the imaging target tool 30 (an example of an object) used for determining a correction parameter for correcting the coordinate value of the captured image described later. Project light based on an image (described later). As a result, a projected image representing a second image, which will be described later, is formed on the surface (projection surface) of the device 30 to be imaged. From a different point of view, it can be considered that the pattern projection device 10 displays a second image, which will be described later, on the imaged tool (target object) 30. The detailed configuration of the pattern projection device 10 will be described later.
三次元測定装置２０は、一対のカメラで構成されるステレオカメラを用いて、一方のカメラによる撮像で得られた画像（以下の説明では「撮像画像」と称する場合がある）中の画素ブロックと相関を有する画素ブロックを、他方のカメラによる撮像で得られた撮像画像において特定し、両撮像画像における相対的なずれ量である視差から三角測量の原理を用いて距離データを算出する。なお、本明細書において、「撮像」とは、レンズなどの光学系により結像された被写体（撮像対象）の像を、電気信号に変換することを指す。 The three-dimensional measuring apparatus 20 uses a stereo camera composed of a pair of cameras and a pixel block in an image (may be referred to as “captured image” in the following description) obtained by capturing with one camera. A pixel block having a correlation is specified in a captured image obtained by capturing with the other camera, and distance data is calculated from the parallax which is the relative displacement amount between the two captured images using the principle of triangulation. In the specification, “imaging” means converting an image of a subject (imaging target) formed by an optical system such as a lens into an electric signal.
本実施形態では、三次元測定装置２０は、撮像部２１と算出部２２と測定部２３とを有する。撮像部２１は、後述の第２の画像が表示された被撮像用具３０を撮像する。この例では、撮像部２１はステレオカメラで構成される。 In the present embodiment, the three-dimensional measuring device 20 has an imaging unit 21, a calculation unit 22, and a measurement unit 23. The image capturing section 21 captures an image of the to-be-imaged tool 30 on which a second image described later is displayed. In this example, the imaging unit 21 is composed of a stereo camera.
算出部２２は、被撮像用具３０が映り込んだ撮像画像と、撮像部２１と被撮像用具３０との間の距離（既知の距離）と、に基づいて、撮像部２１による撮像で得られた撮像画像を補正するための補正パラメータを算出する。この補正パラメータを算出する方法としては、公知の様々な技術を利用することができる。例えば、特許第４１０９０７７号公報や特許第４５０１２３９号公報に開示された方法などを利用できる。本実施形態では、算出部２２は、ステレオカメラを構成する一方のカメラ（第１のカメラ）による撮像で得られた撮像画像を補正するための補正パラメータ（第１の補正パラメータ）、および、他方のカメラ（第２のカメラ）による撮像で得られた撮像画像を補正するための補正パラメータ（第２の補正パラメータ）をそれぞれ算出する。 The calculation unit 22 is obtained by image capturing by the image capturing unit 21 based on the captured image in which the image capturing target 30 is reflected and the distance (known distance) between the image capturing unit 21 and the image capturing target 30. A correction parameter for correcting the captured image is calculated. Various known techniques can be used as a method for calculating the correction parameter. For example, the method disclosed in Japanese Patent No. 4109077 or Japanese Patent No. 4501239 can be used. In the present embodiment, the calculation unit 22 includes a correction parameter (first correction parameter) for correcting a captured image obtained by capturing with one camera (first camera) that configures the stereo camera, and the other. A correction parameter (second correction parameter) for correcting the captured image obtained by the image capturing by the camera (second camera) is calculated.
測定部２３は、撮像部２１による撮像で得られた撮像画像を、算出部２２により算出された補正パラメータを用いて補正することで得られた補正画像に基づいて距離データを測定する。この距離データの算出方法としては、公知の様々な技術を利用することができる。例えば、ＳＡＤ（Sum of Absolute Difference）やＮＣＣ（Normalized Cross Correlation)等によるマッチング処理が行われて視差値が計算され、必要に応じて視差値が距離変換される。本実施形態では、測定部２３は、第１のカメラによる撮像で得られた撮像画像を第１の補正パラメータを用いて補正することで得られた第１補正画像と、第２のカメラによる撮像で得られた撮像画像を第２の補正パラメータを用いて補正することで得られた第２補正画像とから視差を計算し、第１の補正画像および第２の補正画像のうち基準となる方の画像の各画素値の奥行き値（デプス）を示す視差画像（デプスマップ）を生成して出力することができる。 The measuring unit 23 measures the distance data based on the corrected image obtained by correcting the captured image obtained by the image capturing by the image capturing unit 21 using the correction parameter calculated by the calculating unit 22. Various known techniques can be used as a method for calculating the distance data. For example, matching processing such as SAD (Sum of Absolute Difference) or NCC (Normalized Cross Correlation) is performed to calculate the parallax value, and the parallax value is subjected to distance conversion as necessary. In the present embodiment, the measurement unit 23 uses the first correction image obtained by correcting the imaged image obtained by the image pickup by the first camera using the first correction parameter, and the image pickup by the second camera. The parallax is calculated from the second corrected image obtained by correcting the captured image obtained in step 1 using the second correction parameter, and the one of the first corrected image and the second corrected image that serves as the reference is calculated. It is possible to generate and output a parallax image (depth map) indicating a depth value (depth) of each pixel value of the image.
次に、パターン投影装置１０の構成について説明する。具体的な内容の説明に先立ち、本実施形態のパターン投影装置１０の特徴の概要を説明する。図２は、上述の三次元測定装置２０の撮像部２１が、パターン投影装置１０によって任意のパターン画像（多数の特徴点を含むパターン画像、説明の便宜上「所定のパターン画像」と称する）が表示された被撮像用具３０を撮像することで得られた撮像画像に含まれる所定のパターン画像の見え方と、撮像距離（撮像時における撮像部２１と被撮像用具３０との距離）との関係の一例を示す模式図である。図２の例では、被撮像用具３０に表示された所定のパターン画像は、撮像距離が中距離の場合に当該所定のパターン画像を正確に認識できるものとする。つまり、ここでの所定のパターン画像に対応する空間周波数は、撮像距離が中距離の場合に所定のパターン画像を正確に認識できるような値を示すものとする。 Next, the configuration of the pattern projection device 10 will be described. Prior to the description of the specific contents, an outline of the features of the pattern projection apparatus 10 of the present embodiment will be described. In FIG. 2, the image capturing unit 21 of the above-described three-dimensional measuring apparatus 20 displays an arbitrary pattern image (a pattern image including a large number of characteristic points, referred to as a “predetermined pattern image” for convenience of description) by the pattern projection apparatus 10. Of the relationship between the appearance of the predetermined pattern image included in the captured image obtained by capturing the captured imaged device 30 and the image capturing distance (the distance between the image capturing unit 21 and the imaged device 30 during image capturing). It is a schematic diagram which shows an example. In the example of FIG. 2, it is assumed that the predetermined pattern image displayed on the device 30 to be imaged can be accurately recognized when the imaging distance is a medium distance. That is, the spatial frequency corresponding to the predetermined pattern image here has a value such that the predetermined pattern image can be accurately recognized when the imaging distance is a medium distance.
撮像距離がｘ倍になると、撮像画像に映り込んだ物体の大きさは１／ｘ倍に見える、つまり、空間周波数としては元の空間周波数のｘ倍相当になるので、所定のパターン画像に含まれるパターン（模様）は、より細かなパターンとして見えるようになる。したがって、図２の例では、撮像距離が中距離よりも大きくなると（遠距離になると）、所定のパターン画像に含まれるパターンがより細かなパターンとして見えることになり、ひとつひとつのパターンが認識できないくらいにつぶれてしまい、コントラストも低下する。反対に、撮像距離が中距離よりも小さくなると（近距離になると）、所定のパターン画像の一部しか見えなくなってしまい、ひとつのパターン（例えば黒色の四角形）が数十ピクセル（１ピクセルは１画素分のサイズを表す）を覆うようになると、当該パターンの中心部では特徴（典型的には濃淡の変化）がなくなり、特徴点を抽出することができなくなる。したがって、所定のパターン画像が表示された被撮像用具３０と撮像部２１との距離（撮像距離）が、中距離よりも大きい場合（遠距離の場合）や中距離よりも小さい場合（近距離の場合）においては、安定して特徴点を抽出することができず、撮像画像の校正（補正）や距離データの算出を高精度に行うことができないという問題が起こる。すなわち、算出部２２によるパラメータ算出および測定部２３による距離測定が正確にできなくなるという問題が起こる。 When the imaging distance is x times, the size of the object reflected in the captured image appears to be 1/x times, that is, the spatial frequency is x times the original spatial frequency, and therefore the object is included in the predetermined pattern image. The pattern that is displayed becomes visible as a finer pattern. Therefore, in the example of FIG. 2, when the imaging distance becomes larger than the middle distance (at a long distance), the pattern included in the predetermined pattern image appears as a finer pattern, and each pattern cannot be recognized. It will be crushed by and the contrast will decrease. On the other hand, when the imaging distance becomes smaller than the middle distance (at a short distance), only a part of the predetermined pattern image can be seen, and one pattern (for example, a black square) is tens of pixels (1 pixel is 1 pixel). When it covers the size of pixels), there is no feature (typically change in shading) at the center of the pattern, and it becomes impossible to extract feature points. Therefore, when the distance (imaging distance) between the imaging target tool 30 on which the predetermined pattern image is displayed and the imaging unit 21 is larger than the middle distance (long distance) or smaller than the middle distance (short distance). In the case), the feature points cannot be stably extracted, and there is a problem that the calibration (correction) of the captured image and the calculation of the distance data cannot be performed with high accuracy. That is, there arises a problem that the parameter calculation by the calculation unit 22 and the distance measurement by the measurement unit 23 cannot be performed accurately.
そこで、本実施形態では、パターン投影装置１０は、１つのパターン画像の中に、各距離に適した空間周波数の成分（パターン）を含める。すなわち、撮像距離が中距離よりも小さいことを想定する場合は、パターン画像の中に中距離のものより小さい空間周波数成分（中距離よりも小さい距離に適した空間周波数成分）を含めるようにする。逆に、撮像距離が中距離よりも大きいことを想定する場合は、パターン画像の中に中距離のものより大きい空間周波数成分（中距離よりも大きい距離に適した空間周波数成分）を含めるようにする。これにより、撮像距離が変化しても、変化後の距離に適した空間周波数のパターンが特徴として現れるので、安定して特徴点を抽出することができる。なお、その距離に適した空間周波数は、レンズ画角や特徴点抽出における抽出範囲等にも依存するため、三次元測定装置２０において各距離で特徴点の抽出に有利なものが、適宜に選択される。以下、本実施形態のパターン投影装置１０の具体的な構成を説明する。 Therefore, in the present embodiment, the pattern projection device 10 includes a spatial frequency component (pattern) suitable for each distance in one pattern image. That is, when it is assumed that the imaging distance is smaller than the medium distance, the pattern image includes a spatial frequency component smaller than that of the medium distance (a spatial frequency component suitable for a distance smaller than the medium distance). .. On the contrary, when it is assumed that the imaging distance is larger than the middle distance, the pattern image should include a spatial frequency component larger than that of the middle distance (a spatial frequency component suitable for a distance larger than the middle distance). To do. As a result, even if the imaging distance changes, a spatial frequency pattern suitable for the changed distance appears as a feature, so that the feature points can be stably extracted. Since the spatial frequency suitable for the distance depends on the lens angle of view, the extraction range in the feature point extraction, and the like, the one that is advantageous for extracting the feature points at each distance in the three-dimensional measuring apparatus 20 is appropriately selected. To be done. Hereinafter, a specific configuration of the pattern projection device 10 according to this embodiment will be described.
図３は、パターン投影装置１０のハードウェア構成の一例を示す図である。図３に示すように、パターン投影装置１０は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、投影部１０４と、Ｉ／Ｆ部１０５とを備える。 FIG. 3 is a diagram illustrating an example of a hardware configuration of the pattern projection device 10. As shown in FIG. 3, the pattern projection device 10 includes a CPU 101, a ROM 102, a RAM 103, a projection unit 104, and an I/F unit 105.
ＣＰＵ１０１は、パターン投影装置１０の動作を統括的に制御する。 The CPU 101 centrally controls the operation of the pattern projection device 10.
ＲＯＭ１０２は、プログラム等の各種のデータを記憶する不揮発性のメモリである。 The ROM 102 is a non-volatile memory that stores various data such as programs.
ＲＡＭ１０３は、ＣＰＵ１０１が実行する各種の演算の処理の作業領域（ワークエリア）として機能する揮発性のメモリである。 The RAM 103 is a volatile memory that functions as a work area (work area) for processing various calculations executed by the CPU 101.
投影部１０４は、ＣＰＵ１０１の制御の下、投影用画像（この例では後述の第２の画像）に基づく光を投影対象物に投影する。図３の例では、投影部１０４は、光源１０６と、画像形成部１０７と、レンズ部１０８とを含む。画像形成部１０７には、光源１０６から射出された光が供給される。画像形成部１０７は、光源１０６から供給された光を、投影用画像（後述の第２の画像）に基づく光に変換して、レンズ部１０８へ出力する機能を有する。例えば画像形成部１０７は、透過型液晶素子であってもよいし、反射型液晶素子やＤＭＤ（Digital Micro mirror Device）等であってもよい。レンズ部１０８は、画像形成部１０７から出力された光を投影対象物に向けて投影する。レンズ部１０８は、例えば複数のレンズ、プリズム、ミラー等の光学素子によって構成される。 Under the control of the CPU 101, the projection unit 104 projects light based on a projection image (a second image described later in this example) onto a projection target. In the example of FIG. 3, the projection unit 104 includes a light source 106, an image forming unit 107, and a lens unit 108. The light emitted from the light source 106 is supplied to the image forming unit 107. The image forming unit 107 has a function of converting light supplied from the light source 106 into light based on a projection image (a second image described below) and outputting the light to the lens unit 108. For example, the image forming unit 107 may be a transmissive liquid crystal element, a reflective liquid crystal element, a DMD (Digital Micromirror Device), or the like. The lens unit 108 projects the light output from the image forming unit 107 toward the projection target. The lens unit 108 is composed of, for example, optical elements such as a plurality of lenses, prisms, and mirrors.
Ｉ／Ｆ部１０５は、外部装置と接続するためのインタフェースである。 The I/F unit 105 is an interface for connecting to an external device.
図４は、本実施形態のパターン投影装置１０が有する機能の一例を示す図である。図４に示すように、パターン投影装置１０は、取得部１１０と、生成部１２０と、出力制御部１３０とを有する。説明の便宜上、図４では、本発明に係る機能を主に例示しているが、パターン投影装置１０が有する機能はこれらに限られるものではない。 FIG. 4 is a diagram showing an example of functions of the pattern projection apparatus 10 of this embodiment. As shown in FIG. 4, the pattern projection device 10 includes an acquisition unit 110, a generation unit 120, and an output control unit 130. For convenience of description, FIG. 4 mainly illustrates the functions according to the present invention, but the functions of the pattern projection apparatus 10 are not limited to these.
また、本実施形態では、パターン投影装置１０が有する機能（取得部１１０、生成部１２０、出力制御部１３０）は、ＣＰＵ１０１がＲＯＭ１０２等に格納されたプログラムを実行することにより実現されるが、これに限られるものではない。例えば、パターン投影装置１０が有する機能のうちの少なくとも一部が専用のハードウェア回路（半導体集積回路等）によって実現される形態であってもよい。 Further, in the present embodiment, the functions (acquisition unit 110, generation unit 120, output control unit 130) of the pattern projection device 10 are realized by the CPU 101 executing a program stored in the ROM 102 or the like. It is not limited to. For example, at least a part of the functions of the pattern projection apparatus 10 may be realized by a dedicated hardware circuit (semiconductor integrated circuit or the like).
取得部１１０は、複数の空間周波数と１対１に対応する複数の第１の画像を取得する。より具体的には、複数の第１の画像の各々は、対応する空間周波数の成分（パターン）を少なくとも含む。本実施形態では、取得部１１０は、第１の画像のサイズとは異なるサイズの画像領域に含まれる複数の画素の各々の画素値をランダムに決定することで原画像を生成し、該原画像のサイズを第１の画像と同じサイズに変更することで、複数の空間周波数のうちの一の空間周波数に対応する第１の画像を生成する。この例では、画像領域のサイズは第１の画像のサイズよりも小さく、取得部１１０は、生成した原画像のサイズを第１の画像と同じサイズに拡大することで、複数の空間周波数のうちの一の空間周波数に対応する第１の画像を生成することができる。 The acquisition unit 110 acquires a plurality of first images that correspond one-to-one with a plurality of spatial frequencies. More specifically, each of the plurality of first images includes at least a corresponding spatial frequency component (pattern). In the present embodiment, the acquisition unit 110 generates an original image by randomly determining the pixel value of each of a plurality of pixels included in an image area having a size different from the size of the first image, and the original image is generated. By changing the size of the first image to the same size as the first image, the first image corresponding to one spatial frequency of the plurality of spatial frequencies is generated. In this example, the size of the image region is smaller than the size of the first image, and the acquisition unit 110 expands the size of the generated original image to the same size as the first image, thereby obtaining a plurality of spatial frequencies. A first image corresponding to one spatial frequency can be generated.
一例として、ある空間周波数に対応する第１の画像を生成する場合を例に挙げて説明する。この例では、第１の画像のサイズは横方向（左右方向）に６ピクセル、縦方向（上下方向）に４ピクセルであることを想定して説明するが、第１の画像のサイズはこれに限られるものではない。図５に示すように、取得部１１０は、所望の第１の画像のサイズの１／２のサイズ（図５の例では、横方向に３ピクセル、縦方向に２ピクセルのサイズ）の画像領域を確保する。そして、当該画像領域内に含まれる複数の画素（３×２＝６画素）の各々の画素値を、乱数等によって決めることにより原画像を生成する。図５の例では、グレースケール２５６階調の画像と仮定し、各画素の画素値を、０（最小の階調値）または２５５（最大の階調値）の何れかに設定している。なお、画素値については、最小の階調を示す「０」または最大の階調を示す「２５５」の２値に限らず、２５６段階の中から任意の値を選択する形態であってもよい。また、画素が複数の色を有するカラー画像であっても、白または黒を示すモノクロ画像であっても、同様の処理を行うことができる。 As an example, a case where a first image corresponding to a certain spatial frequency is generated will be described as an example. In this example, it is assumed that the size of the first image is 6 pixels in the horizontal direction (horizontal direction) and 4 pixels in the vertical direction (vertical direction), but the size of the first image is It is not limited. As illustrated in FIG. 5, the acquisition unit 110 causes the image area having a size of 1/2 the size of the desired first image (in the example of FIG. 5, a size of 3 pixels in the horizontal direction and 2 pixels in the vertical direction). Secure. Then, the original image is generated by determining the pixel value of each of the plurality of pixels (3×2=6 pixels) included in the image area by using a random number or the like. In the example of FIG. 5, it is assumed that the image has a gray scale of 256 gradations, and the pixel value of each pixel is set to either 0 (minimum gradation value) or 255 (maximum gradation value). Note that the pixel value is not limited to the binary value of “0” indicating the minimum gradation or “255” indicating the maximum gradation, and an arbitrary value may be selected from 256 levels. .. The same process can be performed on a color image in which pixels have a plurality of colors or a monochrome image showing white or black.
そして、取得部１１０は、原画像のサイズを、所望の第１の画像のサイズにするため、横方向および縦方向の各々のサイズを２倍に拡大する。これにより、原画像の１／２の空間周波数（ある空間周波数に相当）を示すパターン画像を第１の画像として生成することができる。この例では、最近傍法（ニアレストネイバー法）による補間を行っているが、これに限らず、線形拡大法（バイリニア法）や三次補間法（バイキュービック法）などの補間処理を行う形態であってもよい。図５の例では、横方向および縦方向の各々のサイズを２倍にしているため、拡大後の画像は、原画像の１／２の空間周波数を示すパターン画像（第１の画像）として扱える。 Then, the acquisition unit 110 doubles each size in the horizontal direction and the vertical direction in order to make the size of the original image the size of the desired first image. This makes it possible to generate, as the first image, a pattern image showing a spatial frequency ½ of the original image (corresponding to a certain spatial frequency). In this example, the nearest neighbor method (nearest neighbor method) is used for interpolation, but the present invention is not limited to this, and it is also possible to perform interpolation processing such as linear expansion method (bilinear method) or cubic interpolation method (bicubic method). It may be. In the example of FIG. 5, since the size in each of the horizontal direction and the vertical direction is doubled, the enlarged image can be treated as a pattern image (first image) showing a spatial frequency of 1/2 of the original image. ..
図６は、取得部１１０による処理の一例を示すフローチャートである。図６に示すように、まず取得部１１０は、第１の画像のサイズ（所望のサイズ）よりも小さい画像領域を確保する（ステップＳ１）。次に、取得部１１０は、画像領域に含まれる複数の画素の各々の画素値を、乱数等によりランダムに決定することで（ステップＳ２）、原画像を生成する。次に、取得部１１０は、生成した原画像のサイズを第１の画像と同じサイズに拡大する（ステップＳ３）。これにより、複数の空間周波数のうちの一の空間周波数（原画像の１／２の空間周波数）を示すパターン画像を、第１の画像として生成することができる。 FIG. 6 is a flowchart showing an example of processing by the acquisition unit 110. As shown in FIG. 6, the acquisition unit 110 first secures an image area smaller than the size (desired size) of the first image (step S1). Next, the acquisition unit 110 generates an original image by randomly determining the pixel value of each of the plurality of pixels included in the image area by using a random number or the like (step S2). Next, the acquisition unit 110 enlarges the size of the generated original image to the same size as the first image (step S3). As a result, a pattern image showing one spatial frequency of the plurality of spatial frequencies (spatial frequency of 1/2 of the original image) can be generated as the first image.
なお、この例では、第１の画像が表すパターン（模様）は、不規則なパターンであるが、これに限らず、第１の画像が表すパターンは規則的なパターンであってもよい。例えば取得部１１０は、第１の画像のサイズとは異なるサイズの画像領域に含まれる複数の画素の各々の画素値を所定の規則に従って決定することで原画像を生成し、該原画像のサイズを第１の画像と同じサイズに変更することで、第１の画像を生成することもできる。所定の規則は任意に設定可能であり、例えば最大の階調値を示す画素の集合で構成される列と、最小の階調値を示す画素の集合で構成される列とが交互に配置されるように画像領域の各画素の画素値を決定する形態であってもよいし、例えば最大の階調値を示す画素と、最小の階調値を示す画素とが、行方向および列方向の各々において交互に配置されるように画像領域の各画素の画素値を決定する形態であってもよい。 In this example, the pattern (pattern) represented by the first image is an irregular pattern, but the pattern is not limited to this, and the pattern represented by the first image may be a regular pattern. For example, the acquisition unit 110 generates the original image by determining the pixel value of each of the plurality of pixels included in the image area having a size different from the size of the first image according to a predetermined rule, and then determines the size of the original image. It is also possible to generate the first image by changing the to the same size as the first image. The predetermined rule can be set arbitrarily, and for example, a column formed of a set of pixels showing the maximum gradation value and a column formed of a set of pixels showing the minimum gradation value are arranged alternately. The pixel value of each pixel in the image area may be determined as described above. For example, the pixel showing the maximum gradation value and the pixel showing the minimum gradation value are arranged in the row direction and the column direction. Alternatively, the pixel value of each pixel in the image area may be determined so as to be alternately arranged.
また、本実施形態では、取得部１１０は、複数の空間周波数と１対１に対応する複数の第１の画像を生成しているが、これに限らず、取得部１１０は、外部のサーバ装置（あるいは外部の記憶装置）やパターン投影装置１０の内部のメモリ等から、予め生成された複数の第１の画像を取得する形態であってもよい。なお、複数の空間周波数と１対１に対応する複数の第１の画像の生成方法は任意であり、例えば複数の空間周波数は、所望する複数の距離と１対１に対応する形態であってもよい。つまり、撮像距離が一の距離の場合に、当該一の距離に対応する空間周波数の成分が特徴として現れる（観察者が正確に認識できる）よう、各距離に対応する空間周波数が設定（例えば実験等により予め設定）される形態であってもよい。なお、被撮像用具（対象物）３０に表示された画像の見え方は、撮像距離だけでなく、カメラの焦点距離やぼけ具合などに応じても変わるので、それらも考慮して、空間周波数を選定することが望ましい。 In addition, in the present embodiment, the acquisition unit 110 generates a plurality of first images corresponding to a plurality of spatial frequencies and one-to-one, but the present invention is not limited to this, and the acquisition unit 110 is an external server device. Alternatively, a plurality of pre-generated first images may be acquired from (or an external storage device), a memory inside the pattern projection device 10, or the like. The method of generating the plurality of first images corresponding to the plurality of spatial frequencies in a one-to-one correspondence is arbitrary. For example, the plurality of spatial frequencies correspond to a plurality of desired distances in a one-to-one correspondence. Good. That is, when the imaging distance is one distance, the spatial frequency corresponding to each distance is set so that the component of the spatial frequency corresponding to the one distance appears as a feature (which can be accurately recognized by the observer) (for example, an experiment). It may be a form that is set in advance). It should be noted that the appearance of the image displayed on the device to be imaged (object) 30 changes depending on not only the imaging distance but also the focal length of the camera, the degree of blurring, and the like. It is desirable to select it.
図４に戻って説明を続ける。生成部１２０は、取得部１１０により取得された複数の第１の画像を合成して第２の画像を生成する。本実施形態では、生成部１２０は、複数の第１の画像の各々に含まれる複数の画素ごとに、複数の第１の画像の各々における当該画素の輝度値の平均を求めて設定することで、第２の画像を生成する。例えば図７に示すように、取得部１１０によって、空間周波数ｆ＝１／６４を示す第１の画像、空間周波数ｆ＝１／１６を示す第１の画像、および、空間周波数ｆ＝１／４を示す第１の画像の各々が生成された場合を想定する。この例では、取得部１１０により生成される複数の第１の画像の各々のサイズは同一であるので、３つの第１の画像の各々に含まれる複数の画素ごとに、３つの第１の画像の各々における当該画素の輝度値の平均を求める。そして、第１の画像と同じサイズの画像領域内の各画素の画素値を、３つの第１の画像の各々における当該画素の輝度値の平均値に設定することで、第２の画像（合成画像）を生成することができる。 Returning to FIG. 4, the description will be continued. The generation unit 120 combines the plurality of first images acquired by the acquisition unit 110 to generate a second image. In the present embodiment, the generation unit 120 obtains and sets the average of the luminance values of the pixels in each of the plurality of first images for each of the plurality of pixels included in each of the plurality of first images. , Generate a second image. For example, as illustrated in FIG. 7, the acquisition unit 110 causes the first image showing the spatial frequency f=1/64, the first image showing the spatial frequency f=1/16, and the spatial frequency f=1/4. Suppose that each of the first images showing is generated. In this example, since the sizes of the plurality of first images generated by the acquisition unit 110 are the same, the three first images are included in each of the plurality of pixels included in each of the three first images. The average of the luminance value of the pixel in each of the above is calculated. Then, by setting the pixel value of each pixel in the image area having the same size as the first image to the average value of the luminance values of the pixels in each of the three first images, the second image (synthesis Image) can be generated.
図８は、第２の画像を生成する場合のパターン投影装置１０の動作例を示すフローチャートである。図８に示すように、まず取得部１１０は、複数の空間周波数と１対１に対応する複数の第１の画像を生成する（ステップＳ１１）。具体的な内容は上述したとおりである。次に、生成部１２０は、ステップＳ１１で生成された複数の第１の画像を合成して第２の画像を生成する（ステップＳ１２）。具体的な内容は上述したとおりである。 FIG. 8 is a flowchart showing an operation example of the pattern projection device 10 when generating the second image. As shown in FIG. 8, first, the acquisition unit 110 generates a plurality of first images corresponding to a plurality of spatial frequencies and one-to-one (step S11). The specific content is as described above. Next, the production|generation part 120 synthesize|combines several 1st image produced|generated by step S11, and produces|generates a 2nd image (step S12). The specific content is as described above.
図４に戻って説明を続ける。出力制御部１３０は、生成部１２０により生成された第２の画像に基づく出力を制御する。本実施形態では、出力制御部１３０は、生成部１２０により生成された第２の画像に基づく光を被撮像用具３０に投影するよう、投影部１０４を制御する。 Returning to FIG. 4, the description will be continued. The output control unit 130 controls output based on the second image generated by the generation unit 120. In the present embodiment, the output control unit 130 controls the projection unit 104 so as to project the light based on the second image generated by the generation unit 120 onto the imaged tool 30.
なお、本実施形態では、本発明が適用される画像処理装置として、パターン投影装置を例に挙げて説明したが、本発明が適用される画像処理装置の種類は任意に変更可能である。要するに、本発明が適用される画像処理装置は、上述の取得部１１０に対応する機能と、上述の生成部１２０に対応する機能とを少なくとも備える形態であればよい。 In addition, in the present embodiment, the pattern projection device has been described as an example of the image processing device to which the present invention is applied, but the type of the image processing device to which the present invention is applied can be arbitrarily changed. In short, the image processing apparatus to which the present invention is applied may be in a form having at least the function corresponding to the acquisition unit 110 described above and the function corresponding to the generation unit 120 described above.
また、生成部１２０により生成された第２の画像に基づく出力の形態は、本発明が適用される画像処理装置の種類に応じた形態となる。例えば本発明が適用される画像処理装置が、画像形成装置の一態様である印刷装置である場合、出力制御部１３０は、生成部１２０により生成された第２の画像を、記録媒体（紙や金属板等）上に形成するよう、印刷エンジン部を制御する形態であってもよい。例えば記録媒体がアルミ板で構成される場合は、第２の画像が印刷された当該アルミ板を、被撮像用具３０として利用してもよい。また、例えば記録媒体が用紙などで構成される場合は、第２の画像が印刷された当該用紙を板状の部材の表面に貼付することで、被撮像用具３０を作成する形態であってもよい。 The output form based on the second image generated by the generation unit 120 is a form according to the type of the image processing apparatus to which the present invention is applied. For example, when the image processing apparatus to which the present invention is applied is a printing apparatus which is one aspect of the image forming apparatus, the output control unit 130 outputs the second image generated by the generation unit 120 to a recording medium (paper or paper). The print engine unit may be controlled to be formed on a metal plate or the like. For example, when the recording medium is composed of an aluminum plate, the aluminum plate on which the second image is printed may be used as the imaging target tool 30. Further, for example, when the recording medium is formed of paper or the like, the imaging target device 30 may be created by pasting the paper on which the second image is printed on the surface of the plate-shaped member. Good.
また、例えば本発明が適用される画像処理装置は、自身が生成した第２の画像に基づいて、板状の型（例えば遮光性の型）を作成する装置であってもよい。この場合、当該装置を挟んで対象物（例えば被撮像用具３０）とは反対側に光源が配置され、当該光源から型および対象物に向けて射出される光によって、型に応じた投影像が対象物の表面に形成される形態とすることもできる。また、自ら発光する板であってもよい。いわゆる電子ペーパのようなものでもよい。 Further, for example, the image processing apparatus to which the present invention is applied may be an apparatus that creates a plate-shaped mold (for example, a light-shielding mold) based on the second image generated by itself. In this case, a light source is arranged on the side opposite to the target object (for example, the imaging target tool 30) with the device in between, and a projection image corresponding to the mold is generated by the light emitted from the light source toward the mold and the target object. It may be a form formed on the surface of the object. Alternatively, it may be a plate that emits light by itself. It may be a so-called electronic paper.
以上に説明したように、本実施形態では、被撮像用具３０に表示するパターン画像として、複数の空間周波数と１対１に対応する複数の第１の画像を合成した第２の画像を生成する。これにより、パターン画像の撮像距離が変化しても、変化後の距離に適した空間周波数のパターンが特徴として現れるので、安定して特徴点を抽出することができるという有利な効果を達成できる。 As described above, in the present embodiment, as the pattern image to be displayed on the to-be-imaged tool 30, the second image in which the plurality of first images corresponding to the plurality of spatial frequencies and one-to-one are combined is generated. .. With this, even if the imaging distance of the pattern image changes, the pattern of the spatial frequency suitable for the changed distance appears as a feature, and the advantageous effect that the feature points can be stably extracted can be achieved.
以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。 Although the embodiment of the present invention has been described above, the present invention is not limited to the above-described embodiment as it is, and constituent elements can be modified and embodied without departing from the scope of the invention in an implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some components may be deleted from all the components shown in the embodiment.
例えば特願２０１４−２０８８９７号明細書に記載された構成のように、三次元測定装置２０と、上述の第２画像が表示された被撮像用具３０との間の距離（撮像距離）を変えながら撮像を行い、複数の距離ごとに、その距離での撮像により得られた撮像画像（第２の画像が表示された被撮像用具３０が映り込んだ撮像画像）と、その距離（既知の値）とに基づいて、補正パラメータを算出することもできる。要するに、算出部２２は、対象物が映り込んだ撮像画像と、撮像部２１と対象物との間の距離（既知の距離）と、に基づいて、撮像部２１による撮像で得られた撮像画像を補正するための補正パラメータを算出する形態であればよい。例えば図９に示すように、撮像部２１は、水平方向に所定の距離（基線長）Ｂを設けて配置された一対の第１カメラ２４ａおよび第２カメラ２４ｂを有するものとする。第１カメラ２４ａおよび第２カメラ２４ｂの各々は、撮像レンズ２５と撮像素子（例えばＣＣＤイメージセンサ）２６とを有し、撮像レンズ２５により結像された被写体の像が撮像素子２６の撮像面に撮像される。 For example, as in the configuration described in Japanese Patent Application No. 2014-208897, while changing the distance (imaging distance) between the three-dimensional measuring device 20 and the imaged tool 30 on which the second image is displayed. Image pickup is performed, and for each of a plurality of distances, a picked-up image obtained by picking up at that distance (a picked-up image of the to-be-photographed tool 30 on which the second image is displayed) and the distance (known value) It is also possible to calculate the correction parameter based on In short, the calculation unit 22 obtains the captured image obtained by the image capturing unit 21 based on the captured image in which the target object is reflected and the distance (known distance) between the image capturing unit 21 and the target object. Any form may be used as long as the correction parameter for correcting is corrected. For example, as shown in FIG. 9, the imaging unit 21 is assumed to have a pair of a first camera 24a and a second camera 24b arranged with a predetermined distance (base line length) B in the horizontal direction. Each of the first camera 24a and the second camera 24b has an image pickup lens 25 and an image pickup element (for example, a CCD image sensor) 26, and an image of a subject formed by the image pickup lens 25 is on an image pickup surface of the image pickup element 26. The image is taken.
まず、図１０に示すように、第２の画像が表示された被撮像用具３０と撮像部２１との間を距離Ｘ１（例えば５ｍ）に設定した状態で、第１カメラ２４ａおよび第２カメラ２４ｂによる撮像を行い、次に、図１１に示すように、第２の画像が表示された被撮像用具３０と撮像部２１との間を距離Ｘ２（例えば１ｍ）に設定した状態で、第１カメラ２４ａおよび第２カメラ２４ｂによる撮像を行い、それぞれの距離で得られた撮像画像を元に、補正パラメータを算出することができる。 First, as shown in FIG. 10, the first camera 24a and the second camera 24b are set in a state where the distance X1 (for example, 5 m) is set between the imaging target tool 30 on which the second image is displayed and the imaging unit 21. Then, as shown in FIG. 11, the first camera is set in a state where the distance X2 (for example, 1 m) is set between the imaging target tool 30 on which the second image is displayed and the imaging unit 21. It is possible to perform the image capturing by the 24a and the second camera 24b and calculate the correction parameter based on the captured images obtained at the respective distances.
図１２は、本変形例の算出部２２が有する機能の一例を示す図である。図１２に示すように、算出部２２は、第１取得部３１と、第１算出部３２と、第２取得部３３と、第２算出部３４と、第３算出部３５とを備える。 FIG. 12 is a diagram illustrating an example of functions of the calculation unit 22 of this modification. As illustrated in FIG. 12, the calculation unit 22 includes a first acquisition unit 31, a first calculation unit 32, a second acquisition unit 33, a second calculation unit 34, and a third calculation unit 35.
第１取得部３１は、撮像部２１から第１距離Ｘ１（この例では５ｍ）だけ離れた被撮像用具３０（第２の画像が表示された被撮像用具３０）を第１カメラ２４ａで撮像することで得られた撮像画像（以下の説明では、「第１撮像画像」と称する場合がある）と、該被撮像用具３０を第２カメラ２４ｂで撮像することで得られた撮像画像（以下の説明では、「第２撮像画像」と称する）とを取得する。 The 1st acquisition part 31 picturizes with the 1st camera 24a the to-be-photographed tool 30 (the to-be-photographed tool 30 in which the 2nd image was displayed) distanced from the imaging part 21 by the 1st distance X1 (5 m in this example). The captured image obtained in this way (may be referred to as “first captured image” in the following description) and the captured image obtained by capturing the imaged tool 30 with the second camera 24b (see below). In the description, “referred to as “second captured image”) is acquired.
第１算出部３２は、第１距離Ｘ１（この例では５ｍ）、第１撮像画像、第２撮像画像に基づき、第１撮像画像および第２撮像画像のうちの少なくとも一方について、第２の画像が表示された被撮像用具３０が映り込んだ画像領域（本変形例においては撮像画像の中央領域）を示す第１画像領域内の複数の特徴点と１対１に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第１対応データを算出する。なお、被撮像用具３０を、第１カメラ２４ａおよび第２カメラ２４ｂの各々で撮像した場合、第１カメラ２４ａの位置と第２カメラ２４ｂの位置とは異なるので、第１撮像画像に映り込んだ被撮像用具３０と、第２撮像画像に映り込んだ被撮像用具３０とでは見え方に差がある（視差がある）。すなわち、被撮像用具３０に表示された第２の画像内の同一の特徴点に対応する第１撮像画像の位置および第２撮像画像の位置は視差分だけ離れる（ずれる）ことになる。 Based on the first distance X1 (5 m in this example), the first captured image, and the second captured image, the first calculator 32 determines at least one of the first captured image and the second captured image as the second image. For each of a plurality of coordinate values corresponding one-to-one with a plurality of feature points in the first image region showing the image region (the central region of the captured image in this modification) in which the to-be-imaged tool 30 in which is displayed is reflected First, the first correspondence data in which the target coordinate values for obtaining the ideal parallax are associated is calculated. In addition, when the to-be-imaged tool 30 is imaged by each of the 1st camera 24a and the 2nd camera 24b, since the position of the 1st camera 24a and the position of the 2nd camera 24b differ, it is reflected in the 1st imaged image. There is a difference in visibility (parallax) between the imaged tool 30 and the imaged tool 30 reflected in the second captured image. That is, the position of the first captured image and the position of the second captured image corresponding to the same feature point in the second image displayed on the device to be imaged 30 are separated (shifted) by the parallax.
第１算出部３２は、第１撮像画像のうち上述の第１画像領域に含まれる（映り込んだ）複数の特徴点ごとに、当該特徴点に対応する第１撮像画像の座標値および第２撮像画像の座標値を特定するとともに理想ずれ量を求める。なお、同一の特徴点に対応する第１撮像画像の座標値および第２撮像画像の座標値の各々を特定する手法（対応点探索方法）としては、公知の様々な技術（例えばＳＡＤ（Sum Of Absolute Difference）やＰＯＣ（位相限定相関など）を利用可能である。その後、第１算出部３２は、第１画像領域に含まれる複数の特徴点ごとに、理想的な座標値（理想の視差を得るための位置、以下、「目標座標値」と称する場合がある）を求める。 For each of a plurality of (reflective) feature points included in the above-described first image region of the first captured image, the first calculator 32 calculates the coordinate value of the first captured image corresponding to the feature point and the second value. The coordinate value of the captured image is specified and the ideal deviation amount is obtained. As a method (corresponding point search method) for identifying each of the coordinate value of the first captured image and the coordinate value of the second captured image corresponding to the same feature point, various known techniques (for example, SAD (Sum Of Sum Of Absolute Difference) or POC (Phase Only Correlation, etc.) can be used after that, the first calculation unit 32, for each of a plurality of feature points included in the first image region, an ideal coordinate value (ideal parallax The position for obtaining, hereinafter sometimes referred to as "target coordinate value") is obtained.
以上のようにして、第１算出部３２は、第１距離Ｘ１、第１撮像画像、第２撮像画像に基づき、第１撮像画像および第２撮像画像の各々について、上述の第１画像領域に含まれる複数の特徴点と１対１に対応する複数の座標値（補正前の撮像画像の座標値）ごとに、理想の視差を得るための目標座標値を対応付けた第１対応データを算出する。なお、この例では、第１算出部３２は、第１撮像画像に対応する第１対応データと、第２撮像画像に対応する第１対応データとをそれぞれ算出しているが、これに限らず、例えば第１算出部３２は、第１撮像画像および第２撮像画像のうちの一方に対応する第１対応データのみを算出する形態であってもよい。 As described above, the first calculating unit 32 sets each of the first captured image and the second captured image in the above-mentioned first image region based on the first distance X1, the first captured image, and the second captured image. First correspondence data in which a target coordinate value for obtaining an ideal parallax is associated with each of a plurality of included feature points and a plurality of coordinate values corresponding to one-to-one correspondence (coordinate values of a captured image before correction) To do. In addition, in this example, the first calculating unit 32 calculates the first corresponding data corresponding to the first captured image and the first corresponding data corresponding to the second captured image, but the present invention is not limited to this. For example, the first calculation unit 32 may be in a form of calculating only the first correspondence data corresponding to one of the first captured image and the second captured image.
要するに、第１算出部３２は、第１距離Ｘ１、第１撮像画像、第２撮像画像に基づき、第１撮像画像および第２撮像画像のうちの少なくとも一方について、第２の画像が表示された対象物（この例では第２の画像が表示された被撮像用具３０）が映り込んだ第１画像領域内の複数の特徴点と１対１に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第１対応データを算出する形態であればよい。 In short, the first calculation unit 32 displays the second image for at least one of the first captured image and the second captured image based on the first distance X1, the first captured image, and the second captured image. An ideal parallax is obtained for each of a plurality of coordinate values corresponding one-to-one with a plurality of feature points in the first image area in which the target object (in this example, the imaged tool 30 on which the second image is displayed) is reflected. It suffices that the first correspondence data in which the target coordinate values for obtaining is obtained is calculated.
図１２の説明を続ける。第２取得部３３は、撮像部２１から第２距離Ｘ２（この例では１ｍ）だけ離れた被撮像用具３０（第２の画像が表示された被撮像用具３０）を第１カメラ２４ａで撮像することにより得られた第３撮像画像と、該被撮像用具３０を第２カメラ２４ｂで撮像することで得られた第４撮像画像とを取得する。なお、本変形例では、上述の第１取得部３１および第２取得部３３を別体として記載するが、これに限らず、例えば第１取得部３１および第２取得部３３は同一の構成要素であってもよい。つまり、第１取得部３１および第２取得部３３のうちの一方が他方の機能も兼ねる形態であってもよい。 The description of FIG. 12 will be continued. The 2nd acquisition part 33 picturizes with the 1st camera 24a the to-be-photographed tool 30 (the to-be-photographed tool 30 in which the 2nd image was displayed) distant from the imaging part 21 by the 2nd distance X2 (1 m in this example). The third picked-up image obtained by doing so and the fourth picked-up image obtained by picking up the imaged tool 30 with the second camera 24b are acquired. In addition, in this modification, the above-described first acquisition unit 31 and second acquisition unit 33 are described as separate bodies, but the present invention is not limited to this, and for example, the first acquisition unit 31 and the second acquisition unit 33 are the same constituent elements. May be That is, one of the first acquisition unit 31 and the second acquisition unit 33 may have a function that also functions as the other.
第２算出部３４は、第２距離Ｘ２（この例では１ｍ）、第３撮像画像、第４撮像画像に基づき、第３撮像画像および第４撮像画像のうちの少なくとも一方について、第２の画像が表示された被撮像用具３０が映り込んだ画像領域のうち、上述の第１画像領域に相当する部分以外の画像領域を示す第２画像領域（本変形例においては撮像画像の中央領域以外の画像領域）に含まれる複数の特徴点と１対１に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第２対応データを算出する。 The second calculation unit 34, based on the second distance X2 (1 m in this example), the third captured image, and the fourth captured image, at least one of the third captured image and the fourth captured image is the second image. The second image area showing the image area other than the portion corresponding to the above-mentioned first image area in the image area in which the to-be-imaged tool 30 is displayed (in this modification, other than the central area of the captured image, The second correspondence data in which the target coordinate values for obtaining the ideal parallax are associated with each other for each of the plurality of feature points included in the image area) and the plurality of coordinate values that correspond one-to-one with each other are calculated.
第２対応データの算出方法は、基本的には上述の第１対応データの算出方法と同様である。本変形例の第２算出部３４は、第２距離Ｘ２、第３撮像画像、第４撮像画像に基づき、第３撮像画像および第４撮像画像の各々について、上述の第２画像領域に含まれる複数の特徴点と１対１に対応する複数の座標値（補正前の撮像画像の座標値）ごとに、理想の視差を得るための目標座標値を対応付けた第２対応データを生成する。 The method of calculating the second corresponding data is basically the same as the method of calculating the first corresponding data described above. The second calculator 34 of the present modification is included in the above-mentioned second image area for each of the third captured image and the fourth captured image based on the second distance X2, the third captured image, and the fourth captured image. Second correspondence data in which target coordinate values for obtaining an ideal parallax are associated with each other for each of a plurality of coordinate values corresponding to a plurality of feature points and one-to-one (coordinate values of a captured image before correction) is generated.
この例では、第２算出部３４は、第３撮像画像に対応する第２対応データと、第４撮像画像に対応する第２対応データとをそれぞれ生成しているが、これに限らず、例えば第２算出部３４は、第３撮像画像および第４撮像画像のうちの一方に対応する第２対応データのみを生成する形態であってもよい。要するに、第２算出部３４は、第２距離Ｘ２、第３撮像画像、第４撮像画像に基づき、第３撮像画像および第４撮像画像のうちの少なくとも一方について、第２の画像が表示された対象物（この例では第２の画像が表示された被撮像用具３０）が映り込んだ画像領域のうち、第１画像領域に相当する部分以外の画像領域を示す第２画像領域内の複数の特徴点と１対１に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第２対応データを算出する形態であればよい。 In this example, the second calculator 34 generates the second correspondence data corresponding to the third captured image and the second correspondence data corresponding to the fourth captured image, respectively, but the present invention is not limited to this, and for example, The second calculator 34 may be configured to generate only the second correspondence data corresponding to one of the third captured image and the fourth captured image. In short, the second calculator 34 displays the second image for at least one of the third captured image and the fourth captured image based on the second distance X2, the third captured image, and the fourth captured image. A plurality of image areas in the second image area showing the image area other than the portion corresponding to the first image area in the image area in which the target object (in this example, the imaged tool 30 on which the second image is displayed) is reflected. It suffices that the second correspondence data in which the target coordinate values for obtaining the ideal parallax are associated with each other for each of the plurality of coordinate values that correspond one-to-one with the feature points.
図１２の説明を続ける。第３算出部３５は、上述の第１対応データと上述の第２対応データとに基づいて、第１カメラ２４ａまたは第２カメラ２４ｂによる撮像で得られる撮像画像を補正するための補正パラメータを算出する。より具体的には、第３算出部３５は、上述の第１対応データおよび上述の第２対応データの各々に含まれる座標値と目標座標値とがそれぞれ対応付けられた複数の組から、最小二乗法により、第１カメラ２４ａまたは第２カメラ２４ｂによる撮像で得られる撮像画像の座標値と目標座標値との関係を表す補正式の係数を、補正パラメータとして算出する。補正式は、例えば以下の式１で表すことができる。式１において、ｘは、補正前の撮像画像の左右方向の座標値を示し、ｙは、補正前の撮像画像の上下方向の座標値を示す。また、ｘ’は、撮像画像の左右方向の目標座標値を示し、ｙ’は、撮像画像の上下方向の目標座標値を示す。なお、補正式は、以下の式１のようなアフィン変換式に限定されるものではなく、他の形でも構わない。
本変形例では、第３算出部３５は、上述の第１撮像画像に対応する第１対応データに含まれる複数のデータセット（補正前の座標値と目標座標値との組）と、上述の第３撮像画像に対応する第２対応データに含まれる複数のデータセットとから、最小二乗法により、第１カメラ２４ａによる撮像で得られる撮像画像の座標値と、目標座標値との関係を表す補正式（以下の説明では、「第１補正式」と称する場合がある）の係数ａ〜ｆ（第１の補正パラメータであると考えることができる）を算出する。また、第３算出部３５は、上述の第２撮像画像に対応する第１対応データに含まれる複数のデータセットと、上述の第４撮像画像に対応する第２対応データに含まれる複数のデータセットとから、最小二乗法により、第２カメラ２４ｂによる撮像で得られる撮像画像の座標値と、目標座標値との関係を表す補正式（以下の説明では、「第２補正式」と称する場合がある）の係数ａ〜ｆ（第２の補正パラメータであると考えることができる）を算出する。 In the present modification, the third calculator 35 includes a plurality of data sets (a set of coordinate values before correction and target coordinate values) included in the first corresponding data corresponding to the above-described first captured image, and The relationship between the target coordinate value and the coordinate value of the captured image obtained by the first camera 24a from the plurality of data sets included in the second corresponding data corresponding to the third captured image by the least square method. The coefficients a to f (which can be considered to be the first correction parameter) of the correction formula (which may be referred to as “first correction formula” in the following description) are calculated. In addition, the third calculation unit 35 includes a plurality of data sets included in the first corresponding data corresponding to the above-described second captured image and a plurality of data included in the second corresponding data corresponding to the above-described fourth captured image. A correction formula representing the relationship between the coordinate value of the captured image obtained by the second camera 24b and the target coordinate value from the set by the least-squares method (in the following description, a case where it is referred to as a "second correction formula"). A) (which can be considered to be the second correction parameter).
以上のようにして、第３算出部３５は、第１カメラ２４ａによる撮像で得られた撮像画像の座標値と目標座標値との関係を表す第１補正式と、第２カメラ２４ｂによる撮像で得られた撮像画像の座標値と目標値との関係を表す第２補正式とをそれぞれ求める。そして、測定部２３は、第１補正式を用いて、第１カメラ２４ａによる撮像で得られた撮像画像の座標値を補正することで、第１補正画像を得る。また、測定部２３は、第２補正式を用いて、第２カメラ２４ｂによる撮像で得られた撮像画像の座標値を補正することで、第２補正画像を得る。そして、第１補正画像と第２補正画像とから視差を計算し、第１補正画像および第２補正画像のうち基準となる方の画像の各画素の奥行き値（デプス）を示す視差画像（デプスマップ）を生成して出力することができる。 As described above, the third calculating unit 35 uses the first correction formula representing the relationship between the coordinate value of the captured image obtained by the image capturing by the first camera 24a and the target coordinate value and the image capturing by the second camera 24b. A second correction equation representing the relationship between the coordinate value of the obtained captured image and the target value is obtained. Then, the measurement unit 23 obtains the first corrected image by correcting the coordinate value of the captured image obtained by the image capturing by the first camera 24a using the first correction formula. The measurement unit 23 also obtains a second corrected image by correcting the coordinate value of the captured image obtained by the second camera 24b by using the second correction formula. Then, the parallax is calculated from the first corrected image and the second corrected image, and the parallax image (depth) indicating the depth value (depth) of each pixel of the reference image of the first corrected image and the second corrected image is displayed. Map) can be generated and output.
本変形例においても、距離Ｘ１に対応する空間周波数の成分と、距離Ｘ２に対応する空間周波数の成分とを含むように第２の画像を生成することで、何れの距離（Ｘ１、Ｘ２）で撮像を行う場合であっても、安定して特徴点を抽出することができる。また、本変形例においては、キャリブレーションに用いられる被撮像用具３０の数は１つで済むので、構成を簡素化できるという利点もある。 Also in this modification, by generating the second image so as to include the spatial frequency component corresponding to the distance X1 and the spatial frequency component corresponding to the distance X2, at any distance (X1, X2) Even when the image is taken, the feature points can be stably extracted. Further, in the present modification, since the number of the imaging target tools 30 used for calibration is only one, there is also an advantage that the configuration can be simplified.
図１３は、変形例の算出部２２の動作例を示すフローチャートである。 FIG. 13 is a flowchart showing an operation example of the calculation unit 22 of the modified example.
まず、第１取得部３１は、撮像部２１から第１距離Ｘ１（この例では５ｍ）だけ離れた被撮像用具３０（第２の画像が表示された被撮像用具３０）を第１カメラ２４ａで撮像することで得られた第１撮像画像と、該被撮像用具３０を第２カメラ２４ｂで撮像することで得られた第２撮像画像とを取得する（ステップＳ２１）。次に、第１算出部３２は、ステップＳ２１で取得された第１撮像画像および第２撮像画像と、既知の第１距離Ｘ１（この例では５ｍ）とに基づいて、上述の第１対応データを算出する（ステップＳ２２）。この第１対応データの算出方法は、上述したとおりである。 First, the first acquisition unit 31 uses the first camera 24a to move the imaged tool 30 (the imaged tool 30 on which the second image is displayed) that is separated from the imaging unit 21 by the first distance X1 (5 m in this example). The first captured image obtained by capturing the image and the second captured image obtained by capturing the imaged tool 30 with the second camera 24b are acquired (step S21). Next, the first calculating unit 32, based on the first captured image and the second captured image acquired in step S21, and the known first distance X1 (5 m in this example), the above-described first correspondence data. Is calculated (step S22). The method of calculating the first correspondence data is as described above.
次に、第２取得部３３は、撮像部２１から第２距離Ｘ２（この例では１ｍ）だけ離れた被撮像用具３０（第２の画像が表示された被撮像用具３０）を第１カメラ２４ａで撮像することにより得られた第３撮像画像と、該被撮像用具３０を第２カメラ２４ｂで撮像することで得られた第４撮像画像とを取得する（ステップＳ２３）。次に、第２算出部３４は、ステップＳ２３で取得された第３撮像画像および第４撮像画像と、既知の第２距離Ｘ２（この例では１ｍ）とに基づいて、上述の第２対応データを算出する（ステップＳ２４）。この第２対応データの算出方法は、上述したとおりである。 Next, the second acquisition unit 33 sets the imaged tool 30 (the imaged tool 30 on which the second image is displayed) separated by the second distance X2 (1 m in this example) from the image capturing section 21 to the first camera 24a. The third captured image obtained by capturing the image in (3) and the fourth captured image obtained by capturing the imaged tool 30 with the second camera 24b are acquired (step S23). Next, the second calculator 34, based on the third captured image and the fourth captured image acquired in step S23, and the known second distance X2 (1 m in this example), the above-described second correspondence data. Is calculated (step S24). The method of calculating the second correspondence data is as described above.
次に、第３算出部３５は、ステップＳ２２で算出された第１対応データと、ステップＳ４で算出された第２対応データとに基づいて補正パラメータを算出する（ステップＳ２５）。上述したように、第３算出部３５は、第１撮像画像に対応する第１対応データと、第３撮像画像に対応する第２対応データとに基づいて、第１カメラ１１ａによる撮像で得られる撮像画像の座標値と、目標座標値との関係を表す第１補正式の係数を、補正パラメータとして算出する。また、第３算出部３５は、第２撮像画像に対応する第１対応データと、第４撮像画像に対応する第２対応データとに基づいて、第２カメラ１１ｂによる撮像で得られる撮像画像の座標値と、目標座標値との関係を表す第２補正式の係数を、補正パラメータとして算出する。 Next, the third calculator 35 calculates the correction parameter based on the first corresponding data calculated in step S22 and the second corresponding data calculated in step S4 (step S25). As described above, the third calculating unit 35 is obtained by the image pickup by the first camera 11a based on the first corresponding data corresponding to the first captured image and the second corresponding data corresponding to the third captured image. The coefficient of the first correction equation representing the relationship between the coordinate value of the captured image and the target coordinate value is calculated as the correction parameter. Further, the third calculating unit 35, based on the first correspondence data corresponding to the second pickup image and the second correspondence data corresponding to the fourth pickup image, of the pickup image obtained by the second camera 11b. The coefficient of the second correction equation representing the relationship between the coordinate value and the target coordinate value is calculated as a correction parameter.
そして、測定部２３は、ステップＳ２５で算出した補正パラメータを用いて、撮像画像の補正（校正）を行う（ステップＳ２６）。上述したように、測定部２３は、第１補正式を用いて、第１カメラ２４ａによる撮像で得られた撮像画像の座標値を補正することで、第１補正画像を得る。また、測定部２３は、第２補正式を用いて、第２カメラ２４ｂによる撮像で得られた撮像画像の座標値を補正することで、第２補正画像を得る。 Then, the measurement unit 23 corrects (calibrates) the captured image using the correction parameter calculated in step S25 (step S26). As described above, the measurement unit 23 obtains the first corrected image by correcting the coordinate value of the captured image obtained by the first camera 24a by using the first correction formula. The measurement unit 23 also obtains a second corrected image by correcting the coordinate value of the captured image obtained by the second camera 24b by using the second correction formula.
以上のような校正方法（撮像画像の座標値を補正する方法）は、校正パターン（チャート等も含む）を用いてステレオカメラを校正する校正方法であって、校正パターンとして複数の空間周波数と１対１に対応する複数の第１の画像を合成して生成された第２の画像に基づく校正パターンを用い、第１の撮像ステップと第２の撮像ステップと校正ステップとを含むと考えることができる。第１の撮像ステップは、第１の距離での撮像によって、校正パターンを含む画像（以上の例では第１撮像画像、第２撮像画像に対応）を得るステップである。第２の撮像ステップは、第１の距離とは異なる第２の距離での撮像によって、校正パターンを含む画像（以上の例では第３撮像画像、第４撮像画像に対応）を得るステップである。校正ステップは、第１の距離で得られた画像および第２の距離で得られた画像に基づいて、ステレオカメラの校正を行うステップである。 The above-described calibration method (method of correcting the coordinate value of a captured image) is a calibration method of calibrating a stereo camera using a calibration pattern (including a chart, etc.). It may be considered that a calibration pattern based on a second image generated by combining a plurality of first images corresponding to pair 1 is used, and that the first imaging step, the second imaging step, and the calibration step are included. it can. The first imaging step is a step of obtaining an image including the calibration pattern (corresponding to the first captured image and the second captured image in the above example) by capturing at the first distance. The second imaging step is a step of obtaining an image including the calibration pattern (corresponding to the third captured image and the fourth captured image in the above example) by capturing at a second distance different from the first distance. .. The calibration step is a step of calibrating the stereo camera based on the image obtained at the first distance and the image obtained at the second distance.
また、上記実施形態および変形例におけるパターン投影装置１０は、ステレオカメラの校正（キャリブレーション）のみに用いられるわけではなく、ステレオカメラ動作時の視差の計算にも利用できる。例えば、特開２００７−１０１２７６号公報等のようなパターン照射を利用するステレオカメラを備えたシステムにも用いられ得る。すなわち、照射したパターンに基づいて視差の計算を行うシステムであって、パターンとして、複数の空間周波数と１対１に対応する複数の第１の画像を合成して生成された第２の画像に基づくパターンを用い、そのパターンに基づいて、視差の計算を行うシステムであってもよい。 Further, the pattern projection apparatus 10 in the above-described embodiment and modification is not only used for calibration of the stereo camera, but can also be used for calculation of parallax during operation of the stereo camera. For example, it can also be used in a system including a stereo camera that uses pattern irradiation, such as Japanese Patent Laid-Open No. 2007-101276. That is, it is a system that calculates a parallax based on an illuminated pattern, and a pattern is generated by combining a plurality of first images corresponding to a plurality of spatial frequencies with a second image generated by combining the plurality of first images. It may be a system that uses a pattern based on the pattern and calculates the parallax based on the pattern.
（プログラム）
上述した実施形態のパターン投影装置１０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
(program)
The program executed by the pattern projection apparatus 10 according to the above-described embodiment is a file in an installable format or an executable format, which is a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile Disk), or a USB. (Universal Serial Bus) or the like may be recorded on a computer-readable recording medium and provided, or may be provided or distributed via a network such as the Internet. Further, various programs may be configured to be provided by being pre-installed in a ROM or the like.
１ システム
１０ パターン投影装置
２０ 三次元測定装置
２１ 撮像部
２２ 算出部
２３ 測定部
３０ 被撮像用具
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 投影部
１０５ Ｉ／Ｆ部
１０６ 光源
１０７ 画像形成部
１０８ レンズ部
１１０ 取得部
１２０ 生成部
１３０ 出力制御部
1 system 10 pattern projection device 20 three-dimensional measuring device 21 imaging unit 22 calculation unit 23 measuring unit 30 imaged tool 101 CPU
102 ROM
103 RAM
104 Projection Unit 105 I/F Unit 106 Light Source 107 Image Forming Unit 108 Lens Unit 110 Acquisition Unit 120 Generation Unit 130 Output Control Unit
本発明は、校正方法に関する。 The present invention relates to a calibration method .
上述した課題を解決し、目的を達成するために、本発明は、それぞれ異なる空間周波数を含む複数の第１の画像を合成して生成された第２の画像、を含むパターンを印刷するステップと、印刷された前記パターンをステレオカメラで撮像するステップと、前記パターンを撮像した撮像画像に基づいて、前記ステレオカメラの校正を行うステップと、を含むことを特徴とする。 In order to solve the above-mentioned problems and to achieve the object, the present invention includes a step of printing a pattern including a second image generated by combining a plurality of first images each including a different spatial frequency. A step of capturing an image of the printed pattern with a stereo camera, and a step of calibrating the stereo camera based on a captured image obtained by capturing the pattern .
以下、添付図面を参照しながら、本発明に係る校正方法の実施形態を詳細に説明する。以下では、本発明が適用される画像処理装置の一例として、画像投影装置の一態様であるパターン投影装置を例に挙げて説明するが、これに限られるものではない。 Hereinafter, embodiments of a calibration method according to the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, as an example of the image processing apparatus to which the present invention is applied, a pattern projection apparatus which is one aspect of the image projection apparatus will be described as an example, but the invention is not limited thereto.
図８は、第２の画像を生成する場合のパターン投影装置１０の動作例を示すフローチャートである。図８に示すように、まず取得部１１０は、複数の空間周波数と１対１に対応する複数の第１の画像を生成する（ステップＳ１０）。具体的な内容は上述したとおりである。次に、生成部１２０は、ステップＳ１０で生成された複数の第１の画像を合成して第２の画像を生成する（ステップＳ１１）。具体的な内容は上述したとおりである。 FIG. 8 is a flowchart showing an operation example of the pattern projection device 10 when generating the second image. As shown in FIG. 8, first acquisition unit 110 generates a plurality of first images corresponding to a plurality of spatial frequencies in one-to-one (step S 10). The specific content is as described above. Then, generation unit 120, a plurality of first image generated in step S 10 generates a second image by synthesizing (step S 11). The specific content is as described above.
Claims (7)
前記取得部により取得された前記複数の第１の画像を合成して第２の画像を生成する生成部と、を備え、
前記取得部は、第１の画像のサイズとは異なるサイズの画像領域に含まれる複数の画素の各々の画素値をランダムに決定することで原画像を生成し、該原画像のサイズを第１の画像と同じサイズに変更することで、前記複数の空間周波数のうちの一の空間周波数に対応する第１の画像を生成する、
画像処理装置。 An acquisition unit that acquires a plurality of first images corresponding to a plurality of spatial frequencies and one-to-one;
A generating unit configured to combine the plurality of first images acquired by the acquiring unit to generate a second image,
The acquisition unit generates an original image by randomly determining a pixel value of each of a plurality of pixels included in an image area having a size different from the size of the first image, and determines the size of the original image as the first image. To generate a first image corresponding to one spatial frequency of the plurality of spatial frequencies by changing the size to the same size as the image of
Image processing device.
請求項１に記載の画像処理装置。 Each of the plurality of first images includes at least a corresponding spatial frequency component,
The image processing apparatus according to claim 1.
前記取得部は、生成した原画像のサイズを第１の画像と同じサイズに拡大することで、前記複数の空間周波数のうちの一の空間周波数に対応する第１の画像を生成する、
請求項１に記載の画像処理装置。 The size of the image area is smaller than the size of the first image,
The acquisition unit generates a first image corresponding to one spatial frequency of the plurality of spatial frequencies by enlarging the size of the generated original image to the same size as the first image,
The image processing apparatus according to claim 1.
請求項１乃至３のうちの何れか１項に記載の画像処理装置。 The generation unit calculates, for each of a plurality of pixels included in each of the plurality of first images, an average of brightness values of the pixels in each of the plurality of first images, thereby setting the first brightness value. Generate two images,
The image processing apparatus according to any one of claims 1 to 3.
請求項１乃至４のうちの何れか１項に記載の画像処理装置。 Further comprising an output control unit that controls output based on the second image,
The image processing apparatus according to any one of claims 1 to 4.
前記取得ステップにより取得された前記複数の第１の画像を合成して第２の画像を生成する生成ステップと、を含み、
前記取得ステップは、第１の画像のサイズとは異なるサイズの画像領域に含まれる複数の画素の各々の画素値をランダムに決定することで原画像を生成し、該原画像のサイズを第１の画像と同じサイズに変更することで、前記複数の空間周波数のうちの一の空間周波数に対応する第１の画像を生成する、
画像処理方法。 An acquisition step of acquiring a plurality of first images corresponding to a plurality of spatial frequencies and one-to-one;
A generating step of generating a second image by combining the plurality of first images acquired by the acquiring step,
In the acquisition step, an original image is generated by randomly determining pixel values of a plurality of pixels included in an image region having a size different from the size of the first image, and the size of the original image is set to the first value. To generate a first image corresponding to one spatial frequency of the plurality of spatial frequencies by changing the size to the same size as the image of
Image processing method.
複数の空間周波数と１対１に対応する複数の第１の画像を取得する取得ステップと、
前記取得ステップにより取得された前記複数の第１の画像を合成して第２の画像を生成する生成ステップと、を実行させ、
前記取得ステップは、第１の画像のサイズとは異なるサイズの画像領域に含まれる複数の画素の各々の画素値をランダムに決定することで原画像を生成し、該原画像のサイズを第１の画像と同じサイズに変更することで、前記複数の空間周波数のうちの一の空間周波数に対応する第１の画像を生成する、
ためのプログラム。 On the computer,
An acquisition step of acquiring a plurality of first images corresponding to a plurality of spatial frequencies and one-to-one;
A generation step of combining the plurality of first images acquired by the acquisition step to generate a second image,
In the acquisition step, an original image is generated by randomly determining a pixel value of each of a plurality of pixels included in an image area having a size different from the size of the first image, and the size of the original image is set to the first value. To generate a first image corresponding to one spatial frequency of the plurality of spatial frequencies by changing the size to the same size as the image of
Program for.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015008876 | 2015-01-20 | ||
| JP2015008876 | 2015-01-20 | ||
| JP2015237429A JP6657880B2 (en) | 2015-01-20 | 2015-12-04 | Image processing apparatus, image processing method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015237429A Division JP6657880B2 (en) | 2015-01-20 | 2015-12-04 | Image processing apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020102230A true JP2020102230A (en) | 2020-07-02 |
| JP6969619B2 JP6969619B2 (en) | 2021-11-24 |
Family
ID=56512154
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015237429A Active JP6657880B2 (en) | 2015-01-20 | 2015-12-04 | Image processing apparatus, image processing method, and program |
| JP2020018970A Active JP6969619B2 (en) | 2015-01-20 | 2020-02-06 | Calibration method |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015237429A Active JP6657880B2 (en) | 2015-01-20 | 2015-12-04 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP6657880B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6680119B2 (en) | 2016-07-11 | 2020-04-15 | 株式会社デンソー | Vehicle air conditioner |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0921620A (en) * | 1995-07-05 | 1997-01-21 | Fuji Facom Corp | Method for measuring three-dimensional shape of object |
| JP2003207324A (en) * | 2002-01-16 | 2003-07-25 | Olympus Optical Co Ltd | Method and device for acquiring three-dimensional information |
| JP2004078314A (en) * | 2002-08-09 | 2004-03-11 | Ricoh Co Ltd | Control method for image input device, encapsulated document and storage medium |
| US20080279446A1 (en) * | 2002-05-21 | 2008-11-13 | University Of Kentucky Research Foundation | System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns |
| JP2010177921A (en) * | 2009-01-28 | 2010-08-12 | Fujifilm Corp | Stereoscopic imaging apparatus and stereoscopic imaging method |
-
2015
- 2015-12-04 JP JP2015237429A patent/JP6657880B2/en active Active
-
2020
- 2020-02-06 JP JP2020018970A patent/JP6969619B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0921620A (en) * | 1995-07-05 | 1997-01-21 | Fuji Facom Corp | Method for measuring three-dimensional shape of object |
| JP2003207324A (en) * | 2002-01-16 | 2003-07-25 | Olympus Optical Co Ltd | Method and device for acquiring three-dimensional information |
| US20080279446A1 (en) * | 2002-05-21 | 2008-11-13 | University Of Kentucky Research Foundation | System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns |
| JP2004078314A (en) * | 2002-08-09 | 2004-03-11 | Ricoh Co Ltd | Control method for image input device, encapsulated document and storage medium |
| JP2010177921A (en) * | 2009-01-28 | 2010-08-12 | Fujifilm Corp | Stereoscopic imaging apparatus and stereoscopic imaging method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6657880B2 (en) | 2020-03-04 |
| JP6969619B2 (en) | 2021-11-24 |
| JP2016136720A (en) | 2016-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8922626B2 (en) | Stereo camera apparatus and method of obtaining image | |
| JP5035372B2 (en) | 3D modeling apparatus, 3D modeling method, and program | |
| WO2017002293A1 (en) | Real-time-measurement projection device and three-dimensional-projection measurement device | |
| US10939081B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP7387434B2 (en) | Image generation method and image generation device | |
| US10621694B2 (en) | Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium | |
| JP2019144606A (en) | Output device, control method, and program | |
| WO2012029658A1 (en) | Imaging device, image-processing device, image-processing method, and image-processing program | |
| JP2010152521A (en) | Apparatus and method for performing stereographic processing to image | |
| JP2008216127A (en) | Distance image generation device, distance image generation method, and program | |
| JP6604908B2 (en) | Image processing apparatus, control method thereof, and control program | |
| JP2008216126A (en) | Distance image generating device, distance image generation method, and program | |
| JP6969619B2 (en) | Calibration method | |
| US9762790B2 (en) | Image pickup apparatus using edge detection and distance for focus assist | |
| JP2017011652A (en) | Image processing device, imaging apparatus, image processing method and program | |
| JP6532328B2 (en) | Image processing apparatus, control method therefor, and control program | |
| JP2010124061A (en) | System, method and program for specifying pixel position correspondence relation | |
| JP2017143504A5 (en) | ||
| JP2008021210A (en) | Method, device and program for generating free-viewpoint image using multi-viewpoint image | |
| JP6732440B2 (en) | Image processing apparatus, image processing method, and program thereof | |
| JP6604783B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| WO2016194576A1 (en) | Information processing device and method | |
| JP2012150614A (en) | Free viewpoint image generation device | |
| JP6585890B2 (en) | Image processing apparatus, image processing method and program, and imaging apparatus | |
| JP2014049895A (en) | Image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200309 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210302 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210413 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210928 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211011 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6969619 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |