JP2013258455A - Image processing apparatus, method, and program - Google Patents
Image processing apparatus, method, and program Download PDFInfo
- Publication number
- JP2013258455A JP2013258455A JP2012131654A JP2012131654A JP2013258455A JP 2013258455 A JP2013258455 A JP 2013258455A JP 2012131654 A JP2012131654 A JP 2012131654A JP 2012131654 A JP2012131654 A JP 2012131654A JP 2013258455 A JP2013258455 A JP 2013258455A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- color image
- depth information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 35
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 239000000284 extract Substances 0.000 claims abstract description 4
- 239000002131 composite material Substances 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 239000003086 colorant Substances 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 21
- 230000003595 spectral effect Effects 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 11
- 238000001228 spectrum Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、画像処理装置、方法、及びプログラムに係り、特に、マルチバンド画像を生成して出力する画像処理装置、方法、及びプログラムに関する。 The present invention relates to an image processing apparatus, method, and program, and more particularly, to an image processing apparatus, method, and program for generating and outputting a multiband image.
非特許文献１や非特許文献２に示されるような、ＲＧＢ（３バンド）デジタルカメラとデジタルカメラが持つ本来のR（赤）、G（緑）、B（青）の各色に対応するフィルタの透過波長の一部のみを透過する光学フィルタをレンズの前に取付けて、２枚以上の画像を撮影し、得られた画像から４バンド以上のマルチバンド画像を生成する技術が知られている。生成されたマルチバンド画像を用いることで、被写体の色をより正確に再現することが可能となる。 Filters corresponding to the original R (red), G (green), and B (blue) colors of RGB (3-band) digital cameras and digital cameras as shown in Non-Patent Document 1 and Non-Patent Document 2 A technique is known in which an optical filter that transmits only a part of the transmission wavelength is attached in front of a lens, two or more images are taken, and a multiband image of four or more bands is generated from the obtained images. By using the generated multiband image, the color of the subject can be reproduced more accurately.
非特許文献１及び非特許文献２の場合には、例えば、図１１に示すように、ＲＧＢカメラ５０１ａ及びカラーフィルタ５０１ｂを組み合わせた画像入力部５０１により３バンド画像１を得ると共に、ＲＧＢカメラ５０２ａを有する画像入力部５０２により３バンド画像１を得ることにより、フィルタの厚み等による光学収差や、対応する被写体上の同一点が画像上で異なる位置に記録されている２種類の３バンド画像が得られ、従来の画像処理装置５０３の対応点探索部５０３ａにより、３バンド画像１及び３バンド画像２の対応点を検出し、画像変形処理部５０３ｂにより、３バンド画像１及び３バンド画像２の何れか一方を幾何的に変形させ、他方の画像に一致させる事で６バンド画像を生成している。そして、色再現処理部５０３ｃにより、上記得られた全てのバンドの画像を用いて色再現演算を行ない、その結果からＲＧＢ画像を生成している（図１２も参照）。 In the case of Non-Patent Document 1 and Non-Patent Document 2, for example, as shown in FIG. 11, a 3-band image 1 is obtained by an image input unit 501 combining an RGB camera 501a and a color filter 501b, and an RGB camera 502a is installed. By obtaining the three-band image 1 using the image input unit 502, two types of three-band images in which the optical aberration due to the filter thickness and the like and the corresponding point on the subject are recorded at different positions on the image are obtained. The corresponding point search unit 503a of the conventional image processing apparatus 503 detects corresponding points of the 3-band image 1 and the 3-band image 2, and the image deformation processing unit 503b detects any of the 3-band image 1 and the 3-band image 2. One of them is geometrically deformed and matched with the other image to generate a 6-band image. Then, the color reproduction processing unit 503c performs color reproduction calculation using all the obtained band images, and generates an RGB image from the result (see also FIG. 12).
また、非特許文献２と同様に画像全体で画像間での対応点探索を行った後に、検出された対応点を用いた非線形的な画像変形処理を施すことにより、滑らかに奥行きが変化する被写体に対して、対応点の位置ずれがほとんど無いマルチバンド画像を生成する技術が知られている（非特許文献３）。 In addition, similar to Non-Patent Document 2, a subject whose depth changes smoothly by performing a non-linear image transformation process using the detected corresponding point after searching for the corresponding point between images in the entire image. On the other hand, a technique for generating a multiband image with almost no positional deviation of corresponding points is known (Non-Patent Document 3).
カメラの光軸中心にある被写体は、奥行き方向の距離が変わっても、フィルタへの入射角は変化しない。被写体の、奥行き方向の距離やカメラの光軸からの離れ具合により、光学フィルタへの光線の入射角が異なる。光学フィルタには厚みがあるため、入射角が異なると光学フィルタでの屈折角も異なる。そのため、奥行きがある被写体やシーンを撮影する場合、カメラ等の撮影機材が完全に固定され動かないとしても、光学フィルタを装着して撮影した画像と、光学フィルタ無しで撮影した画像を重ねた場合、対応する被写体上の同一の点が画像上での位置が一致しない現象が生じる。この状態のまま色再現演算処理を実施した場合、色再現結果画像上において、撮影画像間での位置ずれが存在する部分で多重エッジや偽色が生じてしまう、という問題がある。 The subject at the center of the optical axis of the camera does not change the incident angle to the filter even if the distance in the depth direction changes. The incident angle of the light beam to the optical filter varies depending on the distance in the depth direction of the subject and the distance from the optical axis of the camera. Since the optical filter has a thickness, if the incident angle is different, the refraction angle in the optical filter is also different. Therefore, when shooting a subject or scene with depth, even if the camera or other shooting equipment is completely fixed and does not move, the image shot with the optical filter attached and the image shot without the optical filter are superimposed A phenomenon occurs in which the same point on the corresponding subject does not match the position on the image. When the color reproduction calculation process is performed in this state, there is a problem in that multiple edges and false colors are generated in a portion where there is a positional deviation between captured images on the color reproduction result image.
上記の非特許文献２では画像全体での対応点探索を行い、得られた検出結果から、画像の射影変換による画像変形を行うことで、平面状の被写体に対しては対応点の位置ずれがほとんど無いマルチバンド画像および色再現結果画像を得ている。しかし、この手法では、奥行きがある被写体に対しては十分な成果が得られていない。例えば、手前の被写体では位置ずれが少ないが、奥側の被写体には位置ずれが生じている、または位置ずれが画像全体で平均的に残っている、などといった状態が起こってしまう、という問題がある。 In Non-Patent Document 2 described above, corresponding points are searched for in the entire image, and image deformation is performed by projective transformation of the image based on the obtained detection result. Almost no multiband image and color reproduction result image are obtained. However, with this method, sufficient results have not been obtained for subjects with depth. For example, there is a problem that the position of the subject in front is small but the position of the subject in the back is misaligned, or the misalignment remains on the entire image. is there.
また、上記の非特許文献３では、前景と背景といったような不連続かつ急激に奥行方向の距離が変わる被写体（シーン）に対しては、特にその境界部分においては対応点のずれの解消が十分ではない、という問題がある。これは画像全体で検出された対応点を用いて非線形変換のパラメータを算出している事に起因する。 Further, in Non-Patent Document 3 described above, for a subject (scene) whose distance in the depth direction changes discontinuously such as the foreground and background, it is sufficient to eliminate the deviation of corresponding points particularly in the boundary portion. There is a problem that is not. This is due to the fact that non-linear transformation parameters are calculated using corresponding points detected in the entire image.
本発明は、上記の問題を解決するためになされたもので、撮影画像間での位置ずれを抑制したマルチバンド画像を生成することができる画像処理装置、方法、及びプログラムを提供することを目的とする。 The present invention has been made to solve the above problem, and an object of the present invention is to provide an image processing apparatus, method, and program capable of generating a multiband image in which positional deviation between captured images is suppressed. And
上記目的を達成するために、第１の発明の画像処理装置は、カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得する画像取得手段と、前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との対応点を複数検出する対応点検出手段と、前記対応点検出手段によって検出された前記複数の対応点の各々における被写体までの奥行情報を計算する奥行情報計算手段と、前記奥行情報計算手段によって計算された前記複数の対応点の各々の奥行情報に基づいて、前記奥行情報の段階毎に、前記段階の奥行情報を持つ画像領域を、前記第１カラー画像及び前記第２カラー画像の各々から抽出する画像領域抽出手段と、前記奥行情報の段階毎に、前記段階の奥行情報を持つ画像領域について前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように、前記第１カラー画像及び前記第２カラー画像の何れか一方の前記画像領域を変形した変形画像領域を生成する画像変形手段と、前記奥行情報の各段階に対応する前記変形画像領域を合成した合成画像を生成する画像合成手段と、前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の何れか他方、及び前記画像合成手段によって生成された前記合成画像を出力する画像出力手段と、を含んで構成されている。第１カラー画像は、異なる狭帯域バンドパスフィルタを取り付けた複数台のカメラで撮影されたものであってもよい。なお本発明は６バンド画像に限定したものではない。例えば前述のカラー画像取得手段は、第２カラー画像取得手段と、複数台のカラーカメラもしくは白黒カメラに透過特性が異なるカラーフィルタをそれぞれ取り付ける画像取得手段との組み合わせであっても良い。また、白黒カメラの前にフィルタ・ターレットを取り付け時分割でマルチバンド画像を撮影する形態でも良い。フィルタの抜き差し/入れ替えは手挿しでもフィルタ・ターレットを使用しても良い。以上は、以下に記す第２〜４の発明に関しても同様である。 In order to achieve the above object, an image processing apparatus according to a first aspect of the present invention includes a first color image photographed using a color filter that transmits a part of wavelengths of colors that can be photographed by a camera, and the color filter. Image acquisition means for acquiring a second color image photographed without use, and corresponding point detection means for detecting a plurality of corresponding points between the first color image and the second color image acquired by the image acquisition means; Depth information calculation means for calculating depth information to the subject at each of the plurality of corresponding points detected by the corresponding point detection means, and depth of each of the plurality of corresponding points calculated by the depth information calculation means Based on the information, for each stage of the depth information, an image area extraction that extracts an image area having the depth information of the stage from each of the first color image and the second color image. And corresponding position of each corresponding point based on the plurality of corresponding points detected by the corresponding point detecting means for the image area having the depth information of the step for each step of the depth information, An image deforming unit that generates a deformed image region obtained by deforming any one of the first color image and the second color image, and a composition obtained by combining the deformed image region corresponding to each step of the depth information. Image synthesis means for generating an image; image output for outputting either the first color image or the second color image acquired by the image acquisition means; and the synthesized image generated by the image synthesis means And means. The first color image may be taken by a plurality of cameras equipped with different narrow-band bandpass filters. Note that the present invention is not limited to 6-band images. For example, the above-described color image acquisition unit may be a combination of the second color image acquisition unit and an image acquisition unit for attaching color filters having different transmission characteristics to a plurality of color cameras or monochrome cameras. Alternatively, a filter turret may be attached in front of a black and white camera to shoot multiband images in a time division manner. Filters can be inserted / removed manually or by using a filter turret. The same applies to the second to fourth inventions described below.
第２の発明の画像処理方法は、画像取得手段、対応点検出手段、奥行情報計算手段、画像領域抽出手段、画像変形手段、画像合成手段、及び画像出力手段を含む画像処理装置における画像処理方法であって、前記画像取得手段によって、カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得し、前記対応点検出手段によって、前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との対応点を複数検出し、前記奥行情報計算手段によって、前記対応点検出手段によって検出された前記複数の対応点の各々における被写体までの奥行情報を計算し、前記画像領域抽出手段によって、前記奥行情報計算手段によって計算された前記複数の対応点の各々の奥行情報に基づいて、前記奥行情報の段階毎に、前記段階の奥行情報を持つ画像領域を、前記第１カラー画像及び前記第２カラー画像の各々から抽出し、前記画像変形手段によって、前記奥行情報の段階毎に、前記段階の奥行情報を持つ画像領域について前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように、前記第１カラー画像及び前記第２カラー画像の何れか一方の前記画像領域を変形した変形画像領域を生成し、前記画像合成手段によって、前記奥行情報の各段階に対応する前記変形画像領域を合成した合成画像を生成し、前記画像出力手段によって、前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の何れか他方、及び前記画像合成手段によって生成された前記合成画像を出力する。 An image processing method according to a second aspect of the present invention is an image processing method in an image processing apparatus including image acquisition means, corresponding point detection means, depth information calculation means, image region extraction means, image deformation means, image composition means, and image output means. A first color image photographed using a color filter that transmits a part of wavelengths of colors that can be photographed by the camera and a second photographed without using the color filter. A color image is acquired, a plurality of corresponding points between the first color image and the second color image acquired by the image acquisition unit are detected by the corresponding point detection unit, and the correspondence information is detected by the depth information calculation unit. Depth information to the subject at each of the plurality of corresponding points detected by the point detection unit is calculated, and the depth information calculation unit is calculated by the image region extraction unit. Based on the depth information of each of the plurality of corresponding points calculated by the above, for each step of the depth information, an image region having the depth information of the step is set to each of the first color image and the second color image. For each corresponding point based on the plurality of corresponding points detected by the corresponding point detecting unit for the image area having the depth information of the step for each step of the depth information. A deformed image region is generated by deforming one of the first color image and the second color image so that the positions coincide with each other, and each step of the depth information is handled by the image composition means. Generating a synthesized image obtained by synthesizing the deformed image area, and obtaining the first color image and the second color image obtained by the image obtaining unit by the image output unit. And the other, and outputs the synthesized image generated by the image synthesizing unit.
このように、奥行情報の段階毎に、当該段階の奥行情報を持つ画像領域を、第１カラー画像及び前記第２カラー画像の各々から抽出して、各対応点の位置が一致するように、画像領域を変形した変形画像領域を生成し、変形画像領域を合成した合成画像を生成して、第１カラー画像または第２カラー画像、及び合成画像を出力することにより、撮影画像間での位置ずれを抑制したマルチバンド画像を生成することができる。 Thus, for each stage of the depth information, an image area having the depth information of the stage is extracted from each of the first color image and the second color image so that the positions of the corresponding points match. A position between the captured images is generated by generating a deformed image area obtained by deforming the image area, generating a composite image by combining the deformed image areas, and outputting the first color image or the second color image and the composite image. A multiband image in which the shift is suppressed can be generated.
第３の発明の画像処理装置は、カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得する画像取得手段と、前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との各々を小領域画像に分割する画像分割処理手段と、前記小領域画像毎に、前記画像取得手段によって取得された前記第１カラー画像の前記小領域画像と、前記第２カラー画像の対応する前記小領域画像との対応点を複数検出する前記対応点検出手段と、前記小領域画像毎に、前記対応点検出手段によって検出された前記対応点に基づいて、各対応点の位置が一致するように前記第１カラー画像及び前記第２カラー画像の何れか一方の前記小領域画像を変形した変形小領域画像を生成する画像変形手段と、前記画像変形手段によって生成された前記変形小領域画像を貼り合わせるように合成した合成画像を生成する画像合成手段と、前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の何れか他方、及び前記画像貼り合わせ処理手段によって生成された前記合成画像を出力する画像出力手段と、を含んで構成されている。 An image processing apparatus according to a third aspect of the present invention is a first color image captured using a color filter that transmits a part of wavelengths of colors that can be captured by a camera, and a second image captured without using the color filter. Image acquisition means for acquiring a color image, image division processing means for dividing each of the first color image and the second color image acquired by the image acquisition means into small area images, and each small area image The corresponding point detecting means for detecting a plurality of corresponding points between the small area image of the first color image acquired by the image acquiring means and the corresponding small area image of the second color image; Before each of the first color image and the second color image so that the positions of the corresponding points coincide with each other based on the corresponding points detected by the corresponding point detection means for each small area image. An image deforming unit that generates a deformed small region image obtained by deforming a small region image, an image compositing unit that generates a composite image by combining the deformed small region images generated by the image deforming unit, and the image One of the first color image and the second color image acquired by the acquisition means, and an image output means for outputting the composite image generated by the image stitching processing means. Yes.
このように、第１カラー画像及び前記第２カラー画像の各々を小領域画像に分割し、分割した小領域画像毎に、各対応点の位置が一致するように、小領域領域を変形した変形小領域画像を生成し、変形小領域画像を合成した合成画像を生成して、第１カラー画像または第２カラー画像、及び合成画像を出力することにより、撮影画像間での位置ずれを抑制したマルチバンド画像を生成することができる。 In this way, each of the first color image and the second color image is divided into small area images, and the small area area is deformed so that the positions of the corresponding points match for each divided small area image. By generating a small area image, generating a composite image obtained by combining the deformed small area image, and outputting the first color image or the second color image and the composite image, the positional deviation between the captured images is suppressed. Multiband images can be generated.
上記の画像処理装置は、前記画像取得手段によって取得された前記第２カラー画像及び前記画像合成手段によって生成された前記合成画像を用いて、被写体の色再現処理を行う色再現処理手段を更に含むようにすることができる。 The image processing apparatus further includes color reproduction processing means for performing color reproduction processing of a subject using the second color image acquired by the image acquisition means and the composite image generated by the image synthesis means. Can be.
なお、色再現処理は、被写体の色（例えば、スペクトル、分光反射率、色、ＲＧＢ/多原色画素値等）を計算（推定）し、計算した値を画素値とする色再現結果画像(例えば、スペクトル画像、分光反射率画像、ＲＧＢ画像等々）を生成する処理をいう。 The color reproduction process calculates (estimates) the color of the subject (for example, spectrum, spectral reflectance, color, RGB / multi-primary pixel value, etc.) and uses the calculated value as a pixel value (for example, a color reproduction result image). , Spectral image, spectral reflectance image, RGB image, etc.).
第４の発明の画像処理装置は、カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得する画像取得手段と、予め定められた前記カメラに関するパラメータ、及び予め定められた前記第１カラー画像及び前記第２カラー画像間の撮影位置及び姿勢に関するパラメータに基づいて、前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の各々から、同一視点から平行に見たときの第１平行投影カラー画像及び第２平行投影カラー画像を生成する平行化処理手段と、前記平行化処理手段によって生成された前記第１平行投影カラー画像と前記第２平行投影カラー画像との対応点を複数検出する対応点検出手段と、前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように、前記第１平行投影カラー画像及び前記第２平行投影カラー画像の何れか一方を変形した第３平行投影カラー画像を生成する画像変形手段と、前記平行化処理手段によって生成された前記第１平行投影カラー画像及び前記第２平行投影カラー画像の何れか他方、及び前記画像変形手段によって生成された前記第３平行投影カラー画像を出力する画像出力手段と、を含んで構成されている。 An image processing apparatus according to a fourth aspect of the present invention is a first color image captured using a color filter that transmits a part of wavelengths of colors that can be captured by the camera, and a second image captured without using the color filter. Based on image acquisition means for acquiring a color image, predetermined parameters relating to the camera, and predetermined parameters relating to the shooting position and orientation between the first color image and the second color image, the image acquisition is performed. Parallelization processing means for generating a first parallel projection color image and a second parallel projection color image when viewed in parallel from the same viewpoint from each of the first color image and the second color image acquired by the means; Corresponding point detection for detecting a plurality of corresponding points between the first parallel projection color image and the second parallel projection color image generated by the parallelization processing means. One of the first parallel projection color image and the second parallel projection color image so that the positions of the corresponding points coincide with each other based on the plurality of corresponding points detected by the corresponding point detection means. Image deformation means for generating a third parallel projection color image obtained by deforming one of the images, one of the first parallel projection color image and the second parallel projection color image generated by the parallelization processing means, and the image Image output means for outputting the third parallel projection color image generated by the deformation means.
このように、第１カラー画像及び第２カラー画像の各々から平行化処理によって生成された第１平行投影カラー画像及び第２平行投影カラー画像の何れか一方について、各対応点の位置が一致するように変形した第３平行投影カラー画像を生成し、第１平行投影カラー画像及び第２平行投影カラー画像の何れか他方、及び第３平行投影カラー画像を出力することにより、撮影画像間での位置ずれを抑制したマルチバンド画像を生成することができる。 As described above, the positions of the corresponding points coincide with each other in any one of the first parallel projection color image and the second parallel projection color image generated by the parallelization process from each of the first color image and the second color image. The third parallel projection color image deformed as described above is generated, and the other one of the first parallel projection color image and the second parallel projection color image and the third parallel projection color image are output. It is possible to generate a multiband image in which positional deviation is suppressed.
また、本発明のプログラムは、コンピュータを、上記の画像処理装置を構成する各手段として機能させるための画像処理プログラムである。 The program of the present invention is an image processing program for causing a computer to function as each means constituting the image processing apparatus.
以上説明したように、本発明の画像処理装置、方法、及びプログラムによれば、撮影画像間での位置ずれを抑制したマルチバンド画像を生成することができる。 As described above, according to the image processing apparatus, method, and program of the present invention, it is possible to generate a multiband image in which positional deviation between captured images is suppressed.
、という効果が得られる。 The effect of is obtained.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
［第１の実施の形態］
＜システム構成＞
第１の実施の形態に係る画像処理装置について説明する。
[First Embodiment]
<System configuration>
An image processing apparatus according to the first embodiment will be described.
第１の実施の形態に係る画像処理装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する色再現処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。またＧＰＵ（Graphics Processing Unit）などＣＰＵ以外の演算処理装置を備えていても良い。このコンピュータは、機能的には、図１に示すように、対応点検出部１４、奥行情報計算部１５、画像領域抽出部１６、画像変形処理部１７、画像合成部１８、画像出力部１９、及び色再現処理部２０を含んだ構成で表すことができる。 An image processing apparatus 10 according to the first embodiment includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory) that stores a program for executing a color reproduction processing routine described later. ). Moreover, you may provide arithmetic processing units other than CPU, such as GPU (Graphics Processing Unit). As shown in FIG. 1, this computer functionally includes a corresponding point detection unit 14, a depth information calculation unit 15, an image region extraction unit 16, an image deformation processing unit 17, an image composition unit 18, an image output unit 19, And the color reproduction processing unit 20 can be used.
画像処理装置１０には、画像入力部１１で撮影されて得られた３バンド画像１と、画像入力部１２で撮影されて得られたＲＧＢ（３バンド）画像２とが入力される。画像入力部１１は、ＲＧＢカメラ１１ａを有しており、画像入力部１２は、ＲＧＢカメラ１２ａを有している。ＲＧＢカメラ１１ａ及びＲＧＢカメラ１２ａは、共にＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor )等のセンサ及びＲＧＢ各色のフィルタを備えたデジタルカメラである。図２に示すように、画像入力部１１は、ＲＧＢカメラ１１ａの他、該ＲＧＢカメラ１１ａが有する本来のＲ、Ｇ、Ｂの各色に対応するフィルタの透過波長の一部のみを透過するカラーフィルタ１１ｂを備えている（図３（Ａ）参照）。画像入力部１１及び画像入力部１２により、６つのバンドの各々のデジタル信号値が、６バンド画像の画素値として得られる（図３（Ｂ）参照）。以下では、マルチバンド画像の一例として６バンド画像を例に挙げて説明するが、マルチバンド画像を６バンド画像に限定するものではない。 The image processing apparatus 10 receives a three-band image 1 obtained by photographing with the image input unit 11 and an RGB (three-band) image 2 obtained by photographing with the image input unit 12. The image input unit 11 has an RGB camera 11a, and the image input unit 12 has an RGB camera 12a. Each of the RGB camera 11a and the RGB camera 12a is a digital camera including a sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and filters for each color of RGB. As shown in FIG. 2, the image input unit 11 is a color filter that transmits only a part of the transmission wavelengths of the filters corresponding to the original R, G, and B colors of the RGB camera 11 a in addition to the RGB camera 11 a. 11b (see FIG. 3A). The digital signal values of each of the six bands are obtained as the pixel values of the six-band image by the image input unit 11 and the image input unit 12 (see FIG. 3B). In the following, a 6-band image will be described as an example of a multiband image, but the multiband image is not limited to a 6-band image.
画像処理装置１０の対応点検出部１４は、画像入力部１１から入力された３バンド画像１のデータ、及び画像入力部１２から入力された３バンド画像２のデータに基づいて、フィルタ無しで撮影した３バンド画像１を基準画像とし、２枚の３バンド画像間での対応点を複数検出する。 The corresponding point detection unit 14 of the image processing apparatus 10 takes an image without a filter based on the data of the 3-band image 1 input from the image input unit 11 and the data of the 3-band image 2 input from the image input unit 12. A plurality of corresponding points between two three-band images are detected using the three-band image 1 as a reference image.
２枚の３バンド画像間での対応点の検出は、例えば、位相限定相関法（参考文献（青木孝文、伊藤康一、柴原琢磨、長嶋聖、「位相限定相関法に基づく高精度マシンビジョン−ピクセル分解能の壁を越える画像センシング技術をめざして−」、Fundamentals Review Vol.1 No.1）を参照）に従って行えばよい。この場合には、図４に示すように、対応点検出部１４は、白黒画像生成部１１２ａ、１１２ｂと、位相画像生成部１１３ａ、１１３ｂと、相関画像生成部１１４と、対応点検出部１１５とを含んだ構成で表すことができる。この対応点検出部１４によれば、白黒画像生成部１１２ａ、１１２ｂで、３バンド画像１及び３バンド画像２から白黒画像を各々生成し、位相画像生成部１１３ａ及び１１３ｂで、生成された白黒画像各々から位相画像を生成する。そして、相関画像生成部１１４で、生成された２つの位相画像から相関画像を生成し、対応点検出部１１５で、生成された相関画像における相関値が最大の座標に基づいて２画像間のずれ量を求めて対応点を検出する。 Corresponding points between two 3-band images can be detected by, for example, phase-only correlation method (references (Takafumi Aoki, Koichi Ito, Takuma Shibahara, Kiyoshi Nagashima, “High-precision machine vision based on phase-only correlation method− Aiming at Image Sensing Technology that Crosses the Pixel Resolution Wall ”, see Fundamentals Review Vol.1 No.1)). In this case, as shown in FIG. 4, the corresponding point detection unit 14 includes black and white image generation units 112a and 112b, phase image generation units 113a and 113b, a correlation image generation unit 114, and a corresponding point detection unit 115. Can be expressed in a configuration including According to the corresponding point detection unit 14, the monochrome images are generated from the 3-band image 1 and the 3-band image 2 by the monochrome image generation units 112a and 112b, respectively, and the monochrome image generated by the phase image generation units 113a and 113b is generated. A phase image is generated from each. Then, the correlation image generation unit 114 generates a correlation image from the two generated phase images, and the corresponding point detection unit 115 shifts between the two images based on the coordinates having the maximum correlation value in the generated correlation image. Find the quantity and detect the corresponding points.
対応点検出部１４は、上記の対応点の検出の結果として、検出された対応点の数、及び３バンド画像１、２における対応点の座標およびズレ幅を出力する。 The corresponding point detection unit 14 outputs the number of detected corresponding points, the coordinates of the corresponding points in the 3-band images 1 and 2, and the deviation width as a result of the detection of the corresponding points.
奥行情報計算部１５は、対応点検出部１４によって検出された対応点の座標情報に基づいて、２枚の３バンド画像間での対応点の座標のずれ（視差）により、三角測量の原理に従って、対応点における被写体の奥行方向の距離を算出する。なお、本実施の形態では、対応点検出部１４による対応点検出時のサンプリングを１画素毎に行って、入力画像の全ての点における奥行方向の距離が求まるようにする。サンプリング間隔を広げ、もしくは対応点が見つからない場合には、周辺の画素に対応した奥行き方向の距離情報から推定、補間しても良い。 Based on the coordinate information of the corresponding points detected by the corresponding point detection unit 14, the depth information calculation unit 15 follows the principle of triangulation based on the deviation (parallax) of the coordinates of the corresponding points between the two three-band images. The distance in the depth direction of the subject at the corresponding point is calculated. In the present embodiment, sampling at the time of corresponding point detection by the corresponding point detection unit 14 is performed for each pixel so that distances in the depth direction at all points of the input image can be obtained. If the sampling interval is increased or no corresponding point is found, estimation and interpolation may be performed from distance information in the depth direction corresponding to surrounding pixels.
画像領域抽出部１６は、３バンド画像１、３バンド画像２、検出された対応点、及び奥行方向の距離情報に基づいて、算出された奥行方向の距離を複数段階に分け、３バンド画像１及び３バンド画像２の各々から、それぞれの段階毎の画像領域（以下、奥行画像とも称する）を抽出する。 The image region extraction unit 16 divides the calculated distance in the depth direction into a plurality of stages based on the 3-band image 1, the 3-band image 2, the detected corresponding points, and the distance information in the depth direction. And the image area | region (henceforth a depth image) for every step is extracted from each of 3 band image 2. FIG.
ＲＧＢカメラ１１ａのレンズ（図示省略）の前に設置したカラーフィルタ１１ｂへの入射角は奥行方向の距離により変化し、そのために手前の物と奥側の物とでは画像上での移動量が異なるため、奥行方向の距離を複数段階（例えば前景と背景の２段階、もしくは前景・中景・背景の３段階）に分割し、それぞれの段階に対応した奥行画像を抽出する（各奥行画像では、抽出された画像領域以外はデータ無しとみなす）。 The incident angle to the color filter 11b installed in front of the lens (not shown) of the RGB camera 11a varies depending on the distance in the depth direction, and therefore the amount of movement on the image differs between the object on the front side and the object on the back side. Therefore, the distance in the depth direction is divided into a plurality of stages (for example, two stages of foreground and background, or three stages of foreground / middle background / background), and a depth image corresponding to each stage is extracted (in each depth image, It is considered that there is no data except for the extracted image area).
画像変形処理部１７は、奥行画像毎に、得られた対応点の検出結果を用いて、カラーフィルタ１１ｂを装着して撮影した画像（３バンド画像１）から抽出された奥行画像を変形させて、新たな奥行画像を生成する。 For each depth image, the image transformation processing unit 17 transforms the depth image extracted from the image (three-band image 1) photographed with the color filter 11b using the obtained corresponding point detection result. A new depth image is generated.
画像変形処理部１７による変形処理では、対応点検出部１４で得られた対応点情報を元に画像変形パラメータ（射影変換の場合には水平/垂直方向のずれ量、回転角度、倍率。スプライン補完等の非線形手法に基づく場合には、そのモデルパラメータ）を算出し、算出した画像変形パラメータを仮定した変形モデル（射影変換や非線形変換）に適用して、対応する３バンド画像２の奥行画像と各対応点の位置が一致するように３バンド画像１の奥行画像に対して変形処理を施し、３バンド画像１と重ね合わせた際にずれが無い（２枚の画像で、同じ被写体上が同じ座標上に位置する）奥行画像を生成する。なお、画像変形における手法は、ここでは特に限定しないが、例えば、射影変換（線形変換）もしくは非線形的な画像変形処理を施す。 In the deformation process by the image deformation processing unit 17, image deformation parameters (horizontal / vertical shift amount, rotation angle, magnification. Spline interpolation in the case of projective transformation based on the corresponding point information obtained by the corresponding point detection unit 14. When the non-linear method is used, the model parameter) is calculated, and the calculated image deformation parameter is applied to the assumed deformation model (projective transformation or non-linear transformation), and the corresponding depth image of the 3-band image 2 Deformation processing is performed on the depth image of the 3-band image 1 so that the positions of the corresponding points coincide with each other, and there is no deviation when superimposed on the 3-band image 1 (the two images are the same on the same subject) Generate a depth image (located on the coordinates). The method for image deformation is not particularly limited here, but for example, projective transformation (linear transformation) or nonlinear image deformation processing is performed.
画像合成部１８は、３バンド画像１の各奥行画像に対して画像変形を施して生成した新たな各奥行画像を合成し、３バンド画像２との間で位置ずれの無い３バンド画像１’を生成する。例えば、画像変形後の３バンド画像１に対応する奥行画像を画像の重ね合わせにより合成し、１枚の３バンド画像１’を生成する。具体的には、各奥行画像においてその奥行距離範囲外の画像領域の画素値はゼロであるため、その部分に他の奥行画像をはめ込む。なお、２枚の３バンド画像を統合し、１枚の６バンド画像としても良い。 The image synthesizing unit 18 synthesizes each new depth image generated by performing image transformation on each depth image of the 3-band image 1, and creates a 3-band image 1 ′ with no positional deviation from the 3-band image 2. Is generated. For example, the depth image corresponding to the three-band image 1 after image deformation is synthesized by superimposing the images to generate one three-band image 1 '. Specifically, in each depth image, since the pixel value of the image area outside the depth distance range is zero, another depth image is inserted into that portion. Two 3-band images may be integrated into one 6-band image.
画像出力部１９は、３バンド画像１’および３バンド画像２をメモリ上に展開、モニタ上へ表示、もしくはファイルへ出力する。 The image output unit 19 develops the 3-band image 1 'and the 3-band image 2 on the memory, displays them on the monitor, or outputs them to a file.
色再現処理部２０は、３バンド画像１’および３バンド画像２を用いて、色再現処理を行い、色再現結果画像を生成して出力する。 The color reproduction processing unit 20 performs color reproduction processing using the 3-band image 1 'and the 3-band image 2, and generates and outputs a color reproduction result image.
色再現処理では、３バンド画像１’、３バンド画像２、色再現パラメータ（撮影時の照明光スペクトルやカメラの感度などの分光反射率推定に必要な情報、および再現したい照明環境での照明光スペクトルや表示デバイスの特性）に基づいて、３バンド画像１’及び３バンド画像２から、写っている被写体の色（スペクトル、分光反射率、色、RGB/多原色信号値）をウィナー推定法等により算出し、色再現結果画像（分光反射率画像、もしくはRGB/多原色画像）を生成して出力する。 In color reproduction processing, 3 band image 1 ′, 3 band image 2, color reproduction parameters (information necessary for spectral reflectance estimation such as illumination light spectrum and camera sensitivity at the time of photographing, and illumination light in the illumination environment to be reproduced) Based on the spectrum and characteristics of the display device), the subject color (spectrum, spectral reflectance, color, RGB / multi-primary signal value) from the 3 band image 1 ′ and 3 band image 2 is estimated using the Wiener estimation method, etc. The color reproduction result image (spectral reflectance image or RGB / multi-primary color image) is generated and output.
例えば、ウィナー推定法を用いて、３バンド画像１’及び３バンド画像２から画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。そして、分光反射率画像から、例えば、ＲＧＢ画像を生成する場合には、例えば、上記生成した分光反射率画像に対して、予め定めた撮影照明光スペクトル及び予め定めたカメラの分光感度を掛け合わせて、ＲＧＢ画像を生成すればよい。具体的には、予め定めた撮影照明光スペクトルと各画素に対応する推定された分光反射率の各波長の値を掛け合わせ、更に各画素に対応する予め定めたカメラの分光感度を掛け合わせる。各画素について計算された波長毎の値からＲ値、Ｇ値、及びＢ値を計算し、各画素の画素値を、計算したＲＧＢ値とするＲＧＢ画像を生成する。 For example, the spectral reflectance for each pixel is estimated from the 3-band image 1 ′ and the 3-band image 2 using the Wiener estimation method, and a spectral reflectance image having the estimated spectral reflectance as a pixel value is generated. For example, when an RGB image is generated from the spectral reflectance image, for example, the above-described generated spectral reflectance image is multiplied by a predetermined photographing illumination light spectrum and a predetermined camera spectral sensitivity. Thus, an RGB image may be generated. Specifically, a predetermined photographing illumination light spectrum is multiplied by the value of each wavelength of the estimated spectral reflectance corresponding to each pixel, and further, the spectral sensitivity of a predetermined camera corresponding to each pixel is multiplied. An R value, a G value, and a B value are calculated from the values for each wavelength calculated for each pixel, and an RGB image having the pixel value of each pixel as the calculated RGB value is generated.
＜画像処理装置の作用＞
次に、第１の実施の形態に係る画像処理装置１０の作用について説明する。まず、画像入力部１１及び画像入力部１２により、３バンド画像１及び３バンド画像２が撮影された後、画像処理装置１０によって、図５に示す色再現処理ルーチンが実行される。
<Operation of image processing apparatus>
Next, the operation of the image processing apparatus 10 according to the first embodiment will be described. First, after the 3-band image 1 and the 3-band image 2 are captured by the image input unit 11 and the image input unit 12, the image processing apparatus 10 executes a color reproduction processing routine shown in FIG.
ステップＳ１０１において、画像入力部１１で撮影された３バンド画像１のデータ及び画像入力部１２で撮影された３バンド画像２のデータを取得する。 In step S101, the data of the 3-band image 1 captured by the image input unit 11 and the data of the 3-band image 2 captured by the image input unit 12 are acquired.
ステップＳ１０２において、上記ステップＳ１０１で取得した３バンド画像１及び３バンド画像２の間における対応点を複数検出する。そして、ステップＳ１０３において、上記ステップＳ１０２で検出された対応点の情報に基づいて、各対応点における被写体までの奥行方向の距離情報を計算する。 In step S102, a plurality of corresponding points between the 3-band image 1 and the 3-band image 2 acquired in step S101 are detected. In step S103, the distance information in the depth direction to the subject at each corresponding point is calculated based on the corresponding point information detected in step S102.
次のステップＳ１０４では、上記ステップＳ１０３で計算された奥行方向の距離情報に基づいて、距離情報の各段階毎に、３バンド画像１及び３バンド画像２の各々から、当該段階の距離情報を持つ画像領域である奥行画像を抽出する。 In the next step S104, based on the distance information in the depth direction calculated in step S103, distance information of the corresponding stage is obtained from each of the 3-band image 1 and the 3-band image 2 for each stage of the distance information. A depth image that is an image region is extracted.
ステップＳ１０５では、上記ステップＳ１０４で抽出された奥行画像のうち、ある段階に対応する３バンド画像１の奥行画像を、処理対象として設定する。ステップＳ１０６では、上記ステップＳ１０２で検出された対応点の情報に基づいて、処理対象の３バンド画像１の奥行画像に対して画像変形処理を行って、新たな奥行画像を生成する。次のステップＳ１０７では、全ての段階の奥行画像について、上記ステップＳ１０５、Ｓ１０６の処理を実行したか否かを判定し、上記ステップＳ１０５、Ｓ１０６の処理を実行していない奥行画像が存在する場合には、上記ステップＳ１０５へ戻り、当該奥行画像を処理対象として設定する。一方、全ての段階の奥行画像について、上記ステップＳ１０５、Ｓ１０６の処理を実行した場合には、ステップＳ１０８へ移行する。 In step S105, among the depth images extracted in step S104, the depth image of the 3-band image 1 corresponding to a certain stage is set as a processing target. In step S106, image deformation processing is performed on the depth image of the 3-band image 1 to be processed based on the corresponding point information detected in step S102 to generate a new depth image. In the next step S107, it is determined whether or not the processes in steps S105 and S106 have been executed for the depth images in all stages, and there is a depth image in which the processes in steps S105 and S106 have not been executed. Returns to step S105 and sets the depth image as a processing target. On the other hand, when the processes in steps S105 and S106 are executed for the depth images at all stages, the process proceeds to step S108.
ステップＳ１０８では、上記ステップＳ１０６で生成された新たな奥行画像を合成し、３バンド画像１’を生成する。そして、ステップＳ１０９において、上記ステップＳ１０１で取得した３バンド画像２及び上記ステップＳ１０８で生成された３バンド画像１’を出力する。次のステップＳ１１０では、上記ステップＳ１０１で取得した３バンド画像２及び上記ステップＳ１０８で生成された３バンド画像１’を用いて、被写体の色再現処理を行い、色再現処理の結果を出力し、色再現処理ルーチンを終了する。 In step S108, the new depth image generated in step S106 is combined to generate a 3-band image 1 '. In step S109, the 3-band image 2 acquired in step S101 and the 3-band image 1 'generated in step S108 are output. In the next step S110, using the 3-band image 2 acquired in step S101 and the 3-band image 1 ′ generated in step S108, the color reproduction processing of the subject is performed, and the result of the color reproduction processing is output. The color reproduction processing routine ends.
以上説明したように、第１の実施の形態の画像処理装置によれば、奥行方向の距離情報の段階毎に、当該段階の距離情報を持つ画像領域を、３バンド画像１及び３バンド画像２の各々から抽出して、各対応点の位置が一致するように、３バンド画像１の当該画像領域を変形した変形画像領域を生成し、各変形画像領域を合成した合成画像を生成して、３バンド画像２、及び合成画像を出力することにより、撮影画像間での位置ずれを抑制したマルチバンド画像を生成することができる。 As described above, according to the image processing apparatus of the first embodiment, for each step of distance information in the depth direction, the image area having the distance information of the step is represented by the 3-band image 1 and the 3-band image 2. To generate a deformed image region obtained by deforming the image region of the 3-band image 1 so that the positions of the corresponding points coincide with each other, and generate a composite image obtained by combining the deformed image regions, By outputting the 3-band image 2 and the composite image, it is possible to generate a multiband image in which positional deviation between captured images is suppressed.
また、奥行き方向の距離を何段階かにクラス分けし、それぞれの距離の段階に応じた画像領域を抽出し、抽出した画像領域毎に対応点検出及び画像変形を行った後に、１枚のマルチバンド画像を生成することにより、平面状の被写体だけではなく奥行きのある被写体/シーンを撮影する場合でも、画像全領域において各バンド間で対応点の位置ずれが無いマルチバンド画像を得ることができる。 Further, the distances in the depth direction are classified into several stages, image areas corresponding to the respective distance stages are extracted, corresponding points are detected for each extracted image area, and image deformation is performed. By generating a band image, it is possible to obtain a multiband image in which the corresponding points are not misaligned between the bands in the entire image region even when shooting a subject / scene having a depth as well as a planar subject. .
［第２の実施の形態］
＜システム構成＞
次に、第２の実施の形態について説明する。なお、第２の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。
[Second Embodiment]
<System configuration>
Next, a second embodiment will be described. In addition, about the image processing apparatus of 2nd Embodiment, about the structure similar to the image processing apparatus 10 of 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
第２の実施の形態の画像処理装置２１０を構成するコンピュータは、機能的には、図６に示すように、画像分割処理部２１２、小領域変形部２１４、画像貼り合わせ処理部２１６、及び画像出力部１９、及び色再現処理部２０を含んだ構成で表すことができる。 As shown in FIG. 6, the computer constituting the image processing apparatus 210 according to the second embodiment functionally includes an image division processing unit 212, a small region transformation unit 214, an image pasting processing unit 216, and an image. It can be expressed by a configuration including the output unit 19 and the color reproduction processing unit 20.
画像分割処理部２１２は、画像入力部１１で得られた３バンド画像１及び画像入力部１２で得られた３バンド画像２の各々を小領域画像に分割する。３バンド画像１は、３バンド画像２の小領域画像と同じサイズ、もしくは３バンド画像２を分割して得られた小領域よりも大きなサイズの領域に分割される。３バンド画像１、３バンド画像２を小領域画像に分割する際には、分割した小領域画像を最終的に１枚の画像に復元する際に画像の欠落を防ぐため、３バンド画像１および３バンド画像２ともに、分割した小領域の画像には重なりがあることが好ましい。 The image division processing unit 212 divides each of the 3-band image 1 obtained by the image input unit 11 and the 3-band image 2 obtained by the image input unit 12 into small region images. The 3-band image 1 is divided into areas having the same size as the small-area image of the 3-band image 2 or a larger area than the small area obtained by dividing the 3-band image 2. When the 3-band image 1 and the 3-band image 2 are divided into small-area images, the 3-band image 1 and the 3-band image 1 In both of the three-band images 2, it is preferable that the divided small region images have an overlap.
また、画像分割処理部２１２は、計算処理の高速化を考慮して、一辺の画素数を２のべき乗、64 pixel, 128 pixel, 256pixel、などとした小領域画像に分割することが好ましい。 In addition, it is preferable that the image division processing unit 212 divides the image into small region images in which the number of pixels on one side is a power of 2, 64 pixels, 128 pixels, 256 pixels, or the like in consideration of speeding up of the calculation process.
小領域変形部２１４は、対応点検出部１４、奥行情報計算部１５、画像領域抽出部１６、画像変形処理部１７、及び画像合成部１８を含み、対応点検出部１４、奥行情報計算部１５、画像領域抽出部１６、画像変形処理部１７、及び画像合成部１８の各々が、画像分割処理部２１２によって分割された、対応する３バンド画像１の小領域画像及び３バンド画像２の小領域画像の組み合わせ毎に処理を行う。小領域変形部２１４は、小領域画像毎に、３バンド画像１の当該小領域画像に対して画像変形を施して生成した変形小領域画像を出力する。 The small region deformation unit 214 includes a corresponding point detection unit 14, a depth information calculation unit 15, an image region extraction unit 16, an image deformation processing unit 17, and an image composition unit 18, and the corresponding point detection unit 14 and the depth information calculation unit 15. The image region extraction unit 16, the image deformation processing unit 17, and the image composition unit 18 are divided by the image division processing unit 212, respectively, and the corresponding small region image of the 3-band image 1 and small region of the 3-band image 2 Processing is performed for each combination of images. The small region deforming unit 214 outputs a deformed small region image generated by performing image deformation on the small region image of the 3-band image 1 for each small region image.
小領域変形部２１４では、小領域内で局所的な対応点のみが画像変形パラメータに影響を与えるため、画像全体から得られた対応点すべてを使うよりも精度良く、撮影画像間の位置ずれを補正できる。 In the small region deforming unit 214, only local corresponding points in the small region affect the image deformation parameters. Therefore, the positional deviation between the captured images is more accurate than using all the corresponding points obtained from the entire image. Can be corrected.
また、画像貼り合わせ処理部２１６は、小領域変形部２１４によって生成された変形小領域画像をタイリングして、元のサイズの画像となるように１枚の画像に貼り合わせて、新たな３バンド画像１’を生成し、出力する。 In addition, the image pasting processing unit 216 tiles the deformed small area image generated by the small area deforming unit 214 and pastes the deformed small area image into a single image so as to obtain an original size image. A band image 1 ′ is generated and output.
＜画像処理装置の作用＞
次に、図７を参照して、第２の実施の形態の画像処理装置２１０で実行される色再現処理ルーチンについて説明する。なお、第１の実施の形態における色再現処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。
<Operation of image processing apparatus>
Next, a color reproduction processing routine executed by the image processing apparatus 210 according to the second embodiment will be described with reference to FIG. Note that the same processes as those in the color reproduction process routine in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
ステップＳ１０１において、画像入力部１１で撮影された３バンド画像１のデータ及び画像入力部１２で撮影された３バンド画像２のデータを取得する。 In step S101, the data of the 3-band image 1 captured by the image input unit 11 and the data of the 3-band image 2 captured by the image input unit 12 are acquired.
ステップＳ２０２において、上記ステップＳ１０１で取得した３バンド画像１及び３バンド画像２の各々を、小領域画像に分割する。ステップＳ２０３において、上記ステップＳ２０２で分割された小領域画像のうち、処理対象の小領域画像として、対応する３バンド画像１及び３バンド画像２の各々の小領域画像の組み合わせを設定する。 In step S202, each of the 3-band image 1 and the 3-band image 2 acquired in step S101 is divided into small region images. In step S203, among the small area images divided in step S202, a combination of the small area images of the corresponding 3-band image 1 and 3-band image 2 is set as the small area image to be processed.
そして、ステップＳ２０４において、処理対象として設定された３バンド画像１及び３バンド画像２の各々の小領域画像に対して、上記第１の実施の形態で説明した図５に示す色再現処理ルーチンにおけるステップＳ１０２〜Ｓ１０８と同様の処理を実行して、３バンド画像１の当該小領域画像に対して画像変形を施した変形小領域画像を生成する。 In step S204, the color reproduction processing routine shown in FIG. 5 described in the first embodiment is applied to each of the small area images of the 3-band image 1 and the 3-band image 2 set as the processing target. The same processing as in steps S102 to S108 is executed to generate a modified small region image obtained by performing image deformation on the small region image of the 3-band image 1.
ステップＳ２０５では、全ての小領域画像について、上記ステップＳ２０３、Ｓ２０４の処理を実行したか否かを判定し、上記ステップＳ２０３、Ｓ２０４の処理を実行していない小領域画像が存在する場合には、上記ステップＳ２０３に戻り、当該小領域画像を、処理対象として設定する。一方、全ての小領域画像について、上記ステップＳ２０３、Ｓ２０４の処理を実行したと判定された場合には、ステップＳ２０６へ移行する。 In step S205, it is determined whether or not the processing in steps S203 and S204 has been executed for all the small region images. If there is a small region image in which the processing in steps S203 and S204 has not been performed, Returning to step S203, the small area image is set as a processing target. On the other hand, if it is determined that the processing in steps S203 and S204 has been executed for all the small region images, the process proceeds to step S206.
ステップＳ２０６では、上記ステップＳ２０４で得られた各変形小領域画像を貼り合わせて、３バンド画像１’を生成する。そして、ステップＳ１０９において、上記ステップＳ１０１で取得した３バンド画像２及び上記ステップＳ２０６で生成された３バンド画像１’を出力する。次のステップＳ１１０では、上記ステップＳ１０１で取得した３バンド画像２及び上記ステップＳ２０６で生成された３バンド画像１’を用いて、被写体の色再現処理を行い、色再現処理の結果を出力し、色再現処理ルーチンを終了する。 In step S206, the three-band image 1 'is generated by pasting the deformed small area images obtained in step S204. In step S109, the 3-band image 2 acquired in step S101 and the 3-band image 1 'generated in step S206 are output. In the next step S110, using the 3-band image 2 acquired in step S101 and the 3-band image 1 ′ generated in step S206, the subject color reproduction process is performed, and the result of the color reproduction process is output. The color reproduction processing routine ends.
以上説明したように、第２の実施の形態の画像処理装置によれば、３バンド画像１及び３バンド画像２の各々を小領域画像に分割し、分割した小領域画像毎に、各対応点の位置が一致するように、３バンド画像１の小領域領域を変形した変形小領域画像を生成し、変形小領域画像を合成した合成画像を生成して、３バンド画像２及び合成画像を出力する。これによって、局所的な画像領域毎に対応点検出及び画像変形処理を施して１枚のマルチバンド画像を生成するため、撮影画像間での位置ずれを抑制したマルチバンド画像を生成することができる。 As described above, according to the image processing apparatus of the second embodiment, each of the 3-band image 1 and the 3-band image 2 is divided into small area images, and each corresponding point is divided for each divided small area image. To generate a deformed small region image obtained by deforming the small region of the 3-band image 1 so that the positions of the three-band images coincide with each other. To do. As a result, since a single multiband image is generated by performing corresponding point detection and image deformation processing for each local image region, it is possible to generate a multiband image in which positional deviation between captured images is suppressed. .
なお、上記の第２の実施の形態では、小領域変形部２１４は、対応点検出部１４、奥行情報計算部１５、画像領域抽出部１６、画像変形処理部１７、及び画像合成部１８を含む場合を例に説明したが、これに限定されるものではない。小領域変形部２１４は、対応点検出部１４及び画像変形処理部１７を含み、対応点検出部１４及び画像変形処理部１７の各々が、画像分割処理部２１２によって分割された、対応する３バンド画像１の小領域画像及び３バンド画像２の小領域画像の組み合わせ毎に処理を行うようにしてもよい。 In the second embodiment, the small region deforming unit 214 includes the corresponding point detecting unit 14, the depth information calculating unit 15, the image region extracting unit 16, the image deformation processing unit 17, and the image combining unit 18. Although the case has been described as an example, the present invention is not limited to this. The small region deformation unit 214 includes a corresponding point detection unit 14 and an image deformation processing unit 17, and each of the corresponding point detection unit 14 and the image deformation processing unit 17 is divided by the image division processing unit 212 and corresponding three bands. Processing may be performed for each combination of the small area image of image 1 and the small area image of 3-band image 2.
［第３の実施の形態］
＜システム構成＞
次に、第３の実施の形態について説明する。なお、第３の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。
[Third Embodiment]
<System configuration>
Next, a third embodiment will be described. In addition, about the image processing apparatus of 3rd Embodiment, about the structure similar to the image processing apparatus 10 of 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
第３の実施の形態の画像処理装置３１０を構成するコンピュータは、機能的には、図８に示すように、平行化処理部３１２、カメラパラメータ記憶部３１４、対応点検出部１４、画像変形処理部３１６、画像出力部１９、及び色再現処理部２０を含んだ構成で表すことができる。 As shown in FIG. 8, the computer constituting the image processing apparatus 310 according to the third embodiment functionally includes a parallelization processing unit 312, a camera parameter storage unit 314, a corresponding point detection unit 14, and an image deformation process. It can be expressed by a configuration including the unit 316, the image output unit 19, and the color reproduction processing unit 20.
カメラパラメータ記憶部３１４には、内部パラメータ（ＲＧＢカメラ１１ａ、１２ａ単体でのレンズ等の光学系パラメータ）と外部パラメータ（ＲＧＢカメラ１１ａ、１２ａ間の位置関係や姿勢を表すパラメータ）が記憶されている。 The camera parameter storage unit 314 stores internal parameters (optical system parameters such as lenses for the RGB cameras 11a and 12a alone) and external parameters (parameters representing the positional relationship and orientation between the RGB cameras 11a and 12a). .
平行化処理部３１２は、カメラパラメータ記憶部３１４から呼び出した内部パラメータと外部パラメータを用いて、平行化処理を行い、３バンド画像１及び３バンド画像２を、同一視点から平行に見たときの平行投影画像に変換した３バンド画像１’及び３バンド画像２’を生成する。なお、平行化処理は、従来既知の手法を用いればよく、例えば、非特許文献４（A. Fusiello, E. Trucco, and A. Verri, "A compact algorithm for rectification of stereo pairs,", Machine Vision and Applications (2000) 12: 16−22）に記載の手法を用いればよい。また、３バンド画像１’及び３バンド画像２’が、第１平行投影カラー画像及び第２平行投影カラー画像の一例である。 The parallelization processing unit 312 performs parallelization processing using the internal parameters and the external parameters called from the camera parameter storage unit 314, and when the 3-band image 1 and the 3-band image 2 are viewed in parallel from the same viewpoint. A 3-band image 1 ′ and a 3-band image 2 ′ converted into parallel projection images are generated. For the parallelization processing, a conventionally known method may be used. For example, Non-Patent Document 4 (A. Fusiello, E. Trucco, and A. Verri, “A compact algorithm for rectification of stereo pairs,”, Machine Vision and Applications (2000) 12: 16-22). The 3-band image 1 'and the 3-band image 2' are examples of the first parallel projection color image and the second parallel projection color image.
対応点検出部１４は、平行化処理部３１２によって生成された３バンド画像１’のデータ及び３バンド画像２’のデータに基づいて、３バンド画像１’を基準画像とし、２枚の３バンド画像間での対応点を複数検出する。 The corresponding point detection unit 14 uses the 3-band image 1 ′ as a reference image based on the data of the 3-band image 1 ′ and the data of the 3-band image 2 ′ generated by the parallelization processing unit 312. A plurality of corresponding points between images are detected.
画像変形処理部３１６は、得られた対応点の検出結果を用いて、３バンド画像１’を変形させて、新たな３バンド画像３を生成する。 The image deformation processing unit 316 generates a new 3-band image 3 by deforming the 3-band image 1 ′ using the obtained corresponding point detection result.
画像出力部１９は、３バンド画像１’および３バンド画像３をメモリ上に展開、モニタ上へ表示、もしくはファイルへ出力する。 The image output unit 19 develops the 3-band image 1 'and the 3-band image 3 on the memory, displays them on the monitor, or outputs them to a file.
色再現処理部２０は、３バンド画像１’および３バンド画像３を用いて、色再現処理を行い、色再現結果画像を生成して出力する。 The color reproduction processing unit 20 performs color reproduction processing using the 3-band image 1 ′ and the 3-band image 3, and generates and outputs a color reproduction result image.
＜画像処理装置の作用＞
次に、図９を参照して、第３の実施の形態の画像処理装置３１０で実行される色再現処理ルーチンについて説明する。なお、第１の実施の形態における色再現処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。
<Operation of image processing apparatus>
Next, a color reproduction processing routine executed by the image processing apparatus 310 according to the third embodiment will be described with reference to FIG. Note that the same processes as those in the color reproduction process routine in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
ステップＳ１０１において、画像入力部１１で撮影された３バンド画像１のデータ及び画像入力部１２で撮影された３バンド画像２のデータを取得する。 In step S101, the data of the 3-band image 1 captured by the image input unit 11 and the data of the 3-band image 2 captured by the image input unit 12 are acquired.
ステップＳ３０２において、上記ステップＳ１０１で取得した３バンド画像１及び３バンド画像２の各々に対して平行化処理を行い、３バンド画像１’及び３バンド画像２’を生成する。ステップＳ３０３において、上記ステップＳ３０２で生成した３バンド画像１’及び３バンド画像２’の間における対応点を複数検出する。 In step S302, parallelization processing is performed on each of the 3-band image 1 and the 3-band image 2 acquired in step S101 to generate a 3-band image 1 'and a 3-band image 2'. In step S303, a plurality of corresponding points between the 3-band image 1 'and the 3-band image 2' generated in step S302 are detected.
ステップＳ３０４では、上記ステップＳ３０３で検出された対応点の情報に基づいて、３バンド画像１’に対して画像変形処理を行って、新たな３バンド画像３を生成する。そして、ステップＳ１０９において、上記ステップＳ３０２で生成した３バンド画像２’及び上記ステップＳ３０４で生成された３バンド画像３を出力する。次のステップＳ１１０では、上記ステップＳ３０２で生成した３バンド画像２’及び上記ステップＳ３０４で生成された３バンド画像３を用いて、被写体の色再現処理を行い、色再現処理の結果を出力し、色再現処理ルーチンを終了する。 In step S304, based on the corresponding point information detected in step S303, image deformation processing is performed on the 3-band image 1 'to generate a new 3-band image 3. In step S109, the 3-band image 2 'generated in step S302 and the 3-band image 3 generated in step S304 are output. In the next step S110, using the 3-band image 2 ′ generated in step S302 and the 3-band image 3 generated in step S304, subject color reproduction processing is performed, and the result of color reproduction processing is output. The color reproduction processing routine ends.
以上説明したように、第３の実施の形態の画像処理装置によれば、３バンド画像１及び３バンド画像２の各々から平行化処理によって３バンド画像１’及び３バンド画像２’を生成し、３バンド画像１’について、各対応点の位置が一致するように変形した３バンド画像３を生成し、３バンド画像２’及び３バンド画像３を出力する。これによって、画像の平行化処理を施すことによりレンズの前に付けた光学フィルタによる屈折の影響を取り除き、画像変形を容易にすることができ、撮影画像間での位置ずれを抑制したマルチバンド画像を生成することができる。 As described above, according to the image processing apparatus of the third embodiment, the 3-band image 1 ′ and the 3-band image 2 ′ are generated from each of the 3-band image 1 and the 3-band image 2 by the parallelization process. For the 3-band image 1 ′, a 3-band image 3 deformed so that the positions of the corresponding points coincide with each other is generated, and the 3-band image 2 ′ and the 3-band image 3 are output. This eliminates the effects of refraction caused by the optical filter attached in front of the lens by performing image parallelization processing, facilitates image deformation, and suppresses misalignment between captured images. Can be generated.
なお、上記第１〜第３の実施の形態では、フィルタ無しで撮影した３バンド画像２を基準画像とし、３バンド画像１の奥行画像、３バンド画像１の小領域画像、または３バンド画像１’に対して、画像変形処理を行う場合を例に説明したが、これに限定されるものではない。カラーフィルタを用いて撮影した３バンド画像２を基準画像とし、３バンド画像１の奥行画像、３バンド画像１の小領域画像、または３バンド画像１’に対して、画像変形処理を行うようにしてもよい。 In the first to third embodiments, the 3-band image 2 photographed without a filter is used as a reference image, the depth image of the 3-band image 1, the small region image of the 3-band image 1, or the 3-band image 1. However, the present invention is not limited to this example. The 3-band image 2 photographed using the color filter is used as a reference image, and the image transformation process is performed on the depth image of the 3-band image 1, the small area image of the 3-band image 1, or the 3-band image 1 ′. May be.
また、２つの３バンド画像（計６バンド画像）が画像処理装置に入力される例について説明したが、マルチバンド画像であれば、これに限定されないのはもちろんである。 In addition, an example in which two three-band images (total six-band images) are input to the image processing apparatus has been described. However, the present invention is not limited to this as long as it is a multiband image.
また、上記第１〜第３の実施の形態では、マルチバンド画像を入力する画像入力装置として、ＲＧＢカメラ１１ａ及びカラーフィルタ１１ｂを有する画像入力部１１と、ＲＧＢカメラ１２ａを有する画像入力部１２とを例に挙げて説明したが、これに限定されない。例えば、図１０に示すように、ＲＧＢカメラと、単色カラーフィルタを備えた単色（白黒）カメラを複数台組み合わせた多眼式カメラシステムにも適用可能である。 In the first to third embodiments, as an image input device for inputting a multiband image, an image input unit 11 having an RGB camera 11a and a color filter 11b, and an image input unit 12 having an RGB camera 12a However, the present invention is not limited to this. For example, as shown in FIG. 10, the present invention can also be applied to a multi-lens camera system in which a plurality of RGB cameras and a single color (monochrome) camera provided with a single color filter are combined.
また、上記第１〜第３の実施の形態では、２つの画像入力部により３バンド画像１及び３バンド画像２が同期して撮像される場合を例に説明したが、これに限定されるものではなく、１つの画像入力部(単眼式)から時系列で撮像される３バンド画像１及び３バンド画像２を用いてもよい。この場合には、カラーフィルタの装着及び非装着を切替える機構を設け、カラーフィルタを装着した状態で３バンド画像１を撮像し、カラーフィルタを外した状態で３バンド画像２を撮像するようにすればよい。また、カラーフィルタの抜き挿しの際に生じるカメラの僅かな変位を利用して、各対応点の奥行き方向の距離を計算することができる。また、３つ以上の画像入力部を有していても構わない。 In the first to third embodiments, the case where the three-band image 1 and the three-band image 2 are captured in synchronization by the two image input units has been described as an example. However, the present invention is not limited to this. Instead, the 3-band image 1 and the 3-band image 2 captured in time series from one image input unit (monocular type) may be used. In this case, a mechanism for switching between mounting and non-mounting of the color filter is provided so that the 3-band image 1 is captured with the color filter mounted and the 3-band image 2 is captured with the color filter removed. That's fine. Further, the distance in the depth direction of each corresponding point can be calculated using a slight camera displacement that occurs when the color filter is inserted or removed. Moreover, you may have three or more image input parts.
また、上述の画像処理装置は、内部にコンピュータシステムを有しているが、コンピュータシステムは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。 Further, the above-described image processing apparatus has a computer system inside, but the computer system includes a homepage providing environment (or display environment) if the WWW system is used.
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。 In the present specification, the embodiment has been described in which the program is installed in advance. However, the program can be provided by being stored in a computer-readable recording medium.
１０、２１０、３１０ 画像処理装置
１１ａ、１２ａＲＧＢカメラ
１１ｂ カラーフィルタ
１１、１２ 画像入力部
１４ 対応点検出部
１５ 奥行情報計算部
１６ 画像領域抽出部
１７ 画像変形処理部
１８ 画像合成部
１９ 画像出力部
２０ 色再現処理部
２１２ 画像分割処理部
２１４ 小領域変形部
２１６ 画像貼り合わせ処理部
３１２ 平行化処理部
３１４ カメラパラメータ記憶部
３１６ 画像変形処理部
10, 210, 310 Image processing device 11a, 12a RGB camera 11b Color filter 11, 12 Image input unit 14 Corresponding point detection unit 15 Depth information calculation unit 16 Image region extraction unit 17 Image deformation processing unit 18 Image composition unit 19 Image output unit 20 Color reproduction processing unit 212 Image division processing unit 214 Small region deformation unit 216 Image pasting processing unit 312 Parallelization processing unit 314 Camera parameter storage unit 316 Image deformation processing unit
Claims (7)
前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との対応点を複数検出する対応点検出手段と、
前記対応点検出手段によって検出された前記複数の対応点の各々における被写体までの奥行情報を計算する奥行情報計算手段と、
前記奥行情報計算手段によって計算された前記複数の対応点の各々の奥行情報に基づいて、前記奥行情報の段階毎に、前記段階の奥行情報を持つ画像領域を、前記第１カラー画像及び前記第２カラー画像の各々から抽出する画像領域抽出手段と、
前記奥行情報の段階毎に、前記段階の奥行情報を持つ画像領域について前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように、前記第１カラー画像及び前記第２カラー画像の何れか一方の前記画像領域を変形した変形画像領域を生成する画像変形手段と、
前記奥行情報の各段階に対応する前記変形画像領域を合成した合成画像を生成する画像合成手段と、
前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の何れか他方、及び前記画像合成手段によって生成された前記合成画像を出力する画像出力手段と、
を含む画像処理装置。 Image acquisition means for acquiring a first color image captured using a color filter that transmits a part of wavelengths of colors that can be captured by the camera, and a second color image captured without using the color filter;
Corresponding point detecting means for detecting a plurality of corresponding points between the first color image and the second color image acquired by the image acquiring means;
Depth information calculation means for calculating depth information to the subject at each of the plurality of corresponding points detected by the corresponding point detection means;
Based on the depth information of each of the plurality of corresponding points calculated by the depth information calculation means, the image area having the depth information of the step is defined as the first color image and the first color for each step of the depth information. Image area extracting means for extracting from each of the two color images;
Based on the plurality of corresponding points detected by the corresponding point detection means for the image area having the depth information of the step, the position of each corresponding point is matched for each stage of the depth information. Image deformation means for generating a deformed image area obtained by deforming the image area of one of a color image and the second color image;
Image synthesizing means for generating a synthesized image obtained by synthesizing the deformed image region corresponding to each stage of the depth information;
Image output means for outputting the other one of the first color image and the second color image acquired by the image acquisition means, and the composite image generated by the image composition means;
An image processing apparatus.
前記対応点検出手段は、前記小領域画像毎に、前記画像取得手段によって取得された前記第１カラー画像の前記小領域画像と、前記第２カラー画像の対応する前記小領域画像との対応点を複数検出し、
前記画像領域抽出手段は、前記小領域画像毎に、前記奥行情報の各段階の奥行情報を持つ画像領域を、前記第１カラー画像の前記小領域画像及び前記第２カラー画像の対応する前記小領域画像の各々から抽出し、
前記画像変形手段は、前記小領域画像毎及び前記奥行情報の段階毎に、前記小領域画像内であって、前記段階の奥行情報を持つ画像領域について、前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように、前記第１カラー画像及び前記第２カラー画像の何れか一方の前記画像領域を変形した変形画像領域を生成し、
前記画像合成手段は、前記小領域画像毎に、前記奥行情報の各段階に対応する前記変形画像領域を合成した合成画像を生成し、各小領域画像の前記合成画像を貼り合わせるように合成した画像を生成し、
前記画像出力手段は、前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の何れか他方、及び前記画像合成手段によって生成された前記画像を出力する請求項１記載の画像処理装置。 Image division processing means for dividing each of the first color image and the second color image acquired by the image acquisition means into small area images;
The corresponding point detecting means corresponds to, for each small area image, a corresponding point between the small area image of the first color image acquired by the image acquiring means and the corresponding small area image of the second color image. Multiple detections,
The image area extraction means extracts, for each small area image, an image area having depth information at each stage of the depth information, and the small area image corresponding to the small color image of the first color image and the small color image corresponding to the second color image. Extract from each of the region images,
The image deformation means is detected by the corresponding point detection means for an image area in the small area image having depth information at the stage, for each small area image and for each stage of the depth information. Based on a plurality of corresponding points, generate a deformed image region obtained by deforming one of the image regions of the first color image and the second color image so that the positions of the corresponding points match.
The image synthesizing unit generates, for each of the small area images, a synthesized image obtained by synthesizing the deformed image area corresponding to each step of the depth information, and synthesizes the synthesized images of the small area images. Generate an image,
2. The image according to claim 1, wherein the image output unit outputs the other one of the first color image and the second color image acquired by the image acquisition unit, and the image generated by the image composition unit. Processing equipment.
前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との各々を小領域画像に分割する画像分割処理手段と、
前記小領域画像毎に、前記画像取得手段によって取得された前記第１カラー画像の前記小領域画像と、前記第２カラー画像の対応する前記小領域画像との対応点を複数検出する前記対応点検出手段と、
前記小領域画像毎に、前記対応点検出手段によって検出された前記対応点に基づいて、各対応点の位置が一致するように前記第１カラー画像及び前記第２カラー画像の何れか一方の前記小領域画像を変形した変形小領域画像を生成する画像変形手段と、
前記画像変形手段によって生成された前記変形小領域画像を貼り合わせるように合成した合成画像を生成する画像合成手段と、
前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の何れか他方、及び前記画像貼り合わせ処理手段によって生成された前記合成画像を出力する画像出力手段と、
を含む画像処理装置。 Image acquisition means for acquiring a first color image captured using a color filter that transmits a part of wavelengths of colors that can be captured by the camera, and a second color image captured without using the color filter;
Image division processing means for dividing each of the first color image and the second color image acquired by the image acquisition means into small area images;
The correspondence check for detecting a plurality of corresponding points between the small area image of the first color image acquired by the image acquisition unit and the corresponding small area image of the second color image for each of the small area images. Means of exiting,
For each of the small area images, based on the corresponding points detected by the corresponding point detecting means, either the first color image or the second color image so that the positions of the corresponding points coincide with each other. Image deformation means for generating a modified small area image obtained by modifying the small area image;
Image combining means for generating a combined image formed by combining the deformed small area images generated by the image deforming means; and
Image output means for outputting the other one of the first color image and the second color image acquired by the image acquisition means, and the composite image generated by the image combining processing means;
An image processing apparatus.
予め定められた前記カメラに関するパラメータ、及び予め定められた前記第１カラー画像及び前記第２カラー画像間の撮影位置及び姿勢に関するパラメータに基づいて、前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の各々から、同一視点から平行に見たときの第１平行投影カラー画像及び第２平行投影カラー画像を生成する平行化処理手段と、
前記平行化処理手段によって生成された前記第１平行投影カラー画像と前記第２平行投影カラー画像との対応点を複数検出する対応点検出手段と、
前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように、前記第１平行投影カラー画像及び前記第２平行投影カラー画像の何れか一方を変形した第３平行投影カラー画像を生成する画像変形手段と、
前記平行化処理手段によって生成された前記第１平行投影カラー画像及び前記第２平行投影カラー画像の何れか他方、及び前記画像変形手段によって生成された前記第３平行投影カラー画像を出力する画像出力手段と、
を含む画像処理装置。 Image acquisition means for acquiring a first color image captured using a color filter that transmits a part of wavelengths of colors that can be captured by the camera, and a second color image captured without using the color filter;
The first color image acquired by the image acquisition unit based on a predetermined parameter relating to the camera and a predetermined parameter relating to a shooting position and orientation between the first color image and the second color image. And a parallel processing means for generating a first parallel projection color image and a second parallel projection color image when viewed in parallel from the same viewpoint from each of the second color images,
Corresponding point detection means for detecting a plurality of corresponding points between the first parallel projection color image and the second parallel projection color image generated by the parallelization processing means;
Based on the plurality of corresponding points detected by the corresponding point detection means, one of the first parallel projection color image and the second parallel projection color image is deformed so that the positions of the corresponding points coincide with each other. Image deformation means for generating a third parallel projection color image,
Image output for outputting one of the first parallel projection color image and the second parallel projection color image generated by the parallelization processing unit and the third parallel projection color image generated by the image transformation unit Means,
An image processing apparatus.
前記画像取得手段によって、カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得し、
前記対応点検出手段によって、前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との対応点を複数検出し、
前記奥行情報計算手段によって、前記対応点検出手段によって検出された前記複数の対応点の各々における被写体までの奥行情報を計算し、
前記画像領域抽出手段によって、前記奥行情報計算手段によって計算された前記複数の対応点の各々の奥行情報に基づいて、前記奥行情報の段階毎に、前記段階の奥行情報を持つ画像領域を、前記第１カラー画像及び前記第２カラー画像の各々から抽出し、
前記画像変形手段によって、前記奥行情報の段階毎に、前記段階の奥行情報を持つ画像領域について前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように、前記第１カラー画像及び前記第２カラー画像の何れか一方の前記画像領域を変形した変形画像領域を生成し、
前記画像合成手段によって、前記奥行情報の各段階に対応する前記変形画像領域を合成した合成画像を生成し、
前記画像出力手段によって、前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の何れか他方、及び前記画像合成手段によって生成された前記合成画像を出力する
画像処理方法。 An image processing method in an image processing apparatus including image acquisition means, corresponding point detection means, depth information calculation means, image region extraction means, image deformation means, image composition means, and image output means,
The image acquisition unit acquires a first color image captured using a color filter that transmits a part of wavelengths of colors that can be captured by the camera, and a second color image captured without using the color filter. And
A plurality of corresponding points between the first color image and the second color image acquired by the image acquisition unit are detected by the corresponding point detection unit;
The depth information calculation means calculates depth information to the subject at each of the plurality of corresponding points detected by the corresponding point detection means,
Based on the depth information of each of the plurality of corresponding points calculated by the depth information calculation unit by the image region extraction unit, the image region having the depth information of the step for each step of the depth information, Extracting from each of the first color image and the second color image;
Based on the corresponding points detected by the corresponding point detection means for the image area having the depth information of the step, the positions of the corresponding points coincide with each other in the depth information step by the image deformation means. As described above, generating a deformed image region obtained by deforming one of the image regions of the first color image and the second color image,
Generating a combined image by combining the deformed image areas corresponding to the respective stages of the depth information by the image combining means;
An image processing method for outputting, by the image output means, one of the first color image and the second color image acquired by the image acquisition means, and the composite image generated by the image composition means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012131654A JP5777031B2 (en) | 2012-06-11 | 2012-06-11 | Image processing apparatus, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012131654A JP5777031B2 (en) | 2012-06-11 | 2012-06-11 | Image processing apparatus, method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013258455A true JP2013258455A (en) | 2013-12-26 |
| JP5777031B2 JP5777031B2 (en) | 2015-09-09 |
Family
ID=49954576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012131654A Active JP5777031B2 (en) | 2012-06-11 | 2012-06-11 | Image processing apparatus, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5777031B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109413399A (en) * | 2017-08-18 | 2019-03-01 | 三星电子株式会社 | Use the devices and methods therefor of depth map synthetic object |
| CN112541482A (en) * | 2020-12-25 | 2021-03-23 | 北京百度网讯科技有限公司 | Deep information completion model training method, device, equipment and storage medium |
| US11412161B2 (en) | 2019-07-30 | 2022-08-09 | Seiko Epson Corporation | Image processing method, image processing device, and information system |
| JP7491039B2 (en) | 2020-04-24 | 2024-05-28 | Ｔｏｐｐａｎホールディングス株式会社 | Color change degree estimation system, color change degree estimation method and program |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008136251A (en) * | 2003-11-11 | 2008-06-12 | Olympus Corp | Multispectral image capturing apparatus |
| JP2009210486A (en) * | 2008-03-05 | 2009-09-17 | Ntt Comware Corp | Depth data generating device, depth data generation method, and program thereof |
| JP2011205587A (en) * | 2010-03-26 | 2011-10-13 | Olympus Corp | Multiband stereo imaging apparatus |
| JP2011244184A (en) * | 2010-05-18 | 2011-12-01 | Nippon Telegr & Teleph Corp <Ntt> | Image input apparatus, image input method and image input program |
| JP2012029047A (en) * | 2010-07-23 | 2012-02-09 | Nippon Telegr & Teleph Corp <Ntt> | Image input device, image input method and image input program |
| JP2012068935A (en) * | 2010-09-24 | 2012-04-05 | Toyota Motor Corp | Object recognition device for vehicle |
-
2012
- 2012-06-11 JP JP2012131654A patent/JP5777031B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008136251A (en) * | 2003-11-11 | 2008-06-12 | Olympus Corp | Multispectral image capturing apparatus |
| JP2009210486A (en) * | 2008-03-05 | 2009-09-17 | Ntt Comware Corp | Depth data generating device, depth data generation method, and program thereof |
| JP2011205587A (en) * | 2010-03-26 | 2011-10-13 | Olympus Corp | Multiband stereo imaging apparatus |
| JP2011244184A (en) * | 2010-05-18 | 2011-12-01 | Nippon Telegr & Teleph Corp <Ntt> | Image input apparatus, image input method and image input program |
| JP2012029047A (en) * | 2010-07-23 | 2012-02-09 | Nippon Telegr & Teleph Corp <Ntt> | Image input device, image input method and image input program |
| JP2012068935A (en) * | 2010-09-24 | 2012-04-05 | Toyota Motor Corp | Object recognition device for vehicle |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109413399A (en) * | 2017-08-18 | 2019-03-01 | 三星电子株式会社 | Use the devices and methods therefor of depth map synthetic object |
| US11258965B2 (en) | 2017-08-18 | 2022-02-22 | Samsung Electronics Co., Ltd. | Apparatus for composing objects using depth map and method for the same |
| US11412161B2 (en) | 2019-07-30 | 2022-08-09 | Seiko Epson Corporation | Image processing method, image processing device, and information system |
| JP7491039B2 (en) | 2020-04-24 | 2024-05-28 | Ｔｏｐｐａｎホールディングス株式会社 | Color change degree estimation system, color change degree estimation method and program |
| CN112541482A (en) * | 2020-12-25 | 2021-03-23 | 北京百度网讯科技有限公司 | Deep information completion model training method, device, equipment and storage medium |
| CN112541482B (en) * | 2020-12-25 | 2024-04-02 | 北京百度网讯科技有限公司 | Depth information complement model training method, device, equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5777031B2 (en) | 2015-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2779624B1 (en) | Apparatus and method for multispectral imaging with three-dimensional overlaying | |
| US9247227B2 (en) | Correction of the stereoscopic effect of multiple images for stereoscope view | |
| JP5762211B2 (en) | Image processing apparatus, image processing method, and program | |
| US9008412B2 (en) | Image processing device, image processing method and recording medium for combining image data using depth and color information | |
| JP5803467B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| JP2015197745A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| EP2630789A1 (en) | System and method for imaging and image processing | |
| JP5406151B2 (en) | 3D imaging device | |
| JP6275174B2 (en) | Image processing method, image processing apparatus, and imaging apparatus | |
| JP6091318B2 (en) | Ranging device and control method thereof | |
| JP5777031B2 (en) | Image processing apparatus, method, and program | |
| JP7378219B2 (en) | Imaging device, image processing device, control method, and program | |
| US20160301855A1 (en) | Imaging device and phase difference detection method | |
| US20230188690A1 (en) | Electronic device for estimating camera illuminant and method of the same | |
| JP5927570B2 (en) | Three-dimensional imaging device, light transmission unit, image processing device, and program | |
| JP2013024653A (en) | Distance measuring apparatus and program | |
| JP2014038151A (en) | Imaging apparatus and phase difference detection method | |
| JP2013092885A (en) | Image processing device, method and program | |
| JP2012227758A (en) | Image signal processing apparatus and program | |
| JP6372805B2 (en) | Image processing apparatus, method, and program | |
| JP5733706B2 (en) | Image processing apparatus, method, and program | |
| JP6103767B2 (en) | Image processing apparatus, method, and program | |
| JP5836878B2 (en) | Image processing apparatus, method, and program | |
| JP6000738B2 (en) | Imaging device and method of determining focusing direction of imaging device | |
| JP2011182084A (en) | Image processor and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140708 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140708 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150629 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5777031 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |