JP2008216127A - Distance image generation device, distance image generation method, and program - Google Patents

Distance image generation device, distance image generation method, and program Download PDF

Info

Publication number
JP2008216127A
JP2008216127A JP2007055837A JP2007055837A JP2008216127A JP 2008216127 A JP2008216127 A JP 2008216127A JP 2007055837 A JP2007055837 A JP 2007055837A JP 2007055837 A JP2007055837 A JP 2007055837A JP 2008216127 A JP2008216127 A JP 2008216127A
Authority
JP
Japan
Prior art keywords
calculation
image
calculation method
unit
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007055837A
Other languages
Japanese (ja)
Inventor
Yasushi Kawabe
恭 河邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2007055837A priority Critical patent/JP2008216127A/en
Publication of JP2008216127A publication Critical patent/JP2008216127A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a distance image generation device, a distance image generation method, and a program capable of generating a distance image, having high reliability by acquiring a high-precision operation result in an operation of a subpixel level, while reducing the total processing time. <P>SOLUTION: The distance image generation device includes an image acquisition means for acquiring first image information and second image information to be a comparison object; a first calculation part 15 for comparing a standard image and a reference image by an SAD calculation method to calculate a parallax value in a pixel level; a second calculation part 16 for comparing the standard image and the reference image by a POC calculation method having higher accuracy than that of the SAD calculation method to calculate the parallax value in the subpixel level; and an object area setting part 14 for setting the object area for performing the calculation by the second calculation part 16, on the basis of the calculation result of the parallax value by the first calculation part 15. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は距離画像生成装置、距離画像生成方法及びプログラムに係り、特に、同一対象物について複数の画像を撮影することにより距離画像を生成する距離画像生成装置、距離画像生成方法及びプログラムに関する。   The present invention relates to a distance image generation device, a distance image generation method, and a program, and more particularly, to a distance image generation device, a distance image generation method, and a program that generate a distance image by capturing a plurality of images of the same object.

従来、複数の撮像手段により同一対象物(被写体)を異なる位置から撮像して複数の画像情報を得て、SAD(Sum of Absolute Difference)演算法、SSD(Sum of Squared Difference)演算法等による相関演算を行うことによりこの画像情報の相関度を算出し、相関度に基づいて同一対象物に対する視差値を求め、視差値から対象物の位置(距離値)を求めて距離画像を生成する装置が知られている。   Conventionally, the same object (subject) is imaged from different positions by a plurality of imaging means to obtain a plurality of pieces of image information, and correlation by an SAD (Sum of Absolute Difference) calculation method, an SSD (Sum of Squared Difference) calculation method, or the like. An apparatus for calculating a correlation degree of the image information by performing an operation, obtaining a parallax value for the same object based on the degree of correlation, obtaining a position (distance value) of the object from the parallax value, and generating a distance image Are known.

また、このような装置において、まず、ピクセルレベル(画素レベル)において複数の画像について小領域毎にシティブロック距離を計算して互いの相関を求め、対象物までの距離に応じて生じる画素のズレ(=視差)を距離データとして画像化した距離画像を生成した上で、基準画像及び比較画像のデータを用いてステレオマッチングを行い、1画素以下の視差(サブピクセル成分)を求めて、距離画像から得られる画素を単位とする視差を1画素以下の分解能で補間する技術が知られている(例えば、特許文献1参照)。
特開2000−283753号公報
Further, in such an apparatus, first, a city block distance is calculated for each small region for a plurality of images at a pixel level (pixel level) to obtain a correlation with each other, and a pixel shift that occurs according to the distance to the object. A distance image obtained by imaging (= parallax) as distance data is generated, stereo matching is performed using data of the reference image and the comparison image, and a disparity (subpixel component) of one pixel or less is obtained to obtain a distance image. A technique for interpolating parallax obtained in units of pixels with a resolution of 1 pixel or less is known (see, for example, Patent Document 1).
JP 2000-283755 A

しかしながら、特許文献1に記載された技術は、SAD演算法等のブロックを使った相関演算法を用いて視差を算出するものであるが、SAD演算法等の演算手法は、高速な演算処理が可能である半面、サブピクセルレベルの演算においては高精度に視差値を算出することは難しく、正確な距離画像を得ることができない。
SAD演算法等のブロックを使った相関演算法によってサブピクセルレベルの演算処理を行う場合には、特許文献1にも開示されているように、ブロック間の相関度(シティブロック距離)が、相関演算によって求められた極小点(対応点)を中心に対称になるという仮定(直線近似)のもとに演算が行われている。このため、このような仮定が当てはまらない画素においては誤った結果が得られてしまうおそれがある。
このように、SAD演算法等のブロックを使った相関演算法ではサブピクセルレベルでの処理において高精度の結果を得ることは困難であり、正確な距離画像を生成することができないとの問題があった。
However, although the technique described in Patent Document 1 calculates a parallax using a correlation calculation method using a block such as an SAD calculation method, the calculation method such as the SAD calculation method has high-speed calculation processing. On the other hand, it is difficult to calculate the parallax value with high accuracy in the sub-pixel level calculation, and an accurate distance image cannot be obtained.
When sub-pixel level calculation processing is performed by a correlation calculation method using blocks such as the SAD calculation method, as disclosed in Patent Document 1, the degree of correlation between blocks (city block distance) is correlated. The calculation is performed under the assumption (linear approximation) that the image is symmetric about the minimum point (corresponding point) obtained by the calculation. For this reason, an erroneous result may be obtained in a pixel to which such an assumption does not apply.
Thus, in the correlation calculation method using blocks such as the SAD calculation method, it is difficult to obtain a high-precision result in processing at the subpixel level, and there is a problem that an accurate distance image cannot be generated. there were.

そこで、本発明は以上のような課題を解決するためになされたものであり、総処理時間の短縮を図りつつ、サブピクセルレベルの演算において高精度の演算結果を得て信頼性の高い距離画像を生成することのできる距離画像生成装置、距離画像生成方法及びプログラムを提供することを目的とするものである。   Accordingly, the present invention has been made to solve the above-described problems, and obtains a highly accurate range image by obtaining a high-precision calculation result in sub-pixel level calculation while reducing the total processing time. It is an object of the present invention to provide a distance image generation apparatus, a distance image generation method, and a program that can generate the image.

上記課題を解決するために、請求項1に記載の距離画像生成装置は、
第1画像情報と比較対象となる第2画像情報とを取得する画像取得手段と、
第1の演算手法により前記第1画像情報と前記第2画像情報とを照合して、ピクセルレベルにおける視差値の算出を行う第1の演算手段と、
前記第1の演算手法よりも精度の高い第2の演算手法により前記第1画像情報と前記第2画像情報とを照合して、サブピクセルレベルにおける視差値の算出を行う第2の演算手段と、
前記第1の演算手段による視差値の算出結果に基づいて、第2の演算手段により演算を行う対象領域を設定する対象領域設定手段と、
を備えていることを特徴としている。
In order to solve the above-described problem, a distance image generation device according to claim 1 is provided.
Image acquisition means for acquiring first image information and second image information to be compared;
A first computing means for calculating a parallax value at a pixel level by comparing the first image information and the second image information by a first computing method;
Second calculation means for calculating a parallax value at a sub-pixel level by collating the first image information with the second image information by a second calculation method having higher accuracy than the first calculation method; ,
A target area setting means for setting a target area to be calculated by the second calculation means based on the calculation result of the parallax value by the first calculation means;
It is characterized by having.

請求項2に記載の発明は、請求項1に記載の距離画像生成装置であって、
前記第1の演算手段により行われる第1の演算手法は、SAD演算法、SSD演算法、NCC演算法のうちのいずれかであることを特徴としている。
The invention according to claim 2 is the distance image generation device according to claim 1,
The first calculation method performed by the first calculation means is any one of an SAD calculation method, an SSD calculation method, and an NCC calculation method.

請求項3に記載の発明は、請求項1又は請求項2に記載の距離画像生成装置であって、
前記第2の演算手段により行われる第2の演算手法は、POC演算法であることを特徴としている。
The invention according to claim 3 is the distance image generation device according to claim 1 or 2, wherein
The second calculation method performed by the second calculation means is a POC calculation method.

請求項4に記載の距離画像生成方法は、
第1画像情報と比較対象となる第2画像情報とを取得する画像取得工程と、
第1の演算手法により前記第1画像情報と前記第2画像情報とを照合して、ピクセルレベルにおける視差値の算出を行う第1の演算工程と、
前記第1の演算手法よりも精度の高い第2の演算手法により前記第1画像情報と前記第2画像情報とを照合して、サブピクセルレベルにおける視差値の算出を行う第2の演算工程と、
前記第1の演算工程による視差値の算出結果に基づいて、第2の演算工程により演算を行う対象領域を設定する対象領域設定工程と、
を備えていることを特徴としている。
The distance image generation method according to claim 4,
An image acquisition step of acquiring first image information and second image information to be compared;
A first calculation step of calculating a parallax value at a pixel level by collating the first image information and the second image information by a first calculation method;
A second calculation step of calculating a parallax value at a sub-pixel level by collating the first image information and the second image information by a second calculation method having higher accuracy than the first calculation method; ,
A target area setting step for setting a target area to be calculated in the second calculation step based on the calculation result of the parallax value in the first calculation step;
It is characterized by having.

請求項5に記載の発明は、請求項4に記載の距離画像生成方法であって、
前記第1の演算工程により行われる第1の演算手法は、SAD演算法、SSD演算法、NCC演算法のうちのいずれかであることを特徴とする。
Invention of Claim 5 is the distance image generation method of Claim 4, Comprising:
The first calculation method performed in the first calculation step is any one of an SAD calculation method, an SSD calculation method, and an NCC calculation method.

請求項6に記載の発明は、請求項4又は請求項5に記載の距離画像生成方法であって、
前記第2の演算工程により行われる第2の演算手法は、POC演算法であることを特徴とする。
Invention of Claim 6 is the distance image generation method of Claim 4 or Claim 5, Comprising:
The second calculation method performed in the second calculation step is a POC calculation method.

請求項7に記載の発明は、コンピュータ読取可能なプログラムであって、
第1の演算手法により第1画像情報と比較対象となる第2画像情報とを照合して、ピクセルレベルにおける視差値の算出を行う第1の演算機能と、
前記第1の演算手法よりも精度の高い第2の演算手法により前記第1画像情報と前記第2画像情報とを照合して、サブピクセルレベルにおける視差値の算出を行う第2の演算機能と、
前記第1の演算機能による視差値の算出結果に基づいて、第2の演算機能により演算を行う対象領域を設定する対象領域設定機能と、
をコンピュータに実現させることを特徴とする。
The invention according to claim 7 is a computer-readable program,
A first calculation function that compares the first image information with the second image information to be compared by the first calculation method and calculates a parallax value at a pixel level;
A second calculation function for calculating a parallax value at a sub-pixel level by collating the first image information with the second image information by a second calculation method having higher accuracy than the first calculation method; ,
A target area setting function for setting a target area to be calculated by the second calculation function based on the calculation result of the parallax value by the first calculation function;
Is realized by a computer.

請求項8に記載の発明は、請求項7に記載のプログラムであって、
前記第1の演算手法は、SAD演算法、SSD演算法、NCC演算法のうちのいずれかであることを特徴とする。
Invention of Claim 8 is a program of Claim 7, Comprising:
The first calculation method is any one of an SAD calculation method, an SSD calculation method, and an NCC calculation method.

請求項9に記載の発明は、請求項7又は請求項8に記載のプログラムであって、
前記第2の演算手法は、POC演算法であることを特徴とする。
Invention of Claim 9 is a program of Claim 7 or Claim 8, Comprising:
The second calculation method is a POC calculation method.

請求項1、請求項4又は請求項7に記載の発明によれば、ピクセルレベル(画素レベル)における視差値の算出結果に基づいて、サブピクセルレベル(1画素以下レベル)における視差値の算出を行う対象領域を設定するので、サブピクセルレベル(1画素以下レベル)における視差値の算出を行う範囲を絞り込むことができ、効率よく演算処理を行うことができる。   According to the first, fourth, or seventh aspect of the present invention, the parallax value at the sub-pixel level (one pixel level or less) is calculated based on the calculation result of the parallax value at the pixel level (pixel level). Since the target region to be performed is set, the range for calculating the parallax value at the sub-pixel level (the level of one pixel or less) can be narrowed down, and the calculation process can be performed efficiently.

また、サブピクセルレベル(1画素以下レベル)における視差値の算出は、ピクセルレベル(画素レベル)における視差値の算出を行う第1の演算手法よりも精度の高い第2の演算手法によって行われるので、演算処理を効率的に行って、相関演算の総処理時間の短縮を図るとともに、高精度な処理を行うことができるとの効果を奏する。   In addition, the calculation of the parallax value at the sub-pixel level (the level of one pixel or less) is performed by the second calculation method with higher accuracy than the first calculation method for calculating the parallax value at the pixel level (pixel level). Thus, it is possible to efficiently perform the arithmetic processing to shorten the total processing time of the correlation calculation and to achieve an effect that high-precision processing can be performed.

請求項2、請求項5又は請求項8に記載の発明によれば、高速で処理を行うことのできるSAD演算法、SSD演算法、NCC演算法のうちのいずれかによりピクセルレベル(画素レベル)における視差値の算出を行うので、対応点探索を効率的に行うことができ、相関演算の総処理時間の短縮を図ることができるとの効果を奏する。   According to the invention of claim 2, claim 5 or claim 8, the pixel level (pixel level) is determined by any one of the SAD operation method, the SSD operation method, and the NCC operation method capable of performing high-speed processing. Since the calculation of the parallax value is performed, the corresponding point search can be efficiently performed, and the total processing time of the correlation calculation can be shortened.

請求項3、請求項6又は請求項9に記載の発明によれば、高精度、かつ、外乱に強くロバストな演算手法であるPOC演算法によりサブピクセルレベル(1画素以下レベル)における視差値の算出を行うので、信頼性の高い高精度の演算結果を得ることができ、正確な距離画像を生成することができるとの効果を奏する。   According to the invention of claim 3, 6 or 9, the parallax value at the sub-pixel level (one pixel level or less) is calculated by the POC calculation method which is a high-precision, robust and robust calculation method. Since the calculation is performed, it is possible to obtain a highly reliable calculation result with high reliability and to produce an accurate distance image.

以下、図1から図11を参照しつつ、本発明に係る距離画像生成装置の一実施形態について説明する。ただし、発明の範囲を図示例に限定するものではない。   Hereinafter, an embodiment of a distance image generating apparatus according to the present invention will be described with reference to FIGS. 1 to 11. However, the scope of the invention is not limited to the illustrated examples.

本実施形態に係る距離画像生成装置1は、2つの画像を照合して位置ずれ量を算出し、算出した位置ずれ量に基づいて対象物までの距離情報を得て距離画像を生成するものである。   The distance image generation apparatus 1 according to the present embodiment calculates a positional deviation amount by collating two images, obtains distance information to an object based on the calculated positional deviation amount, and generates a distance image. is there.

図1に示すように、距離画像生成装置1は、被写体(対象物)を撮像する2つの撮像装置2a,2bを備えている。
撮像装置2a,2bは、それぞれ撮像手段として撮像素子(光電変換素子)3とこの撮像素子3の結像面(図示せず)に被写体光像を結像させるレンズ4とを備えている。撮像素子3は、例えばCCD(Charge Coupled Device)、CMOS(Complementary Metal-Oxide Semiconductor)等のイメージセンサであり、撮像素子3は、レンズ4を透過した入射光を電気信号に光電変換して取り込むことにより、被写体光像をアナログ画像信号に変換するようになっている。また、距離画像生成装置1は、撮像素子3によって得られたアナログ画像信号をデジタル画像信号に変換するA/D変換部5を備えている。
As shown in FIG. 1, the distance image generating device 1 includes two imaging devices 2a and 2b that capture an image of a subject (target object).
The imaging devices 2a and 2b each include an imaging element (photoelectric conversion element) 3 and a lens 4 that forms a subject light image on an imaging surface (not shown) of the imaging element 3 as imaging means. The image pickup device 3 is an image sensor such as a charge coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS). The image pickup device 3 photoelectrically converts incident light transmitted through the lens 4 into an electric signal and takes it in. Thus, the subject light image is converted into an analog image signal. The distance image generation device 1 includes an A / D conversion unit 5 that converts an analog image signal obtained by the image sensor 3 into a digital image signal.

2つの撮像装置2a,2bは、同一対象物を異なる視点から撮像して画像情報としての画像データを取得するものであり、一方が基準となる基準画像に基づく基準画像データ(第1画像情報)を取得し、他方が比較対象となる画像(以下、「参照画像」とする)に基づく参照画像データ(第2画像情報)を取得する。このように、2つの撮像装置2a,2bは、基準画像及び参照画像の画像データを取得する画像取得手段として機能する。   The two imaging devices 2a and 2b capture the same object from different viewpoints and acquire image data as image information, one of which is reference image data (first image information) based on a reference image. And reference image data (second image information) based on an image to be compared (hereinafter referred to as “reference image”). Thus, the two imaging devices 2a and 2b function as an image acquisition unit that acquires image data of the standard image and the reference image.

また、距離画像生成装置1は、各撮像装置2a,2bによって取得された画像データについて、画像処理を行い、視差値を算出して距離画像を生成する画像処理部10を備えている。   In addition, the distance image generation device 1 includes an image processing unit 10 that performs image processing on the image data acquired by each of the imaging devices 2a and 2b, calculates a parallax value, and generates a distance image.

画像処理部10は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)等の処理装置と、システムプログラム、後述する距離画像生成処理を行うための距離画像生成処理プログラム等、各種の制御プログラム等を格納するROM(Read Only Memory)と、各種データを一時記憶するRAM(Random Access Memory)と(いずれも図示せず)、等により構成されるコンピュータであり、画像のレンズ歪みを補正するレンズ歪み補正部11、各撮像装置2a,2bによって取得された画像の平行化処理を行う画像平行化処理部12、対応点探索を行う対象領域を設定する対象領域設定部14、ピクセルレベルでの視差算出処理を行う第1演算部15、サブピクセルレベルでの視差算出処理を行う第2演算部16、距離画像を生成する距離画像生成部17等を備えている。   The image processing unit 10 includes a processing device such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), and a DSP (Digital Signal Processor), a system program, and a distance image generation processing program for performing distance image generation processing described later. Is a computer composed of a ROM (Read Only Memory) for storing various control programs and the like, a RAM (Random Access Memory) for temporarily storing various data (all not shown), etc. A lens distortion correction unit 11 that corrects lens distortion, an image parallelization processing unit 12 that performs parallelization processing of images acquired by the imaging devices 2a and 2b, and a target region setting unit 14 that sets a target region for performing corresponding point search A first calculation unit 15 that performs parallax calculation processing at the pixel level, a second calculation unit 16 that performs parallax calculation processing at the sub-pixel level, and a distance image And a resulting distance image generation unit 17 or the like.

レンズ歪み補正部11は、レンズ4を用いて結像させる場合に発生する歪み(レンズ歪み)を補正するものである。レンズ4には歪みがあるため、正しく画像を生成することができず、特に端部において画像が歪んでしまう。レンズ歪み補正部11は、このようなレンズ歪みの補正を行うものであり、例えば、予めレンズ歪み補正用のパラメータを作成、記憶しておき、これに基づいて画像を補正する処理等を行う。なお、レンズ歪み補正部11による補正の手法はここに例示したものに限定されず、各種公知の手段を用いることができる。   The lens distortion correction unit 11 corrects distortion (lens distortion) that occurs when an image is formed using the lens 4. Since the lens 4 is distorted, an image cannot be generated correctly, and the image is distorted particularly at the end portion. The lens distortion correction unit 11 performs such lens distortion correction. For example, a lens distortion correction parameter is created and stored in advance, and an image is corrected based on the parameter. The correction method by the lens distortion correction unit 11 is not limited to the one exemplified here, and various known means can be used.

画像平行化処理部12は、各撮像装置2a,2bによって取得された2つの画像について、あたかも平行移動したカメラから撮影したかのように変換してエピ極線が平行になるようにする画像の平行化処理を行うものである。画像の平行化処理は、2つの撮像装置2a,2bを厳密に正しく設置することは困難であるため、2つの撮像装置2a,2bの設置位置ずれ等により生じる画像の歪みを補正するために行われる。   The image collimation processing unit 12 converts the two images acquired by the respective imaging devices 2a and 2b as if they were taken from a camera moved in parallel so that the epipolar lines become parallel. A parallelization process is performed. Since it is difficult to accurately install the two imaging devices 2a and 2b, the image parallelization process is performed in order to correct image distortion caused by an installation position shift of the two imaging devices 2a and 2b. Is called.

画像について平行化処理を施すことにより、2つの画像は、縦方向(図2におけるY軸方向)においてずれのないものとなり、後述する相関演算処理を行う場合に、横方向(図2におけるX軸方向)のずれのみを検出すれば足りることとなる。なお、画像平行化処理部12による画像平行化処理の手法はここに例示したものに限定されず、各種公知の手段を用いることができる。   By performing the parallelization processing on the images, the two images are not shifted in the vertical direction (Y-axis direction in FIG. 2), and when performing correlation calculation processing described later, the horizontal direction (X-axis in FIG. 2). It is sufficient to detect only the deviation in the direction. Note that the method of image collimation processing by the image collimation processing unit 12 is not limited to the one exemplified here, and various known means can be used.

対象領域設定部14は、第2演算部16による視差算出処理における演算の対象領域を設定するものである。
本実施形態においては、後述するように、第1演算部15によるピクセルレベルでの視差算出処理が終了すると、その算出結果が対象領域設定部14に出力されるようになっており、対象領域設定部14は、このピクセルレベルにおける算出結果に基づいて第2演算部16によるサブピクセルレベルでの視差算出処理における演算の対象領域を設定する。
The target area setting unit 14 sets a target area for calculation in the parallax calculation processing by the second calculation unit 16.
In the present embodiment, as will be described later, when the parallax calculation processing at the pixel level by the first calculation unit 15 is completed, the calculation result is output to the target region setting unit 14, and the target region setting The unit 14 sets a calculation target area in the parallax calculation process at the sub-pixel level by the second calculation unit 16 based on the calculation result at the pixel level.

すなわち、第2演算部16による視差算出処理の際には、対象領域設定部14は、第1演算部15によるピクセルレベルでの視差算出処理で得られた対応点(候補座標(x0,y0))を中心としてその周辺の領域を、第1照合部6による視差算出処理の対象領域として設定する。本実施形態においては、例えば、対象領域設定部14は、(x0,y0)を中心として32画素×32画素分の領域を抽出し対象領域として設定するようになっている。なお、対象領域設定部14により設定される対象領域の範囲はここに例示したものに限定されない。   That is, in the case of the parallax calculation process by the second calculation unit 16, the target area setting unit 14 corresponds points (candidate coordinates (x0, y0)) obtained by the parallax calculation process at the pixel level by the first calculation unit 15. ) Is set as a target region for parallax calculation processing by the first matching unit 6. In the present embodiment, for example, the target region setting unit 14 extracts a region of 32 pixels × 32 pixels around (x0, y0) and sets it as a target region. Note that the range of the target area set by the target area setting unit 14 is not limited to that exemplified here.

第1演算部15は、基準画像データと参照画像データのそれぞれから抽出、設定された対象領域について、SAD(Sum of Absolute Difference)演算法(第1の演算手法)により相関度を求めてピクセルレベル(画素レベル)における視差値を算出する視差算出処理を行う第1の演算手段である。   The first calculation unit 15 obtains a correlation level by a SAD (Sum of Absolute Difference) calculation method (first calculation method) for a target region extracted and set from each of the standard image data and the reference image data, and then obtains a pixel level. It is the 1st calculating means which performs the parallax calculation process which calculates the parallax value in (pixel level).

以下、第1演算部15による視差算出処理について具体的に説明する。
第1演算部15は、画像取得手段2によって取得された画像データのうち、いずれか一方を基準画像とし、他方を参照画像とした場合に、基準画像と参照画像との相関度をSAD(Sum of Absolute Differences:絶対誤差合計)演算法により相関演算して対応点を探索し、参照画像中、基準画像の対象領域と相関度の最も高かった領域について、基準画像と参照画像とのずれ量(視差値)を求める視差算出処理を行う。
Hereinafter, the parallax calculation processing by the first calculation unit 15 will be specifically described.
The first calculation unit 15 calculates the correlation between the reference image and the reference image using SAD (Sum) when one of the image data acquired by the image acquisition unit 2 is a reference image and the other is a reference image. of absolute differences (total absolute error)) Correlation is calculated by the calculation method, and corresponding points are searched. In the reference image, the amount of deviation between the reference image and the reference image for the region having the highest degree of correlation with the target region of the reference image ( A parallax calculation process for obtaining a (parallax value) is performed.

基準画像と参照画像との相関演算について図2を参照しつつ説明する。図2(a)は基準画像を表し、図2(b)は参照画像を表している。図2において、各マスは1画素を表しており、基準画像及び参照画像の全画面は、ともに、X軸方向(横方向)が26画素、Y軸方向(縦方向)が20画素で構成されている場合を例としている。   The correlation calculation between the reference image and the reference image will be described with reference to FIG. FIG. 2A represents a standard image, and FIG. 2B represents a reference image. In FIG. 2, each square represents one pixel, and the entire screen of the base image and the reference image is composed of 26 pixels in the X-axis direction (horizontal direction) and 20 pixels in the Y-axis direction (vertical direction). Take the case as an example.

相関演算を行う場合には、第1演算部15は、基準画像を所定の単位面積に分割し、基準画像中のある領域を視差値を算出する位置(対象領域)として設定する。対象領域の設定は、例えば図2(a)の左上(X=1,Y=20)を基点として所定の範囲の領域が順次設定される。   When performing the correlation calculation, the first calculation unit 15 divides the reference image into predetermined unit areas, and sets a certain region in the reference image as a position (target region) for calculating the parallax value. For the setting of the target area, for example, areas in a predetermined range are sequentially set with the upper left (X = 1, Y = 20) in FIG.

すなわち、ある領域(例えばX=1〜5,Y=16〜20の25画素)が対象領域として設定され、当該対象領域についての相関演算が完了すると、例えばX軸方向(画像の水平方向)に1画素ずつ順次ずらして次の対象領域(例えばX=2〜6,Y=16〜20の25画素)が設定され、相関演算が行われる。X軸方向の全画素(図2(a)において26画素)についてすべての相関演算が完了すると、Y軸方向に1画素ずらして次の対象領域(例えばX=1〜5,Y=15〜19の25画素)が設定され、相関演算が行われる。当該対象領域について相関演算が完了すると、さらに、対象領域をX軸方向に1画素ずつ順次ずらして次の対象領域(例えばX=2〜6,Y=15〜19の25画素)が設定され、相関演算が行われる。
このように、画面の左上から右下にかけて、X軸方向、Y軸方向それぞれ1画素ずつずらして順次対象領域が設定され、全画面の全画素について相関演算が完了するまで、各対象領域についての相関演算が繰り返される。なお、相関演算を行う順序(対象領域の設定の仕方)は、ここに例示したものに限定されない。
That is, when a certain region (for example, 25 pixels of X = 1 to 5, Y = 16 to 20) is set as the target region and the correlation calculation for the target region is completed, for example, in the X-axis direction (the horizontal direction of the image) The next target area (for example, 25 pixels of X = 2 to 6, Y = 16 to 20) is set by sequentially shifting one pixel at a time, and correlation calculation is performed. When all the correlation calculations are completed for all the pixels in the X-axis direction (26 pixels in FIG. 2A), the next target area (for example, X = 1 to 5, Y = 15 to 19) is shifted by one pixel in the Y-axis direction. 25 pixels) is set, and correlation calculation is performed. When the correlation calculation is completed for the target region, the target region is sequentially shifted one pixel at a time in the X-axis direction to set the next target region (for example, 25 pixels of X = 2 to 6, Y = 15 to 19), Correlation is performed.
In this way, the target area is sequentially set by shifting one pixel each in the X-axis direction and the Y-axis direction from the upper left to the lower right of the screen, and the correlation calculation is completed for all the pixels on the entire screen. The correlation operation is repeated. Note that the order in which the correlation calculation is performed (how to set the target region) is not limited to that exemplified here.

次に、相関演算の具体的手法について説明する。
例えば、図2(a)に示すように、基準画像中の破線で囲んだ範囲(X=9〜13,Y=9〜13の25画素)が対象領域として設定され、相関演算が行われる場合、第1演算部15は、参照画像中、対象領域と同じY軸範囲(Y=9〜13)についてX軸方向(画像の水平方向)に順次比較対照領域を設定し、順次相関演算を行うことにより、対象領域と各比較対照領域との相関度を算出する。これにより参照画像中、対象領域と最も相関度の高い領域、対応点を探索する。
Next, a specific method of correlation calculation will be described.
For example, as shown in FIG. 2A, a range surrounded by a broken line in the reference image (25 pixels of X = 9 to 13, Y = 9 to 13) is set as a target region, and correlation calculation is performed. The first calculation unit 15 sequentially sets comparison reference regions in the X-axis direction (horizontal direction of the image) for the same Y-axis range (Y = 9 to 13) as the target region in the reference image, and sequentially performs correlation calculation. Thus, the degree of correlation between the target region and each comparison control region is calculated. As a result, a region having the highest degree of correlation with the target region and a corresponding point are searched for in the reference image.

すなわち、第1演算部15は、まず、対象領域を構成する各画素(図2(a)中のX=9,Y=13、X=10,Y=13・・・の全25画素)の画像データ値を算出する。また、参照画像の中で対象領域に対照させるものとして設定した比較対照領域内の各画素(例えば、図2(b)中の破線で囲んだ範囲(X=9,Y=13、X=10,Y=13・・・の全25画素))の画像データ値を算出する。そして、対象領域を構成する各画素の画像データ値から、比較対照領域を構成する各画素の画像データ値を減算して、その絶対値を算出する。
例えば、対象領域内のある画素(図2(a)中のX=9,Y=10)の画像データ値が100であり、これに対応する比較対照領域内の画素が図2(b)におけるX=9,Y=10の画像データ値が50である場合には、100−50=50となり、絶対値50となる。
また例えば、対象領域内のある画素(図2(a)中のX=13,Y=10)の画像データ値が50であり、これに対応する比較対照領域内の画素が図2(b)におけるX=13,Y=10の画像データ値が90である場合には、50−90=−40となり、絶対値40となる。
このような画像データ値の減算及び絶対値の算出を対象領域及び比較対照領域を構成する25画素全てについて行う。なお、この演算は、各画素について順次行われてもよいし、当該領域内の全画素について同時進行的に行われてもよい。
That is, the first calculation unit 15 firstly sets each pixel constituting the target region (25 pixels in total in FIG. 2A, X = 9, Y = 13, X = 10, Y = 13...). An image data value is calculated. Further, each pixel (for example, a range surrounded by a broken line in FIG. 2B (X = 9, Y = 13, X = 10) in the comparison reference region set as a reference region to be compared with the target region. , Y = 13... For all 25 pixels))). Then, the absolute value is calculated by subtracting the image data value of each pixel constituting the comparison area from the image data value of each pixel constituting the target area.
For example, the image data value of a certain pixel in the target region (X = 9, Y = 10 in FIG. 2A) is 100, and the corresponding pixel in the comparison region in FIG. When the image data value of X = 9 and Y = 10 is 50, 100−50 = 50 and the absolute value is 50.
Further, for example, the image data value of a certain pixel in the target region (X = 13, Y = 10 in FIG. 2A) is 50, and the corresponding pixel in the comparison region is shown in FIG. In the case where the image data value of X = 13 and Y = 10 is 90, 50−90 = −40 and the absolute value is 40.
Such subtraction of the image data value and calculation of the absolute value are performed for all 25 pixels constituting the target region and the comparison region. This calculation may be performed sequentially for each pixel, or may be performed simultaneously for all the pixels in the region.

さらに、第1演算部15は、算出された結果(絶対値)を全て加算する。そして加算後の値が小さければ小さいほど相関度が高く、同じ画像である場合には、限りなく0に近づく。例えば、図2の場合、図2(a)中の破線で囲んだ範囲(X=9〜13,Y=9〜13の25画素)と、図2(b)中の一点鎖線で囲んだ範囲(X=12〜16,Y=9〜13の25画素)とは同じ画像であり、前者を構成する各画素の画像データ値から後者を構成する各画素のうち対応するものの画像データ値をそれぞれ減算して絶対値を求め、算出結果を加算すると、限りなく0に近づく。   Further, the first calculation unit 15 adds all the calculated results (absolute values). The smaller the value after addition is, the higher the degree of correlation is. When the images are the same, the value approaches 0 as much as possible. For example, in the case of FIG. 2, a range surrounded by a broken line in FIG. 2A (25 pixels of X = 9 to 13 and Y = 9 to 13) and a range surrounded by an alternate long and short dash line in FIG. (25 pixels of X = 12 to 16, Y = 9 to 13) is the same image, and the image data value of the corresponding one of the pixels constituting the latter from the image data value of each pixel constituting the former, respectively. When the absolute value is obtained by subtraction and the calculation results are added, the value approaches 0 as much as possible.

このようにして、参照画像中、基準画像の対象領域と相関度の最も高い領域(相関演算により相関度の極値が得られた領域)を検索すると、第1演算部15は、当該相関度の最も高い領域が、基準画像の対象領域とどの程度ずれているかのずれ量(視差値)を算出し、図3に示すように、相関度の最も高い領域がどの視差値に対応するかを求める。
すなわち、図2の例によれば、対象領域(図2(a)中のX=9〜13,Y=9〜13の25画素)と、相関度の最も高い領域である図2(b)中の一点鎖線で囲んだ範囲(X=12〜16,Y=9〜13の25画素)とは、X軸方向に3画素ずれている。したがって、この場合の視差値は3となる。
第1演算部15は、算出結果をピクセルレベル(画素レベル)における視差値として対象領域設定部14に出力するようになっている。
In this way, when the reference image is searched for the region having the highest correlation degree with the target region of the reference image (the region where the extreme value of the correlation degree is obtained by the correlation calculation), the first calculation unit 15 searches for the correlation degree. The amount of deviation (parallax value) of how much the highest area is different from the target area of the reference image is calculated, and as shown in FIG. 3, which parallax value corresponds to the area with the highest degree of correlation. Ask.
That is, according to the example of FIG. 2, the target region (25 pixels of X = 9 to 13 and Y = 9 to 13 in FIG. 2A) and the region having the highest degree of correlation are illustrated in FIG. The range surrounded by the one-dot chain line (25 pixels of X = 12 to 16, Y = 9 to 13) is shifted by 3 pixels in the X-axis direction. Therefore, the parallax value in this case is 3.
The first calculation unit 15 outputs the calculation result to the target region setting unit 14 as a parallax value at a pixel level (pixel level).

なお、視差値と距離値との関係は、距離値=定数/視差値であり、距離値は視差値の逆数に比例するとの関係にある。すなわち、視差値が小さくなるほど距離は遠くなり、視差値が大きくなるほど距離が近くなるという関係にある。このため、第1演算部15は、前記相関演算により視差値を求め、視差値の逆数を求めることにより、距離値を取得することができる。   Note that the relationship between the parallax value and the distance value is distance value = constant / parallax value, and the distance value is proportional to the reciprocal of the parallax value. In other words, the distance becomes longer as the parallax value becomes smaller, and the distance becomes closer as the parallax value becomes larger. For this reason, the 1st calculating part 15 can acquire a distance value by calculating | requiring a parallax value by the said correlation calculation, and calculating | requiring the reciprocal number of a parallax value.

また、第2演算部16は、基準画像データと参照画像データのそれぞれから抽出、設定された対象領域について、POC(Phase-Only Correlation;位相限定相関)演算法(第2の演算手法)により、相関度を求めてサブピクセルレベル(1画素以下レベル)における視差値を算出する視差算出処理を行う第2の演算手段である。
第2演算部16は、POC演算法による視差算出処理を行う第1照合部6と、第1照合部6により得られた演算結果に基づいて非線形フィッティング処理を行う第2照合部7とを備えている。
In addition, the second calculation unit 16 uses a POC (Phase-Only Correlation) calculation method (second calculation method) for a target region extracted and set from each of the standard image data and the reference image data. It is a 2nd calculating means which performs the parallax calculation process which calculates | requires a correlation degree and calculates the parallax value in a sub-pixel level (1 pixel or less level).
The second calculation unit 16 includes a first matching unit 6 that performs a parallax calculation process using a POC calculation method, and a second matching unit 7 that performs a nonlinear fitting process based on the calculation result obtained by the first matching unit 6. ing.

POC演算法は、基準画像データとこれと照合すべき参照画像データとをフーリエ変換で数学的に処理して、振幅(濃淡データ)と位相(像の輪郭データ)とに分解し、このうち位相情報のみを用いて、両画像の相関を求めるアルゴリズムであり、SAD演算法等の振幅情報を用いた相関演算法と異なって、外乱に強く、高精度な演算結果を得られるものである。   In the POC calculation method, the base image data and the reference image data to be collated are mathematically processed by Fourier transform to be decomposed into amplitude (grayscale data) and phase (image contour data), of which the phase This is an algorithm that uses only information to obtain the correlation between both images. Unlike the correlation calculation method using amplitude information such as the SAD calculation method, it is resistant to disturbances and can obtain high-precision calculation results.

以下、第2演算部16による視差算出処理について具体的に説明する。
第2演算部16の第1照合部6には、図4に示すように、窓関数部61a,61b、FFT(Fast Fourier Transform:高速フーリエ変換)部62a,62b、位相情報抽出部63a,63b、合成部64、IFFT(Inverse Fast Fourier Transform:逆高速フーリエ変換)部65、及び相関値演算部66が備えられている。
Hereinafter, the parallax calculation processing by the second calculation unit 16 will be specifically described.
As shown in FIG. 4, the first verification unit 6 of the second calculation unit 16 includes window function units 61a and 61b, FFT (Fast Fourier Transform) units 62a and 62b, and phase information extraction units 63a and 63b. , A combining unit 64, an IFFT (Inverse Fast Fourier Transform) unit 65, and a correlation value calculation unit 66 are provided.

窓関数部61a,61bは、基準画像データと参照画像データの対象領域に対応する信号に窓関数をかけるものである。窓関数の種類に特に制限はなく適宜変更可能である。ここで、基準画像データに基づく信号に対して窓関数をかけたものをf1、参照画像データに基づく信号に対して窓関数をかけたものをf2とする。窓関数部61a,61bは、窓関数をかけた信号f1、f2をそれぞれFFT部62a,62bに出力するようになっている。   The window function units 61a and 61b apply a window function to signals corresponding to the target areas of the standard image data and the reference image data. The type of window function is not particularly limited and can be changed as appropriate. Here, a signal obtained by applying a window function to the signal based on the standard image data is denoted by f1, and a signal obtained by applying the window function to the signal based on the reference image data is denoted by f2. The window function units 61a and 61b output the signals f1 and f2 multiplied by the window function to the FFT units 62a and 62b, respectively.

FFT部62a,62bは、信号f1、f2に対してフーリエ変換処理を施して位相情報抽出部63a,63bに出力するものである。詳しくは、FFT部62aは、信号f1に対して2次元離散的フーリエ変換を施し、基準画像に基づくフーリエ画像データF1を得る。また、FFT部62bは、信号f2に対して2次元離散的フーリエ変換を施して参照画像に基づくフーリエ画像データF2を得るようになっている。なお、フーリエ変換処理に特に制限は無く、2次元離散的フーリエ変換については、「コンピュータ画像処理入門、日本工業技術センター編、総研出版(株)発行、P44〜45」を参照した。   The FFT units 62a and 62b perform a Fourier transform process on the signals f1 and f2 and output them to the phase information extraction units 63a and 63b. Specifically, the FFT unit 62a performs a two-dimensional discrete Fourier transform on the signal f1 to obtain Fourier image data F1 based on the reference image. Further, the FFT unit 62b performs two-dimensional discrete Fourier transform on the signal f2 to obtain Fourier image data F2 based on the reference image. In addition, there is no restriction | limiting in particular in a Fourier-transform process, For the two-dimensional discrete Fourier transform, the "Introduction to computer image processing, the Japan Industrial Technology Center edition, issue of Soken publication, P44-45" was referred.

位相情報抽出部63a,63bは、FFT部62a,62bから出力された信号に対して振幅成分を除去して位相情報を抽出するものである。つまり、位相情報抽出部63a,63bは、フーリエ変換された信号F1、F2に対して位相限定処理を行ない、フーリエ画像データF3,F4を得るものである。位相情報抽出部63a,63bは、得られたフーリエ画像データF3,F4を合成部64に出力する。
なお、位相情報抽出部63a,63bが位相情報のみを抽出する手法は特に限定されず、振幅を1として位相のみを抽出するものであってもよいし、log処理や√処理等によって振幅成分を除去することとしてもよい。
The phase information extraction units 63a and 63b are for extracting phase information by removing amplitude components from the signals output from the FFT units 62a and 62b. That is, the phase information extraction units 63a and 63b perform the phase limiting process on the Fourier-transformed signals F1 and F2 to obtain Fourier image data F3 and F4. The phase information extraction units 63a and 63b output the obtained Fourier image data F3 and F4 to the synthesis unit 64.
Note that the method by which the phase information extraction units 63a and 63b extract only the phase information is not particularly limited, and the phase information extraction unit 63a and 63b may extract only the phase by setting the amplitude to 1, or the amplitude component may be extracted by log processing or √ processing. It is good also as removing.

合成部64は、フーリエ変換された信号F1、F2から位相情報のみを抽出して得られたフーリエ画像データF3,F4を合成し、合成フーリエ画像データF5(u,v)=F3(u,v)・F4(u,v)を得るものである。なお、式中「*」は複素共役を表し、(u,v)はフーリエ空間の座標を示す。合成部64は、得られた合成フーリエ画像データF5をIFFT部65に出力するようになっている。 The synthesizer 64 synthesizes Fourier image data F3 and F4 obtained by extracting only phase information from the Fourier-transformed signals F1 and F2, and synthesizes Fourier image data F5 (u, v) = F3 * (u, v) F4 (u, v) is obtained. In the formula, “*” represents a complex conjugate, and (u, v) represents a coordinate in Fourier space. The synthesizer 64 outputs the obtained synthesized Fourier image data F5 to the IFFT unit 65.

IFFT部65は、合成部64で得られた合成フーリエ画像データF5に対して逆フーリエ変換を施し合成逆フーリエ画像データf5を得るものである。IFFT部65は、合成逆フーリエ画像データf5を相関値演算部66に出力するようになっている。   The IFFT unit 65 performs inverse Fourier transform on the synthesized Fourier image data F5 obtained by the synthesizing unit 64 to obtain synthesized inverse Fourier image data f5. The IFFT unit 65 outputs the synthesized inverse Fourier image data f5 to the correlation value calculation unit 66.

相関値演算部66は、合成逆フーリエ画像データf5より、各画像間の相関演算を行い、相関値(POC値)を得るものである。
図5に、POC演算法によって各画像間の相関演算を実施することにより得られる結果(相関強度画像データ)の例を示す。図5は、基準画像上及び参照画像上にN1×N2画素の探索領域及び比較対象領域を設定した場合の例であり、N1×N2画素の領域内で相関が高い箇所の相関値(POC値)が大きくなっている。このPOC値のピーク(図5においてJc)に対応する参照画像上の比較対象領域内の位置が、基準画像上の探索領域における中心点に対応した参照画像上の対応点(候補座標)に相当することとなる。
The correlation value calculation unit 66 performs a correlation calculation between the images from the synthesized inverse Fourier image data f5 to obtain a correlation value (POC value).
FIG. 5 shows an example of a result (correlation strength image data) obtained by performing correlation calculation between images by the POC calculation method. FIG. 5 shows an example in which a search area and a comparison target area of N 1 × N 2 pixels are set on the standard image and the reference image, and the correlation of a portion having a high correlation in the N 1 × N 2 pixel area. The value (POC value) is large. The position in the comparison target region on the reference image corresponding to this POC value peak (Jc in FIG. 5) corresponds to the corresponding point (candidate coordinates) on the reference image corresponding to the center point in the search region on the standard image. Will be.

以上のようなPOC演算法を用いた演算処理によれば、画像の振幅成分を除去し画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響を抑制して参照画像上の対応点を精度良く探索できる。   According to the calculation processing using the POC calculation method as described above, the correlation calculation is performed using only the phase component of the image by removing the amplitude component of the image. Corresponding points can be searched with high accuracy.

相関値演算部66は、演算結果(相関強度画像データ)を得ると、これを第2照合部7に出力する。   When the correlation value calculation unit 66 obtains the calculation result (correlation strength image data), it outputs this to the second verification unit 7.

第2照合部7は、第1照合部6によって得られた相関強度画像データに基づいてサブピクセルレベルの位置ずれ量を検出するものである。具体的には、第2照合部7は、相関強度画像のピークの現れる位置(相関強度画像データの中心位置:図5においてJc)を中心として5画素×5画素分の範囲の相関強度画像データを用いて非線形フィッティングを行う。
図6に示すように、第2照合部7には、窓関数部71と非線形フィッティング部72が備えられており、第2照合部7は、非線形フィッティング部72で検出される位置ずれ量が閾値以下となるまで位置ずれ量を検出するものである。
The second collation unit 7 detects a sub-pixel level displacement amount based on the correlation strength image data obtained by the first collation unit 6. Specifically, the second collation unit 7 correlates the intensity data of 5 pixels × 5 pixels centering on the position where the peak of the correlation intensity image appears (center position of the correlation intensity image data: Jc in FIG. 5). Perform nonlinear fitting using.
As shown in FIG. 6, the second matching unit 7 includes a window function unit 71 and a non-linear fitting unit 72, and the second matching unit 7 has a positional deviation amount detected by the non-linear fitting unit 72 as a threshold value. The amount of misalignment is detected until the following is satisfied.

窓関数部71は、相関強度画像データに対して窓関数をかけるものである。窓関数の種類に特に制限はないが、本実施形態においてはHanning窓を適用するものとする。窓関数部71は、相関強度画像データの中心位置を非線形フィッティング部72で検出された位置ずれ量に基づいて定めるようになっている。   The window function unit 71 applies a window function to the correlation intensity image data. The type of window function is not particularly limited, but in the present embodiment, a Hanning window is applied. The window function unit 71 determines the center position of the correlation strength image data based on the amount of positional deviation detected by the nonlinear fitting unit 72.

非線形フィッティング部72は、窓関数をかけた相関強度画像データに対してLevenberg-Merquardt法(非線形演算としての非線形最小二乗法)によりサブピクセルレベルの位置ずれ量を近似計算するものである。詳しくは、非線形フィッティング部72は5画素×5画素分の相関強度画像データ(図7参照)にピークモデル(図8参照)をあてはめ、非線形演算としての非線形最小二乗法により位置ずれ量を求めるようになっている。非線形演算としての制限はなく、複雑な条件分岐処理を施すもの等に適宜変更可能である。
また、非線形フィッティング部72は、検出した位置ずれ量が所定の閾値以下か否かを判断し、閾値より大きい場合は窓関数部71に検出結果を出力するようになっている。また、非線形フィッティング部72は、検出した位置ずれ量が所定の閾値以下の場合、それ以前の検出結果全てを加算した値をサブピクセルレベルの位置ずれ量として距離画像生成部17に出力するようになっている。ここで、所定の閾値とはユーザが任意に設定できる値であり、精密な照合を要求するほど閾値は小さくなる。
The non-linear fitting unit 72 approximates the amount of positional deviation at the sub-pixel level by the Levenberg-Merquardt method (non-linear least square method as a non-linear operation) for the correlation strength image data multiplied by the window function. Specifically, the non-linear fitting unit 72 applies the peak model (see FIG. 8) to the correlation intensity image data (see FIG. 7) for 5 pixels × 5 pixels, and obtains the positional deviation amount by the non-linear least square method as the non-linear calculation. It has become. There is no restriction as a non-linear operation, and it can be changed as appropriate to those that perform complicated conditional branch processing.
Further, the non-linear fitting unit 72 determines whether or not the detected positional deviation amount is equal to or less than a predetermined threshold value, and outputs the detection result to the window function unit 71 if it is larger than the threshold value. Further, when the detected positional deviation amount is equal to or smaller than the predetermined threshold, the nonlinear fitting unit 72 outputs a value obtained by adding all the previous detection results to the distance image generating unit 17 as a sub-pixel level positional deviation amount. It has become. Here, the predetermined threshold value is a value that can be arbitrarily set by the user, and the threshold value becomes smaller as precise collation is required.

距離画像生成部17は、第2演算部16によるサブピクセルレベルでの視差算出処理が終了すると、当該視差算出処理における基準画像データと参照画像データとの位置ずれ量(視差値)の演算結果に基づいて距離画像データを生成する。   When the parallax calculation processing at the sub-pixel level by the second calculation unit 16 ends, the distance image generation unit 17 displays the calculation result of the positional deviation amount (parallax value) between the reference image data and the reference image data in the parallax calculation processing. Based on this, distance image data is generated.

また、距離画像生成装置1には、距離画像生成部17によって生成された距離画像を出力する出力部20が設けられている。出力部20は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等のモニタ(表示手段)であり、距離画像を表示させるようになっている。なお、出力部20は、モニタに限定されず、例えば、プリンタ等の外部機器(出力手段)と接続するための通信部であり、生成された距離画像を外部機器に送信して出力可能に構成されていてもよい。   In addition, the distance image generating apparatus 1 is provided with an output unit 20 that outputs the distance image generated by the distance image generating unit 17. The output unit 20 is a monitor (display means) such as a CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display), for example, and displays a distance image. Note that the output unit 20 is not limited to a monitor, and is, for example, a communication unit for connecting to an external device (output unit) such as a printer, and configured to transmit the generated distance image to the external device and output it. May be.

次に、図9から図11を参照して本実施形態における距離画像生成装置1によって行われる距離画像生成方法について説明する。なお、距離画像生成処理は、コンピュータである画像処理部10と前記距離画像生成処理プログラムとの協働により実現されるものである。   Next, a distance image generation method performed by the distance image generation apparatus 1 according to the present embodiment will be described with reference to FIGS. 9 to 11. The distance image generation process is realized by the cooperation of the image processing unit 10 which is a computer and the distance image generation process program.

図9に示すように、距離画像生成装置1によって距離画像を生成するための相関演算を行う場合には、まず、撮像装置2a,2bは、2つの撮像手段2a,2bにより対象物を撮像し、基準画像、参照画像の画像データを取得する(ステップS1)。   As shown in FIG. 9, when the correlation calculation for generating the distance image is performed by the distance image generating device 1, first, the imaging devices 2a and 2b capture the object with the two imaging means 2a and 2b. The image data of the standard image and the reference image is acquired (step S1).

撮像手段2a,2bにより取得された基準画像、参照画像の画像データは、A/D変換部5によりA/D変換され、画像処理部10に送られる。基準画像、参照画像の画像データが画像処理部10に送られると、各画像データについて、レンズ歪み補正部11による歪み補正及び画像平行化処理部12による画像平行化処理が施される(ステップS2)。   Image data of the standard image and the reference image acquired by the imaging units 2 a and 2 b are A / D converted by the A / D conversion unit 5 and sent to the image processing unit 10. When the image data of the reference image and the reference image is sent to the image processing unit 10, distortion correction by the lens distortion correction unit 11 and image parallelization processing by the image parallelization processing unit 12 are performed on each image data (step S2). ).

次に、歪み補正処理及び画像平行化処理の施された基準画像、参照画像の画像データについて、第1演算部15によりピクセルレベルの視差値を算出する演算処理(第1の演算処理)が行われ(ステップS3)、その結果が対象領域設定部14に出力される。
そして、対象領域設定部14により、ピクセルレベルの視差値の算出結果に基づいて演算を行う対象領域が設定される(ステップS4)。さらに、この設定された対象領域について第2演算部16によりサブピクセルレベルの視差値を算出する演算処理(第2の演算処理)が行われる(ステップS5)。
Next, a calculation process (first calculation process) is performed in which the first calculation unit 15 calculates a parallax value at a pixel level for the image data of the reference image and the reference image subjected to the distortion correction process and the image parallelization process. The result is output to the target area setting unit 14 (step S3).
Then, the target area setting unit 14 sets a target area to be calculated based on the calculation result of the pixel level parallax value (step S4). Further, a calculation process (second calculation process) for calculating a sub-pixel level parallax value is performed on the set target area by the second calculation unit 16 (step S5).

ここで、図10を参照しつつ、第1演算部15によりピクセルレベルの視差値を算出する演算処理(図9のステップS3)について、具体的に説明する。なお、以下においては、画像の全画面を測距の対象とし(すなわち、全画素を測距点とし)、1つの対象領域について、X軸方向のすべての画素について対応点探索を行う場合を例として説明する。   Here, the calculation process (step S3 in FIG. 9) in which the first calculation unit 15 calculates the parallax value at the pixel level will be specifically described with reference to FIG. In the following, an example in which the entire screen of an image is a distance measurement target (that is, all pixels are distance measurement points) and corresponding point search is performed for all pixels in the X-axis direction for one target area. Will be described.

図10に示すように、第1演算部15は、基準画像内に測距点を設定し(ステップS11)、この測距点を中心とした所定の対象領域が設定される(ステップS12)。
対象領域が設定されると、第1演算部15は参照画像内に対象領域と同じサイズの比較対象領域を設定し(ステップS13)、SAD演算法により相関演算を行うことにより、対象領域と比較対象領域との相関度を算出する(ステップS14)。
As shown in FIG. 10, the first calculation unit 15 sets a distance measuring point in the reference image (step S11), and a predetermined target area centered on the distance measuring point is set (step S12).
When the target area is set, the first calculation unit 15 sets a comparison target area having the same size as the target area in the reference image (step S13), and performs a correlation calculation by the SAD calculation method, thereby comparing with the target area. The degree of correlation with the target area is calculated (step S14).

第1演算部15は当該対象領域について、比較対象画像のX軸方向のすべての画素について視差算出処理が終了したかを判断する(ステップS15)。終了していない場合(ステップS15;NO)には、第1演算部15は、参照画像内の比較対象領域をX軸方向に1画素ずらして(ステップS16)、ステップ14に戻り、視差算出処理を繰り返す。X軸方向のすべての画素について視差算出処理が終了した場合(ステップS15;YES)には、当該視差算出処理において最も相関度の高い画素を検索して、視差値を算出する(ステップS17)。   The first calculation unit 15 determines whether or not the parallax calculation processing has been completed for all pixels in the X-axis direction of the comparison target image for the target region (step S15). If not completed (step S15; NO), the first calculation unit 15 shifts the comparison target area in the reference image by one pixel in the X-axis direction (step S16), returns to step 14, and returns to the parallax calculation process. repeat. When the parallax calculation processing has been completed for all the pixels in the X-axis direction (step S15; YES), the pixel having the highest degree of correlation is searched for in the parallax calculation processing, and the parallax value is calculated (step S17).

第1演算部15は当該対象領域について視差値を算出すると、さらに、基準画像内の全測距点(測距を行うべきすべての画素)についての視差算出処理が終了したかを判断する(ステップS18)。本実施形態では、画像の全画素について視差算出処理を行うので、全画素について処理が終了したかを判断する。
そして、画像中に、測距を行うべき画素であって未処理のものがある場合(ステップS18;NO)には、当該未処理の画素を新たな測距点として設定し(ステップS19)、この測距点を中心とした対象領域を設定して(ステップS12)以下ステップS13からステップS17の処理を繰り返す。他方、画像中に未処理の測距点がない場合(ステップS18;YES)には、ピクセルレベルの視差算出処理(第1の演算処理)を終了する。
When the first calculation unit 15 calculates the parallax value for the target region, the first calculation unit 15 further determines whether the parallax calculation processing has been completed for all the ranging points (all pixels to be subjected to ranging) in the reference image (Step S15). S18). In the present embodiment, since the parallax calculation process is performed for all the pixels of the image, it is determined whether the process has been completed for all the pixels.
If there are unprocessed pixels that should be measured in the image (step S18; NO), the unprocessed pixels are set as new ranging points (step S19). A target area centered on this distance measuring point is set (step S12), and the processing from step S13 to step S17 is repeated. On the other hand, if there is no unprocessed distance measuring point in the image (step S18; YES), the pixel level parallax calculation process (first calculation process) is terminated.

次に、図11を参照しつつ、第2演算部16によりサブピクセルレベルの視差値を算出する演算処理(図9のステップS5)について、具体的に説明する。   Next, the calculation process (step S5 in FIG. 9) for calculating the sub-pixel level parallax value by the second calculation unit 16 will be specifically described with reference to FIG.

第1演算部15によるピクセルレベルの視差値の算出結果に基づいて対象領域設定部14により対象領域が設定されると(図9のステップS4参照)、まず、窓関数部61a,61bが画像データに基づく信号に対して窓関数を掛け、FFT部62a,62bが、中心画素を中心とした32×32画素のブロックサイズの2次元フーリエ変換処理を行う。
すなわち、図11に示すように、窓関数部61aが基準画像に基づく信号f1を作成し、この信号f1について62aがフーリエ変換処理を行って信号f1を信号F1に変換する(ステップS21)。また、窓関数部61bが基準画像に基づく信号f2を作成し、この信号f2について62bがフーリエ変換処理を行って信号f2を信号F2に変換する。(ステップS22)。
When the target area is set by the target area setting unit 14 based on the calculation result of the parallax value at the pixel level by the first calculation unit 15 (see step S4 in FIG. 9), first, the window function units 61a and 61b are image data. The FFT unit 62a, 62b performs a two-dimensional Fourier transform process with a block size of 32 × 32 pixels centered on the center pixel.
That is, as shown in FIG. 11, the window function unit 61a creates a signal f1 based on the reference image, and 62a performs a Fourier transform process on the signal f1 to convert the signal f1 into the signal F1 (step S21). Further, the window function unit 61b creates a signal f2 based on the reference image, and 62b performs a Fourier transform process on the signal f2 to convert the signal f2 into the signal F2. (Step S22).

その後、位相情報抽出部63a,63bは、信号F1,F2に基づき、その振幅成分を除去して信号F1から位相情報F3を、信号F2から位相情報F4をそれぞれ抽出する(ステップS23)。さらに、位相情報のみの信号F3,F4は、合成部64によって合成され、合成信号F5が生成される(ステップS24)。合成信号F5は合成部64からIFFT部65に出力され、IFFT部65はこの合成信号F5に対して、逆フーリエ変換処理を施しf5に変換する(ステップS25)。その後、相関値演算部76は、f5に基づいて相関値maxx,yf5(u,v)を算出し(ステップS26)、演算結果(相関強度画像データ)を第2照合部7に出力する(ステップS27) Thereafter, the phase information extraction units 63a and 63b remove the amplitude components based on the signals F1 and F2 and extract the phase information F3 from the signal F1 and the phase information F4 from the signal F2 (step S23). Further, the signals F3 and F4 having only phase information are combined by the combining unit 64 to generate a combined signal F5 (step S24). The synthesized signal F5 is output from the synthesizing unit 64 to the IFFT unit 65, and the IFFT unit 65 performs inverse Fourier transform processing on the synthesized signal F5 to convert it to f5 (step S25). Thereafter, the correlation value calculation unit 76 calculates a correlation value max x, y f5 (u, v) based on f5 (step S26), and outputs the calculation result (correlation strength image data) to the second verification unit 7. (Step S27)

第2照合部7では、サブピクセルレベルの位置ずれ量を検出するようになっている。詳しくは、まず、窓関数部71が第1照合部6から出力された相関強度画像データにHanning窓をかける。その後、非線形フィッティング部72は、窓関数部71からの信号(5画素×5画素分の相関強度画像データ(図7参照))に対してピークモデル(図8参照)をあてはめ、Levenberg-Merquardt法(非線形演算としての非線形最小二乗法)によりずれ量を近似計算する(ステップS28:非線形フィッティング処理)。非線形フィッティング部72は、近似計算の結果が所定の閾値以下か否かを判断し(ステップS29)、閾値より大きい場合(ステップS29;NO)は、窓関数部71に検出結果を出力する(ステップS30)。そして再度非線形フィッティング処理(ステップS28)が行われる。また、非線形フィッティング部72は、検出結果が所定の閾値以下の場合(ステップS29;YES)には、それ以前の検出結果を全て加算してサブピクセルレベルの位置ずれ量として距離画像生成部17に出力する(ステップS31)。これにより、第2演算部16によるサブピクセルレベルの視差算出処理が終了する。   The second collating unit 7 detects the amount of positional deviation at the sub-pixel level. Specifically, first, the window function unit 71 applies a Hanning window to the correlation strength image data output from the first matching unit 6. Thereafter, the non-linear fitting unit 72 applies a peak model (see FIG. 8) to the signal from the window function unit 71 (correlation strength image data for 5 pixels × 5 pixels (see FIG. 7)), and the Levenberg-Merquardt method. The shift amount is approximately calculated by (a nonlinear least square method as a nonlinear operation) (step S28: nonlinear fitting process). The nonlinear fitting unit 72 determines whether or not the result of the approximation calculation is equal to or less than a predetermined threshold (step S29). If the result is larger than the threshold (step S29; NO), the detection result is output to the window function unit 71 (step S29). S30). Then, the nonlinear fitting process (step S28) is performed again. Further, when the detection result is equal to or less than the predetermined threshold (step S29; YES), the nonlinear fitting unit 72 adds all the previous detection results to the distance image generation unit 17 as a sub-pixel level displacement amount. Output (step S31). Thereby, the sub-pixel level parallax calculation processing by the second calculation unit 16 ends.

図9に戻って、第2演算部16による視差算出処理が終了し、第2照合部7による演算結果がサブピクセルレベルの演算結果として距離画像生成部17に出力されると(図11のステップS31)、距離画像生成部17は、この演算結果に基づいて距離画像を生成する(ステップS6)。そして、距離画像生成部17によって生成された距離画像は、必要に応じて出力部20から出力される。   Returning to FIG. 9, when the parallax calculation processing by the second calculation unit 16 is completed and the calculation result by the second matching unit 7 is output to the distance image generation unit 17 as a sub-pixel level calculation result (step of FIG. 11). S31), the distance image generation unit 17 generates a distance image based on the calculation result (step S6). And the distance image produced | generated by the distance image production | generation part 17 is output from the output part 20 as needed.

以上のように、本実施形態によれば、ピクセルレベルの視差算出処理においては、高速で演算処理を行うことのできる第1演算部15により処理を行い、サブピクセルレベルの視差算出処理においては、第1演算部15による演算結果を用いて演算を行う対象領域を決定して、高精度の演算処理を行うことのできる第2演算部16による演算処理を行うので、視差算出処理を効率的に行って、相関演算の総処理時間の短縮と、高精度な距離画像の生成との両立を図ることができる。   As described above, according to the present embodiment, in the pixel level parallax calculation processing, the first calculation unit 15 capable of performing high-speed calculation processing performs processing, and in the sub-pixel level parallax calculation processing, The target region to be calculated is determined using the calculation result of the first calculation unit 15 and the calculation processing by the second calculation unit 16 capable of performing high-precision calculation processing is performed, so that the parallax calculation processing is efficiently performed By doing so, it is possible to achieve both reduction of the total processing time of the correlation calculation and generation of a highly accurate distance image.

なお、本実施形態においては、2つの撮像手段2a,2bを備えて各撮像手段2a,2bにより同一対象物を撮像して基準画像データ(第1画像情報)と参照画像データ(第2画像情報)とを取得する構成としたが、撮像装置2a,2bの構成はこれに限定されない。撮像装置2a,2bは少なくとも1つの撮像手段を備えて構成されていればよく、1つの撮像手段により同一対象物を異なるタイミングで撮像して基準画像データと参照画像データとを取得するものでもよいし、2つ以上の撮像手段を備えて各撮像手段により同一対象物を撮像して基準画像データと参照画像データとを取得するものでもよい。   In the present embodiment, two image pickup means 2a and 2b are provided, the same object is picked up by the image pickup means 2a and 2b, and standard image data (first image information) and reference image data (second image information). However, the configuration of the imaging devices 2a and 2b is not limited to this. The imaging devices 2a and 2b need only be configured to include at least one imaging unit, and may acquire the standard image data and the reference image data by imaging the same object at different timings by one imaging unit. In addition, two or more imaging units may be provided, and the same object may be captured by each imaging unit to acquire the standard image data and the reference image data.

また、本実施形態においては、距離画像生成装置1の構成要素として撮像装置2a,2bを備える場合について説明したが、画像取得部を距離画像生成装置1の外部に設けて、距離画像生成装置1に外部から基準画像データ(第1画像情報)と参照画像データ(第2画像情報)が入力され、この画像データに基づいて相関演算等の処理が行われるようにしてもよい。   Further, in the present embodiment, the case where the imaging devices 2a and 2b are provided as the constituent elements of the distance image generating device 1 has been described. However, the image acquiring unit is provided outside the distance image generating device 1, and the distance image generating device 1 is provided. Alternatively, reference image data (first image information) and reference image data (second image information) may be input from the outside, and processing such as correlation calculation may be performed based on the image data.

また、本実施形態においては、第1演算部15において、相関値に基づく候補座標の算出を行い、算出された候補座標を探索結果として対象領域設定部14に出力するように構成したが、対象領域設定部14に出力される探索結果はこれに限定されない。例えば、対象領域設定部14には、探索結果として第1演算部15から相関値を示す演算結果が出力され、対象領域設定部14が、この演算結果に基づいて、最も相関度の高かった点(候補座標)を算出し、この候補座標の周辺を対象領域として設定してもよい。   In the present embodiment, the first calculation unit 15 is configured to calculate candidate coordinates based on the correlation value and output the calculated candidate coordinates to the target region setting unit 14 as a search result. The search result output to the area setting unit 14 is not limited to this. For example, the target region setting unit 14 outputs a calculation result indicating a correlation value from the first calculation unit 15 as a search result, and the target region setting unit 14 has the highest degree of correlation based on the calculation result. (Candidate coordinates) may be calculated, and the periphery of the candidate coordinates may be set as the target region.

また、本実施形態においては、画像の全画面を測距の対象とする(すなわち、全画素を測距点とする)場合を例として説明したが、ユーザの用途等により、例えば画像内の人物部分についてだけ測距を行いたい場合等であれば、測距を行いたい対象部分のみに測距点を設定して視差算出処理を行う等、視差算出処理を行う範囲を限定してもよい。   Further, in the present embodiment, the case has been described as an example in which the entire screen of the image is the object of distance measurement (that is, all the pixels are the distance measurement points). If it is desired to perform distance measurement only for a portion, the range for performing the parallax calculation processing may be limited, for example, by setting a distance measurement point only for a target portion for which distance measurement is desired and performing parallax calculation processing.

また、本実施形態においては、1つの対象領域について、X軸方向のすべての画素について対応点探索を行う場合を例として説明したが、ユーザの用途等により一定の限定された距離値の範囲のみ距離を求めることができればよい場合もある。このような場合には、用途に応じた距離範囲に対応する視差値の範囲を演算範囲とし、比較対象領域をこの範囲で移動させて視差算出処理を行うようにしてもよい。
例えば、100m以上離れた距離にあるものの距離のみを求めれば足りる場合には、100m以上の距離値に対応する視差値の範囲で比較対象領域をこの範囲で移動させる。これにより、視差算出処理において、相関演算の処理時間を短縮することができる。
Further, in the present embodiment, the case where the corresponding point search is performed for all the pixels in the X-axis direction for one target region has been described as an example. In some cases, the distance may be obtained. In such a case, the parallax value range corresponding to the distance range according to the application may be used as the calculation range, and the comparison target region may be moved within this range to perform the parallax calculation processing.
For example, when it is sufficient to obtain only a distance that is at a distance of 100 m or more, the comparison target area is moved within this range within a range of parallax values corresponding to a distance value of 100 m or more. Thereby, in the parallax calculation process, the processing time of the correlation calculation can be shortened.

また、本実施形態においては、基準画像を25画素ずつの単位面積に分割して対象領域を設定し、この対象領域ごとに相関演算を行う場合を例として説明したが、対象領域の範囲は、25画素ずつに限定されず、任意の範囲に設定することができる。
また、本実施形態においては、対象領域を25画素ずつの所定の領域とし、この領域ごとに相関演算を行うものとしたが、例えば1画素ごとに基準画像と参照画像の相関度を算出するようにしてもよい。
Further, in the present embodiment, the case where the reference image is divided into unit areas of 25 pixels and the target region is set and correlation calculation is performed for each target region has been described as an example. It is not limited to 25 pixels each, and can be set to an arbitrary range.
In this embodiment, the target area is a predetermined area of 25 pixels, and the correlation calculation is performed for each area. For example, the correlation between the reference image and the reference image is calculated for each pixel. It may be.

また、本実施形態においては、第1の演算手段として、SAD演算法により距離値を求める第1演算部15を設けたが、第1の演算手段は高速に距離値を求める処理を行うことができるものであればよく、これに限定されない。例えば、第1の演算手段として、SSD(Sum of Squared Differences)演算法や、NCC(Normalized Cross-Correlation)演算法により距離値を求める演算部を設けてもよい。   In the present embodiment, the first calculation unit 15 that obtains the distance value by the SAD calculation method is provided as the first calculation unit. However, the first calculation unit can perform the process of obtaining the distance value at high speed. Anything is possible as long as it is possible, and the present invention is not limited to this. For example, a calculation unit that obtains a distance value by an SSD (Sum of Squared Differences) calculation method or an NCC (Normalized Cross-Correlation) calculation method may be provided as the first calculation means.

また、本実施形態においては、第2の演算手段として、POC演算法により対応点を探索する第2演算部16を設けたが、第2の演算手段は高精度に対応点の探索を行うことのできるものであればよく、POC演算法によるものに限定されない。   In the present embodiment, the second calculation unit 16 that searches for corresponding points by the POC calculation method is provided as the second calculation means. However, the second calculation means searches for the corresponding points with high accuracy. However, the present invention is not limited to the one based on the POC calculation method.

また、本実施形態においては、画像処理部10が、CPU等とROM、RAM等のメモリで構成されるコンピュータである場合を例として説明したが、画像処理部10の全体又は一部を専用ハードウェアで構成してもよい。
すなわち、例えば第2演算部16は、位相限定相関処理を行なう専用のハードウェアで構成されていることが好ましい。専用のハードウェアとしては、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等が適用可能である。
Further, in the present embodiment, the case where the image processing unit 10 is a computer including a CPU and the like and a memory such as a ROM and a RAM has been described as an example. You may comprise by wear.
That is, for example, the second arithmetic unit 16 is preferably configured by dedicated hardware that performs phase-only correlation processing. As dedicated hardware, for example, an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), or the like is applicable.

また、基準画像及び参照画像について解像度の異なる複数の階層画像からなる多重解像度画像を生成し、第1演算部15における演算において、低解像度の階層画像から高解像度の階層画像に向かって順次対応点の探索処理を繰り返すとともに、低解像度の階層画像について得られた探索結果を次階層における探索に反映させるようにしてもよい。このような手法をとることにより、より高速で高精度の演算処理を行うことができる。   In addition, a multi-resolution image composed of a plurality of hierarchical images with different resolutions is generated for the base image and the reference image, and in the calculation in the first calculation unit 15, corresponding points are sequentially applied from the low-resolution hierarchical image to the high-resolution hierarchical image. This search process may be repeated and the search result obtained for the low-resolution hierarchical image may be reflected in the search in the next hierarchy. By adopting such a method, it is possible to perform calculation processing at higher speed and with higher accuracy.

その他、本発明が上記実施の形態に限らず適宜変更可能であるのは勿論である。   In addition, it is needless to say that the present invention is not limited to the above embodiment and can be modified as appropriate.

本実施形態に係る相関演算装置の全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the correlation calculating apparatus which concerns on this embodiment. 図2(a)は、本実施形態における基準画像の例を示した図であり、図2(b)は、本実施形態における参照画像の例を示した図である。FIG. 2A is a diagram illustrating an example of a reference image in the present embodiment, and FIG. 2B is a diagram illustrating an example of a reference image in the present embodiment. 相関度と視差値との関係を示す説明図である。It is explanatory drawing which shows the relationship between a correlation degree and a parallax value. 図1に示す第2演算部の構成を示すブロック図である。It is a block diagram which shows the structure of the 2nd calculating part shown in FIG. 第1照合部による演算処理によって得られる結果の例を示す説明図である。It is explanatory drawing which shows the example of the result obtained by the arithmetic processing by a 1st collation part. 第2照合部の構成を示すブロック図である。It is a block diagram which shows the structure of a 2nd collation part. 相関強度画像データの一例を示す図である。It is a figure which shows an example of correlation intensity | strength image data. ピークモデルの一例を示す図である。It is a figure which shows an example of a peak model. 本実施形態における距離画像生成処理を表すフローチャートである。It is a flowchart showing the distance image generation process in this embodiment. 図9に示す第1演算部による演算処理を表すフローチャートである。It is a flowchart showing the arithmetic processing by the 1st calculating part shown in FIG. 図9に示す第2演算部による演算処理を表すフローチャートである。It is a flowchart showing the arithmetic processing by the 2nd calculating part shown in FIG.

符号の説明Explanation of symbols

1 距離画像生成装置
2a,2b 撮像装置(画像取得手段)
6 第1照合部
7 第2照合部
10 画像処理部
11 レンズ歪み補正部
12 画像平行化処理部
14 対象領域設定部(対象領域設定手段)
15 第1演算部(第1の演算手段)
16 第2演算部(第2の演算手段)
17 距離画像生成部(距離画像生成手段)
61a,61b 窓関数部
62a,62b FFT部
63a,63b 位相情報抽出部
64 合成部
65 IFFT部
66 相関演算部
1 Distance Image Generating Device 2a, 2b Imaging Device (Image Acquisition Unit)
6 First collation unit 7 Second collation unit 10 Image processing unit 11 Lens distortion correction unit 12 Image parallelization processing unit 14 Target region setting unit (target region setting means)
15 1st calculating part (1st calculating means)
16 2nd calculating part (2nd calculating means)
17 Distance image generation unit (distance image generation means)
61a, 61b Window function units 62a, 62b FFT units 63a, 63b Phase information extraction unit 64 Synthesis unit 65 IFFT unit 66 Correlation calculation unit

Claims (9)

第1画像情報と比較対象となる第2画像情報とを取得する画像取得手段と、
第1の演算手法により前記第1画像情報と前記第2画像情報とを照合して、ピクセルレベルにおける視差値の算出を行う第1の演算手段と、
前記第1の演算手法よりも精度の高い第2の演算手法により前記第1画像情報と前記第2画像情報とを照合して、サブピクセルレベルにおける視差値の算出を行う第2の演算手段と、
前記第1の演算手段による視差値の算出結果に基づいて、第2の演算手段により演算を行う対象領域を設定する対象領域設定手段と、
を備えていることを特徴とする距離画像生成装置。
Image acquisition means for acquiring first image information and second image information to be compared;
A first computing means for calculating a parallax value at a pixel level by comparing the first image information and the second image information by a first computing method;
Second calculation means for calculating a parallax value at a sub-pixel level by collating the first image information with the second image information by a second calculation method having higher accuracy than the first calculation method; ,
A target area setting means for setting a target area to be calculated by the second calculation means based on the calculation result of the parallax value by the first calculation means;
A distance image generating apparatus comprising:
前記第1の演算手段により行われる第1の演算手法は、SAD演算法、SSD演算法、NCC演算法のうちのいずれかであることを特徴とする請求項1に記載の距離画像生成装置。   The range image generation apparatus according to claim 1, wherein the first calculation method performed by the first calculation means is one of an SAD calculation method, an SSD calculation method, and an NCC calculation method. 前記第2の演算手段により行われる第2の演算手法は、POC演算法であることを特徴とする請求項1又は請求項2に記載の距離画像生成装置。   The distance image generation apparatus according to claim 1 or 2, wherein the second calculation method performed by the second calculation means is a POC calculation method. 第1画像情報と比較対象となる第2画像情報とを取得する画像取得工程と、
第1の演算手法により前記第1画像情報と前記第2画像情報とを照合して、ピクセルレベルにおける視差値の算出を行う第1の演算工程と、
前記第1の演算手法よりも精度の高い第2の演算手法により前記第1画像情報と前記第2画像情報とを照合して、サブピクセルレベルにおける視差値の算出を行う第2の演算工程と、
前記第1の演算工程による視差値の算出結果に基づいて、第2の演算工程により演算を行う対象領域を設定する対象領域設定工程と、
を備えていることを特徴とする距離画像生成方法。
An image acquisition step of acquiring first image information and second image information to be compared;
A first calculation step of calculating a parallax value at a pixel level by collating the first image information and the second image information by a first calculation method;
A second calculation step of calculating a parallax value at a sub-pixel level by collating the first image information and the second image information by a second calculation method having higher accuracy than the first calculation method; ,
A target area setting step for setting a target area to be calculated in the second calculation step based on the calculation result of the parallax value in the first calculation step;
A distance image generation method characterized by comprising:
前記第1の演算工程により行われる第1の演算手法は、SAD演算法、SSD演算法、NCC演算法のうちのいずれかであることを特徴とする請求項4に記載の距離画像生成方法。   5. The distance image generation method according to claim 4, wherein the first calculation method performed in the first calculation step is any one of an SAD calculation method, an SSD calculation method, and an NCC calculation method. 前記第2の演算工程により行われる第2の演算手法は、POC演算法であることを特徴とする請求項4又は請求項5に記載の距離画像生成方法。   The distance image generation method according to claim 4 or 5, wherein the second calculation method performed in the second calculation step is a POC calculation method. 第1の演算手法により第1画像情報と比較対象となる第2画像情報とを照合して、ピクセルレベルにおける視差値の算出を行う第1の演算機能と、
前記第1の演算手法よりも精度の高い第2の演算手法により前記第1画像情報と前記第2画像情報とを照合して、サブピクセルレベルにおける視差値の算出を行う第2の演算機能と、
前記第1の演算機能による視差値の算出結果に基づいて、第2の演算機能により演算を行う対象領域を設定する対象領域設定機能と、
をコンピュータに実現させることを特徴とするコンピュータ読取可能なプログラム。
A first calculation function that compares the first image information with the second image information to be compared by the first calculation method and calculates a parallax value at a pixel level;
A second calculation function for calculating a parallax value at a sub-pixel level by collating the first image information with the second image information by a second calculation method having higher accuracy than the first calculation method; ,
A target area setting function for setting a target area to be calculated by the second calculation function based on the calculation result of the parallax value by the first calculation function;
A computer-readable program characterized by causing a computer to realize the above.
前記第1の演算手法は、SAD演算法、SSD演算法、NCC演算法のうちのいずれかであることを特徴とする請求項7に記載のコンピュータ読取可能なプログラム。   The computer-readable program according to claim 7, wherein the first calculation method is any one of an SAD calculation method, an SSD calculation method, and an NCC calculation method. 前記第2の演算手法は、POC演算法であることを特徴とする請求項7又は請求項8に記載のコンピュータ読取可能なプログラム。   The computer-readable program according to claim 7 or 8, wherein the second calculation method is a POC calculation method.
JP2007055837A 2007-03-06 2007-03-06 Distance image generation device, distance image generation method, and program Pending JP2008216127A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007055837A JP2008216127A (en) 2007-03-06 2007-03-06 Distance image generation device, distance image generation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007055837A JP2008216127A (en) 2007-03-06 2007-03-06 Distance image generation device, distance image generation method, and program

Publications (1)

Publication Number Publication Date
JP2008216127A true JP2008216127A (en) 2008-09-18

Family

ID=39836331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007055837A Pending JP2008216127A (en) 2007-03-06 2007-03-06 Distance image generation device, distance image generation method, and program

Country Status (1)

Country Link
JP (1) JP2008216127A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097507A (en) * 2008-10-17 2010-04-30 Nippon Telegr & Teleph Corp <Ntt> Device, method, and program for extracting movement object
JP2010139288A (en) * 2008-12-10 2010-06-24 Konica Minolta Holdings Inc Stereo camera unit and stereo matching method
WO2012011227A1 (en) * 2010-07-22 2012-01-26 パナソニック株式会社 Stereo distance measurement apparatus and stereo distance measurement method
WO2013038833A1 (en) 2011-09-16 2013-03-21 コニカミノルタホールディングス株式会社 Image processing system, image processing method, and image processing program
JP2014096761A (en) * 2012-11-12 2014-05-22 Canon Inc Image processing apparatus, and control method and control program of the same
WO2014192642A1 (en) * 2013-05-28 2014-12-04 コニカミノルタ株式会社 Image processing device and image processing method
CN113676659A (en) * 2021-08-11 2021-11-19 Oppo广东移动通信有限公司 Image processing method and device, terminal and computer readable storage medium
WO2021256020A1 (en) * 2020-06-19 2021-12-23 日立Astemo株式会社 Stereo image processing device and distance measurement method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5648510A (en) * 1979-09-28 1981-05-01 Agency Of Ind Science & Technol Distance pattern measuring system by adverse convoluting method
JPH10134197A (en) * 1996-11-01 1998-05-22 Yamatake Honeywell Co Ltd Distance measuring instrument
JP2000171214A (en) * 1998-12-08 2000-06-23 Meidensha Corp Corresponding point retrieving method and three- dimensional position measuring method utilizing same
JP2000283753A (en) * 1999-03-31 2000-10-13 Fuji Heavy Ind Ltd Device for measuring distance using stereographic picture
WO2003049190A1 (en) * 2001-12-05 2003-06-12 Hamamatsu Photonics K.K. Light detection device, imaging device and distant image acquisition device
JP2004239705A (en) * 2003-02-05 2004-08-26 Ricoh Co Ltd Object distance detection device and camera equipped with object distance detection device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5648510A (en) * 1979-09-28 1981-05-01 Agency Of Ind Science & Technol Distance pattern measuring system by adverse convoluting method
JPH10134197A (en) * 1996-11-01 1998-05-22 Yamatake Honeywell Co Ltd Distance measuring instrument
JP2000171214A (en) * 1998-12-08 2000-06-23 Meidensha Corp Corresponding point retrieving method and three- dimensional position measuring method utilizing same
JP2000283753A (en) * 1999-03-31 2000-10-13 Fuji Heavy Ind Ltd Device for measuring distance using stereographic picture
WO2003049190A1 (en) * 2001-12-05 2003-06-12 Hamamatsu Photonics K.K. Light detection device, imaging device and distant image acquisition device
JP2004239705A (en) * 2003-02-05 2004-08-26 Ricoh Co Ltd Object distance detection device and camera equipped with object distance detection device

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097507A (en) * 2008-10-17 2010-04-30 Nippon Telegr & Teleph Corp <Ntt> Device, method, and program for extracting movement object
JP2010139288A (en) * 2008-12-10 2010-06-24 Konica Minolta Holdings Inc Stereo camera unit and stereo matching method
EP2597421A1 (en) * 2010-07-22 2013-05-29 Panasonic Corporation Stereo distance measurement apparatus and stereo distance measurement method
JP2012026841A (en) * 2010-07-22 2012-02-09 Panasonic Corp Stereo distance measuring equipment and stereo distance measuring method
CN103003665A (en) * 2010-07-22 2013-03-27 松下电器产业株式会社 Stereo distance measurement apparatus and stereo distance measurement method
WO2012011227A1 (en) * 2010-07-22 2012-01-26 パナソニック株式会社 Stereo distance measurement apparatus and stereo distance measurement method
EP2597421A4 (en) * 2010-07-22 2014-01-22 Panasonic Corp Stereo distance measurement apparatus and stereo distance measurement method
US8995753B2 (en) 2010-07-22 2015-03-31 Panasonic Corporation Stereo distance measurement apparatus and stereo distance measurement method
WO2013038833A1 (en) 2011-09-16 2013-03-21 コニカミノルタホールディングス株式会社 Image processing system, image processing method, and image processing program
JP2014096761A (en) * 2012-11-12 2014-05-22 Canon Inc Image processing apparatus, and control method and control program of the same
WO2014192642A1 (en) * 2013-05-28 2014-12-04 コニカミノルタ株式会社 Image processing device and image processing method
WO2021256020A1 (en) * 2020-06-19 2021-12-23 日立Astemo株式会社 Stereo image processing device and distance measurement method
JP2022001830A (en) * 2020-06-19 2022-01-06 日立Astemo株式会社 Stereo image processing device and distance measurement method
JP7394709B2 (en) 2020-06-19 2023-12-08 日立Astemo株式会社 Stereo image processing device and distance measurement method
CN113676659A (en) * 2021-08-11 2021-11-19 Oppo广东移动通信有限公司 Image processing method and device, terminal and computer readable storage medium

Similar Documents

Publication Publication Date Title
JP4883223B2 (en) Motion vector generation apparatus and motion vector generation method
JP5567179B2 (en) Stereo image processing apparatus and stereo image processing method
JP2008216127A (en) Distance image generation device, distance image generation method, and program
JP5311016B2 (en) Stereo camera unit and stereo matching method
EP3135033B1 (en) Structured stereo
JP6553826B1 (en) Image processing apparatus, image processing method, and image processing program
JP4941565B2 (en) Corresponding point search apparatus and corresponding point searching method
JP2015173430A (en) Projection system, semiconductor integrated circuit and image correction method
JP5098369B2 (en) Distance image generating apparatus, distance image generating method and program
WO2013108554A1 (en) Image processing apparatus, image processing method, and image processing program
Lee et al. Motion blur-free time-of-flight range sensor
US10621694B2 (en) Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium
JP6040782B2 (en) Image processing apparatus and program
JP2014116012A (en) Method and apparatus for color transfer between images
JP2017011652A5 (en)
JP2016164709A (en) Image processing device, imaging apparatus, and image processing program
JP5167614B2 (en) Distance image generating apparatus, distance image generating method and program
JP2019207464A (en) Phase difference detection device, image processing device, and program
JP2015201707A (en) Display pattern generation apparatus, and program for the same
JP2020102230A (en) Calibration method
JP5057134B2 (en) Distance image generating apparatus, distance image generating method and program
JP2012202942A (en) Three-dimensional modeling device, three-dimensional modeling method, and program
JP2018121273A (en) Video imaging apparatus and video imaging method
JP6831792B2 (en) Imaging device and imaging system
JP6481375B2 (en) Information processing system, information processing method, program, and information processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Effective date: 20100303

Free format text: JAPANESE INTERMEDIATE CODE: A621

A977 Report on retrieval

Effective date: 20120223

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Effective date: 20120228

Free format text: JAPANESE INTERMEDIATE CODE: A131

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120626