JP2023006232A - distance measuring device - Google Patents
distance measuring device Download PDFInfo
- Publication number
- JP2023006232A JP2023006232A JP2021108735A JP2021108735A JP2023006232A JP 2023006232 A JP2023006232 A JP 2023006232A JP 2021108735 A JP2021108735 A JP 2021108735A JP 2021108735 A JP2021108735 A JP 2021108735A JP 2023006232 A JP2023006232 A JP 2023006232A
- Authority
- JP
- Japan
- Prior art keywords
- image
- resampling
- distance measuring
- measuring device
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012952 Resampling Methods 0.000 claims abstract description 129
- 238000003384 imaging method Methods 0.000 claims abstract description 111
- 238000012545 processing Methods 0.000 claims abstract description 106
- 238000012937 correction Methods 0.000 claims abstract description 65
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000015556 catabolic process Effects 0.000 claims abstract description 15
- 238000006731 degradation reaction Methods 0.000 claims abstract description 15
- 239000011295 pitch Substances 0.000 claims description 89
- 230000003287 optical effect Effects 0.000 claims description 36
- 238000005070 sampling Methods 0.000 description 52
- 238000010586 diagram Methods 0.000 description 34
- 238000003702 image correction Methods 0.000 description 24
- 230000009467 reduction Effects 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 9
- 230000000903 blocking effect Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 101100464782 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) CMP2 gene Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明は距離測定装置に関する。 The present invention relates to a distance measuring device.
従来、ステレオカメラなどの複数のカメラを用い、所定の位置から被写体までの距離、もしくは被写体の三次元位置を高精度に測定する距離測定方法及び距離測定装置が知られている。ステレオカメラでは、一方のカメラにより撮像された被写体の像を含む基準画像ブロックと、もう一方のカメラにより撮像された同一の被写体の像を含む比較画像ブロックとの相関値を算出し、相関値の大きさで像の一致度を判定し、一致と判定したときのそれぞれのカメラにおける撮像素子上の画像位置の差を視差として、三角測量の原理を用いて被写体までの距離情報を算出する。このとき像の一致度判定には、二つのカメラの像は同じものであることを前提としているため、2つのカメラはできるだけ同一の特性のものである必要がある。 2. Description of the Related Art Conventionally, distance measuring methods and distance measuring devices are known that use a plurality of cameras such as stereo cameras to measure the distance from a predetermined position to an object or the three-dimensional position of an object with high accuracy. In a stereo camera, a correlation value is calculated between a reference image block containing an image of an object captured by one camera and a comparison image block containing an image of the same object captured by the other camera, and the correlation value is calculated. The degree of matching between images is determined based on size, and distance information to the subject is calculated using the principle of triangulation using the parallax as the difference in image position on the image pickup device of each camera when matching is determined. At this time, since it is assumed that the images of the two cameras are the same for determining the matching degree of the images, it is necessary that the two cameras have the same characteristics as much as possible.
国際公開第2011/010438号(特許文献1)には、「複数の光学系間に生じる視差を算出する視差検出装置(3)であって、複数の光学系の点像分布が所定の光学系の点像分布と同一となるように、複数の光学系のそれぞれから得られる複数の画像の少なくとも1つを補正するPSF同一化部(5)と、PSF同一化部(5)によって補正された画像を用いて、複数の光学系間に生じる視差を算出する視差算出部(9)とを備える視差検出装置」が開示されている。 International Publication No. WO 2011/010438 (Patent Document 1) describes "a parallax detection device (3) for calculating parallax occurring between a plurality of optical systems, wherein the point image distribution of the plurality of optical systems is a predetermined optical system A PSF equalization unit (5) that corrects at least one of a plurality of images obtained from each of a plurality of optical systems so as to be the same as the point spread distribution of the PSF equalization unit (5). A parallax detection device including a parallax calculation unit (9) that calculates parallax generated between a plurality of optical systems using images.
近年、車載カメラでは、認識対象が広画角範囲かつ広い距離範囲に拡大し、より広範囲で安全を確保するために、歪の大きな広角レンズカメラを利用するケースが増え、またカメラの数も増加する傾向にある。 In recent years, in-vehicle cameras have expanded the recognition target to a wide range of angles and distances, and in order to ensure safety over a wider range, there are more cases where wide-angle lens cameras with large distortion are used, and the number of cameras is also increasing. tend to
そのため、連携するカメラ数を最小に抑えるために、広角高歪レンズや画素ピッチの異なるセンサでのステレオカメラ(多視点化)の検討が重要となる。 Therefore, in order to minimize the number of cameras to be linked, it is important to consider wide-angle high-distortion lenses and stereo cameras (multiple viewpoints) using sensors with different pixel pitches.
また光学系を駆使し、レンズやミラーの射影方式を利用し、広画角範囲かつ広距離範囲の要求に応える技術も開発されている。特開2021-012075号公報(特許文献2)には、「被写体からの第1の光R1が、上側双曲面ミラー102で反射した後、更に下側双曲面ミラー103(内側双曲面ミラー103A)で反射し、その後結像光学系104を介してイメージセンサ105に入射され、また、被写体からの、第1の光R1とは異なる第2の光R2が、下側双曲面ミラー103(外側双曲面ミラー103B)で反射され、結像光学系104を介してイメージセンサ105に入射され、第1の光R1、第2の光R2が、異なる方向からイメージセンサ105上の異なる箇所に入射されることで、被写体までの距離等が演算可能となるステレオカメラ101」が開示されている。 Also, by making full use of the optical system and using the projection method of lenses and mirrors, technology has been developed to meet the demands for a wide angle of view and a wide range of distances. In Japanese Patent Laid-Open No. 2021-012075 (Patent Document 2), "After the first light R1 from the subject is reflected by the upper hyperboloid mirror 102, it is further reflected by the lower hyperboloid mirror 103 (the inner hyperboloid mirror 103A). , and then enters the image sensor 105 via the imaging optical system 104. Second light R2 from the subject, which is different from the first light R1, is reflected by the lower hyperboloid mirror 103 (outer bi The light is reflected by the curved mirror 103B) and enters the image sensor 105 via the imaging optical system 104, and the first light R1 and the second light R2 enter different locations on the image sensor 105 from different directions. Thus, a stereo camera 101 that can calculate the distance to the subject and the like is disclosed.
距離測定装置において、ステレオカメラの原理を用いた測距に使用する二台のカメラの撮像素子サイズ、撮像素子の画素ピッチなどが異なる場合、二つのカメラの画像の画素ピッチ(サンプリングピッチ・サンプリング周波数)が異なるという問題がある。また、二台のカメラのレンズの焦点距離の異なる場合、センサ上に結像する像の大きさ自体が異なり、これもサンプリングピッチの異なる画像を比較して視差を求めなければならないという問題があった。 In a distance measuring device, if the imaging element size and pixel pitch of the two cameras used for distance measurement using the principle of a stereo camera are different, the pixel pitch (sampling pitch/sampling frequency) of the images of the two cameras ) is different. In addition, when the focal lengths of the lenses of the two cameras are different, the size of the image formed on the sensor itself is also different. rice field.
このとき、二つの撮像素子上の画像を一旦同じサンプリングピッチの画像になるように補間処理するが、粗い画素ピッチの画像を細かい画素ピッチの画像に変換する際には、元の画像サイズが増大し、本来データ処理量が小さくて済む粗い画素ピッチの撮像素子を使う意味がなくなる。また細かい画素ピッチの画像を粗い画素ピッチの画像に変換する際には、視差画像サイズが小さくなり、視差画像の画像密度が低下するだけでなく、他の認識処理で必要な高解像度画像が使用できなくなるという問題が生じる。 At this time, the images on the two image sensors are interpolated so that they have the same sampling pitch. However, there is no point in using an image pickup device with a coarse pixel pitch, which originally requires a small amount of data processing. Also, when converting an image with a fine pixel pitch to an image with a coarse pixel pitch, the size of the parallax image becomes smaller and the image density of the parallax image decreases. The problem arises that you can't.
また、粗い画素ピッチ(低いサンプリング周波数)の画像は、サンプリング定理から、元々粗い画素ピッチで決まる低いサンプリング周波数の半分の周波数までの信号成分しか持たず、一方、細かい画素ピッチ(高いサンプリング周波数)の画像は、細かい画素ピッチで決まる高いサンプリング周波数の半分の周波数の信号成分まで持っており、補間処理によって同じ画素ピッチに変換されても、全く同じ画像にはならないという問題があった。 Also, according to the sampling theorem, an image with a coarse pixel pitch (low sampling frequency) has only signal components up to half the frequency of the low sampling frequency originally determined by the coarse pixel pitch. An image has signal components with half the frequency of a high sampling frequency determined by a fine pixel pitch.
さらに、歪の大きな広角レンズや曲面ミラーなどを用いた特殊な射影特性を持つ光学系からなるステレオカメラでは、幾何補正またはリサンプリング、再サンプリングと呼ばれる像の拡大・縮小・回転などの幾何学的な変換操作により、新しい画像空間上の格子点として計算される。 Furthermore, in a stereo camera, which has an optical system with special projection characteristics using a wide-angle lens with large distortion and a curved mirror, geometric correction, resampling, or resampling, such as enlargement, reduction, or rotation of the image, is performed. are calculated as lattice points in the new image space by a transformation operation.
リサンプリングにより新しく生成した画像上の輝度値は、新しく生成した画像空間の格子点が、元のサンプリング点を幾何学的な変換した点上にあるとは限らず、元のサンプリング点の幾何変換された点と元のサンプリング点上の輝度値とから補間処理によって求められる。歪などの幾何変形量は、画像上の点によって異なっているため、サンプリング・リサンプリングにおけるサンプリング周波数変換は空間上一様ではなく、撮像面上に分布を持つことになる。 The luminance values on the image newly generated by resampling are not necessarily on the points obtained by geometrically transforming the original sampling points. obtained by interpolation processing from the extracted points and luminance values on the original sampling points. Since the amount of geometric deformation such as distortion differs depending on the points on the image, the sampling frequency conversion in sampling/resampling is not spatially uniform, but has a distribution on the imaging plane.
ステレオカメラにおいて、基準画像のブロック位置と探索画像のブロック位置は異なるため、幾何学的な補正は行われているものの、同じ被写体の像であっても、サンプリング定理に基づく信号の違いが生じ、視差精度や視差率などの視差性能を低下させるという問題があった。 In a stereo camera, the block position of the reference image and the block position of the search image are different, so even if the image of the same subject is geometrically corrected, there will be a difference in the signal based on the sampling theorem. There is a problem that parallax performance such as parallax accuracy and parallax ratio is lowered.
本発明の目的は、上記に鑑みてなされたものであって、画素ピッチの異なる撮像素子、焦点距離の異なるレンズ、または、歪のあるレンズを用いた場合でも、高精度に視差検出を行うことが可能な距離測定装置を提供することにある。 SUMMARY OF THE INVENTION It is an object of the present invention, which has been made in view of the above, to perform parallax detection with high accuracy even when using an imaging element with a different pixel pitch, a lens with a different focal length, or a lens with distortion. To provide a distance measuring device capable of
本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。 The above and other objects and novel features of the present invention will become apparent from the description of the specification and the accompanying drawings.
本発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。 A brief outline of a representative one of the present invention is as follows.
一実施の形態による距離測定装置は、撮像素子の上に撮像され、同一物体の少なくとも二つの像の撮像素子の上の像位置を二つの像の一致度判定によって検出し、測距を行う距離測定装置であって、撮像素子の上の像は撮像素子の画素ピッチでサンプリングされ、像位置検出時における像の一致度判定を実施する際に幾何学的な補正と、再サンプリング処理が実施され、再サンプリング処理時に発生する像の信号劣化を補正する。 The distance measuring device according to one embodiment detects the image positions of at least two images of the same object on the imaging device by determining the degree of matching between the two images, and measures the distance. In the measuring device, the image on the image pickup device is sampled at the pixel pitch of the image pickup device, and geometric correction and resampling processing are performed when determining the degree of matching of the images during image position detection. , corrects the signal degradation of the image that occurs during the resampling process.
上記した以外の課題、構成および効果は、以下の発明を実施するための形態の説明により明らかにされる。 Problems, configurations, and effects other than those described above will be clarified by the following description of the mode for carrying out the invention.
本発明によれば、高精度に視差検出を行うことが可能な距離測定装置を提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the distance measuring device which can perform parallax detection with high precision can be provided.
以下、図面を参照して本発明の実施の形態を説明する。実施の形態または実施例は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. The embodiments and examples are examples for explaining the present invention, and are appropriately omitted and simplified for clarity of explanation. The present invention can also be implemented in various other forms. Unless otherwise specified, each component may be singular or plural.
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。 The position, size, shape, range, etc. of each component shown in the drawings may not represent the actual position, size, shape, range, etc., in order to facilitate understanding of the invention. As such, the present invention is not necessarily limited to the locations, sizes, shapes, extents, etc., disclosed in the drawings.
同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。 When there are a plurality of components having the same or similar functions, they may be described with the same reference numerals and different suffixes. Further, when there is no need to distinguish between these constituent elements, the subscripts may be omitted in the description.
実施の形態を説明するための全図において、同一の構成要素や同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略することがある。図面は説明をより明確にするため、実際の態様に比べ、模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。 In all the drawings for describing the embodiments, the same constituent elements and the same members are in principle denoted by the same reference numerals, and repeated description thereof may be omitted. In order to make the description clearer, the drawings may be represented schematically compared to the actual embodiments, but they are only examples and do not limit the interpretation of the present invention.
本発明の第一の実施形態に係る距離測定装置は、後述する図3Aに示すように、画素ピッチの異なる撮像素子30aと撮像素子30bとで構成されたステレオカメラSCを有する距離測定装置6である。
The distance measuring device according to the first embodiment of the present invention is a
まず、図1を用いて、ステレオ測距方式による被写体までの距離算出の例を説明する。図1は、カメラ2a及びカメラ2bの2つのカメラ2を用いた場合の、ステレオ測距方式による被写体4までの距離算出の例を説明する図である。距離測定装置(測距装置とも言う)6rのステレオカメラSCを構成するカメラ2aとカメラ2bとは、互いに距離B(基線長)隔てて、光軸3a、3bが平行になるように併設されている。
First, with reference to FIG. 1, an example of distance calculation to a subject by the stereo ranging method will be described. FIG. 1 is a diagram illustrating an example of distance calculation to an
被写体4から出た光線は、カメラ2aのレンズ5aとカメラ2bのレンズ5bの光学中心を通り、カメラ2aの撮像素子1aとカメラ2bの撮像素子1bの上に結像する。光軸3aと光軸3bはレンズ5aとレンズ5bの光軸3を表す。このとき、被写体4は、撮像素子1a上を光軸3aから、距離La離れた位置に結像し、また、撮像素子1b上を光軸3bから、距離Lb離れた位置に結像し、カメラ2aとカメラ2bとの間に視差L(=La-Lb)が生じる。この視差Lは距離測定装置6rのカメラ2a、2bから被写体4までの距離Dの大きさによって変化する。カメラ2a及びカメラ2bの焦点距離がともに焦点距離fとすれば、被写体4までの距離Dは以下の(式1)で表わされる。
A light beam emitted from the
D=f(B/L) (式1)
撮像素子1a、1bは通常、格子状に等しいピッチ上の点に配列された受光素子とCCD(Charge Coupled Device)あるいはCMOS(Complementary Metal Oxide Semiconductor)などの半導体デバイスにより構成される。したがって、被写体像の輝度信号は、2次元平面上で等間隔に離散化された点でサンプリングされる。
D=f(B/L) (Formula 1)
The
次に、図2A、図2Bを用いて、相異なる画素ピッチの撮像素子をステレオカメラに用いたときの課題を説明する。図2A、図2Bにおいて、相異なる画素ピッチの撮像素子として、粗い画素ピッチの撮像素子10aと、撮像素子10aと比較して細かい画素ピッチの撮像素子10bを用いた場合について説明する。図2Aは相異なる画素ピッチの撮像素子を用いた場合の2次元平面上に同じ像が結像し、それらがサンプリングおよびリサンプリングされた状態を示す図である。図2Bは、図2Aの状態を、簡単のために、1次元化して示して説明する図である。 Next, with reference to FIG. 2A and FIG. 2B, a problem when imaging elements with different pixel pitches are used in a stereo camera will be described. 2A and 2B, a case where an image sensor 10a with a coarse pixel pitch and an image sensor 10b with a finer pixel pitch than the image sensor 10a are used as image sensors with different pixel pitches will be described. FIG. 2A is a diagram showing a state in which the same image is formed on a two-dimensional plane and sampled and resampled when imaging devices with different pixel pitches are used. FIG. 2B is a diagram for explaining the state of FIG. 2A in a one-dimensional manner for the sake of simplicity.
図2Aにおいて、2次元平面22は粗い画素ピッチの撮像素子10aの2次元平面上に結像した像がサンプリングされた状態を示す。2次元平面21は撮像素子10aと比較して細かい画素ピッチの撮像素子10bの2次元平面上に結像した像がサンプリングされた状態を示す。撮像素子10aの2次元平面上と撮像素子10bの2次元平面上には、同じ像が結像しているものとする。2次元平面21rは、サンプリングした2次元平面21がリサンプリングされた状態を示す。2次元平面24は、サンプリングした2次元平面22がリサンプリングされた状態を示す。リサンプリングにより、2次元平面22の粗い画素ピッチが2次元平面21r(21)の細かい画素ピッチと一致するように変換されて、細かい画素ピッチの2次元平面24が構成される。
In FIG. 2A, a two-
図2Bには、粗い画素ピッチの撮像素子10aの1次元化されたサンプリング状態26と、細かい画素ピッチの撮像素子10bの1次元化されたサンプリング状態25とが示される。また、サンプリング状態25をリサンプリングして得られたリサンプリング状態25rと、サンプリング状態26をリサンプリングして得られたリサンプリング状態28とが示される。リサンプリング状態28では、リサンプリングにより黒丸で示す補間点が追加される。
FIG. 2B shows a one-
図2Bのサンプリング状態25、26において、「撮像素子上の像」として点線で示すように、レンズ(例えば、図1のレンズ5a、5b)によって撮像素子10a、10bの表面上に結像した像自体は連続的な光分布を持つが、これらが撮像素子10a、10bの画素ピッチに応じてサンプリングされる。サンプリング定理によるとサンプリングされた信号は、サンプリング周波数の半分以下の周波数成分だけから構成されることを前提とするので、細かい画素ピッチの撮像素子10bはより高い空間周波数成分を持ち、元の連続的な光分布に近い形状を維持する。一方、粗い画素ピッチの撮像素子10aは高い周波数成分を持つことができないので、元の連続的な光分布形状の信号から劣化してしまう(サンプリングにより信号劣化が発生する)。
In the sampling states 25 and 26 in FIG. 2B, images formed on the surfaces of the imaging elements 10a and 10b by the lenses (for example, the
ステレオマッチングでは、テンプレートマッチングの技法を使って、画像ブロック同士の比較を行う。しかしながら、撮像素子10aと撮像素子10bとの画素ピッチが異なるため、補間処理またはリサンプリング処理により、同じ画素ピッチになるように変換する必要がある。異種の画素ピッチの撮像素子(10a、10b)が混在する距離測定装置のシステムにおいて、細かい画素ピッチの撮像素子(10b)を採用する理由は、たいてい細かい画素ピッチの画像が必要であるので、リサンプリングのサンプリング周波数は、画素ピッチの細かい撮像素子(10b)のサンプリング周波数が用いられることが多い。ところが、上述したように、画素ピッチの粗い撮像素子(10a)の信号自体は、粗い画素ピッチで決まるサンプリング周波数の半分の周波数の信号成分しか有しないので、画素ピッチの粗い撮像素子(10a)のリサンプリング後の画像(28)は、周波数成分が少ない劣化した画像になる。 Stereo matching uses the technique of template matching to compare image blocks. However, since the pixel pitches of the imaging device 10a and the imaging device 10b are different, it is necessary to convert them to the same pixel pitch by interpolation processing or resampling processing. The reason why the imaging device (10b) with a fine pixel pitch is adopted in the system of the distance measuring device in which the imaging devices (10a, 10b) with different pixel pitches are mixed is that an image with a fine pixel pitch is usually required. As the sampling frequency for sampling, the sampling frequency of the imaging element (10b) with a fine pixel pitch is often used. However, as described above, the signal itself of the image sensor (10a) with a coarse pixel pitch has only a signal component with a frequency half the sampling frequency determined by the coarse pixel pitch. The resampled image (28) is a degraded image with few frequency components.
ここで、リサンプリング処理は、全画像を一括で行っても良いし、ステレオマッチング処理時に基準画像の選択と、探索画像の選択毎に実施しても良い。後者の場合の方が、必要とする記憶領域は少なくて済む。 Here, the resampling process may be performed for all images at once, or may be performed for each selection of a reference image and a search image during stereo matching processing. The latter case requires less storage space.
テンプレートマッチングでは、二つの画像の相関値を計算し、二つの画像の一致判定を行うので、リサンプリング処理の変換による誤差が異なる場合は、相関値が低下し、視差性能が劣化する。 In template matching, the correlation value of two images is calculated and the match between the two images is determined. Therefore, if the errors due to conversion in the resampling process are different, the correlation value decreases and the parallax performance deteriorates.
次に、図3A、図3B、図3Cを用いて、実施例1におけるリサンプリング後の画像補正方法を説明する。図3Aは、実施例1における距離測定装置の構成例を示す図である。
図3Bは、実施例1におけるリサンプリング後の画像補正方法の一例を示す図である。図3Cは、実施例1におけるリサンプリング後の画像補正方法の他の例を示す図である。
Next, an image correction method after resampling in the first embodiment will be described with reference to FIGS. 3A, 3B, and 3C. 3A is a diagram illustrating a configuration example of a distance measuring device according to the first embodiment; FIG.
3B is a diagram illustrating an example of an image correction method after resampling according to the first embodiment; FIG. FIG. 3C is a diagram illustrating another example of the image correction method after resampling according to the first embodiment;
図3Aに示す距離測定装置6が図1の距離測定装置6rと異なる点は、距離測定装置6では、画素ピッチの異なる撮像素子30aと撮像素子30bとで構成されたステレオカメラを採用した点である。図3Aに示す距離測定装置6の他の構成は、図1の距離測定装置6rの他の構成と同じである。
The
図3Aに示すように、距離測定装置(測距装置とも言う)6のステレオカメラSCを構成するカメラ2aとカメラ2bとは、互いに距離B(基線長)隔てて、光軸3a、3bが平行になるように併設されている。被写体4から出た光線は、カメラ2aのレンズ5aとカメラ2bのレンズ5bの光学中心を通り、カメラ2aの撮像素子30aとカメラ2bの撮像素子30bの上に結像する。光軸3aと光軸3bはレンズ5aとレンズ5bの光軸3を表す。このとき、被写体4は、撮像素子30a上を光軸3aから、距離La離れた位置に結像し、また、撮像素子30b上を光軸3bから、距離Lb離れた位置に結像し、カメラ2aとカメラ2bとの間に視差L(=La-Lb)が生じる。この視差Lは距離測定装置6のカメラ2a、2bから被写体4までの距離Dの大きさによって変化する。カメラ2a及びカメラ2bの焦点距離がともに焦点距離fとすれば、被写体4までの距離Dは先に説明した(式1)で表わされる。
As shown in FIG. 3A, a
図2A、図2Bで説明したリサンプリング(再サンプリングとも言う)において、リサンプリングにより画像信号のどの周波数以上の成分が劣化しているのかが既知なので、本実施例では、リサンプリングに伴う信号劣化の差を補正する補正処理を実施する。図3Bに示す例では、超解像処理により画素ピッチの粗い撮像素子30aの信号低下分を復元する補正処理を実施する。また、図3Cに示す例では、画素ピッチの細かい撮像素子30bからの画像データをデシメーションフィルタ(DEF)処理などの高域周波数成分を遮断するような補正処理を実施する。
In the resampling (also referred to as resampling) described with reference to FIGS. 2A and 2B, since it is known at which frequency or higher components of the image signal are degraded by resampling, in the present embodiment, signal degradation due to resampling is known. A correction process is performed to correct the difference between . In the example shown in FIG. 3B, correction processing is performed to restore the signal drop of the
図3Bには、粗い画素ピッチの撮像素子30aの1次元化されたサンプリング状態32と、細かい画素ピッチの撮像素子30bの1次元化されたサンプリング状態31とが示される。その後、サンプリング状態32とサンプリング状態31とに対して、リサンプリングを行う。リサンプリングのサンプリング周波数は、ここでは、画素ピッチの細かい撮像素子(30b)のサンプリング周波数が用いられるものとする。サンプリング状態32をリサンプリングして得られたリサンプリング状態33が示される。サンプリング状態31をリサンプリングして得られたリサンプリング状態31rが示される。これにより、リサンプリング状態33とリサンプリング状態31rとで、画素ピッチが揃えられる。
FIG. 3B shows a one-
リサンプリング状態33では、リサンプリングにより黒丸で示す補間点が追加される。一方、サンプリング状態31をリサンプリングして得られたリサンプリング状態31rは、基本的に同じである。
In the
その後、リサンプリング状態33の画像データに対して超解像処理を実施する。超解像処理では、画素ピッチの粗い撮像素子30aの信号低下分の画像データを復元する補正処理が実施され、リサンプリング状態33が超解像処理後の画像データの状態34へ変換される。これにより、リサンプリング状態31rと超解像処理後の画像データの状態34と間の誤差分が補正されることになる。
After that, super-resolution processing is performed on the image data in the
図3Cでは、図3Bと同様に、粗い画素ピッチの撮像素子30aの1次元化されたサンプリング状態32と、細かい画素ピッチの撮像素子30bの1次元化されたサンプリング状態31と、サンプリング状態32をリサンプリングして得られたリサンプリング状態33が示される。サンプリング状態31をリサンプリングして得られたリサンプリング状態31rが示される。リサンプリングのサンプリング周波数は、ここでは、画素ピッチの細かい撮像素子(30b)のサンプリング周波数が用いられるものとする。これにより、リサンプリング状態33とリサンプリング状態31rとで、画素ピッチが揃えられる。
In FIG. 3C, similarly to FIG. 3B, a one-
リサンプリングの後、リサンプリング状態31rの画像データに対してデシメーションフィルタ(DEF)処理を実施する。デシメーションフィルタ(DEF)処理では、画素ピッチの細かい撮像素子30bからの画像データの高域周波数成分を遮断するような補正処理が実施され、リサンプリング状態31rがデシメーションフィルタ(DEF)処理後の画像データ補正状態36へ変換される。これにより、デシメーションフィルタ(DEF)処理後の画像データ補正状態36とリサンプリング状態33との間の誤差分が補正されることになる。
After resampling, a decimation filter (DEF) process is performed on the image data in the
つまり、リサンプリングの後に、超解像処理による補正処理(信号低下分の復元処理)やデシメーションフィルタ処理による補正処理(高域周波数成分の遮断処理)を実施することで、リサンプリング時に発生する左右の像間(31rと33)の信号劣化の差を補正する。これにより、ステレオマッチング処理時に比較する左右の画像ブロックに対し、ブロック画像部分の左右サンプリングおよびリサンプリングによる補間に起因する左右の画像ブロックの誤差を補正し、ステレオマッチング処理により正確に視差Lを算出でき、高精度に被写体4までの距離Dを得ることができる距離測定装置6を提供できる。
In other words, after resampling, correction processing by super-resolution processing (restore processing for signal reduction) and correction processing by decimation filter processing (blocking processing for high-frequency components) are performed to reduce left and right that occur during resampling. to compensate for the difference in signal degradation between the images (31r and 33). As a result, for the left and right image blocks compared during stereo matching processing, errors in the left and right image blocks due to interpolation by left and right sampling and resampling of the block image portion are corrected, and the parallax L is accurately calculated by stereo matching processing. It is possible to provide the
超解像処理による補正処理(信号低下分の復元処理)やデシメーションフィルタ処理による補正処理(高域周波数成分の遮断処理)の後、図3Aで説明したように、距離測定装置6において視差Lの算出処理が行われる。 After correction processing by super-resolution processing (restoration processing for signal reduction) and correction processing by decimation filter processing (blocking processing for high-frequency components), as described with reference to FIG. Calculation processing is performed.
以下の説明において、超解像処理による補正処理(信号低下分の復元処理)やデシメーションフィルタ処理による補正処理(高域周波数成分の遮断処理)の後の画像データ(たとえば、図3Bの状態31rと状態34、図3Cの状態36と状態33)をリサンプリング後の画像、または、リサンプリング処理後の画像と言うこととする。また、超解像処理による補正処理(信号低下分の復元処理)やデシメーションフィルタ処理による補正処理(高域周波数成分の遮断処理)を、リサンプリング処理と言うこととする。
In the following description, image data after correction processing by super-resolution processing (restore processing for signal reduction) or correction processing by decimation filter processing (blocking processing for high frequency components) (for example,
前述したように、リサンプリング処理は、全画像を一括で行っても良いし、ステレオマッチング処理時に基準画像の選択と、探索画像の選択毎に実施しても良い。以下では、代表例として、予め全画面一括でリサンプリング処理を実施した後に、ステレオマッチング処理を実施する一例で説明する。 As described above, the resampling process may be performed on all images at once, or may be performed each time a reference image is selected and a search image is selected during the stereo matching process. In the following, as a representative example, an example will be described in which stereo matching processing is performed after resampling processing is performed on all screens in advance.
図4A、図4B、図4Cを用いて本実施例のステレオマッチング処理について説明する。図4Aは、部分画像領域毎の相関値であるSADの算出を説明する図である。図4Bは、画像ブロックを1画素ずつ移動させたときのSADの推移を示す図である。図4Cは、等角直線フィッティングのサブピクセル視差を説明する図である。 Stereo matching processing of this embodiment will be described with reference to FIGS. 4A, 4B, and 4C. FIG. 4A is a diagram illustrating calculation of SAD, which is a correlation value for each partial image area. FIG. 4B is a diagram showing transition of SAD when an image block is moved by one pixel. FIG. 4C is a diagram illustrating sub-pixel parallax for conformal line fitting.
図4Aに示すように、撮像素子30aからのリサンプリング後の画像と、撮像素子30bからのリサンプリング後の画像に対し、それぞれの部分画像領域(ブロック領域、テンプレート画像)毎の相関値であるSAD(Sum of Absolute Difference:差分絶対値総和)を算出する。SADは、式2で示す。1つのブロック領域は、例えば、8ピクセル×8ピクセルの画像領域とされている。
As shown in FIG. 4A, the correlation value for each partial image area (block area, template image) for the image after resampling from the
そして、距離測定装置6は、算出した相関値を用いて、撮像素子30aおよび撮像素子30bのリサンプリング後の画像の画素ピッチでの画像上の画像のずれ、つまり、視差Lを算出する。なお、SADは相関値の一例であり、距離測定装置6は、一般的に知られているSSD(Sum of Squared Difference:差分2乗総和)又はNCC(Normalized Cross-Correlation:正規化相互相関)なども相関値として利用可能である。
Then, the
まず、撮像素子30aからのリサンプリング後の画像から基準画像REFの部分領域を選出する。次に、撮像素子30bからのリサンプリング後の画像から比較画像CMPの部分領域を選出し、部分画像領域(REFとCMP)ごとにSADなどの相関値を算出する。次に、撮像素子30bからのリサンプリング後の画像から比較画像CMPの部分領域をリサンプリング後の画素ピッチの1画素ピッチ分だけ、例えば、右側へシフトし、再びそのシフト後における部分画像領域(REFとCMP)のSADなどの相関値を算出する。図4Bに、画像ブロックを1画素ずつ移動させたときのSADの推移を示す。SADが最小となった画素シフト量(ずらし量)SGが1画素単位の視差(L)となる。ここで、SGはSADが最小となるずらし量(整数視差)、S(0)はSADが最小になるずらし量SGでの相関値(SAD)、その隣接するずらし量でのSADをS(-1)、S(1)とする。
First, a partial area of the reference image REF is selected from the image after resampling from the
図4A、図4Bの場合、視差(L)の検出精度は1画素となるため、小数点以下の画素の精度で視差(以降、サブピクセル視差と呼ぶ)は求められないことになる。 In the case of FIGS. 4A and 4B, since the detection accuracy of parallax (L) is one pixel, parallax (hereinafter referred to as sub-pixel parallax) cannot be obtained with the accuracy of pixels below the decimal point.
距離測定精度(測距精度)つまり視差検出分解能を1画素単位でなく、更に、高精度に求めるための方法として、サブピクセルレベル視差を推定する方法が提案されている。例えば、等角直線フィッティングというサブピクセル視差推定方法では、図4Cに示すように、実際視差を基準にSADの推移が左右での傾きの絶対値が同じであることを仮定することによって、1次線形補間により実際視差がサブピクセルレベルで推定される。等角直線フィッティングのサブピクセル視差算出式、つまり補間式を(式3)に示す。ここで、δはサブピクセル視差、SGはSADが最小となるずらし量(整数視差)、S(0)はSADが最小になるずらし量SGでの相関値(SAD)、その隣接するずらし量でのSADをS(-1)、S(1)とする。 A method of estimating sub-pixel level parallax has been proposed as a method for obtaining the distance measurement accuracy (ranging accuracy), that is, the parallax detection resolution, not in units of pixels but with higher accuracy. For example, in the sub-pixel parallax estimation method called equiangular straight line fitting, as shown in FIG. Linear interpolation estimates the actual disparity at the sub-pixel level. A sub-pixel parallax calculation formula for equiangular straight line fitting, that is, an interpolation formula is shown in (Formula 3). Here, δ is the sub-pixel parallax, SG is the shift amount (integer parallax) that minimizes SAD, S(0) is the correlation value (SAD) at the shift amount SG that minimizes SAD, and the adjacent shift amount Let SAD be S(-1) and S(1).
(式3)により算出された視差に画素ピッチサイズをかけることで、(式1)の視差Lが求められ、被写体4までの距離Dが算出される。
By multiplying the parallax calculated by (Formula 3) with the pixel pitch size, the parallax L of (Formula 1) is obtained, and the distance D to the
図5を用いて、距離測定装置6の構成例を説明する。図5は、実施例1に係る距離測定装置の構成例を示す図である。なお、図5の距離測定装置6は、図3Cで説明した補正処理(デシメーションフィルタ処理)を、ステレオマッチング処理時に基準画像の選択と探索画像(比較画像)の選択毎に、探索画像(比較画像)に対して実施される例を説明する。
A configuration example of the
距離測定装置6は、第一カメラ2aと、第二カメラ2bと、第一リサンプリング回路40aと、第二リサンプリング回路40bと、視差算出回路50と、を含む。
The
第一カメラ2aは、レンズ5aを含む第一光学系と、第一撮像素子30aと、を含む。第二カメラ2bは、レンズ5bを含む第二光学系と、第二撮像素子30bと、を含む。第一撮像素子30aの画素ピッチは、第二撮像素子30bの画素ピッチと比較して、粗い画素ピッチとされている。つまり、第二撮像素子30bの画素ピッチは、第一撮像素子30aの画素ピッチと比較して、細かい画素ピッチとされている。第一カメラ2a及び第二カメラ2bの焦点距離は、この例では、同じであり、ともに焦点距離fである。
The
第一リサンプリング回路40aは、撮像素子30aの2次元平面上に結像した像を撮像素子30aによりサンプリングした後にリサンプリングするために設けられる(参照:図3Cのリサンプリング状態33)。第二リサンプリング回路40bは、撮像素子30bの2次元平面上に結像した像を撮像素子30bによりサンプリングした後にリサンプリングするために設けられる(参照:図3Cのリサンプリング状態31r)。リサンプリングのサンプリング周波数は、ここでは、画素ピッチの細かい撮像素子(30b)のサンプリング周波数が用いられる。これにより、第一撮像素子30aからの画像(33)の画素ピッチと第二撮像素子30bからの画像(31r)の画素ピッチとが同一の画素ピッチとなるように揃えられる。ここでは、同一の画素ピッチとされた第一撮像素子30aからの画像と第二撮像素子30bからの画像を、リサンプリング後の画像と言うことにする。
The
視差算出回路50は、参照位置検出回路(基準画像位置検出回路とも言う)51と、比較画像位置検出回路52と、比較画像補正回路53と、視差検出回路54と、を含む。同一の画素ピッチとされた第一撮像素子30aからの画像(33)と第二撮像素子30bからの画像(31r)のそれぞれは、参照位置検出回路51と比較画像位置検出回路52とに入力される。参照位置検出回路51は、第一撮像素子30aからのリサンプリング後の画像(31r)から基準画像REFの部分領域を検出または選出する。比較画像位置検出回路52は撮像素子30bからのリサンプリング後の画像(33)から比較画像CMP部の分領域を検出または選出する。
The parallax calculation circuit 50 includes a reference position detection circuit (also referred to as a reference image position detection circuit) 51 , a comparison image
比較画像補正回路53は、参照画像REFの位置と比較画像CMPの位置の差に起因する補正量を算出し、比較画像CMPを補正する。ここでは、比較画像CMPに対して、デシメーションフィルタ処理による補正処理(高域周波数成分の遮断処理)を実施する。
The comparative
視差検出回路54は、参照画像REFと補正された比較画像CMPとから視差Lを検出する。これにより、距離測定装置6は、検出された視差Lから(式1)を用いて、被写体4までの正確な距離Dを算出することができる。
A
なお、図3Bの超解像処理による補正処理(信号低下分の復元処理)を実施する場合は、比較画像補正回路53が図5から削除され、代わりに、参照画像補正回路が参照位置検出回路51の出力と視差検出回路54の一方の入力との間に設けられる。そして、この場合、比較画像位置検出回路52の出力が視差検出回路54の他方の入力に接続される。
Note that when performing the correction processing (restore processing for signal reduction) by the super-resolution processing of FIG. 3B, the comparison
ステレオマッチング処理の前に、超解像処理による補正処理(信号低下分の復元処理)やデシメーションフィルタ処理による補正処理(高域周波数成分の遮断処理)を、図3B、図3Cで示すように、全画像を一括で行う場合は、次のようにすることができる。 Before stereo matching processing, correction processing by super-resolution processing (restore processing for signal reduction) and correction processing by decimation filter processing (blocking processing for high frequency components) are performed, as shown in FIGS. 3B and 3C. If all images are processed at once, the following can be done.
図3Bの場合、超解像処理による補正処理を行う補正回路が、第一リサンプリング回路40aと参照位置検出回路51との間に設けられる。
In the case of FIG. 3B , a correction circuit that performs correction processing by super-resolution processing is provided between the
図3Cの場合、デシメーションフィルタ処理による補正処理を行う補正回路が、第二リサンプリング回路40bと比較画像位置検出回路52と間に設けられる。
In the case of FIG. 3C, a correction circuit that performs correction processing by decimation filtering is provided between the
図6を用いて、図5の距離測定装置6の距離測定方法の一例を説明する。図6は、実施例1に係る距離測定方法を示すフロー図である。
An example of the distance measuring method of the
ステップS1:
第一カメラ2aの第一撮像素子30aを用いて被写体4の画像を取得する。また、第二カメラ2bの第二撮像素子30bを用いて被写体4の画像を取得する。第一撮像素子30aの画素ピッチは、第二撮像素子30bの画素ピッチと比較して、粗い画素ピッチとされている。
Step S1:
An image of the subject 4 is acquired using the
ステップS2:
第一カメラ2aの第一撮像素子30aを用いて取得した被写体4の画像において、参照画像ブロック位置を設定する。参照画像ブロック位置は、例えば、参照位置検出回路51により設定される。
Step S2:
A reference image block position is set in the image of the subject 4 acquired using the
ステップS3:
左右画素ピッチを揃えるために、第一リサンプリング回路40aおよび第二リサンプリング回路40bを用いて、リサンプリングを実施する。これにより、第一撮像素子30aからの画像(33)の画素ピッチと第二撮像素子30bからの画像(31r)の画素ピッチとが同一の画素ピッチとなるように揃えられる。
Step S3:
In order to align the left and right pixel pitches, resampling is performed using the
ステップS4:
リサンプリング後の各画像において、参照画像位置と比較画像位置とを検出する。参照位置検出回路51は、第一撮像素子30aからのリサンプリング後の画像(33)から基準画像REFの部分領域を検出する。比較画像位置検出回路52は撮像素子30bからのリサンプリング後の画像(31r)から比較画像CMPの部分領域を検出する。
Step S4:
A reference image position and a comparison image position are detected in each image after resampling. The reference
ステップS5:
比較画像補正回路53は、ステップS4で検出した参照画像位置と比較画像位置の差に起因する補正量を算出する。ここでは、撮像素子30bからのリサンプリング後の画像(31r)について、デシメーションフィルタ処理による補正処理(高域周波数成分の遮断処理)を実施するための補正量を算出する。
Step S5:
The comparison
ステップS6:
比較画像補正回路53は、ステップS5で算出した補正量で、撮像素子30bからのリサンプリング後の画像(31r)について、デシメーションフィルタ処理による補正処理を実施する。
Step S6:
The comparison
ステップS7:
視差検出回路54は、参照画像REFと補正された比較画像CMPとから視差Lを検出する。
Step S7:
A
ステップS8:
ステップS7で用いた参照画像REFのブロック位置が最終の参照画像ブロック位置か否かが視差検出回路54により判定される。ステップS7で用いた参照画像REFのブロック位置が最終の参照画像ブロック位置の場合(Yes)、距離測定方法のフローは終了する。一方、ステップS7で用いた参照画像REFのブロック位置が最終の参照画像ブロック位置でない場合(No)、ステップS2へ移行する。その後、参照画像REFのブロック位置が最終の参照画像ブロック位置になるまで、ステップS2~S7が繰り替えし実行される。
Step S8:
The
実施例1によれば、以下の1または複数の効果を得ることができる。 According to Example 1, one or more of the following effects can be obtained.
1)相異なる画素ピッチの撮像素子をステレオカメラに用いた場合でも、リサンプリングにより、左右の画像の画素ピッチを揃えることができる。 1) Even when imaging devices with different pixel pitches are used in a stereo camera, the pixel pitches of the left and right images can be aligned by resampling.
2)リサンプリングの後に、超解像処理による補正処理(信号低下分の復元処理)やデシメーションフィルタ処理による補正処理(高域周波数成分の遮断処理)を実施することで、リサンプリング時に発生する左右の画像間(31と33)の信号劣化の差を補正することができる。 2) After resampling, correction processing by super-resolution processing (restore processing for signal drop) and correction processing by decimation filter processing (blocking processing for high-frequency components) are performed to reduce the left and right that occur during resampling. can be corrected for the difference in signal degradation between the images (31 and 33).
3)上記2)により、ステレオマッチング処理時に比較する左右の画像ブロックに対し、ブロック画像部分の左右サンプリングおよびリサンプリングによる補間に起因する左右の画像ブロックの誤差を補正できる。 3) According to 2) above, errors in left and right image blocks due to interpolation by left and right sampling and resampling of block image portions can be corrected for left and right image blocks compared during stereo matching processing.
4)相異なる画素ピッチの撮像素子をステレオカメラに用いた場合でも、ステレオマッチング処理により正確に視差Lを算出でき、高精度に被写体4までの距離Dを得ることができる距離測定装置6を提供できる。
4) Providing a
本発明の第二の実施形態(実施例2)は、相異なるレンズを使った距離測定装置に関する。図7は、実施例2における焦点距離の相異なる2つレンズをステレオカメラに用いた場合の距離測定装置の構成例を示す図である。図8は、実施例2における距離測定装置の構成例を示す図である。 A second embodiment (Example 2) of the present invention relates to a distance measuring device using different lenses. FIG. 7 is a diagram showing a configuration example of a distance measuring device when two lenses having different focal lengths are used in a stereo camera according to the second embodiment. FIG. 8 is a diagram showing a configuration example of a distance measuring device according to the second embodiment.
図7には、ステレオカメラSCを構成する2台のカメラ200a、200bにおいて、焦点距離の異なるレンズ70a、70bをもつ距離測定装置6aの構成例が示される。ここでは、長い焦点距離faのレンズ70aをもつカメラ200aと短い焦点距離fbのレンズ70bをもつカメラ200bを用いたステレオカメラSCが示してある。
FIG. 7 shows a configuration example of a
同じ被写体4を、レンズ70aを通して、撮像素子1aに結像した像の大きさ(Sa)と、レンズ70bを通して、撮像素子1bに結像した像の大きさ(Sb)とでは像サイズが異なる(Sb<Sa)。これらが、同じ画素ピッチの撮像素子1aと撮像素子1bとによって、画像データとしてサンプリングされる。
The image size (Sa) of the
これらの画像はそのままではステレオマッチングに使えないので、同じ画素ピッチで、同じ大きさの像になるように画像の拡大変換や縮小変換を行う必要がある。同じ像サイズになるように変換する際、元の像の大きなカメラ200bにおけるサンプリング点は多く、元の像の小さなカメラ200aのサンプリング点が少ないために、実効的なサンプリング周波数に差が生じ、リサンプリングによる画像特性の差が生じる。
Since these images cannot be used for stereo matching as they are, it is necessary to enlarge or reduce the images so that the images have the same pixel pitch and the same size. When converting to the same image size, the
したがって、実施例1と同様に、リサンプリングによる画像特性の差を補償する補正処理を実施することによって、視差精度や視差率などの視差性能の向上を図ることができる。 Therefore, as in the first embodiment, parallax performance such as parallax precision and parallax rate can be improved by performing correction processing that compensates for differences in image characteristics due to resampling.
図8に示すように、距離測定装置6aは、第一カメラ200aと第二カメラ200bとをステレオカメラSCとして有しする。第一カメラ200aは、長い焦点距離faのレンズ70aを含む第一光学系と、撮像素子1aとを含む。第二カメラ200bは、短い焦点距離fb(fb<fa)のレンズ70bを含む第二光学系と、撮像素子1bとを含む。
As shown in FIG. 8, the
第一リサンプリング回路41aと第二リサンプリング回路41bは、撮像素子1aに結像した像の大きさ(Sa)と、撮像素子1bに結像した像の大きさ(Sb)とでは像サイズが異なるので、同じ画素ピッチで、同じ大きさの像になるように画像の拡大変換または縮小変換を行った後、リサンプリングを行うように構成されている。
In the
比較画像補正回路53aは、比較画像に対してリサンプリングによる画像特性の差を補償する補正処理を行う。 The comparison image correction circuit 53a performs correction processing for compensating for differences in image characteristics due to resampling on the comparison image.
以下に図面を参照して、本発明の第三の実施形態(実施例3)を詳細に説明する。本発明の第三の実施形態(実施例3)は、歪のあるレンズを用いた距離測定装置に関する。図9は、レンズの歪による影響を説明するための図である。図10は、レンズの歪による影響を説明するための図である。図11は、実施例3におけるステレオマッチングを説明する図である。 A third embodiment (Example 3) of the present invention will be described in detail below with reference to the drawings. A third embodiment (Example 3) of the present invention relates to a distance measuring device using a distorted lens. FIG. 9 is a diagram for explaining the influence of lens distortion. FIG. 10 is a diagram for explaining the influence of lens distortion. FIG. 11 is a diagram explaining stereo matching in the third embodiment.
図9は、歪のあるレンズを用いたときに、本来映るべきドットパターンDA(白丸で示す)と、実際のドットパターンDB(黒丸で示す)を示したものである。実際のドットパターンDBが作る正方形の格子形状は画像の中央部CENの歪は小さく、画像の端PERに行くにしたがって正方形の形状が歪む。また、画像の端PERでは、4つの格子点がなす四角形の面積も、中央部CENの四角形の面積と比較して、小さくなっている。すなわち、同じ被写体4が撮像素子の中央部に結像したときよりも撮像素子の周辺部に結像したときの方が像が小さくなってしまうという現象が発生する(撮像素子の中央部に結像した被写体4の像のサイズ>撮像素子の周辺部に結像した被写体4の像のサイズ)。
FIG. 9 shows a dot pattern DA (indicated by white circles) that should be projected when a distorted lens is used, and an actual dot pattern DB (indicated by black circles). The square lattice shape formed by the actual dot pattern DB has little distortion in the central portion CEN of the image, and the square shape is distorted toward the edge PER of the image. Also, at the edge PER of the image, the area of the quadrangle formed by the four grid points is also smaller than the area of the quadrangle at the central portion CEN. That is, there occurs a phenomenon that the image of the
図10を用いて、この現象による誤差を説明する。図10には、光軸から離れた画角にあり、撮像素子の周辺部PERに結像した歪の大きな像と、光軸近傍の撮像素子の中央部CENに結像した像を一次元で模式的に表したものである。本来映るべき像(本来の像と示す)は周辺部PERも中央部CENも同じであることが望ましいが、周辺部PERはレンズの歪の影響が大きく、実際には小さい像(実際の像と示す)として結像する(状態61参照)。中央部CENは、レンズの歪の影響が少ないので、本来の像と実際の像とはほぼ同じ様に結像する(状態62参照)。 Errors due to this phenomenon will be described with reference to FIG. FIG. 10 shows a one-dimensional image of a large distortion image formed on the peripheral portion PER of the image sensor at a field angle away from the optical axis and an image formed on the central portion CEN of the image sensor near the optical axis. This is a schematic representation. It is desirable that the image that should be projected (referred to as the original image) be the same in both the peripheral PER and the central CEN. ) (see state 61). Since the central portion CEN is less affected by lens distortion, the original image and the actual image are formed in substantially the same manner (see state 62).
状態63、64に示すように、撮像素子の画素ピッチは一定なので、周辺部PERの小さな像と中央部CENの大きな像は同じサンプリング周波数でサンプリングされる。同じ被写体4からの像であっても、歪の大きな周辺領域PERでのサンプリング点数は少なく(状態63では、3点)、歪の小さな中央領域CENでのサンプリング点数は多いことになる(状態64では、7点)。
As shown in
レンズの歪補正を行う際、歪量に応じて像の拡大縮小補正を行う必要がある(この場合、拡大補正)。歪の大きな周辺部PERは多く縮小しているので、多く拡大する必要があり(状態65参照)、歪のほとんどない中央部CENはほぼ等倍拡大になる(状態66参照)。ところが、同じ被写体4からの像に対するサンプリング点数は、周辺部PERは少なく(3点)、中央部CENは多い(7点)ので、周辺部の画素点を増やすために補間処理によって、リサンプリングする必要がある(状態67、68参照)。このとき、周辺部PERの変換後の像が大きく劣化してしまう。
When performing lens distortion correction, it is necessary to perform image enlargement/reduction correction according to the amount of distortion (in this case, enlargement/reduction correction). Since the peripheral portion PER with large distortion has been shrunk a lot, it needs to be enlarged a lot (see state 65), and the central portion CEN with almost no distortion is enlarged almost to the same size (see state 66). However, the number of sampling points for the image from the
このような歪が大きなレンズや特殊な射影方式の光学系からなるステレオマッチングでは、同じ焦点距離のレンズ、同じ画素ピッチの撮像素子を用いたカメラであっても、基準画像ブロックと探索画像ブロックの位置が異なるために、各位置での歪補正が異なるために問題が生じる。 In stereo matching using a lens with such a large distortion or an optical system with a special projection method, even if the camera uses a lens with the same focal length and an imaging device with the same pixel pitch, the difference between the reference image block and the search image block is A problem arises because the different positions cause different distortion corrections at each position.
図11を用いて実施例3におけるステレオマッチングを説明する。図11には、一例として、実施例1、2の様に、2つの撮像素子(1a、1b)の含むステレオカメラを用いた場合のステレオマッチングを説明する。なお、実施例3は、1つ撮像素子を含む1つの単眼カメラの場合にも適用できることは、当業者なら当然として理解できるであろう。 Stereo matching in Example 3 will be described with reference to FIG. FIG. 11 illustrates, as an example, stereo matching when using a stereo camera including two imaging elements (1a, 1b) as in the first and second embodiments. It should be understood by those skilled in the art that the third embodiment can also be applied to one monocular camera including one imaging element.
図11に示すように。基準ブロック(基準画像の部分領域)REFと探索ブロック(比較画像の部分領域)CMP(CMP1)の画像位置が同じ場合(すなわち、画素シフト量が0のとき)、基準ブロックREFと探索ブロックCMP1のレンズ歪は同じであるため、同じリサンプリング処理が実施される。しかしながら、画像シフト量が増えるに従って、基準ブロックREFの位置と探索ブロックCMP2、CMP3の位置の差が大きくなり、基準ブロックREFのリサンプリング処理と探索ブロックのリサンプリング処理が異なることになる。したがって、ステレオマッチング処理時に、基準画像ブロックREFの画像位置と探索している比較画像ブロックCMPの画像位置とを検出し、その画像位置差に起因するリサンプリングの誤差分だけを補正することによって、リサンプリングによる補正量の差を最小に抑えることができる。 As shown in FIG. When the image positions of the reference block (partial area of the reference image) REF and the search block (partial area of the comparison image) CMP (CMP1) are the same (that is, when the pixel shift amount is 0), the reference block REF and the search block CMP1 Since the lens distortion is the same, the same resampling process is performed. However, as the amount of image shift increases, the difference between the position of the reference block REF and the positions of the search blocks CMP2 and CMP3 increases, and the resampling process for the reference block REF and the resampling process for the search blocks are different. Therefore, during the stereo matching process, by detecting the image position of the reference image block REF and the image position of the comparison image block CMP being searched for and correcting only the resampling error due to the image position difference, The difference in correction amount due to resampling can be minimized.
つまり、歪のあるレンズを用いた距離測定装置には、基準画像ブロックREFの画像位置と探索している比較画像ブロックCMPの画像位置とを検出する検出回路と、その画像位置差に起因するリサンプリングの誤差分だけを補正する補正回路とが設けられる。 In other words, a distance measuring device using a distorted lens includes a detection circuit for detecting the image position of the reference image block REF and the image position of the comparison image block being searched for, and a link caused by the image position difference. A correction circuit is provided for correcting only the sampling error.
次に、図12を用いて、実施例3における歪のあるレンズを用いた単眼カメラを利用した距離測定装置の構成例を説明する。図12は、実施例3における距離測定装置の構成例を示す図である。 Next, with reference to FIG. 12, a configuration example of a distance measuring apparatus using a monocular camera using a distorted lens in the third embodiment will be described. FIG. 12 is a diagram illustrating a configuration example of a distance measuring device according to the third embodiment.
図12に示すように、距離測定装置6bは、カメラ300と、視点分離回路90と、第一視点撮影部リサンプリング回路41cと、第二視点撮影部リサンプリング回路41dと、視差算出回路50と、を含む。視差算出回路50は、参照位置検出回路(基準画像位置検出回路)51と、比較画像位置検出回路52と、比較画像補正回路53bと、視差検出回路54と、および、参照画像補正回路55と、を含む。
As shown in FIG. 12, the
カメラ300は、歪のあるレンズ80を含む光学系と、撮像素子1cと、を含む。レンズ80を介して撮像素子1cの2次元平面上に結像した像は、撮像素子1cによりサンプリングされる。
The camera 300 includes an optical system including a distorted
視点分離回路90は、撮像素子1cによりサンプリングされた画像において、第一視点撮影領域と、第二視点撮影領域とを選択する。視点分離回路90は、第一視点撮影領域に対応する第一視点画像データを第一視点撮影領域部分のリサンプリング回路41cへ供給する。視点分離回路90は、また、第二視点撮影領域に対応する第一視点画像データを第二視点撮影領域部分のリサンプリング回路41dへ供給する。
The
第一視点撮影領域部分のリサンプリング回路41cは、第一視点画像データの撮像素子1cの上の位置を検出し、その位置に基づいて第一視点画像データのリサンプリング処理を実施する。リサンプリング回路41cは、レンズ80の歪の補正を行うため、リサンプリング処理の際、第一視点画像データの撮像素子1cの上の位置に基づいて、拡大・縮小・回転などの幾何学的な変換と、補間処理と、を実施する。
The
第二視点撮影領域部分のリサンプリング回路41dは、第二視点画像データの撮像素子1cの上の位置を検出し、その位置に基づいて第二視点画像データのリサンプリング処理を実施する。リサンプリング回路41dは、レンズ80の歪の補正を行うため、リサンプリング処理の際、第二視点画像データの撮像素子1cの上の位置に基づいて、拡大・縮小・回転などの幾何学的な変換と、補間処理と、を実施する。これにより、リサンプリング後の第一視点画像データとリサンプリング後の第二視点画像データの画素のピッチが同じとされる。リサンプリング後の第一視点画像データは参照位置検出回路51へ供給され、リサンプリング後の第二視点画像データは比較位置検出回路52へ供給される。
The
参照位置検出回路51は、リサンプリング後の第一視点画像データから基準画像REFの部分領域を検出または選出する。比較画像位置検出回路52は、リサンプリング後の第二視点画像データから比較画像CMPの部分領域を検出または選出する。
The reference
参照画像補正回路55は、リサンプリング後の第一視点画像データ上における参照画像REFの位置に起因する補正量を算出し、参照画像REFを補正する。つまり、参照画像補正回路55は、リサンプリング処理により発生する第一視点画像データの像の信号劣化を補正する補正処理を実施する。
The reference
比較画像補正回路53bは、リサンプリング後の第二視点画像データ上における比較画像CMPの位置に起因する補正量を算出し、比較画像CMPを補正する。つまり、比較画像補正回路53bは、リサンプリング処理により発生する第二視点画像データの像の信号劣化を補正する補正処理を実施する。
The comparative
視差検出回路54は、参照画像補正回路55により補正された参照画像REFと比較画像補正回路53bにより補正された比較画像CMPとから視差Lを検出する。これにより、歪のあるレンズ80が用いられた距離測定装置6bは、検出された視差Lから(式1)を用いて、被写体4までの正確な距離Dを算出することができる。
The
なお、参照画像補正回路55は削除することが可能である。この場合、比較画像補正回路53bは、リサンプリング後の第一視点画像データ上における参照画像REFの位置とリサンプリング後の第二視点画像データ上における比較画像CMPの位置の差に起因する補正量を算出し、比較画像CMPを補正する補正処理を実施するように構成される。視差検出回路54は、参照画像REFと比較画像補正回路53bにより補正された比較画像CMPとから視差Lを検出する。
Note that the reference
これにより、歪のあるレンズ80が用いられた距離測定装置6bは、検出された視差Lから(式1)を用いて、被写体4までの正確な距離Dを算出することができる。
As a result, the
実施例1、2,3における距離測定装置の構成例は、以下の様にまとめることができる。 Configuration examples of the distance measuring devices in the first, second, and third embodiments can be summarized as follows.
1)撮像素子上に撮像され、同一物体(被写体4)の少なくとも二つの像(REF,CMP)の撮像素子上の像位置を二つの像の一致度判定によって検出し、測距(距離の測定)を行う距離測定装置(6,6a,6b)であって、
前記撮像素子上の像は前記撮像素子(30a,30b,1a,1b,1c)の画素ピッチでサンプリングされ、
前記像位置検出時における像(REF,CMP)の一致度判定を実施する際に幾何学的な補正(実施例1:超解像処理、デシメーションフィルタ処理、実施例2:拡大変換や縮小変換、実施例3:拡大・縮小・回転などの幾何学的な変換)と、再サンプリング処理(補間処理)が実施され、
前記再サンプリング処理時に発生する像の信号劣化を補正する。
1) Detecting the image positions of at least two images (REF, CMP) of the same object (subject 4) on the imaging device by determining the degree of matching between the two images, and performing distance measurement (measurement of distance). ) is a distance measuring device (6, 6a, 6b) for
The image on the imaging element is sampled at the pixel pitch of the imaging element (30a, 30b, 1a, 1b, 1c),
Geometric correction (Example 1: super-resolution processing, decimation filter processing, Example 2: enlargement conversion and reduction conversion, Example 3: Geometric conversion such as enlargement/reduction/rotation) and resampling processing (interpolation processing) are performed,
It corrects image signal degradation that occurs during the resampling process.
2)、上記1)の距離測定装置において(実施例3参照)、
上記像の一致度判定する二つの像(参照画像REF、比較画像CMP)が、一つの撮像素子(1c)上にある。
2), in the distance measuring device of 1) above (see Example 3),
Two images (a reference image REF and a comparison image CMP) for determining the degree of matching of the images are on one imaging device (1c).
3)上記1)の距離測定装置において(実施例1参照)、
請求項1の距離測定装置であって、
上記像の一致度判定する二つの像(参照画像REF、比較画像CMP)が、それぞれ画素ピッチの異なる二つの撮像素子(30a、30b)上にある。
3) In the distance measuring device of 1) above (see Example 1),
The distance measuring device of
Two images (a reference image REF and a comparison image CMP) for determining the matching degree of the images are on two imaging elements (30a, 30b) having different pixel pitches.
4)上記1)の距離測定装置において(実施例2参照)、
上記像の一致度判定する二つの像(参照画像REF、比較画像CMP)が、それぞれ焦点距離の異なるレンズ(70a、70b)からなる光学系で形成される。
4) In the distance measuring device of 1) above (see Example 2),
Two images (a reference image REF and a comparison image CMP) for determining the matching degree of the images are formed by an optical system including lenses (70a and 70b) having different focal lengths.
5)上記1)の距離測定装置において(実施例1、2、3)、
上記像位置検出時における像(参照画像REF、比較画像CMP)の一致度判定を実施する際に、少なくとも一方の像の判定に必要な撮像素子上の画像データに対し、幾何学的な補正と、再サンプリング処理が実施され、
再サンプリング処理時に発生する像の信号劣化を補正する、距離測定装置。
5) In the distance measuring device of 1) above (Examples 1, 2, 3),
When performing the match degree determination of the images (reference image REF, comparison image CMP) at the time of the image position detection, geometric correction and , a resampling process is performed, and
A distance measuring device that compensates for image signal degradation that occurs during the resampling process.
6)上記1)の距離測定装置において(実施例3)、
一致度判定する二つの像(参照画像REF、比較画像CMP)の撮像素子上のそれぞれの位置を検出し、
二つの像位置におけるそれぞれの幾何補正と再サンプリング処理により発生する像の信号劣化を補正する。
6) In the distance measuring device of 1) above (Example 3),
Detecting the respective positions on the imaging device of the two images (reference image REF and comparison image CMP) whose degree of matching is to be determined,
Correct the image signal degradation caused by the respective geometric correction and resampling processes at the two image positions.
別の言い方をすれは、本発明の距離測定装置は、ステレオカメラの対応点探索時またはその前に、同一物体(被写体4)が同じ像サイズになるような幾何学的な補正部と、同じ画素ピッチで比較できるようにリサンプリング処理部を有し、リサンプリング処理部では、リサンプリング処理と、基準画像と探索画像の像のリサンプリングに伴う信号劣化の差を補正する補正処理をする。 In other words, the distance measuring device of the present invention performs the same geometrical correction as the same object (subject 4) has the same image size during or before the corresponding point search of the stereo camera. A resampling processing unit is provided so that comparison can be made by pixel pitch, and the resampling processing unit performs resampling processing and correction processing for correcting the difference in signal deterioration due to resampling of the reference image and the search image.
さらに、視差検出における像の対応点探索を実施する際に、基準画像と探索画像の少なくとも一方の像に対し、一致度評価に必要な撮像素子上の画像データを抽出し、幾何学的な補正と、リサンプリング処理を実施し、基準画像と探索画像の像のリサンプリングに伴う信号劣化の差を補正する。 Furthermore, when performing a search for corresponding points of images in parallax detection, image data on the image sensor necessary for matching degree evaluation is extracted for at least one of the reference image and the search image, and geometric correction is performed. Then, a resampling process is performed to correct the difference in signal degradation due to the resampling of the images of the reference image and the search image.
またさらに、対応点探索を実施する際に、基準画像と探索画像の二つの像の撮像素子上のそれぞれの位置を検出し、二つの像位置におけるそれぞれの幾何補正とリサンプリング処理により発生する像の信号劣化を補正する。 Furthermore, when performing the corresponding point search, the respective positions of the two images of the reference image and the search image are detected on the imaging device, and the images generated by the geometric correction and resampling processing at the two image positions are detected. compensation for signal degradation.
これにより、以下の効果を得ることができる。 Thereby, the following effects can be obtained.
1)異なる種類のカメラによるステレオカメラや、広角レンズや曲面ミラーなどを用いた特殊な射影特性を持つ光学系からなるステレオカメラを提供することができる。 1) It is possible to provide stereo cameras with different types of cameras, and stereo cameras with optical systems having special projection characteristics using wide-angle lenses, curved mirrors, and the like.
2)異なるカメラのレンズによる像の拡大縮小や画素ピッチの異なる撮像素子に起因する問題を除去することができ、ステレオカメラにおける一致画像探索の性能を向上し、異なるカメラを用いた視差検出精度を向上することができる。 2) It can eliminate problems caused by image scaling by different camera lenses and image sensors with different pixel pitches, improve the performance of matching image search in stereo cameras, and improve the accuracy of parallax detection using different cameras. can be improved.
3)撮像素子(センサ)のサイズ・画素ピッチなどが異なるカメラでのステレオカメラでは、ステレオマッチングを行うために、左右を同じ画像空間に幾何補正で変換する際、センサのサンプリング周波数が異なるため、変換後の像の特性が異なってしまう。また、高歪レンズや特殊な射影方式のレンズ、双曲面ミラーなどの光学系によるステレオカメラでは、ステレオマッチングを行うために、幾何変換(歪補正・幾何補正)により、画素位置の変換を行う際、センサ上の元のサンプリング点が、等間隔で格子状の新しい画素位置上に存在せず、不均一な間隔で存在するため、幾何変換後の画像位置により像の特性が変化する。本発明の距離測定装置では、ステレオマッチで使用する幾何補正後の画像ブロックに対し、幾何補正前のセンサ上のデータを取り出し、左右同じ像サイズ・画素ピッチのブロック画像になるように幾何補間処理した後、元のサンプリング周波数の差を補正して、マッチング評価する。また、基準ブロックの画素位置と探索ブロックの画素位置を検出し、二つのステレオマッチングを行う画像上の位置の違いによるサンプリングの差を補正する。 3) Stereo cameras with different imaging device (sensor) sizes, pixel pitches, etc., when converting left and right to the same image space by geometric correction in order to perform stereo matching, the sampling frequency of the sensor is different. The characteristics of the converted image will be different. Also, in stereo cameras with optical systems such as high-distortion lenses, special projection lenses, and hyperbolic mirrors, when converting pixel positions by geometric conversion (distortion correction/geometric correction) for stereo matching, , the original sampling points on the sensor do not exist on new pixel positions in a grid pattern with equal intervals, but exist at non-uniform intervals, so that the characteristics of the image change depending on the image positions after geometric transformation. In the distance measuring device of the present invention, for image blocks after geometric correction used in stereo matching, data on the sensor before geometric correction is extracted, and geometric interpolation processing is performed so that block images with the same image size and pixel pitch on the left and right sides are obtained. After that, the difference in the original sampling frequency is corrected and the matching is evaluated. In addition, the pixel position of the reference block and the pixel position of the search block are detected, and the difference in sampling due to the difference in position on the two images for stereo matching is corrected.
以上、本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は、上記実施形態および実施例に限定されるものではなく、種々変更可能であることはいうまでもない。 Although the invention made by the present inventor has been specifically described above based on the examples, it goes without saying that the invention is not limited to the above-described embodiments and examples, and can be variously modified. .
1a、1b、1c、30a、30b:撮像素子、 2a、2b、200a、200b、300:カメラ、 3a、3b:光軸、 4:被写体、 5a、5b、70a、70b、80:レンズ、 6、6a、6b:距離測定装置、 40a、40b、41a、41b:リサンプリング回路、 40c:第一視点撮像部リサンプリング回路、 40d:第二視点撮像部リサンプリング回路、 50:視差算出回路、 51:参照位置検出回路、 52:比較画像位置検出回路、 53、53a:比較画像補正回路、54:視差検出回路、55:参照画像補正回路、 90:視点分離回路
1a, 1b, 1c, 30a, 30b:
Claims (6)
前記撮像素子の上の像は前記撮像素子の画素ピッチでサンプリングされ、
前記像位置検出時における像の一致度判定を実施する際に幾何学的な補正と、再サンプリング処理が実施され、
前記再サンプリング処理時に発生する像の信号劣化を補正する、距離測定装置。 A distance measuring device that measures the distance by detecting the image positions of at least two images of the same object on the imaging device by determining the degree of matching between the two images, wherein
an image on the imaging device is sampled at a pixel pitch of the imaging device;
Geometrical correction and resampling processing are performed when determining the matching degree of the images at the time of detecting the image position,
A distance measuring device that corrects image signal degradation that occurs during the resampling process.
上記像の一致度判定する二つの像が、一つの撮像素子の上にある、距離測定装置。 The distance measuring device of claim 1,
A distance measuring device, wherein the two images for determining the matching degree of the images are placed on one imaging element.
上記像の一致度判定する二つの像が、それぞれ画素ピッチの異なる二つの撮像素子の上にある、距離測定装置。 The distance measuring device of claim 1,
A distance measuring device, wherein the two images for determining the matching degree of the images are placed on two imaging elements with different pixel pitches.
上記像の一致度判定する二つの像が、それぞれ焦点距離の異なるレンズからなる光学系で形成される、距離測定装置。 The distance measuring device of claim 1,
A distance measuring device, wherein the two images for determining the matching degree of the images are formed by an optical system comprising lenses having different focal lengths.
上記像位置検出時における像の一致度判定を実施する際に、少なくとも一方の像の判定に必要な撮像素子の上の画像データに対し、幾何学的な補正と、再サンプリング処理が実施され、
再サンプリング処理時に発生する像の信号劣化を補正する、距離測定装置。 The distance measuring device of claim 1,
At the time of determining the matching degree of the images at the time of the image position detection, geometric correction and resampling processing are performed on the image data on the imaging device necessary for determining at least one of the images,
A distance measuring device that compensates for image signal degradation that occurs during the resampling process.
一致度判定する二つの像の撮像素子の上のそれぞれの位置を検出し、
二つの像位置におけるそれぞれの幾何補正と再サンプリング処理により発生する像の信号劣化を補正する、距離測定装置。 The distance measuring device of claim 1,
Detecting the respective positions on the imaging device of the two images for determining the degree of matching,
A distance measuring device that compensates for image signal degradation caused by the respective geometric correction and resampling processes at two image locations.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021108735A JP2023006232A (en) | 2021-06-30 | 2021-06-30 | distance measuring device |
PCT/JP2022/004624 WO2023276229A1 (en) | 2021-06-30 | 2022-02-07 | Distance measuring device |
DE112022001672.8T DE112022001672T5 (en) | 2021-06-30 | 2022-02-07 | Distance measuring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021108735A JP2023006232A (en) | 2021-06-30 | 2021-06-30 | distance measuring device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023006232A true JP2023006232A (en) | 2023-01-18 |
Family
ID=84691112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021108735A Pending JP2023006232A (en) | 2021-06-30 | 2021-06-30 | distance measuring device |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2023006232A (en) |
DE (1) | DE112022001672T5 (en) |
WO (1) | WO2023276229A1 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000102040A (en) * | 1998-09-28 | 2000-04-07 | Olympus Optical Co Ltd | Electronic stereo camera |
JP2005210217A (en) * | 2004-01-20 | 2005-08-04 | Olympus Corp | Stereoscopic camera |
JP4782899B2 (en) | 2009-07-22 | 2011-09-28 | パナソニック株式会社 | Parallax detection device, distance measuring device, and parallax detection method |
EP2533541A4 (en) * | 2010-02-02 | 2013-10-16 | Konica Minolta Holdings Inc | Stereo camera |
JP2011160299A (en) * | 2010-02-02 | 2011-08-18 | Konica Minolta Holdings Inc | Three-dimensional imaging system and camera for the same |
JP7134925B2 (en) | 2019-07-05 | 2022-09-12 | 株式会社日立製作所 | stereo camera |
-
2021
- 2021-06-30 JP JP2021108735A patent/JP2023006232A/en active Pending
-
2022
- 2022-02-07 DE DE112022001672.8T patent/DE112022001672T5/en active Pending
- 2022-02-07 WO PCT/JP2022/004624 patent/WO2023276229A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023276229A1 (en) | 2023-01-05 |
DE112022001672T5 (en) | 2024-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7139424B2 (en) | Stereoscopic image characteristics examination system | |
CN109813251B (en) | Method, device and system for three-dimensional measurement | |
US8717414B2 (en) | Method and apparatus for matching color image and depth image | |
EP2751521B1 (en) | Method and system for alignment of a pattern on a spatial coded slide image | |
US5602584A (en) | Apparatus for producing a panoramic image using a plurality of optical systems | |
US20080211956A1 (en) | Image Pickup Device | |
JPH05183916A (en) | Aligning system and aligning method of image sensor | |
US7150536B2 (en) | Projector and projection image correction method thereof | |
JP4717863B2 (en) | Calibration method and apparatus for compound eye imaging apparatus and calibration chart used therefor | |
JP2008039491A (en) | Stereo image processing apparatus | |
JP5365387B2 (en) | Position detection device | |
US8749652B2 (en) | Imaging module having plural optical units in which each of at least two optical units include a polarization filter and at least one optical unit includes no polarization filter and image processing method and apparatus thereof | |
WO2014069169A1 (en) | Image processing device | |
CN102387387A (en) | Image processing apparatus and method | |
KR20100040643A (en) | Apparatus and method for processing image to generate high resolution image | |
JP2000283753A (en) | Device for measuring distance using stereographic picture | |
JP7195801B2 (en) | Image processing device and its control method, distance detection device, imaging device, program | |
JPH08205181A (en) | Chromatic aberration correcting circuit and image pickup device with chromatic aberration correcting function | |
WO2023276229A1 (en) | Distance measuring device | |
JP2008298589A (en) | Device and method for detecting positions | |
EP0858208A1 (en) | Method of producing digital images with improved performance characteristic | |
JP6648916B2 (en) | Imaging device | |
US11070715B2 (en) | Image shift amount calculation apparatus and method, image capturing apparatus, defocus amount calculation apparatus, and distance calculation apparatus | |
US20230306623A1 (en) | Apparatus, method, and storage medium | |
JP2003057531A (en) | Method and device for phase difference detection, range finder, and image pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240208 |