JP2006195758A - Stereo matching apparatus and method, and program for this method - Google Patents
Stereo matching apparatus and method, and program for this method Download PDFInfo
- Publication number
- JP2006195758A JP2006195758A JP2005006966A JP2005006966A JP2006195758A JP 2006195758 A JP2006195758 A JP 2006195758A JP 2005006966 A JP2005006966 A JP 2005006966A JP 2005006966 A JP2005006966 A JP 2005006966A JP 2006195758 A JP2006195758 A JP 2006195758A
- Authority
- JP
- Japan
- Prior art keywords
- image
- similarity
- images
- local area
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、ライン画像を並べて作成した２枚のステレオ画像を用いたマッチング処理により、市街地の建造物側面等の３次元点群を生成する技術に関するものである。 The present invention relates to a technique for generating a three-dimensional point cloud such as a side of a building in an urban area by matching processing using two stereo images created by arranging line images.
従来、ライン画像を並べて横軸が平行投影な２枚のステレオ画像を作成し、マッチング処理を行うことにより建造物側面等の３次元形状を復元する手法に関しては、主に以下の２つがある。 Conventionally, there are mainly the following two methods for restoring a three-dimensional shape such as a side of a building by arranging two line images and generating two stereo images whose horizontal axes are parallel projections and performing a matching process.
手法１：ラインセンサカメラで取得したライン画像を並べて横軸が平行投影な２枚のステレオ画像を作成し、２枚のステレオ画像中のライン毎あるいは局所領域を切り出し、拡大縮小などの変形を行わない単純な差分処理、相関値計算等で類似度を算出し、２枚のステレオ画像間の対応付けを行い、３次元点群を生成する（例えば、特許文献１参照）。 Method 1: Line images acquired by a line sensor camera are arranged to create two stereo images with parallel projections on the horizontal axis, and each line or local area in the two stereo images is cut out and subjected to deformation such as enlargement / reduction Similarity is calculated by simple difference processing, correlation value calculation, etc., and two stereo images are associated with each other to generate a three-dimensional point group (see, for example, Patent Document 1).
手法２：平面や曲面といった３次元の形状モデルを用意し、ライン画像を並べて作成した２枚のステレオ画像間のマッチング処理により得られた類似度を形状モデルのパラメータで張られる空間に投票し、多数決の原理を用いてパラメータを決定することにより、形状を復元する（例えば、特許文献２参照）。
手法１は、変形を行わない単純な類似度計算なので計算コストが少ないというメリットがあるが、１ラインずつ撮影を行い、そのライン画像を並べてステレオ画像を作るため、撮影時のカメラ振動により画像中にぶれが生じてしまうことが多々ある。 Method 1 has a merit that the calculation cost is low because it is a simple similarity calculation without deformation. However, since the lines are imaged one by one and a stereo image is formed by arranging the line images, There are many cases where the camera shakes.
図６に撮影時のカメラ振動により画像がぶれてしまっている例を示す。１０１にライン画像を並べて作成したステレオ画像のうち１枚を示し、１０２にぶれが生じている部分を拡大した画像を示している。類似度算出の際にこのぶれを考慮しないと、ステレオ画像間で同じ箇所を撮影しても違うテクスチャとして写ってしまうため、正しく対応付けができず、３次元点群の生成に失敗しやすいという欠点がある。 FIG. 6 shows an example in which an image is blurred due to camera vibration during shooting. Reference numeral 101 denotes one of stereo images created by arranging line images, and reference numeral 102 denotes an enlarged image of a blurred portion. If this blurring is not taken into account when calculating the similarity, even if the same part is photographed between stereo images, it will appear as a different texture, so it cannot be correctly associated, and the generation of the three-dimensional point cloud is likely to fail. There are drawbacks.
手法２は、ステレオ画像間の類似度を形状モデルへ投票することにより形状を復元しているため、ある程度撮影時のカメラ振動が引き起こす画像中のぶれによるノイズに強い手法であるが、画像全体にぶれが生じ、同じ物体を撮影しているにも関わらずステレオ画像間の類似度が著しく低下する場合には、形状が復元できないという欠点がある。また、投票する空間中では異なる形状モデルからの投票軌跡が干渉し、形状復元精度が落ちることがあり、次元が多いほどその対処は難しくなるという問題がある。 Method 2 restores the shape by voting the similarity between stereo images to the shape model, and thus is resistant to noise caused by camera shake caused by camera vibration during shooting to some extent. There is a drawback that the shape cannot be restored when blurring occurs and the similarity between stereo images is remarkably reduced even though the same object is photographed. In addition, voting trajectories from different shape models interfere with each other in the voting space, and the shape restoration accuracy may be reduced.
本発明の目的は、撮影時のカメラのぶれ等によるライン画像にぶれがある場合にも、安定して形状を復元することができるステレオマッチング装置、方法およびこの方法のプログラムを提供することにある。 An object of the present invention is to provide a stereo matching device, a method, and a program for this method that can stably restore the shape even when the line image is blurred due to camera shake or the like during shooting. .
本発明は、横軸が平行投影の２枚のステレオ画像のうち１枚の画像中の局所領域を変形させて補正画像を得ながらもう一枚の画像との類似度を算出することにより、２枚のステレオ画像に異なるぶれが生じ同じ物体を撮影しているにも関わらずテクスチャが異なってしまう場合でも、類似度は高くなり、３次元点として抽出することを可能とし、これにより、より正しく対応付けを行うことができ、３次元点群の精度を向上させることができるようにしたもので、以下の装置、方法、およびプログラムを特徴とする。 According to the present invention, by calculating a similarity with another image while obtaining a corrected image by deforming a local region in one image of two stereo images whose horizontal axis is parallel projection. Even when different blurs occur in a single stereo image and the texture is different even though the same object is photographed, the degree of similarity is high, and it is possible to extract as a three-dimensional point. The correspondence can be performed and the accuracy of the three-dimensional point group can be improved, and the following devices, methods, and programs are characterized.
（１）ライン画像を並べて作成した２枚のステレオ画像を用いて形状を復元する装置であって、
横軸が平行投影のステレオ画像を２枚取得する画像入力手段と、
前記画像入力手段により得られた２枚の画像のうち１枚の画像における局所領域を変形させた補正画像に対し、もう一枚の画像との類似度を算出する画像照合手段と、
前記画像照合手段により算出された類似度を基に３次元点群を生成する３次元点群生成手段と、
を備えることを特徴とするステレオマッチング装置。
(1) An apparatus for restoring a shape using two stereo images created by arranging line images,
Image input means for acquiring two stereo images whose horizontal axis is parallel projection;
An image matching means for calculating a similarity with another image with respect to a corrected image obtained by deforming a local area in one image of the two images obtained by the image input means;
Three-dimensional point cloud generation means for generating a three-dimensional point cloud based on the similarity calculated by the image matching means;
A stereo matching device comprising:
（２）前記画像照合手段は、一枚の画像中の局所領域ともう一枚の画像の局所領域との類似度が最大になるように局所領域内の縦一ラインずつを上下にずらし補正画像を得る手段を備えることを特徴とするステレオマッチング装置。 (2) The image collating means shifts the vertical lines in the local area up and down so that the similarity between the local area in one image and the local area in the other image is maximized. A stereo matching device comprising means for obtaining
（３）ライン画像を並べて作成した２枚のステレオ画像を用いて形状を復元する方法であって、
横軸が平行投影のステレオ画像を２枚取得する画像入力過程と、
前記画像入力過程により得られた２枚の画像のうち１枚の画像における局所領域を変形させた補正画像に対し、もう一枚の画像との類似度を算出する画像照合過程と、
前記画像照合過程により算出された類似度を基に３次元点群を生成する３次元点群生成過程と、
を備えることを特徴とするステレオマッチング方法。
(3) A method for restoring a shape using two stereo images created by arranging line images,
An image input process for acquiring two stereo images with horizontal projections in parallel,
An image matching process for calculating a similarity with another image for a corrected image obtained by deforming a local region in one image of two images obtained by the image input process;
A three-dimensional point cloud generation process for generating a three-dimensional point cloud based on the similarity calculated by the image matching process;
A stereo matching method comprising:
（４）前記画像照合過程は、一枚の画像中の局所領域ともう一枚の画像の局所領域との類似度が最大になるように局所領域内の縦一ラインずつを上下にずらし補正画像を得る過程を備えることを特徴とするステレオマッチング方法。 (4) In the image collating process, the vertical line in the local area is shifted up and down so that the similarity between the local area in one image and the local area in the other image is maximized. A stereo matching method comprising the step of:
（５）上記（３）または（４）のいずれか１項に記載のステレオマッチング方法における処理手順をコンピュータで実行可能に構成したことを特徴とするプログラム。 (5) A program characterized in that the processing procedure in the stereo matching method according to any one of (3) and (4) is configured to be executable by a computer.
以上説明したように、本発明により、撮影時のカメラのぶれによる画像ぶれが生じても、安定して形状を復元することができる。これにより実際の市街地の３次元都市空間を安定して、精度高く構築できるようになる。 As described above, according to the present invention, the shape can be stably restored even when image blur due to camera shake during shooting occurs. As a result, a three-dimensional city space in an actual urban area can be stably constructed with high accuracy.
本発明の実施形態になるステレオマッチング装置の構成を図１に示す。本実施形態は、画像入力手段（２０１）、画像照合手段（２０２）、３次元点群生成手段（２０３）とからなる。これら手段は、ソフトウェア構成で実現し、コンピュータに搭載し、その資源を利用して所期の処理を可能にする。 A configuration of a stereo matching apparatus according to an embodiment of the present invention is shown in FIG. This embodiment includes an image input unit (201), an image collation unit (202), and a three-dimensional point group generation unit (203). These means are realized by a software configuration, mounted on a computer, and enable desired processing using the resources.
画像照合手段（２０２）では、画像入力手段（２０１）で取得したライン画像を並べて作成した２枚のステレオ画像間の類似度を算出し、３次元座標と類似度とを関連付ける。類似度を算出する際には、１枚の画像における局所領域を変形させた後、もう一枚の画像との類似度を算出する。３次元点群生成手段（２０３）では、画像照合手段（２０２）における３次元座標と類似度との関連付け結果を基に３次元点群を生成する。 The image matching means (202) calculates the similarity between two stereo images created by arranging the line images acquired by the image input means (201), and associates the three-dimensional coordinates with the similarity. When calculating the similarity, the local area in one image is deformed, and then the similarity with the other image is calculated. The three-dimensional point group generation means (203) generates a three-dimensional point group based on the association result between the three-dimensional coordinates and the similarity in the image collating means (202).
図１の各手段を詳細に説明する。まず画像入力手段（２０１）について説明する。本実施形態では、２台のラインセンサカメラを車両に搭載し、移動しながら市街地の建造物の横軸が平行投影の画像を取得する場合について述べる。 Each means of FIG. 1 will be described in detail. First, the image input means (201) will be described. In the present embodiment, a case will be described in which two line sensor cameras are mounted on a vehicle and an image in which the horizontal axis of a building in an urban area is parallel projected is acquired while moving.
図２は、画像取得方法を説明するための図である。２台のラインセンサカメラは同時に撮影を開始し、その撮影開始地点を座標系の原点とする。車両の移動方向（３０４）にｘ軸（３０１）、ｘ軸（３０１）に垂直で車両と建造物（３０５）を結ぶ方向にｙ軸（３０２）、ｘｙ平面に垂直にｚ軸（３０３）をとる。以後、すべての図においてｘ軸、ｙ軸、ｚ軸はこの設定とする。 FIG. 2 is a diagram for explaining an image acquisition method. The two line sensor cameras start photographing at the same time, and the photographing start point is set as the origin of the coordinate system. An x axis (301) in the moving direction (304) of the vehicle, a y axis (302) in the direction connecting the vehicle and the building (305) perpendicular to the x axis (301), and a z axis (303) perpendicular to the xy plane Take. Hereinafter, the x-axis, y-axis, and z-axis are set to this setting in all the drawings.
ｙｚ平面から移動方向（３０４）に傾いた方向を撮影しているラインセンサカメラをカメラＡ（３０７）、ｙｚ平面から移動方向（３０４）と逆に傾いた方向を撮影しているラインセンサカメラをカメラＢ（３０８）とする。カメラＡ（３０７）およびカメラＢ（３０８）のライン方向（３０６）はｚ軸と平行にする。かつラインセンサカメラの光軸がｙｚ平面に対称になるように設置する。カメラＡおよびカメラＢは同じ高さに設置する。 A line sensor camera that captures a direction tilted in the moving direction (304) from the yz plane is a camera A (307), and a line sensor camera that captures a direction tilted opposite to the moving direction (304) from the yz plane. Camera B (308) is assumed. The line direction (306) of camera A (307) and camera B (308) is parallel to the z-axis. And it installs so that the optical axis of a line sensor camera may become symmetrical with respect to yz plane. Camera A and camera B are installed at the same height.
図３は、図２の様子を上から見た図である。ｙｚ平面とカメラＡ（４０２）およびカメラＢ（４０３）の光軸とのなす角は等しく、カメラ角度（４０１）は共にθ1とする。４０４は撮影対象である建造物を示し、４０５はラインセンサカメラを搭載した車両を示す。 FIG. 3 is a top view of the state of FIG. The angles formed by the yz plane and the optical axes of the cameras A (402) and B (403) are equal, and the camera angle (401) is both θ 1 . Reference numeral 404 denotes a building to be photographed, and reference numeral 405 denotes a vehicle equipped with a line sensor camera.
以上の構成において、２台のラインセンサカメラを移動させつつ、ロータリーエンコーダを用いて一定距離ごとに画像（１ライン）を取り込む。なお、ロータリーエンコーダとは車両等に取り付けることにより、一定距離ごとに特定信号を発生させる装置のことである。それぞれのカメラから取得したライン画像を時系列にならべて２枚の横軸が平行投影な長尺画像を作成する。 In the above configuration, an image (one line) is captured at a certain distance using a rotary encoder while moving two line sensor cameras. The rotary encoder is a device that generates a specific signal at a certain distance by being attached to a vehicle or the like. Two long images whose horizontal axes are parallel projections are created by arranging the line images acquired from the respective cameras in time series.
次に画像照合手段（２０２）について説明する。図４に画像照合を行うためのフローチャートを示す。各ライン画像差分処理（５０６）は、カメラＡ（３０７）により取得した画像の局所領域である基準画像（５０１）と、カメラＢ（３０８）により取得した画像の局所領域である視差候補画像（５０２）との各ライン画像どうしを上下に移動させながら、上下の移動量に対する各ライン画像における各画素値の差分の絶対値の総和Ｄ（５０３）を算出する。移動量算出処理（５０７）は、各ライン画像における差分の絶対値の総和Ｄ（５０３）を最小にする移動量ｋ（５０４）を算出する。各ライン移動処理（５０８）は、移動量ｋ（５０４）を基に各ライン画像を移動させ、補正後基準画像（５０５）を作成する。類似度算出処理（５０９）は、補正後基準画像（５０５）と視差候補画像（５０２）との類似度を算出する。 Next, the image collating means (202) will be described. FIG. 4 shows a flowchart for performing image matching. Each line image difference process (506) includes a reference image (501) that is a local area of the image acquired by the camera A (307) and a parallax candidate image (502) that is a local area of the image acquired by the camera B (308). ), The sum D (503) of the absolute values of the differences between the pixel values in each line image with respect to the vertical movement amount is calculated. The movement amount calculation process (507) calculates a movement amount k (504) that minimizes the sum D (503) of the absolute values of the differences in each line image. In each line moving process (508), each line image is moved based on the moving amount k (504) to create a corrected reference image (505). The similarity calculation process (509) calculates the similarity between the corrected reference image (505) and the parallax candidate image (502).
図５を参照して、図４の各処理について述べる。まず、各ライン画像差分算出処理（５０６）について述べる。画像Ａ（６０１）はカメラＡ（３０７）を用いて取得した画像であり、画像Ｂ（６０２）はカメラＢ（３０８）を用いて取得した画像を示す。画像の時間軸方向をａ軸（６０９）、ライン方向をｂ軸（６１０）と呼ぶことにする。画像Ａ上のサイズＭ×Ｎの局所領域を基準画像とし、画像Ｂにおける基準画像上の被撮像物体と同一の物体が撮像されている可能性のある領域から、視差候補画像（サイズＭ×Ｎ）を抽出する。 With reference to FIG. 5, each process of FIG. 4 is described. First, each line image difference calculation process (506) will be described. An image A (601) is an image acquired using the camera A (307), and an image B (602) indicates an image acquired using the camera B (308). The time axis direction of the image is referred to as a axis (609), and the line direction is referred to as b axis (610). A local area of size M × N on the image A is set as a reference image, and a parallax candidate image (size M × N) is selected from an area where the same object as the imaged object on the reference image in the image B may be captured. ).
図２に記載のように、２台のラインセンサが同じ高さに設置され、光軸が１点で交わりかつライン方向と光軸が移動方向に垂直な面に対称になるように設置されている場合は、画像Ｂにおける上記基準画像のｂ軸（６１０）方向の位置と同じ位置の領域が上記基準画像上の被撮像物体と同一の物体が撮像されている可能性のある領域となる。この領域を視差候補領域と呼び、両像Ａにおけるある基準画像ｐ（６０３）の視差候補領域を６０５に示す。基準画像ｐ（６０３）と視差候補領域（６０５）とのｂ軸方向の位置は同じでｙmである。６０４は基準画像ｐ（６０３）の視差候補画像の例を示し、視差候補画像ｑとする。視差候補画像ｑ（６０４）は視差候補領域（６０５）内から設定する。基準画像ｐ（６０３）および視差候補画像ｑ（６０４）のそれぞれの中心座標は（ｘr，ｙm），（ｘl，ｙm）とし、ここでは、局所領域の大きさを例えばＭ＝（２ｍ＋１）ｐｉｘ、Ｎ＝（２ｍ＋１）ｐｉｘとする。 As shown in FIG. 2, the two line sensors are installed at the same height, the optical axes intersect at one point, and the line direction and the optical axis are symmetric with respect to a plane perpendicular to the moving direction. In the case of the image B, an area at the same position as the position of the reference image in the b-axis (610) direction in the image B is an area where the same object as the imaged object on the reference image may be captured. This area is called a parallax candidate area, and a parallax candidate area of a certain reference image p (603) in both images A is indicated by 605. B of axial position of the reference image p and (603) and disparity candidate region (605) is the same as y m. Reference numeral 604 denotes an example of a parallax candidate image of the reference image p (603), which is a parallax candidate image q. The parallax candidate image q (604) is set from within the parallax candidate area (605). The center coordinates of the reference image p (603) and the parallax candidate image q (604) are (x r , y m ), (x l , y m ), and here, the size of the local region is, for example, M = ( 2m + 1) pix, N = (2m + 1) pix.
次に、基準画像ｐ（６０３）と視差候補画像ｑ（６０４）の類似度を算出するために基準画像ｐ（６０３）を変形する。まず、基準画像ｐ（６０３）および視差候補画像ｑ（６０４）の左から１ライン目（１×（２ｍ＋１）ｐｉｘ）を抽出する。基準画像ｐ（６０３）および視差候補画像ｑ（６０４）から抽出したライン画像をそれぞれライン画像ｐ（６０６）とライン画像ｑ（６０７）とする。ライン画像ｐ（６０６）およびライン画像ｑ（６０７）のａ座標は、それぞれ（ｘr−ｍ），（ｘl−ｍ）となる。 Next, the reference image p (603) is deformed in order to calculate the similarity between the reference image p (603) and the parallax candidate image q (604). First, the first line (1 × (2m + 1) pix) from the left of the reference image p (603) and the parallax candidate image q (604) is extracted. The line images extracted from the reference image p (603) and the parallax candidate image q (604) are defined as a line image p (606) and a line image q (607), respectively. The a coordinates of the line image p (606) and the line image q (607) are (x r −m) and (x l −m), respectively.
次に、ライン画像ｐ（６０６）を上下にずらしながらライン画像ｑ（６０７）との差分の絶対値の総和Ｄ（５０３）を算出する。 Next, a sum D (503) of absolute values of differences from the line image q (607) is calculated while shifting the line image p (606) up and down.
但し、ｋ(xr-m)は、ａ座標＝ｘr−ｍにあたるライン画像の移動量を示している。ここでは基準画像ｐ（６０３）および視差候補画像ｑ（６０４）のサイズＭ×Ｎを（２ｍ＋１）ｐｉｘ×（２ｍ＋１）ｐｉｘとしているので、ｂ座標を（ｙm−ｍ）から（ｙm＋ｍ）まで１ｐｉｘずつ変化させ、画素間の濃淡値の差分の絶対値の総和Ｄ（５０３）を算出する。 Here, k (xr-m) indicates the amount of movement of the line image corresponding to the a coordinate = x r -m. Since we have a reference image p (603) and the size M × N parallax candidate image q (604) (2m + 1 ) pix × (2m + 1) pix is the b coordinate from (y m -m) (y m + m) 1 pixel at a time, and the sum D (503) of the absolute value of the difference between the gray values between the pixels is calculated.
次に、移動量算出処理（５０７）について述べる。まず、差分の絶対値の総和Ｄ（５０３）が最小になる移動量ｋ(xr-m)（５０４）を求める。ｋ(xr-m)は、例えばまったく基準画像を変形させない場合はｋ(xr-m)＝０となる。ここでは例えば−４ｐｉｘ≦ｋ(xr-m)≦４ｐｉｘの範囲で変化させ、差分の絶対値の総和Ｄ（５０３）が最小となる移動量ｋ(xr-m)（５０４）を求めるとする。ここでは−４ｐｉｘから＋４ｐｉｘとしたが、もちろんどんな値を用いてもよい。 Next, the movement amount calculation process (507) will be described. First, a movement amount k (xr-m) (504) that minimizes the sum D (503) of absolute values of differences is obtained. k (xr-m) is, if for example, does not deform at all reference image becomes k (xr-m) = 0 . Here, for example, it is assumed that the amount of movement k (xr-m) (504) that minimizes the sum D (503) of the absolute values of the differences is obtained in the range of −4 pix ≦ k (xr−m) ≦ 4 pix. Here, -4 pix to +4 pix is used, but of course any value may be used.
上記の作業を各ライン画像ごとに行う。基準画像ｐ（６０３）のａ座標＝ｘr−ｍにあたるライン画像ｐ（６０６）と視差候補画像ｑ（６０４）のａ座標＝ｘl−ｍにあたるライン画像ｑ（６０７）との差分の絶対値の総和Ｄ（５０３）を最小にする移動量ｋ(xr-m)（５０４）を求めた後は、１ラインずらし、基準画像ｐ（６０３）のａ座標＝ｘr−（ｍ−１）にあたるライン画像ｐ’と視差候補画像ｑ（６０４）のａ座標＝ｘl−（ｍ−１）にあたるライン画像ｑ’との差分Ｄ（５０３）が最小となるｋ(xr-(m-1))（５０４）を求める。このようにして各ライン画像すべてに対して差分の絶対値の総和Ｄ（５０３）が最小となるｋa（５０４）を求める。 The above operation is performed for each line image. The absolute value of the difference between the line image p (606) corresponding to the a coordinate = x r −m of the reference image p (603) and the line image q (607) corresponding to the a coordinate = x l −m of the parallax candidate image q (604). After obtaining the movement amount k (xr-m) (504) that minimizes the total sum D (503) of the image, it is shifted by one line and corresponds to the a coordinate = x r − (m−1) of the reference image p (603). K (xr− (m−1)) that minimizes the difference D (503) between the line image p ′ and the line image q ′ corresponding to the a coordinate = x 1 − (m−1) of the parallax candidate image q (604 ). (504) is obtained. In this way, k a (504) that minimizes the sum D (503) of the absolute values of the differences is obtained for all the line images.
次に、各ライン移動処理（５０８）について述べる。各ライン画像ごとに差分の絶対値の総和Ｄ（５０３）が最小となるｋa（５０４）の値だけずらす。例えば、ａ座標＝ｘr−ｍではｋ(xr-m)＝３だけずらしたときに差分Ｄ（５０３）が最小だった場合には、基準画像Ａのａ座標＝ｘr−ｍのライン画像には、画像Ａ中のａ座標＝ｘr−ｍ，（ｙm−ｍ）＋３≦ｂ座標≦（ｙm＋ｍ）＋３までを抽出したライン画像を用いる。基準画像中のすべてのライン画像に対して上記の作業を行い補正画像を得る。基準画像ｐを変形した補正後基準画像ｐを６０８に示す。 Next, each line moving process (508) will be described. Each line image is shifted by a value of k a (504) that minimizes the sum D (503) of absolute values of differences. For example, a coordinate = x r if the -m k difference D (503) when shifted by (xr-m) = 3 was smallest, a coordinate of the reference image A = x r -m line image In the image A, a line image obtained by extracting a coordinates = x r −m, (y m −m) + 3 ≦ b coordinates ≦ (y m + m) +3 in the image A is used. The above operation is performed on all line images in the reference image to obtain corrected images. A corrected reference image p obtained by deforming the reference image p is shown at 608.
なお、この実施例では基準画像ｐ（６０３）を変形させて補正画像を作成したが、視差候補画像ｑ（６０４）を同様に変形させて補正画像を算出しても構わない。 In this embodiment, the reference image p (603) is deformed to create a corrected image, but the parallax candidate image q (604) may be similarly deformed to calculate a corrected image.
次に、類似度算出処理（５０９）について述べる。変形した補正後基準画像ｐ（６０８）と視差候補画像ｑ（６０４）との類似度を算出する。類似度は差分による方法、相互相関値による方法などを用いればよい（例えば、画像処理標準ハンドブック，財団法人画像情報教育振興協会，ｐｐ．２５０〜２５２，１９９７参照）。 Next, the similarity calculation process (509) will be described. The similarity between the deformed corrected reference image p (608) and the parallax candidate image q (604) is calculated. For the similarity, a method using a difference, a method using a cross-correlation value, or the like may be used (see, for example, Image Processing Standard Handbook, Japan Association for Promotion of Image Information Education, pp. 250-252, 1997).
上記の作業を、基準画像ｐ（６０３）に対する視差候補領域（６０５）内すべての視差候補画像に対して行い、視差候補領域内で最も基準画像ｐ（６０３）との類似度が高くなった視差候補画像の中心座標を求める。次に、基準画像の中心座標を（ｘr＋１，ｙm），（ｘr＋２，ｙm）…というようにずらしながら画像Ａ中すべての基準画像に対して、類似度が最も高くなる視差候補画像の中心座標を求める。 The above operation is performed on all the parallax candidate images in the parallax candidate area (605) with respect to the reference image p (603), and the parallax having the highest similarity with the reference image p (603) in the parallax candidate area. Find the center coordinates of the candidate image. Next, the center coordinates of the reference image (x r + 1, y m ), (x r + 2, y m) ... for the image A in all of the reference images while shifting so on, parallax similarity is the highest Find the center coordinates of the candidate image.
次に３次元点群生成手段（２０３）について説明する。画像Ａ上の座標（ｘA，ｙA）と画像Ｂ上の座標（ｘB，ｙA）とが同じ地点を撮影しているならば、その地点の３次元座標は式（１）〜（３）で求められる。なお（３）の導出には、ピンホールカメラのモデルを用いている。 Next, the three-dimensional point cloud generation means (203) will be described. If the coordinates (x A , y A ) on the image A and the coordinates (x B , y A ) on the image B are taken at the same point, the three-dimensional coordinates of the point are expressed by the equations (1) to (1) 3). In order to derive (3), a pinhole camera model is used.
ここで、画像移動量定数は、画像を構成する縦方向のライン画像間の撮影間隔の距離である。また、ｆはピンホールカメラモデルにおける焦点距離である。 Here, the image movement amount constant is the distance of the shooting interval between the vertical line images constituting the image. F is a focal length in the pinhole camera model.
そこで、画像照合手段（２０２）で算出された各基準画像の中心座標とその基準画像との類似度が最も高くなった視差候補画像の中心座標をそれぞれ（２）〜（４）に代入し、３次元座標（ｘ，ｙ，ｚ）を算出する。このようにして、建造物側面等の３次元点群を生成する。 Therefore, the center coordinates of the parallax candidate images having the highest similarity between the center coordinates of each reference image calculated by the image matching means (202) and the reference image are substituted into (2) to (4), respectively. Three-dimensional coordinates (x, y, z) are calculated. In this way, a three-dimensional point group such as a building side surface is generated.
以上説明したように、本実施形態によれば、画像ぶれを適切に補正でき、手ぶれや車両の走行中のぶれなどによる画像ぶれが生じても安定してステレオ画像間の対応付けを行うことができ、安定して建造物などの形状を復元することができる。 As described above, according to the present embodiment, it is possible to appropriately correct image blur, and to stably associate stereo images even when image blur due to camera shake or camera shake occurs. The shape of a building or the like can be restored stably.
なお、本発明は、図４等に示した方法の一部又は全部の処理手順をプログラムとして構成してコンピュータに実行させることができる。 In the present invention, a part or all of the processing procedures of the method shown in FIG. 4 and the like can be configured as a program and executed by a computer.
２０１ 画像入力手段
２０２ 画像照合手段
２０３ ３次元点郡生成手段
３０７、４０２ カメラＡ
３０８、４０３ カメラＢ
201 Image input means 202 Image collation means 203 Three-dimensional point group generation means 307, 402 Camera A
308, 403 Camera B
Claims (5)
横軸が平行投影のステレオ画像を２枚取得する画像入力手段と、
前記画像入力手段により得られた２枚の画像のうち１枚の画像における局所領域を変形させた補正画像に対し、もう一枚の画像との類似度を算出する画像照合手段と、
前記画像照合手段により算出された類似度を基に３次元点群を生成する３次元点群生成手段と、
を備えることを特徴とするステレオマッチング装置。 An apparatus for restoring a shape using two stereo images created by arranging line images,
Image input means for acquiring two stereo images whose horizontal axis is parallel projection;
An image matching means for calculating a similarity with another image with respect to a corrected image obtained by deforming a local area in one image of the two images obtained by the image input means;
Three-dimensional point cloud generation means for generating a three-dimensional point cloud based on the similarity calculated by the image matching means;
A stereo matching device comprising:
横軸が平行投影のステレオ画像を２枚取得する画像入力過程と、
前記画像入力過程により得られた２枚の画像のうち１枚の画像における局所領域を変形させた補正画像に対し、もう一枚の画像との類似度を算出する画像照合過程と、
前記画像照合過程により算出された類似度を基に３次元点群を生成する３次元点群生成過程と、
を備えることを特徴とするステレオマッチング方法。 A method of restoring a shape using two stereo images created by arranging line images,
An image input process for acquiring two stereo images with horizontal projections in parallel,
An image matching process for calculating a similarity with another image for a corrected image obtained by deforming a local region in one image of two images obtained by the image input process;
A three-dimensional point cloud generation process for generating a three-dimensional point cloud based on the similarity calculated by the image matching process;
A stereo matching method comprising:
A program characterized in that the processing procedure in the stereo matching method according to any one of claims 3 and 4 can be executed by a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005006966A JP2006195758A (en) | 2005-01-14 | 2005-01-14 | Stereo matching apparatus and method, and program for this method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005006966A JP2006195758A (en) | 2005-01-14 | 2005-01-14 | Stereo matching apparatus and method, and program for this method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006195758A true JP2006195758A (en) | 2006-07-27 |
Family
ID=36801804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005006966A Pending JP2006195758A (en) | 2005-01-14 | 2005-01-14 | Stereo matching apparatus and method, and program for this method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006195758A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020129715A1 (en) * | 2018-12-18 | 2020-06-25 | 日本電信電話株式会社 | Image correction device, image correction method, and program |
| WO2021214834A1 (en) * | 2020-04-20 | 2021-10-28 | 日本電信電話株式会社 | Vibration correction device, vibration correction method, and program |
-
2005
- 2005-01-14 JP JP2005006966A patent/JP2006195758A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020129715A1 (en) * | 2018-12-18 | 2020-06-25 | 日本電信電話株式会社 | Image correction device, image correction method, and program |
| WO2021214834A1 (en) * | 2020-04-20 | 2021-10-28 | 日本電信電話株式会社 | Vibration correction device, vibration correction method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4889351B2 (en) | Image processing apparatus and processing method thereof | |
| JP5067476B2 (en) | 3D model creation system | |
| JPWO2018235163A1 (en) | Calibration apparatus, calibration chart, chart pattern generation apparatus, and calibration method | |
| JP5067477B2 (en) | Imaging parameter acquisition apparatus, imaging parameter acquisition method, and program | |
| JPWO2008053649A1 (en) | Wide-angle image acquisition method and wide-angle stereo camera device | |
| JP4427052B2 (en) | Image processing apparatus and area tracking program | |
| KR20110089299A (en) | Stereo matching process system, stereo matching process method, and recording medium | |
| JP2007025863A (en) | Photographing system, photographing method, and image processing program | |
| JP2007323616A (en) | Image processor and processing method therefor | |
| JP2006337075A (en) | Three-dimensional information recovery device | |
| CN109859313B (en) | 3D point cloud data acquisition method and device, and 3D data generation method and system | |
| JP2006195758A (en) | Stereo matching apparatus and method, and program for this method | |
| JP4871315B2 (en) | Compound eye photographing apparatus, control method therefor, and program | |
| JP6840968B2 (en) | Shape estimation method, shape estimation device and shape estimation program | |
| JP6625654B2 (en) | Projection device, projection method, and program | |
| KR101837269B1 (en) | Coordination guide method and system based on multiple marker | |
| JP2005063012A (en) | Full azimuth camera motion and method and device for restoring three-dimensional information and program and recording medium with the same recorded | |
| JP3452188B2 (en) | Tracking method of feature points in 2D video | |
| JP6292785B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2003256811A (en) | Three-dimensional information restoring device and method, program for three-dimensional information restoring method and recording medium with its program recorded | |
| JP2018055390A (en) | Image processing apparatus, image processing method, and program | |
| JP2004133556A (en) | Three-dimensional shape extraction method, three-dimensional shape extraction program and storage medium storing three-dimensional shape extraction program | |
| JP3523064B2 (en) | Three-dimensional shape input method and recording medium storing three-dimensional shape input program | |
| Chien et al. | Improved visual odometry based on transitivity error in disparity space: A third-eye approach | |
| JP2007292657A (en) | Camera motion information acquiring apparatus, camera motion information acquiring method, and recording medium |