JP2010128622A - Stereo matching processing apparatus, stereo matching processing method and program - Google Patents
Stereo matching processing apparatus, stereo matching processing method and program Download PDFInfo
- Publication number
- JP2010128622A JP2010128622A JP2008300221A JP2008300221A JP2010128622A JP 2010128622 A JP2010128622 A JP 2010128622A JP 2008300221 A JP2008300221 A JP 2008300221A JP 2008300221 A JP2008300221 A JP 2008300221A JP 2010128622 A JP2010128622 A JP 2010128622A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- point
- stereo matching
- reference parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、ステレオマッチング処理装置、ステレオマッチング処理方法およびプログラムに関する。より詳しくは、ステレオ画像から3次元データを自動生成する方法に関する。 The present invention relates to a stereo matching processing device, a stereo matching processing method, and a program. More specifically, the present invention relates to a method for automatically generating three-dimensional data from a stereo image.
ステレオ画像から3次元データを自動生成する方法として、人工衛星や航空機等から得られる画像を基に、地形を示す3次元データ[DSM(Digital Surface Model)データ]をステレオマッチングによって生成する方法が広く行われている。ここで、ステレオマッチング処理とは異なる視点から撮影した2枚の画像、いわゆるステレオ画像について、同一の点を撮像している各画像中の対応点を求め、その視差を用いて三角測量の原理によって対象までの奥行きや形状を求めることである。 As a method for automatically generating three-dimensional data from a stereo image, there is a wide variety of methods for generating three-dimensional data [DSM (Digital Surface Model) data] indicating terrain by stereo matching based on an image obtained from an artificial satellite or an aircraft. Has been done. Here, for two images taken from a different viewpoint from the stereo matching process, so-called stereo images, corresponding points in each image capturing the same point are obtained, and the parallax is used to determine the corresponding points according to the principle of triangulation Finding the depth and shape to the target.
このステレオマッチング処理については既に様々な手法が提案されている。例えば、特許文献1には、一般的に広く用いられている面積相関法を用いる手法が開示されている。この面積相関法は左画像中に相関窓を設定してこれをテンプレートとし、右画像中の探索窓を動かしてテンプレートとの相互相関係数を算出し、これを一致度とみなして高いものを探索することによって対応点を得る方法である。
Various methods have already been proposed for this stereo matching process. For example,
上記の方法においては処理量を軽減するために、探索窓の移動範囲を画像中のエピポーラ線方向に限定することによって、左画像中の各点について、対応する右画像中の点のx方向の位置ずれ量、すなわち視差を得ることができる。ここで、エピポーラ線とはステレオ画像において片方の画像中のある点について、他方の画像中で当該点に対応する点の存在範囲として引くことができる直線である。エピポーラ線については、「画像解析ハンドブック」(高木幹夫・下田陽久監修、東京大学出版会刊、1991年1月、頁597−599)に記載されている。 In the above method, in order to reduce the amount of processing, by limiting the moving range of the search window to the epipolar line direction in the image, for each point in the left image, the corresponding point in the right image in the x direction A displacement amount, that is, a parallax can be obtained. Here, the epipolar line is a straight line that can be drawn as an existing range of a point corresponding to the point in one image in a stereo image. Epipolar lines are described in “Image Analysis Handbook” (supervised by Mikio Takagi and Yoshihisa Shimoda, published by the University of Tokyo Press, January 1991, pages 597-599).
通常、エピポーラ線方向は画像の走査線方向とは異なるが、座標変換を行うことで、エピポーラ線方向を画像の走査線方向に一致させ、再配列を行うことができる。この座標変換の方法については上記の「画像解析ハンドブック」に記載されている。上記のような再配列を行ったステレオ画像においては、対応点の探索窓の移動範囲を走査線上に限定することができるため、視差は左右画像中の対応点同士のx座標の差として得られる。 Usually, the epipolar line direction is different from the scanning line direction of the image. However, by performing coordinate conversion, the epipolar line direction can be matched with the scanning line direction of the image, and rearrangement can be performed. This coordinate transformation method is described in the above “Image Analysis Handbook”. In the stereo image that has been rearranged as described above, the movement range of the search window for the corresponding points can be limited to the scanning line, so that the parallax is obtained as the difference between the x coordinates of the corresponding points in the left and right images. .
ステレオ画像にはそれぞれ、物体の影になる部分(オクルージョン領域)が発生する。このオクルージョン領域にステレオマッチングの対応を与えないことによって、正確な対応を与えるマッチング方式が提案されている(特許文献2参照)。 Each stereo image has a portion (occlusion region) that becomes a shadow of the object. There has been proposed a matching method that gives an accurate correspondence by not providing a stereo matching correspondence to this occlusion region (see Patent Document 2).
また、特許文献3には、衛星ステレオ画像や航空ステレオ画像からオペレータを介さずに自動的に複雑な対象に対して3次元データが得られるステレオ画像処理装置の技術が記載されている。特許文献3の技術では、ステレオ処理手段によって得られた3次元データ中の雑音や欠損等の誤ったデータを、地図データ蓄積手段の地図データから得られる建造物等の外形情報を用いて自動的に補正する。地図データ蓄積手段はDSMデータ自動補正手段に対して建造物の外形等の地図データを提供する。 Patent Document 3 describes a technology of a stereo image processing apparatus that automatically obtains three-dimensional data from a satellite stereo image or an aerial stereo image for a complex object without using an operator. In the technique of Patent Document 3, erroneous data such as noise and loss in the three-dimensional data obtained by the stereo processing means is automatically used by using outline information such as buildings obtained from the map data of the map data storage means. To correct. The map data storage means provides map data such as the external shape of the building to the DSM data automatic correction means.
ステレオマッチング処理を行う1組の画像で、一方の画像内のある点について、他方の画像の対応する点を探索するときに、画像の走査線(エピポーラ線)全体に亘って探索するのでは、処理に時間がかかり、また、ミスマッチングの確率が増加する。 When searching for a point in one image and a corresponding point in the other image in a set of images for which stereo matching processing is performed, the search is performed over the entire scanning line (epipolar line) of the image. Processing takes time, and the probability of mismatching increases.
本発明は上述の事情に鑑みてなされたもので、ステレオマッチング処理の速度と精度を向上することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to improve the speed and accuracy of stereo matching processing.
本発明の第1の観点に係るステレオマッチング処理装置は、
複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する画像データ取得手段と、
前記複数の画像に対応して基準の視差を設定する基準視差設定手段と、
前記基準視差設定手段で設定された基準の視差を与える画像の点を基準に、前記画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定手段と、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定手段で設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定手段で設定された探索範囲で前記他の画像の対応する点を探索する探索手段と、
を備えることを特徴とする。
The stereo matching processing device according to the first aspect of the present invention provides:
Image data acquisition means for acquiring image data of a plurality of images obtained by photographing a predetermined region from a plurality of different positions;
Reference parallax setting means for setting a reference parallax corresponding to the plurality of images;
Search range setting means for setting a predetermined range smaller than the range of the image as a search range for stereo matching with reference to the point of the image giving the reference parallax set by the reference parallax setting means;
A search range set by the search range setting unit with respect to an arbitrary point in one image of the plurality of images based on a point of another image that gives a reference parallax set by the reference parallax setting unit. Search means for searching for corresponding points in the other image;
It is characterized by providing.
本発明の第2の観点に係るステレオマッチング処理方法は、
複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する画像データ取得ステップと、
前記複数の画像に対応して基準の視差を設定する基準視差設定ステップと、
前記基準視差設定ステップで設定された基準の視差を与える画像の点を基準に、前記画像データの範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定ステップと、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定ステップで設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定ステップで設定された探索範囲で前記他の画像の対応する点を探索する探索ステップと、
を備えることを特徴とする。
The stereo matching processing method according to the second aspect of the present invention is:
An image data acquisition step of acquiring image data of a plurality of images obtained by photographing a predetermined region from a plurality of different positions;
A reference parallax setting step for setting a reference parallax corresponding to the plurality of images;
A search range setting step for setting a predetermined range smaller than the range of the image data as a search range for stereo matching based on the point of the image giving the reference parallax set in the reference parallax setting step;
With respect to an arbitrary point in one image of the plurality of images, the search range set in the search range setting step based on a point of another image that gives the reference parallax set in the reference parallax setting step. A search step for searching for a corresponding point in the other image;
It is characterized by providing.
本発明の第3の観点に係るプログラムは、
コンピュータを、
複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する画像データ取得手段と、
前記複数の画像に対応して基準の視差を設定する基準視差設定手段と、
前記基準視差設定手段で設定された基準の視差を与える画像の点を基準に、前記画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定手段と、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定手段で設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定手段で設定された探索範囲で前記他の画像の対応する点を探索する探索手段
として機能させることを特徴とする。
The program according to the third aspect of the present invention is:
Computer
Image data acquisition means for acquiring image data of a plurality of images obtained by photographing a predetermined region from a plurality of different positions;
Reference parallax setting means for setting a reference parallax corresponding to the plurality of images;
Search range setting means for setting a predetermined range smaller than the range of the image as a search range for stereo matching with reference to the point of the image giving the reference parallax set by the reference parallax setting means;
A search range set by the search range setting unit with respect to an arbitrary point in one image of the plurality of images based on a point of another image that gives a reference parallax set by the reference parallax setting unit. It is made to function as a search means for searching for a corresponding point in the other image.
本発明によれば、ステレオ画像から3次元データを自動生成する方法においてステレオマッチング処理の速度と精度を向上できる。 According to the present invention, the speed and accuracy of stereo matching processing can be improved in a method for automatically generating three-dimensional data from a stereo image.
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals.
(実施の形態1)
図1は、本発明の実施の形態1に係るステレオ画像処理装置の構成例を示すブロック図である。ステレオ画像処理装置1は、画像データ入力部10、ステレオマッチング部11、基準視差設定部12および探索範囲設定部13を備える。ステレオ画像処理装置1は、高さ計算部2に接続される。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration example of a stereo image processing apparatus according to
画像データ入力部10は、画像データを入力する機能を有し、ステレオマッチング処理に使用する複数の画像データを入力する。画像データは、例えば、デジタル画像に変換された航空写真の画像である。画像データには、画像を撮影した位置、撮影した方向、画角などが含まれる。
The image
図2は、画像データに変換される航空写真の一例を模式的に示す。図2に示される航空写真は、上空を飛行する航空機から連続撮影された、航空写真101Aと航空写真101Bから構成される。航空写真101Aと航空写真101Bとは、航空機の進行方向について60%オーバーラップして撮影されたものである。オーバーラップ部分は、異なる位置から同じ領域を撮影した画像である。 FIG. 2 schematically shows an example of an aerial photograph converted into image data. The aerial photograph shown in FIG. 2 is composed of an aerial photograph 101A and an aerial photograph 101B continuously taken from an aircraft flying over the sky. The aerial photograph 101A and the aerial photograph 101B are taken with 60% overlap in the traveling direction of the aircraft. The overlap portion is an image obtained by photographing the same region from different positions.
本実施例における画像は、航空写真101A、航空写真101Bを一例とする航空写真がデジタル変換されて生成された画像である。本発明に用いる画像は、航空画像に限定されるものではなく、デジタル化された衛星写真による画像や、一般的なデジタルカメラで撮影したデジタル画像や、一般的なアナログカメラで撮影したアナログ写真をスキャニングでデジタル化したデジタル画像などであってもよい。 The image in the present embodiment is an image generated by digitally converting an aerial photograph taking the aerial photograph 101A and the aerial photograph 101B as an example. The image used in the present invention is not limited to an aerial image, but it scans a digital satellite image, a digital image taken with a general digital camera, or an analog photo taken with a general analog camera. It may be a digital image or the like digitized by.
図1のステレオマッチング部11は、異なる位置から同じ領域を撮影した複数の画像データに対して、同じ地点を写す画像内の位置を検出する。すなわち、複数の画像の同じ地点に対応する点の組を検出する。同じ地点に対応する点の組は、通常2つの画像の中で、対応する付近の小領域の画像相関をとり、相関係数が最大となる位置から検出される。
The
なお、ステレオマッチング処理を行うための手法には、一般的な特徴量を求めて対応付けるものや、左右画像の相関を求めるものなど、様々なものが存在するが、本実施例におけるステレオマッチング処理に使用される手法に制限はない。例えば、特公平8−16930に記載のステレオマッチング処理を使用してもよい。 Note that there are various methods for performing stereo matching processing, such as a method for obtaining a general feature value to be associated, and a method for obtaining a correlation between left and right images, and the stereo matching processing in the present embodiment. There are no restrictions on the method used. For example, a stereo matching process described in Japanese Patent Publication No. 8-16930 may be used.
高さ計算部2は、ステレオマッチング処理によって得られた対応する点の視差から、三角測量の原理によって、DSMデータを生成する。例えば、一組の航空写真101A、航空写真101B間では、対応する地物の位置が、所定の位置ずれ(視差)を生じているので、ステレオマッチング処理は、この位置ずれを計測することにより、標高値を含む地物の表層の高さ、および水平方向の座標、すなわち3次元データを求める。
The
図3は、実世界の地上の状態の一例を示す模式図である。図3は、実世界の一部の断面を示したものであり、起伏のある地形の上に地物が存在する。 FIG. 3 is a schematic diagram illustrating an example of a ground state in the real world. FIG. 3 shows a cross section of a part of the real world, and features exist on the undulating terrain.
図4は、図3に示す実世界の一部を撮影した画像から、ステレオマッチング処理により生成したDSMデータを示す模式図である。DSMデータは、最表面の高さデータを表すため、屋根等で隠された地表面については、標高値を含む屋根の高さを表す。 FIG. 4 is a schematic diagram showing DSM data generated by stereo matching processing from an image obtained by photographing a part of the real world shown in FIG. Since the DSM data represents the height data of the outermost surface, the ground surface hidden by the roof or the like represents the height of the roof including the altitude value.
図1の基準視差設定部12は、2つの画像で対応する点を探索する基準の視差を与える視差を設定する。例えば、実空間におけるステレオマッチングで探索すべき範囲の基準の高さを与える視差を基準に設定する。探索範囲設定部13は、基準視差設定部12で設定された基準の視差を与える画像の点を基準に、ステレオマッチング部11で対応する点を探索する範囲を設定する。通常は、画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲として設定する。
The reference
図4は、基準標高と探索範囲に対応する高さを概念的に示す。例えば、図3のような起伏のある地表について、航空機の高度の原点の高さGから所定の高さHの線SLで表される面を基準の標高とする。そして、線SLの面を基準にして、線BLから線ULの間の範囲を実空間における探索範囲に相当する高さSHとする。 FIG. 4 conceptually shows the reference altitude and the height corresponding to the search range. For example, for the undulating ground surface as shown in FIG. 3, a plane represented by a line SL having a predetermined height H from the height G of the altitude of the aircraft is set as the reference altitude. Then, with reference to the surface of the line SL, a range between the line BL and the line UL is set as a height SH corresponding to the search range in the real space.
図5は、探索範囲を説明する探索平面を示す。図5は、航空写真101Aを変換した画像の走査線(エピポーラ線)Aと、航空写真101Bを変換した画像の、走査線Aに対応する走査線(エピポーラ線)Bを垂直に配置したものである。軸ABによって構成される平面を一般に探索平面と呼ぶ。A、B上のブロックの中心位置は、それぞれ縦線、横線で表現され、2つの画像の間の一つの対応は、縦線と横線の交点で表される。ステレオマッチング部11は、2つの画像の対応する点を、走査線Aと走査線Bの上で探索する。探索平面で45度の角度の線は、2つの画像において視差が一定、すなわち一定の高さを示す。
FIG. 5 shows a search plane for explaining the search range. FIG. 5 shows the scanning line (epipolar line) A of the image obtained by converting the aerial photograph 101A and the scanning line (epipolar line) B corresponding to the scanning line A of the image obtained by converting the aerial photograph 101B arranged vertically. is there. A plane constituted by the axis AB is generally called a search plane. The center positions of the blocks on A and B are represented by vertical lines and horizontal lines, respectively, and one correspondence between the two images is represented by the intersection of the vertical lines and horizontal lines. The
図5において、線glは例えば地面の基準の高さに相当する視差の線であり、航空機の高度の原点を表すとする。線spは、基準視差を与える高さであり図4の線SLに対応する。幅SPは図4の高さHに相当する。図5の線uは、図4の線ULに対応し、線lは図4の線BLに対応する。線uと線lに囲まれる幅Rの範囲が探索範囲を示す。 In FIG. 5, a line gl is, for example, a parallax line corresponding to the reference height of the ground, and represents the origin of the altitude of the aircraft. The line sp is a height that gives the reference parallax and corresponds to the line SL in FIG. The width SP corresponds to the height H in FIG. The line u in FIG. 5 corresponds to the line UL in FIG. 4, and the line l corresponds to the line BL in FIG. The range of the width R surrounded by the line u and the line l indicates the search range.
ステレオマッチング部11は、例えば図5の線uと線lの間で、AB間の対応の組合せを探索する。走査線Aの上のある点に対応する走査線Bの点は、走査線Aのその点を通る縦線の線uと線lの間の部分で探索される。走査線Bの点を決めて、走査線Aの対応点を探索する場合は、走査線Bのその点を通る横線のと線uと線lの間の部分で探索されることになる。
For example, the
図6は、探索範囲の一例を示す。地面の起伏の高低差がわかっている場合に、それを含めて想定される最大高さの地物を探索する範囲を定めることができる。図6では、起伏に対応する視差が線lsで表されている。探索範囲は、起伏の平均高さに地物の想定平均の高さを加えた視差spを基準に、起伏の高低差を含めた範囲Rの線uと線lで示される。 FIG. 6 shows an example of the search range. When the difference in level of the undulations on the ground is known, it is possible to determine a range for searching for the feature having the maximum height including that. In FIG. 6, the parallax corresponding to the undulations is represented by a line ls. The search range is indicated by a line u and a line l in the range R including the height difference of the undulation, with reference to the parallax sp obtained by adding the assumed average height of the feature to the average undulation height.
地表の標高がわかっている場合に、その高低差と想定される地物の高さを含めて探索範囲を設定することにより、ステレオマッチング処理を速く行うことができる。また、探索範囲を限定するので、2つの画像の対応点を誤認識する可能性が減少する。 When the altitude of the ground surface is known, the stereo matching process can be performed quickly by setting a search range including the height difference and the height of the assumed feature. In addition, since the search range is limited, the possibility of erroneous recognition of corresponding points between two images is reduced.
図7は、実施の形態1に係る高さ標定処理の動作の一例を示すフローチャートである。画像データ入力部10がステレオマッチング処理をする複数の画像を入力する(ステップS11)。基準視差設定部12は、例えば、その領域の平均の標高と想定される地物の高さから、基準の視差を設定する(ステップS12)。探索範囲設定部13は、その領域の標高差と地物の高さから、基準の視差に対して探索範囲を設定する(ステップS13)。
FIG. 7 is a flowchart showing an example of the operation of the height orientation processing according to the first embodiment. The image
ステレオマッチング部11は、一方の画像の点に対して、基準の視差を与える他の画像の点を基準に、設定された探索範囲で他の画像の対応する点を探索する(ステップS14)。高さ計算部2は、複数の画像で対応づけられた各点の画像内の位置から、その点に対応する高さと、その点の地図上の座標を計算する(ステップS15)。
The
本実施の形態1のステレオ画像処理装置1によれば、高低差と想定される地物の高さを含めて基準の視差および探索範囲を設定することにより、ステレオマッチング処理を速く行うことができる。また、探索範囲を限定するので、2つの画像の対応点を誤認識する可能性が減少する。
According to the stereo
(実施の形態2)
図8は、本発明の実施の形態2に係るステレオ画像処理装置1の構成例を示すブロック図である。実施の形態2では、地図データの標高データに基づいて、基準の視差および探索範囲を設定する。
(Embodiment 2)
FIG. 8 is a block diagram showing a configuration example of the stereo
図8のステレオ画像処理装置1は、実施の形態1の構成に加えて、地図データ入力部14と領域分割部15を備える。地図データ入力部14は、入力した画像データの対象の地域の地図データを入力する。地図データは、地図のメッシュの各点における標高データを含む。
The stereo
領域分割部15は、入力した画像データを標高データに応じて分割する。標高データの高低差が小さければ、画像全体を分割せず1つの領域とする場合もある。画像の範囲の地図データで高低差が所定の範囲を超えていれば、画像を複数の領域に分割する。
The
基準視差設定部12は、領域分割部15で分割された領域ごとに、標高データに基づいて基準の視差を設定する。探索範囲設定部13はまた、標高データの高低差と想定される地物の高さを考慮して、分割された領域ごとに探索範囲を設定する。
The reference
ステレオマッチング部11は、分割された領域ごとに設定された基準の視差と探索範囲に合わせて、複数の画像の対応する点を探索して、対応点の組を抽出する。高さ計算部2は、ステレオマッチング処理によって得られた対応する点の視差から、三角測量の原理によって、DSMデータを生成する。
The
図9は、分割した領域ごとに基準の視差と探索範囲を設定する探索平面の例を示す。図9の例では、地表の起伏lsに合わせて4つの領域に分割されている。各領域において基準の視差をsp1、sp2、sp3、sp4としている。そして、1つめの領域では、u1、l1を境界とする幅R1の範囲を探索範囲に設定している。以下、u2、l2を境界とする幅R2の範囲、u3、l3を境界とする幅R3の範囲、u4、l4を境界とする幅R4の範囲をそれぞれ探索範囲とする。 FIG. 9 shows an example of a search plane for setting a reference parallax and a search range for each divided area. In the example of FIG. 9, it is divided into four regions according to the undulations ls of the ground surface. In each region, the reference parallax is sp1, sp2, sp3, sp4. In the first region, the range of the width R1 with u1 and l1 as the boundary is set as the search range. Hereinafter, the range of width R2 with u2 and l2 as boundaries, the range of width R3 with u3 and l3 as boundaries, and the range of width R4 with u4 and l4 as boundaries are set as search ranges.
図9に示すように、探索範囲は図6に比べて小さくなっている。起伏の高低差がある場合に、画像の範囲を複数の領域に分割し、分割した領域ごとに探索範囲を設定することにより、探索範囲を対応点が存在する範囲に小さく限定できる。その結果、ステレオマッチング処理を速くまた正確に行うことができる。 As shown in FIG. 9, the search range is smaller than that in FIG. When there is a difference in level of undulations, the search range can be limited to a range where the corresponding points exist by dividing the image range into a plurality of regions and setting the search range for each divided region. As a result, the stereo matching process can be performed quickly and accurately.
なお、領域分割は、領域内の高低差が所定の値以下になるように設定できる。あるいは、画像範囲の高低差に応じて分割数を決めてもよい。 The region division can be set so that the height difference in the region is equal to or less than a predetermined value. Alternatively, the number of divisions may be determined according to the height difference of the image range.
図10は、実施の形態2に係る高さ標定処理の動作の一例を示すフローチャートである。画像データ入力部10がステレオマッチング処理をする複数の画像を入力する(ステップS21)と、地図データ入力部14は、その対象の地域の地図データを入力する(ステップS22)。領域分割部15は、地図データに含まれる標高データに基づいて、画像を領域に分割する(ステップS23)。
FIG. 10 is a flowchart illustrating an example of the operation of the height orientation processing according to the second embodiment. When the image
基準視差設定部12は、標高データと分割領域に基づいて、分割された領域ごとに基準の視差を設定する(ステップS24)。探索範囲設定部13は、分割された領域の高低差に応じて、領域ごとに探索範囲を設定する(ステップS25)。
The reference
ステレオマッチング部11は、一方の画像の点に対して、基準の視差を与える他の画像の点を基準に、領域ごとに設定された探索範囲で他の画像の対応する点を探索する(ステップS26)。高さ計算部2は、複数の画像で対応づけられた各点の画像内の位置から、その点に対応する高さと、その点の地図上の座標を計算する(ステップS27)。
The
実施の形態2のステレオ画像処理装置1によれば、地図データの標高データに合わせて探索範囲を対応点が存在する範囲に小さく限定できる。その結果、ステレオマッチング処理を速くまた正確に行うことができる。
According to the stereo
(実施の形態3)
図11は、実施の形態3に係るステレオ画像処理装置1の構成例を示すブロック図である。実施の形態3のステレオ画像処理装置1は、実施の形態1の構成に加えて、基準点設定部16を備える。
(Embodiment 3)
FIG. 11 is a block diagram illustrating a configuration example of the stereo
基準点設定部16は、画像データ入力部10で入力した画像の中から、所定の方法で基準の視差を設定する基準の点を選択する。例えば基準の点は、画像の大きさと尺度に応じた数の点をランダムに選択する。また、所定の分布の点を選択するのでもよい。
The reference
基準点設定部16は、選択した点について、ステレオマッチング部11で複数の画像で対応する点の組を抽出する。また、選択した点の3次元データを計算する。そして、選択した点の3次元データを基準視差設定部12に送る。
The reference
基準視差設定部12は、基準点設定部16から受け取った3次元データから、所定の方法で基準の視差を設定する。例えば、3次元データの高さの平均または中央値を基準標高として、基準標高に対応する視差を基準の視差とする。あるいは、所定の分割領域ごとに平均して、それぞれの領域ごとに基準の視差を設定してもよい。
The reference
探索範囲設定部13は、基準の視差に合わせて探索範囲を設定する。例えば、選択された点の3次元データの高さの分散を考慮して、探索範囲を設定することができる。また、画像の範囲が複数の領域に分割される場合には、分割された領域ごとに探索範囲を設定してもよい。
The search
ステレオマッチング部11は、設定された基準の視差探索範囲に合わせて、複数の画像の対応する点を探索して、対応点の組を抽出する。分割された領域ごとに基準の視差と探索範囲が設定されている場合には、その探索範囲で対応する点を探索する。高さ計算部2は、ステレオマッチング処理によって得られた対応する点の視差から、三角測量の原理によって、DSMデータを生成する。
The
図12は、実施の形態3に係る高さ標定処理の動作の一例を示すフローチャートである。画像データ入力部10がステレオマッチング処理をする複数の画像を入力する(ステップS31)と、基準点設定部16は所定の方法で画像の中の基準点を選択する(ステップS32)。ステレオマッチング部11は、選択された基準点についてステレオマッチング処理を行って、複数の画像で対応する組を抽出する(ステップS33)。
FIG. 12 is a flowchart showing an example of the operation of the height orientation processing according to the third embodiment. When the image
基準点設定部16は、選択した点の対応の組から基準点の高さを計算する(ステップS34)。基準視差設定部12は、基準点の高さに基づいて、基準の視差を設定する(ステップS35)。ここで、基準視差設定部12は、選択した点の対応の組に基づいて基準の視差を設定してもよい(基準点設定部16で基準点の高さを計算しなくてもよい)。探索範囲設定部13は、基準の視差に合わせて探索範囲を設定する(ステップS36)。
The reference
ステレオマッチング部11は、一方の画像の点に対して、基準の視差を与える他の画像の点を基準に、領域ごとに設定された探索範囲で他の画像の対応する点を探索する(ステップS37)。高さ計算部2は、複数の画像で対応づけられた各点の画像内の位置から、その点に対応する高さと、その点の地図上の座標を計算する(ステップS38)。
The
実施の形態3のステレオ画像処理装置1によれば、地図データがない場合でも、画像に適合するように探索範囲を対応点が存在する範囲に小さく限定できる。その結果、ステレオマッチング処理を速くまた正確に行うことができる。
According to the stereo
(実施の形態4)
図13は、実施の形態4に係るステレオ画像処理装置1の構成例を示すブロック図である。実施の形態4のステレオ画像処理装置1は、実施の形態3の基準点を外部から入力する。図13のステレオ画像処理装置1は、実施の形態3の構成に加えて、基準点入力部17を備える。
(Embodiment 4)
FIG. 13 is a block diagram illustrating a configuration example of the stereo
基準点入力部17は、基準点の画像内の位置を示すデータを入力する。例えば、画像データを表示装置(図示せず)に表示して、その画面の上で選択された点を入力してもよい。また画像内の座標をデータで入力してもよい。 The reference point input unit 17 inputs data indicating the position of the reference point in the image. For example, image data may be displayed on a display device (not shown), and a point selected on the screen may be input. Further, the coordinates in the image may be input as data.
基準点設定部16、基準視差設定部12、探索範囲設定部13およびステレオマッチング部11の動作は、実施の形態3と同様である。
The operations of the reference
実施の形態4では、入力した画像から適切と考えられる基準点を設定することができる。例えば、高層ビルなどの航空標識灯、鉄塔の特徴点、ビルなど人工的な地物の特徴点など、基準の標高に適切と考えられ、ステレオマッチング処理が正確に行える点を選択することができる。 In the fourth embodiment, it is possible to set a reference point considered appropriate from the input image. For example, it is possible to select points that are considered appropriate for the standard altitude, such as aerial beacon lights such as high-rise buildings, feature points of steel towers, and feature points of artificial features such as buildings, and that can perform stereo matching processing accurately. .
図14は、実施の形態4に係る高さ標定処理の動作の一例を示すフローチャートである。画像データ入力部10がステレオマッチング処理をする複数の画像を入力する(ステップS41)と、基準点入力部17はその画像内の基準点の位置を示すデータを入力する(ステップS42)。選択する基準点は、複数あってもよい。
FIG. 14 is a flowchart illustrating an example of the height locating process according to the fourth embodiment. When the image
基準点設定部16は、入力された点の位置をステレオマッチング部11におくり、ステレオマッチング部11は、選択された基準点についてステレオマッチング処理を行って、複数の画像で対応する組を抽出する(ステップS43)。基準点設定部16は、選択した点の対応の組から基準点の高さを計算する(ステップS44)。以降、基準視差設定(ステップS45)から対応高さ計算(ステップS48)は、図12のステップS35〜ステップS38と同様である。
The reference
実施の形態4のステレオ画像処理装置1によれば、実施の形態3に加えて、画像に合わせて適切な基準の視差で、かつ、ステレオマッチング処理が正確に行える点を選択することができる。その結果、ステレオマッチング処理を速くまた正確に行うことができる。
According to the stereo
(実施の形態5)
図15は、実施の形態5に係るステレオ画像処理装置1の構成例を示すブロック図である。実施の形態5のステレオ画像処理装置1は、実施の形態3の基準点とそれにステレオマッチングについて対応する組を外部から入力する。図15のステレオ画像処理装置1は、実施の形態3の基準点入力部17および基準点設定部16に代えて、基準対応点入力部18を備える。
(Embodiment 5)
FIG. 15 is a block diagram illustrating a configuration example of the stereo
基準対応点入力部18は、基準点の画像内の位置と、それにステレオマッチング対応する他の画像内の点の位置を示すデータを入力する。例えば、2つの画像データを表示装置(図示せず)に表示して、その画面の上で選択された対応点の組を入力してもよい。また2つの画像内の対応点の組の座標をデータで入力してもよい。
The reference corresponding
基準視差設定部12、探索範囲設定部13およびステレオマッチング部11の動作は、実施の形態1と同様である。
The operations of the reference
実施の形態5では、入力した画像から適切と考えられる基準対応点を設定することができる。例えば、高層ビルなどの航空標識灯、鉄塔の特徴点、ビルなど人工的な地物の特徴点など、基準の標高に適切と考えられ、ステレオマッチングしている対応点を選択することができる。 In the fifth embodiment, it is possible to set a reference corresponding point that is considered appropriate from the input image. For example, it is possible to select corresponding points that are considered to be appropriate for the reference altitude and are stereo-matched, such as aerial beacon lights such as high-rise buildings, feature points of steel towers, and feature points of artificial features such as buildings.
図16は、実施の形態5に係る高さ標定処理の動作の一例を示すフローチャートである。画像データ入力部10がステレオマッチング処理をする複数の画像を入力する(ステップS51)と、基準対応点入力部18はそれらの画像のうち2つの画像でステレオマッチング対応する基準対応点の位置を示すデータを入力する(ステップS52)。選択する基準点は、複数あってもよい。
FIG. 16 is a flowchart illustrating an example of the operation of the height orientation processing according to the fifth embodiment. When the image
以降、基準視差設定(ステップS53)から対応高さ計算(ステップS56)は、図12のステップS35〜ステップS38と同様である。 Thereafter, the reference height setting (step S53) to the corresponding height calculation (step S56) are the same as steps S35 to S38 in FIG.
実施の形態5のステレオ画像処理装置1によれば、画像に合わせて適切な基準の視差で、かつ、ステレオマッチングしている対応点を選択することにより、基準の視差と探索範囲を設定することができる。その結果、ステレオマッチング処理を速くまた正確に行うことができる。
According to the stereo
図17は、ステレオ画像処理装置1をコンピュータに実装する場合の、物理的な構成の一例を示すブロック図である。本実施の形態に係るステレオ画像処理装置1は、一般的なコンピュータ装置と同様のハードウェア構成によって実現することができる。ステレオ画像処理装置1は、図17に示すように、制御部21、主記憶部22、外部記憶部23、操作部24、表示部25および入出力部26を備える。主記憶部22、外部記憶部23、操作部24、表示部25および入出力部26はいずれも内部バス20を介して制御部21に接続されている。
FIG. 17 is a block diagram illustrating an example of a physical configuration when the stereo
制御部21はCPU(Central Processing Unit)等から構成され、外部記憶部23に記憶されている制御プログラム30に従って、ステレオマッチング処理を実行する。
The
主記憶部22はRAM(Random-Access Memory)等から構成され、外部記憶部23に記憶されている制御プログラム30をロードし、制御部21の作業領域として用いられる。
The
外部記憶部23は、フラッシュメモリ、ハードディスク、DVD−RAM(Digital Versatile Disc Random-Access Memory)、DVD−RW(Digital Versatile Disc ReWritable)等の不揮発性メモリから構成され、前記の処理を制御部21に行わせるための制御プログラム30を予め記憶し、また、制御部21の指示に従って、この制御プログラム30が記憶するデータを制御部21に供給し、制御部21から供給されたデータを記憶する。
The
操作部24はキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス20に接続するインターフェース装置から構成されている。操作部24を介して、画像データの入力、送受信などの指示、表示する画像の指定、基準の標高を設定する基準点の画像内の位置などが入力され、制御部21に供給される。
The
表示部25は、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)などから構成され、画像やステレオマッチング処理された結果を表示する。
The
入出力部26は、無線送受信機、無線モデムまたは網終端装置、およびそれらと接続するシリアルインタフェースまたはLAN(Local Area Network)インタフェース等から構成されている。入出力部26を介して、画像データを受信し、また計算した結果を送信できる。
The input /
図1、8、11、13または15に示すステレオ画像処理装置1の画像データ入力部10、ステレオマッチング部11、基準視差設定部12、探索範囲設定部13、地図データ入力部14、領域分割部15、基準点設定部16、基準点入力部17および基準対応点入力部18の処理は、制御プログラム30が、制御部21、主記憶部22、外部記憶部23、操作部24、表示部25および入出力部26などを資源として用いて処理することによって実行する。
The image
その他、本発明の好適な変形として、以下の構成が含まれる。 Other suitable modifications of the present invention include the following configurations.
本発明の第1の観点に係るステレオマッチング処理装置について、
好ましくは、前記基準視差設定手段は、前記複数の画像をそれぞれ対応する2以上の領域に分けて、それぞれの領域で前記基準の視差を設定し、
前記探索範囲設定手段は、前記それぞれの領域で設定された前記基準の視差を与える画像の点を基準に、該画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する、
ことを特徴とする。
About the stereo matching processing device according to the first aspect of the present invention,
Preferably, the reference parallax setting unit divides the plurality of images into two or more corresponding areas, and sets the reference parallax in each area,
The search range setting means sets a predetermined range smaller than the range of the image as a search range for stereo matching based on the point of the image that gives the reference parallax set in each of the regions.
It is characterized by that.
好ましくは、前記複数の画像に対応する地図の標高データを取得する地図データ取得手段を備え、
前記基準視差設定手段は、前記地図データ取得手段で取得した標高データに基づいて前記基準の視差を設定する。
Preferably, comprising map data acquisition means for acquiring elevation data of a map corresponding to the plurality of images,
The reference parallax setting unit sets the reference parallax based on the altitude data acquired by the map data acquisition unit.
または、前記基準視差設定手段は、前記複数の画像から所定の方法で選択した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定してもよい。 Alternatively, the reference parallax setting unit may calculate a parallax by stereo matching for a point selected from the plurality of images by a predetermined method, and set the reference parallax based on the calculated parallax.
さらに、前記複数の画像のうち、視差を求める点の画像中の位置を取得する基準点入力手段を備え、
前記基準視差設定手段は、前記基準点入力手段で取得した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定してもよい。
Furthermore, a reference point input means for acquiring a position in the image of a point for which parallax is obtained among the plurality of images is provided,
The reference parallax setting unit may calculate a parallax by stereo matching for the point acquired by the reference point input unit, and set the reference parallax based on the calculated parallax.
あるいはまた、前記複数の画像から、ステレオマッチングについて対応する点の組を入力する対応点入力手段を備え、
前記基準視差設定手段は、前記対応点入力手段で入力した対応する点の組で与えられる視差に基づいて、前記基準の視差を設定してもよい。
Alternatively, it comprises corresponding point input means for inputting a set of points corresponding to stereo matching from the plurality of images.
The reference parallax setting unit may set the reference parallax based on a parallax given by a set of corresponding points input by the corresponding point input unit.
本発明の第2の観点に係るステレオマッチング処理方法について、
好ましくは、前記基準視差設定ステップは、前記ステレオマッチング処理を行う1組の画像をそれぞれ対応する2以上の領域に分けて、それぞれの領域で前記基準の視差を設定し、
前記探索範囲設定ステップは、前記それぞれの領域で設定された前記基準の視差を与える画像の点を基準に、該画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する、
ことを特徴とする。
About the stereo matching processing method according to the second aspect of the present invention,
Preferably, the reference parallax setting step divides a set of images to be subjected to the stereo matching process into two or more corresponding areas, and sets the reference parallax in each area,
The search range setting step sets a predetermined range smaller than the range of the image as a search range for stereo matching based on the point of the image that gives the reference parallax set in the respective regions.
It is characterized by that.
好ましくは、前記複数の画像に対応する地図の標高データを取得する地図データ取得ステップを備え、
前記基準視差設定ステップは、前記地図データ取得ステップで取得した標高データに基づいて前記基準の視差を設定する。
Preferably, a map data acquisition step of acquiring map elevation data corresponding to the plurality of images is provided,
In the reference parallax setting step, the reference parallax is set based on the altitude data acquired in the map data acquisition step.
または、前記基準視差設定ステップは、前記複数の画像から所定の方法で選択した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定してもよい。 Alternatively, the reference parallax setting step may calculate a parallax by stereo matching for a point selected from the plurality of images by a predetermined method, and set the reference parallax based on the calculated parallax.
さらに、前記複数の画像のうち、視差を求める点の画像中の位置を取得する基準点入力ステップを備え、
前記基準視差設定ステップは、前記基準点入力ステップで取得した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定してもよい。
And a reference point input step of acquiring a position in the image of the point for which parallax is to be obtained among the plurality of images.
In the reference parallax setting step, parallax may be calculated by stereo matching for the points acquired in the reference point input step, and the reference parallax may be set based on the calculated parallax.
あるいはまた、前記複数の画像から、ステレオマッチングについて対応する点の組を入力する対応点入力ステップを備え、
前記基準視差設定ステップは、前記対応点入力ステップで入力した対応する点の組で与えられる視差に基づいて、前記基準の視差を設定してもよい。
Alternatively, a corresponding point input step of inputting a set of points corresponding to stereo matching from the plurality of images,
The reference parallax setting step may set the reference parallax based on the parallax given by the set of corresponding points input in the corresponding point input step.
その他、前記のハードウエェア構成やフローチャートは一例であり、任意に変更および修正が可能である。 In addition, the hardware configuration and the flowchart described above are merely examples, and can be arbitrarily changed and modified.
制御部21、主記憶部22、外部記憶部23、操作部24、入出力部26および内部バス20などから構成されるステレオ画像処理装置1の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD−ROM、DVD−ROM等)に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するステレオ画像処理装置1を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することでステレオ画像処理装置1を構成してもよい。
The central part that performs processing of the stereo
また、ステレオ画像処理装置1の機能を、OS(オペレーティングシステム)とアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
Further, when the functions of the stereo
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。 It is also possible to superimpose a computer program on a carrier wave and distribute it via a communication network. For example, the computer program may be posted on a bulletin board (BBS, Bulletin Board System) on a communication network, and the computer program distributed via the network. The computer program may be started and executed in the same manner as other application programs under the control of the OS, so that the above-described processing may be executed.
1 ステレオ画像処理装置
2 高さ計算部
10 画像データ入力部
11 ステレオマッチング部
12 基準視差設定部
13 探索範囲設定部
14 地図データ入力部
15 領域分割部
16 基準点設定部
17 基準点入力部
18 基準対応点入力部
21 制御部
22 主記憶部
23 外部記憶部
24 操作部
25 表示部
26 入出力部
30 制御プログラム
DESCRIPTION OF
Claims (13)
前記複数の画像に対応して基準の視差を設定する基準視差設定手段と、
前記基準視差設定手段で設定された基準の視差を与える画像の点を基準に、前記画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定手段と、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定手段で設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定手段で設定された探索範囲で前記他の画像の対応する点を探索する探索手段と、
を備えることを特徴とするステレオマッチング処理装置。 Image data acquisition means for acquiring image data of a plurality of images obtained by photographing a predetermined region from a plurality of different positions;
Reference parallax setting means for setting a reference parallax corresponding to the plurality of images;
Search range setting means for setting a predetermined range smaller than the range of the image as a search range for stereo matching with reference to the point of the image giving the reference parallax set by the reference parallax setting means;
A search range set by the search range setting unit with respect to an arbitrary point in one image of the plurality of images based on a point of another image that gives a reference parallax set by the reference parallax setting unit. Search means for searching for corresponding points in the other image;
A stereo matching processing device comprising:
前記探索範囲設定手段は、前記それぞれの領域で設定された前記基準の視差を与える画像の点を基準に、該画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する、
ことを特徴とする請求項1に記載のステレオマッチング処理装置。 The reference parallax setting means divides the plurality of images into two or more corresponding areas, and sets the reference parallax in each area;
The search range setting means sets a predetermined range smaller than the range of the image as a search range for stereo matching based on the point of the image that gives the reference parallax set in each of the regions.
The stereo matching processing device according to claim 1.
前記基準視差設定手段は、前記地図データ取得手段で取得した標高データに基づいて前記基準の視差を設定することを特徴とする請求項1または2に記載のステレオマッチング処理装置。 Comprising map data acquisition means for acquiring elevation data of a map corresponding to the plurality of images,
3. The stereo matching processing device according to claim 1, wherein the reference parallax setting unit sets the reference parallax based on elevation data acquired by the map data acquisition unit.
前記基準視差設定手段は、前記基準点入力手段で取得した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定することを特徴とする請求項4に記載のステレオマッチング処理装置。 Reference point input means for acquiring the position in the image of the point for which parallax is to be obtained among the plurality of images,
5. The reference parallax setting unit calculates a parallax by stereo matching for the point acquired by the reference point input unit, and sets the reference parallax based on the calculated parallax. The stereo matching processing device described.
前記基準視差設定手段は、前記対応点入力手段で入力した対応する点の組で与えられる視差に基づいて、前記基準の視差を設定する、
ことを特徴とする請求項1または2に記載のステレオマッチング処理装置。 Corresponding point input means for inputting a set of points corresponding to stereo matching from the plurality of images,
The reference parallax setting means sets the reference parallax based on a parallax given by a set of corresponding points input by the corresponding point input means;
The stereo matching processing device according to claim 1, wherein
前記複数の画像に対応して基準の視差を設定する基準視差設定ステップと、
前記基準視差設定ステップで設定された基準の視差を与える画像の点を基準に、前記画像データの範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定ステップと、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定ステップで設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定ステップで設定された探索範囲で前記他の画像の対応する点を探索する探索ステップと、
を備えることを特徴とするステレオマッチング処理方法。 An image data acquisition step of acquiring image data of a plurality of images obtained by photographing a predetermined region from a plurality of different positions;
A reference parallax setting step for setting a reference parallax corresponding to the plurality of images;
A search range setting step for setting a predetermined range smaller than the range of the image data as a search range for stereo matching based on the point of the image giving the reference parallax set in the reference parallax setting step;
With respect to an arbitrary point in one image of the plurality of images, the search range set in the search range setting step based on a point of another image that gives the reference parallax set in the reference parallax setting step. A search step for searching for a corresponding point in the other image;
A stereo matching processing method comprising:
前記探索範囲設定ステップは、前記それぞれの領域で設定された前記基準の視差を与える画像の点を基準に、該画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する、
ことを特徴とする請求項7に記載のステレオマッチング処理方法。 The reference parallax setting step divides a set of images to be subjected to the stereo matching process into two or more corresponding areas, sets the reference parallax in each area,
The search range setting step sets a predetermined range smaller than the range of the image as a search range for stereo matching based on the point of the image that gives the reference parallax set in the respective regions.
The stereo matching processing method according to claim 7.
前記基準視差設定ステップは、前記地図データ取得ステップで取得した標高データに基づいて前記基準の視差を設定することを特徴とする請求項7または8に記載のステレオマッチング処理方法。 A map data acquisition step of acquiring altitude data of a map corresponding to the plurality of images,
The stereo matching processing method according to claim 7 or 8, wherein the reference parallax setting step sets the reference parallax based on the altitude data acquired in the map data acquisition step.
前記基準視差設定ステップは、前記基準点入力ステップで取得した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定することを特徴とする請求項10に記載のステレオマッチング処理方法。 A reference point input step for obtaining a position in the image of the point for which parallax is obtained among the plurality of images,
11. The reference parallax setting step calculates parallax by stereo matching for the point acquired in the reference point input step, and sets the reference parallax based on the calculated parallax. The stereo matching processing method described.
前記基準視差設定ステップは、前記対応点入力ステップで入力した対応する点の組で与えられる視差に基づいて、前記基準の視差を設定する、
ことを特徴とする請求項7または8に記載のステレオマッチング処理方法。 A corresponding point input step of inputting a set of points corresponding to stereo matching from the plurality of images;
The reference parallax setting step sets the reference parallax based on the parallax given by the set of corresponding points input in the corresponding point input step;
The stereo matching processing method according to claim 7 or 8, wherein
複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する画像データ取得手段と、
前記複数の画像に対応して基準の視差を設定する基準視差設定手段と、
前記基準視差設定手段で設定された基準の視差を与える画像の点を基準に、前記画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定手段と、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定手段で設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定手段で設定された探索範囲で前記他の画像の対応する点を探索する探索手段
として機能させることを特徴とするプログラム。 Computer
Image data acquisition means for acquiring image data of a plurality of images obtained by photographing a predetermined region from a plurality of different positions;
Reference parallax setting means for setting a reference parallax corresponding to the plurality of images;
Search range setting means for setting a predetermined range smaller than the range of the image as a search range for stereo matching with reference to the point of the image giving the reference parallax set by the reference parallax setting means;
A search range set by the search range setting unit with respect to an arbitrary point in one image of the plurality of images based on a point of another image that gives a reference parallax set by the reference parallax setting unit. A program that functions as search means for searching for a corresponding point in the other image.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008300221A JP5229733B2 (en) | 2008-11-25 | 2008-11-25 | Stereo matching processing device, stereo matching processing method and program |
CN2009801472168A CN102239503B (en) | 2008-11-25 | 2009-11-25 | Stereo matching process device, stereo matching process method, and recording medium |
PCT/JP2009/069888 WO2010061861A1 (en) | 2008-11-25 | 2009-11-25 | Stereo matching process device, stereo matching process method, and recording medium |
KR1020117011815A KR101260132B1 (en) | 2008-11-25 | 2009-11-25 | Stereo matching process device, stereo matching process method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008300221A JP5229733B2 (en) | 2008-11-25 | 2008-11-25 | Stereo matching processing device, stereo matching processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010128622A true JP2010128622A (en) | 2010-06-10 |
JP5229733B2 JP5229733B2 (en) | 2013-07-03 |
Family
ID=42225734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008300221A Active JP5229733B2 (en) | 2008-11-25 | 2008-11-25 | Stereo matching processing device, stereo matching processing method and program |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP5229733B2 (en) |
KR (1) | KR101260132B1 (en) |
CN (1) | CN102239503B (en) |
WO (1) | WO2010061861A1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012185789A (en) * | 2011-02-18 | 2012-09-27 | Kokusai Kogyo Co Ltd | Method for estimating deposition amount, deposition amount estimation map, and deposition amount estimation program |
JP2013065247A (en) * | 2011-09-20 | 2013-04-11 | Nec System Technologies Ltd | Stereo matching processor, stereo matching processing method and program |
WO2014175217A1 (en) * | 2013-04-22 | 2014-10-30 | 株式会社パスコ | Mapping system, mapping method, and program |
US9374571B2 (en) | 2011-10-11 | 2016-06-21 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device, imaging device, and image processing method |
JP2022134114A (en) * | 2021-03-02 | 2022-09-14 | ネイバーラボス コーポレーション | Method and system for generating hd map based on aerial image captured by unmanned flight body or aircraft |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102650518B (en) * | 2011-02-25 | 2015-01-21 | 株式会社理光 | Measuring method and equipment |
WO2013100790A1 (en) | 2011-12-30 | 2013-07-04 | Intel Corporation | Coarse-to-fine multple disparity candidate stereo matching |
WO2015005163A1 (en) | 2013-07-12 | 2015-01-15 | 三菱電機株式会社 | High-resolution image generation device, high-resolution image generation method, and high-resolution image generation program |
KR101690645B1 (en) | 2015-09-21 | 2016-12-29 | 경북대학교 산학협력단 | Method for estimating of disparity search range applied multi-level disparity image partitioning and device for matching of stereo image using thereof |
CN108377376B (en) * | 2016-11-04 | 2021-01-26 | 宁波舜宇光电信息有限公司 | Parallax calculation method, double-camera module and electronic equipment |
KR102468897B1 (en) * | 2017-10-16 | 2022-11-21 | 삼성전자주식회사 | Method and apparatus of estimating depth value |
CN111311667B (en) * | 2020-02-14 | 2022-05-17 | 苏州浪潮智能科技有限公司 | Content self-adaptive binocular matching method and device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002063580A (en) * | 2000-08-22 | 2002-02-28 | Asia Air Survey Co Ltd | Inter-image expansion image matching method using indefinite shape window |
JP2006113832A (en) * | 2004-10-15 | 2006-04-27 | Canon Inc | Stereoscopic image processor and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4480212B2 (en) * | 1999-11-05 | 2010-06-16 | アジア航測株式会社 | Calculation method of aerial photo position and orientation |
CN1264062C (en) * | 2002-12-31 | 2006-07-12 | 清华大学 | Method of multi viewing angle x-ray stereo imaging and system |
KR100739730B1 (en) * | 2005-09-03 | 2007-07-13 | 삼성전자주식회사 | Apparatus and method for processing 3D dimensional picture |
JP4813263B2 (en) * | 2006-06-05 | 2011-11-09 | 株式会社トプコン | Image processing apparatus and processing method thereof |
-
2008
- 2008-11-25 JP JP2008300221A patent/JP5229733B2/en active Active
-
2009
- 2009-11-25 CN CN2009801472168A patent/CN102239503B/en not_active Expired - Fee Related
- 2009-11-25 WO PCT/JP2009/069888 patent/WO2010061861A1/en active Application Filing
- 2009-11-25 KR KR1020117011815A patent/KR101260132B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002063580A (en) * | 2000-08-22 | 2002-02-28 | Asia Air Survey Co Ltd | Inter-image expansion image matching method using indefinite shape window |
JP2006113832A (en) * | 2004-10-15 | 2006-04-27 | Canon Inc | Stereoscopic image processor and program |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012185789A (en) * | 2011-02-18 | 2012-09-27 | Kokusai Kogyo Co Ltd | Method for estimating deposition amount, deposition amount estimation map, and deposition amount estimation program |
JP2013065247A (en) * | 2011-09-20 | 2013-04-11 | Nec System Technologies Ltd | Stereo matching processor, stereo matching processing method and program |
US9374571B2 (en) | 2011-10-11 | 2016-06-21 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device, imaging device, and image processing method |
WO2014175217A1 (en) * | 2013-04-22 | 2014-10-30 | 株式会社パスコ | Mapping system, mapping method, and program |
JP2014216675A (en) * | 2013-04-22 | 2014-11-17 | 株式会社パスコ | Mapping system, mapping method, and program |
JP2022134114A (en) * | 2021-03-02 | 2022-09-14 | ネイバーラボス コーポレーション | Method and system for generating hd map based on aerial image captured by unmanned flight body or aircraft |
JP7375066B2 (en) | 2021-03-02 | 2023-11-07 | ネイバーラボス コーポレーション | Method and system for generating HD maps based on aerial images taken by unmanned aerial vehicles or aircraft |
Also Published As
Publication number | Publication date |
---|---|
CN102239503A (en) | 2011-11-09 |
WO2010061861A1 (en) | 2010-06-03 |
JP5229733B2 (en) | 2013-07-03 |
KR20110087303A (en) | 2011-08-02 |
CN102239503B (en) | 2013-11-13 |
KR101260132B1 (en) | 2013-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5229733B2 (en) | Stereo matching processing device, stereo matching processing method and program | |
US11783543B2 (en) | Method and system for displaying and navigating an optimal multi-dimensional building model | |
US10297074B2 (en) | Three-dimensional modeling from optical capture | |
US20190026400A1 (en) | Three-dimensional modeling from point cloud data migration | |
CN109710724B (en) | A kind of method and apparatus of building point cloud map | |
US8427505B2 (en) | Geospatial modeling system for images and related methods | |
US8831335B2 (en) | Stereo matching processing apparatus, stereo matching processing method and computer-readable recording medium | |
US10733777B2 (en) | Annotation generation for an image network | |
JP7003594B2 (en) | 3D point cloud display device, 3D point cloud display system, 3D point cloud display method, 3D point cloud display program, recording medium | |
Gomez-Jauregui et al. | Quantitative evaluation of overlaying discrepancies in mobile augmented reality applications for AEC/FM | |
KR101252680B1 (en) | Drawing system of an aerial photograph | |
JP7005458B2 (en) | Image processing device, image processing program, and driving support system | |
JP5311465B2 (en) | Stereo matching processing system, stereo matching processing method, and program | |
CN116883604A (en) | Three-dimensional modeling technical method based on space, air and ground images | |
US9852542B1 (en) | Methods and apparatus related to georeferenced pose of 3D models | |
US11557059B2 (en) | System and method for determining position of multi-dimensional object from satellite images | |
JP4592510B2 (en) | 3D map image generating apparatus and method | |
US20140009587A1 (en) | Mobile communication terminal having image conversion function and method | |
EP3664038A1 (en) | Geospatial surveying tool | |
KR20210094517A (en) | System and method for selecting complementary images from multiple images for 3D geometry extraction | |
KR101180756B1 (en) | Apparatus for Correcting of Aerial Photograph Image | |
KR100782152B1 (en) | Method for obtaining 3-dimensional building data from aerial photograph db | |
JP5126020B2 (en) | Image processing apparatus, image processing method, and program | |
CN108731644B (en) | Oblique photography mapping method and system based on vertical auxiliary line | |
JP2023095165A (en) | Surveying system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130312 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160329 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5229733 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |