CN1712891B - 立体图像的关联方法和三维数据作成装置 - Google Patents
立体图像的关联方法和三维数据作成装置 Download PDFInfo
- Publication number
- CN1712891B CN1712891B CN200510078664.0A CN200510078664A CN1712891B CN 1712891 B CN1712891 B CN 1712891B CN 200510078664 A CN200510078664 A CN 200510078664A CN 1712891 B CN1712891 B CN 1712891B
- Authority
- CN
- China
- Prior art keywords
- image
- place
- mentioned
- passing
- little
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 239000004744 fabric Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 11
- 230000004304 visual acuity Effects 0.000 claims description 6
- 230000008878 coupling Effects 0.000 description 15
- 238000010168 coupling process Methods 0.000 description 15
- 238000005859 coupling reaction Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 239000007787 solid Substances 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
一种立体图像的关联方法和三维数据作成装置，该关联方法是从第1地点和第2地点取得对象物体的图像，在第1地点的图像和第2地点的图像的关联中具备下述步骤：利用一个摄像装置从第1地点开始边对上述对象物体拍摄边移动直到第2地点；在上述第1地点的图像上设定多个通过点；对有时间上的前后顺序的前图像和后图像进行比较；根据前图像的通过点，在后图像中检索确定与前图像的通过点对应的通过点；针对上述第1地点的图像到上述第2地点的图像的各帧图像数据依次进行通过点的检索确定；确定该第2地点的图像的通过点；以及经由通过点将上述第1地点的图像与上述第2地点的图像关联起来。
Description
技术领域
本发明涉及当在摄影测量中使用立体图像进行三维测定的情况下将多幅图像进行关联的立体图像的关联方法，此外本发明涉及根据多幅图像作成三维数据的三维数据作成装置。
背景技术
立体图像是立体式捕捉对象物体的图像，根据对同一对象物体从不同拍摄方向拍摄所得的多幅图像构成；多幅图像需要根据各幅图像上的对应点进行关联，通过关联，能够求取图像中任意点的三维数据。
为了获得可求取三维数据的立体图像，需要进行图像之间的对应(立体匹配)。因此，提供给摄影测量的图像必须是可立体匹配图像、图像之间必须可立体匹配。
为了进行立体匹配，对于各幅图像来说，必须求得拍摄图像时的照相机位置、图像放大率、倾斜度(照相机光轴的水平角ω、照相机光轴的垂直角φ、以照相机光轴为中心的扭转角r)参数。当仅根据来自图像(数字图像)的信息处理这些参数时，在多幅图像上表示相同位置的点(称为标定点或通过点)需要6个点以上。
在作成立体图像时，通过添加各幅图像的拍摄时照相机位置数据、方位数据，能够将图像中任意点从图像上的坐标系变换为地面坐标系，即能够进行三维测定。
构成立体图像的多幅图像是对同一对象物体从不同拍摄方向拍摄所得的图像。为了取得三维数据，在改变拍摄方向时最好保持恒定的拍摄条件以便于立体匹配，但手工操作很难保持照相机高度或照相机光轴倾斜度的恒定，需要大规模的装置。
当由人工操作从第1地点O1离开第2地点O2距离为D进行拍摄时，通常拍摄放大率和拍摄姿势会各式各样，如图8所示拍摄对象物体1的图像2、3的图像放大率、倾斜度(照相机光轴的水平角ω、照相机光轴的垂直角φ、以照相机光轴为中心的扭转角r)就会各不相同。这种情况下，为了使图像2、3之间可进行立体匹配，必须针对各幅图像以手动来高精度地选出通过点。进一步，由于拍摄条件形形色色，图像2和图像3的通过点P的选出和对应是最费时的操作，并要求熟练。
发明内容
本发明的目的是简化多幅图像之间的通过点的对应，提高立体匹配的效率，进而实现立体匹配的自动化。
为达成上述目的，本发明的立体图像的关联方法是从第1地点和第2地点取得对象物体的图像，在第1地点的图像和第2地点的图像的关联中具备：利用一个摄像装置从第1地点开始边对上述对象物体拍摄边移动直到第2地点的步骤；在上述第1地点的图像上设定多个通过点的步骤；对有时间上的前后顺序的前图像和后图像进行比较的步骤；根据前图像的通过点，在后图像中检索确定与前图像的通过点对应的通过点的步骤；针对上述第1地点的图像到上述第2地点的图像的各帧图像数据依次进行通过点的检索确定的步骤；确定该第2地点的图像的通过点的步骤；经由通过点将上述第1地点的图像与上述第2地点的图像关联起来的步骤。另外，本发明的立体图像的关联方法具备：利用一个摄像装置边移动边对相对移动的多个对象物体进行拍摄的步骤；将捕捉了同一对象物体的图像中的一幅作为第1地点的图像的步骤；将通过移动而离开第1地点的地点的图像作为第2地点的图像的步骤；在上述第1地点的图像上设定多个通过点的步骤；对有时间上的前后顺序的前图像和后图像进行比较的步骤；根据前图像的通过点，在后图像中检索确定与前图像的通过点对应的通过点的步骤；针对上述第1地点的图像到上述第2地点的图像的各帧图像数据依次进行通过点的检索确定的步骤；确定该第2地点的图像的通过点的步骤；经由通过点将上述第1地点的图像与上述第2地点的图像关联起来的步骤。另外，本发明的立体图像的关联方法在移动中对上述对象物体进行连续拍摄。另外，本发明的立体图像的关联方法在移动中对上述对象物体以规定时间间隔进行拍摄。另外，本发明的立体图像的关联方法以高分辨率拍摄第1地点的图像和第2地点的图像，在从第1地点到第2地点的移动过程中以低分辨率进行拍摄。另外，本发明的立体图像的关联方法附加了基于时间上处于后面的图像的通过点检索与后面的图像的通过点对应的前面的图像的通过点的工序。
另外，本发明的三维数据作成装置具备：可从第1地点开始直到第2地点边移动边拍摄对象物体的一个摄像装置、检测该摄像装置的位置坐标的GPS装置、检测上述摄像装置的拍摄方向的方位传感器、以及对上述摄像装置所捕捉的图像进行处理的控制运算部；该控制运算部在上述第1地点的图像上设定多个通过点，对有时间上的前后顺序的前图像和后图像进行比较，根据前图像的通过点，在后图像中检索确定与前图像的通过点对应的通过点，针对上述第1地点的图像到上述第2地点的图像的各帧图像数据依次进行通过点的检索确定，经由通过点将上述第1地点的图像与上述第2地点的图像关联起来，根据上述GPS装置所检测出的摄像装置的坐标位置数据和上述方位传感器所检测出的摄像装置的拍摄方向数据，对上述对象物体的三维数据进行运算。另外，本发明的三维数据作成装置具备：边移动边对相对移动的多个对象物体进行拍摄的一个摄像装置、检测该摄像装置的位置坐标的GPS装置、检测上述摄像装置的拍摄方向的方位传感器、以及对上述摄像装置所拍摄的图像进行处理的控制运算部；该控制运算部将捕捉了同一对象物体的图像中的一幅作为第1地点的图像，将通过移动而离开第1地点的地点的图像作为第2地点的图像，在上述第1地点的图像上设定多个通过点，对有时间上的前后顺序的2幅图像进行比较，根据前图像的通过点，在后图像中检索确定与前图像的通过点对应的通过点，针对上述第1地点的图像到上述第2地点的图像的各帧图像数据依次进行通过点的检索确定，确定该第2地点的图像的通过点，经由通过点将上述第1地点的图像与上述第2地点的图像关联起来，根据上述GPS装置所检测出的摄像装置的坐标位置数据和上述方位传感器所检测出的摄像装置的拍摄方向数据，对上述对象物体的三维数据进行运算。另外，本发明的三维数据作成装置的上述控制运算部将由第1地点的图像的边缘处理所得的交叉点设定为通过点。另外，本发明的三维数据作成装置的上述摄像装置能够进行全周拍摄。另外，本发明的三维数据作成装置的上述摄像装置在第1地点和第2地点以高分辨率进行拍摄，在移动过程中以低分辨率进行拍摄。
根据本发明，从第1地点和第2地点取得对象物体的图像，在第1地点的图像和第2地点的图像的关联中具备：利用一个摄像装置从第1地点开始边对上述对象物体拍摄边移动直到第2地点的步骤；在上述第1地点的图像上设定多个通过点的步骤；对有时间上的前后顺序的前图像和后图像进行比较的步骤；根据前图像的通过点，在后图像中检索确定与前图像的通过点对应的通过点的步骤；针对上述第1地点的图像到上述第2地点的图像的各帧图像数据依次进行通过点的检索确定的步骤；确定该第2地点的图像的通过点的步骤；经由通过点将上述第1地点的图像与上述第2地点的图像关联起来的步骤；因此，能够通过比较第1地点的图像与直到第2地点的图像来进行通过点的跟踪，可实现立体匹配的自动处理。
另外，根据本发明，具备：利用一个摄像装置边移动边对相对移动的多个对象物体进行拍摄的步骤；将捕捉了同一对象物体的图像中的一幅作为第1地点的图像的步骤；将通过移动而离开第1地点的地点的图像作为第2地点的图像的步骤；在上述第1地点的图像上设定多个通过点的步骤；对有时间上的前后顺序的前图像和后图像进行比较的步骤；根据前图像的通过点，在后图像中检索确定与前图像的通过点对应的通过点的步骤；针对上述第1地点的图像到上述第2地点的图像的各帧图像数据依次进行通过点的检索确定的步骤；确定该第2地点的图像的通过点的步骤；经由通过点将上述第1地点的图像与上述第2地点的图像关联起来的步骤；因此，能够通过比较第1地点的图像与直到第2地点的图像来进行通过点的跟踪，可实现立体匹配的自动处理。
另外，本发明以高分辨率拍摄第1地点的图像和第2地点的图像，在从第1地点到第2地点的移动过程中以低分辨率进行拍摄，因此，通过点的跟踪过程中的图像处理变得简单，能够实现处理的高速化。
另外，本发明附加了基于时间上处于后面的图像的通过点检索与后面的图像的通过点对应的前面的图像的通过点的工序，因此，提高了通过点的确定精度。
另外，本发明具备可从第1地点开始直到第2地点边移动边拍摄对象物体的一个摄像装置、检测该摄像装置的位置坐标的GPS装置、检测上述摄像装置的拍摄方向的方位传感器、以及对上述摄像装置所捕捉的图像进行处理的控制运算部；该控制运算部在上述第1地点的图像上设定多个通过点，对有时间上的前后顺序的前图像和后图像进行比较，根据前图像的通过点，在后图像中检索确定与前图像的通过点对应的通过点，针对上述第1地点的图像到上述第2地点的图像的各帧图像数据依次进行通过点的检索确定，经由通过点将上述第1地点的图像与上述第2地点的图像关联起来，根据上述GPS装置所检测出的摄像装置的坐标位置数据和上述方位传感器所检测出的摄像装置的拍摄方向数据，对上述对象物体的三维数据进行运算，因此，能够通过比较第1地点的图像与直到第2地点的图像来进行通过点的跟踪，可实现立体匹配的自动处理，同时，能够将立体匹配后的图像的构成点变换为地面坐标系，可取得图像中任意对象物体的三维数据。
另外，本发明具备边移动边对相对移动的多个对象物体进行拍摄的一个摄像装置、检测该摄像装置的位置坐标的GPS装置、检测上述摄像装置的拍摄方向的方位传感器、以及对上述摄像装置所捕捉的图像进行处理的控制运算部；该运算控制部将捕捉了同一对象物体的图像中的一幅作为第1地点的图像，将通过移动而离开第1地点的地点的图像作为第2地点的图像，在上述第1地点的图像上设定多个通过点，对有时间上的前后顺序的2幅图像进行比较，根据前图像的通过点，在后图像中检索确定与前图像的通过点对应的通过点，针对上述第1地点的图像到上述第2地点的图像的各帧图像数据依次进行通过点的检索确定，确定该第2地点的图像的通过点，经由通过点将上述第1地点的图像与上述第2地点的图像关联起来，根据上述GPS装置所检测出的摄像装置的坐标位置数据和上述方位传感器所检测出的摄像装置的拍摄方向数据，对上述对象物体的三维数据进行运算，因此，能够通过比较第1地点的图像与直到第2地点的图像来进行通过点的跟踪，可实现立体匹配的自动处理，同时，能够将立体匹配后的图像的构成点变换为地面坐标系，可取得图像中任意对象物体的三维数据。
附图说明
图1是表示本发明的实施例的概略图。
图2是表示本发明的实施例的概略框图。
图3是表示图像数据的取得状态的说明图。
图4A、4B是表示第1图像和第2图像的立体匹配的状态的说明图。
图5是表示本发明的实施例的作用的流程图。
图6是表示本发明的另一实施例的概略图。
图7是表示本发明的另一实施例中的图像修正部的概略图。
图8是表示在2个地点拍摄对象物体时的2幅图像的状态的说明图。
具体实施方式
下面，参照附图说明本发明的实施方式。
在图1、图2中说明本发明的三维数据作成装置4。
图1中，5是数字相机、数字摄像机等可将拍摄图像以数字图像信号输出的摄像装置，该摄像装置5具备由CCD、CMOS传感器等多个象素(pixel)的集合体构成的摄像元件6，该摄像元件6能够确定各个象素的地址(在摄像元件上的位置)。
上述摄像装置5所拍摄的对象物体1的图像利用上述摄像元件6通过控制运算部7作为数字图像信号保存到存储部8。该存储部8包括：上述摄像装置5内置的半导体存储器，或者是摄像装置5中可拆装的存储介质，例如存储卡，对于上述摄像装置5可拆装的外部存储装置，例如FDD、MOD、CDD、DVD、HDD等。
上述摄像装置5中设置了：用来测定该摄像装置5的位置的GPS装置9、用来检测拍摄方向的方位传感器11、显示部12和上述控制运算部7。
上述存储部8中保存了：用来执行图像处理例如利用拉普拉斯算子法、Sobel算子法等提取(特别是角落部或交叉点(通过点)的提取)图像边缘的处理的图像处理程序；用来执行如后述的检索规定区域以确定通过点的处理等的图像处理程序；以及根据上述GPS装置9所得的位置数据和上述方位传感器11所得的方向数据来计算图像中的任意点在地面坐标系中的三维数据的运算程序等各种程序。另外，上述存储部8具备：图像数据保存区域，用来按时间顺序以1帧数据为单位或以所需时间为单位的1帧数据为单位保存来自上述摄像元件6的图像数据；测量数据保存区域，用来进一步保存上述GPS装置9的位置数据、上述方位传感器11的方位数据和计算出来的三维数据。
上述显示部12中显示拍摄图像或测量数据等。
下面参照图3至图5说明其作用。
如图3所示，利用所述摄像装置5一边从第1位置：O1(x1，y1)的位置移动到第2位置：O2(x2，y2)的位置，一边对例如对象物体1进行连续拍摄(STEP：01)。另外，以规定的时间间隔取得图像，关于拍摄图像的取得间隔，例如在1秒期间取得24帧的图像数据，或者在1秒期间取得10帧的图像数据。在1秒期间取得几帧图像数据，需要根据图像放大率、摄像装置5的移动速度适当选择。
各帧图像数据被保存到上述存储部8，另外，至少针对第1位置的图像数据、第2位置的图像数据要将上述GPS装置9所测定的位置数据、上述方位传感器11所测定的方位数据关联到图像数据存储起来。
上述第1图像数据取得后，利用上述图像处理程序提取所需数量的角落部或交叉点作为特征点(图4A中以白圈所示的点)。所提取的特征点设定为通过点(SETP：02)。以角落部作为建筑物等的特征点，特征点就成了分布于画面全体的多数个点，因此，能够提高后述的相互标定的精度。
所设定的通过点在摄像元件6上的位置作为检索中心位置存储起来，对于时间上的下一次所取得的下一图像数据，在以上述检索中心位置为中心所设定的检索范围内检索上述下一图像数据中的通过点。如上所述，由于在移动过程中连续拍摄，上一图像数据和下一图像数据的偏差很小，通过点存在于下一图像数据的检索范围内，能够立即确定下一图像数据中的通过点。在上述检索范围内的检索使用SSDA(Sequential Similarity Detection Algorithm：时序相似性检测算法)法或面积相关法等(STEP：04)。
此外，以在下一图像数据中确定的通过点为检索中心位置，通过反向检索(反向匹配)来检查前图像数据的通过点。通过反向检索所得的通过点与已经获得的通过点不一致时，将该通过点删除。通过实施反向检索，能够避免影子(闭塞物)或障碍物的影响。另外，求得3个以上图像数据的通过点后，通过利用多幅图像的集束调整计算，重复执行坐标检查，删除精度差的通过点。通过删除精度差的通过点，提高了通过点的整体确定精度。
对前图像数据和下一图像数据进行比较，将上述通过点按照时间顺序依次检索(通过点的跟踪)备帧图像数据，最后检索、确定第2位置的图像数据中的通过点。这样，在第1图像数据中确定的通过点能够在第2图像数据中确定(图4B)(STEP：05)。
根据第1图像数据的通过点和第2图像数据的通过点进行相互标定，计算出图像的倾斜度、放大率(STEP：06)。
根据计算出来的倾斜度、放大率，对第1图像数据和第2图像数据进行偏离修正，作成立体图像，执行2幅图像数据的对应(立体匹配)(STEP：07)。
通过执行2幅图像数据的对应，可以取得以单幅图像的光轴为基准的图像坐标系的三维数据(STEP：08)。
接着，将上述GPS装置9所得的位置数据、上述方位传感器11所得的方位数据追加到图像坐标系中，由此将图像坐标系的三维数据变换成地面坐标系的数据(STEP：09)。
通过指出图像中的任意点，能够立即获得地面坐标系的三维数据(STEP：10)。
在以立体图像为基础的三维数据计测中，可以获得构成测定对象物体的图像的各个点(即，摄像元件的各象素)的位置关系。形成了以第1图像、第2图像之一的光轴为基准的坐标系(图像坐标系)。基于该图像坐标系，有可能在二维显示器等上面进行三维显示。由于能够容易地改变坐标系，就有可能将图像坐标系变换成例如测量中使用的地面坐标系。
通过GPS装置9和方位传感器11求取立体拍摄的场所和拍摄方向，基于这些数据，将图像坐标系变换成地面坐标系。当测定对象物体是建筑物时，其位置可求取。另外，当图像上存在基准点时，通过添加实际坐标已知的基准点信息，能够提高从图像所得的三维数据的精度。
此外，也可以基于图像坐标系的三维数据(STEP：08)作成TIN(不规则三角网)，进行结构测绘等处理，取得基于TIN的三维数据(STEP：11～STEP：13)。
此外，在上述通过点跟踪中，最初的图像(第1图像)和最后的图像(第2图像)设为高分辨率，跟踪过程中的图像由于只需确定通过点，因此设为低分辨率；这样一来，图像处理速度提高，通过点跟踪速度也提高了。
另外，通过同时进行集束调整和立体匹配，能够准确地检测出通过点。
此外，也可以是，上述控制运算部7使用PC等其它装置，将存储卡、外部存储装置用作上述存储部8，将上述摄像装置5所拍摄的图像数据积蓄到上述存储部8，以后利用上述控制运算部7进行运算。
在图6、图7中，说明另一实施例、应用实例。
在该另一实施方式中，三维数据作成装置14搭载到汽车15等可移动的移动装置中，三维数据作成装置14与对象物体进行相对移动。上述三维数据作成装置14的设置位置最好选择房顶等四周全部可见的位置。
该三维数据作成装置14具备中心线与摄像装置5的光轴一致的圆锥镜16，通过该圆锥镜16进行拍摄。由于是通过该圆锥镜16进行拍摄，上述摄像装置15能够拍摄周围的全部图像。图像数据被发送到控制运算部7。该控制运算部7具有失真修正程序，对发送的图像失真进行修正，将其作为无失真的全周图像保存到存储部8(参照图2)。
即使在取得了全周图像的情况下，用来将第1图像、第2图像关联起来的第1图像中的通过点的设定以及从第1图像至第2图像的通过点的跟踪等处理也与上述实施方式相同。此外，全周图像中，多个对象物体被拍摄，通过点的设定是从全周图像中选择适当的对象物体来设定的。
上述三维数据作成装置14使用例如市场上销售的拍摄全周影像的影像装置，该影像装置具备例如CCD摄像头作为摄像装置5。该摄像装置5(CCD摄像头)位于圆锥形的圆锥镜16的下方，取得经该圆锥镜16反射的周围的影像。取得影像的位置通过上述圆锥镜16的上方或以已知间隔放置的GPS装置9来求取。另外，移动方向可由通过该GPS装置9所求得的2地点的位置坐标求得。
所拍摄的影像数据和拍摄地点数据转移到例如个人电脑，执行三维数据作成处理。
通过确定出测定对象物体、第1拍摄地点和第2拍摄地点，以与上述实施方式同一的过程作出三维数据。基于所作出的图像坐标数据，通过添加利用GPS装置9所得的摄像装置的坐标和方向，变换成地面坐标系。
Claims (11)
1.一种立体图像的关联方法，该关联方法是从第1地点和第2地点取得对象物体的图像，在第1地点的图像和第2地点的图像的关联中具备下述步骤：利用一个摄像装置从第1地点开始边对上述对象物体拍摄边移动直到第2地点；在上述第1地点的图像上设定多个通过点；对有时间上的前后顺序的前图像和后图像进行比较；根据前图像的通过点，在后图像中检索确定与前图像的通过点对应的通过点；针对上述第1地点的图像到上述第2地点的图像的各帧图像数据依次进行通过点的检索确定；确定该第2地点的图像的通过点；以及经由通过点将上述第1地点的图像与上述第2地点的图像关联起来。
2.一种立体图像的关联方法，其具备下述步骤：利用一个摄像装置边移动边对相对移动的多个对象物体进行拍摄；将捕捉了同一对象物体的图像中的一幅作为第1地点的图像；将通过移动而离开第1地点的地点的图像作为第2地点的图像；在上述第1地点的图像上设定多个通过点；对有时间上的前后顺序的前图像和后图像进行比较；根据前图像的通过点，在后图像中检索确定与前图像的通过点对应的通过点；针对上述第1地点的图像到上述第2地点的图像的各帧图像数据依次进行通过点的检索确定；确定该第2地点的图像的通过点；以及经由通过点将上述第1地点的图像与上述第2地点的图像关联起来。
3.如权利要求1或权利要求2所述的立体图像的关联方法，其在移动中对上述对象物体进行连续拍摄。
4.如权利要求1或权利要求2所述的立体图像的关联方法，其在移动中对上述对象物体以规定时间间隔进行拍摄。
5.如权利要求1或权利要求2所述的立体图像的关联方法，其以高分辨率拍摄第1地点的图像和第2地点的图像，在从第1地点到第2地点的移动过程中以低分辨率进行拍摄。
6.如权利要求1或权利要求2所述的立体图像的关联方法，其附加了下述工序，即基于时间上处于后面的图像的通过点来检索与后面的图像的通过点对应的前面的图像的通过点。
7.一种三维数据作成装置，其具备：能从第1地点开始直到第2地点边移动边拍摄对象物体的一个摄像装置、检测该摄像装置的位置坐标的GPS装置、检测上述摄像装置的拍摄方向的方位传感器、以及对上述摄像装置所捕捉的图像进行处理的控制运算部；该控制运算部在上述第1地点的图像上设定多个通过点，对有时间上的前后顺序的前图像和后图像进行比较，根据前图像的通过点，在后图像中检索确定与前图像的通过点对应的通过点，针对上述第1地点的图像到第2地点的图像的各帧图像数据依次进行通过点的检索确定，经由通过点将上述第1地点的图像与上述第2地点的图像关联起来，根据上述GPS装置所检测出的摄像装置的坐标位置数据和上述方位传感器所检测出的摄像装置的拍摄方向数据，对上述对象物体的三维数据进行运算。
8.一种三维数据作成装置，其具备：能边移动边对相对移动的多个对象物体进行拍摄的一个摄像装置、检测该摄像装置的位置坐标的GPS装置、检测上述摄像装置的拍摄方向的方位传感器、以及对上述摄像装置所捕捉的图像进行处理的控制运算部；该控制运算部将捕捉了同一对象物体的图像中的一幅作为第1地点的图像，将通过移动而离开第1地点的地点的图像作为第2地点的图像，在上述第1地点的图像上设定多个通过点，对有时间上的前后顺序的2幅图像进行比较，根据前图像的通过点，在后图像中检索确定与前图像的通过点对应的通过点，针对上述第1地点的图像到上述第2地点的图像的各帧图像数据依次进行通过点的检索确定，确定该第2地点的图像的通过点，经由通过点将上述第1地点的图像与上述第2地点的图像关联起来，根据上述GPS装置所检测出的摄像装置的坐标位置数据和上述方位传感器所检测出的摄像装置的拍摄方向数据，对上述对象物体的三维数据进行运算。
9.如权利要求7或权利要求8所述的三维数据作成装置，上述控制运算部将由第1地点的图像的边缘处理所得的交叉点设定为通过点。
10.如权利要求7或权利要求8所述的三维数据作成装置，上述摄像装置能进行全周拍摄。
11.如权利要求7或权利要求8所述的三维数据作成装置，上述摄像装置在第1地点和第2地点以高分辨率进行拍摄，在移动过程中以低分辨率进行拍摄。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004184692A JP4488804B2 (ja) | 2004-06-23 | 2004-06-23 | ステレオ画像の関連付け方法及び３次元データ作成装置 |
| JP184692/04 | 2004-06-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1712891A CN1712891A (zh) | 2005-12-28 |
| CN1712891B true CN1712891B (zh) | 2011-02-16 |
Family
ID=34981257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200510078664.0A Expired - Fee Related CN1712891B (zh) | 2004-06-23 | 2005-06-23 | 立体图像的关联方法和三维数据作成装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7804996B2 (zh) |
| EP (1) | EP1610090A3 (zh) |
| JP (1) | JP4488804B2 (zh) |
| CN (1) | CN1712891B (zh) |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4944462B2 (ja) * | 2006-03-14 | 2012-05-30 | 株式会社トプコン | 地理データ収集装置 |
| US7933001B2 (en) | 2005-07-11 | 2011-04-26 | Kabushiki Kaisha Topcon | Geographic data collecting system |
| TW200806027A (en) * | 2005-11-11 | 2008-01-16 | Sony Corp | Imaging/reproducing device |
| JP4813263B2 (ja) * | 2006-06-05 | 2011-11-09 | 株式会社トプコン | 画像処理装置及びその処理方法 |
| JP4809134B2 (ja) * | 2006-06-05 | 2011-11-09 | 株式会社トプコン | 画像処理装置及びその処理方法 |
| JP4800163B2 (ja) * | 2006-09-29 | 2011-10-26 | 株式会社トプコン | 位置測定装置及びその方法 |
| JP5150307B2 (ja) | 2008-03-03 | 2013-02-20 | 株式会社トプコン | 地理データ収集装置 |
| JP5150310B2 (ja) | 2008-03-04 | 2013-02-20 | 株式会社トプコン | 地理データ収集装置 |
| JP5278881B2 (ja) * | 2008-04-30 | 2013-09-04 | 公立大学法人大阪府立大学 | ３次元物体認識用画像データベースの作成方法、処理装置および処理用プログラム |
| JP5337658B2 (ja) | 2009-10-02 | 2013-11-06 | 株式会社トプコン | 広角撮像装置及び測定システム |
| JP2011080845A (ja) * | 2009-10-06 | 2011-04-21 | Topcon Corp | ３次元データ作成方法及び３次元データ作成装置 |
| US9879992B2 (en) * | 2009-12-29 | 2018-01-30 | Trimble Inc. | Virtual perspective center aligned with measurement center |
| CN101995244B (zh) * | 2010-08-30 | 2013-06-26 | 中国测绘科学研究院 | 一种地物坐标的获取方法 |
| JP5698480B2 (ja) | 2010-09-02 | 2015-04-08 | 株式会社トプコン | 測定方法及び測定装置 |
| JP5690539B2 (ja) | 2010-09-28 | 2015-03-25 | 株式会社トプコン | 自動離着陸システム |
| JP5618840B2 (ja) | 2011-01-04 | 2014-11-05 | 株式会社トプコン | 飛行体の飛行制御システム |
| JP5775354B2 (ja) | 2011-04-28 | 2015-09-09 | 株式会社トプコン | 離着陸ターゲット装置及び自動離着陸システム |
| JP5882693B2 (ja) | 2011-11-24 | 2016-03-09 | 株式会社トプコン | 航空写真撮像方法及び航空写真撮像装置 |
| EP2527787B1 (en) | 2011-05-23 | 2019-09-11 | Kabushiki Kaisha TOPCON | Aerial photograph image pickup method and aerial photograph image pickup apparatus |
| JP5787695B2 (ja) | 2011-09-28 | 2015-09-30 | 株式会社トプコン | 画像取得装置 |
| US9541495B2 (en) | 2011-09-28 | 2017-01-10 | Kabushiki Kaisha Topcon | Image pickup device |
| JP5937799B2 (ja) | 2011-09-28 | 2016-06-22 | 株式会社トプコン | スペクトル画像取得装置 |
| US9035745B2 (en) | 2012-02-01 | 2015-05-19 | International Business Machines Corporation | Biometric authentication |
| US9501700B2 (en) | 2012-02-15 | 2016-11-22 | Xactware Solutions, Inc. | System and method for construction estimation using aerial images |
| JP6041535B2 (ja) | 2012-05-29 | 2016-12-07 | 株式会社トプコン | 画像取得方法及び撮影装置 |
| JP6122591B2 (ja) * | 2012-08-24 | 2017-04-26 | 株式会社トプコン | 写真測量用カメラ及び航空写真装置 |
| JP6055274B2 (ja) | 2012-10-31 | 2016-12-27 | 株式会社トプコン | 航空写真測定方法及び航空写真測定システム |
| JP6367522B2 (ja) | 2013-02-28 | 2018-08-01 | 株式会社トプコン | 航空写真システム |
| JP6181388B2 (ja) | 2013-03-08 | 2017-08-16 | 株式会社トプコン | 計測装置 |
| EP2787319A1 (de) * | 2013-04-05 | 2014-10-08 | Leica Geosystems AG | Steuerung einer Bildauslösung zur Luftbilderfassung in Nadir-Ausrichtung für ein unbemanntes Fluggerät |
| US20150338447A1 (en) | 2014-05-20 | 2015-11-26 | Allied Telesis Holdings Kabushiki Kaisha | Sensor based detection system |
| US10084871B2 (en) * | 2013-05-23 | 2018-09-25 | Allied Telesis Holdings Kabushiki Kaisha | Graphical user interface and video frames for a sensor based detection system |
| JP5882951B2 (ja) | 2013-06-14 | 2016-03-09 | 株式会社トプコン | 飛行体誘導システム及び飛行体誘導方法 |
| WO2015017855A1 (en) | 2013-08-02 | 2015-02-05 | Xactware Solutions, Inc. | System and method for detecting features in aerial images using disparity mapping and segmentation techniques |
| JP6316568B2 (ja) | 2013-10-31 | 2018-04-25 | 株式会社トプコン | 測量システム |
| JP6326237B2 (ja) | 2014-01-31 | 2018-05-16 | 株式会社トプコン | 測定システム |
| JP6490401B2 (ja) | 2014-11-12 | 2019-03-27 | 株式会社トプコン | 傾斜検出システム及び傾斜検出方法 |
| JP6188750B2 (ja) * | 2015-07-28 | 2017-08-30 | 株式会社トプコン | 画像取得装置 |
| JP2018084528A (ja) | 2016-11-25 | 2018-05-31 | 株式会社トプコン | 航空写真測量装置及び航空写真測量方法 |
| CN107560603B (zh) * | 2017-08-29 | 2020-06-09 | 南宁慧视科技有限责任公司 | 一种无人机倾斜摄影测量系统及测量方法 |
| US11094113B2 (en) | 2019-12-04 | 2021-08-17 | Geomni, Inc. | Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4858157A (en) * | 1985-03-13 | 1989-08-15 | Tokyo Kogaku Kikai Kabushiki Kaisha | Apparatus and method for determining the coordinates of a three-dimensional object |
| US6618498B1 (en) * | 1999-07-07 | 2003-09-09 | Pentax Corporation | Image processing computer system for photogrammetric analytical measurement |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4654872A (en) * | 1983-07-25 | 1987-03-31 | Omron Tateisi Electronics Co. | System for recognizing three-dimensional objects |
| JP3037383B2 (ja) * | 1990-09-03 | 2000-04-24 | キヤノン株式会社 | 画像処理システム及びその方法 |
| US5262856A (en) * | 1992-06-04 | 1993-11-16 | Massachusetts Institute Of Technology | Video image compositing techniques |
| EP0633546B1 (en) * | 1993-07-02 | 2003-08-27 | Siemens Corporate Research, Inc. | Background recovery in monocular vision |
| JP3522317B2 (ja) * | 1993-12-27 | 2004-04-26 | 富士重工業株式会社 | 車輌用走行案内装置 |
| JP3481430B2 (ja) * | 1997-09-11 | 2003-12-22 | 富士通株式会社 | 移動体追跡装置 |
| JP4172554B2 (ja) * | 1998-03-12 | 2008-10-29 | 富士重工業株式会社 | ステレオカメラの調整装置 |
| JP2001183133A (ja) * | 1999-12-22 | 2001-07-06 | Sony Corp | ３次元形状計測装置および方法、並びに記録媒体 |
| JP2001290820A (ja) * | 2000-01-31 | 2001-10-19 | Mitsubishi Electric Corp | 映像収集装置、映像検索装置および映像収集検索システム |
| EP1139062B1 (en) | 2000-03-30 | 2006-11-22 | Kabushiki Kaisha Topcon | Stereo image measuring device |
| JP4444440B2 (ja) * | 2000-03-30 | 2010-03-31 | 株式会社トプコン | ステレオ画像の測定装置 |
| US6489922B1 (en) * | 2000-04-22 | 2002-12-03 | American Gnc Corporation | Passive/ranging/tracking processing method for collision avoidance guidance and control |
| JP4672175B2 (ja) | 2000-05-26 | 2011-04-20 | 本田技研工業株式会社 | 位置検出装置、位置検出方法、及び位置検出プログラム |
| JP4861574B2 (ja) * | 2001-03-28 | 2012-01-25 | パナソニック株式会社 | 運転支援装置 |
| AUPR419901A0 (en) | 2001-04-04 | 2001-05-03 | Commonwealth Scientific And Industrial Research Organisation | Automated corridor mapping |
| TW503650B (en) * | 2001-04-13 | 2002-09-21 | Huper Lab Co Ltd | Method using image screen to detect movement of object |
| JP3759429B2 (ja) * | 2001-05-23 | 2006-03-22 | 株式会社東芝 | 障害物検出装置及びその方法 |
| JP4596224B2 (ja) * | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2003256806A (ja) * | 2002-03-01 | 2003-09-12 | Nippon Telegr & Teleph Corp <Ntt> | 全方位画像型特徴点探索処理方法，装置，そのプログラムおよびそのプログラムの記録媒体 |
| AU2003280516A1 (en) | 2002-07-01 | 2004-01-19 | The Regents Of The University Of California | Digital processing of video images |
| JP4147059B2 (ja) | 2002-07-03 | 2008-09-10 | 株式会社トプコン | キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置 |
| JP2004046574A (ja) * | 2002-07-12 | 2004-02-12 | Nippon Telegr & Teleph Corp <Ntt> | 全周囲空間情報獲得方法、全周囲空間情報獲得装置、全周囲空間情報獲得プログラム及びそのプログラムを記録した記録媒体 |
| US7400344B2 (en) * | 2002-12-19 | 2008-07-15 | Hitachi Kokusai Electric Inc. | Object tracking method and object tracking apparatus |
| US6690451B1 (en) * | 2003-02-06 | 2004-02-10 | Gerald S. Schubert | Locating object using stereo vision |
| IL155034A0 (en) | 2003-03-23 | 2004-06-20 | M A M D Digital Data Proc Syst | Automatic aerial digital photography and digital data processing systems |
| US7050909B2 (en) * | 2004-01-29 | 2006-05-23 | Northrop Grumman Corporation | Automatic taxi manager |
| JP2005332177A (ja) * | 2004-05-19 | 2005-12-02 | Etsuji Kitagawa | ３次元情報処理装置、３次元情報処理方法、及び３次元情報処理プログラム |
-
2004
- 2004-06-23 JP JP2004184692A patent/JP4488804B2/ja not_active Expired - Fee Related
-
2005
- 2005-04-26 US US11/114,728 patent/US7804996B2/en active Active
- 2005-05-27 EP EP05011531A patent/EP1610090A3/en not_active Withdrawn
- 2005-06-23 CN CN200510078664.0A patent/CN1712891B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4858157A (en) * | 1985-03-13 | 1989-08-15 | Tokyo Kogaku Kikai Kabushiki Kaisha | Apparatus and method for determining the coordinates of a three-dimensional object |
| US6618498B1 (en) * | 1999-07-07 | 2003-09-09 | Pentax Corporation | Image processing computer system for photogrammetric analytical measurement |
Non-Patent Citations (2)
| Title |
|---|
| JP特开平10-246629A 1998.09.14 |
| JP特开平7-190763A 1995.07.28 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4488804B2 (ja) | 2010-06-23 |
| EP1610090A2 (en) | 2005-12-28 |
| EP1610090A3 (en) | 2009-12-30 |
| US7804996B2 (en) | 2010-09-28 |
| JP2006010376A (ja) | 2006-01-12 |
| CN1712891A (zh) | 2005-12-28 |
| US20050286760A1 (en) | 2005-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1712891B (zh) | 立体图像的关联方法和三维数据作成装置 | |
| US9965870B2 (en) | Camera calibration method using a calibration target | |
| DE102013202393B4 (de) | Bestimmen von Neigungswinkel und Neigungsrichtung unter Verwendung von Bildverarbeitung | |
| US9710919B2 (en) | Image-based surface tracking | |
| JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| US20150181198A1 (en) | Automatic Scene Calibration | |
| Rumpler et al. | Evaluations on multi-scale camera networks for precise and geo-accurate reconstructions from aerial and terrestrial images with user guidance | |
| WO2021129305A1 (zh) | 光学动捕系统中标定杆检测方法、装置、设备和存储介质 | |
| KR101342393B1 (ko) | 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 | |
| KR101759798B1 (ko) | 실내 2d 평면도의 생성 방법, 장치 및 시스템 | |
| CN105741379A (zh) | 一种变电站全景巡检方法 | |
| CN111288891B (zh) | 非接触式三维测量定位系统、方法及存储介质 | |
| CN115035162A (zh) | 基于视觉slam的监控视频人员定位跟踪方法及系统 | |
| CN111563470B (zh) | 一种基于图像拼接的预载监测系统 | |
| CN105791663A (zh) | 距离估算系统及距离估算方法 | |
| JP4649192B2 (ja) | ステレオ画像作成方法及び３次元データ作成装置 | |
| Muffert et al. | The estimation of spatial positions by using an omnidirectional camera system | |
| Schneider et al. | Combined bundle adjustment of panoramic and central perspective images | |
| CN109945840B (zh) | 三维影像摄取方法及系统 | |
| Lari et al. | Multi-camera system calibration with built-in relative orientation constraints (part 2) automation, implementation, and experimental results | |
| Hrabar et al. | PTZ camera pose estimation by tracking a 3D target | |
| JP2806187B2 (ja) | 絶対方位標定装置 | |
| US11282280B2 (en) | Method and system for node vectorisation | |
| JP2023139821A (ja) | 画像管理システムおよび画像管理方法 | |
| Inocencio et al. | Methodological Proposal for Structure-From-Motion Three-Dimensional Reconstruction of Rocks for Geological Samples Database |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110216 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |