CN102224523A - 立体匹配处理系统、立体匹配处理方法和记录媒介 - Google Patents

立体匹配处理系统、立体匹配处理方法和记录媒介 Download PDF

Info

Publication number
CN102224523A
CN102224523A CN200980146982.2A CN200980146982A CN102224523A CN 102224523 A CN102224523 A CN 102224523A CN 200980146982 A CN200980146982 A CN 200980146982A CN 102224523 A CN102224523 A CN 102224523A
Authority
CN
China
Prior art keywords
line segment
images
image
sweep trace
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200980146982.2A
Other languages
English (en)
Other versions
CN102224523B (zh
Inventor
小泉博一
神谷俊之
柳生弘之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC System Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC System Technologies Ltd filed Critical NEC System Technologies Ltd
Publication of CN102224523A publication Critical patent/CN102224523A/zh
Application granted granted Critical
Publication of CN102224523B publication Critical patent/CN102224523B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

当操作者进行操作输入相互关联的左图像上的辅助线(A2)以及右图像上的辅助线(A1)，以及相互关联的左图像上的辅助线(B2)以及右图像上的辅助线(B1)时，立体匹配处理系统在搜索面上关联左图像上的扫描线与辅助线(A2)之间的交点的坐标(a2)与右图像上的扫描线与辅助线(A1)之间的交点的坐标(a1)，以及左图像上的扫描线与辅助线(B2)之间的交点的坐标(b2)与右图像上的扫描线与辅助线(B1)之间的交点的坐标(b1)。由此，立体匹配处理系统(1)可以对搜索面上错误的关联进行矫正，并且可以正确地对左图像和右图像上的一致位置进行关联。

Description

立体匹配处理系统、立体匹配处理方法和记录媒介
技术领域
本发明涉及立体匹配处理系统、立体匹配处理方法和存储程序的计算机可读记录媒介，并且更具体地，涉及可以正确地对多个图像之间的一致位置进行匹配的立体匹配处理系统、立体匹配处理方法和记录媒介。
背景技术
三维数据自动生成方法通常采用对从人造卫星、飞机等获得的图像执行立体匹配的技术，以便生成表示地形的三维数据(数字表面模型(DSM)数据)。还提出了使用了操作者的存在以允许操作者对未成功匹配的任何位置进行矫正的技术。
立体匹配处理用于由从不同视角拾取的两个图像即所谓的立体图像中寻找匹配点(在匹配点处拾取了相同位置)，以及用于通过使用匹配点之间的视差根据三角测量原理计算到目标对象的深度或者目标对象的形状。
已经提出了各种立体匹配处理技术。例如，广泛使用的、作为区域相关技术而公开的技术是通过将相关窗口设定为左图像中的模板，在移动右图像中的搜索窗的同时将该模板与右图像中的搜索窗之间的之间相关系数计算为它们的匹配度，以及搜索出匹配度高的位置(例如，参见专利文献1)。
通过限制搜索窗仅在图像中核线的方向上移动，这个技术减低了处理量，并且由此对于左图像中的每个点，可以获得x方向位移的量，即与左图像中的点匹配的右图像中的点的视差。核线是对于立体图像中之一的给定点，可以在立体图像中之另一个中绘制为一范围的线条，与给定点匹配的点可以存在于该范围中(例如，参见非专利文献1)。
通常，核线的方向与图像扫描线的方向不同。然而，坐标变换可以对核线的方向进行重定向以使其与图像扫描线的方向一致。在以上阐明的非专利文献1中描述了怎样进行这样的坐标变换。
在已经以上述方式经历重定向的立体图像中，可以限制匹配点搜索窗仅在扫描线上移动。因此，可以获得视差为左图像和右图像中的匹配点的x坐标值之间的差。
现有技术文献
专利文献
专利文献1：日本专利申请KOKOKU公开号H08-16930。
非专利文献
非专利文献1：“Handbook of Image Analysis”(由Mikio Takagi和Haruhisa Shimoda编辑，东京大学出版社1991年1月出版，第597-599页)。
发明内容
本发明将要解决的问题
然而，采用立体匹配的相关三维数据生成技术不能排除不具有织构的区域或者针对该区域不能通过相关系数找到匹配区域的区域。因此，三维数据的图像包括许多在与周围存在很大不同的错误高度的点。特别地，建筑物等使得周围物被隐藏，并且因此图像可能包括无法找到匹配点的许多点，或者包括在显著凸出高度的点，或者图像中的建筑物可能丢失主体的显著部分。
因此，通过立体匹配的相关三维数据生成技术可能产生相应点的不匹配所固有的错误，并且其不能够生成高精度的三维信息，这带来的问题是该技术不能应用到表示城市区域等(包括许多建筑物)的复杂图像。
为了解决以上阐明的问题而做出本发明，并且本发明的一个目标是提供可以正确地对表示多个图像间的相同位置的区域进行匹配的立体匹配处理系统、立体匹配处理方法和记录媒介。
用于解决问题的手段
为了实现上述目标，根据本发明的第一方面的立体匹配处理系统包括：关联单元，将多个图像中在同一扫描线上具有最大相关系数的区域作为表示同一位置的项而相互关联，所述多个图像通过从不同方向拾取同一对象的图像而获得；以及线段确定单元，确定是否分别在多个图像中绘制了作为指示同一位置的项而相互关联的线段，其中当线段确定单元确定绘制了线段时，关联单元将扫描线与线段各自相交的交点，而不是在所述同一扫描线上具有最大相关系数的区域，作为表示同一位置的项而相互关联。
根据本发明的第二方面的立体匹配处理方法包括：关联步骤，将多个图像中在同一扫描线上具有最大相关系数的区域作为表示同一位置的项而相互关联，多个图像通过从不同方向拾取同一对象的图像而获得；以及线段确定步骤，确定是否分别在多个图像中绘制了作为指示同一位置的项而相互关联的线段，其中在线段确定步骤中确定绘制了线段时，在关联步骤中将扫描线与线段各自相交的交点，而不是在所述同一扫描线上具有最大相关系数的区域，作为表示相同位置的项而相互关联。
根据本发明的第三方面的计算机可读记录媒介存储程序以用于允许计算机执行：关联步骤，将多个图像中在同一扫描线上具有最大相关系数的区域作为表示同一位置的项而相互关联，多个图像通过从不同方向拾取同一对象的图像而获得；以及线段确定步骤，确定是否分别在多个图像中绘制了作为指示同一位置的项而相互关联的线段，其中当在线段确定步骤中确定绘制了线段时，在关联步骤中将扫描线与线段各自相交的交点，而不是在所述同一扫描线上具有最大相关系数的区域，作为表示同一位置的项而相互关联。
本发明的效果
根据本发明，有可能提供可以正确地对多个图像之间的一致位置进行匹配的立体匹配处理系统、立体匹配处理方法和计算机可读记录媒介。
附图说明
图1是示出立体匹配处理系统的示例性配置的框图；
图2是示出怎样显示辅助线输入屏幕的示例的示意图；
图3A是示出怎样显示立体匹配结果的示例的示意图；
图3B是示出怎样显示立体匹配结果的示例的示意图；
图4是用于阐明DP匹配处理的示意图；
图5是例示搜索面的示意图；
图6是用于阐明立体匹配处理的示意图；
图7是示出辅助线输入处理的示例的流程图；
图8是示出立体匹配处理的示例的流程图；
图9A是例示搜索面的示意图；
图9B是例示搜索面的示意图；
图10是用于阐明利用辅助线的使用对关联进行矫正的示意图；
图11是示出修改示例中搜索面的示意图；
图12是用于阐明在修改示例中利用辅助线的使用对关联进行矫正的示意图；以及
图13是示出修改示例中搜索面的示意图。
具体实施方式
接下来，将关于附随的附图对用于实施本发明的最佳方式进行阐述。图1是示出根据本发明的一个实施方式的立体匹配处理系统的示例性配置的框图。立体匹配处理系统1例如通过通用计算机来进行配置，并且该系统包括显示单元10、辅助线输入单元11、相对定向单元12、立体匹配单元13以及正交处理/绝对定向单元14(如图1所示)。
显示单元10例如包括LCD(液晶显示器)。图2是示出怎样显示辅助线输入屏幕的示例的示意图。图3A和图3B是示出怎样显示立体匹配结果的示例的示意图。显示单元10对在图2中示出的、包括通过从不同方向拾取相同对象获得的两个航空照片图像(此后称作左图像和右图像)的辅助线输入屏幕进行显示，或者对图3A和图3B示出的左图像和右图像的立体匹配的结果进行显示。
辅助线输入单元11包括例如键盘和鼠标，并且当例如操作者在显示单元10上显示的辅助线输入屏幕上的左图像和右图像中绘制辅助线时使用该单元。辅助线是操作者用来将左图像和右图像中的一致位置关联起来的线段。
相对定向单元12例如由以下实施：CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)以及硬盘驱动器，并且该单元执行对在图像拾取时使用的照相机参数进行定向的定向处理，以及根据需要执行将左图像和右图像重新投影到公共平行平面上的平行化处理。术语定向是要获得评估对象的预定值。
更具体地，在定向处理中，相对定向单元12读取左图像和右图像中共同地出现的对象的坐标值，并且通过使用读取的两个坐标值，定向在图像拾取时使用的照相机参数如左图像和右图像之间的照相机旋转角度。以这种方式，相对定向单元12可以对在图像拾取时使用的如下照相机参数进行定向，这些参数即使是在接近垂直方向的方向上获取航空照片时也由于像飞机姿态改变等的效应而难以被包括进来。
此后，相对定向单元12执行平行化处理以便将左图像和右图像重新投影到公共平行平面上，使得将各自图像中的核点互连的左图像和右图像中的核线与多个扫描线之一重合。
立体匹配单元13例如由以下实施：CPU、ROM、RAM以及硬盘驱动器。另外，立体匹配单元在RAM中具有用于辅助线输入标志的区域，该标志指示辅助线已经分别输入到左图像和右图像中，以及具有用于存储辅助线和扫描线相交的交点的坐标的交点坐标缓存器。
立体匹配单元13执行立体匹配处理，更具体地，在以已经经历通过相对定向单元12的平行化处理的左图像和右图像(一对平行化的图像)上执行DP(动态编程)匹配处理，由此测量左图像和右图像之间的位移(视差)以及生成视差数据。
图4是用于阐明DP匹配处理的示意图。更具体地，在DP匹配处理中，当没有通过由操作者给出的、到辅助线输入单元11的操作将辅助线输入到左图像和右图像中时，立体匹配单元13检查左图像和右图像之间沿着相同扫描线的相关性，并且搜索出在它们之间具有最大相关系数的格子区域，如图4所示。
图5是例示搜索面的示意图。立体匹配单元13在图5所示的搜索面上关联具有最大相关性系数的格子区域的中心坐标。在这个搜索面中，水平轴x1表示右图像的x坐标，并且垂直轴x2表示左图像的x坐标。
立体匹配单元13通过针对每个扫描线执行这样的关联而生成视差数据，并且将如图3A中示出的这样的图像作为立体匹配结果显示在显示单元10上。
相反地，当由操作者给出的、到辅助线输入单元11的操作分别将辅助线输入到左图像和右图像中时，对于输入了辅助线的部分，立体匹配单元在搜索面上关联扫描线和辅助线相交的交点的坐标。相比而言，对于没有输入辅助线的部分，立体匹配单元在搜索面上关联具有最大相关系数的格子区域的中心位置的坐标。
图6是用于阐明立体匹配处理的示意图。通过对图6中示出的每个扫描线执行这样的关联，立体匹配单元13生成通过辅助线进行矫正的视差数据，并且将如图3B所示的这样的图像作为立体匹配结果显示在显示单元10上。
此后，通过组合使用生成的视差数据和通过相对定向单元12进行定向的照相机参数，立体匹配单元13根据三角测量原理计算三维坐标系统中与每个像素相对应的位置，并且提取包括指示对象在地表之上的高度的海拔数据的DSM(数字表面模型)数据，由此获得到该对象的深度和对象的形状。
正交处理/绝对定向单元14例如由以下实施：CPU、ROM、RAM以及硬盘驱动器，并且该单元通过使用DSM数据执行将航空照片图像和DSM数据变换为正交图像和正交数据的正交处理，以及通过使用已经经历了正交处理的航空照片图像和DSM数据执行获得对象在地球表面上的精确坐标(更具体地，对象的经度和纬度)的绝对定向处理，而生成正交图像和正交DSM数据。
正交图像包括颜色数据以及指示通过绝对定向获得的经度和纬度的经度数据和纬度数据。正交DSM数据包括指示对象在表面之上的高度的海拔数据和经度数据及纬度数据。通过获得经度数据和纬度数据，使得有可能将在不同时刻拾取的航空照片的图像中的相同对象的位置相互关联。
接下来将关于附随的附图对由采用以上阐明的配置的立体匹配处理系统执行的处理进行阐述。
立体匹配处理系统周期性地执行辅助线输入处理和立体匹配处理。辅助线输入处理和立体匹配处理以任意定时执行，例如当操作者给出指令、当存在预定图像以及当变成预定时间时。
图7是详细示出辅助线输入处理的流程图。在辅助线输入处理中，立体匹配单元13确定是否已通过由操作者给出的、到辅助线输入单元11的操作将辅助线输入到了显示单元10上显示的辅助线输入屏幕上的左图像和右图像中的每个图像中(步骤S11)。此时，当没有输入辅助线时(步骤S11；否)，则立体匹配单元13直接结束辅助线输入处理。
相反，当在步骤S11的处理中确定已经输入了辅助线时(步骤S11；是)，则立体匹配单元13针对左图像和右图像的每个图像获得扫描线和辅助线相交的交点的坐标，并且将获得的坐标存储在RAM中提供的交点坐标缓存器中(步骤S12)。
此后，立体匹配单元13将RAM中提供的辅助线输入标志设定为ON(步骤S13)，并且结束辅助线输入处理。
图8是详细示出立体匹配处理的流程图。在立体匹配处理中，相对定向单元12执行定向处理以便对在图像拾取时使用的照相机参数进行定向(步骤S21)，并且执行平行化处理以便将左图像和右图像重新投影到公共平行平面上使得核线与多个扫描线中的任何一个重合(步骤S22)。
接下来，立体匹配单元13检查RAM中提供的辅助线输入标志是否被设定为ON，以便确定辅助线是否已经输入到左图像和右图像中的每个图像之中(步骤S23)。
当在步骤S23的处理中确定没有辅助线被输入时(步骤S23；否)，则立体匹配单元13生成未通过辅助线进行矫正的视差数据(步骤S24)。
在步骤S24的处理中，立体匹配单元13检查左图像和右图像之间沿着相同扫描线的相关性，并且搜索具有最大相关系数的每对格子区域。接下来，立体匹配单元13在搜索面上关联具有最大相关系数的那对格子区域的中心坐标。立体匹配单元13针对每个扫描线执行这样的关联，由此生成未通过辅助线进行矫正的视差数据。
相反，当在步骤S23的处理中确定已经输入了辅助线(步骤S23；是)，则立体匹配单元13生成通过辅助线进行矫正的视差数据(步骤S25)。
在步骤S25的处理中，针对其中已经输入了辅助线的部分，立体匹配单元13在搜索面上关联存储在RAM中提供的交点坐标缓存器中的、扫描线和辅助线之间的交点的坐标，并且针对其中没有输入辅助线的部分，在搜索面上关联具有最大相关系数的格子区域的中心位置的坐标。立体匹配单元13针对每个扫描线执行这样的关联，由此生成通过辅助线进行矫正的视差数据。
此后，立体匹配单元13将基于在步骤S24或者步骤S25的处理中生成的视差数据的图像作为立体匹配结果显示在显示单元10上(步骤S26)，并且通过使用视差数据和在步骤S21的处理中经过定向的照相机参数来提取包括指示对象表面高度的海拔数据的DSM数据(步骤S27)。
随后，正交处理/绝对定向单元14通过使用在步骤S27的处理中提取的DSM数据执行正交处理，由此将航空照片图像和DSM数据变换为正交图像和正交数据(步骤S28)。
接下来，正交处理/绝对定向单元14通过使用已经经历了步骤28处的正交处理的DSM数据来执行绝对定向处理，由此生成正交图像和包括指示对象表面高度的海拔数据的正交DSM数据(步骤S29)。
随后，将在具体示例中对执行上述处理的立体匹配处理系统的操作进行阐述。
当没有输入辅助线时，由于在图8示出的步骤S23的处理中确定了辅助线输入标志设定为OFF，每对具有最大相关系数的格子区域的中心坐标通过步骤S24的处理在搜索面上相互关联。
图9A和9B是例示搜索面的示意图。图10是用于阐明利用辅助线的使用对关联进行矫正的示意图。当在步骤S24的处理中在图9A所示的搜索面上做出了错误关联时，操作者对辅助线输入单元11进行操作以关联地输入左图像上的辅助线A2和右图像上的辅助线A1，以及关联地输入左图像上的辅助线B2和右图像上的辅助线B1。
此后，在图7示出的步骤S12的处理中获得扫描线和各辅助线A1、A2、B1和B2彼此相交的交点的各自的x坐标a1、a2、b1和b2，并且在步骤S13的处理中，将辅助线输入标志设定为ON。
此时，在图8示出的步骤S23的处理中确定辅助线输入标志设定为ON。因此，在步骤S25的处理中，如图9B所示，在搜索面上关联扫描线和辅助线A2在左图像中相交的交点的坐标a2与扫描线和辅助线A1在右图像中相交的交点的坐标a1，以及在搜索面上关联扫描线和辅助线B2在左图像中相交的交点的坐标b2与扫描线和辅助线B1在右图像中相交的交点的坐标b1。
结果，立体匹配处理系统1可以矫正搜索面上的错误关联并且正确地将左图像和右图像的一致位置进行关联。
如以上阐述的，根据本实施方式的立体匹配处理系统1可以通过应用通过辅助线的矫正而对搜索面上的错误关联进行矫正并且从而可以对呈现为立体匹配结果的视差数据进行矫正。另外，立体匹配处理系统1可以通过使用经矫正的视差数据提取DSM数据而获得精确地指示对象表面高度的海拔数据。
本发明并不限于以上实施方式，而是可以改变和修改为各种形式。以下将会阐述可以应用到本发明的、以上实施方式的修改示例。
以上实施方式阐述为在图8中示出的步骤S25的处理中，在搜索面上关联扫描线和辅助线A2在左图像中相交的交点的坐标a2与扫描线和辅助线A1在右图像中相交的交点的坐标a1，以及在搜索面上关联扫描线和辅助线B2在左图像中相交的交点的坐标b2与扫描线和辅助线B1在右图像中相交的交点的坐标b1，以及在其中，在搜索面上相互关联具有最大相关系数的格子区域的中心坐标。然而，本发明并不限于这种情况。图11是示出根据修改示例的搜索面的示意图。如在图11中所示，存在于对搜索面上的坐标(a1，a2)和坐标(b1，b2)进行互连的线段上的所有点都可以被关联。
是否输入用于做出这样的关联的辅助线(必须的辅助线)可以基于由操作者给出到辅助线输入单元11的操作而确定。
以上实施方式阐述了一种示例情况，其中辅助线垂直于扫描线绘制，但是本发明并不限于这种情况。图12是用于阐明修改示例中对使用辅助线的关联的矫正的示意图。另外，图13是示出修改示例中的搜索面的示意图。辅助线可以平行于扫描线绘制(如图12所示)。当平行于扫描线绘制辅助线时，可以将把左图像和右图像中的每个图像中的辅助线(线段)分割为数目为n(n是自然数)的相等部分的点(等分点)按照从线段起点到线段终点的顺序在检查平面上相互关联(如图13所示)。
以上实施方式阐述为在定向处理中，相对定向单元12读取左图像和右图像中共同出现的对象的坐标值，并且通过使用读取的两个坐标值，定向在图像拾取时使用的照相机参数，如左图像和右图像之间的照相机旋转角度。然而，本发明并不限于这种情况，并且怎样对在图像拾取时使用的照相机参数进行定向可以是任意的，并且在图像拾取时刻的照相机参数可以利用例如通过图绘制程序计算的值的使用而进行定向。
以上实施方式阐述为正交处理/绝对定向单元14通过使用已经经历了正交处理的航空照片图像和DSM数据而执行获得对象的经度和纬度的绝对定向。然而，本发明并不限于这种情况，并且怎样执行绝对定向可以是任意的。例如，可以获得从预先检测了经度、纬度和海拔值的航空照片图像上多个点的图像坐标到地球表面上的表面坐标(经度、纬度和海拔值)的换算公式。
另外，可以使用航空三角测量数据，该数据指示了通过拾取其上放置了防空指示器的航空照片而测量的经度、纬度和海拔。这使得有可能获得图像上的任意坐标点的表面坐标值。防空指示器是它的形状可以从通过装配在飞机上的各种感测器拾取的航空照片的图像上清楚地识别，并且它的图像坐标可被测量的指示器。因此，当设定了防空指示器时，指示了精确的三维坐标。
以上实施方式阐述为正交图像包括颜色数据、经度数据和纬度数据，并且正交DSM数据包括海拔数据、经度数据和纬度数据。然而，本发明并不限于这种情况。正交图像和正交DSM数据可以取代经度数据和纬度数据而包括在另一个坐标系中表示的坐标值数据，以及取代海拔数据而包括指示相对于任何其他基准的相对高度的高度数据。
本申请基于第2008-300103号日本专利申请，该申请的说明书、权利要求和附图以引用的方式全部并入本说明书。
图例
1立体匹配处理系统
10显示单元
11辅助线输入单元
12相对定向单元
13立体匹配单元
14正交处理/绝对定向单元
权利要求书(按照条约第19条的修改)
1.一种立体匹配处理系统，包括：
关联单元，将多个图像中在同一扫描线上具有最大相关系数的区域作为表示同一位置的项而相互关联，所述扫描线与所述多个图像上的将核点互连的核线相一致，所述多个图像通过从不同方向拾取同一对象的图像而获得；以及
线段确定单元，确定是否分别在所述多个图像中绘制了作为指示同一位置的项而相互关联的线段，
其中当所述线段确定单元确定绘制了所述线段时，所述关联单元将所述扫描线与所述线段各自相交的交点，而不是在所述同一扫描线上具有最大相关系数的区域，作为表示同一位置的项而相互关联。
2.根据权利要求1所述的立体匹配处理系统，
其中当在所述多个图像的每个图像中绘制了多个所述线段时，所述关联单元将所述多个图像的一个图像中对所述扫描线与所述多个线段各自相交的交点进行互连的线段与所述多个图像的另一图像中对所述扫描线与所述多个线段各自相交的交点进行互连的线段作为表示同一位置的项而相互关联。
3.根据权利要求2所述的立体匹配处理系统，
其中当分别在所述多个图像中平行于所述扫描线绘制所述线段时，所述关联单元将所述线段的起点相互关联并且将所述线段的终点相互关联以作为表示同一位置的项。
4.根据权利要求3所述的立体匹配处理系统，
其中当分别在所述多个图像中平行于所述扫描线绘制所述线段时，所述关联单元将把所述多个图像的一个图像中的所述线段分割成预定数目的相等部分的等分点中的每个等分点与把所述多个图像的另一个图像中所述线段分割成所述预定数目的相等部分的等分点中的每个等分点按照从起点开始的顺序作为表示同一位置的项而相互关联。
5.一种立体匹配处理方法，包括：
关联步骤，将多个图像中在同一扫描线上具有最大相关系数的区域作为表示同一位置的项而相互关联，所述扫描线与所述多个图像上的将核点互连的核线相一致，所述多个图像通过从不同方向拾取同一对象的图像而获得；以及
线段确定步骤，确定是否分别在所述多个图像中绘制了作为指示同一位置的项而相互关联的线段，
其中当在所述线段确定步骤中确定绘制了所述线段时，在所述关联步骤中将所述扫描线与所述线段各自相交的交点，而不是在所述同一扫描线上具有最大相关系数的区域，作为表示同一位置的项而相互关联。
6.一种计算机可读记录媒介，存储程序以用于允许计算机执行以下步骤：
关联步骤，将多个图像中在同一扫描线上具有最大相关系数的区域作为表示同一位置的项而相互关联，所述扫描线与所述多个图像上的将核点互连的核线相一致，所述多个图像通过从不同方向拾取同一对象的图像而获得；以及
线段确定步骤，确定是否分别在所述多个图像中绘制了作为指示同一位置的项而相互关联的线段，
其中当在所述线段确定步骤中确定绘制了所述线段时，在所述关联步骤中将所述扫描线与所述线段各自相交的交点，而不是在所述同一扫描线上具有最大相关系数的区域，作为表示同一位置的项而相互关联。

Claims (6)

1.一种立体匹配处理系统，包括：
关联单元，将多个图像中在同一扫描线上具有最大相关系数的区域作为表示同一位置的项而相互关联，所述多个图像通过从不同方向拾取同一对象的图像而获得；以及
线段确定单元，确定是否分别在所述多个图像中绘制了作为指示同一位置的项而相互关联的线段，
其中当所述线段确定单元确定绘制了所述线段时，所述关联单元将所述扫描线与所述线段各自相交的交点，而不是在所述同一扫描线上具有最大相关系数的区域，作为表示同一位置的项而相互关联。
2.根据权利要求1所述的立体匹配处理系统，
其中当在所述多个图像的每个图像中绘制了多个所述线段时，所述关联单元将所述多个图像的一个图像中对所述扫描线与所述多个线段各自相交的交点进行互连的线段与所述多个图像的另一图像中对所述扫描线与所述多个线段各自相交的交点进行互连的线段作为表示同一位置的项而相互关联。
3.根据权利要求2所述的立体匹配处理系统，
其中当分别在所述多个图像中平行于所述扫描线绘制所述线段时，所述关联单元将所述线段的起点相互关联并且将所述线段的终点相互关联以作为表示同一位置的项。
4.根据权利要求3所述的立体匹配处理系统，
其中当分别在所述多个图像中平行于所述扫描线绘制所述线段时，所述关联单元将把所述多个图像的一个图像中的所述线段分割成预定数目的相等部分的等分点中的每个等分点与把所述多个图像的另一个图像中所述线段分割成所述预定数目的相等部分的等分点中的每个等分点按照从起点开始的顺序作为表示同一位置的项而相互关联。
5.一种立体匹配处理方法，包括：
关联步骤，将多个图像中在同一扫描线上具有最大相关系数的区域作为表示同一位置的项而相互关联，所述多个图像通过从不同方向拾取同一对象的图像而获得；以及
线段确定步骤，确定是否分别在所述多个图像中绘制了作为指示同一位置的项而相互关联的线段，
其中当在所述线段确定步骤中确定绘制了所述线段时，在所述关联步骤中将所述扫描线与所述线段各自相交的交点，而不是在所述同一扫描线上具有最大相关系数的区域，作为表示同一位置的项而相互关联。
6.一种计算机可读记录媒介，存储程序以用于允许计算机执行以下步骤：
关联步骤，将多个图像中在同一扫描线上具有最大相关系数的区域作为表示同一位置的项而相互关联，所述多个图像通过从不同方向拾取同一对象的图像而获得；以及
线段确定步骤，确定是否分别在所述多个图像中绘制了作为指示同一位置的项而相互关联的线段，
其中当在所述线段确定步骤中确定绘制了所述线段时，在所述关联步骤中将所述扫描线与所述线段各自相交的交点，而不是在所述同一扫描线上具有最大相关系数的区域，作为表示同一位置的项而相互关联。
CN200980146982.2A 2008-11-25 2009-11-25 立体匹配处理系统、立体匹配处理方法和记录媒介 Expired - Fee Related CN102224523B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008300103A JP5311465B2 (ja) 2008-11-25 2008-11-25 ステレオマッチング処理システム、ステレオマッチング処理方法、及びプログラム
JP2008-300103 2008-11-25
PCT/JP2009/069887 WO2010061860A1 (ja) 2008-11-25 2009-11-25 ステレオマッチング処理システム、ステレオマッチング処理方法、及び記録媒体

Publications (2)

Publication Number Publication Date
CN102224523A true CN102224523A (zh) 2011-10-19
CN102224523B CN102224523B (zh) 2014-04-23

Family

ID=42225733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980146982.2A Expired - Fee Related CN102224523B (zh) 2008-11-25 2009-11-25 立体匹配处理系统、立体匹配处理方法和记录媒介

Country Status (4)

Country Link
JP (1) JP5311465B2 (zh)
KR (1) KR101453143B1 (zh)
CN (1) CN102224523B (zh)
WO (1) WO2010061860A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417208A (zh) * 2020-11-20 2021-02-26 百度在线网络技术（北京）有限公司 目标搜索方法、装置、电子设备和计算机可读存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101922930B (zh) * 2010-07-08 2013-11-06 西北工业大学 一种航空偏振多光谱图像配准方法
US8587518B2 (en) * 2010-12-23 2013-11-19 Tektronix, Inc. Disparity cursors for measurement of 3D images
JP5839671B2 (ja) * 2011-09-20 2016-01-06 株式会社Ｓｃｒｅｅｎホールディングス 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体
CN103339651B (zh) 2011-10-11 2016-12-07 松下知识产权经营株式会社 图像处理装置、摄像装置以及图像处理方法
CN108629731A (zh) * 2017-03-15 2018-10-09 长沙博为软件技术股份有限公司 一种适用于滚动截屏的图像拼接方法
KR102610989B1 (ko) * 2019-12-26 2023-12-08 한국전자통신연구원 위성영상을 이용한 수치표면모델 생성 방법 및 장치
CN113436057B (zh) * 2021-08-27 2021-11-19 绍兴埃瓦科技有限公司 数据处理方法及双目立体匹配方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230527A (ja) * 2001-01-31 2002-08-16 Olympus Optical Co Ltd 立体情報取得装置および立体情報取得方法ならびに立体情報取得プログラムを記録したコンピュータリーダブル記録媒体
CN101197045A (zh) * 2007-12-17 2008-06-11 电子科技大学 一种图像立体匹配方法及其装置
CN101226636A (zh) * 2008-02-02 2008-07-23 中国科学院遥感应用研究所 一种刚体变换关系的图像的匹配方法
CN101262619A (zh) * 2008-03-30 2008-09-10 深圳华为通信技术有限公司 视差获取方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3842988B2 (ja) * 2000-07-19 2006-11-08 ペンタックス株式会社 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体
US7164784B2 (en) * 2002-07-30 2007-01-16 Mitsubishi Electric Research Laboratories, Inc. Edge chaining using smoothly-varying stereo disparity

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230527A (ja) * 2001-01-31 2002-08-16 Olympus Optical Co Ltd 立体情報取得装置および立体情報取得方法ならびに立体情報取得プログラムを記録したコンピュータリーダブル記録媒体
CN101197045A (zh) * 2007-12-17 2008-06-11 电子科技大学 一种图像立体匹配方法及其装置
CN101226636A (zh) * 2008-02-02 2008-07-23 中国科学院遥感应用研究所 一种刚体变换关系的图像的匹配方法
CN101262619A (zh) * 2008-03-30 2008-09-10 深圳华为通信技术有限公司 视差获取方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417208A (zh) * 2020-11-20 2021-02-26 百度在线网络技术（北京）有限公司 目标搜索方法、装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
KR20110089299A (ko) 2011-08-05
JP2010128608A (ja) 2010-06-10
KR101453143B1 (ko) 2014-10-27
JP5311465B2 (ja) 2013-10-09
WO2010061860A1 (ja) 2010-06-03
CN102224523B (zh) 2014-04-23

Similar Documents

Publication Publication Date Title
CN102224523B (zh) 立体匹配处理系统、立体匹配处理方法和记录媒介
US9562971B2 (en) Point-cloud fusion
AU2007355942B2 (en) Arrangement and method for providing a three dimensional map representation of an area
CN108052103B (zh) 基于深度惯性里程计的巡检机器人地下空间同时定位和地图构建方法
CN111486855A (zh) 一种具有物体导航点的室内二维语义栅格地图构建方法
US8077913B2 (en) Method and device for determining the actual position of a geodetic instrument
CN107909614B (zh) 一种gps失效环境下巡检机器人定位方法
Tscharf et al. On the use of UAVs in mining and archaeology-geo-accurate 3D reconstructions using various platforms and terrestrial views
CN101957197A (zh) 位置测量方法和位置测量仪器
CN104268935A (zh) 一种基于特征的机载激光点云与影像数据融合系统及方法
JP2013186816A (ja) 動画処理装置、動画処理方法および動画処理用のプログラム
US8831335B2 (en) Stereo matching processing apparatus, stereo matching processing method and computer-readable recording medium
JP2012118666A (ja) 三次元地図自動生成装置
CN101509782A (zh) 一种小型地标捕获定位方法
CN112686877A (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
Habib et al. LiDAR strip adjustment using conjugate linear features in overlapping strips
JP6135972B2 (ja) 標定方法、標定プログラム、及び標定装置
CN104166995B (zh) 一种基于马步测度的Harris‑SIFT双目视觉定位方法
CN111707235A (zh) 一种基于三维激光扫描技术的地物测量方法
CN111047699A (zh) 海底探测图像展示方法、装置、设备和存储介质
CN113487726B (zh) 动作捕捉系统和方法
Nagai et al. Development of digital surface model and feature extraction by integrating laser scanner and CCD sensor with IMU
Bang et al. Integration of terrestrial and airborne LiDAR data for system calibration
Remondino Detailed image-based 3D geometric reconstruction of heritage objects
CN105737802B (zh) 基于体感摄影技术的堆积剖面空间结构信息分析方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: JAPAN ELECTRICAL SCHEME INNOVATION CORPORATION

Free format text: FORMER OWNER: NEC SYSTEM TECHNOLOGIES LTD.

Effective date: 20141105

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20141105

Address after: Tokyo, Japan

Patentee after: NEC SOLUTION INNOVATORS, Ltd.

Address before: Osaka

Patentee before: NEC System Technologies, Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140423

CF01 Termination of patent right due to non-payment of annual fee