CN102436670B - 计算机系统、以及位置对准方法 - Google Patents

计算机系统、以及位置对准方法 Download PDF

Info

Publication number
CN102436670B
CN102436670B CN2011100493236A CN201110049323A CN102436670B CN 102436670 B CN102436670 B CN 102436670B CN 2011100493236 A CN2011100493236 A CN 2011100493236A CN 201110049323 A CN201110049323 A CN 201110049323A CN 102436670 B CN102436670 B CN 102436670B
Authority
CN
China
Prior art keywords
image
chart
feature mode
edge
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2011100493236A
Other languages
English (en)
Other versions
CN102436670A (zh
Inventor
郭韜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN102436670A publication Critical patent/CN102436670A/zh
Application granted granted Critical
Publication of CN102436670B publication Critical patent/CN102436670B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752Contour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种计算机系统及位置对准方法。自动地求出用于对具有不同属性的图像以及图表进行位置对准的特征量。一种进行图像和图表的位置对准的计算机系统,具备运算部、存储部、输入部、数据记录部,包括:特征模式生成部,从所述存储部读出所述接收到的图像以及图表,将所述读出的图像以及图表分别分割为以采样点为中心的多个区域,判定所述分割的区域的特性,生成所述图像以及图表的特征模式的集合;关系计算部,通过对所述生成的特征模式进行比较,计算出进行所述位置对准的图像以及图表对应关系;变换部,根据所述计算出的对应关系,变换进行所述位置对准的图像及图表的至少一个的坐标系;结合部,对变换了所述坐标系的图像及图表进行结合。

Description

计算机系统、以及位置对准方法
技术领域
本发明涉及对图像间、图表间、以及图像和图表之间的位置进行对准的匹配方法,特别涉及从邻接的区域中抽出图像以及图表的特有的特征,而在图像以及图表之间进行匹配的方法。
背景技术
伴随计算机技术的进步,对从多个信息源抽出的数据进行综合的要求变高。图像匹配技术是数据综合的重要技术之一,已发表了大量论文(例如,参照非专利文献1)。另外,在以往的图像匹配方法中,从图像抽出端点、交差点、边缘等特征点,在图像之间使所抽出的特征点对应。另外,在地图的特征点中,使用交差点、道路。作为高性能地发现不变的特征点的方法,一般公知有例如局部特征量即SIFT(Scale Invariant Feature Transform)(例如,参照专利文献1)。
【专利文献1】美国专利第6711293号说明书
【非专利文献1】Barbara Zitova and Jan Flusser,Imageregistration methods:a survey,Image and Vision Computing 21(2003),pp.977-1000,October 2003
在所述以往的技术中,以在两个图像中存在特征点为前提,故需要两个图像包含类似的要素。通过不同的传感器,在不同的摄影状况(例如,角度、明亮度、视场遮蔽)下,对图像进行摄影。但是,对同一对象目标进行摄影而得到的图像、例如从不同的场所对相同的对象进行摄影而得到的两个照片、或者对相同的场所进行摄影而得到的卫星照片与航空照片中的该对象物的像素具有相近的物理属性。
但是,从图像与地图、可视图像与热图像那样的不同类型的数据抽出的特征点整体上具有不同的属性,这些属性的特征点不适合于特征点之间的对比。因此,难以将以往的图像匹配技术应用于图像和图表的匹配、要素不同的图像、要素不同的图表的匹配。
另外,以往的图像匹配方法难以应用于图像与地图的匹配。其原因为从图像抽出的特征点不限于对应于地图的节点。在以往的图像与地图的匹配方法中,使用从图像和地图中选择的与特征点等价地被设定的地面基准点(GCP),而并不直接相互利用图像与地图的信息。因此,难以实现图像与地图的匹配的自动化。
发明内容
本发明的目的在于,自动地求出用于对具有不同属性的图像和图表(或者,图像彼此、图表彼此)进行位置对准的特征量。
作为本申请公开的发明的代表性的一个例子,如下所述。即,一种计算机系统,进行图像彼此、图表彼此、或者图像和图表的位置对准,其特征在于,具备:运算部,执行程序;存储部,保存由所述运算部执行的程序;输入部,接收要被位置对准的所述图像以及所述图表的至少二个;以及数据记录部,将所述接收到的图像以及图表保存在存储装置中,所述计算机系统包括:特征模式生成部,从所述存储装置读出所述接收到的图像以及图表,将所述读出的图像以及图表分别分割为以采样点为中心的多个区域,判定所述分割的区域的特性,生成所述图像以及图表的特征模式的集合;关系计算部,通过对所述生成的特征模式进行比较,计算出进行所述位置对准的图像以及图表的对应关系;变换部,根据所述计算出的对应关系,变换进行所述位置对准的图像以及图表的至少一个的坐标系;以及结合部,对变换了所述坐标系的图像以及图表进行结合。
根据本发明的代表性的实施方式,可以自动地、短时间地并且正确地对图像和图表进行位置对准。
附图说明
图1是示出本发明的实施方式的匹配系统的结构的框图。
图2是本发明的实施方式的匹配处理的整体的流程图。
图3是说明本发明的实施方式的匹配方法的概念的图。
图4是说明本发明的实施方式的特征矢量的标准化特征量的图。
图5是说明构成本发明的实施方式的特征模式的特征矢量的图。
图6是本发明的实施方式的对照候补模式集生成处理的详细内容的流程图。
图7是说明成为本实施方式的匹配处理的对象的图像(航空照片)的例子的图。
图8是说明成为本实施方式的匹配处理的对象的图表(地图)的例子的图。
图9是说明在本实施方式的匹配处理中使图像(航空照片)和图表(地图)重合的例子的图。
图10是说明本实施方式的匹配处理中图像(航空照片)和图表(地图)的变形处理的图。
图11是在生成本实施方式的特征模式之前所执行的变更图像以及地图的缩尺的说明图。
(符号说明)
110:输入部;120:显示部;130:数据记录部;140:运算部;150:对照数据输出部;160:存储部。
具体实施方式
接下来,参照附图,说明本发明的实施方式。
本发明的发明者从通过人手选择地面基准点受到启发,尝试比起直接发现特征点更适合地发现具有特别的特征的局部的区域。在本发明中,提出了以下至今为止没有出现过的方法:使用通过从邻近的区域抽出的特征矢量列所定义的特征模式,来抽出图像以及地图的本来的特征。应进行对比的特征点、特征模式对未反映出局部的变化的、某种程度范围的特征的抽出是有效的。因而,对于从不同类型的图像以及地图发现类似性是强健的。
本发明的特征在于,发现匹配对象的目标(图像、图表)的对应关系。例如,如图3所示,点P被区域Rn···R3、R2、R1包围。在该情况下,几乎找不到特征点,但特征的特征模式却是明确的。另一方面,如图7、图8所示,在表示图像(航空照片)和地图相同的区域的情况下,由于特征点周围的大的变化,几乎不存在共有的特征点,但在共同的特征点的附近区域中共有类似的模式。
另外,在本说明书中,为了不损失一般性而使说明变得容易,在没有特别说明的情况下,对图像是可视图像、图表是数字地图、并将本发明应用于图像与地图的匹配方法的例子进行说明。但是,本发明不管是否具有类似的要素,都可以应用于图像彼此、图表彼此的匹配。
<系统结构>
图1是示出本发明的实施方式的匹配系统的结构的框图。
本实施方式的匹配系统是具有输入部110、显示部120、数据记录部130、运算部140、对照数据输出部150以及存储部160的计算机。输入部110、显示部120、数据记录部130、对照数据输出部150以及存储部160经由运算部140(或者相互通过总线)连接。
输入部110具有图像输入部111以及图表输入部112。图像输入部111是输入航空照片等图像的装置,图表输入部112是输入数字化后的地图的装置。图像输入部111以及图表输入部112例如由光盘驱动器、USB接口等构成。另外,图像输入部111和图表输入部112既可以由相同的输入装置构成,也可以由不同的输入装置构成。
显示部120具有图像显示部121以及图表显示部122。图像显示部121是对匹配系统处理的图像进行显示的显示装置。图表显示部122是对匹配系统处理的图表(例如,数字地图)进行显示的显示装置。另外,图像显示部121和图表显示部122既可以由相同的显示装置构成,也可以由不同的显示装置构成。
数据记录部130是保存该匹配系统处理的图像数据以及图表数据的非易失性存储装置,例如由硬盘装置、非易失性存储器等构成。运算部140包括处理器,通过执行程序来执行在本系统中被进行的处理。
对照数据输出部150是输出该匹配系统处理后的结果的装置,例如由打印机、绘图仪等构成。存储部160是保存由运算部140所执行的程序的存储装置,例如由硬盘装置、非易失性存储器等构成。
<处理>
图2是本发明的实施方式的匹配处理的整体的流程图。在本实施方式的匹配处理中,从成为匹配对象的图像以及图表中选择采样点,从所选择出的采样点的周边的区域的特性中抽出特征模式,使用所抽出的特征模式中适合于匹配处理的良好的特征模式,对图像以及图表进行匹配。
在本实施方式中,说明对航空照片图像和数字地图进行匹配的处理,但本处理还可以应用于图像彼此、图表彼此的匹配。另外,所输入的图像除了航空照片以外,也可以是人体的剖面的照片等其他种类的照片。另外,所输入的数字地图由节点、和将节点进行结合的链路构成。
首先,接收所输入的数据是图像还是图表的输入,根据所接收到的输入,判定所输入的数据是图像还是图表(S1)。
其结果,在判定为所输入的数据是图像的情况下,进入到步骤S21,从所输入的图像中抽出应在匹配中使用的区域,使用所抽出的区域中包含的像素的像素值,对像素进行分组。在后面叙述该像素值的分组处理。之后,生成对照候补模式集(S23)。使用图6,在后叙述该S23的处理。
另一方面,在判定为所输入的数据是图表的情况下,进入到步骤S22,与所述图像的情况的步骤S21同样地,从所输入的图表抽出应在匹配中使用的区域,使用所抽出的区域中包含的像素的像素值,对像素进行分组。之后,生成对照候补模式集(S24)。该对照候补模式集生成处理与使用图6在后叙述的图像的对照候补模式集生成处理(S23)相同。
在像素的分组处理中,具体而言,将在所抽出的区域中包含的像素中的满足规定的条件的有意义的像素、和没有意义的像素分开。在该规定的条件中,例如,对于图表(地图),可以使用在判定对象的像素中是否存在点(节点)或者线(链路)。另外,对于图像,也可以用规定的阈值判定针对每个像素变化的数值。例如,使用像素的亮度,来数出亮度高(或者低)的像素的数量Ai。另外,还可以使用特定颜色的彩度(色度)来判定。在特定的颜色中,也可以使用RGB模型的三原色(红、绿、蓝)中的1种颜色。另外,可以使用HLS模型的色调、鲜明度或者明亮度的值等。
即,在像素的分组处理中,利用规定的条件将所抽出的区域变换为多值分割图像(例如,2值图像),对像素进行分组。
在生成了所匹配的图像(航空照片)以及图表(地图)的对照候补模式集之后,计算出用于进行匹配的最佳对照参数(S3)。在该最佳对照参数的计算中,例如可以使用以最小二乘法为基础的RANSAC法来计算。
然后,将所匹配的图像、图表中的一方定义为源图像/图表,将另一方定义为目标图像/图表。然后,对源图像/图表应用最佳对照参数,从而对源图像/图表的坐标进行几何变换,使几何变换后的源图像/图表和目标图像/图表重合(S4)(即、使源图像与目标图像、源图像与目标图表、源图表和目标图像、源图表和目标图表重合)。另外,在图2中,示出了将图表几何变换为图像的例子,但也可以将图像几何变换为图表。
之后,进行修正边界的微调整处理(S5)。在该微调整处理中,使重合后的图像以及图表的一方或者两方局部地变形,使图像以及图表中包含的要素一致,从而使图像以及图表中包含的要素之间的差异减少。对于该微调整处理,使用图7至图10在后面进行叙述。另外,该微调整处理并不是必需的处理。
最后,生成使重合后的图像和地图结合了的数据(S6)。
此处,说明本实施方式的匹配方法的概念。
图3是说明本发明的实施方式的匹配方法的概念的图。
在本实施方式的匹配方法中,将采样点P的周围划分成规定的区域,针对每个所划分的区域决定特征,生成特征矢量,将所生成的多个特征矢量进行结合,从而生成特征模式。
在生成了特征模式之后,决定哪个特征模式是有意义即良好的特征模式。良好的特征模式应包含多个区域。如上所述,所有要素的值是1的特征矢量为中心矢量。特征矢量预先用模式表示各区域,中心矢量包含最多的特征信息。因此,通过与中心矢量之间的角,计算特征矢量的矢量角。该角度表示特征矢量与中心矢量的接近程度。同样地,该角度还可以适用于特征模式中包含的模式信息的多少程度。另外,在本实施方式中,使用后述的式子来决定良好的特征模式。
具体而言,如图3所示,以采样点P为中心设定规定半径的圆C1,在圆C1中根据距点P的距离来设定圆C2、C3···Cn。然后,决定以圆C1为外周,以圆C2为内周而切分的区域R1。同样地,在区域R1的内侧,决定以圆C2为外周,以圆C3为内周而切分的区域R2。进而,在区域R2的内侧,决定以圆C3为外周,以圆C4为内周而切分的区域R3。这样,以使区域Rn位于最内周的方式,同心圆状地决定区域R1、R2、R3···Rn。
然后,在本实施方式中,在圆C1上,决定按照每个中心角a°所移动的点Q,决定以该点Q以及采样点P为两端的扫描线PQ。在扫描线PQ上,检测各区域R1~Rn的像素。如上所述,在步骤S21、S22中,像素被分组为有意义的像素和没有意义的像素。
另外,如后所述,点Q在最外廓的圆C1上按照每个中心角a°移动,扫描线PQ以点P为中心针对每个角a°旋转,覆盖以点P为中心半径为r的圆C1内的全部区域。即,针对每个扫描线PQ求出的特征矢量的数量成为360/a。通过将a设定为小的值,可以检测图像以及地图的小的特征,能够以高精度对图像和地图进行匹配。另一方面,通过将a设定为大的值,可以高速地进行图像和地图的匹配运算。
对于采样点P,也可以选择抽出特征模式的对象的图像以及地图内的所有像素,但也可以按照规定的间隔(例如,每隔一个或每隔10个像素的一个等)选择。
图4是说明本发明的实施方式的特征矢量的标准化特征量的图,示出采样点P以及扫描线PQ。
在本实施方式中,使用式[1],求出第i区域Ri的特征矢量的标准化特征量K(i,j)。具体而言,数出在扫描线PQ上在区域Ri内的像素中的在步骤S21、S22中被分组了的有意义的像素的数量Ai,在扫描线PQ上数出区域Ri内的所有像素的数量N。然后,使用式[1],通过用Ai除以N,从而求出特征矢量的标准化特征量K(i,j)。
【式1】
K ( i , j ) = A i N , N>0[1]
即,在所述地图的例子中,在扫描线PQ上在区域Ri内的所有像素中存在点或者线的情况下,判定为对象的所有像素是非背景的有意义的像素,标准化特征量K(i,j)为1。另一方面,在扫描线PQ上区域Ri内的所有像素表示背景的情况下,判定为对象的所有像素都不是有意义的像素,标准化特征量K(i,j)为0。这样求出的K(i,j)为特征矢量的要素。
图5是说明构成本发明的实施方式的特征模式的特征矢量的图。
针对每个采样点(特征点)所求出的特征模式是由特征矢量的列构成,是具有m×n个要素的二维矩阵。
在图5中,Ri是通过以点P为中心的圆C1···Cn所划分的区域,n是所划分的区域的数量。另外,Vj是针对每个扫描线PQ所求出的一维特征矢量,用式[2]来表示。
【式2】
Vj=[K(1,j),K(2,j),...,K(i,j),...,K(n,j)]    [2]
m是在一个特征模式中所包含的扫描线的数量、即特征矢量的数量,通过m=360/a求出。a是图3所示的扫描线PQ之间的角度。该特征矢量具有n个要素,各要素K(i,j)是对区域Ri中包含的像素进行了标准化后的特征量。
图6是本发明的实施方式的对照候补模式集生成处理(S23、S24)的详细内容的流程图。
首先,从所输入的图像(或者地图)中包含的像素中选择采样点,生成所选择出的采样点的特征模式(S231)。对于所选择的采样点(像素),既可以选择所有像素,也可以按照规定的间隔(例如,每10个像素)进行选择。在该步骤中生成的特征模式如图5所示,由多个特征矢量构成。对所有采样点,反复该步骤S231的处理。
对于所有采样点,S231的处理结束之后,评价各采样点的特征模式(S232)。在该评价中,首先使用式[3],计算出特征矢量Vj与中心矢量之间的角θj。此处,中心矢量是所有要素为1的矢量。另外,在式[3]中,n是所划分的区域的数量。
【式3】
&theta; j = cos - 1 ( &Sigma; i = 1 n K ( i , j ) &Sigma; i = 1 n ( K ( i , j ) ) 2 ) - - - [ 3 ]
接下来,使用式[4],对特征矢量Vj的角θj进行平均,针对每个特征模式,求出角θ。在式[4]中,m是该特征模式中包含的特征矢量的数量。
【数4】
&theta; = &Sigma; j = 1 m &theta; j m - - - [ 4 ]
然后,最后使用式[5]来判定特征模式。即,在式[5]中,如果f=1则是良好的特征模式,如果f=0则是不佳的特征模式。在式[5]中,α是判定阈值(容许误差),可以使用0°至45°(例如,30°)。另外,如果将α设定为大的值,则判定为特征模式良好的情形变多,图像和地图的匹配中所使用的特征点变多。另一方面,如果对α设定小的值,则判定为特征模式良好的情形变少,可以将更有意义的特征点用于图像和地图的匹配中。
【式5】
f = 1 0 &le; &theta; &le; &alpha; 0 &alpha; < &theta; < ( 180 - &alpha; ) 1 ( 180 - &alpha; ) &le; &theta; &le; 180 - - - [ 5 ]
即,在本实施方式的特征模式的判定处理中,如果在成为决定标准化特征量K(i,j)的源的像素中包含大量的有意义的像素,则K(i,j)接近1,作为结果,θ接近0°或者180°。在该情况下,判定为该特征模式是良好的特征模式。另一方面,如果在成为决定K(i,j)的源的像素中仅包含少量的有意义的像素,则作为结果,θ接近90°。在该情况下,判定为该特征模式是不佳的特征模式。
之后,放弃图像的采样点和对应的地图的采样点中的至少一方被评价为不佳的特征点,抽出图像的采样点和对应的地图的采样点这两方都被评价为良好的特征点,生成包括所抽出的特征点的对照候补模式集(S233)。
进而,也可以在组内的特征模式的角的平均小于规定的阈值的范围中,对判定为良好的特征模式进行分组。通过该特征模式的分组,找出特征模式的中心,保持最接近该中心的特征模式,去除包含在组中的其他特征模式即可。由此,可以仅使用代表所匹配的图像和/或图表的特征模式来进行匹配处理,可以通过少的计算机资源来执行匹配处理。
另外,还可以生成被分组后的特征模式中的位于通过角的平均值所表示的中心处的特征模式,并通过所生成的中心的特征模式,代表该组的特征模式。
这样,在本实施方式中,可以通过在一个采样点P处,求出特征矢量Vj的角度的平均,将与有意义的像素有关系的采样点P作为特征点来抽出,生成各图像以及地图(图表)的对照候补模式集。
另外,也可以在S231之前,进行使所匹配的图像的缩尺和地图的缩尺相配的处理。在该情况下,使小的缩尺相配于大的缩尺即可。
接下来,使用图7至图10,说明微调整处理(图2的S5)。
图7示出成为本实施方式的匹配处理的对象的图像(航空照片)的例子。在图7所示的图像中,包括分成多个类的区域101~105。通常,照片的像素不明确,所以照片上的边界较粗并且不明确。
图8示出成为本实施方式的匹配处理的对象的图表(地图)的例子。在图8所示的地图中,包括分成多个类的区域111~116。如上所述,地图由多个节点和结合节点之间的链路构成,所以地图的像素明确。
因此,在多数情况下,图像上的区域和地图上的区域不一致,它们局部上完全不同。难以从图像和地图中抽出特征点,所抽出的特征点并非全部相关联。但是,可以通过某种程度类似的部分,对两者进行匹配。
对于以往的匹配方法的特征点,即使在相同种类的匹配方法中也无法处理。其原因为,特征点呈现一般分布,特征点的类似性在特征点的位置和分布上未表现出。因此,在本实施方式中,能够以大的容许差发现实现高精度的高等级并且隐蔽的类似性。
如上所述,用特征矢量的列来表示特征模式。因此,可以构筑图像上的特征点和地图上的特征点的对应关系。图9示出按照所计算出的最佳参数所重合了的图像和地图,图10示出使边界局部地变形的修正处理。
如果参照图9,则可知图像的区域101和地图的区域111对应,图像的区域102和地图的区域112对应,图像的区域105和地图的区域115对应。
但是,地图上的区域的边界和照片上的区域的边界不完全一致,在两者之间存在偏差。因此,进行使边界局部地变形的修正处理,以使地图的区域的边界和照片的区域的边界相配。通过从地图以及照片中抽出边缘,决定地图以及照片的区域的边界。然后,通过使从一方抽出的边缘与从另一方抽出的边缘一致,使地图上的边界和照片上的边界相配。
另外,在图10中,进行了使地图上的边界相配于照片上的边界的微调整处理,但也可以进行使照片上的边界相配于地图上的边界的微调整处理。可以由用户设定以哪个边界为基准,使哪个边界变形。
之后,对所匹配的图像和地图进行结合,作为新的数据集进行输出(图2的S6)。
接下来,说明在生成特征模式时进行缩放的变形例。
图11是在生成特征模式之前所执行的变更图像以及地图的缩尺的说明图。
特征模式记录了比特征点宽的区域的特征信息,所以在局部性的信息欠缺或者变形的情况下,特征模式未反映局部的变化。为了提高针对缩尺变化的稳定性,如图11所示,在生成特征模式的期间,应用金字塔方案。即,不仅是原来的缩尺(等级0),而且还追加小的缩尺(等级1)和大的缩尺(等级2)二个特征模式。然后,如图5所示,在n×m的多维矢量(矩阵)中排列所有特征矢量。
如以上说明,本实施方式提出了针对不同类型的图像、图表(图像和图表、图像彼此、图表彼此等)的极其有效的匹配方法。另外,本实施方式可以应用于不同类型的图像、图表(例如,地图、可视图像、热图像、蓝图(blueprint)、CAD图等)的自动匹配。因此,本实施方式对于GIS、遥感等众多应用、特别是遥感图像和地图的匹配是有意义的。
进而,本发明的实施方式还可以应用于二维以外的图像/图表(图像与图表、图像和图像、图表和图表)、例如二维图像和三维图像(例如点云数据)、二维的图表和三维图像。
进而,通过本实施方式发现的特征模式的特征比以往的特征点显著。
如以上说明,根据本发明的实施方式,可以自动地、短时间并且正确地对图像和图表(或者、图像彼此、图表彼此)进行位置对准。另外,本实施方式的位置对准方法可以应用于各种图像/图表中的数据融合。

Claims (14)

1.一种计算机系统,进行图像彼此、图表彼此、或者图像和图表之间的位置对准,其特征在于,具备:
运算部,执行程序;
存储部,保存由所述运算部执行的程序;
输入部,接收要被位置对准的所述图像以及所述图表的至少二个;
数据记录部,将所述接收到的图像以及图表保存在存储装置中,
所述计算机系统还包括:
特征模式生成部,从所述存储装置读出所述接收到的图像以及图表,将所述读出的图像以及图表分别分割为以采样点为中心的多个区域,判定所述分割的区域的特性,生成所述图像以及图表的特征模式的集合;
关系计算部,通过对所述生成的特征模式进行比较,计算出进行所述位置对准的图像以及图表的对应关系;
变换部,根据所述计算出的对应关系,变换进行所述位置对准的图像以及图表的至少一个的坐标系;以及
结合部,对变换了所述坐标系的图像以及图表进行结合,
所述特征模式生成部
设置所述采样点、和作为以该采样点为中心的圆的所述区域的圆周上的移动点,
通过使所述移动点在所述圆周上按照每规定的中心角进行移动,生成连结所述采样点和所述移动点的多个扫描线,
在所述生成的各扫描线的位置处,针对每个所述扫描线生成特征矢量,
通过结合所述生成的特征矢量,生成所述采样点的特征模式。
2.根据权利要求1所述的计算机系统,其特征在于,
所述特征模式生成部
沿着所述生成的各扫描线,针对所述各区域的每一个,对该各区域内的有意义的像素数进行计数,
通过将所述计数出的有意义的像素数除以该扫描线上的所有像素数,求出该区域的标准化后的特征值,
生成以所有所述特征值为要素的特征矢量,
所述关系计算部使用多个所述采样点的特征模式,计算出进行所述位置对准的图像以及图表的对应关系。
3.根据权利要求1或2所述的计算机系统,其特征在于,
所述特征模式生成部
使用所述特征矢量与所有要素为1的矢量之间的角,评价所生成的特征模式,
生成包括所述评价的结果判定为良好的特征模式在内的特征模式的集合。
4.根据权利要求3所述的计算机系统,其特征在于,
所述特征模式生成部
计算出所有要素值为1的中心矢量与各特征矢量之间的角,
将一个采样点处的所有所述角的平均作为所述特征模式的角进行计算,
判定所述角的平均值是否处于所述中心矢量与各特征矢量之间的角和规定的范围内,
使用规定的阈值,判定具有所述角的平均值的矢量的朝向是否与所述中心矢量的朝向类似,
在判定为具有所述角的平均值的矢量的朝向与所述中心矢量的朝向类似的情况下,将该采样点的特征模式判定为是良好的特征模式。
5.根据权利要求3所述的计算机系统,其特征在于,
所述特征模式生成部
选择所述良好的特征模式,以使所述特征模式的角的平均值小于规定的阈值,
仅使在所述选择出的特征模式中的、最接近所述特征模式的角的平均值的特征模式留下,去除选择出的其他所述特征模式。
6.根据权利要求1所述的计算机系统,其特征在于,
具有修正部,该修正部按照所述变换后的坐标系的坐标,以使进行所述位置对准的图像以及图表的至少一方中所包含的要素之间的差异减少的方式,变换所述要素的形状,
所述结合部对修正了所述要素的形状的图像以及图表进行结合。
7.根据权利要求6所述的计算机系统,其特征在于,
所述修正部
在变换所述要素的形状的情况下,抽出匹配对象的图像以及图表中的成为变换目的地的目标图像/图表中的边缘,
对变换源的图像/图表的边缘进行变形,以使得与所述目标图像/图表中的边缘一致,即、使变换源的图像的边缘与目标图像中的边缘、使变换源的图像的边缘与目标图表中的边缘、使变换源的图表的边缘与目标图像中的边缘、使变换源的图表的边缘与目标图表中的边缘一致。
8.一种使用计算机对图像彼此、图表彼此、或者图像和图表进行位置对准的位置对准方法,该位置对准方法的特征在于,包括:
输入步骤,接收要被位置对准的所述图像以及所述图表的至少两个,将所述接收到的图像以及图表保存在存储装置中;
特征模式生成步骤,从所述存储装置读出所述接收到的图像以及图表,将所述读出的图像以及图表分别分割为以采样点为中心的多个区域,判定所述分割的区域的特性,生成所述图像以及图表的特征模式的集合;
关系计算步骤,通过对所述生成的特征模式进行比较,计算出进行所述位置对准的图像以及图表的对应关系;
变换步骤,根据所述计算出的对应关系,变换进行所述位置对准的图像以及图表的至少一个的坐标系;以及
结合步骤,对变换了所述坐标系的图像以及图表进行结合,
在所述特征模式生成步骤中,
设置所述采样点、和作为以该采样点为中心的圆的所述区域的圆周上的移动点,
通过使所述移动点在所述圆周上按照每规定的中心角进行移动,生成连结所述采样点和所述移动点的多个扫描线,
在所述生成的各扫描线的位置处,针对每个所述扫描线生成特征矢量,
通过对所述生成的特征矢量进行结合,生成所述采样点的特征模式。
9.根据权利要求8所述的位置对准方法,其特征在于,
在所述特征模式生成步骤中,
沿着所述生成的各扫描线,针对所述各区域的每一个,对该各区域内的有意义的像素数进行计数,
通过将所述计数出的有意义的像素数除以该扫描线上的所有像素数,求出该区域的标准化后的特征值,
生成以所有所述特征值为要素的特征矢量,
在所述关系计算步骤中,使用多个所述采样点的特征模式,计算出进行所述位置对准的图像以及图表的对应关系。
10.根据权利要求8或9所述的位置对准方法,其特征在于,
在所述特征模式生成步骤中,使用所述特征矢量与所有要素为1的矢量之间的角,评价所生成的特征模式,生成包括所述评价的结果判定为良好的特征模式在内的特征模式的集合。
11.根据权利要求10所述的位置对准方法,其特征在于,
在所述特征模式生成步骤中,
计算出所有要素值为1的中心矢量与各特征矢量之间的角,
将一个采样点处的所有所述角的平均作为所述特征模式的角进行计算,
判定所述角的平均值是否处于所述中心矢量的角和规定的范围内,
使用规定的阈值,判定具有所述角的平均值的矢量的朝向是否与所述中心矢量的朝向类似,
在判定为具有所述角的平均值的矢量的朝向与所述中心矢量的朝向类似的情况下,将该采样点的特征模式判定为是良好的特征模式。
12.根据权利要求10所述的位置对准方法,其特征在于,
在生成所述特征模式的集合的情况下,选择所述良好的特征模式,以使所述特征模式的角的平均值小于规定的阈值,
仅使在所述选择出的特征模式中的最接近所述特征模式的角的平均值的特征模式留下,去除所选择出的其他所述特征模式。
13.根据权利要求8所述的位置对准方法,其特征在于,
在所述变换步骤之后,按照所述变换后的坐标系的坐标,以使进行所述位置对准的图像以及图表的至少一方中所包含的要素之间的差异减少的方式,变换所述要素的形状,
在所述结合步骤中,对修正了所述要素的形状的图像以及图表进行结合。
14.根据权利要求13所述的位置对准方法,其特征在于,
在变换所述要素的形状的情况下,抽出匹配对象的图像以及图表中的成为变换目的地的目标图像/图表中的边缘,
对变换源的图像/图表的边缘进行变形,以使得与所述目标图像/图表中的边缘一致,即、使变换源的图像的边缘与目标图像中的边缘、使变换源的图像的边缘与目标图表中的边缘、使变换源的图表的边缘与目标图像中的边缘、使变换源的图表的边缘与目标图表中的边缘一致。
CN2011100493236A 2010-09-29 2011-03-01 计算机系统、以及位置对准方法 Expired - Fee Related CN102436670B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010218477A JP5470607B2 (ja) 2010-09-29 2010-09-29 計算機システム、及び画像/図表を位置合わせする方法
JP2010-218477 2010-09-29

Publications (2)

Publication Number Publication Date
CN102436670A CN102436670A (zh) 2012-05-02
CN102436670B true CN102436670B (zh) 2013-11-06

Family

ID=45870726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100493236A Expired - Fee Related CN102436670B (zh) 2010-09-29 2011-03-01 计算机系统、以及位置对准方法

Country Status (3)

Country Link
US (1) US8666170B2 (zh)
JP (1) JP5470607B2 (zh)
CN (1) CN102436670B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8505056B2 (en) * 2008-07-10 2013-08-06 Apple Inc. Updating properties of remote A/V performance nodes
US8928666B2 (en) * 2012-10-11 2015-01-06 Google Inc. Navigating visual data associated with a point of interest
FR3001227B1 (fr) 2013-01-21 2015-02-27 Biomerieux Sa Moyen, procede et produit-programme d’ordinateur pour determiner le taux de concentration de micro-organismes lors d’une analyse de fluide
KR102149274B1 (ko) * 2013-11-29 2020-08-28 한화테크윈 주식회사 특징점 매칭을 이용한 영상매칭 방법
IL241200A0 (en) * 2015-09-06 2015-11-30 Unision Air Ltd System and method for self-geo-location of an unmanned aerial vehicle
CN105787926B (zh) * 2016-02-04 2018-07-27 上海爱福窝云技术有限公司 一种图形自动对齐的方法及装置
CN106204610A (zh) * 2016-07-20 2016-12-07 张家港长安大学汽车工程研究院 基于图像处理的轴孔装配自动对中系统
US20180374237A1 (en) * 2017-06-23 2018-12-27 Canon Kabushiki Kaisha Method, system and apparatus for determining a pose for an object
JP7241906B2 (ja) * 2019-10-31 2023-03-17 三菱電機株式会社 データ処理装置およびデータ処理方法
CN111080525B (zh) * 2019-12-19 2023-04-28 成都海擎科技有限公司 一种基于sift特征的分布式图像和图元拼接方法
US11808578B2 (en) * 2020-05-29 2023-11-07 Aurora Flight Sciences Corporation Global positioning denied navigation
CN112432613B (zh) * 2020-10-27 2022-06-28 成都南方电子仪表有限公司 一种对中测量装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1488125A (zh) * 2000-12-08 2004-04-07 响应数字图象中的特征对准点阵的方法
CN1892703A (zh) * 2005-06-22 2007-01-10 西门子共同研究公司 将来自预对准图像对的先验信息结合到基于emst的图像配准中
CN1918601A (zh) * 2004-02-13 2007-02-21 皇家飞利浦电子股份有限公司 使结构化对象的图像对准的装置和方法
CN1920882A (zh) * 2005-08-24 2007-02-28 西门子共同研究公司 基于显著区域特征的医学图像三维多模配准的系统和方法
CN101329289A (zh) * 2007-06-21 2008-12-24 弗.哈夫曼-拉罗切有限公司 用于图像中物体对准的系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US20050226536A1 (en) * 2004-01-30 2005-10-13 Applera Corporation Systems and methods for aligning multiple point sets
US7660441B2 (en) * 2004-07-09 2010-02-09 Southern California, University System and method for fusing geospatial data
JP4521235B2 (ja) * 2004-08-25 2010-08-11 日立ソフトウエアエンジニアリング株式会社 撮影画像の変化抽出装置及び方法
JP2006260527A (ja) * 2005-02-16 2006-09-28 Toshiba Corp 画像マッチング方法およびこれを用いた画像補間方法
JP4378660B2 (ja) * 2007-02-26 2009-12-09 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8634604B2 (en) * 2008-05-05 2014-01-21 Sonavation, Inc. Method and system for enhanced image alignment
US8520903B2 (en) * 2010-02-01 2013-08-27 Daon Holdings Limited Method and system of accounting for positional variability of biometric features

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1488125A (zh) * 2000-12-08 2004-04-07 响应数字图象中的特征对准点阵的方法
CN1918601A (zh) * 2004-02-13 2007-02-21 皇家飞利浦电子股份有限公司 使结构化对象的图像对准的装置和方法
CN1892703A (zh) * 2005-06-22 2007-01-10 西门子共同研究公司 将来自预对准图像对的先验信息结合到基于emst的图像配准中
CN1920882A (zh) * 2005-08-24 2007-02-28 西门子共同研究公司 基于显著区域特征的医学图像三维多模配准的系统和方法
CN101329289A (zh) * 2007-06-21 2008-12-24 弗.哈夫曼-拉罗切有限公司 用于图像中物体对准的系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘贵喜, 王蕾.基于区域选择和特征点匹配的图像配准算法.《光电子·激光》.2007,第18卷(第8期),999-1002页.
基于区域选择和特征点匹配的图像配准算法;刘贵喜, 王蕾;《光电子·激光》;20070831;第18卷(第8期);999-1002页 *
基于角点的图像配准问题研究;江舒;《中国优秀硕士学位论文全文数据库信息科技辑》;20080615(第06期);摘要,正文第2-4,13,48-50,53页,图2-2,4-4,4-7 *
江舒.基于角点的图像配准问题研究.《中国优秀硕士学位论文全文数据库信息科技辑》.2008,(第06期),摘要,正文第2-4,13,48-50,53页,图2-2,4-4,4-7.

Also Published As

Publication number Publication date
JP5470607B2 (ja) 2014-04-16
US8666170B2 (en) 2014-03-04
US20120076409A1 (en) 2012-03-29
CN102436670A (zh) 2012-05-02
JP2012073845A (ja) 2012-04-12

Similar Documents

Publication Publication Date Title
CN102436670B (zh) 计算机系统、以及位置对准方法
US11443133B2 (en) Computer vision system for industrial equipment gauge digitization and alarms
Chen et al. Image fusion with local spectral consistency and dynamic gradient sparsity
US7933451B2 (en) Feature extraction using pixel-level and object-level analysis
Majdik et al. Air‐ground matching: Appearance‐based GPS‐denied urban localization of micro aerial vehicles
CN104200461B (zh) 基于互信息图像选块和sift特征的遥感图像配准方法
RU2421814C2 (ru) Способ формирования составного изображения
Palenichka et al. Automatic extraction of control points for the registration of optical satellite and LiDAR images
JP6554900B2 (ja) テンプレート作成装置及びテンプレート作成方法
CN104134208B (zh) 利用几何结构特征从粗到精的红外与可见光图像配准方法
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
JP6898776B2 (ja) 三次元計測装置
JP2000322573A (ja) 画像処理方法及びその装置
Weinmann et al. Geometric point quality assessment for the automated, markerless and robust registration of unordered TLS point clouds
JP2023530449A (ja) 空中と地上の位置合わせのためのシステムおよび方法
Chen et al. Robust visible-infrared image matching by exploiting dominant edge orientations
KR20180092591A (ko) Uav 영상매칭 기술을 이용한 구조물 형상변화 탐지 알고리즘
Misra et al. An efficient algorithm for automatic fusion of RISAT-1 SAR data and Resourcesat-2 optical images
Jhan et al. A generalized tool for accurate and efficient image registration of UAV multi-lens multispectral cameras by N-SURF matching
Misra et al. SPRINT: Spectra Preserving Radiance Image Fusion Technique using holistic deep edge spatial attention and Minnaert guided Bayesian probabilistic model
Parmehr et al. Automatic parameter selection for intensity-based registration of imagery to LiDAR data
Zhao et al. Robust Region Feature Extraction with Salient MSER and Segment Distance-weighted GLOH for Remote Sensing Image Registration
Aktar et al. Robust mosaicking of maize fields from aerial imagery
Henderson et al. Edge-and shape-based geometric registration
Liu et al. Segmentation and reconstruction of buildings with aerial oblique photography point clouds

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131106

Termination date: 20180301

CF01 Termination of patent right due to non-payment of annual fee