CN107194959A - 基于切片进行图像配准的方法和装置 - Google Patents
基于切片进行图像配准的方法和装置 Download PDFInfo
- Publication number
- CN107194959A CN107194959A CN201710278794.1A CN201710278794A CN107194959A CN 107194959 A CN107194959 A CN 107194959A CN 201710278794 A CN201710278794 A CN 201710278794A CN 107194959 A CN107194959 A CN 107194959A
- Authority
- CN
- China
- Prior art keywords
- registration
- image
- matrix
- section
- standard picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims abstract description 113
- 230000009466 transformation Effects 0.000 claims abstract description 91
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- BBEAQIROQSPTKN-UHFFFAOYSA-N pyrene Chemical compound C1=CC=C2C=CC3=CC=CC4=CC=C1C2=C43 BBEAQIROQSPTKN-UHFFFAOYSA-N 0.000 description 2
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- GVEPBJHOBDJJJI-UHFFFAOYSA-N fluoranthrene Natural products C1=CC(C2=CC=CC=C22)=C3C2=CC=CC3=C1 GVEPBJHOBDJJJI-UHFFFAOYSA-N 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明的目的是提供一种基于切片进行图像配准的方法和装置。根据本发明的方法包括以下步骤：基于待配准图像与标准图像的粗匹配点对中的多个特征点对，计算作用于待配准图像的变换模型矩阵，以基于该变换模型矩阵得到变换后的初步配准图像；基于初步配准图像与标准图像的位置信息，确定所述初步配准图像与标准图像的重合区域；对所确定的重合区域进行切片，以分别计算对应于重合区域的各个切片的变换矩阵；通过计算对应于各个切片的变换矩阵两两之间的余弦相似度，来从余弦相似度大于预定阈值的一对变换矩阵中选择一个，以将其作用于所述初步配准图像。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于切片进行图像配准的方法和装置。
背景技术
尺度不变特征转换(Scale-invariant feature transform，SIFT)算法是一种常见的用于进行图像配准的算法，该算通过求得图像中的特征点及其描述子得到特征并进行图像特征点匹配。
基于SIFT特征的图像配准方法一般包括特征生成阶段
其中，特征生成阶段主要流程是：
步骤一：构建尺度空间，检测极值点
通过高斯差分(Difference of Gaussian，DOG)图像的极值点来获取特征点。每个特征点包含三部分信息，即位置，所处尺度和方向。由于实现尺度变换的唯一线性核是高斯卷积核，图像的尺度空间可以表示为：
D(x,y,δ)＝(G(x,y,kδ)-G(x,y,δ))*I(x,y)
＝L(x,y,kδ)-L(x,y,δ) (1)
其中，L(x,y,δ)＝G(x,y,δ)*I(x,y)，
其中，D(x,y,δ)为高斯差分尺度空间，由不同尺度的高斯差分核与图像卷积生成，I(x,y)表示原图像，G(x,y,δ)表示尺度可变高斯函数，L(x,y,δ)表示高斯卷积图像。
建立图像金字塔，通过检测高斯差分尺度空间来获得极值点。
步骤二：特征点过滤并进行精确定位
为得到稳定的特征点，需要过滤掉不稳定的低对比度特征点和边缘响应点。由步骤一中尺度空间的泰勒展开式可得到：
对上式进行求导，并令其结果为0，可得到特征点位置
结合上述两式，得到:
通过的取值范围来过滤掉低对比度的特征点。
接着，利用一个Hessian矩阵H来去除边缘响应点，表示为：
通过以下约束条件来去除边缘响应点：
其中γ为较大特征值与较小特征值的比值，Dxx表示高斯差分金字塔中某一尺度的图像x方向求导两次。
步骤三：为特征点分配方向值
(x,y)处的梯度大小表示为：
(x,y)处的方向表示为：
其中，L表示每个特征点所处的尺度。为确定特征点的方向，利用直方图统计关键点邻域像素的梯度方向，把直方图的峰值作为该关键点的方向。
步骤四：生成特征描述子
具体地，选择每个特征点的16*16邻域像素，平均分成16个4*4的邻域窗口大小，每个窗口有8个方向的信息，因此可以对每个特征点形成4*4*8＝128维的描述子。
当生成阶段完成后，选取待配准影像与标准影像相应特征点的特征描述子之间的欧氏距离最小的点选为匹配点，根据最近邻和次近邻的欧式距离比值关系进行筛选，得到第一组粗匹配点对。
然而，基于SIFT算法的图像配准方案的特征匹配精确度仍然有待提高，特别是在对遥感影像进行配准时，由于整张图像需要提取的特征点较多，计算复杂度较高，并且可能会在相似区域提取到相同的特征点，从而增大了特征点的误配率，对特征点的匹配精确度造成影响。
发明内容
本发明的目的是提供一种基于切片进行图像配准的方法和装置。
根据本发明的一个方面，提供了一种基于切片进行图像配准的方法，其中，所述方法使用SIFT算法得到待配准图像与标准图像的特征点并通过筛选得到粗匹配点对，所述方法包括以下步骤：
a基于待配准图像与标准图像的粗匹配点对中的多个特征点对，计算作用于待配准图像的变换模型矩阵，以基于该变换模型矩阵得到变换后的初步配准图像；
b基于初步配准图像与标准图像的位置信息，确定所述初步配准图像与标准图像的重合区域；
c对所确定的重合区域进行切片，以分别计算对应于重合区域的各个切片的变换矩阵；
d通过计算对应于各个切片的变换矩阵两两之间的余弦相似度，来从余弦相似度大于预定阈值的一对变换矩阵中选择一个，以将其作用于所述初步配准图像。
根据本发明的一个方面，提供了一种基于切片进行图像配准的配准装置，其中，所述方法使用SIFT算法得到待配准图像与标准图像的特征点并通过筛选得到粗匹配点对，所述方法包括以下步骤：
计算装置，用于基于待配准图像与标准图像的粗匹配点对中的多个特征点对，计算作用于待配准图像的变换模型矩阵，以基于该变换模型矩阵得到变换后的初步配准图像；
确定装置，用于基于初步配准图像与标准图像的位置信息，确定所述初步配准图像与标准图像的重合区域；
切片装置，用于对所确定的重合区域进行切片，以分别计算对应于重合区域的各个切片的变换矩阵；
选择装置，用于通过计算对应于各个切片的变换矩阵两两之间的余弦相似度，来从余弦相似度大于预定阈值的一对变换矩阵中选择一个，以将其作用于所述初步配准图像。
与现有技术相比，本发明具有以下优点：通过选择待配准图像和标准图像的重合区域进行切片，并通过计算各个切片的变换矩阵两两之间的余弦相似度，来选择作用于待配准图像的变换矩阵，与一般的基于SIFT算法的方案相比，提高了待配准图像和标准图像的特征匹配的精确度。并且，根据本发明的方案缩小了配准范围，降低了配准相关计算的复杂度，提高了效率，从而在对遥感影像进行配准时可达到较优的配准效果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示意出了根据本发明的一种基于切片进行图像配准的方法流程图；
图2示意出了根据本发明的一种基于切片进行图像配准的配准装置的结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
图1示意出了根据本发明的一种基于切片进行图像配准的方法流程图。根据本发明的方法包括步骤S1、步骤S2、步骤S3和步骤S4。
其中，根据本发明的方法通过包含于计算机设备中的配准装置来实现。所述计算机设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述计算机设备包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板、或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机等。其中，所述用户设备及网络设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
需要说明的是，所述用户设备、网络设备以及网络仅为举例，其他现有的或今后可能出现的用户设备、网络设备以及网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。
优选地，根据本发明的配准装置用于对遥感影像进行配准。
优选地，所述配准装置使用SIFT算法得到待配准图像与标准图像的特征点并通过筛选得到粗匹配点对，在步骤S1之前，所述方法包括以下步骤：配准装置使用SIFT算法提取待配准图像与标准图像的多个特征点和特征点描述子；接着，通过对各个特征点进行筛选得到待配准图像与标准图像的粗匹配点对。该过程已在背景部分进行说明，此处不再赘述。
优选地，配准装置基于随机抽样一致(Random Sample Consensus，RANSAC)算法对各个特征点进行筛选，以得到待配准图像与标准图像的粗匹配点对。
参照图1，在步骤S1中，配准装置基于待配准图像与标准图像的粗匹配点对中的多个特征点对，计算作用于待配准图像的变换模型矩阵，以基于该变换模型矩阵得到变换后的初步配准图像。
其中，所述方法采用三维齐次坐标表示特征点的位置，所述变换模型矩阵为单应性矩阵。
优选地，配准装置基于RANSAC算法，从待配准图像与标准图像的粗匹配点对中选择匹配较好的特征点对来计算变换模型矩阵。
根据本发明的第一示例，在对遥感影像进行配准时，对于待配准影像I1和标准影像I2，M表示变换模型矩阵，并且M为单应性矩阵，得到：
其中，参数m0，m1，m3，m4起尺度和旋转量的作用；参数m2起水平方向位移的作用；m5起垂直方向位移的作用；m6，m7起水平与垂直方向的变形量作用。
将上述矩阵M作用于待配准影像I1(x,y)，则可得到待配准影像I1的初步配准图像I′1，I1与标准影像中的点I2(x′,y′)之间存在的变换关系表示为：
当计算得到8个变换参数m0，m1，m2，m3，m4，m5，m6，m7时，矩阵M即确定。在齐次坐标中，设原图像上点P(xi,yi,1)经过M矩阵变换变为P′(x′i,y′i,1)即p'＝M*p。其存在如下关系：
假设对于M矩阵有8个自由度，这样至少需要4对特征点对求解。4对特征点建立8个方程。当有n对特征点时，构造超定方程，通过最小二乘拟合得到近似解：
解p'＝M*p方程组可以转化为对齐次方程组Ax＝0的求解，即转化为min||Ax||2的非线性优化问题。通过对系数矩阵A求取特征值和特征向量得到，系数矩阵A的最小特征值对应的特征向量就是超定方程组Ax＝0的最小二乘解。
继续参照图1进行说明，在步骤S2中，配准装置基于初步配准图像与标准图像的位置信息，确定所述初步配准图像与标准图像的重合区域。
其中，所述位置信息包括各种可用于表示图像中特征点的地理位置的信息。优选地，所述位置信息包括特征点的三维齐次坐标信息。
接着，在步骤S3中，配准装置对所确定的重合区域进行切片，以分别计算对应于重合区域的各个切片的变换矩阵。
具体地，对于每个切片，配准装置计算该切片与标准图像之间的仿射变换矩阵和该切片与初步配准图像之间的平移变换矩阵；接着，配准装置通过计算平移变换矩阵乘以仿射变换矩阵，得到该切片与标准图像之间的变换矩阵。
根据本发明的一个优选实施例，所述方法采用Shapefile文件进行切片，配准装置将所确定的重合区域的边界信息存储至Shapefile文件中；接着通过对该Shapefile文件进行编辑，来将重合区域划分为多个区域，从而得到重合区域对应的多个切片。
其中，Shapefile文件是描述空间数据的几何和属性特征的非拓扑实体矢量数据结构的一种格式。
优选地，配准装置还可基于geojson文件或vrt文件等来对所述重合区域进行切片。本领域技术人员可基于实际需求来选择合适的方式进行图像切片。
继续对上述第一示例进行说明，配准装置基于初步配准图像I′1与标准图像I2的位置信息确定二者的重合区域，并将重合区域的边界写入Shapefile文件中。接着，配准装置通过对该Shapefile文件进行编辑，将重合区域均等划分为n*n个区域，并存入新的Shapefile文件中。最后根据得到的Shapefile文件对图像进行切片。
对于该重合区域的任一切片i，其与标准影像I2之间都存在一个变换矩阵，因此多个切片与标准影像I2之间存在多个仿射变换矩阵Ai，并且，每个切片与初步待配准影像I′1之间又存在平移矩阵Bi，则每个切片i与标准影像I2相应区域之间存在的变换矩阵表示为：
Ci＝Bi*Ai (13)
其中，对于仿射变换矩阵Ai的计算规则如下：
待配准影像中的每个切片(x,y)与标准影像(x′,y′)之间存在的仿射变换包括平移变换、缩放变换和旋转变换。其中，平移变换表示为：
其中，缩放变换可表示为：
其中，m1,m2为缩放因子。
对于绕原点顺时针旋转角度θ，待配准影像(x,y)与标准影像(x′,y′)之间存在的旋转变换表示为：
同理，若存在逆时针旋转，则存在的旋转变换表示为：
以顺时针旋转为例，待配准影像(x,y)与标准影像(x′,y′)之间的仿射变换关系为：x′＝a1x+a2y+a0，y′＝b1x+b2y+b0，表示为：
其中，表示仿射变换矩阵，a1＝m1*cosθ,b1＝-m1*sinθ，a2＝m2*sinθ,b2＝m2*cosθ。
即最终得到的仿射变换矩阵涉及的变换顺序为：p3*(p1*p2)，同理，其余切片均按照此方式计算，从而可以得到:
其中，对于平移矩阵Bi计算规则如下：
在平移变换中，若点(x,y)被平移到原点，则图像中的相应的特征点则移动了距离采用齐次坐标的表示方式，将二维平面(x,y)认为是三维空间中z＝0的情况。待配准影像点(x,y)与标准影像(x′,y′)相对应点之间满足x′＝x+tx，y′＝y+ty，其存在的变换关系表示为：
则每个切片i与相应的标准影像之间的平移矩阵Bi表示为:
经过上述的旋转变换和平移变换后，每个切片i与相应的标准影像之间存在的变换矩阵为：
继续参照图1进行说明，在步骤S4中，配准装置通过计算对应于各个切片的变换矩阵两两之间的余弦相似度，来从余弦相似度大于预定阈值的一对变换矩阵中选择一个，以将其作用于所述初步配准图像。
继续对前述第一示例进行说明，基于上述公式(22)得到变换矩阵Ci是3*3的矩阵，其中，变换矩阵Ci分别变为i个9维矢量a1,a2,a3,…,ai,其中ai＝(xi1,xi2,xi3,…,xi9)。则两两之间的余弦相似度表示为：
其中，(i＜j)，夹角余弦取值范围属于[-1,1]。
配准装置根据Ci两两之间的相似度选出大于设定阈值的两个相似矩阵，从这两个矩阵中任意选出一个，将该矩阵作用于初步配准影像I′1，因此使I′1的配准精度提高。
根据本发明的一个优选实施例，配准装置计算对应于各个切片的变换矩阵两两之间的余弦相似度，从而得到一对或多对余弦相似度大于预定阈值的相似矩阵；接着，基于每对相似矩阵的余弦相似度，对其求平均值；接着，从余弦相似度大于该平均值的一对相似矩阵中选择一个，以将其作用于所述初步配准图像。
优选地，配准装置可在选择将作用于所述初步配准图像的矩阵后，基于所求得的平均值来对所选择的矩阵进行验证，从而在未通过验证时重新选择矩阵。
例如，根据阈值筛选出5对两两相似矩阵(C1,C2),(C3,C4),(C5,C6),(C7,C8),(C9,C10),也即Ci＝{C1,C2,…,C10}。假设其中包含有4对精确的相似矩阵，1对不精确的相似矩阵。从其中相似的一对中任选一个Ci，比如选择C5，为确保最终选择的变换矩阵C5不是来自于不精确的这1对之中，验证C5是否满足大于(C1,C2),(C3,C4),(C7,C8),(C9,C10)这8个变换矩阵对应的余弦相似度的平均值，以确保C5的正确性。如果未通过验证，则重新从其余相似矩阵中选择将作用于所述初步配准图像的矩阵。
根据本发明的方法通过选择待配准图像和标准图像的重合区域进行切片，并通过计算各个切片的变换矩阵两两之间的余弦相似度，来选择作用于待配准图像的变换矩阵，与一般的基于SIFT算法的方案相比，提高了待配准图像和标准图像的特征匹配的精确度。并且，根据本发明的方法缩小了配准范围，降低了配准相关计算的复杂度，提高了效率，从而在对遥感影像进行配准时可达到较优的配准效果。
图2示意出了根据本发明的一种基于切片进行图像配准的配准装置的结构示意图。根据本发明的配准装置包括计算装置1、确定装置2、切片装置3和选择装置4。
参照图2，计算装置1基于待配准图像与标准图像的粗匹配点对中的多个特征点对，计算作用于待配准图像的变换模型矩阵，以基于该变换模型矩阵得到变换后的初步配准图像。
其中，所述方法采用三维齐次坐标表示特征点的位置，所述变换模型矩阵为单应性矩阵。
优选地，计算装置1基于RANSAC算法，从待配准图像与标准图像的粗匹配点对中选择匹配较好的特征点对来计算变换模型矩阵。
确定装置2基于初步配准图像与标准图像的位置信息，确定所述初步配准图像与标准图像的重合区域。
其中，所述位置信息包括各种可用于表示图像中特征点的地理位置的信息。优选地，所述位置信息包括特征点的三维齐次坐标信息。
接着，切片装置3对所确定的重合区域进行切片，以分别计算对应于重合区域的各个切片的变换矩阵。
具体地，对于每个切片，切片装置3计算该切片与标准图像之间的仿射变换矩阵和该切片与初步配准图像之间的平移变换矩阵；接着，切片装置3通过计算平移变换矩阵乘以仿射变换矩阵，得到该切片与标准图像之间的变换矩阵。
根据本发明的一个优选实施例，所述切片装置3采用Shapefile文件进行切片，配准装置将所确定的重合区域的边界信息存储至Shapefile文件中；接着通过对该Shapefile文件进行编辑，来将重合区域划分为多个区域，从而得到重合区域对应的多个切片。
其中，Shapefile文件是描述空间数据的几何和属性特征的非拓扑实体矢量数据结构的一种格式。
优选地，切片装置3还可基于geojson文件或vrt文件等来对所述重合区域进行切片。本领域技术人员可基于实际需求来选择合适的方式进行图像切片。
接着，选择装置4通过计算对应于各个切片的变换矩阵两两之间的余弦相似度，来从余弦相似度大于预定阈值的一对变换矩阵中选择一个，以将其作用于所述初步配准图像。
根据本发明的一个优选实施例，选择装置4计算对应于各个切片的变换矩阵两两之间的余弦相似度，从而得到一对或多对余弦相似度大于预定阈值的相似矩阵；接着，基于每对相似矩阵的余弦相似度，对其求平均值；接着，从余弦相似度大于该平均值的一对相似矩阵中选择一个，以将其作用于所述初步配准图像。
优选地，选择装置4可在选择将作用于所述初步配准图像的矩阵后，基于所求得的平均值来对所选择的矩阵进行验证，从而在未通过验证时重新选择矩阵。
例如，根据阈值筛选出5对两两相似矩阵(C1,C2),(C3,C4),(C5,C6),(C7,C8),(C9,C10),也即Ci＝{C1,C2,…,C10}。假设其中包含有4对精确的相似矩阵，1对不精确的相似矩阵。从其中相似的一对中任选一个Ci，比如选择C5，为确保最终选择的变换矩阵C5不是来自于不精确的这1对之中，验证C5是否满足大于(C1,C2),(C3,C4),(C7,C8),(C9,C10)这8个变换矩阵对应的余弦相似度的平均值，以确保C5的正确性。如果未通过验证，则重新从其余相似矩阵中选择将作用于所述初步配准图像的矩阵。
根据本发明的方案，通过选择待配准图像和标准图像的重合区域进行切片，并通过计算各个切片的变换矩阵两两之间的余弦相似度，来选择作用于待配准图像的变换矩阵，与一般的基于SIFT算法的方案相比，提高了待配准图像和标准图像的特征匹配的精确度。并且，根据本发明的方案缩小了配准范围，降低了配准相关计算的复杂度，提高了效率，从而在对遥感影像进行配准时可达到较优的配准效果。
本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个功能或步骤的电路。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (11)
1.一种基于切片进行图像配准的方法，其中，所述方法使用SIFT算法得到待配准图像与标准图像的特征点并通过筛选得到粗匹配点对，所述方法包括以下步骤：
a基于待配准图像与标准图像的粗匹配点对中的多个特征点对，计算作用于待配准图像的变换模型矩阵，以基于该变换模型矩阵得到变换后的初步配准图像；
b基于初步配准图像与标准图像的位置信息，确定所述初步配准图像与标准图像的重合区域；
c对所确定的重合区域进行切片，以分别计算对应于重合区域的各个切片的变换矩阵；
d通过计算对应于各个切片的变换矩阵两两之间的余弦相似度，来从余弦相似度大于预定阈值的一对变换矩阵中选择一个，以将其作用于所述初步配准图像。
2.根据权利要求1所述的方法，其中，所述方法采用三维齐次坐标表示特征点的位置，所述变换模型矩阵为单应性矩阵。
3.根据权利要求1所述的方法，其中，所述步骤c包括以下步骤：
-对于每个切片，计算该切片与标准图像之间的仿射变换矩阵和该切片与初步配准图像之间的平移变换矩阵；
-通过计算平移变换矩阵乘以仿射变换矩阵，得到该切片与标准图像之间的变换矩阵。
4.根据权利要求1所述的方法，其中，所述方法采用Shapefile文件进行切片，所述步骤c包括以下步骤：
-将所确定的重合区域的边界信息存储至Shapefile文件中；
-通过对该Shapefile文件进行编辑，来将重合区域划分为多个区域，从而得到重合区域对应的多个切片。
5.根据权利要求1所述的方法，其中，所述步骤d包括以下步骤：
-计算对应于各个切片的变换矩阵两两之间的余弦相似度，从而得到一对或多对余弦相似度大于预定阈值的相似矩阵；
-基于每对相似矩阵的余弦相似度，对其求平均值；
-从余弦相似度大于该平均值的一对相似矩阵中选择一个，以将其作用于所述初步配准图像。
6.根据权利要求1所述的方法，其中，所述方法包括以下步骤：
-使用SIFT算法提取待配准图像与标准图像的多个特征点和特征点描述子；
-通过对各个特征点进行筛选得到待配准图像与标准图像的粗匹配点对。
7.一种基于切片进行图像配准的配准装置，其中，所述方法使用SIFT算法得到待配准图像与标准图像的特征点并通过筛选得到粗匹配点对，所述方法包括以下步骤：
计算装置，用于基于待配准图像与标准图像的粗匹配点对中的多个特征点对，计算作用于待配准图像的变换模型矩阵，以基于该变换模型矩阵得到变换后的初步配准图像；
确定装置，用于基于初步配准图像与标准图像的位置信息，确定所述初步配准图像与标准图像的重合区域；
切片装置，用于对所确定的重合区域进行切片，以分别计算对应于重合区域的各个切片的变换矩阵；
选择装置，用于通过计算对应于各个切片的变换矩阵两两之间的余弦相似度，来从余弦相似度大于预定阈值的一对变换矩阵中选择一个，以将其作用于所述初步配准图像。
8.根据权利要求7所述的配准装置，其中，所述配准装置采用三维齐次坐标表示特征点的位置，所述变换模型矩阵为单应性矩阵。
9.根据权利要求7所述的配准装置，其中，所述切片装置用于：
-对于每个切片，计算该切片与标准图像之间的仿射变换矩阵和该切片与初步配准图像之间的平移变换矩阵；
-通过将得到的仿射变换矩阵和平移变换矩阵相乘，得到该切片与标准图像之间的变换矩阵。
10.根据权利要求7所述的配准装置，其中，所述配准装置采用Shapefile文件进行切片，所述切片装置用于：
-将所确定的重合区域的边界信息存储至Shapefile文件中；
-通过对该Shapefile文件进行编辑，来将重合区域划分为多个区域，从而得到重合区域对应的多个切片。
11.根据权利要求7所述的配准装置，其中，所述选择装置用于：
-计算对应于各个切片的变换矩阵两两之间的余弦相似度，从而得到一对或多对余弦相似度大于预定阈值的相似矩阵；
-基于每对相似矩阵的余弦相似度，对其求平均值；
-从余弦相似度大于该平均值的一对相似矩阵中选择一个，以将其作用于所述初步配准图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710278794.1A CN107194959A (zh) | 2017-04-25 | 2017-04-25 | 基于切片进行图像配准的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710278794.1A CN107194959A (zh) | 2017-04-25 | 2017-04-25 | 基于切片进行图像配准的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107194959A true CN107194959A (zh) | 2017-09-22 |
Family
ID=59872354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710278794.1A Withdrawn CN107194959A (zh) | 2017-04-25 | 2017-04-25 | 基于切片进行图像配准的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107194959A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171651A (zh) * | 2017-12-26 | 2018-06-15 | 天津大学 | 基于多模型几何拟合和分层单应变换的图像对齐方法 |
| CN108470585A (zh) * | 2018-03-14 | 2018-08-31 | 南京泰立瑞信息科技有限公司 | 一种互动式虚拟切片远程标注方法及系统 |
| CN109544498A (zh) * | 2018-11-29 | 2019-03-29 | 燕山大学 | 一种图像自适应融合方法 |
| CN109993800A (zh) * | 2019-03-18 | 2019-07-09 | 五邑大学 | 一种工件尺寸的检测方法、装置及存储介质 |
| CN110210511A (zh) * | 2019-04-19 | 2019-09-06 | 哈尔滨工业大学 | 一种基于余弦测度的改进pca-sift图像配准方法 |
| CN110660091A (zh) * | 2019-09-30 | 2020-01-07 | 北京一起教育信息咨询有限责任公司 | 一种图像配准处理方法、装置和拍照批改作业系统 |
| CN111768338A (zh) * | 2020-06-29 | 2020-10-13 | 广东小天才科技有限公司 | 一种试题图像拼接的方法、装置、电子设备和存储介质 |
| CN111798501A (zh) * | 2020-07-02 | 2020-10-20 | 中航华东光电有限公司 | 融入颜色直方图与余弦相似性的优化图像配准方法 |
| CN112508826A (zh) * | 2020-11-16 | 2021-03-16 | 哈尔滨工业大学（深圳） | 一种基于特征配准及梯度形状匹配融合的印刷品缺陷检测方法 |
| CN113100941A (zh) * | 2021-04-12 | 2021-07-13 | 中国科学院苏州生物医学工程技术研究所 | 基于ss-oct手术导航系统的图像配准方法及系统 |
| CN113470788A (zh) * | 2021-07-08 | 2021-10-01 | 山东志盈医学科技有限公司 | 多个数字切片的同步浏览方法和装置 |
| CN113781530A (zh) * | 2021-10-09 | 2021-12-10 | 上海衡道医学病理诊断中心有限公司 | 一种染色切片的图像配准方法及系统 |
| CN114757924A (zh) * | 2022-04-20 | 2022-07-15 | 成都飞机工业（集团）有限责任公司 | 一种基于双面拍摄的对称相似零件识别方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101488141A (zh) * | 2008-12-16 | 2009-07-22 | 南京莱斯大型电子系统工程有限公司 | 电子地图数据处理方法 |
| CN104574421A (zh) * | 2015-01-29 | 2015-04-29 | 北方工业大学 | 一种大幅面小重合区域高精度多光谱图像配准方法及装置 |
-
2017
- 2017-04-25 CN CN201710278794.1A patent/CN107194959A/zh not_active Withdrawn
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101488141A (zh) * | 2008-12-16 | 2009-07-22 | 南京莱斯大型电子系统工程有限公司 | 电子地图数据处理方法 |
| CN104574421A (zh) * | 2015-01-29 | 2015-04-29 | 北方工业大学 | 一种大幅面小重合区域高精度多光谱图像配准方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 包亮: "arcgis9.0中扫描图像配准及矢量化", 《道客巴巴在线公开：WWW.DOC88.COM/P-38479196919.HTML》 * |
| 王新年等: "改进的基于SIFT和RANSAC的图像配准方法", 《新型工业化》 * |
| 许钢等: "改进型SIFT立体匹配算法研究", 《计算机工程与应用》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171651A (zh) * | 2017-12-26 | 2018-06-15 | 天津大学 | 基于多模型几何拟合和分层单应变换的图像对齐方法 |
| CN108171651B (zh) * | 2017-12-26 | 2021-07-09 | 天津大学 | 基于多模型几何拟合和分层单应变换的图像对齐方法 |
| CN108470585A (zh) * | 2018-03-14 | 2018-08-31 | 南京泰立瑞信息科技有限公司 | 一种互动式虚拟切片远程标注方法及系统 |
| CN109544498A (zh) * | 2018-11-29 | 2019-03-29 | 燕山大学 | 一种图像自适应融合方法 |
| CN109993800A (zh) * | 2019-03-18 | 2019-07-09 | 五邑大学 | 一种工件尺寸的检测方法、装置及存储介质 |
| CN110210511A (zh) * | 2019-04-19 | 2019-09-06 | 哈尔滨工业大学 | 一种基于余弦测度的改进pca-sift图像配准方法 |
| CN110660091A (zh) * | 2019-09-30 | 2020-01-07 | 北京一起教育信息咨询有限责任公司 | 一种图像配准处理方法、装置和拍照批改作业系统 |
| CN111768338A (zh) * | 2020-06-29 | 2020-10-13 | 广东小天才科技有限公司 | 一种试题图像拼接的方法、装置、电子设备和存储介质 |
| CN111768338B (zh) * | 2020-06-29 | 2024-02-06 | 广东小天才科技有限公司 | 一种试题图像拼接的方法、装置、电子设备和存储介质 |
| CN111798501B (zh) * | 2020-07-02 | 2023-11-24 | 中航华东光电有限公司 | 融入颜色直方图与余弦相似性的优化图像配准方法 |
| CN111798501A (zh) * | 2020-07-02 | 2020-10-20 | 中航华东光电有限公司 | 融入颜色直方图与余弦相似性的优化图像配准方法 |
| CN112508826A (zh) * | 2020-11-16 | 2021-03-16 | 哈尔滨工业大学（深圳） | 一种基于特征配准及梯度形状匹配融合的印刷品缺陷检测方法 |
| CN113100941B (zh) * | 2021-04-12 | 2022-03-08 | 中国科学院苏州生物医学工程技术研究所 | 基于ss-oct手术导航系统的图像配准方法及系统 |
| CN113100941A (zh) * | 2021-04-12 | 2021-07-13 | 中国科学院苏州生物医学工程技术研究所 | 基于ss-oct手术导航系统的图像配准方法及系统 |
| CN113470788B (zh) * | 2021-07-08 | 2023-11-24 | 山东志盈医学科技有限公司 | 多个数字切片的同步浏览方法和装置 |
| CN113470788A (zh) * | 2021-07-08 | 2021-10-01 | 山东志盈医学科技有限公司 | 多个数字切片的同步浏览方法和装置 |
| CN113781530A (zh) * | 2021-10-09 | 2021-12-10 | 上海衡道医学病理诊断中心有限公司 | 一种染色切片的图像配准方法及系统 |
| CN113781530B (zh) * | 2021-10-09 | 2024-03-19 | 上海衡道医学病理诊断中心有限公司 | 一种染色切片的图像配准方法及系统 |
| CN114757924A (zh) * | 2022-04-20 | 2022-07-15 | 成都飞机工业（集团）有限责任公司 | 一种基于双面拍摄的对称相似零件识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107194959A (zh) | 基于切片进行图像配准的方法和装置 | |
| CN107170001A (zh) | 用于对图像进行配准的方法和装置 | |
| CN102122359B (zh) | 一种图像配准方法及装置 | |
| Mayunga et al. | A semi‐automated approach for extracting buildings from QuickBird imagery applied to informal settlement mapping | |
| Scaioni et al. | Some applications of 2-D and 3-D photogrammetry during laboratory experiments for hydrogeological risk assessment | |
| CN108401565B (zh) | 基于改进的KAZE特征和Pseudo-RANSAC算法的遥感图像配准方法 | |
| CN109740659B (zh) | 一种图像匹配方法及装置、电子设备、存储介质 | |
| Yoshimura et al. | Automatic registration of MLS point clouds and SfM meshes of urban area | |
| CN111683221B (zh) | 嵌入矢量红线数据的自然资源实时视频监测方法及系统 | |
| Niu et al. | Image retargeting quality assessment based on registration confidence measure and noticeability-based pooling | |
| CN113240656B (zh) | 视觉定位方法及相关装置、设备 | |
| Tsai et al. | Polygon‐based texture mapping for cyber city 3D building models | |
| CN111402429B (zh) | 一种尺度还原、三维重建方法、系统、存储介质及设备 | |
| Gonzalez-Aguilera et al. | From point cloud to CAD models: Laser and optics geotechnology for the design of electrical substations | |
| Liu et al. | Automated building change detection using UltraCamD images and existing CAD data | |
| CN117132649A (zh) | 人工智能融合北斗卫星导航的船舶视频定位方法及装置 | |
| Sung et al. | A fast 3D scene reconstructing method using continuous video | |
| Pan et al. | Multisource data registration based on NURBS description of contours | |
| Huang et al. | An improved RANSAC algorithm of color image stitching | |
| CN113570535B (zh) | 视觉定位方法及相关装置、设备 | |
| Liu et al. | New anti-blur and illumination-robust combined invariant for stereo vision in human belly reconstruction | |
| Gupta et al. | Image feature detection using an improved implementation of maximally stable extremal regions for augmented reality applications | |
| Wang et al. | A fast mosaic method for airborne images: the new Template-Convolution Speed-Up Robust Features (TSURF) algorithm | |
| JP5227251B2 (ja) | カメラ校正装置およびカメラ校正プログラム | |
| Radhika et al. | 3D modelling of a jewellery and its virtual try-on |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180514 Address after: 100085 Beijing Haidian District Xueyuan Road armor 5, 2 square B North -1081 Applicant after: Beijing star science and Technology Co., Ltd. Address before: 100085 Beijing Haidian District Xueyuan Road a 5, 2 cottage B-1011 Applicant before: Beijing to gather information technology Co. Ltd. |
|
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20170922 |