CN111768436A - 一种基于Faster-RCNN改进的图像特征块配准方法 - Google Patents
一种基于Faster-RCNN改进的图像特征块配准方法 Download PDFInfo
- Publication number
- CN111768436A CN111768436A CN202010552569.4A CN202010552569A CN111768436A CN 111768436 A CN111768436 A CN 111768436A CN 202010552569 A CN202010552569 A CN 202010552569A CN 111768436 A CN111768436 A CN 111768436A
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- feature block
- registration
- improved
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 10
- 230000007547 defect Effects 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 7
- 238000007667 floating Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 238000012952 Resampling Methods 0.000 claims 1
- 230000002349 favourable effect Effects 0.000 claims 1
- 230000003993 interaction Effects 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000004438 eyesight Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000004913 activation Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于Faster‑RCNN改进的图像特征块配准方法。该方法可以应用在遥感、计算机视觉、医学影像等众多领域，是多种图像处理技术的基础，属于计算机视觉领域。本发明提出特征块匹配的思路，弥补传统的SIFT及其改进的配准算法在提取特征点过程中，特征点选取受限，检测特征点数目少等不足。利用卷积神经网络中的卷积层或池化层进行特征块的提取，利用提出的改进感知哈希算法对提取出来的特征块构成稀疏矩阵进行相似性计算，完成图像配准。本发明利用改进的RPN方法进行处理后自动获取图像中的特征区域，利用得到的特征区域，进行配准加快了图像配准的速度，提高了配准的鲁棒性。本发明对CNN卷积层输出的Feature Map使用改进的感知哈希算法进行特征匹配，简化了配准过程中的算法复杂度。
Description
技术领域
本发明涉及一种基于Faster-RCNN改进的图像特征块配准方法。该方法可以应用在遥感、计算机视觉、医学影像等众多领域，是多种图像处理技术的基础，属于计算机视觉领域。
背景技术
在数字图像处理领域中配准一直是科技工作者所研究的热门问题之一。由于在遥感、计算机视觉、医学影像等众多领域中进行图像与数据的分析必须借助图像配准来完成，因而不断优化配准方法，对改善上述实际应用具有十分深远的意义。图像配准的实质就是将不同时间、不同成像设备在不同条件下获得的两幅或多幅图像进行匹配、叠加的过程，这些图像之间一般会存在差异，它们之间的差异性表现在分辨率、灰度属性、位置平移和旋转、比例放缩、非线性变形等方面。经过图像配准，可以使图像质量更高，清晰度更好，定位更准确。
现有的图像配准方法可归纳为基于灰度信息法、变换域法和基于特征的配准方法三大类。基于灰度的配准方法主要有：互相关法；互信息法；序列相似度检测等方法，它们直接利用两幅图像之间灰度度量的相似性，以图像内部的信息为依据，采用搜索方法寻找相似度最大或者最小点，确定参考图像和浮动图像之间的变换参数。这种方法实现简单，不需要对参考图像和待配准图像进行复杂的预处理；但是同时也存在以下不足：(1)对图像的灰度变化比较敏感，尤其是非线性的光照变化，将大大降低算法的性能；(2)计算复杂度高；(3)对目标的旋转，形变以及遮挡比较敏感。
基于变换域的图像配准，最常用的是傅立叶变换，图像的平移、旋转、仿射等变换在傅氏变换域中都有相应的体现；利用变换域的方法可能获得一定程度的抵抗噪声的鲁棒性；由于傅氏变换有成熟的快速算法和易于硬件实现，因而在算法实现上有其独特的优势。但是该方法的缺点是：必须事先规定好角度的取值范围。如果当旋转角度为浮点值时，对角度的估计会有偏差；如果将角度的取值范围进一步细化，则势必增加计算量。
基于特征的配准方法是目前常用的配准方法，主要包括基于特征点的匹配、基于特征区域的匹配、基于特征边缘的匹配等。这些算法只需要提取待配准图像中的点、线、边缘等特征信息，不需要其它辅助信息，在减少计算量、提高效率的同时，能够对图像信息的变化具有一定的鲁棒性。其中基于特征点的配准方法是最为常用的配准方法之一，SIFT是图像配准中基于特征点的配准方法，也是具有代表性的经典算法。SIFT算法的实质是在不同的尺度空间上查找关键点，并计算出关键点的方向并用特征描述符将其表达出来。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素影响而变化的点(角点、边缘点、暗区的亮点及亮区的暗点)。SIFT具有突出的尺度和旋转不变性，同时根据其也衍生出了提升计算速度的SURF、GLOH和BRISK等改进算法。然而，由于这些算法只采用了图像局部的特征信息，所以这种算法对特征提取和特征匹配的精度及准确性要求非常高，对错误非常敏感，在实际应用过程中SIFT或其改进算法还遇到了感兴趣区域特征点数目检测不足和无关区域特征点检测干扰等问题。
发明内容
针对现有技术的不足，本发明提供一种基于Faster-RCNN改进的图像特征块配准方法，有效地改善了SIFT特征提取算子在进行图像配准中的许多不足之处，提高了图像像配准的精度，并为图像配准提供了一种新的方法,具有较强的鲁棒性。
一种基于Faster-RCNN改进的图像特征块配准方法，其特征在于步骤如下：
步骤一：输入不同时相采集的一对图像，并且分别记为参考图像和浮动图像，并将其进行去噪，减少无关因素的干扰，使其更加有利于后期图像的处理，其中去噪过程采用优选的空间域滤波法，空域滤波是在原图像上直接进行数据运算，对像素的灰度值进行处理，采用常见的空间域图像去噪算法如邻域平均法、中值滤波、低通滤波中的任意一种。
步骤二：对使用的预训练卷积神经网络模型进行微调，将步骤一得到的图像信息输入到卷积神经网络的卷积层得到共享的特征图；本次使用的卷积神经网络为VGG-16，对使用的预训练VGG-16卷积神经网络模型进行微调，简述为将步骤一得到的图像数据输入到VGG-16的卷积层得到共享的Feature Map；在此过程中把特征样本通过使用TensorFlow进行训练，但是想要让训练得出的卷积神经网络模型能更好地描述图像的特征表达，所采集的训练样本无论在种类和数量上都有一定的局限性，为了弥补这一缺陷，引入VOC2007数据集，用VOC2007数据在VGG-16网络训练得出一个模型为预训练模型，再用自己采集的数据对这个预训练模型进行微调。
进一步，作为优选，所述VGG-16卷积神经网络被选中用于此任务有如下原因：其在图像分类方面的卓越性能证明了其分辨能力；结构简洁，仅通过堆叠卷积层，池化层和全连接层的构建，而没有采用分支或捷径连接来加强梯度流，这种设计使得该网络适用于不同的目的；它非常深，受过大量多样化图像数据的训练，因此，其卷积滤波器可以通用并进行非常好的推广。
步骤三：将步骤二中得到的共享Feature Map送入改进的RPN并进行映射后得到ROI特征块，在优选的VGG-16网络中把共享的最后一层卷积层输出的特征图经过3×3的sliding window进行卷积处理，得到多维特征图，然后对此特征图分别进行全卷积操作后每个锚点得到对应的具有2×n个分数和4×n个坐标的锚框(经过sliding window处理得到的多维特征图上的像素点看成一个锚点，每一个锚点按照一定比例对应n个锚框，每个锚框有2种可能：即是否为感兴趣区域，锚框中心位置和长宽尺寸用其4维坐标向量表示)，通过锚点的感受野得到原图像中可能的ROI区域(锚框)，对于得到的锚框通过判定IOU的大小、非极大值抑制以及是否为Max边界等方法来对锚框进行筛选找出ROI区域，得到对应RPN网络的的Proposal，最后将筛选出的感兴趣区域映射到共享的Feature Map得到最终的ROI特征块。
步骤四：将步骤三中得到的ROI特征块进行padding之后进行池化得到待配准特征块，并将ROI特征块进行分割成固定大小的子特征块，以便在特征块配准时使用；将特征块中的所有灰度值相加进行平均值的求取，之后把特征块中每个像素的值，与平均值进行比较，当像素值大于或等于平均值，记为1，小于平均值，记为0，构成稀疏矩阵，将稀疏矩阵按照一定顺序组合排列在一起，本发明按照从左到右、从上到下的顺序进行排列组合，使矩阵构成特征指纹；然后计算特征指纹中不同位的个数(汉明距离)，根据汉明距离判断能否进行特征块的匹配。
附图说明
图1为基于Faster-RCNN改进的图像特征块配准方法的实施流程框图。
具体实施方式
为了更好的解释本发明，下面结合附图及具体实施例对本发明作进一步详细的描述。
参考图像和浮动图像进入图像预处理阶段：采用最简单的邻域平均法，是将原图中一个像素的灰度值和它周围邻近d个像素的灰度值相加，然后将求得的平均值(除以d)作为新图中该像素的灰度值。它采用模板计算的思想，模板操作实现了一种邻域运算，即某个像素点的结果不仅与本像素灰度有关，而且与其邻域点的像素值有关；模板运算在数学中的描述就是卷积运算，邻域平均法用数学公式表达如下：设f(i,j)为给定的含有噪声的图像，经过邻域平均处理后的图像为p(i,j)，则公式如下：
其中E是所取邻域中各邻近像素的坐标，d是邻域中包含的邻近像素的个数。
进入神经网络训练阶段：在进行数据训练时采用线性整流函数ReLU作为激活函数，如下公式所示：
相比于其它的激活函数，由于线性整流函数ReLU的简洁性，并且有更强的稀疏表达能力，在随机梯度下降中速度非常的快，有效缓解了其它的激活函数梯度弥散的问题，所以在本文中采用了ReLU函数作为激活函数，在进行网络训练时要求出对应的训练参数，此时需要用到代价函数，代价函数就是最小化这个误差；公式如下所示：
其中h(xi)为输入p(i,j)得到的实际输出，yi为理想输出，m为训练样本集个数，h(xi)-yi为代价函数。由此即可得出训练参数θ。
进入改进的RPN阶段:把最后一个共享的卷积层输出的卷积特征图经过slidingwindows处理得到多维特征图，然后对此多维特征图分别进行全卷积操作之后每个锚点得到对应的具有2×n个分数和4×n个坐标的锚框(经过sliding window处理得到的多维特征图上的像素点看成一个锚点，每一个锚点按照一定比例对应n个锚框，每个锚框有2种可能：即是否为感兴趣区域，锚框中心位置和长宽尺寸用其4维坐标表示)，通过锚点的感受野得到原图像中可能的ROI区域(锚框)，对于得到的锚框可以通过判定IOU的大小、非极大值抑制和是否为Max边界等方法筛选出ROI图像PR(x,y)；其中IOU的计算公式如下：
其中MarkedAcreage为标注框区域面积，PredictedAcreage为锚框区域面积，unused舍弃，use保留，通过交并比判断锚框是否被作为ROI。
Faster-RCNN中的RPN的损失函数定义如下所示：
其中Pi是第i个锚框为ROI的概率，若i为ROI，则Pi *为1，否则为0，λ＝10，Ncls为CNN的特征维数，Nreg为锚框的数量，ti表示预测的锚框的4维坐标可以用{tx,ty,tw,th}表示，ti *是训练数据中标注的ROI区域的坐标向量，ti和ti *的定义如下式所示：
其中x、y、w、h分别为运算调整后的ROI区域的中心点坐标、宽和高，xa、ya、wa、ha分别为锚框的中心坐标、宽和高，x*、y*、w*、h*分别为标注框的中心坐标、宽和高。进行回归运算的主要目的是将原始锚框映射到与标注框更接近的ROI区域PR(x,y)。Lcls作为分类的损失函数定义如下所示：
Lreg作为回归的损失函数定义如下式所示：
其中R是smoothL1函数，smoothL1函数如式下所示：
进入特征匹配阶段：进入特征匹配阶段：将PR(x,y)映射到卷积神经网络卷积层的某一层上进行padding之后进行池化得到L×L的特征块，计算所有L×L个像素的平均值MPX，公式如下所示：
将每个像素的值PXi，与平均值MPX进行比较，大于或等于平均值，记为1，小于平均值，记为0，将上一步的比较结果，组合在一起，就构成了一个L×L位的列向量，这就是特征的指纹；组合的次序并不重要，要保证所有特征采用同样的次序，将不同图像中的ROI特征块的列向量进行比较，然后计算不同位的个数C(汉明距离)，公式如下所示：
其中α＝(α1,α2,α3···αi···αL×L)、β＝(β1,β2,β3···βi···βL×L)为不同图像特征块的列向量，L为特征块的尺度值，如果C值为0，则表示这两个特征完美匹配，如果汉明距离小于经验值a，则表示有些不同，但比较相近，如果汉明距离大于经验值b则表明完全不同的特征块。
提出了一种基于Faster-RCNN改进的图像特征块配准方法，它有两个关键的贡献：
使用Faster-RCNN改进图像配准方法，将参考图像和浮动图像中的ROI通过Faster-RCNN中改进的RPN提取出来，利用ROI特征块进行图像配准，缩小了图像的尺寸增加了图像配准的速度，提高了配准的鲁棒性，与SIFT相比，在两个不同时相数据集上进行的特征预匹配测试具有准确度的提升，本文的方法在大多数情况下优于传统的方法。
使用预训练的VGG-16网络构建卷积神经网络的特征提取方法，针对卷积神经网络在图像配准中的有效利用，本发明的特征描述符利用高级卷积信息，同时保留了一些定位能力，本发明对VGG-16卷积层输出的Feature Map使用改进的感知哈希算法对提取出来的特征块进行特征匹配，简化了配准过程中的算法复杂度。
前面的具体实施方式应在每个方面理解为示意性的和示例性的,而不是限制性的，并且本文所公开的本发明的范围将不根据该具体实施方式来确定，而是根据权利要求(如按照由专利法所允许的整个宽度解释的)来确定；应当理解，本文所示出和描述的实施例仅图示了本发明的原理，并且本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种修改；本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其他特征组合。
Claims (5)
1.一种基于Faster Regions with Convolutional Neural Network（Faster-RCNN）改进的图像特征块配准方法，其特征在于，包括以下步骤：
步骤一：输入含有同一物体不同时相的两张图像，并且分别记为参考图像和浮动图像，并将其进行去噪，使其更加有利于后期图像的处理；
步骤二：将步骤一得到的图像数据输入到CNN卷积层得到共享的特征图(FeatureMap)；
步骤三：对步骤二共享的Feature Map送入改进的Region Proposal Network（RPN）中并经过映射后得到Region of Interest（ROI）特征块；
步骤四：对步骤三的ROI特征块使用改进的感知哈希算法进行相似性度量；
步骤五：估计变换模型后对原图像进行变换和重采样得出配准图像。
2.根据权利要求1所述一种基于Faster-RCNN改进的图像特征块配准方法，其特征在于：所述步骤步骤一去噪过程具体为：空间域滤波法，空间域滤波是在原图像上直接进行数据运算，对像素的灰度值进行处理，采用常见的空间域图像去噪算法如邻域平均法、中值滤波、低通滤波中的任意一种。
3.根据权利要求1所述一种基于Faster-RCNN改进的图像特征块配准方法，其特征在于：所述步骤二中训练的卷积神经网络具体为：在特征样本训练时使用主流的TensorFlow库进行训练，但是想要让训练得出的卷积神经网络模型能更好地描述图像的特征表达，所采集的训练样本无论在种类和数量上都有一定的局限性，所以为了弥补这一缺陷，引入VOC2007数据集，用VOC2007数据在卷积神经网络中训练得出一个模型为预训练模型，再用自己采集的数据对这个预训练模型进行微调。
4.根据权利要求1所述一种基于Faster-RCNN改进的图像特征块配准方法，其特征在于：所述步骤三图像中ROI的特征块区域提取具体为：在卷积神经网络中，把最后一个共享的卷积层输出的特征图经过sliding windows处理，然后通过全卷积分别判定在特征图像中，得到的锚框是否为感兴趣区域，以及锚框中心位置坐标和长宽尺寸，通过锚点的感受野得到原图像中可能的ROI区域（锚框），对于得到的锚框通过判定Intersection Over Union（IOU）的大小、非极大值抑制以及是否为Max边界等方法来对锚框进行筛选找出ROI区域，得到对应RPN网络的的提议区(Proposal)，最后将筛选出的感兴趣区域映射到共享的FeatureMap得到最终的ROI特征块。
5.根据权利要求1所述一种基于Faster-RCNN改进的图像特征块配准方法，其特征在于：所述步骤四特征块的匹配具体为：对得到的ROI特征块映射到卷积神经网络的某一层上进行padding之后再进行池化得待配准特征块，计算特征块中灰度值的平均值，将特征块中每个像素的值，与平均值进行比较构成稀疏矩阵，将比较结果按照一定顺序组合排列在一起，使稀疏矩阵构成特征指纹，然后计算特征指纹中不同位的个数(汉明距离)，根据汉明距离判断能否进行特征块的匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010552569.4A CN111768436B (zh) | 2020-06-17 | 2020-06-17 | 一种基于Faster-RCNN改进的图像特征块配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010552569.4A CN111768436B (zh) | 2020-06-17 | 2020-06-17 | 一种基于Faster-RCNN改进的图像特征块配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111768436A true CN111768436A (zh) | 2020-10-13 |
| CN111768436B CN111768436B (zh) | 2022-10-18 |
Family
ID=72722687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010552569.4A Expired - Fee Related CN111768436B (zh) | 2020-06-17 | 2020-06-17 | 一种基于Faster-RCNN改进的图像特征块配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111768436B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200845A (zh) * | 2020-10-22 | 2021-01-08 | 清华大学 | 一种图像配准方法和装置 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7333645B1 (en) * | 2003-11-25 | 2008-02-19 | Icad, Inc. | Multiple image fusion |
| CN105869153A (zh) * | 2016-03-24 | 2016-08-17 | 西安交通大学 | 融合相关块信息的非刚性人脸图像配准方法 |
| US20170337423A1 (en) * | 2015-08-26 | 2017-11-23 | Beijing Lejent Technology Co., Ltd | Method for Structural Analysis and Recongnigiton of Handwritten Mathematical Formula in Natural Scene Image |
| CN107507172A (zh) * | 2017-08-08 | 2017-12-22 | 国网上海市电力公司 | 融合红外可见光的特高压线路绝缘子串深度学习识别方法 |
| WO2018184195A1 (en) * | 2017-04-07 | 2018-10-11 | Intel Corporation | Joint training of neural networks using multi-scale hard example mining |
| CN108898137A (zh) * | 2018-05-25 | 2018-11-27 | 黄凯 | 一种基于深度神经网络的自然图像字符识别方法及系统 |
| CN109271996A (zh) * | 2018-08-21 | 2019-01-25 | 南京理工大学 | 基于surf特征和哈希感知算法的fpc图像自动配准方法 |
| CN109815802A (zh) * | 2018-12-18 | 2019-05-28 | 中国海洋大学 | 一种基于卷积神经网络的监控视频车辆检测与识别方法 |
| CN110211097A (zh) * | 2019-05-14 | 2019-09-06 | 河海大学 | 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 |
| CN110222794A (zh) * | 2019-06-21 | 2019-09-10 | 福州大学 | 多模态图像的自适应特征融合方法 |
| CN110222686A (zh) * | 2019-05-27 | 2019-09-10 | 腾讯科技（深圳）有限公司 | 物体检测方法、装置、计算机设备和存储介质 |
| CN110399816A (zh) * | 2019-07-15 | 2019-11-01 | 广西大学 | 一种基于Faster R-CNN的高速列车车底异物检测方法 |
| CN110443228A (zh) * | 2019-08-20 | 2019-11-12 | 图谱未来(南京)人工智能研究院有限公司 | 一种行人匹配方法、装置、电子设备及存储介质 |
| CN110827331A (zh) * | 2019-11-04 | 2020-02-21 | 上海联影智能医疗科技有限公司 | 图像配准模型的训练方法、图像配准方法和计算机设备 |
| CN110838139A (zh) * | 2019-11-04 | 2020-02-25 | 上海联影智能医疗科技有限公司 | 图像配准模型的训练方法、图像配准方法和计算机设备 |
-
2020
- 2020-06-17 CN CN202010552569.4A patent/CN111768436B/zh not_active Expired - Fee Related
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7333645B1 (en) * | 2003-11-25 | 2008-02-19 | Icad, Inc. | Multiple image fusion |
| US20170337423A1 (en) * | 2015-08-26 | 2017-11-23 | Beijing Lejent Technology Co., Ltd | Method for Structural Analysis and Recongnigiton of Handwritten Mathematical Formula in Natural Scene Image |
| CN105869153A (zh) * | 2016-03-24 | 2016-08-17 | 西安交通大学 | 融合相关块信息的非刚性人脸图像配准方法 |
| WO2018184195A1 (en) * | 2017-04-07 | 2018-10-11 | Intel Corporation | Joint training of neural networks using multi-scale hard example mining |
| CN107507172A (zh) * | 2017-08-08 | 2017-12-22 | 国网上海市电力公司 | 融合红外可见光的特高压线路绝缘子串深度学习识别方法 |
| CN108898137A (zh) * | 2018-05-25 | 2018-11-27 | 黄凯 | 一种基于深度神经网络的自然图像字符识别方法及系统 |
| CN109271996A (zh) * | 2018-08-21 | 2019-01-25 | 南京理工大学 | 基于surf特征和哈希感知算法的fpc图像自动配准方法 |
| CN109815802A (zh) * | 2018-12-18 | 2019-05-28 | 中国海洋大学 | 一种基于卷积神经网络的监控视频车辆检测与识别方法 |
| CN110211097A (zh) * | 2019-05-14 | 2019-09-06 | 河海大学 | 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 |
| CN110222686A (zh) * | 2019-05-27 | 2019-09-10 | 腾讯科技（深圳）有限公司 | 物体检测方法、装置、计算机设备和存储介质 |
| CN110222794A (zh) * | 2019-06-21 | 2019-09-10 | 福州大学 | 多模态图像的自适应特征融合方法 |
| CN110399816A (zh) * | 2019-07-15 | 2019-11-01 | 广西大学 | 一种基于Faster R-CNN的高速列车车底异物检测方法 |
| CN110443228A (zh) * | 2019-08-20 | 2019-11-12 | 图谱未来(南京)人工智能研究院有限公司 | 一种行人匹配方法、装置、电子设备及存储介质 |
| CN110827331A (zh) * | 2019-11-04 | 2020-02-21 | 上海联影智能医疗科技有限公司 | 图像配准模型的训练方法、图像配准方法和计算机设备 |
| CN110838139A (zh) * | 2019-11-04 | 2020-02-25 | 上海联影智能医疗科技有限公司 | 图像配准模型的训练方法、图像配准方法和计算机设备 |
Non-Patent Citations (3)
| Title |
|---|
| RAJESH NANDALIKE等: "Multimodal image feature detection with ROI-based optimization for image registration", 《OURNAL OF REAL-TIME IMAGE PROCESSING》 * |
| 宋尚玲等: "基于Faster-RCNN的肺结节检测算法", 《中国生物医学工程学报》 * |
| 苗启广 等: "《多传感器图像融合技术及应用》", 30 April 2014 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200845A (zh) * | 2020-10-22 | 2021-01-08 | 清华大学 | 一种图像配准方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111768436B (zh) | 2022-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9665789B2 (en) | Device and method for analyzing the correlation between an image and another image or between an image and a video | |
| CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
| CN106981077B (zh) | 基于dce和lss的红外图像和可见光图像配准方法 | |
| CN111738055B (zh) | 多类别文本检测系统和基于该系统的票据表单检测方法 | |
| CN111199558A (zh) | 一种基于深度学习的图像匹配方法 | |
| Fatima et al. | FAST, BRIEF and SIFT based image copy-move forgery detection technique | |
| CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
| CN115033721A (zh) | 基于大数据的图像检索方法 | |
| Han et al. | Segmenting images with complex textures by using hybrid algorithm | |
| CN111768436B (zh) | 一种基于Faster-RCNN改进的图像特征块配准方法 | |
| CN101118544A (zh) | 一种图像形状轮廓描述符的构造方法 | |
| CN111915645B (zh) | 影像匹配方法、装置、计算机设备及计算机可读存储介质 | |
| CN117746018A (zh) | 面向平面扫描图像的用户定制化意图理解方法及系统 | |
| Mu et al. | Finding autofocus region in low contrast surveillance images using CNN-based saliency algorithm | |
| CN116579985A (zh) | 一种基于RefineDet模型的晶圆缺陷检测方法 | |
| CN116228795A (zh) | 一种基于弱监督学习的超高分辨率医学图像分割方法 | |
| CN108154107B (zh) | 一种确定遥感图像归属的场景类别的方法 | |
| CN116030236A (zh) | 针对移动应用页面中动态区域的快速检测方法 | |
| JPH09245168A (ja) | 画像認識装置 | |
| EP3137895A1 (en) | Method and apparatus for processing block to be processed of urine sediment image | |
| Huang et al. | An automatic detection and recognition method for pointer-type meters in natural gas stations | |
| Salagar et al. | Analysis of PCA usage to detect and correct skew in document images | |
| Zhang et al. | Real-time quadrilateral object corner detection algorithm based on deep learning | |
| CN118071831B (zh) | 图像粗定位方法、设备及计算机可读存储介质 | |
| Lin et al. | High-Accuracy Skew Estimation of Document Images. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221018 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |