CN113657528B - 图像特征点提取方法、装置、计算机终端及存储介质 - Google Patents

图像特征点提取方法、装置、计算机终端及存储介质 Download PDF

Info

Publication number
CN113657528B
CN113657528B CN202110971726.XA CN202110971726A CN113657528B CN 113657528 B CN113657528 B CN 113657528B CN 202110971726 A CN202110971726 A CN 202110971726A CN 113657528 B CN113657528 B CN 113657528B
Authority
CN
China
Prior art keywords
image
training sample
sample image
coordinate
point extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110971726.XA
Other languages
English (en)
Other versions
CN113657528A (zh
Inventor
胡建兵
袁涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Goke Microelectronics Co Ltd
Original Assignee
Hunan Goke Microelectronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Goke Microelectronics Co Ltd filed Critical Hunan Goke Microelectronics Co Ltd
Priority to CN202110971726.XA priority Critical patent/CN113657528B/zh
Publication of CN113657528A publication Critical patent/CN113657528A/zh
Application granted granted Critical
Publication of CN113657528B publication Critical patent/CN113657528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像特征点提取方法、装置、计算机终端及存储介质，该方法包括：获取二维可见光图像作为第一训练样本图像；对第一训练样本图像进行单应性矩阵变换，得到第二训练样本图像；将所述第一训练样本图像和第二训练样本图像输入预设好的卷积网络模型，并将得到的输出放入构建好的损失函数中训练所述卷积网络模型参数，最终得到图像特征点提取模型；将待识别图像输入训练好的所述图像特征点提取模型，得到目标特征点。

Description

图像特征点提取方法、装置、计算机终端及存储介质
技术领域
本发明涉及机器学习领域，尤其涉及一种图像特征点提取方法、装置、计算机终端及存储介质。
背景技术
现有的特征点提取方法一般采用以下几种方案：1、使用传统的图像特征进行，例如harris，sift，surf等等；2、通过人工标定的方法标注特征点，然后在使用深度学习方法训练；3、使用传统图像方法检测特征点，作为标注信息使用深度学习方法训练；4、使用一些3d或者2d绘图方法生成一些简单的图案图像，由于是受控生成的，所以可以得到一些基础的特征点，然后使用深度学习方法训练。
现有方法有以下几个缺点：1、传统的特征提取方法效果好，但是适应能力一般，往往需要根据不同的使用场景和使用任务来选择特征点提取方案中的一些参数，例如阈值，检测范围，金字塔层数等。在工程应用不是很便利。2、传统特征提取方法存在大量的判断操作，不利于硬件化，一旦选定硬件实现方案后则无法更改特征提取方法；3、现有的深度学习特征点提取方法都是基于有监督的，需要通过一定的方法生成标注数据，但是手工标注成本太高。使用算法标注则在一开始就限制了深度学习算法的上限，不可能突破传统算法的极限。人为生成场景的方法则无法获取复杂的背景，不利于工业使用。
发明内容
针对于上述问题，本申请提供一种图像特征点提取方法，包括：
获取二维可见光图像作为第一训练样本图像；
对所述第一训练样本图像进行单应性矩阵变换，得到第二训练样本图像；
将所述第一训练样本图像和第二训练样本图像输入预设好的卷积网络模型，并将得到的输出放入构建好的损失函数中训练所述卷积网络模型参数，最终得到图像特征点提取模型；
将待识别图像输入训练好的所述图像特征点提取模型，得到目标特征点。
进一步的，在对所述第一训练样本图像进行单应性矩阵变换前，对所述第一训练样本图像进行数据增强处理。
进一步的，将所述第一训练样本图像进行单应性矩阵变换公式如下所示：
式子中(x1，y1)表示所述第一训练样本图像p1的坐标，H11、H12、H13、H21、H22、H23、H31、H32、H33为经过随机扰动后的所述单应性矩阵的参数，p2为所述第一训练样本图像经过单应性矩阵的变换后得到第二训练样本图像，(x2，y2)表示所述第二训练样本图像p2的坐标，H表示单应性矩阵。
进一步的，所述第二训练样本图像的尺寸和第一训练样本图像尺寸相同。
进一步的，所述预设好的卷积网络模型为具有双帧图像输入，三个输出通道且降采样值范围在6至10的全卷积网络模型。
进一步的，所述训练得到图像特征点提取模型的过程包括：
获取第一训练样本图像在所述卷积网络模型中输出的第一预测坐标；
获取第二训练样本图像在所述卷积网络模型中输出的第二预测坐标；
将所述第一预测坐标进行转换得到第一特征坐标，将所述第二预测坐标进行转换得到第二特征坐标；
将所述第一特征坐标和第二特征坐标输入构建好的损失函数中训练所述图像特征点提取模型的参数。
进一步的，所述损失函数的构建包括：
将所述第一特征坐标和第二特征坐标利用所述单应性矩阵进行计算，得到各自对应于所述第一训练样本图像和第二训练样本图像上的真实坐标对信息，所述信息包括所述坐标对的距离；
判断所述坐标对的距离是否符合约束条件，若符合要求则保留该坐标对，若不符合则丢弃该坐标对；
根据保留下来的坐标对，调整所述卷积网络模型的参数，直到最终符合要求的坐标对到达预期值，完成训练。
进一步的，本申请还提供一种图像特征点提取装置，包括：
图像获取模块，用于获取二维可见光图像作为第一训练样本图像；
图像处理模块，用于对所述第一训练样本图像进行单应性矩阵变换，得到第二训练样本图像；
训练模块，用于将所述第一训练样本图像和第二训练样本图像输入预设好的卷积网络模型，并将得到的输出放入构建好的损失函数中训练所述卷积网络模型的参数，最终得到图像特征点提取模型；
识别模块，用于将待识别图像输入训练好的所述图像特征点提取模型，得到目标特征点。
进一步的，本申请还提供一种计算机终端，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行上述实施例中任一项所述的图像特征点提取方法。
进一步的，本申请还提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行上述实施例中任一项所述的图像特征点提取方法。
本申请通过获取二维可见光图像作为第一训练样本图像，对所述第一训练样本图像进行单应性矩阵变换，得到第二训练样本图像，将所述第一训练样本图像和第二训练样本图像输入预设好的卷积网络模型，并将得到的输出放入构建好的损失函数中训练所述卷积网络模型参数，最终得到图像特征点提取模型，通过该模型实现了对特征点的无监督提取，使得操作人员不再需要手工标注数据，也不需要算法生成数据，所采集的数据可以是任意无标注数据，使得特征点提取更加灵活简便，且该方法也能方便的移植到CPU、GPU和NPU等设备上，具有极佳的普适性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本申请一种图像特征点提取方法流程示意图；
图2A至图2C为利用本申请的图像特征点提取方法进行特征点提取的样本示意图；
图3示出了本申请一种图像特征点提取装置示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
实施例1
本申请的实施例提供一种图像特征点提取方法，具体可以参照说明书附图1来结合理解。
步骤S100，获取二维可见光图像作为第一训练样本图像；
获取二维可见光图像的方法可以是从视频帧中截图或者拍照等方式获得，本实施例中不限定图像的获取方法，比如一辆车的图片，可以是直接用相机或手机照下来的，也可以是从视频中截取的，以此作为本实施例中训练使用的第一训练样本图像image-a。
步骤S200对所述第一训练样本图像进行单应性矩阵变换，得到第二训练样本图像；
在进行单应性矩阵变换前，还可以对第一训练样本图像进行数据增强处理。
其中数据增强包括翻转、旋转、缩放、随机裁剪或补零、色彩抖动和加噪声等方式，根据实际情况可以进行选择，可以提高训练样本图像的多样性，避免过拟合。
在经过数据增强后，还需要将该图片进行随机的单应性矩阵变换，此处单应性矩阵变换并不是为了使得image-a变换成某种目标图像，而是为了获得区别于image-a的一张图像，因此单应性矩阵中的参数都是随机的，如下式所示：
式子中(x1，y1)表示所述第一训练样本图像p1的坐标，H11、H12、H13、H21、H22、H23、H31、H32、H33为经过随机扰动后的所述单应性矩阵的参数，p2为所述第一训练样本图像经过单应性矩阵的变换后得到第二训练样本图像的坐标点(x2，y2)，H表示单应性矩阵。如此得到了第二训练样本图像image-b。
其中在经过单应性矩阵变换后得到的image-b的图像尺寸如果和image-a不同，则需要裁减的和image-a一样大小。
步骤S300将所述第一训练样本图像和第二训练样本图像输入预设好的卷积网络模型，并将得到的输出放入构建好的损失函数中训练所述卷积网络模型参数，最终得到图像特征点提取模型；
在本实施例中，该全卷积网络为具有双帧图像输入，3个通道输出，降采样值为8的卷积网络，其中，该降采样值可以根据网络感受进行调整，一般在6至10之间。
其中，在将第一训练样本图像和第二训练样本图像输入该卷积网络模型后，可以分别的到其对应的第一预测坐标和第二预测坐标，根据第一预测坐标和第二预测坐标可以分别计算得到在各自样本图像上的第一特征坐标和第二特征坐标，再将第一特征坐标和第二特征坐标输入构建好的损失函数中训练所述图像特征点提取模型的参数。
具体的，在本实施例中，将image-a和image-b输入全卷积网络，通过模型计算得到3通道的全卷积输出，3个通道分别定义为score，x，y。这里的x，y分别表示在8倍降采样中图像上的一个某像素点的横纵坐标的偏移信息。因为本实施例中是双帧输入，因此由image-a可得到第一预测坐标，由image-b可得到第二预测坐标，其中，x、y的取值区间在0至1之间，score表示该预测坐标的置信度，区间也是0至1之间，该置信度在模型训练好之后，用于判断该像素点是否被选择用于特征点保留。
此处以第一预测坐标为例，通过得到的x，y可以还原得到image-a上对应的第一特征坐标，计算公式为：xa＝(w+x)*8，ya＝(h+y)*8，其中xa，ya表示该第一预测坐标在image-a的坐标，即第一特征坐标，式中w、h为全卷积输出的特征图上对应的点坐标，然后通过类似的方法可以获取在image-b上的一组相似的结果第二特征坐标(xb，yb)，在此不再赘述。
经过上述计算后，可以得到若干由第一特征坐标和第二特征坐标组成的坐标对，即上述计算得到的属于image-a的第一特征坐标(xa，ya)和属于image-b的第二特征坐标(xb，yb)组成的坐标对作为输入。利用步骤200中的单应性矩阵进行逆运算，可以计算出每对坐标对在各自图像上的真实坐标对信息，该真实坐标对信息包括各个坐标的位置和坐标对之间的距离。然后根据真实坐标信息判断计算得到的(xa，ya)和(xb，yb)是否在约束范围内，在本实施例中，该约束可以是一个8*8的约束，根据坐标对位置和距离信息，可以判断上述的坐标对是否落在该约束中，若坐标对落在该约束中，则认为该坐标对是合理的，将其保留，否则认为不合理，将其抛弃。其中，该约束大小可以根据实际情况调整，调整的越小便意味着训练条件越苛刻，理论上得到的效果也会越好，但是太小比如1*1，这种约束便不现实，可以根据实际训练情况进行调整。
经过上述筛选，便可以留下一部分坐标对，根据这些留下的坐标对数量，对上述模型的参数进行调整，然后再重复上述步骤S100至步骤S300的步骤，如此迭代计算，直至所保留的坐标对数量到达设定数量，便认为模型训练成功。
其中，上述单应性矩阵是本模型无监督的来源，因为经过变换后，image-a和image-b会被机器识别为两个图像，但是实质上两张图上是具有相同的图片信息的，比如一张奔驰汽车的图片经过上述处理后，会被旋转180度并被缩放和进行颜色增强，但是在变化后的图片上依旧会存在奔驰车的标志、车窗、轮胎纹这些特征信息，这些特征点在两张图上各自对应的坐标是不同的，但是image-b是经过image-a变换过来的，因此在训练中依旧是知道两张图各个像素点之间的对应关系，以此为基础形成坐标对，在损失函数的构建中，便是判断在有效范围内，模型输出的坐标对是否能有相同的预测信息，在经过不断的迭代后，使得该模型能够学会在两张图上坐标不同的相同特征位置识别出相同的信息，这样训练出来的模型可以高效的识别图像中的各种特征点。
步骤S400将待识别图像输入训练好的所述图像特征点提取模型，得到目标特征点。
当模型训练好后，将该模型的输入调整为单帧输入，即可进行随图像特征点的提取。
具体可以参考附图2A至2C的三张图，其中图2A为待提取的原图，模型训练成功后，便可以使用该模型进行图像的特征点提取，将模型设置为单帧输入后，就可以将原始图像输入该模型，模型经过处理后，会输出该图像上所有的像素点以及相对应的置信度，根据接下来需要训练的项目，以有针对的选择需要的像素点作为特征点，这些特征点可以作为图像识别的特征点进行训练。
比如附图中的黑白相间的大棋盘，其成一定角度靠在桌子边缘，周边还有柱子等背景，在本方案实施例中，进行特征点提取时，会首先得到如附图2B的提取图，可见相较于图2A，图2B中多出了许多灰色的点，这些点便是特征点，伴随这些特征点出现还有其相应的置信度，操作人员可以进一步根据这些置信度筛选，本实施例中需要留下能代表轮廓的特征点，因此在根据置信度进行进一步筛选后，可以得到如图2C的图，可见众多干扰项的特征点被去除，剩下的特征点大多都位于白色框框的边缘位置，也就是说提取出来了棋盘内部构造的结构轮廓的特征点，完成了特征点的提取。
本实施例通过获取二维可见光图像作为第一训练样本图像，对所述第一训练样本图像进行单应性矩阵变换，得到第二训练样本图像，将所述第一训练样本图像和第二训练样本图像输入预设好的卷积网络模型，并将得到的输出放入构建好的损失函数中训练所述卷积网络模型参数，经过不断迭代，最终得到图像特征点提取模型，通过该模型实现了对特征点的无监督提取，使得操作人员不再需要手工标注数据，也不需要算法生成数据，所采集的数据可以是任意无标注数据，使得特征点提取更加灵活简便，且该方法也能方便的移植到CPU、GPU和NPU等设备上，具有极佳的普适性。
实施例2
本申请还提供一种图像特征点提取装置，包括图像获取模块10、图像处理模块20、训练模块30和识别模块40，具体参照图3所示的装置示意图。
图像获取模块10，用于获取二维可见光图像作为第一训练样本图像；
图像处理模块20，用于对所述第一训练样本图像进行单应性矩阵变换，得到第二训练样本图像；
训练模块30，用于将所述第一训练样本图像和第二训练样本图像输入预设好的卷积网络模型，并将得到的输出放入构建好的损失函数中训练所述卷积网络模型参数，最终得到图像特征点提取模型；
识别模块40，用于将待识别图像输入训练好的所述图像特征点提取模型，得到目标特征点。
本申请还提供一种计算机终端，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行上述实施例中任一项所述的图像特征点提取方法。
本申请还提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行上述实施例中任一项所述的图像特征点提取方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种图像特征点提取方法，其特征在于，包括：
获取二维可见光图像作为第一训练样本图像；
对所述第一训练样本图像进行单应性矩阵变换，得到第二训练样本图像；
将所述第一训练样本图像和第二训练样本图像输入预设好的卷积网络模型，并将得到的输出结果输入构建好的损失函数中训练所述卷积网络模型的参数，最终得到图像特征点提取模型；
所述损失函数的构建包括：
将第一特征坐标和第二特征坐标利用所述单应性矩阵进行计算，得到各自对应于所述第一训练样本图像和第二训练样本图像上的真实坐标对信息，所述信息包括所述真实坐标对的距离；
判断所述坐标对的距离是否符合约束条件，若符合要求则保留所述坐标对，若不符合则丢弃所述坐标对；
根据保留下来的坐标对，调整所述卷积网络模型的参数，直到最终符合要求的坐标对到达预期值，完成训练；
所述得到图像特征点提取模型的过程包括：
获取第一训练样本图像在所述卷积网络模型中输出的第一预测坐标；
获取第二训练样本图像在所述卷积网络模型中输出的第二预测坐标；
将所述第一预测坐标进行转换得到所述第一特征坐标，将所述第二预测坐标进行转换得到所述第二特征坐标；
将待识别图像输入训练好的所述图像特征点提取模型，得到目标特征点。
2.根据权利要求1所述的图像特征点提取方法，其特征在于，在对所述第一训练样本图像进行单应性矩阵变换前，对所述第一训练样本图像进行数据增强处理。
3.根据权利要求1所述的图像特征点提取方法，其特征在于，将所述第一训练样本图像进行单应性矩阵变换公式如下所示：
式子中(x1，y1)表示所述第一训练样本图像p1的坐标，H11、H12、H13、H21、H22、H23、H31、H32、H33为经过随机扰动后的所述单应性矩阵的参数，p2为所述第一训练样本图像经过单应性矩阵的变换后得到第二训练样本图像，(x2，y2)表示所述第二训练样本图像p2的坐标，H表示单应性矩阵。
4.根据权利要求1所述的图像特征点提取方法，其特征在于，所述第二训练样本图像的尺寸和第一训练样本图像尺寸相同。
5.根据权利要求1所述的图像特征点提取方法，其特征在于，所述预设好的卷积网络模型为具有双帧图像输入，三个输出通道且降采样值范围在6至10的全卷积网络模型。
6.根据权利要求1所述的图像特征点提取方法，其特征在于，所述得到图像特征点提取模型的过程还包括：
将所述第一特征坐标和第二特征坐标输入构建好的损失函数中训练所述图像特征点提取模型的参数。
7.一种图像特征点提取装置，其特征在于，包括：
图像获取模块，用于获取二维可见光图像作为第一训练样本图像；
图像处理模块，用于对所述第一训练样本图像进行单应性矩阵变换，得到第二训练样本图像；
训练模块，用于将所述第一训练样本图像和第二训练样本图像输入预设好的卷积网络模型，并将得到的输出放入构建好的损失函数中训练所述卷积网络模型的参数，最终得到图像特征点提取模型；
所述损失函数的构建包括：
将第一特征坐标和第二特征坐标利用所述单应性矩阵进行计算，得到各自对应于所述第一训练样本图像和第二训练样本图像上的真实坐标对信息，所述信息包括所述真实坐标对的距离；
判断所述坐标对的距离是否符合约束条件，若符合要求则保留所述坐标对，若不符合则丢弃所述坐标对；
根据保留下来的坐标对，调整所述卷积网络模型的参数，直到最终符合要求的坐标对到达预期值，完成训练；
所述得到图像特征点提取模型的过程包括：
获取第一训练样本图像在所述卷积网络模型中输出的第一预测坐标；
获取第二训练样本图像在所述卷积网络模型中输出的第二预测坐标；
将所述第一预测坐标进行转换得到所述第一特征坐标，将所述第二预测坐标进行转换得到所述第二特征坐标；
识别模块，用于将待识别图像输入训练好的所述图像特征点提取模型，得到目标特征点。
8.一种计算机终端，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行权利要求1至6中任一项所述的图像特征点提取方法。
9.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至6中任一项所述的图像特征点提取方法。
CN202110971726.XA 2021-08-24 2021-08-24 图像特征点提取方法、装置、计算机终端及存储介质 Active CN113657528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110971726.XA CN113657528B (zh) 2021-08-24 2021-08-24 图像特征点提取方法、装置、计算机终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110971726.XA CN113657528B (zh) 2021-08-24 2021-08-24 图像特征点提取方法、装置、计算机终端及存储介质

Publications (2)

Publication Number Publication Date
CN113657528A CN113657528A (zh) 2021-11-16
CN113657528B true CN113657528B (zh) 2024-02-13

Family

ID=78481712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110971726.XA Active CN113657528B (zh) 2021-08-24 2021-08-24 图像特征点提取方法、装置、计算机终端及存储介质

Country Status (1)

Country Link
CN (1) CN113657528B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067108B (zh) * 2022-01-13 2022-04-19 深圳比特微电子科技有限公司 一种基于神经网络的目标检测方法、装置
CN114913339B (zh) * 2022-04-21 2023-12-05 北京百度网讯科技有限公司 特征图提取模型的训练方法和装置
CN115661724B (zh) * 2022-12-12 2023-03-28 内江师范学院 一种适用于连续帧序列单应性变换的网络模型及训练方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503110A (zh) * 2019-08-12 2019-11-26 北京影谱科技股份有限公司 特征匹配方法和装置
CN110633711A (zh) * 2019-09-09 2019-12-31 长沙理工大学 训练特征点检测器的计算机装置、方法及特征点检测方法
WO2020159241A1 (ko) * 2019-01-30 2020-08-06 삼성전자 주식회사 이미지를 처리하기 위한 방법 및 그에 따른 장치
CN112084952A (zh) * 2020-09-10 2020-12-15 湖南大学 一种基于自监督训练的视频点位跟踪方法
CN112348855A (zh) * 2020-11-19 2021-02-09 湖南国科微电子股份有限公司 视觉里程计特征点提取方法、系统、电子设备和存储介质
CN112966725A (zh) * 2021-02-08 2021-06-15 深圳市优必选科技股份有限公司 匹配模板图像的方法、装置及终端设备
CN113011468A (zh) * 2021-02-25 2021-06-22 上海皓桦科技股份有限公司 图像特征提取方法及装置
CN113095333A (zh) * 2021-02-25 2021-07-09 北京邮电大学 无监督特征点检测方法及装置
CN113256592A (zh) * 2021-06-07 2021-08-13 中国人民解放军总医院 图像特征提取模型的训练方法、系统及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086709B (zh) * 2018-07-27 2023-04-07 腾讯科技（深圳）有限公司 特征提取模型训练方法、装置及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020159241A1 (ko) * 2019-01-30 2020-08-06 삼성전자 주식회사 이미지를 처리하기 위한 방법 및 그에 따른 장치
CN110503110A (zh) * 2019-08-12 2019-11-26 北京影谱科技股份有限公司 特征匹配方法和装置
CN110633711A (zh) * 2019-09-09 2019-12-31 长沙理工大学 训练特征点检测器的计算机装置、方法及特征点检测方法
CN112084952A (zh) * 2020-09-10 2020-12-15 湖南大学 一种基于自监督训练的视频点位跟踪方法
CN112348855A (zh) * 2020-11-19 2021-02-09 湖南国科微电子股份有限公司 视觉里程计特征点提取方法、系统、电子设备和存储介质
CN112966725A (zh) * 2021-02-08 2021-06-15 深圳市优必选科技股份有限公司 匹配模板图像的方法、装置及终端设备
CN113011468A (zh) * 2021-02-25 2021-06-22 上海皓桦科技股份有限公司 图像特征提取方法及装置
CN113095333A (zh) * 2021-02-25 2021-07-09 北京邮电大学 无监督特征点检测方法及装置
CN113256592A (zh) * 2021-06-07 2021-08-13 中国人民解放军总医院 图像特征提取模型的训练方法、系统及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于cnn卷积神经网络的特征点提取与相机估计研究;刘艳萍;;电子质量(第02期);全文 *

Also Published As

Publication number Publication date
CN113657528A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN113657528B (zh) 图像特征点提取方法、装置、计算机终端及存储介质
CN111415316B (zh) 基于生成对抗网络的缺陷数据合成方法
CN108108746B (zh) 基于Caffe深度学习框架的车牌字符识别方法
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN112288658A (zh) 一种基于多残差联合学习的水下图像增强方法
CN112819772B (zh) 一种高精度快速图形检测识别方法
CN108510504B (zh) 图像分割方法和装置
CN112614136B (zh) 一种红外小目标实时实例分割方法及装置
CN107506765B (zh) 一种基于神经网络的车牌倾斜校正的方法
CN107730536B (zh) 一种基于深度特征的高速相关滤波物体追踪方法
CN112446356B (zh) 基于多重极坐标的自然场景下任意形状文本的检测方法
CN111860316A (zh) 一种驾驶行为的识别方法、装置及存储介质
CN112766028A (zh) 人脸模糊处理方法、装置、电子设备及存储介质
CN111079585B (zh) 图像增强结合伪孪生卷积神经网络的行人再识别方法
CN117132503A (zh) 一种图像局部高亮区域修复方法、系统、设备及存储介质
CN110705568B (zh) 一种图像特征点提取的优化方法
CN110349129B (zh) 一种高密度柔性ic基板外观缺陷检测方法
CN114529715B (zh) 一种基于边缘提取的图像识别方法及系统
CN111476056A (zh) 目标物体的识别方法、装置、终端设备及计算机存储介质
CN110751163A (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
CN113963161A (zh) 基于ResNet模型特征嵌入UNet的X射线图像分割识别系统及方法
CN112699714B (zh) 一种针对图像的致盲场景检测方法及车载终端
CN117809310B (zh) 基于机器学习的港口集装箱号识别方法及系统
CN117132592B (zh) 一种基于熵融合的工业缺陷检测方法
CN116883913B (zh) 一种基于视频流相邻帧的船只识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant