CN109086782A - 特征描述子生成方法、装置、设备及计算机可读存储介质 - Google Patents

特征描述子生成方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109086782A
CN109086782A CN201810953743.9A CN201810953743A CN109086782A CN 109086782 A CN109086782 A CN 109086782A CN 201810953743 A CN201810953743 A CN 201810953743A CN 109086782 A CN109086782 A CN 109086782A
Authority
CN
China
Prior art keywords
image
normalized
processed
current
feature descriptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810953743.9A
Other languages
English (en)
Inventor
彭国豪
李东
曾宪贤
王晓东
胡晓瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201810953743.9A priority Critical patent/CN109086782A/zh
Publication of CN109086782A publication Critical patent/CN109086782A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种特征描述子生成方法，包括：将获取的图像转化为预设大小的待处理图像，并对待处理图像的像素值进行归一化处理；利用预设残差网络对归一化处理后的待处理图像进行图像处理，获取图像对应的特征描述子；本发明通过利用预设残差网络对归一化处理后的待处理图像进行图像处理，获取图像对应的特征描述子，利用深度卷积神经网络中的残差网络生成特征描述子，使得生成的特征描述子鲁棒性更强，即对光照、旋转、尺度变换敏感度更低；并且可区分性更强，即匹配点的错误率与现有的技术相比更低，提高了用户体验。此外，本发明还公开了一种特征描述子生成装置、设备及计算机可读存储介质，同样具有上述有益效果。

Description

特征描述子生成方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，特别涉及一种特征描述子生成方法、装置、设备及计算机可读存储介质。
背景技术
随着现代社会科技的发展，计算机得到了广泛的使用。局部图像特征描述是计算机视觉的一个基本研究问题，在寻找图像中的对应点以及物体特征描述中有着重要的作用。它是许多方法的基础，因此也是目前视觉研究中的一个热点。在利用多幅二维图像进行三维重建、恢复场景三维结构的应用中，其基本出发点是要有一个可靠的图像对应点集合，而自动地建立图像之间点与点之间的可靠对应关系通常都依赖于一个优秀的局部图像的特征描述子(局部特征描述子)。又比如在物体识别中，目前非常流行以及切实可行的方法之一是基于局部特征的，由于特征的局部性，使得物体识别可以处理遮挡、复杂背景等比较复杂的情况。
现有技术中，往往是利用SIFT(Scale-invariant feature transform，尺度不变特征变换)和SURF(Speeded-Up Robust Features)算法，生成图像的特征描述子，然而上述算法生成的特征描述子鲁棒性不够好，即对图像的光照，旋转，尺度比较敏感，而且生成的特征描述子区分性也不强，不利于图像检索、全景图拼接和三维重建过程中的使用。因此，如何能够生成鲁棒性更强且更容易区分的特征描述子，提高用户体验，是现今急需解决的问题。
发明内容
本发明的目的是提供一种特征描述子生成方法、装置、设备及计算机可读存储介质，以利用残差网络生成特征描述子，增强生成的特征描述子的鲁棒性和区分性，提升用户体验。
为解决上述技术问题，本发明提供一种特征描述子生成方法，包括：
将获取的图像转化为预设大小的待处理图像，并对所述待处理图像的像素值进行归一化处理；
利用预设残差网络对归一化处理后的所述待处理图像进行图像处理，获取所述图像对应的特征描述子。
可选的，所述预设残差网络的生成过程，包括：
获取所述预设残差网络的训练数据集；其中，所述训练数据集包括n对匹配的待匹配训练图像和匹配训练图像，n为大于0的整数；
将每个所述待匹配训练图像和每个所述匹配训练图像分别转化为所述预设大小的待处理训练图像，并对每个所述待处理训练图像的像素值进行归一化处理；
判断是否达到预设迭代次数；
若否，利用当前残差网络对归一化处理后的每个所述待处理训练图像进行图像处理，获取2n个当前特征描述子，并对每个所述当前特征描述子进行归一化处理；
根据2n个归一化处理后的所述当前特征描述子对应的当前欧式距离集，获取当前目标损失函数；
利用所述当前目标损失函数，通过随机梯度下降法和反向传播更新所述当前残差网络，并执行所述判断是否达到预设迭代次数的步骤；
若是，则将所述当前残差网络作为所述预设残差网络。
可选的，所述对每个所述待处理训练图像的像素值进行归一化处理，包括：
通过利用2n个归一化处理前的所述待处理训练图像的像素值的平均值和方差，获取归一化处理后的每个所述待处理训练图像的像素值；其中，input和output分别为归一化处理前和归一化处理后的每个所述待处理训练图像的像素值，mean和std分别为2n个归一化处理前的所述待处理训练图像的像素值的平均值和方差。
可选的，所述根据2n个归一化处理后的所述当前特征描述子对应的当前欧式距离集，获取当前目标损失函数，包括：
通过计算2n个归一化处理后的所述当前特征描述子中每个所述待匹配训练图像对应的当前特征描述子与各自匹配和非匹配的所述匹配训练图像对应的当前特征描述子之间的欧氏距离，获取所述当前欧式距离集；其中，i和j均为大于0且小于等于n的正整数，i＝j时，d(ai，pj)为所述待匹配训练图像对应的当前特征描述子ai和与所述待匹配训练图像匹配的匹配训练图像对应的当前特征描述子pj之间的欧氏距离；
通过利用所述当前欧式距离集计算获取所述当前目标损失函数；其中，jmin＝arg minj＝1...n，j≠id(ai，pj)，kmin＝argmink＝1...n,k≠id(ak，pi)。
可选的，所述预设大小具体为32*32，所述特征描述子和所述当前特征描述子均为128维特征向量。
可选的，所述预设残差网络，包括：8个卷积层构成的3个残差单元。
本发明还提供了一种特征描述子生成装置，包括：
预处理模块，用于将获取的图像转化为预设大小的待处理图像，并对所述待处理图像的像素值进行归一化处理；
图像处理模块，用于利用预设残差网络对归一化处理后的所述待处理图像进行图像处理，获取所述图像对应的特征描述子。
可选的，该装置还包括：
生成模块，用于生成所述预设残差网络；
其中，所述生成模块，包括：
获取子模块，用于获取所述预设残差网络的训练数据集；其中，所述训练数据集包括n对匹配的待匹配训练图像和匹配训练图像，n为大于0的整数；
预处理子模块，用于将每个所述待匹配训练图像和每个所述匹配训练图像分别转化为所述预设大小的待处理训练图像，并对每个所述待处理训练图像的像素值进行归一化处理；
判断子模块，用于判断是否达到预设迭代次数；
图像子处理模块，用于若未达到预设迭代次数，利用当前残差网络对归一化处理后的每个所述待处理训练图像进行图像处理，获取2n个当前特征描述子；
计算子模块，用于根据2n个所述当前特征描述子对应的当前欧式距离集，获取当前目标损失函数；
更新子模块，用于利用所述当前目标损失函数，通过随机梯度下降法和反向传播更新所述当前残差网络，并向所述判断子模块发送启动信号；
生成子模块，用于若达到预设迭代次数，则将所述当前残差网络作为所述预设残差网络。
本发明还提供了一种特征描述子生成设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述任一项所述的特征描述子生成方法的步骤。
此外，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的特征描述子生成方法的步骤。
本发明所提供的一种特征描述子生成方法，包括：将获取的图像转化为预设大小的待处理图像，并对待处理图像的像素值进行归一化处理；利用预设残差网络对归一化处理后的待处理图像进行图像处理，获取图像对应的特征描述子；
可见，本发明通过利用预设残差网络对归一化处理后的待处理图像进行图像处理，获取图像对应的特征描述子，利用深度卷积神经网络中的残差网络生成特征描述子，使得生成的特征描述子鲁棒性更强，即对光照、旋转、尺度变换敏感度更低；并且可区分性更强，即匹配点的错误率与现有的技术相比更低，提高了用户体验。此外，本发明还提供了一种特征描述子生成装置、设备及计算机可读存储介质，同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的一种特征描述子生成方法的流程图；
图2为本发明实施例所提供的另一种特征描述子生成方法的预设残差网络的处理流程示意图；
图3为本发明实施例所提供的另一种特征描述子生成方法的生成预设残差网络的流程图；
图4为本发明实施例所提供的一种特征描述子生成装置的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的一种特征描述子生成方法的流程图。该方法可以包括：
步骤101：将获取的图像转化为预设大小的待处理图像，并对待处理图像的像素值进行归一化处理。
其中，本步骤中的获取的图像可以为需要计算对应的特征描述子的图像，如进行车辆识别时的车辆图像。对应的，本步骤之前还可以包括获取图像的步骤，本实施例对此不做任何限制。具体的，对于图像的具体获取方式，可以由设计人员根据实用场景和用户需求自行设置，如可以直接接收摄像头拍摄或用户发送的图像；也可以先对接收的原始图像进行局部提取，再获取的原始图像的局部的图像。只要可以获取需要计算对应的特征描述子的图像，本实施例对此不做任何限制。
需要说明的是，对于本步骤中将获取的图像转化为预设大小的待处理图像的具体方式，可以采用与现有技术相同或相似的方式实现，本实施例对此不做任何限制。对应的，对于获取的图像转化的待处理图像的具体大小设置，即预设大小的具体数值设置，可以由设计人员根据实用场景和用户需求自行设置，如可以设置为32*32，也可以设置为其他大小，本实施例对此同样不做任何限制。
可以理解的是，本步骤中对待处理图像的像素值进行归一化处理的具体方式，可以由设计人员根据实用场景和用户需求自行设置，如可以利用预设残差网络的训练(生成)过程中归一化处理前的全部待处理训练图像的像素值的平均值和方差，对待处理图像的像素值进行归一化处理，即将待处理图像的像素值与上述平均值之差除以上述方差后，得到的像素值或像素值的绝对值作为待处理图像在归一化处理后的像素值；也可以利用其他方式对待处理图像的像素值进行归一化处理。只要可以获取待处理图像在归一化处理后的像素值，本实施例对此不做任何限制。
步骤102：利用预设残差网络对归一化处理后的待处理图像进行图像处理，获取图像对应的特征描述子。
具体的，本步骤的目的可以为通过将归一化处理后的待处理图像输入到预设残差网络，以利用预设残差网络这一深度卷积神经网络，对待处理图像进行图像处理，输出步骤101获取的图像对应的特征描述子，即本步骤中将预设残差网络作为特征描述子生成函数。其中，本步骤中的特征描述子可以为归一化处理后的待处理图像输入预设残差网络后，预设残差网络输出的特征向量，如归一化处理后的32*32的待处理图像，在输入预设残差网络后，预设残差网络可以输出一个128维的特征向量。
需要说明的是，对于本步骤中利用利用预设残差网络对归一化处理后的待处理图像进行图像处理的具体过程，即预设残差网络的具体构成，可以由设计人员根据实用场景和需求自行设置，如预设残差网络可以包括8个卷积层构成的3个残差单元，如图2所示，预设残差网络包括卷积层Conv2与卷积层Conv3构成一个残差单元，卷积层Conv4、卷积层Conv5与卷积层Conv6构成一个残差单元，卷积层Conv7、卷积层Conv8与卷积层Conv9构成一个残差单元。本实施例对此不做任何限制。
具体的，以包括8个卷积层构成的3个残差单元的预设残差网络为例，如图2所示，本步骤可以包括将归一化处理后的32*32的待处理图像(patch)输入到预设残差网络的卷积层Conv1，卷积层Conv1利用数量为32且卷积核大小为3*3(3*3*32)、padding数为1(Pad1)且卷积核移动的步长为1个像素(Stride1)的卷积核，使用relu激活函数对该待处理图像进行卷积操作，再进行Batch Normalization(BN算法)，经激活函数得到32*32*32的Conv1卷积层特征图像；将32*32*32的Conv1卷积层特征图像输入到预设残差网络的R1残差单元，该R1残差单元由卷积层Conv2、卷积层Conv3以及一个短接结构构成，卷积层Conv2和卷积层Conv3对Conv1卷积层特征图像进行卷积操作后，得到32*32*32的特征图像，再与Conv1卷积层特征图像进行像素值的相加，得到32*32*32的R1残差单元特征图像；将32*32*32的R1残差单元特征图像输入到预设残差网络的R2残差单元，该R2残差单元由卷积层Conv4、卷积层Conv5以及一个包含卷积层Conv6的短接结构构成，卷积层Conv4和卷积层Conv5对R1残差单元特征图像进行卷积操作后，得到64*16*16的特征图像，卷积层Conv6对R1残差单元特征图像进行卷积操作后，得到64*16*16的特征图像，将得到的两个64*16*16的特征图像的像素值对应相加，得到64*16*16的R2残差单元特征图像；将64*16*16的R2残差单元特征图像输入到预设残差网络的R3残差单元，该R3残差单元由卷积层Conv7、卷积层Conv8以及一个包含卷积层Conv9的短接结构构成，卷积层Conv7和卷积层Conv8对R2残差单元特征图像进行卷积操作后，得到128*8*8的特征图像，卷积层Conv9对R2残差单元特征图像进行卷积操作后，得到128*8*8的特征图像，将得到的两个128*8*8的特征图像的像素值对应相加，得到128*8*8的R3残差单元特征图像；将128*8*8的R3残差单元特征图像输入到预设残差网络的的卷积层Conv10，经过卷积层Conv10的卷积操作后，得到128维特征向量；利用L2范数归一化操作(L2Norm)，对该128维特征向量进行归一化，该归一化后的128维特征向量可以代表步骤101获取的图像对应的特征描述子。
可以理解的是，本步骤中的预设残差网络的具体获取方式，可以由设计人员根据实用场景和用户需求自行设置，如可以为设计人员或用户直接设置的一个残差网络，即用户直接设置残差网络的中卷积层构成的残差单元的参数；也可以为通过迭代生成的一个残差网络，即本实施例还可以包括训练生成预设残差网络的步骤。只要本步骤可以利用预设残差网络对归一化处理后的待处理图像进行图像处理，获取图像对应的特征描述子，本实施例对此不做任何限制。
本实施例中，本发明实施例通过利用预设残差网络对归一化处理后的待处理图像进行图像处理，获取图像对应的特征描述子，利用深度卷积神经网络中的残差网络生成特征描述子，使得生成的特征描述子鲁棒性更强，即对光照、旋转、尺度变换敏感度更低；并且可区分性更强，即匹配点的错误率与现有的技术相比更低，提高了用户体验。
基于上述实施例，本实施例可以通过迭代训练生成更优的预设残差网络，进一步增强预设残差网络输出的特征描述子的鲁棒性和可区分性。具体的请参考图3，图3为本发明实施例所提供的另一种特征描述子生成方法的生成预设残差网络的流程图。该方法可以包括：
步骤201：获取预设残差网络的训练数据集；其中，训练数据集包括n对匹配的待匹配训练图像和匹配训练图像，n为大于0的整数。
可以理解的是，本步骤中的训练数据集中可以包含的n个待匹配训练图像和n个匹配训练图像，每个待匹配训练图像均对应一个与之匹配的匹配训练图像。对于训练数据集中的待匹配训练图像和匹配训练图像的具体数量设置，即n的具体数值，和待匹配训练图像及匹配训练图像的具体图像设置，可以由设计人员根据实用场景和用户需求自行设置，本实施例对此不做任何限制。
步骤202：将每个待匹配训练图像和每个匹配训练图像分别转化为预设大小的待处理训练图像，并对每个待处理训练图像的像素值进行归一化处理。
其中，本步骤中将每个待匹配训练图像和每个匹配训练图像分别转化为预设大小的待处理训练图像的具体方式，可以与上一实施例中将获取的图像转化为预设大小的待处理图像的方式相对应，在此不再赘述。
对应的，对于本步骤中预设大小的具体数值设置，可以与上一实施例的设置相同，如可以设置为32*32或其他大小，本实施例对此同样不做任何限制。
可以理解的是，本步骤中对每个待处理训练图像的像素值进行归一化处理的具体方式，可以通过利用2n个归一化处理前的待处理训练图像的像素值的平均值和方差，获取归一化处理后的每个待处理训练图像的像素值，以将每个待处理训练图像在原本的如0至255的范围内像素值，归一化到0至1的范围内。其中，input和output分别为归一化处理前和归一化处理后的每个待处理训练图像的像素值，mean和std分别为2n个归一化处理前的待处理训练图像的像素值的平均值和方差；也可以采用其它方式，如将mean和std设置为预设的数值，本实施例对此不做任何限制。
步骤203：判断是否达到预设迭代次数；若否，则进入步骤204；若是，则步骤207。
可以理解的是，本实施例的目的可以通过迭代训练当前残差网络，使其不断优化，从而在达到预设迭代次数时，将当前残差网络作为预设残差网络，获取更优的预设残差网络。具体的，本步骤可以为判断当前迭代次数是否达到预设迭代次数，即步骤206更新后的当前残差网络对应的当前迭代次数是否达到预设迭代次数。对于预设迭代次数的具体数值的设置，可以由设计人员或用户自行设置，本实施例对此不做任何限制。
需要说明的是，对于本步骤在本实施例所提供的方法中的具体流程位置，可以由设计人员或用户自行设置，只要可以通过本步骤确定是否完成对当前残差网络的迭代训练，本实施例对此不做任何限制。
步骤204：利用当前残差网络对归一化处理后的每个待处理训练图像进行图像处理，获取2n个当前特征描述子，并对每个当前特征描述子进行归一化处理。
其中，本步骤中的当前残差网络可以为设计人员或用户预先设置的一个初始残差网络或该初始残差网络在步骤206更新后的当前迭代次数对应的一个残差网络。对于初始残差网络的具体设置，可以由设计人员或用户自行设置，如图2所示，可以设置成包括8个卷积层构成的3个残差单元的残差网络。只要可以利用初始残差网络对归一化处理后的每个待处理训练图像进行图像处理，本实施例对此不做任何限制。
需要说明的是，本步骤的目的可以为分别将2n个归一化处理后的待处理训练图像输入到当前残差网络，利用当前残差网络输出每个归一化处理后的待处理训练图像对应的当前特征描述子。具体的，对于当前残差网络对2n个归一化处理后的待处理训练图像进行图像处理的具体方式，可以采用与上一实施例中的步骤102相似的方式对应进行设置，本实施例对此不做任何限制。
对应的，对于本步骤中并对每个当前特征描述子进行归一化处理的具体方式，可以如图2所示利用L2范数归一化操作(L2Norm)，对每个当前特征描述子进行归一化；也可以采用其他方式对每个当前特征描述子进行归一化处理，本实施例对此不做任何限制。
步骤205：根据2n个归一化处理后的当前特征描述子对应的当前欧式距离集，获取当前目标损失函数。
可以理解的是，本步骤的目的可以为根据计算得到的每个待匹配训练图像对应的当前特征描述子与各自匹配和非匹配的匹配训练图像对应的当前特征描述子之间的欧氏距离，计算当前目标损失函数，以利用当前目标损失函数对当前残差网络进行更新。其中，本步骤中的当前目标损失函数的目的可以在于最小化匹配的待匹配训练图像和匹配训练图像各自对应当前特征描述子之间的欧氏距离，以及最大化非匹配的待匹配训练图像和匹配训练图像各自对应当前特征描述子之间的欧氏距离中的最小的距离。
需要说明的是，本步骤中利用欧式距离描述待匹配训练图像和匹配训练图像各自对应当前特征描述子之间的相似度，距离值越小，意味着这两个当前特征描述子相似度越高，反之亦然。由于每次迭代训练均有n对匹配的待匹配训练图像和匹配训练图像各自对应的当前特征描述子，因此，本步骤中的当前欧式距离集中可以包含n*n个欧式距离(d(ai，pj))。d(ai，pj)可以表示待匹配训练图像对应的当前特征描述子ai与匹配训练图像对应的当前特征描述子pj之间的欧氏距离，i和j均为大于0且小于等于n的正整数，若i＝j，代表着对应的待匹配训练图像和匹配训练图像是匹配关系，反之亦然。
具体的，对于本步骤中2n个归一化处理后的当前特征描述子对应的当前欧式距离集的具体获取方式，可以由设计人员或用户自行设置，如可以通过计算2n个归一化处理后的当前特征描述子中每个待匹配训练图像对应的当前特征描述子与各自匹配和非匹配的匹配训练图像对应的当前特征描述子之间的欧氏距离，获取当前欧式距离集；其中，i和j均为大于0且小于等于n的正整数，i＝j时，d(ai，pj)为待匹配训练图像对应的当前特征描述子ai和与待匹配训练图像匹配的匹配训练图像对应的当前特征描述子pj之间的欧氏距离。只要可以获取描述待匹配训练图像和匹配训练图像各自对应当前特征描述子之间的相似度的欧氏距离组成的欧式距离集，本实施例对此不做任何限制。
具体的，本步骤中根据2n个归一化处理后的当前特征描述子对应的当前欧式距离集，获取当前目标损失函数的具体方式，即当前目标损失函数的具体计算公式的设置，可以由设计人员或用户自行设置，如本步骤可以通过利用当前欧式距离集计算获取当前目标损失函数；其中，jmin＝arg minj＝1...n，j≠id(ai，pj)，kmin＝arg mink＝1...n，k≠id(ak，pi)。只要当前目标损失函数的可以表示最小化匹配的待匹配训练图像和匹配训练图像各自对应当前特征描述子之间的欧氏距离，以及最大化非匹配的待匹配训练图像和匹配训练图像各自对应当前特征描述子之间的欧氏距离中的最小的距离，本实施例对此不做任何限制。
步骤206：利用当前目标损失函数，通过随机梯度下降法和反向传播更新当前残差网络，并进入步骤203。
可以理解的是，本步骤的目的可以为利用步骤205获取的当前目标损失函数，使用随机梯度下降法和反向传播更新当前残差网络中对应的参数，以对当前残差网络进行调优。
对应的，对于本步骤中利用当前目标损失函数更新的当前残差网络的具体内容，可以由设计人员根据实用场景和用户需求自行设置，如可以主要对当前残差网络的卷积层中的卷积核的参数进行更新优化，如对图2中卷积层Conv4的卷积核的参数3*3*64*32(其中32是上层即卷积层Conv3中特征图像的数量)。本实施例对此不做任何限制。
具体的，对于随机梯度下降法和反向传播的具体方式，可以采用与现有技术相同或相似的方式实现，只要可以利用当前目标损失函数，对当前残差网络中对应的参数进行调优，本实施例对此不做任何限制。
需要说明的是，本步骤还可以包括对更新当前迭代次数的步骤，以保证进入步骤203之前，更新后的当前残差网络与更新后的当前迭代次数相对应。
步骤207：将当前残差网络作为预设残差网络。
可以理解的是，本步骤的目的可以为在当前迭代次数达到预设迭代次数后，将当前迭代次数对应的当前残差网络作为预设残差网络，即将最后一次更新后的当前残差网络作为预设残差网络，以获取迭代训练过程中最优的当前残差网络(预设残差网络)。
本实施例中，本发明实施例通过根据2n个归一化处理后的当前特征描述子对应的当前欧式距离集，获取当前目标损失函数，利用欧式距离描述待匹配训练图像和匹配训练图像各自对应当前特征描述子之间的相似度，以利用目标损失函数更新优化每次迭代的残差网络，从而优化预设残差网络，进一步增强了预设残差网络输出的特征描述子的鲁棒性和可区分性。
请参考图4，图4为本发明实施例所提供的一种特征描述子生成装置的结构图。该装置可以包括：
预处理模块100，用于将获取的图像转化为预设大小的待处理图像，并对待处理图像的像素值进行归一化处理；
图像处理模块200，用于利用预设残差网络对归一化处理后的待处理图像进行图像处理，获取图像对应的特征描述子。
可选的，该装置还可以包括：
生成模块，用于生成预设残差网络；
其中，生成模块，可以包括：
获取子模块，用于获取预设残差网络的训练数据集；其中，训练数据集包括n对匹配的待匹配训练图像和匹配训练图像，n为大于0的整数；
预处理子模块，用于将每个待匹配训练图像和每个匹配训练图像分别转化为预设大小的待处理训练图像，并对每个待处理训练图像的像素值进行归一化处理；
判断子模块，用于判断是否达到预设迭代次数；
图像子处理模块，用于若未达到预设迭代次数，利用当前残差网络对归一化处理后的每个待处理训练图像进行图像处理，获取2n个当前特征描述子；
计算子模块，用于根据2n个当前特征描述子对应的当前欧式距离集，获取当前目标损失函数；
更新子模块，用于利用随机梯度下降法和反向传播更新当前残差网络，并向判断子模块发送启动信号；
生成子模块，用于若达到预设迭代次数，则将当前残差网络作为预设残差网络。
可选的，预处理子模块，可以包括：
归一化单元，用于通过利用2n个归一化处理前的待处理训练图像的像素值的平均值和方差，获取归一化处理后的每个待处理训练图像的像素值；其中，input和output分别为归一化处理前和归一化处理后的每个待处理训练图像的像素值，mean和std分别为2n个归一化处理前的待处理训练图像的像素值的平均值和方差。
可选的，计算子模块，可以包括：
第一计算单元，用于通过计算2n个归一化处理后的当前特征描述子中每个待匹配训练图像对应的当前特征描述子与各自匹配和非匹配的匹配训练图像对应的当前特征描述子之间的欧氏距离，获取当前欧式距离集；其中，i和j均为大于0且小于等于n的正整数，i＝j时，d(ai，pj)为待匹配训练图像对应的当前特征描述子ai和与待匹配训练图像匹配的匹配训练图像对应的当前特征描述子pj之间的欧氏距离；
第二计算单元，用于通过利用当前欧式距离集计算获取当前目标损失函数；其中，jmin＝arg minj＝1...n,j≠id(ai，pj)，kmin＝arg mink＝1...n,k≠id(ak，pi)。
本实施例中，本发明实施例通过图像处理模块200利用预设残差网络对归一化处理后的待处理图像进行图像处理，获取图像对应的特征描述子，利用深度卷积神经网络中的残差网络生成特征描述子，使得生成的特征描述子鲁棒性更强，即对光照、旋转、尺度变换敏感度更低；并且可区分性更强，即匹配点的错误率与现有的技术相比更低，提高了用户体验。
本发明实施例还提供了一种特征描述子生成设备，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序时实现如上述任一实施例所提供的特征描述子生成方法的步骤。
此外，本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现如上述任一实施例所提供的特征描述子生成方法的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的特征描述子生成方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种特征描述子生成方法，其特征在于，包括：
将获取的图像转化为预设大小的待处理图像，并对所述待处理图像的像素值进行归一化处理；
利用预设残差网络对归一化处理后的所述待处理图像进行图像处理，获取所述图像对应的特征描述子。
2.根据权利要求1所述的特征描述子生成方法，其特征在于，所述预设残差网络的生成过程，包括：
获取所述预设残差网络的训练数据集；其中，所述训练数据集包括n对匹配的待匹配训练图像和匹配训练图像，n为大于0的整数；
将每个所述待匹配训练图像和每个所述匹配训练图像分别转化为所述预设大小的待处理训练图像，并对每个所述待处理训练图像的像素值进行归一化处理；
判断是否达到预设迭代次数；
若否，利用当前残差网络对归一化处理后的每个所述待处理训练图像进行图像处理，获取2n个当前特征描述子，并对每个所述当前特征描述子进行归一化处理；
根据2n个归一化处理后的所述当前特征描述子对应的当前欧式距离集，获取当前目标损失函数；
利用所述当前目标损失函数，通过随机梯度下降法和反向传播更新所述当前残差网络，并执行所述判断是否达到预设迭代次数的步骤；
若是，则将所述当前残差网络作为所述预设残差网络。
3.根据权利要求2所述的特征描述子生成方法，其特征在于，所述对每个所述待处理训练图像的像素值进行归一化处理，包括：
通过利用2n个归一化处理前的所述待处理训练图像的像素值的平均值和方差，获取归一化处理后的每个所述待处理训练图像的像素值；其中，input和output分别为归一化处理前和归一化处理后的每个所述待处理训练图像的像素值，mean和std分别为2n个归一化处理前的所述待处理训练图像的像素值的平均值和方差。
4.根据权利要求2所述的特征描述子生成方法，其特征在于，所述根据2n个归一化处理后的所述当前特征描述子对应的当前欧式距离集，获取当前目标损失函数，包括：
通过计算2n个归一化处理后的所述当前特征描述子中每个所述待匹配训练图像对应的当前特征描述子与各自匹配和非匹配的所述匹配训练图像对应的当前特征描述子之间的欧氏距离，获取所述当前欧式距离集；其中，i和j均为大于0且小于等于n的正整数，i＝j时，d(ai,pj)为所述待匹配训练图像对应的当前特征描述子ai和与所述待匹配训练图像匹配的匹配训练图像对应的当前特征描述子pj之间的欧氏距离；
通过利用所述当前欧式距离集计算获取所述当前目标损失函数；其中，jmin＝arg minj＝1...n,j≠id(ai,pj)，kmin＝argmink＝1...n,k≠id(ak,pi)。
5.根据权利要求2所述的特征描述子生成方法，其特征在于，所述预设大小具体为32*32，所述特征描述子和所述当前特征描述子均为128维特征向量。
6.根据权利要求1至5任一项所述的特征描述子生成方法，其特征在于，所述预设残差网络，包括：8个卷积层构成的3个残差单元。
7.一种特征描述子生成装置，其特征在于，包括：
预处理模块，用于将获取的图像转化为预设大小的待处理图像，并对所述待处理图像的像素值进行归一化处理；
图像处理模块，用于利用预设残差网络对归一化处理后的所述待处理图像进行图像处理，获取所述图像对应的特征描述子。
8.根据权利要求7所述的特征描述子生成装置，其特征在于，还包括：
生成模块，用于生成所述预设残差网络；
其中，所述生成模块，包括：
获取子模块，用于获取所述预设残差网络的训练数据集；其中，所述训练数据集包括n对匹配的待匹配训练图像和匹配训练图像，n为大于0的整数；
预处理子模块，用于将每个所述待匹配训练图像和每个所述匹配训练图像分别转化为所述预设大小的待处理训练图像，并对每个所述待处理训练图像的像素值进行归一化处理；
判断子模块，用于判断是否达到预设迭代次数；
图像子处理模块，用于若未达到预设迭代次数，利用当前残差网络对归一化处理后的每个所述待处理训练图像进行图像处理，获取2n个当前特征描述子；
计算子模块，用于根据2n个所述当前特征描述子对应的当前欧式距离集，获取当前目标损失函数；
更新子模块，用于利用所述当前目标损失函数，通过随机梯度下降法和反向传播更新所述当前残差网络，并向所述判断子模块发送启动信号；
生成子模块，用于若达到预设迭代次数，则将所述当前残差网络作为所述预设残差网络。
9.一种特征描述子生成设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的特征描述子生成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的特征描述子生成方法的步骤。
CN201810953743.9A 2018-08-21 2018-08-21 特征描述子生成方法、装置、设备及计算机可读存储介质 Pending CN109086782A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810953743.9A CN109086782A (zh) 2018-08-21 2018-08-21 特征描述子生成方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810953743.9A CN109086782A (zh) 2018-08-21 2018-08-21 特征描述子生成方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109086782A true CN109086782A (zh) 2018-12-25

Family

ID=64794077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810953743.9A Pending CN109086782A (zh) 2018-08-21 2018-08-21 特征描述子生成方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109086782A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197254A (zh) * 2019-04-25 2019-09-03 中国科学院自动化研究所南京人工智能芯片创新研究院 基于深度迁移学习的线特征描述方法
CN111583332A (zh) * 2020-05-18 2020-08-25 中国科学院自动化研究所 基于并行搜索2d-3d匹配的视觉定位方法、系统、装置
CN111932544A (zh) * 2020-10-19 2020-11-13 鹏城实验室 篡改图像检测方法、装置及计算机可读存储介质
CN113963241A (zh) * 2021-12-22 2022-01-21 苏州浪潮智能科技有限公司 Fpga硬件架构及其数据处理方法、存储介质
CN114092559A (zh) * 2021-11-30 2022-02-25 中德（珠海）人工智能研究院有限公司 一种全景图像特征点描述符生成网络的训练方法以及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866524A (zh) * 2015-04-10 2015-08-26 大连交通大学 一种商品图像精细分类方法
CN106778502A (zh) * 2016-11-21 2017-05-31 华南理工大学 一种基于深度残差网络的人群计数方法
CN106991666A (zh) * 2017-02-24 2017-07-28 中国科学院合肥物质科学研究院 一种适用于多尺寸图片信息的病害图像识别方法
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN107633520A (zh) * 2017-09-28 2018-01-26 福建帝视信息科技有限公司 一种基于深度残差网络的超分辨率图像质量评估方法
CN107871105A (zh) * 2016-09-26 2018-04-03 北京眼神科技有限公司 一种人脸认证方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866524A (zh) * 2015-04-10 2015-08-26 大连交通大学 一种商品图像精细分类方法
CN107871105A (zh) * 2016-09-26 2018-04-03 北京眼神科技有限公司 一种人脸认证方法和装置
CN106778502A (zh) * 2016-11-21 2017-05-31 华南理工大学 一种基于深度残差网络的人群计数方法
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN106991666A (zh) * 2017-02-24 2017-07-28 中国科学院合肥物质科学研究院 一种适用于多尺寸图片信息的病害图像识别方法
CN107633520A (zh) * 2017-09-28 2018-01-26 福建帝视信息科技有限公司 一种基于深度残差网络的超分辨率图像质量评估方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUIJUN WANG ET AL.: "Image retrieval based on ResNet and ITQ", 《2ND INTERNATIONAL CONFERENCE ON MECHANICAL, ELECTRONIC, CONTROL AND AUTOMATION ENGINEERING (MECAE 2018)》 *
JINYUN LU: "Image Retrieval Based on ResNet and KSH", 《INTERNATIONAL CONFERENCE ON NETWORK, COMMUNICATION, COMPUTER ENGINEERING (NCCE 2018)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197254A (zh) * 2019-04-25 2019-09-03 中国科学院自动化研究所南京人工智能芯片创新研究院 基于深度迁移学习的线特征描述方法
CN110197254B (zh) * 2019-04-25 2022-05-24 中国科学院自动化研究所南京人工智能芯片创新研究院 基于深度迁移学习的线特征描述方法
CN111583332A (zh) * 2020-05-18 2020-08-25 中国科学院自动化研究所 基于并行搜索2d-3d匹配的视觉定位方法、系统、装置
CN111583332B (zh) * 2020-05-18 2024-02-13 中国科学院自动化研究所 基于并行搜索2d-3d匹配的视觉定位方法、系统、装置
CN111932544A (zh) * 2020-10-19 2020-11-13 鹏城实验室 篡改图像检测方法、装置及计算机可读存储介质
CN114092559A (zh) * 2021-11-30 2022-02-25 中德（珠海）人工智能研究院有限公司 一种全景图像特征点描述符生成网络的训练方法以及装置
CN113963241A (zh) * 2021-12-22 2022-01-21 苏州浪潮智能科技有限公司 Fpga硬件架构及其数据处理方法、存储介质
CN113963241B (zh) * 2021-12-22 2022-03-08 苏州浪潮智能科技有限公司 Fpga硬件架构及其数据处理方法、存储介质

Similar Documents

Publication Publication Date Title
CN109086782A (zh) 特征描述子生成方法、装置、设备及计算机可读存储介质
WO2020259365A1 (zh) 一种图像处理方法及装置、计算机可读存储介质
Dong et al. Denoising prior driven deep neural network for image restoration
Zhang et al. Occlusion-free face alignment: Deep regression networks coupled with de-corrupt autoencoders
WO2019237846A1 (zh) 图像处理方法、人脸识别方法、装置和计算机设备
WO2020228525A1 (zh) 地点识别及其模型训练的方法和装置以及电子设备
CN110222573B (zh) 人脸识别方法、装置、计算机设备及存储介质
CN108764024A (zh) 人脸识别模型的生成装置、方法及计算机可读存储介质
US11557391B2 (en) Systems and methods for human pose and shape recovery
US9626552B2 (en) Calculating facial image similarity
WO2020098257A1 (zh) 一种图像分类方法、装置及计算机可读存储介质
CN111340077B (zh) 基于注意力机制的视差图获取方法和装置
CN105989326B (zh) 人眼三维位置信息的确定方法和装置
CN109948397A (zh) 一种人脸图像校正方法、系统及终端设备
CN107463818A (zh) 解锁控制方法及相关产品
CN112132812B (zh) 证件校验方法、装置、电子设备及介质
CN108875767A (zh) 图像识别的方法、装置、系统及计算机存储介质
WO2019128676A1 (zh) 过滤光斑的方法和装置
CN113298158A (zh) 数据检测方法、装置、设备及存储介质
CN112001285B (zh) 一种美颜图像的处理方法、装置、终端和介质
CN113033448B (zh) 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质
CN110210279A (zh) 目标检测方法、装置及计算机可读存储介质
CN110738222A (zh) 图像匹配方法、装置、计算机设备和存储介质
CN109360199A (zh) 基于沃瑟斯坦直方图欧氏度量的图像重复区域的盲检测方法
CN114299590A (zh) 人脸补全模型的训练方法、人脸补全方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181225