CN107358238A

CN107358238A - 一种提取图像特征信息的方法及系统

Info

Publication number: CN107358238A
Application number: CN201710117440.9A
Authority: CN
Inventors: 常旭剑
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-03-01
Filing date: 2017-03-01
Publication date: 2017-11-17

Abstract

本发明实施例公开了一种提取图像特征信息的方法，通过将获取的待处理图像分配到并行运算模块进行并行处理图像，调用并行运算模块中的多个计算节点确定关键点的尺度信息、坐标信息以及方向，然后根据关键点的尺度信息、坐标信息以及方向对待处理图像进行特征信息提取。通过CPU统一调度，对计算任务进行分块分布式并行计算，大大的节省了对图像建立尺度空间、在各尺度空间进行检测关键点以及确定关键点方向的时间，提高了SIFT算法提取图像特征信息的效率，缓解了CPU的负载压力，提高了整体系统的运行速率，有利于系统的可靠稳定运行。此外，本发明实施例还提供了相应的系统，进一步使得所述方法更具有实用性，所述系统具有相应的优点。

Description

一种提取图像特征信息的方法及系统

技术领域

本发明实施例涉及图像处理技术领域，特别是涉及一种提取图像特征信息的方法及系统。

背景技术

随着物联网和5G通信时代的到来，数据呈爆炸式增长，尤其是以视觉为主导的图片处理领域更是产生海量的图像数据，图像数据越来越广的应用于各行各业，而对图像数据进行特征检测，以得到图像数据中的关键信息，是图像应用的重要环节。

SIFT算法(Scale-Invariant Feature Transform，尺度不变特征变换算法)，为鲁棒性较好的一种计算机图像特征检测算法，具有尺度、旋转、平移不变性。该算法首先在不同尺度空间中寻找极值点，并描述点的位置、尺度和旋转不变性信息，并对图像中的局部特征进行检测和描述。广泛应用于视频跟踪、三维建模、机器视觉、物体识别等领域。

SIFT算法需要建立尺度空间，尺度空间的生成需要进行多次高斯卷积，为了减少耗时过程，一般使用高斯金字塔结构来替代卷积过程。而生成高斯金字塔先对图像进行高斯平滑，然后对图像进行降采样，以生成逐渐模糊的图像。在建立尺度空间之后，需要在各尺度空间下对特征点进行比对，确定关键点并将其提取。

由于建立多个尺度空间，耗时太多；还需在各个尺度空间对各特征点进行比对以确定关键点，导致整个SIFT算法耗时较多，速度较慢，提取特征点的效率较低。此外，由于常规计算机CPU(Central Processing Unit，中央处理器)核心少，带宽小，并行计算能力不足，尤其是面对计算机图像特征提取过程中需要进行大量的矩阵运算。大量数据处理会导致计算机CPU计算负载太重，不利于提高计算速度，严重时，会导致计算机系统崩溃。因此，如何提高SIFT算法提取图像特征信息的效率，是本领域技术人员亟待解决的问题。

发明内容

本发明实施例的目的是提供一种提取图像特征信息的方法及系统，以提高SIFT算法提取图像特征信息的效率。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种提取图像特征信息的方法，包括：

获取待处理图像；

给并行运算模块发送根据SIFT算法对所述待处理图像进行确定关键点的尺度信息、坐标信息以及方向任务的指令；

当检测到所述并行运算模块返回完成任务的指令时，根据所述关键点的尺度信息、坐标信息以及方向对所述待处理图像的特征信息进行提取。

可选的，所述给并行运算模块发送根据SIFT算法对所述待处理图像进行确定关键点的尺度信息、坐标信息以及方向任务的指令为：

给多个GPU发送根据SIFT算法对所述待处理图像进行确定关键点的尺度信息、坐标信息以及方向任务的指令。

给多个FPGA发送根据SIFT算法对所述待处理图像进行确定关键点的尺度信息、坐标信息以及方向任务的指令。

可选的，所述根据SIFT算法对所述待处理图像进行确定关键点的尺度信息、坐标信息以及方向包括：

根据SIFT算法对所述待处理图像进行尺度空间；

在各所述尺度空间上确定DoG函数为极值的像素点，作为关键点，通过对所述DoG函数进行最小二乘拟合，以确定各所述关键点的尺度信息以及坐标信息；

根据图像梯度算法统计各所述关键点邻域的梯度分布，并生成梯度直方图，将所述梯度直方图的主峰值作为相应关键点的方向。

可选的，所述并行运算模块为多个GPU具体为：

根据所述待处理图像进行确定关键点的尺度信息、坐标信息以及方向的计算量确定所述GPU的个数，所述GPU的个数随着所述计算量的增大而增多。

本发明实施例另一方面提供了一种提取图像特征信息的系统，包括：

CPU，用于获取待处理图像；给并行运算模块发送根据SIFT算法对所述待处理图像进行确定关键点的尺度信息、坐标信息以及方向任务的指令；当检测到所述并行运算模块返回完成任务的指令时，根据所述关键点的尺度信息、坐标信息以及方向对所述待处理图像的特征信息进行提取；

并行运算模块，用于根据CPU发送的指令执行对所述待处理图像进行确定关键点的尺度信息、坐标信息以及方向；

存储模块，用于存储所述指令以及所述待处理图像的尺度信息、坐标信息以及方向。

可选的，所述并行运算模块为多个GPU。

可选的，所述并行运算模块为多个FPGA。

可选的，所述并行运算模块为根据SIFT算法对所述待处理图像进行尺度空间；在各所述尺度空间上确定DoG函数为极值的像素点，作为关键点，通过对所述DoG函数进行最小二乘拟合，以确定各所述关键点的尺度信息以及坐标信息；根据图像梯度算法统计各所述关键点邻域的梯度分布，并生成梯度直方图，将所述梯度直方图的主峰值作为相应关键点的方向的模块。

可选的，所述GPU为NVIDIA的M40。

本发明实施例提供了一种提取图像特征信息的方法，通过将获取的待处理图像分配到并行运算模块进行并行处理图像，调用并行运算模块中的多个计算节点确定关键点的尺度信息、坐标信息以及方向，然后根据关键点的尺度信息、坐标信息以及方向对待处理图像进行特征信息提取。

本申请技术方案的优点在于，通过CPU统一调度，对计算任务进行分块分布式并行计算，大大的节省了根据SIFT算法对图像建立尺度空间、在各尺度空间进行检测关键点以及确定各关键点方向的时间，提高了SIFT算法提取图像特征信息的效率，一定程度上缓解了CPU的负载压力，提高了整体系统的运行速率，有利于系统的可靠稳定运行。

此外，本发明实施例还针对提取图像特征信息的方法提供了相应的实现系统，进一步使得所述方法更具有实用性，所述系统具有相应的优点。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一个示例性应用场景的框架示意图；

图2为本发明实施例提供的一种提取图像特征信息方法的流程示意图；

图3为本发明实施例提供的提取图像特征信息系统的一种实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

现有技术中，在利用SIFT算法进行特征点提取时，由于建立多个尺度空间(需要进行大量的矩阵运算)，耗时太多；还需在各个尺度空间对各特征点进行比对以确定关键点，导致整个SIFT算法耗时较多，速度较慢，提取特征点的效率较低。且常规计算机CPU处理器核心少，带宽小，并行计算能力不足，尤其是面对计算机图像特征提取过程中需要进行大量的矩阵运算。

本申请的发明人经过研究发现，GPU(Graphics Processing Unit，图形处理器)，为在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器，即显卡的处理器。在图像处理领域，GPU的工作效率远远高于CPU。

GPU是将计算机系统所需要的显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示，是连接显示器和个人电脑主板的重要元件，也是“人机对话”的重要设备之一。显卡作为电脑主机里的一个重要组成部分，承担输出显示图形的任务，对于从事专业图形设计的人来说显卡非常重要。

FPGA(Field-Programmable Gate Array，现场可编程门阵列)，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物，是一种新型的异构计算平台加速器件，由可编程的逻辑块和互联网络组成，可在不同逻辑下执行多个线程，实现流水线并行处理，具有较强的并行处理能力。FPGA在大数据处理领域具有诸多优势，如采用流水线方式实现并行计算、低功耗、动态可重构等。

异构计算是指使用不同类型指令集和体系架构的计算单元组成系统的计算方式，能够根据每一个计算子系统的结构特点为其分配不同的计算任务，常见的计算单元有CPU、GPU、数字信号处理DSP、专用集成电路ASIC、FPGA等。比如CPU和GPU之间的“协同计算、彼此加速”，从而突破CPU发展的瓶颈。这种模式可提高服务器的计算性能、能效比和计算实时性。

鉴于此，本申请通过将并行计算节点与CPU结合为异构平台，即将多个并行计算节点与CPU计算节点相连进行异构计算。

基于上述本发明实施例的技术方案，下面首先结合图1对本发明实施例的技术方案涉及的一些可能的应用场景进行举例介绍，图1为本发明实施例提供的多个GPU与CPU组成异构计算平台实现对图像特征信息的提取。

如图1所示，CPU获取待处理图像，给多个GPU下达根据SIFT算法对所述待处理图像进行确定关键点的尺度信息、坐标信息以及方向任务的指令。多个GPU对所获取的图像进行尺度空间构建、特征点(关键点)检测、对关键点的方向进行确定；当检测到各个GPU返回完成任务的指令时，根据关键点的尺度信息、坐标信息以及方向对所述待处理图像的特征信息进行提取。

需要注意的是，上述应用场景仅是为了便于理解本申请的思想和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图2，图2为本发明实施例提供的一种提取图像特征信息方法的流程示意图，本发明实施例可包括以下内容：

S201：获取待处理图像。

待处理图像的格式可为任意格式的图像，例如bmp、tif、tiff、png等等，本申请对此不做任何限定。

待处理图像为CPU进行获取，可为接收用户输入的图像，也可为从图像库中任意选取的一幅图像，这均不影响本申请的实现。

S202：给并行运算模块发送根据SIFT算法对所述待处理图像进行确定关键点的尺度信息、坐标信息以及方向任务的指令。

由于根据SIFT算法对图像进行提取特征时，进行大量的矩阵运算，尤其是在建立尺度空间时，需要对其进行高斯金子塔的建立，进行大量的卷积运算，此外在各个尺度空间，需要对每个尺度空间进行关键点的确定，需要进行大量的计算与比对。而传统的串行处理方法，明显会占用大量时间，而且会造成CPU负载太重，不利于整个系统的运行。故，采用并行运算方式进行处理。

并行运算模块可为多个GPU，也可为多个FPGA，当然，也可为其他可实现并行运算的设备，这均不影响本申请的实现。可选的，由于GPU为图像处理器，由于GPU上更多的是运算单元(整数、浮点的乘加单元)，GPU并行计算可以大幅度压缩处理时间。且对于图像的处理，有不可比拟饿优越性，故可选择多个GPU作为并行运算模块的计算节点。

具体的可为：

SIFT在建立尺度空间，是图片、特征点比对等处理过程中，都可以进行并行处理。不存在互相等待，以实现高性能快速计算。CPU和并行运算模块可以实现计算均衡，彼此相互不等待，系统中计算设备不出现空闲状态，整个系统将实现高效运转。

具体的并行运算模块在进行对图像处理时，可为：

根据SIFT算法对所述待处理图像进行尺度空间；

针对上述每一步，具体的步骤可包括：

在建立了高斯差分金字塔之后，在高斯差分尺度空间选择关键点。可用差分高斯图像的每一点和它尺度相同周围的8个点以及相邻尺度的18点来进行比较。如果这个点是最大值或者是最小值，那么这个点就是高斯差分空间尺度上的关键点。

接下来利用尺度空间中DoG函数的Taylor展开式进行最小二乘拟合，并计算特征点的所在坐标位置和尺度。

通过使用高斯差分算子求取的极值点保持了缩放旋转不变性，所以使用图像梯度方法给每个关键点分配一个参考方向，使其具有旋转缩放不变的功能。即通过计算每个关键点的梯度作为关键点的方向。

然后，在特征点邻域内进行采样，利用邻域像素的灰度信息来创建梯度直方图，以此来统计邻域像素的梯度模值和方向。梯度直方图包括均匀的36bins。选择直方图的最大值点作为关键点的主方向，选取能量大于主方向80％以上的最大值作为关键点次方向。

需要说明的是，由于不同的计算量，并行模块调用的计算节点必然不同，为了保证提高图像处理的速率，而不浪费多余节点。可根据所述待处理图像进行确定关键点的尺度信息、坐标信息以及方向的计算量确定所述GPU的个数，所述GPU的个数随着所述计算量的增大而增多。

在进行并行运算时，并行运算模块一直处于工作阶段，而不受其他计算节点的影响。以GPU为例，CPU从存储中读取图片数据，然后分配给GPU，每个GPU开启相应的进程数并行处理图片，如果某个进程处理完当前图片，将会从CPU获取下一张图片继续提取，不需要等待其他进程完成，这样图片并行特征提取过程可以动态并行的进行，大幅提高处理效率。

S203：当检测到所述并行运算模块返回完成任务的指令时，根据所述关键点的尺度信息、坐标信息以及方向对所述待处理图像的特征信息进行提取。

需要说明的是，本申请具有一定的扩展性，适用于大部分特征提取算法，并不仅仅限于SIFT算法。通过采用并行数据计算方式，改进传统的串行算法提取，避免了图像处理的等待，实现整体系统工作效率。

由上可知，本发明实施例通过CPU统一调度，对计算任务进行分块分布式并行计算，大大的节省了根据SIFT算法对图像建立尺度空间、在各尺度空间进行检测关键点以及确定各关键点方向的时间，提高了SIFT算法提取图像特征信息的效率，一定程度上缓解了CPU的负载压力，提高了整体系统的运行速率，有利于系统的可靠稳定运行。

本发明实施例还针对提取图像特征信息的方法提供了相应的实现系统，进一步使得所述方法更具有实用性。下面对本发明实施例提供的提取图像特征信息的系统进行介绍，下文描述的提取图像特征信息的系统与上文描述的提取图像特征信息的方法可相互对应参照。

参见图3，图3为本发明实施例提供的提取图像特征信息系统在一种具体实施方式的结构图，该系统可包括：

CPU301，用于获取待处理图像；给并行运算模块发送根据SIFT算法对所述待处理图像进行确定关键点的尺度信息、坐标信息以及方向任务的指令；当检测到所述并行运算模块返回完成任务的指令时，根据所述关键点的尺度信息、坐标信息以及方向对所述待处理图像的特征信息进行提取。

并行运算模块302，用于根据CPU发送的指令执行对所述待处理图像进行确定关键点的尺度信息、坐标信息以及方向。

存储模块303，用于存储所述指令以及所述待处理图像的尺度信息、坐标信息以及方向。

并行运算模块302可为多个GPU。GPU可为NVIDIA的M40，单浮点运算能力达7万亿次，有3072个CUDA核心，12GB的GDDR5显存，288GB/秒的显存带宽，可以大幅度并行计算，使得计算性能得到大幅度提升。当然，也可采用其他类型的节点，本申请对此不做任何的限定。

并行运算模块302还可为多个FPGA。

并行运算模块302为根据SIFT算法对所述待处理图像进行尺度空间；在各所述尺度空间上确定DoG函数为极值的像素点，作为关键点，通过对所述DoG函数进行最小二乘拟合，以确定各所述关键点的尺度信息以及坐标信息；根据图像梯度算法统计各所述关键点邻域的梯度分布，并生成梯度直方图，将所述梯度直方图的主峰值作为相应关键点的方向的模块。

本发明实施例所述提取图像特征信息的系统的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

当然，需要说明的是，该装置中还包括高速网络模块，用于链接各个模块的节点间通信。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种提取图像特征信息方法以及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种提取图像特征信息的方法，其特征在于，包括：

获取待处理图像；

2.根据权利要求1所述的方法，其特征在于，所述给并行运算模块发送根据SIFT算法对所述待处理图像进行确定关键点的尺度信息、坐标信息以及方向任务的指令为：

3.根据权利要求1所述的方法，其特征在于，所述给并行运算模块发送根据SIFT算法对所述待处理图像进行确定关键点的尺度信息、坐标信息以及方向任务的指令为：

4.根据权利要求2所述的方法，其特征在于，所述根据SIFT算法对所述待处理图像进行确定关键点的尺度信息、坐标信息以及方向包括：

根据SIFT算法对所述待处理图像进行尺度空间；

5.根据权利要求2或4任意一项所述的方法，其特征在于，所述并行运算模块为多个GPU具体为：

6.一种提取图像特征信息的系统，其特征在于，包括：

7.根据权利要求6所述的系统，其特征在于，所述并行运算模块为多个GPU。

8.根据权利要求7所述的系统，其特征在于，所述并行运算模块为多个FPGA。

9.根据权利要求8所述的系统，其特征在于，所述并行运算模块为根据SIFT算法对所述待处理图像进行尺度空间；在各所述尺度空间上确定DoG函数为极值的像素点，作为关键点，通过对所述DoG函数进行最小二乘拟合，以确定各所述关键点的尺度信息以及坐标信息；根据图像梯度算法统计各所述关键点邻域的梯度分布，并生成梯度直方图，将所述梯度直方图的主峰值作为相应关键点的方向的模块。

10.根据权利要求9所述的系统，其特征在于，所述GPU为NVIDIA的M40。