CN109978801B - 一种图像处理方法及图像处理装置 - Google Patents

Abstract

本申请公开了一种图像处理方法及图像处理装置，所述方法包括：获取待处理图像；调用预先汇编的处理库对所述待处理图像进行第一处理；以并行处理方式分别对所述待处理图像进行光流跟踪，得到光流跟踪点，以及对所述待处理图像进行特征点筛选，得到第一特征点；根据所述光流跟踪点和所述第一特征点，得到所述待处理图像的目标特征点。其通过直接调用预先汇编的处理库对所述待处理图像进行第一处理，节省在运算相应函数时对时间的耗费，同时，再以并行处理方式同时进行光流跟踪和特征点筛选，相比依次完成对图像处理的各个流程的串行处理方式，使得对图像的处理更加高效，提高图像处理效率，同时，还减小了处理功耗。

Description

一种图像处理方法及图像处理装置

技术领域

本申请涉及图像处理领域，特别是一种图像处理方法及图像处理装置。

背景技术

目前，在对图像进行处理时所采用的图像算法一般都是串行处理，如果进行处理大量浮点型数据，中央处理器在对其进行处理时所耗费的处理时间都会非常长。例如，在完成特征点跟踪处理(其是同步定位与建图前端的主体)时，主要进行的为图像增强、建立光流金字塔、角点提取、光流跟踪、筛选优质特征点、筛除错匹配点等，而其完成上述特征点跟踪时，中央处理器所需消耗的时间较长，一般在700ms以上。

发明内容

有鉴于现有技术中存在的上述问题，本申请实施例提供了一种以并行处理方式对图像进行处理的图像处理方法及图像处理装置。

本申请实施例提供的一种图像处理方法，包括：

获取待处理图像；

调用预先汇编的处理库对所述待处理图像进行第一处理；

以并行处理方式分别对所述待处理图像进行光流跟踪，得到光流跟踪点，以及对所述待处理图像进行特征点筛选，得到第一特征点；

根据所述光流跟踪点和所述第一特征点，得到所述待处理图像的目标特征点。

在本申请的一些实施例中，所述调用预先汇编的处理库对所述待处理图像进行第一处理，包括：

调用预先汇编的直方图均衡化函数对所述待处理图像进行直方图均衡化。

在本申请的一些实施例中，所述调用预先汇编的处理库对所述待处理图像进行第一处理，还包括：

调用预先汇编的光流金字塔函数建立所述待处理图像的光流金字塔。

在本申请的一些实施例中，所述以并行处理方式分别对所述待处理图像进行光流跟踪，得到光流跟踪点，以及对所述待处理图像进行特征点筛选，得到第一特征点，包括：

控制第一处理模块对所述待处理图像进行光流跟踪，得到光流跟踪点；

控制第二处理模块对所述待处理图像进行特征点筛选，得到第一特征点，其中，所述第一处理模块和所述第二处理模块以并行处理方式运行。

在本申请的一些实施例中，所述根据所述光流跟踪点和所述第一特征点，得到所述待处理图像的目标特征点，包括：

若所述光流跟踪点的数量小于一预设值，则选取所述第一特征点中的至少部分特征点，以使所述光流特征点的数量与选取的所述至少部分特征点的数量之和与所述预设值相同；

筛除所述光流特征点和所述至少部分特征点中的错误匹配点，得到所述待处理图像的目标特征点。

在本申请的一些实施例中，所述根据所述光流跟踪点和所述第一特征点，得到所述待处理图像的目标特征点，还包括：

若所述光流跟踪点的数量不小于所述预设值，则筛除所述光流特征点中的错误匹配点，得到所述待处理图像的目标特征点。

本申请实施例还提供了一种图像处理装置，包括：

获取模块，其用于获取待处理图像；

调用处理模块，其用于调用预先汇编的处理库对所述待处理图像进行第一处理；

控制模块，其用于控制第一处理模块和所述第二处理模块以并行处理方式运行，分别控制第一处理模块对所述待处理图像进行光流跟踪，得到光流跟踪点，以及控制第二处理模块对所述待处理图像进行特征点筛选，得到第一特征点；

获得模块，其用于根据所述光流跟踪点和所述第一特征点，得到所述待处理图像的目标特征点。

在本申请的一些实施例中，所述调用处理模块具体用于：

调用预先汇编的直方图均衡化函数对所述待处理图像进行直方图均衡化。

在本申请的一些实施例中，所述调用处理模块还具体用于：

调用预先汇编的光流金字塔函数建立所述待处理图像的光流金字塔。

在本申请的一些实施例中，所述获得模块具体用于：

若所述光流跟踪点的数量小于一预设值，则选取所述第一特征点中的至少部分特征点，以使所述光流特征点的数量与选取的所述至少部分特征点的数量之和与所述预设值相同；

筛除所述光流特征点和所述至少部分特征点中的错误匹配点，得到所述待处理图像的目标特征点。

与现有技术相比，本申请的有益效果在于：其在获取待处理图像后，是通过调用预先汇编的处理库对所述待处理图像进行第一处理，并且，是以并行处理方式同时对所述待处理图像进行光流跟踪，得到光流跟踪点，以及对所述待处理图像进行特征点筛选，得到第一特征点；进而再所述光流跟踪点和上所述第一特征点，得到所述待处理图像的目标特征点。其通过直接调用预先汇编的处理库对所述待处理图像进行第一处理，节省在运算相应函数时对时间的耗费，同时，再以并行处理方式同时进行光流跟踪和特征点筛选，相比依次完成对图像处理的各个流程的串行处理方式，使得对图像的处理更加高效，提高图像处理效率。

附图说明

图1为本申请实施例提供的一种图像处理方法的流程图；

图2为本申请实施例提供的一种图像处理方法的示意图；

图3为本申请实施例提供的一种图像处理装置的框图。

具体实施方式

为使本领域技术人员更好的理解本申请的技术方案，下面结合附图和具体实施方式对本申请作详细说明。

此处参考附图描述本申请的各种方案以及特征。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本申请的上述和其它方面、特征和优势将变得更为显而易见。

此后参照附图描述本申请的具体实施例；然而，应当理解，所发明的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以根据用户的历史的操作，判明真实的意图，避免不必要或多余的细节使得本申请模糊不清。因此，本文所发明的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其它实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。

本申请实施例提供的一种图像处理方法，包括：

获取待处理图像；

调用预先汇编的处理库对所述待处理图像进行第一处理；

以并行处理方式分别对所述待处理图像进行光流跟踪，得到光流跟踪点，以及对所述待处理图像进行特征点筛选，得到第一特征点；

根据所述光流跟踪点和所述第一特征点，得到所述待处理图像的目标特征点。

通过上述的方法可知，其在获取待处理图像后，是通过调用预先汇编的处理库对所述待处理图像进行第一处理，并且，是以并行处理方式同时对所述待处理图像进行光流跟踪，得到光流跟踪点，以及对所述待处理图像进行特征点筛选，得到第一特征点；进而再所述光流跟踪点和上所述第一特征点，得到所述待处理图像的目标特征点。其通过直接调用预先汇编的处理库对所述待处理图像进行第一处理，节省在运算相应函数时对时间的耗费，同时，再以并行处理方式同时进行光流跟踪和特征点筛选，相比依次完成对图像处理的各个流程的串行处理方式，使得对图像的处理更加高效，提高图像处理效率，同时，还减小了处理功耗。

为了能够更加简单、详细的了解上述技术方案，下面结合实施例和附图对上述的图像处理方法进行详细阐述。

如图1和图2所示，图1为本申请实施例提供的一种图像处理方法的流程图，图2为本申请实施例提供的一种图像处理方法的示意图，所述图像处理方法包括如下步骤：

步骤101：获取待处理图像。其中，待处理图像可以为一图片，如电脑中存储的一图片，相机中的图片等等，也可以是实时图像中的一帧图像，如，通过摄像头获取的实时拍摄图像中的一帧图像，只要是能够被进行特征点提取的图像均可，在此不做明确的限定，同时，其在获取所述待处理图像时，可以采用以DMA(Direct Memory Access，直接内存存取)方式从存储区拷贝，以提高数据传输的速度。

步骤102：调用预先汇编的处理库对所述待处理图像进行第一处理。其中，预先编辑的处理库可以是将计算函数利用汇编写出，直接操作计算硬件得到计算结果，并封装在所述处理库，以供直接调用，其使得在直接调用相应计算函数时，能够直接得到计算结果，其中，预先编辑的处理库中包括遍历寻找最值功能函数，遍历像素阈值判断函数，直方图均衡化函数以及图像下采样功能函数等等计算耗时长且无法被优化的功能函数。

在本申请的一些实施例中，所述所述调用预先汇编的处理库对所述待处理图像进行第一处理，包括：调用预先汇编的直方图均衡化函数对所述待处理图像进行直方图均衡化。其中，直方图均衡化函数被预先进行汇编写出，并直接操作计算硬件得到计算结果后，封装在所述处理库。具体地，可以是在获取到一摄像头拍摄的实时图像中的一帧图像时，调用所述预先汇编的直方图均衡化函数，进而通过直方图均衡化函数直接计算得到该实时图像中的这一帧图像进行调整。

在本申请的一些实施例中，所述调用预先汇编的处理库对所述待处理图像进行第一处理，还包括：调用预先汇编的光流金字塔函数建立所述待处理图像的光流金字塔。在本实施例中，还可以是以在获取到一摄像头拍摄的实时图像中的一帧图像为例，在获取到该帧图像后，调用所述预先汇编的光流金字塔函数，建立该实时图像中的这一帧图像的光流金字塔。

步骤103：以并行处理方式分别对所述待处理图像进行光流跟踪，得到光流跟踪点，以及对所述待处理图像进行特征点筛选，得到第一特征点。其中，所述对所述待处理图像进行光流跟踪，与所述对所述待处理图像进行特征点筛选两个处理流程之间不存在必然联系，且可以分别通过多个计算处理模块分别完成相应处理，例如，光流处理模块能够完成对所述待处理图像的光流跟踪，而特征点筛选模块能够完成对所述待处理图像的特征点筛选，且其中，所述光流处理模块和所述特征点筛选模块能够同时进行各自的处理任务，相比于依次完成对所述待处理图像进行特征点筛选以及对所述待处理图像进行光流跟踪而言，通过采用并行处理方式，能够提高处理速度，提高处理性能。

在本申请的一些实施例中，所述以并行处理方式分别对所述待处理图像进行光流跟踪，得到光流跟踪点，以及对所述待处理图像进行特征点筛选，得到第一特征点，包括：控制第一处理模块对所述待处理图像进行光流跟踪，得到光流跟踪点；控制第二处理模块对所述待处理图像进行特征点筛选，得到第一特征点，其中，所述第一处理模块和所述第二处理模块以并行处理方式运行。具体地，还是以对获取的一摄像头拍摄的实时图像中的一帧图像进行处理为例，在完成了对该帧图像的直方图均衡化处理且建立了光流金字塔之后，便开始以并行处理方式对该帧图像进行特征点筛选和光流跟踪，在本实施例中，对所述待处理图像进行光流跟踪包括，对所述待处理图像进行LK(Lucas-Kanade)光流跟踪，进而获得该帧图像的光流跟踪点的个数；所述对所述待处理图像进行特征点筛选包括，对待处理图像HARRIS角点提取以及筛选优质特征点，进而获得该帧图像的优质特征点。在本实施例中，采用并行处理方式时，可以是利用Movidius具有的多个计算核心，将并行处理方式中的并行处理流程分别使用Movidius的一个计算核心来进行处理，即，通过多个计算核心同时进行处理，同时，由于Movidius对片内存储区的数据计算处理速度更快的特点，可以是将内存中的数据拷贝至片内存储区后，在进行处理，以提高处理速度，并且，在拷贝数据时，可以采用DMA(Direct Memory Access，直接内存存取)方式。

步骤104：根据所述光流跟踪点和所述第一特征点，得到所述待处理图像的目标特征点。

在本申请的一些实施例中，所述根据所述光流跟踪点和所述第一特征点，得到所述待处理图像的目标特征点，包括：若所述光流跟踪点的数量小于一预设值，则选取所述第一特征点中的至少部分特征点，以使所述光流特征点的数量与选取的所述至少部分特征点的数量之和与所述预设值相同；筛除所述光流特征点和所述至少部分特征点中的错误匹配点，得到所述待处理图像的目标特征点。具体地，还是以上述对获取的一摄像头拍摄的实时图像中的一帧图像进行处理为例，在获得该帧图像的光流跟踪点后，若该光流跟踪点的数量为120个，而同时，预设值为150个，那么此时，所述光流跟踪点的数量小于所述预设值，进而便从获得的该帧图像的第一特征点中选取出30个特征点，使得该帧图像光流跟踪点的数量与选取特征点数量之和为150，与所述预设值的数量相同。此时，筛除该帧图像的120个光流跟踪点和选取出的30个第一特征点中的错误匹配点，并最终得到该帧图像的目标特征点。

在本申请的一些实施例中，所述根据所述光流跟踪点和所述第一特征点，得到所述待处理图像的目标特征点，还包括：若所述光流跟踪点的数量不小于所述预设值，则筛除所述光流特征点中的错误匹配点，得到所述待处理图像的目标特征点。具体地，还是以上述对获取的一摄像头拍摄的实时图像中的一帧图像进行处理为例，在获得该帧图像的光流跟踪点后，若该光流跟踪点的数量为160个，而预设值为150个，所述光流跟踪点的数量大于所述预设值，那么此时，可以直接从该帧图像的160个光流跟踪点中筛除错误匹配点，进而得到该帧图像的目标特征点。此时，针对该采集的实时图像，可以将该帧图像的目标特征点保存一个周期(采集该帧图像和下一帧图像的周期)，以通过该帧图像的目标特征点为下一帧图像在进行光流跟踪时提供参考。

本申请实施例还提供了一种图像处理装置，如图3所示，包括：

获取模块1，其用于获取待处理图像；

调用处理模块2，其用于调用预先汇编的处理库对所述待处理图像进行第一处理；

控制模块3，其用于控制第一处理模块和所述第二处理模块以并行处理方式运行，分别控制第一处理模块对所述待处理图像进行光流跟踪，得到光流跟踪点，以及控制第二处理模块对所述待处理图像进行特征点筛选，得到第一特征点；

获得模块4，其用于根据所述光流跟踪点和所述第一特征点，得到所述待处理图像的目标特征点。

在本申请的一些实施例中，所述调用处理模块2具体用于：调用预先汇编的直方图均衡化函数对所述待处理图像进行直方图均衡化。

在本申请的一些实施例中，所述调用处理模块2还具体用于：调用预先汇编的光流金字塔函数建立所述待处理图像的光流金字塔。

在本申请的一些实施例中，所述获得模块4具体用于：若所述光流跟踪点的数量小于一预设值，则选取所述第一特征点中的至少部分特征点，以使所述光流特征点的数量与选取的所述至少部分特征点的数量之和与所述预设值相同；筛除所述光流特征点和所述至少部分特征点中的错误匹配点，得到所述待处理图像的目标特征点。

在本申请的一些实施例中，所述获得模块4还具体用于：若所述光流跟踪点的数量不小于所述预设值，则筛除所述光流特征点中的错误匹配点，得到所述待处理图像的目标特征点。

由于本实施例所介绍的图像处理装置为本申请实施例中图像处理的方法所对应的图像处理装置，故而，基于本申请实施例中图像处理方法，本领域的技术人员能够了解本申请实施例中图像处理装置的具体实施方式以及其各种变化形式，所以在此对于该图像处理装置不再详细介绍。只要本领域所述技术人员实施本申请实施例中图像处理方法的图像处理装置，都属于本申请所欲保护的范围。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理模块以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理模块执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的步骤。

以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (7)

1.一种图像处理方法，包括：

获取待处理图像；

调用预先汇编的处理库对所述待处理图像进行第一处理；

以并行处理方式分别对所述待处理图像进行光流跟踪，得到光流跟踪点，以及对所述待处理图像进行特征点筛选，得到第一特征点；

根据所述光流跟踪点和所述第一特征点，得到所述待处理图像的目标特征点；

所述根据所述光流跟踪点和所述第一特征点，得到所述待处理图像的目标特征点，包括：

若所述光流跟踪点的数量小于一预设值，则选取所述第一特征点中的至少部分特征点，以使所述光流跟踪点的数量与选取的所述至少部分特征点的数量之和与所述预设值相同；

筛除所述光流跟踪点和所述至少部分特征点中的错误匹配点，得到所述待处理图像的目标特征点；

若所述光流跟踪点的数量不小于所述预设值，则筛除所述光流跟踪点中的错误匹配点，得到所述待处理图像的目标特征点。

2.根据权利要求1所述的图像处理方法，所述调用预先汇编的处理库对所述待处理图像进行第一处理，包括：

调用预先汇编的直方图均衡化函数对所述待处理图像进行直方图均衡化。

3.根据权利要求2所述的图像处理方法，所述调用预先汇编的处理库对所述待处理图像进行第一处理，还包括：

调用预先汇编的光流金字塔函数建立所述待处理图像的光流金字塔。

4.根据权利要求3所述的图像处理方法，所述以并行处理方式分别对所述待处理图像进行光流跟踪，得到光流跟踪点，以及对所述待处理图像进行特征点筛选，得到第一特征点，包括：

控制第一处理模块对所述待处理图像进行光流跟踪，得到光流跟踪点；

控制第二处理模块对所述待处理图像进行特征点筛选，得到第一特征点，其中，所述第一处理模块和所述第二处理模块以并行处理方式运行。

5.一种图像处理装置，包括：

获取模块，其用于获取待处理图像；

调用处理模块，其用于调用预先汇编的处理库对所述待处理图像进行第一处理；

控制模块，其用于控制第一处理模块和第二处理模块以并行处理方式运行，分别控制第一处理模块对所述待处理图像进行光流跟踪，得到光流跟踪点，以及控制第二处理模块对所述待处理图像进行特征点筛选，得到第一特征点；

获得模块，其用于根据所述光流跟踪点和所述第一特征点，得到所述待处理图像的目标特征点；

所述获得模块具体用于：

若所述光流跟踪点的数量小于一预设值，则选取所述第一特征点中的至少部分特征点，以使所述光流跟踪点的数量与选取的所述至少部分特征点的数量之和与所述预设值相同；

筛除所述光流跟踪点和所述至少部分特征点中的错误匹配点，得到所述待处理图像的目标特征点；

若所述光流跟踪点的数量不小于所述预设值，则筛除所述光流跟踪点中的错误匹配点，得到所述待处理图像的目标特征点。

6.根据权利要求5所述的图像处理装置，所述调用处理模块具体用于：

调用预先汇编的直方图均衡化函数对所述待处理图像进行直方图均衡化。

7.根据权利要求6所述的图像处理装置，所述调用处理模块还具体用于：

调用预先汇编的光流金字塔函数建立所述待处理图像的光流金字塔。

Images