CN109670519A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明公开了一种图像处理装置和图像处理方法。所述图像处理装置包括：提取单元，被配置为提取输入图像在目标方向中的任意两个方向上的梯度方向特征；增强单元，被配置为通过执行图像处理操作来增强由所述提取单元所提取的梯度方向特征；以及确定单元，被配置为基于由所述增强单元所增强的梯度方向特征，确定所述输入图像在所述目标方向上的梯度方向特征。根据本发明，将加快获取梯度方向特征的速度。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理，尤其涉及特征提取/获取。

背景技术

在计算机视觉和模式识别领域，梯度方向特征是非常有效的特征并且被广泛地应用。例如，梯度方向特征通常用于获得图像的边缘信息以便用于后续的图像识别处理。美国专利US8538077公开了一种示例性的技术，其中其通过如下方式从一个图像区域中获取相应的梯度方向特征：提取图像区域在两个目标方向上的梯度方向特征，基于已提取的梯度方向特征确定图像区域在其它目标方向上的梯度方向特征，对获得的所有目标方向上的梯度方向特征执行高斯滤波操作以得到稳定性高的梯度方向特征。

通常，确定图像区域在某个目标方向上的梯度方向特征的计算量比较大。并且，目标方向的数量越多，计算量将越大。在上述示例性技术中，为了提高用于后续处理的梯度方向特征的稳定性，在获得相应的梯度方向特征后，还会对所获得的梯度方向特征执行例如高斯滤波操作的图像处理操作，这将大幅度地增加获取梯度方向特征的计算量。并且，这种图像处理操作被执行的次数越多，计算量增加地也越多。也就是说，根据上述示例性技术，获取梯度方向特征的速度慢。

发明内容

因此，鉴于上面的背景技术中的记载，本发明旨在解决上述问题中的至少一点。

根据本发明的一方面，提供一种图像处理装置，所述装置包括：提取单元，被配置为提取输入图像在目标方向中的任意两个方向上的梯度方向特征；增强单元，被配置为通过执行图像处理操作来增强由所述提取单元所提取的梯度方向特征；以及确定单元，被配置为基于由所述增强单元所增强的梯度方向特征，确定所述输入图像在所述目标方向上的梯度方向特征。

利用本发明，将加快获取梯度方向特征的速度。

根据以下参照附图的描述，本发明的其他特性特征和优点将显而易见。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是示意性地示出可实现根据本发明实施例的技术的硬件配置的框图。

图2是例示根据本发明的实施例的图像处理装置的配置的框图。

图3示意性地示出根据本发明的实施例的图像处理的流程图。

图4是例示根据本发明的示例性对象检测装置的布置。

图5示意性地示出用于对象检测的预先确定的分类器的一种示例性结构。

具体实施方式

下面将参照附图详细地描述本发明的示例性实施例。应注意，下面的描述实质上仅为说明性和示例性的，并且决不意图限制本发明及其应用或用途。除非另有具体说明，否则实施例中阐述的组件和步骤的相对布置、数值表达式和数值并不限制本发明的范围。另外，本领域的技术人员已知的技术、方法和设备可能不会被详细地讨论，但在适当的情形中其应当是本说明书的一部分。

请注意，相似的附图标记和字母指代附图中相似的项目，因此，一旦一个项目在一个附图中被定义，则不必在下面的附图中对其进行讨论。

发明人发现，在有关梯度方向特征提取/获取的现有技术中，通常都是先把所有目标方向上的梯度方向特征提取出来，之后再对所有目标方向上的梯度方向特征分别执行多次(例如，N次)的例如高斯滤波操作的图像处理操作。也就是说，对于每一个目标方向上的梯度方向特征，都需要分别地执行N次的图像处理操作。从而，如上所述，目标方向的数量和图像处理操作被执行的次数都会影响获取梯度方向特征的速度。

发明人发现，在提取/获取梯度方向特征的过程中，通过调整图像处理操作的执行顺序及调整需要对其执行图像处理操作的梯度方向特征的数量，可以在尽量地保证最终所获取的梯度方向特征的本身的性质不变的前提下，尽量地加快获取梯度方向特征的速度。因此，本发明在获取梯度方向特征的过程中，在不约束目标方向的数量的情况下，通过仅对两个目标方向上的梯度方向特征执行相应的图像处理操作，之后再通过经由图像处理操作处理过的梯度方向特征来获取其它目标方向上的梯度方向特征，来加快获取梯度方向特征的速度。

根据本发明，由于不管目标方向的数量是多少，都仅需要对两个目标方向上的梯度方向特征执行相应的图像处理操作，因此获取梯度方向特征的速度将被加快。

(硬件配置)

首先将参照图1描述可以实现下文中描述的技术的硬件配置。

硬件配置100例如包括中央处理单元(CPU)110、随机存取存储器(RAM)120、只读存储器(ROM)130、硬盘140、输入设备150、输出设备160、网络接口170和系统总线180。此外，硬件配置100可通过诸如相机、个人数字助理(PDA)、移动电话、平板电脑、笔记本电脑、台式电脑或其他合适的电子设备来实现。

在一种实现方式中，根据本发明的图像处理由硬件或固件配置并且用作硬件配置100的模块或组件。例如，将在下文中参照图2详细描述的图像处理装置200和将在下文中参照图4详细描述的对象检测装置400用作硬件配置100的模块或组件。在另一种实现方式中，根据本发明的图像处理由存储在ROM 130或硬盘140中且由CPU 110执行的软件配置。例如，将在下文中参照图3详细描述的过程300用作存储在ROM 130或硬盘140中的程序。

CPU 110是任何合适的可编程控制设备(诸如，处理器)，并且可通过执行存储在ROM 130或硬盘140(诸如，存储器)中的各种应用程序来执行下文中要描述的各种功能。RAM120用于临时存储从ROM 130或硬盘140加载的程序或数据，并且也被用作CPU 110在其中执行各种过程(诸如，实施将在下文中参照图3详细描述的技术)以及其他可用功能的空间。硬盘140存储多种信息，诸如，操作系统(OS)、各种应用、控制程序、预先存储或预先定义的数据以及预先存储或预先确定的模型和/或分类器。

在一种实现方式中，输入设备150用于允许用户与硬件配置100交互。在一个实例中，用户可以通过输入设备150输入图像/数据。在另一实例中，用户可以通过输入设备150触发本发明的对应处理。此外，输入设备150可采用各种形式，诸如，按钮、键盘或触摸屏。在另一种实现方式中，输入设备150用于接收从诸如数码相机、摄像机和/或网络相机等专门电子设备输出的图像。

在一种实现方式中，输出设备160用于向用户显示图像处理结果(例如，获取的梯度方向特征)。而且，输出设备160可采用各种形式，诸如，阴极射线管(CRT)或液晶显示器。在另一种实现方式中，输出设备160用于将图像处理结果输出到后续处理，例如，对象检测、人数统计(people counting)等。

网络接口170提供用于将硬件配置100连接到网络的接口。例如，硬件配置100可经由网络接口170与经由网络连接的其他电子设备进行数据通信。可选地，可以为硬件配置100提供无线接口，以进行无线数据通信。系统总线180可以提供用于在CPU 110、RAM 120、ROM 130、硬盘140、输入设备150、输出设备160和网络接口170等之间相互传输数据的数据传输路径。虽然被称为总线，但是系统总线180并不限于任何特定的数据传输技术。

上述硬件配置100仅仅是说明性的，并且决不意图限制本发明、其应用或用途。而且，为了简明起见，在图1中只示出一个硬件配置。但是，也可以根据需要使用多个硬件配置。

(图像处理)

接下来，将参照图2至图5描述根据本发明的图像处理。

图2是例示根据本发明的实施例的图像处理装置200的配置的框图。其中，图2中所示的一些或全部模块可由专用硬件实现。如图2所示，图像处理装置200包括提取单元210、增强单元220和确定单元230。

首先，图1所示的输入设备150接收从专门电子设备(例如，相机)输出或由用户输入的图像。接着，输入设备150经由系统总线180将接收到的图像传输到图像处理装置200。

然后，如图2所示，提取单元210通过系统总线180从输入设备150获取所接收的图像(即，输入图像)，并提取输入图像在目标方向中的任意两个方向上的梯度方向特征。在一种实现方式中，所述目标方向由用户根据实际需求经由输入设备150实时设置输入。在另一种实现方式中，所述目标方向为图像处理装置200的默认设置。此外，所述任意两个方向为水平方向和垂直方向。作为一种替换，所述任意两个方向也可由用户根据实际需求经由输入设备150实时指定。

增强单元220通过执行图像处理操作来增强由提取单元210所提取的梯度方向特征。其中，增强单元220所执行的图像处理操作包括如下操作中的至少一种：平滑化处理操作(例如，通过低通滤波处理实现)、锐化处理操作(例如，通过高通滤波处理实现)。然而，上述图像处理操作显然不必局限于此，只要能达到用户期望达到的效果的任何图像处理操作均可应用于此。

然后，在对上述两个方向上的梯度方向特征执行完相应的图像处理操作后，例如执行完预先定义的次数，确定单元230基于由增强单元220所增强的梯度方向特征，确定输入图像在其它目标方向上的梯度方向特征。

最后，在所有目标方向上的梯度方向特征被确定后，确定单元230将处理结果(即，所确定的梯度方向特征)经由系统总线180传输到图1所示的输出设备160，以将处理结果显式给用户或用于后续操作，例如，对象检测、人数统计等。

如上所述，所确定的梯度方向特征是针对整个输入图像来获取的。为了向后续操作提供更加精确的梯度方向特征，图2所示的图像处理装置进一步包括获取单元240。如图2所示，获取单元240通过系统总线180从输入设备150获取输入图像，并从输入图像获取至少一个图像区域。然后，针对由获取单元240所获取的图像区域中的每一个，提取单元210、增强单元220及确定单元230分别执行相应的处理。也就是说，针对每一个图像区域，图像处理装置200将分别获取相应的梯度方向特征。

图3所示的流程图300是图2所示的图像处理装置200的对应过程。如上所述可知，图像处理装置200可以直接对输入图像执行相应的处理，也可以对从输入图像中获取的图像区域执行相应的处理。下面，将以从输入图像中获取的一个图像区域为例来描述图像处理装置200的对应过程。

也就是说，在执行流程图300前，获取单元240将从输入图像获取至少一个图像区域。在一种实现方式中，获取单元240例如通过使用图像扫描方法来从输入图像获取图像区域。上述图像扫描方法的主要概念是用预定尺寸的扫描窗口扫描输入图像，并且以预定步长宽度从输入图像的原点移动扫描窗口。为了获得各种尺寸的图像区域以便从中获得更加精确的梯度方向特征，在一个实例中，获取单元240通过在各轮扫描操作中用具有不同大小的扫描窗口扫描输入图像来执行图像扫描操作。在另一种实例中，获取单元240通过将输入图像的大小调整为不同的尺度并利用具有固定大小的扫描窗口扫描被调整大小的图像来执行图像扫描操作。由于上述图像扫描方法是本领域中常用的，在此不重复详细描述。

针对所获取的一个图像区域，如图3所示，在提取步骤310中，提取单元210提取图像区域在目标方向中的任意两个方向上的梯度方向特征。为了使得计算简单、快速，在一种实现方式中，由提取单元210所提取的梯度方向特征的梯度值为绝对值。以水平方向和垂直方向为例，假设DX(x,y)和DY(x,y)分别表示图像区域中的位置(x,y)在水平方向上和垂直方向上的梯度方向特征的梯度值，则DX(x,y)和DY(x,y)例如可以通过如下公式获得：

DX(x,y)＝abs(p(x+1,y)-p(x-1,y))

DY(x,y)＝abs(p(x,y+1)-p(x,y-1))

其中，abs(Z)表示计算Z的绝对值，p(x,y)表示位置(x,y)的像素值。然而，获取梯度值的方式显然不必局限于此。DX(x,y)和DY(x,y)也可以是非绝对值或通过其它梯度算子(例如，Sobel算子、Laplacian算子等)来计算得到。

在增强步骤S320中，增强单元220通过执行图像处理操作来增强由提取单元210所提取的梯度方向特征。在一种实现方式中，在用户期望减少梯度方向特征中的噪声的影响从而使得梯度方向特征具有更高的稳定性的情况下，增强单元220对梯度方向特征执行平滑化处理操作(例如，高斯平滑处理)。在另一种实现方式中，在用户期望增强梯度方向特征间的差异从而使得梯度方向特征更具区别性的情况下，增强单元220对梯度方向特征执行锐化处理操作。作为一种替换，增强单元220可以对梯度方向特征同时执行平滑化处理操作和锐化处理操作。当然，增强单元220也可以对梯度方向特征执行其它的图像处理操作。

在步骤S330中，增强单元220判断是否对梯度方向特征执行完预定义的次数(例如，N次)。如果是，则执行确定步骤S340；否则，将重复增强步骤S320的对应操作。

在确定步骤S340中，确定单元230基于由增强单元220所增强的梯度方向特征，确定图像区域在其它目标方向上的梯度方向特征。在一种实现方式中，针对其它目标方向中的每一个方向，确定单元230对由增强单元220所增强的梯度方向特征在该方向上的投影进行求和来确定该方向上的梯度方向特征。如上所述，仍然以水平方向和垂直方向为例，则增强单元220增强的是水平方向上的梯度方向特征和垂直方向上的梯度方向特征，假设DX(x,y)’表示被增强的水平方向上的梯度方向特征的梯度值，DY(x,y)’表示被增强的垂直方向上的梯度方向特征的梯度值，则其它目标方向的梯度方向特征例如可以通过如下公式确定：

g(x,y,θ)＝sin(θ)*DX(x,y)’+cos(θ)*DY(x,y)’

其中，g(x,y,θ)表示图像区域中的位置(x,y)在θ度目标方向上的梯度方向特征的梯度值。

最后，在对所获取的所有图像区域执行完上述流程图300所对应的操作后，确定单元230将处理结果(即，所确定的所有梯度方向特征)经由系统总线180传输到图1所示的输出设备160，以将处理结果显式给用户或用于后续操作，例如，对象检测、人数统计等。

如上所述，根据本发明，由于不管目标方向的数量是多少，都仅需要对两个目标方向上的梯度方向特征执行相应的图像处理操作，因此获取梯度方向特征的速度将被加快。

如上所述，根据本发明所获取的梯度方向特征可被应用于对象检测。因此，作为本发明的一种示例性应用，接下来将参照图4至图5描述根据本发明的对象检测处理。

图4是例示根据本发明的示例性对象检测装置400的布置。其中，图4中所示的一些或全部模块可由专用硬件实现。如图4所示，对象检测装置(也即，图像处理装置)400包括提取单元210、增强单元220、确定单元230和检测单元410。

另外，图4中所示的存储设备420存储有预先确定的、将被检测单元410用于对象检测的分类器。在一种实现方式中，存储设备420为图1中所示的ROM 130或硬盘140。可选地，存储设备420是经由网络(未示出)与对象检测装置400连接的服务器或外部存储设备。

将图4与图2进行比较，由于图4中所示的提取单元210、增强单元220和确定单元230与图2中所示的提取单元210、增强单元220和确定单元230相同，所以这里不再重复详细描述。

如图4所示，对于输入图像，在提取单元210、增强单元220及确定单元230参照上述图2和图3的描述获取到输入图像在所有目标方向上的梯度方向特征后，检测单元410通过系统总线180从存储设备420获取上述预先确定的分类器，并基于该预先确定的分类器及所获取的梯度方向特征，检测输入图像中是否存在待检测的对象。

在一种实现方式中，上述预先确定的分类器由多个第一分类器和一个第二分类器构成，图5示意性地示出用于对象检测的预先确定的分类器的一种示例性结构。下面将参照图5，以第一分类器为弱分类器为例，示例性地描述检测单元410检测输入图像中是否存在待检测的对象的具体实现。然而，用于对象检测的预先确定的分类器的结构及检测输入图像中是否存在待检测的对象的实现方式显然不必局限于此。在该实现方式中，假设每个弱分类器包含位于所获取的梯度方向特征上的3对像素，其中根据经验预先定义这3对像素的像素坐标和对应的方向。

首先，针对每一对像素，检测单元410通过比较该对像素的像素在所获取的梯度方向特征中对应的梯度值可得到一个二进制数。例如，在第一个像素所对应的梯度值大于或等于第二个像素所对应的梯度值的情况下，该二进制数为“1”；反之，该二进制数为“0”。从而，基于每个弱分类器，检测单元410通过上述比较操作可生成一个3位长的二进制数。然后，针对每个弱分类器，检测单元410基于所生成的3位长的二进制数在预先定义的概率表中进行检索以得到一个概率值。并且，在检索得到的概率值大于预定义阈值(例如，TH1)的情况下，检测单元410判断该弱分类器输出一个接受的结果；否则，检测单元410判断该弱分类器输出一个拒绝的结果。最后，检测单元410基于第二分类器及所有弱分类器输出的接受结果的数量来检测输入图像中是否存在待检测的对象。例如，在所有弱分类器输出的接受结果的数量大于预定义阈值(例如，TH2)的情况下，检测单元410检测输入图像中具有待检测的对象。

如图2所述，为了向后续操作提供更加精确的梯度方向特征，图2所示的图像处理装置可进一步地包括获取单元240。同样地，为了向检测单元410提供更加精确的梯度方向特征，图4所示的对象检测装置400也进一步包括获取单元240。由于图4中所示的获取单元240与图2中所示的获取单元240相同，所以这里不再重复详细描述。

在该种情况下，针对输入图像中的每一个图像区域，检测单元410将检测该图像区域中是否存在待检测的对象。通常，多个图像区域会被检测出具有待检测的对象。并且，某些图像区域中具有的待检测的对象通常属于同一对象。在这种情况下，通常需要对属于同一对象的待检测的对象仅输出一个结果，从而，图4所示的对象检测装置400进一步包括合并单元430。如图4所示，合并单元430针对由检测单元410所检测出的具有待检测的对象的图像区域，合并具有同一待检测的对象的图像区域。在一种实现方式中，合并单元430通过如下方式执行相应的合并操作。

首先，合并单元430将检测单元410所检测出的具有待检测的对象的图像区域进行分组。其中，同一组内的图像区域具有同一待检测的对象。然后，由于在检测到一个图像区域具有待检测的对象的情况下，该图像区域的位置通常可被视为待检测的对象的位置。因此，针对所获得的每一组，合并单元430基于该组内的图像区域的位置获得相应的平均位置。最后，针对所获得的每一组，合并单元430将所获得的平均位置作为该组所对应的待检测的对象的最终位置。

此外，在输入图像中所有待检测的对象被检测出来后，作为一种应用，在待检测的对象是人的情况下，该检测结果可用于实现人数统计。

上述的所有单元都是用于实现本公开中所述处理的示例性和/或优选模块。这些单元可以是硬件单元(诸如，现场可编程门阵列(FPGA)、数字信号处理器、专用集成电路等)和/或软件模块(诸如，计算机可读程序)。上面没有详尽地描述用于实现各步骤的单元。然而，当存在执行特定过程的步骤的情况下，可以存在用于实现该同一过程的对应功能模块或单元(通过硬件和/或软件实现)。通过描述的步骤和对应于这些步骤的单元的所有组合的技术方案包括在本申请的公开内容中，只要它们所构成的技术方案是完整的、适用的即可。

可以以多种方式来实施本发明的方法和装置。例如，可以通过软件、硬件、固件或其任何组合来实施本发明的方法和装置。除非另有具体说明，否则本方法的步骤的上述顺序仅旨在是说明性的，并且本发明的方法的步骤不局限于上述具体描述的顺序。此外，在一些实施例中，本发明还可以被实施为在记录介质中记录的程序，其包括用于实现根据本发明的方法的机器可读指令。因此，本发明也覆盖存储用于实现根据本发明的方法的程序的记录介质。

虽然已经通过示例详细地展示了本发明的一些具体实施例，但是本领域的技术人员应该理解，上述示例仅旨在是说明性的，并不限制本发明的范围。本领域的技术人员应该理解，上述实施例可以在不脱离本发明的范围和精神的情况下被修改。本发明的范围由所附权利要求约束。

Claims (10)

1.一种图像处理装置，所述装置包括：

提取单元，被配置为提取输入图像在目标方向中的任意两个方向上的梯度方向特征；

增强单元，被配置为通过执行图像处理操作来增强由所述提取单元所提取的梯度方向特征；以及

确定单元，被配置为基于由所述增强单元所增强的梯度方向特征，确定所述输入图像在所述目标方向上的梯度方向特征。

2.根据权利要求1所述的装置，其中，所述任意两个方向为水平方向和垂直方向。

3.根据权利要求1所述的装置，其中，由所述提取单元所提取的梯度方向特征的梯度值为绝对值。

4.根据权利要求1所述的装置，其中，所述增强单元所执行的图像处理操作包括如下操作中的至少一种：平滑化处理操作、锐化处理操作。

5.根据权利要求1所述的装置，其中，针对所述目标方向中的每一个方向，所述确定单元对由所述增强单元所增强的梯度方向特征在该方向上的投影进行求和来确定该方向上的梯度方向特征。

6.根据权利要求1至5中的任何一项权利要求所述的装置，所述装置进一步包括：

获取单元，被配置为从所述输入图像获取至少一个图像区域；

其中，针对由所述获取单元所获取的图像区域中的每一个，所述提取单元、所述增强单元及所述确定单元执行相应的处理。

7.根据权利要求1至5中的任何一项权利要求所述的装置，所述装置进一步包括：

检测单元，被配置为基于预先确定的分类器及由所述确定单元所确定的梯度方向特征，检测所述输入图像中是否存在待检测的对象。

8.根据权利要求7所述的装置，所述装置进一步包括：

获取单元，被配置为从所述输入图像获取至少一个图像区域；

其中，针对由所述获取单元所获取的图像区域中的每一个，所述提取单元、所述增强单元、所述确定单元及所述检测单元执行相应的处理。

9.根据权利要求8所述的装置，所述装置进一步包括：

合并单元，被配置为，针对由所述检测单元所检测出的具有待检测的对象的图像区域，合并具有同一待检测的对象的图像区域。

10.一种图像处理方法，所述方法包括：

提取步骤，提取输入图像在目标方向中的任意两个方向上的梯度方向特征；

增强步骤，通过执行图像处理操作来增强在所述提取步骤中所提取的梯度方向特征；以及

确定步骤，基于在所述增强步骤中所增强的梯度方向特征，确定所述输入图像在所述目标方向上的梯度方向特征。