CN108256532A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种图像处理方法、装置、电子设备及存储介质，涉及图像处理技术领域。该图像处理方法包括：基于待处理图像的边缘直方图描述子获得所述待处理图像的待匹配特征向量，其中，所述边缘直方图描述子为边缘直方图中的分布项；将所述待匹配特征向量与数据库中存储的历史图像的历史特征向量进行特征匹配，获得匹配向量距离；基于所述匹配向量距离获得所述待处理图像与所述历史图像之间的重复度。该图像处理方法、装置、电子设备及存储介质可以准确的获取待处理图像与历史图像之间的重复度。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着互联网行业的快速发展，图像与视频信息膨胀式产生，而如何在对大量图像信息进行分析、处理时，对海量图像信息快速、精准地对图像数据进行去重，节约计算资源，是目前的一个难点。

目前图像去重的方法大多为计算图像的哈希值，然后再比较哈希值的相似程度来完成图像去重。但是基于哈希值的图像去重方法忽视了图像内容的结构信息，无法对两张图片的相似度进行精准的评判。

发明内容

有鉴于此，本发明实施例提供了一种图像处理方法、装置、电子设备及存储介质。

为了实现上述目的，本发明采用的技术方案如下：

第一方面，本发明实施例提供了一种图像处理方法，所述方法包括：基于待处理图像的边缘直方图描述子获得所述待处理图像的待匹配特征向量，其中，所述边缘直方图描述子为边缘直方图中的分布项；将所述待匹配特征向量与数据库中存储的历史图像的历史特征向量进行特征匹配，获得匹配向量距离；基于所述匹配向量距离获得所述待处理图像与所述历史图像之间的重复度。

第二方面，本发明实施例提供了一种图像处理装置，所述装置包括向量获取模块、特征匹配模块以及重复度获得模块，其中，所述向量获取模块用于基于待处理图像的边缘直方图描述子获得所述待处理图像的待匹配特征向量，其中，所述边缘直方图描述子为边缘直方图中的分布项；所述特征匹配模块用于将所述待匹配特征向量与数据库中存储的历史图像的历史特征向量进行特征匹配，获得匹配向量距离；所述重复度获得模块用于基于所述匹配向量距离获得所述待处理图像与所述历史图像之间的重复度。

第三方面，本发明实施例提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机指令，当所述计算机指令由所述处理器读取并执行时，使所述处理器执行上述第一方面提供的图像处理方法。

第四方面，本发明实施例提供了一种存储介质，所述存储介质中存储有计算机指令，其中，所述计算机指令在被读取并运行时执行上述第一方面提供的图像处理方法。

本发明实施例提供的图像处理方法、装置、电子设备及存储介质，通过基于待处理图像的边缘直方图描述子获得所述待处理图像的待匹配特征向量，再将待匹配特征向量与数据库中存储的历史图像的历史特征向量进行特征匹配，获得匹配向量距离，然后基于匹配向量距离获得待处理图像与历史图像之间的重复度。该图像处理方法、装置、电子设备及存储介质通过边缘直方图描述子获得特征向量，从而在获得图像之间重复度过程中，考虑了图像内容的结构信息，使获得的图像之间的重复度的准确度高，解决现有技术中无法对两张图片的相似度进行精准的评判的问题。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明实施例提供的电子设备的方框示意图；

图2示出了本发明实施例提供的图像处理方法的流程图；

图3示出了本发明实施例提供的图像处理方法中步骤S110的流程图；

图4示出了本发明实施例提供的图像处理装置的模块图；

图5示出了本发明实施例提供的图像处理装置中向量获取模块的模块图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1示出了一种可应用于本发明实施例中的电子设备的结构框图。如图1所示，电子设备100包括存储器102、存储控制器104，一个或多个(图中仅示出一个)处理器106、外设接口108、射频模块110、音频模块112、显示单元114等。这些组件通过一条或多条通讯总线/信号线116相互通讯。

存储器102可用于存储软件程序以及模块，如本发明实施例中的图像处理方法及装置对应的程序指令/模块，处理器106通过运行存储在存储器102内的软件程序以及模块，从而执行各种功能应用以及数据处理，如本发明实施例提供的图像处理方法。

存储器102可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。处理器106以及其他可能的组件对存储器102的访问可在存储控制器104的控制下进行。

外设接口108将各种输入/输出装置耦合至处理器106以及存储器102。在一些实施例中，外设接口108，处理器106以及存储控制器104可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

射频模块110用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。

音频模块112向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。

显示单元114在电子设备100与用户之间提供一个显示界面。具体地，显示单元114向用户显示视频输出，这些视频输出的内容可包括文字、图形、视频及其任意组合。

可以理解，图1所示的结构仅为示意，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

第一实施例

如图2示出了本发明实施例提供的图像处理方法的流程图。请参见图2，该方法包括：

步骤S110：基于待处理图像的边缘直方图描述子获得所述待处理图像的待匹配特征向量，其中，所述边缘直方图描述子为边缘直方图中的分布项。

在本发明实施例中，待处理图像可以是对数据库中存储的图像，也可以是从其他终端设备获取的图像，也可以是从视频中获得的视频图像。

在本发明实施例中，在待处理图像为视频中的视频图像时，可以先对视频进行视频解码，从而获得视频中的图像。

在本发明实施例中，也可以是对直播平台的直播间的视频图像进行去重，因此该图像处理方法还可以包括：

基于预设视频解码算法对一视频流进行视频解码，从而获得所述待处理图像。

在本发明实施例中，预设视频解码算法可以是MPEG/H.264视频解码算法，从而可以获得视频流的视频中的视频图像，作为上述待处理图像。在对直播间的视频图像进行去重时，可以是利用视频解码算法对直播间对应的视频流的视频图像进行视频解码，从而获得待处理图像。

在获得待处理图像之后，可以对待处理图像进行处理，从而获得待处理图像的图像特征。

在本发明实施例中，可以是基于待处理图像的边缘直方图描述子获得待处理图像的待匹配特征向量，即待处理图像的图像特征。

其中，边缘直方图描述子为边缘直方图中的分布项。边缘直方图是提取图像纹理特征的一个重要方式没边缘的空间分布能够包含重要的纹理信息。边缘直方图也是MPEG-7标准纹理描述符的一种。边缘直方图提供了5种纹理边缘类型：垂直边缘的纹理，水平边缘的纹理，45度边缘的纹理，135度边缘的纹理。

在对待处理图像进行处理时，可以是将待处理图像分成4*4个子块，每个子块的局部特征可以用其形成的边缘分布直方图表述，因此直方图包含5个代表边缘类型出现概率的bins(直方图中的分布项)，由于分成4*4个子块处理，因此可以得出5*4*4个即80个包含与位置和边缘类型相关的带有边缘纹理信息的bins。从而可以获得待处理图像的边缘直方图，边缘直方图中的每个分布项即为上述边缘直方图描述子。

当然，也可以在上述获取边缘直方图方法的基础上，加进半全局和全局的边缘分布，获得包含150个bins的边缘直方图。

在本发明实施例中，请参见图3，基于待处理图像的边缘直方图描述子获得待处理图像的待匹配特征向量，可以包括：

步骤S111：基于n个所述边缘直方图描述子获得所述待处理图像的边缘直方图中n个分布项的值。

可以理解的是，基于上述获得的多个边缘直方图描述子，可以获得待处理图像的边缘直方图中的多个bins即分布项的值。

例如，上述获得的边缘直方图包含80个bins时，则可以获得80个分布项的值，上述获得的边缘直方图包含150个bins时，则可以获得150个分布项的值。

步骤S112：将所述n个分布项的值进行归一化，获得n个归一化数据。

在获得n个分布项的值之后，可以将n个分布项的值归一化，使每个分布项的值介于0～1之间，从而获得n个归一化数据。

步骤S113：基于所述n个归一化数据生成n维的特征向量，从而获得所述待匹配特征向量。

在获得n归一化数据之后，再根据n个归一化数据生成n维的特征向量。

在本发明实施例中，可以将n个归一化数据进行量化，具体可以是将每个归一化数据乘以255，使每个数据介于0～255，以便于提升后续进行特征匹配的性能，以及在图像特需要进行存储时，节约存储空间。然后，再根据量化后的n个数据生成n维的特征向量，即获得了上述的待匹配特征向量。

步骤S120：将所述待匹配特征向量与数据库中存储的历史图像的历史特征向量进行特征匹配，获得匹配向量距离。

在本发明实施例中，在获得待处理图像的待匹配特征向量之后，再将待匹配特征向量与数据库中存储的历史图像对应的历史特征向量进行特征匹配，从而获得匹配向量距离，以用于判断待处理图像与历史图像之间的相似程度。

在本发明实施例中，如在对一视频流的视频图像进行图像去重时，例如在对一直播间的图像进行图像去重时，可以先判断是否存在该直播间的历史图像的历史特征向量。

因此，可以在将待匹配特征向量与历史特征向量进行特征匹配之前，判断上述数据库中是否存储有该视频流对应的历史图像的历史特征向量。

在判断为上述数据库中存储有该视频流对应的历史图像的历史特征时，再进行将待匹配特征向量与历史特征向量进行特征匹配的步骤。在判断为上述数据库中没有存储有该视频流对应的历史图像的历史特征向量时，则可以将该待匹配特征向量作为该视频流的历史图像的历史特征向量存储于上述数据库中，以便于后续在对该视频流的其他图像进行图像去重时，有历史特征向量与之进行匹配。

步骤S130：基于所述匹配向量距离获得所述待处理图像与所述历史图像之间的重复度。

在本发明实施例中，由于匹配向量距离不能直观地表现出待匹配图像与历史图像之间的重复度，因此将匹配向量距离与重复度之间进行映射。具体的，公式可以是：

其中，Dist_max为最大匹配距离，Dist_j为匹配向量距离，Similar_j为重复度。在本发明实施例中可以取Dist_max＝10000。当然，具体的Dist_max在本发明实施例中并不作为限定，具体的选取可以依据实际样本集进行获取。

从而，可以获得待匹配图像与历史图像之间的重复度。

在本发明实施例中，可以将待匹配图像与多个历史图像之间进行去重，获得重复度。即该图像处理方法还可以包括：获取所述待处理图像与至少一个其他历史图像之间的至少一个重复度。

在本发明实施例中，获取待处理图像与至少一个其他历史图像之间的至少一个重复度的方法可以参照上述步骤S120至步骤S130的方法，在此不再赘述。

可以理解的是，数据库中可能存储有多个历史图像的历史特征向量，将待处理图像与每个历史特征向量进行特征匹配获得多个匹配向量距离之后，再根据多个匹配向量距离获得上述待匹配图像分别与多个历史图像之间的重复度，以便于用户获知与待匹配图像的相似度最高的历史图像。

从而，可以获得待匹配图像分别与多个历史图像之间的重复度，即多个重复度。

在本发明实施例中，在获取所述待处理图像与至少一个其他历史图像之间的至少一个重复度之后，该图像处理方法还可以包括：

获得多个所述重复度中的最大重复度；判断所述最大重复度是否大于预设阈值；在为是时，将所述待处理图像与所述最大重复度对应的历史图像进行关联。

可以理解的是，先获得上述获得的多个重复度中的最大重复度，即获得待匹配图像与多个历史图像的重复度中的最大重复度。然后，可以再判断该最大重复度是否大于预设阈值，在判断为该最大重复度大于预设阈值时，可以将该待处理图像判定为重复图像，即该待处理图像与最大重复度对应的历史图像重复。因此，可以将该待处理图像与该最大重复度对应的历史图像进行关联。以使在对待处理图像进行分析处理时，可以直接将该最大重复度对应的历史图像的历史分析处理结果作为该待处理图像的分析处理结果，避免再次对该待处理图像进行分析处理，节约计算资源。

因此，在本发明实施例中，该图像处理方法还可以包括：

输出所述数据库中存储的所述最大重复度对应的历史图像的历史数据。

可以理解的是，可以将该最大重复度对应的历史图像的历史分析处理结果、历史标记信息等输出，以使用户不用再对该待处理图像进行相关的分析、处理等，节约电子设备的计算资源以及用户的时间。

另外，在判断为最大重复度不大于预设阈值时，则表示该待处理图像不是重复图像，因此可以将该待处理图像的特征向量作为历史特征向量进行存储。

本发明第一实施例提供的图像处理方法在进行图像去重时，利用图像的边缘直方图算子获得图像的特征向量，再利用该特征向量进行特征匹配，考虑到了图像的结构信息，因此可以使图像去重的准确度提高，即图像之间的重复度的可靠性提升。

第二实施例

本发明第二实施例提供了一种图像处理装置200，请参见图4，该图像处理装置200包括向量获取模块210、特征匹配模块220以及重复度获得模块230。其中，所述向量获取模块210用于基于待处理图像的边缘直方图描述子获得所述待处理图像的待匹配特征向量，其中，所述边缘直方图描述子为边缘直方图中的分布项；所述特征匹配模块220用于将所述待匹配特征向量与数据库中存储的历史图像的历史特征向量进行特征匹配，获得匹配向量距离；所述重复度获得模块230用于基于所述匹配向量距离获得所述待处理图像与所述历史图像之间的重复度。

在本发明实施例中，请参见图5，所述向量获取模块210可以包括第一数据获取单元211、第二数据获取单元212以及向量生成单元213。其中，所述第一数据获取单元211用于基于n个所述边缘直方图描述子获得所述待处理图像的边缘直方图中n个分布项的值；所述第二数据获取单元212用于将所述n个分布项的值进行归一化，获得n个归一化数据；所述向量生成单元213用于基于所述n个归一化数据生成n维的特征向量，从而获得所述待匹配特征向量。

在本发明实施例中，该图像处理装置200还可以包括处理执行模块，处理执行模块用于获取所述待处理图像与至少一个其他历史图像之间的至少一个重复度。

在本发明实施例中，该图像处理装置200还包括最大值获得模块、重复度判断模块以及关联执行模块。其中，最大值获得模块用于获得多个所述重复度中的最大重复度；重复度判断模块用于判断所述最大重复度是否大于预设阈值；关联执行模块用于在所述最大重复度大于预设阈值时，将所述待处理图像与所述最大重复度对应的历史图像进行关联。

在本发明实施例中，该图像处理装置200还可以包括输出执行模块，输出执行模块用于输出所述数据库中存储的所述最大重复度对应的历史图像的历史数据。

在本发明实施例中，该图像处理装置200还可以包括视频解码模块，视频解码模块用于基于预设视频解码算法对一视频流进行视频解码，从而获得所述待处理图像。

第三实施例

本发明第三实施例提供了一种电子设备100，请参见图1，该电子设备100包括存储器102和处理器106，所述存储器102存储有计算机指令，当所述计算机指令由所述处理器106读取并执行时，使所述处理器106执行本发明第一实施例提供的图像处理方法。

第四实施例

本发明第四实施例提供了一种存储介质，所述存储介质中存储有计算机指令，其中，所述计算机指令在被读取并运行时执行本发明第一实施例提供的图像处理方法。

综上所述，本发明实施例提供的图像处理方法、装置、电子设备及存储介质，通过基于待处理图像的边缘直方图描述子获得所述待处理图像的待匹配特征向量，再将待匹配特征向量与数据库中存储的历史图像的历史特征向量进行特征匹配，获得匹配向量距离，然后基于匹配向量距离获得待处理图像与历史图像之间的重复度。该图像处理方法、装置、电子设备及存储介质通过边缘直方图描述子获得特征向量，从而在获得图像之间重复度过程中，考虑了图像内容的结构信息，使获得的图像之间的重复度的准确度高，解决现有技术中无法对两张图片的相似度进行精准的评判的问题。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

基于待处理图像的边缘直方图描述子获得所述待处理图像的待匹配特征向量，其中，所述边缘直方图描述子为边缘直方图中的分布项；

将所述待匹配特征向量与数据库中存储的历史图像的历史特征向量进行特征匹配，获得匹配向量距离；

基于所述匹配向量距离获得所述待处理图像与所述历史图像之间的重复度。

2.根据权利要求1所述的方法，其特征在于，所述基于待处理图像的边缘直方图描述子获得所述待处理图像的待匹配特征向量，包括：

基于n个所述边缘直方图描述子获得所述待处理图像的边缘直方图中n个分布项的值；

将所述n个分布项的值进行归一化，获得n个归一化数据；

基于所述n个归一化数据生成n维的特征向量，从而获得所述待匹配特征向量。

3.根据权利要求1所述的方法，其特征在于，所述基于所述匹配向量距离获得所述待处理图像与所述历史图像之间的重复度之后，所述方法还包括：

获取所述待处理图像与至少一个其他历史图像之间的至少一个重复度。

4.根据权利要求3所述的方法，其特征在于，所述获取所述待处理图像与至少一个其他历史图像之间的至少一个重复度之后，所述方法还包括：

获得多个所述重复度中的最大重复度；

判断所述最大重复度是否大于预设阈值；

在为是时，将所述待处理图像与所述最大重复度对应的历史图像进行关联。

5.根据权利要求4所述的方法，其特征在于，所述在为是时，将所述待处理图像与所述最大重复度对应的历史图像进行关联之后，所述方法还包括：

输出所述数据库中存储的所述最大重复度对应的历史图像的历史数据。

6.根据权利要求1-4中任一权项所述的方法，其特征在于，所述基于待处理图像的边缘直方图描述子获得所述待处理图像的待匹配特征向量之前，所述方法还包括：

基于预设视频解码算法对一视频流进行视频解码，从而获得所述待处理图像。

7.一种图像处理装置，其特征在于，所述装置包括向量获取模块、特征匹配模块以及重复度获得模块，其中，

所述向量获取模块用于基于待处理图像的边缘直方图描述子获得所述待处理图像的待匹配特征向量，其中，所述边缘直方图描述子为边缘直方图中的分布项；

所述特征匹配模块用于将所述待匹配特征向量与数据库中存储的历史图像的历史特征向量进行特征匹配，获得匹配向量距离；

所述重复度获得模块用于基于所述匹配向量距离获得所述待处理图像与所述历史图像之间的重复度。

8.根据权利要求7所述的装置，其特征在于，所述向量获取模块包括第一数据获取单元、第二数据获取单元以及向量生成单元，其中，

所述第一数据获取单元用于基于n个所述边缘直方图描述子获得所述待处理图像的边缘直方图中n个分布项的值；

所述第二数据获取单元用于将所述n个分布项的值进行归一化，获得n个归一化数据；

所述向量生成单元用于基于所述n个归一化数据生成n维的特征向量，从而获得所述待匹配特征向量。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机指令，当所述计算机指令由所述处理器读取并执行时，使所述处理器执行如权利要求1-6中任一权项所述的方法。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机指令，其中，所述计算机指令在被读取并运行时执行如权利要求1-6中任一权项所述的方法。