CN110889438B - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质，其中，该方法可以包括：对采集到的多张图像进行类别划分，得到目标类别下的图像组；从所述目标类别下的图像组中确定出第一图像组，所述第一图像组包括至少两张图像，所述至少两张图像之间的拍摄时间间隔大于或等于预设时间间隔或图像序号差值绝对值大于或等于预设差值绝对值；根据所述第一图像组包括的至少两张图像，从所述目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像；所述第一图像组与所述第二图像组不同；将所述第一图像组以及所述目标图像确定为关键图像。采用本申请，可以提高对重要的图像的筛选效率。

Description

一种图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着电子技术的发展，越来越多的设备，如胶囊设备、手机、笔记本电脑等等支持图像拍摄功能。在图像拍摄过程中，有可能相同的场景会拍摄多张图像，这就导致拍摄产生的图像数量会远多于实际需要的图像数量。例如对于胶囊设备，其图像拍摄帧率为3帧/秒，拍摄时长在10个小时左右，一例病人吞服胶囊设备后，由胶囊设备拍摄产生的图像数量大约有10万张，这10万张图像中存在大量相似的图像。面对如此多的图像，如何提高对重要的图像的筛选效率成为亟待解决的问题。

发明内容

本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质，可以提高对重要的图像的筛选效率。

第一方面，本申请实施例提供了一种图像处理方法，包括：

对采集到的多张图像进行类别划分，得到目标类别下的图像组；

从所述目标类别下的图像组中确定出第一图像组，所述第一图像组包括至少两张图像，所述至少两张图像之间的拍摄时间间隔大于或等于预设时间间隔或图像序号差值绝对值大于或等于预设差值绝对值；

根据所述第一图像组包括的至少两张图像，从所述目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像；所述第一图像组与所述第二图像组不同；

将所述第一图像组以及所述目标图像确定为关键图像。

可选地，所述根据所述第一图像组包括的至少两张图像，从所述目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像，包括：

从所述目标类别下的图像组包括的第二图像组中，确定出位于所述第一图像组包括的第一图像与相邻的第二图像之间的至少一张图像；计算所述第一图像与所述至少一张图像中每张图像之间的相似性度量值；

根据所述第一图像与所述至少一张图像中每张图像之间的相似性度量值，从所述至少一张图像中确定出满足预设相似性条件的目标图像。

可选地，所述相似性度量值包括欧氏距离，所述计算所述第一图像与所述至少一张图像中每张图像之间的相似性度量值，包括：

提取所述第一图像的第一类特征向量，并提取所述至少一张图像中每张图像的第一类特征向量；所述第一类特征向量包括纹理特征向量；

计算所述第一图像的第一类特征向量与所述至少一张图像中每张图像的第一类特征向量之间的欧氏距离。

可选地，所述根据所述第一图像与所述至少一张图像中每张图像之间的相似性度量值，从所述至少一张图像中确定出满足预设相似性条件的目标图像，包括：

根据第一图像的第一类特征向量与所述至少一张图像中每张图像的第一类特征向量之间的欧氏距离，从所述至少一张图像中确定出欧氏距离大于第一预设数值的目标图像。

可选地，所述对采集到的多张图像进行类别划分，得到目标类别下的图像组之前，所述方法还包括：

获取图像序列，所述图像序列包括采集到的多张图像；

所述对采集到的多张图像进行类别划分，得到目标类别下的图像组，包括：

对所述多张图像进行分组处理，得到m组图像；所述m为大于1的整数；

对所述m组图像中每组图像包括的n张图像进行特征提取，得到所述每组图像包括的n张图像中每张图像的第二类特征向量；所述n为大于1的整数；

针对所述每组图像，对该组图像包括的n张图像中每张图像的第二类特征向量进行聚类，得到所述每组图像对应的聚类树；

针对所述每组图像，根据该组图像对应的聚类树对该组图像进行类别划分，得到该组图像对应目标类别下的图像组。

可选地，所述第二类特征向量包括颜色特征向量，所述对所述每组图像包括的n张图像中每张图像进行特征提取，得到所述每张图像的第二类特征向量，包括：

将所述每组图像包括的n张图像中每张图像转换到指定颜色空间，并获取所述每张图像在所述指定颜色空间的颜色直方图；

根据所述每张图像在所述指定颜色空间的颜色直方图构建该张图像的颜色特征向量。

可选地，所述根据每组图像对应的聚类树对所述该组图像进行类别划分，得到该组图像对应目标类别下的图像组，包括：

根据所述每组图像对应的聚类树包括的多个簇中每个簇之间的欧氏距离，从所述多个簇中确定出欧氏距离小于第二预设数值的簇；

将所述欧氏距离小于第二预设数值的簇对应的图像组确定为该组图像对应目标类别下的图像组。

第二方面，本申请实施例提供了一种图像处理装置，包括：

类别划分模块，用于对采集到的多张图像进行类别划分，得到目标类别下的图像组；

确定模块，用于从所述目标类别下的图像组中确定出第一图像组，所述第一图像组包括至少两张图像，所述至少两张图像之间的拍摄时间间隔大于或等于预设时间间隔或图像序号差值绝对值大于或等于预设差值绝对值；

所述确定模块，还用于根据所述第一图像组包括的至少两张图像，从所述目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像，并将所述第一图像组以及所述目标图像确定为关键图像；所述第一图像组与所述第二图像组不同。

第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面所述的方法。

综上所述，电子设备可以对采集到的多张图像进行类别划分，得到目标类别下的图像组，并从该目标类别下的图像组中确定出第一图像组；电子设备还可以根据该第一图像组包括的至少两张图像，从该目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像，并将该第一图像组以及该目标图像确定为关键图像。相较于现有技术人工从海量图片中筛选出重要的图像的方式，本申请实施例采用上述方式能够提升对重要的图像的筛选效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像处理方法的流程示意图；

图2是本申请实施例提供的一种确定第一图像组过程的示意图；

图3是本申请实施例提供的一种确定目标图像过程的示意图；

图4是本申请实施例提供的另一种图像处理方法的流程示意图；

图5是本申请实施例提供的一种聚类树的示意图；

图6是本申请实施例提供的一种图像处理装置的结构示意图；

图7是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

请参阅图1，为本申请实施例提供的一种图像处理方法的流程示意图。该方法可以应用于电子设备，该电子设备可以为终端或服务器。该终端包括不限于为笔记本电脑、台式电脑等智能终端。该服务器可以为一个服务器或服务器集群。具体地，该方法可以包括：

S101、对采集到的多张图像进行类别划分，得到目标类别下的图像组。

其中，该目标类别可以为预设类别。例如，当该多张图像为人体消化道图像时，该预设类别可以为任一消化道部位的名称，例如可以为胃或十二指肠等。

在一个实施例中，该目标类别可以为多个类别中的任一个类别。

在一个实施例中，电子设备对该多张图像进行类别划分，得到目标类别下的图像组的方式可以为电子设备对该多张图像进行聚类，得到多个类别中每个类别下的图像组；电子设备将该多个类别中任一类别下的图像组作为目标类别下的图像组。其中，电子设备可以通过聚类算法对多张图像进行聚类。

在一个实施例中，电子设备对该多张图像进行类别划分，得到目标类别下的图像组的方式可以为电子设备将该多张图像输入图像分类模型，并经由该图像分类模型进行分类预测，得到目标类别下的图像组。在一个实施例中，该图像分类模型可以根据大量标记了类别的图像对卷积神经网络模型等机器学习模型训练得到。

在一个实施例中，电子设备将该多张图像输入图像分类模型，并经由该图像分类模型进行分类预测，得到目标类别下的图像组的方式可以为电子设备将该多张图像输入图像分类模型，并经由该图像分类模型进行分类预测，得到多个类别中每个类别下的图像组；电子设备从多个类别中每个类别下的图像组中确定出为预设类别的图像组，或电子设备将多个类别中任一类别下的图像组作为目标类别下的图像组。

在一个实施例中，该多张图像可以是由图像采集设备，如胶囊设备等具备图像拍摄功能的设备采集的。其中，该胶囊设备可以为胶囊内窥镜或胶囊机器人等智能胶囊设备。

S102、从所述目标类别下的图像组中确定出第一图像组，所述第一图像组包括至少两张图像，所述至少两张图像之间的拍摄时间间隔大于或等于预设时间间隔或图像序号差值绝对值大于或等于预设差值绝对值。

本申请实施例中，电子设备可以从该目标类别下的图像中确定出第一图像组，该第一图像组包括至少两张图像，该至少两张图像之间的拍摄时间间隔大于或等于预设时间间隔或图像序号差值绝对值大于或等于预设差值绝对值。由于时间连续的图像往往都较为相似，其可参考性较低，因此现有技术为了找出可参考性较高的图像，通常需要人工在海量图像中确定出较为重要的图像的方式，其对于重要的图像的筛选效率较低，相较于现有技术本申请实施例采用上述方式可以提高对重要的图像的筛选效率。

在一个实施例中，电子设备从该目标类别下的图像组中确定出第一图像组的方式可以为电子设备根据该目标类别下的图像组包括的各图像的属性信息，从该目标类别下的图像组包括的各图像中确定出第一图像组。其中，该属性信息可以为图像拍摄时间或图像序号。在一个实施例中，该图像序号可以根据拍摄顺序确定，例如，拍摄顺序越靠后，图像序号越大。

在一个实施例中，当该属性信息为图像序号时，电子设备根据该目标类别下的图像组包括的各图像的属性信息，从该目标类别下的图像组包括的各图像中确定出第一图像组的方式可以为电子设备将该目标类别下的图像组包括的各图像按照拍摄顺序由前到后排序；电子设备将排在预设位置的图像作为起始图像，并根据该目标类别下的图像组包括的各图像的属性信息，确定目标类别下的图像组中与该预设位置的图像之间的图像序号差值绝对值大于或等于预设差值绝对值的一张图像，并确定与该张图像之间的图像序号差值绝对值大于或等于预设差值绝对值的下一张图像，该下一张图像不为该预设位置的图像；以此类推，直到确定不出图像为止，电子设备可以将该起始图像以及确定出的图像作为第一组图像。在一个实施例中，上述按照拍摄顺序由前到后排序可以是指按照拍摄时间由前到后排序，或按照图像序号由小到大排序。其中，该位于预设位置的图像包括但不限于位于第一位的图像或位于最后一位的图像等其它位置的图像。

在一个实施例中，电子设备确定目标类别下的图像组中与该预设位置的图像之间的图像序号差值绝对值大于或等于预设差值绝对值的一张图像，可以为电子设备确定目标类别下的图像组中与该预设位置的图像之间的图像序号差值绝对值大于或等于预设差值绝对值的图像；电子设备从与该预设位置的图像之间的图像序号差值绝对值大于或等于预设差值绝对值的图像中，确定出与该预设位置的图像之间的图像序号差值绝对值最小的一张图像。相应地，电子设备根据该多个类别中的目标类别下的图像组包括的各图像的属性信息，确定目标类别下的图像组中与该张图像之间的图像序号差值绝对值大于或等于预设差值绝对值的下一张图像，也可以采用上述方式，本申请实施例在此不做赘述。

例如，参见图2，该目标类别为d1类别，d1类别下的图像组包括7张图像，电子设备对这7张图像按照拍摄顺序由前到后排序后得到：图像66、图像67、图像68、图像69、图像71、图像73、图像78。假设预设差值绝对值为5，若将图像66作为起始图像，则电子设备可以根据这7张图像的图像序号从这7张图像中确定出图像与66之间的图像序号差值绝对值大于或等于5的图像71，并可以进一步确定出与71之间的图像序号差值绝对值大于或等于5的图像78，电子设备可以将图像66、图像71和图像78作为第一组图像。同理，假设预设差值绝对值为5，若将图像67作为起始图像，则电子设备可以从这7张图像中确定出图像67、图像73和图像78作为第一组图像。

在一个实施例中，前述拍摄时间间隔或图像序号差值绝对值可以根据图像采集设备，如胶囊设备的工作参数确定，该工作参数可以包括运动参数和/或拍摄帧率。该运动参数包括但不限于运动速度、运动角速度等参数。

S103、根据所述第一图像组包括的至少两张图像，从所述目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像。

S104、将所述第一图像组以及所述目标图像确定为关键图像。

本申请实施例，电子设备可以根据该第一图像组包括的至少两张图像，从该目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像，并将该第一图像组以及该目标图像确定为关键图像，进而可以有效地提高对重要的图像的筛选效率。其中，该第一图像组与该第二图像组不同，在一个实施例中，该第二图像组可以为该目标类别下的图像组中除该第一图像组之外的图像组。

在一个实施例中，电子设备根据该第一图像组包括的至少两张图像，从该目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像的方式可以为电子设备从该目标类别下的图像组包括的第二图像组中，确定出位于该第一图像组包括的第一图像与相邻的第二图像之间的至少一张图像；电子设备计算该第一图像与该至少一张图像中每张图像之间的相似性度量值；电子设备根据该第一图像与该至少一张图像中每张图像之间的相似性度量值，从该至少一张图像中确定出满足预设相似性条件的目标图像。其中，该相邻的第二图像是指在第一组图像包括的所有拍摄顺序位于该第一图像后的图像中，与该第一图像之间的拍摄时间间隔最小的图像或图像序号差值最小的图像。采用上述方式，电子设备可以根据第一图像组从第二组图像中确定出一些具有较小相似性的图像，从而提高对重要的图像的筛选效率。

例如，参见图3，该目标类别为d1类别，d1类别下的图像组包括图像66、图像67、图像68、图像69、图像71、图像73、图像78，第一组图像包括图像66，图像71，图像78，第二组图像包括图像67、图像68、图像69和图像73。电子设备可以确定图像66与图像71之间的至少一张图像为图像67、图像68和图像69，并可以确定图像71与图像78之间的至少一张图像为图像73。电子设备可以计算图像66与图像67之间的相似性度量值，图像66与图像68之间的相似性度量值、图像66与图像69之间的相似性度量值以及图像71与图像73之间的相似性度量值。电子设备可以根据这四个相似性度量值，从图像67、图像68、图像69、图像73中确定出满足预设相似性条件的目标图像，如图像67。

在一个实施例中，考虑到目标类别下的图像组包括的各图像在拍摄时间上不一定都连续，因此可能存在以下情况：该目标类别下的图像组包括的第二图像组中，没有位于第一图像组和该第二图像之间的至少一张图像。针对这种情况，电子设备可以将该第二图像作为第一图像，执行从该目标类别下的图像组包括的第二图像组中，确定出位于该第一图像组包括的第一图像与相邻的第二图像之间的至少一张图像的步骤。

例如，d1类别下的图像组包括除了包括前述提及的7张图像外，还可以包括图像83(图未示)、图像84(图未示)、图像88(图未示)，第一组图像包括图像66，图像71，图像78、图像83和图像88，第二组图像包括图像67、图像68、图像69、图像73和图像84。电子设备可以确定该第二组图像中没有位于图像78和图像83之间的至少一张图像，此时电子设备可以将图像83作为第一图像，图像88作为第二图像，执行确定位于图像83和图像88之间的图像84的步骤。

在一个实施例中，考虑到第一图像可能为第一图像组中位于最后一位的图像，因此可能出现第一图像不存在相邻的第二图像的情况。针对这种情况，若第二图像组中包括位于该第一图像后的图像，则电子设备可以计算该第一图像与位于该第一图像后的图像之间的相似性度量值；电子设备可以根据该第一图像与位于该第一图像后的图像之间的相似性度量值，从位于该第一图像后的图像中确定出满足预设相似性条件的目标图像。

例如，d1类别下的图像组包括除了包括前述提及的7张图像外，还可以包括图像83、图像84、图像88、图像89(图未示)，第一组图像包括图像66，图像71，图像78、图像83和图像88，第二组图像包括图像67、图像68、图像69、图像73、图像84和图像89。电子设备可以确定图像88没有相邻的第二图像，此时，电子设备仍可以计算图像88与图像89之间的相似性度量值，并可以根据图像88与图像89之间的相似性度量值，从位于图像88后的图像中确定出满足预设相似性条件的目标图像。

在一个实施例中，该相似性度量值包括欧氏距离。该欧氏距离又可称为欧几里得距离或欧几里得度量。电子设备计算该第一图像与该至少一张图像中每张图像之间的相似性度量值，可以为电子设备提取该第一图像的第一类特征向量，并提取该至少一张图像中每张图像的第一类特征向量；电子设备计算该第一图像的第一类特征向量与该至少一张图像中每张图像的第一类特征向量之间的欧氏距离。其中，该第一类特征向量可以包括纹理特征向量。在一个实施例中，该第一类特征向量还可以包括以下至少一项：形状特征向量、空间关系特征向量。

在一个实施例中，电子设备根据该第一图像与该至少一张图像中每张图像之间的相似性度量值，从该至少一张图像中确定出满足预设相似性条件的目标图像的方式可以为电子设备根据第一图像的第一类特征向量与该至少一张图像中每张图像的第一类特征向量之间的欧氏距离，从该至少一张图像中确定出欧氏距离大于第一预设数值的目标图像。在一个实施例中，该第一预设数值可以是对该第二组图像包括的每张图像对应的欧氏距离进行均值计算后得到的。例如，该第二组图像包括x张图像，这x张图像分别对应的欧氏距离为D1、D2、D3…Dx，该第一预设数值T1＝1.1(D1+D2+D3+…+Dx)/x。或，该第一预设数值还可以是对该至少一张图像中每张图像的欧氏距离进行均值计算后得到的。采用上述方式，可以基于第一类特征向量进行图像筛选，进而过滤掉一些较为相似的图像。

在一个实施例中，该相似性度量值包括相似度，电子设备计算该第一图像与该至少一张图像中每张图像之间的相似性度量值，可以为电子设备提取该第一图像的第一类特征向量，并提取该至少一张图像中每张图像的第一类特征向量；电子设备计算该第一图像的第一类特征向量与该至少一张图像中每张图像的第一类特征向量之间的相似度。在一个实施例中，上述相似度可以为余弦相似度。相应地，电子设备根据该第一图像与该至少一张图像中每张图像之间的相似性度量值，从该至少一张图像中确定出满足预设相似性条件的目标图像的方式可以为电子设备根据第一图像的第一类特征向量与该至少一张图像中每张图像的第一类特征向量之间的相似度，从该至少一张图像中确定出相似度小于预设相似度的目标图像。

在一个实施例中，该相似度度量值为相似度，电子设备计算该第一图像与该至少一张图像中每张图像之间的相似性度量值的方式可以为电子设备采用结构相似度算法来计算该第一图像与该至少一张图像中每张图像之间的相似度；或，电子设备计算该第一图像的指纹信息与该至少一张图像中每张图像的指纹信息，并将该第一图像的指纹信息与该至少一张图像中每张图像的指纹信息进行比较，以确定该第一图像与该至少一张图像中每张图像之间的相似度。相应地，电子设备根据该第一图像与该至少一张图像中每张图像之间的相似性度量值，从该至少一张图像中确定出满足预设相似性条件的目标图像的方式可以为电子设备根据第一图像与该至少一张图像中每张图像之间的相似度，从该至少一张图像中确定出相似度小于预设相似度的目标图像。

在一个实施例中，电子设备可以将该目标类别下的图像组除该关键图像之外的图像确定为冗余图像。

在一个实施例中，电子设备还可以将该关键图像存储至第一存储空间，并将冗余图像存储至第二存储空间。

在一个实施例中，电子设备可以删除该目标类别下的图像组包括的冗余图像。

可见，图1所示的实施例中，电子设备可以对采集到的多张图像进行类别划分，得到目标类别下的图像组，并从该目标类别下的图像组中确定出第一图像组；电子设备还可以根据该第一图像组包括的至少两张图像，从该目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像，并将该第一图像组以及该目标图像确定为关键图像。相较于现有技术人工从海量图片中筛选出重要的图像的方式，本申请实施例采用上述方式能够提升对重要的图像的筛选效率。

请参阅图4，为本申请实施例提供的另一种图像处理方法的流程示意图。该方法可以应用于前述提及的电子设备中。具体地，该方法可以包括以下步骤：

S401、获取图像序列，所述图像序列包括采集到的多张图像。

在一个实施例中，该图像序列可以是由胶囊设备发送至电子设备的。

在一个实施例中，该图像序列还可以胶囊设备通过图像记录仪发送至电子设备的。

在一个实施例中，该图像序列还可以是电子设备从图像记录仪读取的。

S402、对所述多张图像进行分组处理，得到m组图像。

其中，m可以为大于1的整数。

在一个实施例中，电子设备对该多张图像进行分组处理，得到m组图像可以为电子设备将该多张图像每预设数量张划分为一组，得到m组图像。

例如，该图像序列包括1000张图像：图像1、图像2……图像1000。电子设备可以将这1000张图像每100张划分为一组，如将图像1、图像2……图像100划分为一组，总共可以得到10组图像。

S403、对所述m组图像中每组图像包括的n张图像进行特征提取，得到所述每组图像包括的n张图像中每张图像的第二类特征向量。

其中，n可以为大于1的整数。

在一个实施例中，该第二类特征向量包括颜色特征向量，电子设备对该每组图像包括的n张图像中每张图像进行特征提取，得到该每张图像的第二类特征向量可以为电子设备将该每组图像包括的n张图像中每张图像转换到指定颜色空间，并获取该每张图像在该指定颜色空间的颜色直方图；电子设备根据该每张图像在该指定颜色空间的颜色直方图构建该张图像的颜色特征向量。在一个实施例中，电子设备可以将每组图像包括的n张图像中每张图像由初始颜色空间(如RGB颜色空间)转换到指定颜色空间(如HSV颜色空间)。

在一个实施例中，除了可以采用上述基于颜色直方图的方式对该每组图像包括的n张图像中每张图像进行特征提取，得到该每张图像的颜色特征向量之外，还可以采用颜色矩、颜色集、颜色聚合向量或颜色相关图等方式来对该每组图像包括的n张图像中每张图像进行特征提取，得到该每张图像的颜色特征向量，本申请实施例在此不一一赘述。

S404、针对所述每组图像，对该组图像包括的n张图像中每张图像的第二类特征向量进行聚类，得到所述每组图像对应的聚类树。

本申请实施例中，电子设备可以针对每组图像，对该组图像包括的n张图像中每张图像的第二类特征向量进行聚类，如进行层次聚类，得到该每组图像对应的聚类树。通过将图像进行分组，并针对每组图像进行聚类，可以解决因一次聚类的图像数量太多导致的计算时间增加、计算复杂度增加的问题。

在一个实施例中，当上述聚类方式为层次聚类时，该聚类方式可以为凝聚层次聚类。其中，该凝聚层次聚类可以为单连接层次聚类或全连接层次聚类。

S405、针对所述每组图像，根据该组图像对应的聚类树对该组图像进行类别划分，得到该组图像对应目标类别下的图像组。

在一个实施例中，电子设备根据每组图像对应的聚类树对该组图像进行类别划分，得到该组图像对应目标类别下的图像组的方式可以为电子设备根据该每组图像对应的聚类树包括的多个簇中每个簇之间的欧氏距离，从该多个簇中确定出欧氏距离小于第二预设数值的簇；电子设备将该欧氏距离小于第二预设数值的簇对应的图像组确定为目标类别下的图像组。采用上述聚类方式进行类别划分，相较于直接建模分类的方式，该方式可以减轻分类准备的工作量。

例如，以图5为例，图5所示的聚类树对一组图像包括的6张图像中每张图像的第二类特征向量进行聚类后得到的。其中，S1-S6可以为6张图像中每张图像的颜色特征向量的标识(如可以为颜色特征向量编号或图像编号等标识信息)，可以分别对应6张图像。可以看到，图5所示的聚类树中至少包括5个簇中每个簇对应的欧式距离。假设第二预设数值为4，此时电子设备可以从这5个簇中确定出欧氏距离小于4的簇2，电子设备可以将簇2对应的图像组(该图像组包括S4对应的图像和S6对应的图像)确定为该组图像对应目标类别下的图像组。

在一个实施例中，电子设备可以对该聚类树的每个分支自上而下进行遍历，当针对每个分支检测到欧氏距离小于第二预设数值的簇时，停止对该分支的遍历，并将该分支检测到的欧式距离小于第二预设数值的簇对应的图像组作为该组图像对应目标类别下的图像组。

在一个实施例中，上述第二预设数值可以为该聚类树包括的多个欧氏距离中的任一欧氏距离。

在一个实施例中，上述第二预设数值可以为该聚类树包括的多个欧氏距离中的最大欧氏距离乘以预设数值(如0.3)后得到的数值。

在一个实施例中，当该欧氏距离小于第二预设数值的簇为多个时，电子设备可以从该欧氏距离小于第二预设数值的簇中选取任一个簇对应的图像组作为该组图像对应目标类别下的图像组。参见图5，假设第二预设数值为14，此时电子设备可以从这5个簇中确定出欧氏距离小于14的簇1和簇4，电子设备可以从簇1对应的图像组(该图像组包括S1对应的图像和S5对应的图像)以及簇4对应的图像组(S4对应的图像、S6对应的图像、S2对应的图像和S3对应的图像)选取簇1或簇4对应的图像组作为该组图像对应目标类别下的图像组。

在一个实施例中，电子设备还可以对该组图像中除该欧氏距离小于第二预设数值的簇对应的图像组之外的图像进行分类，得到至少一个类别中每个类别下的图像组。电子设备可以从该欧氏距离小于第二预设数值的簇对应的图像组以及该至少一个类别中每个类别下的图像组中选取任一图像组作为该组图像对应目标类别下的图像组。例如，该欧氏距离小于第二预设数值的簇为簇2，电子设备可以将S1对应的图像、S2对应的图像、S3对应的图像、S5对应的图像单独分为4类得到4个类别中每个类别下的图像组。电子设备可以从簇2对应的图像组以及这4个类别中每个类别下的图像组中选取任一图像组作为该组图像对应目标类别下的图像组。

在一个实施例中，当该目标类别下的图像组包括一张图像时，电子设备可以将该目标类别，可以将该目标类别下的图像组包括的这张图像确定为关键图像。

在一个实施例中，上述步骤S405还可以替换为电子设备针对该每组图像，根据该组图像对应的聚类树对该组图像进行类别划分，得到该组图像对应的至少一个类别中每个类别下的图像组；电子设备从类别划分得到的所有图像组中，选取任一个图像组作为目标类别下的图像组。

S406、从所述目标类别下的图像组中确定出第一图像组，所述第一图像组包括至少两张图像，所述至少两张图像之间的拍摄时间间隔大于或等于预设时间间隔或图像序号差值绝对值大于或等于预设差值绝对值。

S407、根据所述第一图像组包括的至少两张图像，从所述目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像。

S408、将所述第一图像组以及所述目标图像确定为关键图像。

其中，步骤S406-步骤S408可参见图1实施例中的步骤S102-步骤S104，本申请实施例在此不做赘述。

可见，图4所示的实施例中，电子设备可以对该多张图像进行分组处理，得到m组图像，并对该m组图像中每组图像包括的n张图像进行特征提取，得到该每组图像包括的n张图像中每张图像的第二类特征向量；电子设备可以针对该每组图像，对该组图像包括的n张图像中每张图像的第二类特征向量进行聚类，得到该每组图像对应的聚类树，并可以针对该每组图像，根据该组图像对应的聚类树对该组图像进行类别划分，得到该组图像对应目标类别下的图像组，以用于关键图像确定，采用上述方式能够有效地按照图像间的相似性对图像进行归类，并使用目标类别下的图像组进行关键图像确定，可以提高对图像筛选过程的可靠性，保障确定出的关键图像的有效性。

请参阅图6，为本申请实施例提供的一种图像处理装置的结构示意图。该装置可以应用于前述提及的电子设备。具体地，该装置可以包括：

类别划分模块601，用于对采集到的多张图像进行类别划分，得到目标类别下的图像组。

确定模块602，用于从所述目标类别下的图像组中确定出第一图像组，所述第一图像组包括至少两张图像，所述至少两张图像之间的拍摄时间间隔大于或等于预设时间间隔或图像序号差值绝对值大于或等于预设差值绝对值。

确定模块602，还用于根据所述第一图像组包括的至少两张图像，从所述目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像，并将所述第一图像组以及所述目标图像确定为关键图像；所述第一图像组与所述第二图像组不同。

在一种可选的实施方式中，确定模块602根据所述第一图像组包括的至少两张图像，从所述目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像，具体为从所述目标类别下的图像组包括的第二图像组中，确定出位于所述第一图像组包括的第一图像与相邻的第二图像之间的至少一张图像；计算所述第一图像与所述至少一张图像中每张图像之间的相似性度量值；根据所述第一图像与所述至少一张图像中每张图像之间的相似性度量值，从所述至少一张图像中确定出满足预设相似性条件的目标图像。

在一种可选的实施方式中，所述相似性度量值包括欧氏距离，确定模块602计算所述第一图像与所述至少一张图像中每张图像之间的相似性度量值，具体为提取所述第一图像的第一类特征向量，并提取所述至少一张图像中每张图像的第一类特征向量；所述第一类特征向量包括纹理特征向量；计算所述第一图像的第一类特征向量与所述至少一张图像中每张图像的第一类特征向量之间的欧氏距离。

在一种可选的实施方式中，确定模块602根据所述第一图像与所述至少一张图像中每张图像之间的相似性度量值，从所述至少一张图像中确定出满足预设相似性条件的目标图像，具体为根据第一图像的第一类特征向量与所述至少一张图像中每张图像的第一类特征向量之间的欧氏距离，从所述至少一张图像中确定出欧氏距离大于第一预设数值的目标图像。

在一种可选的实施方式中，该图像处理装置还包括获取模块603。

在一种可选的实施方式中，获取模块603，用于在类别划分模块601对采集到的多张图像进行类别划分，得到目标类别下的图像组之前，获取图像序列，所述图像序列包括采集到的多张图像。

在一种可选的实施方式中，类别划分模块601，具体用于对所述多张图像进行分组处理，得到m组图像；所述m为大于1的整数；对所述m组图像中每组图像包括的n张图像进行特征提取，得到所述每组图像包括的n张图像中每张图像的第二类特征向量；所述n为大于1的整数；针对所述每组图像，对该组图像包括的n张图像中每张图像的第二类特征向量进行聚类，得到所述每组图像对应的聚类树；针对所述每组图像，根据该组图像对应的聚类树对该组图像进行类别划分，得到该组图像对应目标类别下的图像组。

在一种可选的实施方式中，所述第二类特征向量包括颜色特征向量，类别划分模块601对所述每组图像包括的n张图像中每张图像进行特征提取，得到所述每张图像的第二类特征向量，具体为将所述每组图像包括的n张图像中每张图像转换到指定颜色空间，并获取所述每张图像在所述指定颜色空间的颜色直方图；根据所述每张图像在所述指定颜色空间的颜色直方图构建该张图像的颜色特征向量。

在一种可选的实施方式中，类别划分模块601根据每组图像对应的聚类树对所述该组图像进行类别划分，得到该组图像对应目标类别下的图像组，具体为根据所述每组图像对应的聚类树包括的多个簇中每个簇之间的欧氏距离，从所述多个簇中确定出欧氏距离小于第二预设数值的簇；将所述欧氏距离小于第二预设数值的簇对应的图像组确定为该组图像对应目标类别下的图像组。

可见，图6所示的实施例中，图像处理装置可以对采集到的多张图像进行类别划分，得到目标类别下的图像组，并从该目标类别下的图像组中确定出第一图像组；图像处理装置还可以根据该第一图像组包括的至少两张图像，从该目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像，并将该第一图像组以及该目标图像确定为关键图像，从而提升对重要的图像的筛选效率。

请参阅图7，为本申请实施例提供的一种电子设备的结构示意图。如图7所示的本实施例中的电子设备可以包括：一个或多个处理器701；一个或多个输入设备702，一个或多个输出设备703和存储器704。上述处理器701、输入设备702、输出设备703和存储器704通过总线或其他方式连接。在一个实施例中，输入设备702和输出设备703为可选的设备。存储器704用于存储计算机程序，所述计算机程序包括程序指令，处理器701用于执行所述存储器704存储的程序指令。

在一个实施例中，该处理器701可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器，即微处理器或者任何常规的处理器。该存储器704可以包括只读存储器和随机存取存储器，并向处理器701提供指令和数据。因此，在此对于处理器701和存储器704不作限定。

在本申请实施例中，由处理器701加载并执行计算机存储介质中存放的一条或一条以上指令，以实现上述相应实施例中的方法的相应步骤；具体实现中，计算机存储介质中的至少一条指令由处理器701加载并执行如下步骤：

对采集到的多张图像进行类别划分，得到目标类别下的图像组；

从所述目标类别下的图像组中确定出第一图像组，所述第一图像组包括至少两张图像，所述至少两张图像之间的拍摄时间间隔大于或等于预设时间间隔或图像序号差值绝对值大于或等于预设差值绝对值；

根据所述第一图像组包括的至少两张图像，从所述目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像；所述第一图像组与所述第二图像组不同；

将所述第一图像组以及所述目标图像确定为关键图像。

在一个实施例中，至少一条指令由处理器701加载并用于执行根据所述第一图像组包括的至少两张图像，从所述目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像，具体用于：

从所述目标类别下的图像组包括的第二图像组中，确定出位于所述第一图像组包括的第一图像与相邻的第二图像之间的至少一张图像；计算所述第一图像与所述至少一张图像中每张图像之间的相似性度量值；

根据所述第一图像与所述至少一张图像中每张图像之间的相似性度量值，从所述至少一张图像中确定出满足预设相似性条件的目标图像。

在一个实施例中，所述相似性度量值包括欧氏距离，至少一条指令由处理器701加载并用于执行计算所述第一图像与所述至少一张图像中每张图像之间的相似性度量值，具体用于：

提取所述第一图像的第一类特征向量，并提取所述至少一张图像中每张图像的第一类特征向量；所述第一类特征向量包括纹理特征向量；

计算所述第一图像的第一类特征向量与所述至少一张图像中每张图像的第一类特征向量之间的欧氏距离。

在一种可选的实施方式中，至少一条指令由处理器701加载并用于执行根据所述第一图像与所述至少一张图像中每张图像之间的相似性度量值，从所述至少一张图像中确定出满足预设相似性条件的目标图像，具体用于：

根据第一图像的第一类特征向量与所述至少一张图像中每张图像的第一类特征向量之间的欧氏距离，从所述至少一张图像中确定出欧氏距离大于第一预设数值的目标图像。

在一个实施例中，对采集到的多张图像进行类别划分，得到目标类别下的图像组之前，至少一条指令由处理器701加载并还用于执行获取图像序列，所述图像序列包括采集到的多张图像。

在一个实施例中，至少一条指令由处理器701加载并用于执行对采集到的多张图像进行类别划分，得到目标类别下的图像组，具体用于：

对所述多张图像进行分组处理，得到m组图像；所述m为大于1的整数；

对所述m组图像中每组图像包括的n张图像进行特征提取，得到所述每组图像包括的n张图像中每张图像的第二类特征向量；所述n为大于1的整数；

针对所述每组图像，对该组图像包括的n张图像中每张图像的第二类特征向量进行聚类，得到所述每组图像对应的聚类树；

针对所述每组图像，根据该组图像对应的聚类树对该组图像进行类别划分，得到该组图像对应目标类别下的图像组。

在一个实施例中，所述第二类特征向量包括颜色特征向量，至少一条指令由处理器701加载并用于执行对所述每组图像包括的n张图像中每张图像进行特征提取，得到所述每张图像的第二类特征向量，具体用于：

将所述每组图像包括的n张图像中每张图像转换到指定颜色空间，并获取所述每张图像在所述指定颜色空间的颜色直方图；

根据所述每张图像在所述指定颜色空间的颜色直方图构建该张图像的颜色特征向量。

在一个实施例中，至少一条指令由处理器701加载并用于执行根据每组图像对应的聚类树对所述该组图像进行类别划分，得到该组图像对应目标类别下的图像组，具体用于：

根据所述每组图像对应的聚类树包括的多个簇中每个簇之间的欧氏距离，从所述多个簇中确定出欧氏距离小于第二预设数值的簇；

将所述欧氏距离小于第二预设数值的簇对应的图像组确定为该组图像对应目标类别下的图像组。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本申请的部分实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于本申请所涵盖的范围。

Claims (9)

1.一种图像处理方法，其特征在于，包括：

获取图像序列，所述图像序列包括采集到的多张图像；

对采集到的多张图像进行类别划分，得到目标类别下的图像组，包括：对所述多张图像进行分组处理，得到m组图像；所述m为大于1的整数；对所述m组图像中每组图像包括的n张图像进行特征提取，得到所述每组图像包括的n张图像中每张图像的第二类特征向量；所述n为大于1的整数；针对所述每组图像，对该组图像包括的n张图像中每张图像的第二类特征向量进行聚类，得到所述每组图像对应的聚类树；针对所述每组图像，根据该组图像对应的聚类树对该组图像进行类别划分，得到该组图像对应目标类别下的图像组；

根据所述目标类别下的图像组中各图像的属性信息，从所述目标类别下的图像组中确定出第一图像组，所述属性信息包括拍摄时间或图像序号，所述第一图像组包括至少两张图像，所述至少两张图像之间的拍摄时间间隔大于或等于预设时间间隔或图像序号差值绝对值大于或等于预设差值绝对值；

根据所述第一图像组包括的至少两张图像，从所述目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像；所述第一图像组与所述第二图像组不同；

将所述第一图像组以及所述目标图像确定为关键图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像组包括的至少两张图像，从所述目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像，包括：

从所述目标类别下的图像组包括的第二图像组中，确定出位于所述第一图像组包括的第一图像与相邻的第二图像之间的至少一张图像；

计算所述第一图像与所述至少一张图像中每张图像之间的相似性度量值；

根据所述第一图像与所述至少一张图像中每张图像之间的相似性度量值，从所述至少一张图像中确定出满足预设相似性条件的目标图像。

3.根据权利要求2所述的方法，其特征在于，所述相似性度量值包括欧氏距离，所述计算所述第一图像与所述至少一张图像中每张图像之间的相似性度量值，包括：

提取所述第一图像的第一类特征向量，并提取所述至少一张图像中每张图像的第一类特征向量；所述第一类特征向量包括纹理特征向量；

计算所述第一图像的第一类特征向量与所述至少一张图像中每张图像的第一类特征向量之间的欧氏距离。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像与所述至少一张图像中每张图像之间的相似性度量值，从所述至少一张图像中确定出满足预设相似性条件的目标图像，包括：

根据第一图像的第一类特征向量与所述至少一张图像中每张图像的第一类特征向量之间的欧氏距离，从所述至少一张图像中确定出欧氏距离大于第一预设数值的目标图像。

5.根据权利要求1所述的方法，其特征在于，所述第二类特征向量包括颜色特征向量，所述对所述每组图像包括的n张图像中每张图像进行特征提取，得到所述每张图像的第二类特征向量，包括：

将所述每组图像包括的n张图像中每张图像转换到指定颜色空间，并获取所述每张图像在所述指定颜色空间的颜色直方图；

根据所述每张图像在所述指定颜色空间的颜色直方图构建该张图像的颜色特征向量。

6.根据权利要求1所述的方法，其特征在于，所述根据每组图像对应的聚类树对所述该组图像进行类别划分，得到该组图像对应目标类别下的图像组，包括：

根据所述每组图像对应的聚类树包括的多个簇中每个簇之间的欧氏距离，从所述多个簇中确定出欧氏距离小于第二预设数值的簇；

将所述欧氏距离小于第二预设数值的簇对应的图像组确定为该组图像对应目标类别下的图像组。

7.一种图像处理装置，其特征在于，包括：

类别划分模块，用于对采集到的多张图像进行类别划分，得到目标类别下的图像组，所述类别划分模块还用于，获取图像序列，所述图像序列包括采集到的多张图像；对所述多张图像进行分组处理，得到m组图像；所述m为大于1的整数；对所述m组图像中每组图像包括的n张图像进行特征提取，得到所述每组图像包括的n张图像中每张图像的第二类特征向量；所述n为大于1的整数；针对所述每组图像，对该组图像包括的n张图像中每张图像的第二类特征向量进行聚类，得到所述每组图像对应的聚类树；针对所述每组图像，根据该组图像对应的聚类树对该组图像进行类别划分，得到该组图像对应目标类别下的图像组；

确定模块，用于根据所述目标类别下的图像组中各图像的属性信息，从所述目标类别下的图像组中确定出第一图像组，所述第一图像组包括至少两张图像，所述属性信息包括拍摄时间或图像序号，所述至少两张图像之间的拍摄时间间隔大于或等于预设时间间隔或图像序号差值绝对值大于或等于预设差值绝对值；

所述确定模块，还用于根据所述第一图像组包括的至少两张图像，从所述目标类别下的图像组包括的第二图像组中确定出满足预设相似性条件的目标图像，并将所述第一图像组以及所述目标图像确定为关键图像；所述第一图像组与所述第二图像组不同。

8.一种电子设备，其特征在于，包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-6任一项所述的方法。

Images