CN110334234B - 一种风景图片分类方法及其装置 - Google Patents

Abstract

本发明涉及一种基于安卓系统的风景图片分类方法及其装置，该方法包括如下步骤：获取待分类图片，提取待分类图片的全局场景特征向量，将待分类图片的全局场景特征向量输入预设在安卓系统中的风景种类识别模型，获取待分类图片的风景种类识别结果，根据待分类图片的风景种类识别结果，对待分类图片进行分类，减少用户浏览查找特定风景类别图片的时间，提高了用户体验。

Description

一种风景图片分类方法及其装置

技术领域

本发明涉及图片分类技术领域，更具体地说，涉及一种风景图片分类方法及其装置。

背景技术

随着智能手机的普及，人们已经习惯用手机拍摄日常风光并进行浏览或推送。随着使用时间的延长，图库中的图片逐步增多，目前的图库分类方式是通过元数据进行分类，即按照图片尺寸或存储时间或编码格式进行分类，因此常常会出现将不同内容的图片放入同一分类文件夹的情况，导致用户难以快速找到特定的风景图片，不利于提高了用户的使用体验。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种风景图片分类方法和一种图片分类装置。

本发明解决其技术问题所采用的技术方案是：

一方面，提供了一种基于安卓系统的风景图片分类方法，其中，包括如下步骤：

获取待分类图片；

提取待分类图片的全局场景特征向量；

将所述待分类图片的全局场景特征向量输入预设在安卓系统中的风景种类识别模型，获取待分类图片的风景种类识别结果；

根据所述待分类图片的风景种类识别结果，对待分类图片进行分类。

优选的，获取待分类图片的步骤之前，所述方法还包括：建立风景种类识别模型；

建立风景种类识别模型的步骤，包括：

建立图片数据库，所述图片数据库的图片源于网络上的Scene Eight CategoriesOutdoor数据库；

从所述图片数据库中获取建模图片；

提取建模图片的全局场景特征向量以及与建模图片关联的真实标签；所述真实标签携带有建模图片所属风景种类的信息；

根据所述建模图片的全局场景特征向量以及真实标签所携带的建模图片所属风景种类信息，建立风景种类识别模型。

优选的，建立风景种类识别模型的步骤之后，所述方法还包括：

在PC端上通过Open CV开源机器视觉库中的SVM分类器训练所述风景种类识别模型；

训练风景种类识别模型的步骤包括：

从所述图片数据库中选取训练图片，并标记训练图片；

获取训练图片的绝对路径；所述绝对路径携带有训练图片所属风景种类的信息；

采用哈希表记录训练图片的绝对路径，并将所述哈希表置于Java容器中；

提取训练图片的全局场景特征向量，将所述训练图片的全局场景特征向量输入所述风景种类识别模型，获取训练图片的风景种类识别结果；

将所述训练图片的风景种类识别结果置于所述Java容器中；

比对所述训练图片的风景种类识别结果和所述绝对路径所携带的训练图片所属风景种类信息；

根据比对结果以及预设的模型评估规则，获取所述风景种类识别模型的评估结果；所述评估结果包括识别准确率、识别效率以及泛化能力。

优选的，建立风景种类识别模型的步骤之前，所述方法还包括：

通过NDK工具集将GIST特征提取算法和FFTW算法库植入所述安卓系统；

在所述安卓系统上安装Open CV安卓支持库；

获取所述风景种类识别模型的评估结果的步骤之后，所述方法还包括：

根据评估结果，以xml标记文本输出识别准确率最高的风景种类识别模型；

提取训练图片的全局场景特征向量的步骤之前，所述方法还包括：

对训练图片进行预处理；所述预处理包括能量均衡和/或局部傅里叶变换；

提取待分类图片的全局场景特征向量的步骤之前，所述方法还包括：

对待分类图片进行预处理；所述预处理包括能量均衡和/或局部傅里叶变换。

优选的，所述待分类图片的风景种类识别结果为海边、森林、道路、城区、山区、原野、街道、高楼中的一个。

另一方面，提供了一种基于安卓系统的风景图片分类装置，基于上述的风景图片分类方法，其中，包括：

获取单元，用于获取待分类图片；

提取单元，用于提取待分类图片的全局场景特征向量；

识别单元，用于将待分类图片的全局场景特征向量输入预设在安卓系统中的风景种类识别模型，获取待分类图片的风景种类识别结果；

分类单元，用于根据待分类图片的风景种类识别结果，对待分类图片进行分类。

优选的，所述装置还包括：

建库单元，用于建立图片数据库；

所述获取单元，还用于从所述图片数据库中获取建模图片；

所述提取单元，还用于提取建模图片的全局场景特征向量以及与建模图片关联的真实标签；

所述装置还包括：

建模单元，用于根据所述建模图片的全局场景特征向量以及与建模图片关联的真实标签，建立风景种类识别模型。

优选的，所述获取单元，还用于从所述图片数据库中选取训练图片；

所述装置还包括：

标记单元，用于标记训练图片；

所述提取单元，还用于获取训练图片的绝对路径；

所述装置还包括：

记录单元，用于采用哈希表记录训练图片的绝对路径，并将所述哈希表置于Java容器中；

所述提取单元，还用于提取训练图片的全局场景特征向量；

所述识别单元，还用于将所述训练图片的全局场景特征向量输入所述风景种类识别模型，获取训练图片的风景种类识别结果；

所述记录单元，还用于将所述训练图片的风景种类识别结果置于所述Java容器中；

所述装置还包括：

评估单元，用于比对所述训练图片的风景种类识别结果和所述绝对路径所携带的训练图片所属风景种类信息，并根据比对结果以及预设的模型评估规则，获取所述风景种类识别模型的评估结果。

优选的，所述装置还包括：

植入单元，用于将GIST特征提取算法和FFTW算法库植入所述安卓系统，还用于在所述安卓系统上安装Open CV安卓支持库；

所述装置还包括：

模型输出单元，用于根据评估结果以xml标记文本输出识别准确率最高的风景种类识别模型；

所述装置还包括：

图片处理单元，用于对训练图片进行预处理，还用于对待分类图片进行预处理；预处理包括能量均衡和/或局部傅里叶变换。

优选的，所述待分类图片的风景种类识别结果为海边、森林、道路、城区、山区、原野、街道、高楼中的一个。

本发明的有益效果在于：通过获取待分类图片，提取待分类图片的全局场景特征向量，将待分类图片的全局场景特征向量输入预设在安卓系统中的风景种类识别模型，获取待分类图片的风景种类识别结果，根据待分类图片的风景种类识别结果，对待分类图片进行分类，减少用户浏览查找特定风景类别图片的时间，提高了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图及实施例对本发明作进一步说明，下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图：

图1是本发明实施例一提供的方法的实现流程图；

图2是本发明实施例二提供的方法的流程图；

图3是本发明实施例二中训练风景种类识别模型步骤的流程图；

图4是本发明实施例二提供的方法所涉及的技术栈。

图5是本发明实施例三提供的装置的结构示意图。

具体实施方式

为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

实施例一

本发明实施例提供了一种基于安卓系统的风景图片分类方法，如图1所示，包括如下步骤：

步骤S101：获取待分类图片。

本发明实施例适用于图片分类，特别适用于风景图片的分类，通过对用户的风景图片进行再次分类，减少用户浏览查找特定风景类别图片的时间，提高了用户体验。

步骤S102：提取待分类图片的全局场景特征向量。

本发明实施例中，提取全局场景特征向量可以进行图片内容的识别，与以往提取图片大小或储存时间等非内容信息相比，更有利于提高后续分类的准确率，便于用户快速查到特定的风景图片。

步骤S103：将待分类图片的全局场景特征向量输入预设在安卓系统中的风景种类识别模型，获取待分类图片的风景种类识别结果。

本发明实施例中，选用安卓系统，是基于安卓系统具有开放性，允许移动终端厂商或用户加入并进行应用开发，使用时可在当前使用的安卓系统中植入风景种类识别模型，以满足用户在风景图片识别以及分类方面的使用需求。

步骤S104：根据待分类图片的风景种类识别结果，对待分类图片进行分类。

本发明实施例中，具体的风景种类可以选用默认设置，也可以根据具体的使用需求与使用习惯进行个性化设置。

优选的，将风景种类划分为八种：海边、森林、道路、城区、山区、原野、街道、高楼。进一步优选的，可以从网络上其他图库下载图片，以扩大图片数据库的图片数量，提升图片数量的同时将风景种类再细分，具体的，可分为十五种：地质构造形迹、生物化石、山地、平原、雪景、雨景、雾景、太阳景、月景、水体、生物景观、湖泊、瀑布、植物、建筑。

进一步的，调用安卓SDK中的位图操作和表格及列表视图控件，向用户展示上述分类结果。

本发明实施例通过获取待分类图片，提取待分类图片的全局场景特征向量，将待分类图片的全局场景特征向量输入预设在安卓系统中的风景种类识别模型，获取待分类图片的风景种类识别结果，根据待分类图片的风景种类识别结果，对待分类图片进行分类，减少用户浏览查找特定风景类别图片的时间，提高了用户体验。

实施例二

本发明实施例提供了一种基于安卓系统的风景图片分类方法，包括如下步骤：

步骤S201：通过NDK工具集将GIST特征提取算法和FFTW算法库植入安卓系统，在安卓系统上安装Open CV安卓支持库。

本发明实施例中，Android NDK是一套以原生代码实现部分应用的工具集，FFTW算法库是现有的、开源的离散傅立叶变换的计算库；Open CV是现有的、基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Windows和Android操作系统上，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法，通过利用现有的数据库和算法，可以节省开发时间。

步骤S202：建立风景种类识别模型。

本发明实施例中，具体的建立步骤如下：

步骤S2020：建立图片数据库，图片数据库的图片源于网络上的SceneEightCategories Outdoor数据库。

本发明实施例中，机器学习基于统计学习，其分类(或识别)准确率依赖于训练图像的质量与数量。因此，图片数据库的图片是从网络上的Scene Eight CategoriesOutdoor数据库选出的，该Scene Eight Categories Outdoor数据库的图片是经严格认证后被标注为优质图像的，选用优质图像进行模型的训练、验证与测试，可以提高模型的准确度。其中，Scene Eight Categories Outdoor数据库具体的图像下载链接为

http://people.csail.mit.edu/torralba/code/spatialenvelope/spatial_envelope_256x256_static_8outdoorcategories.zip。

步骤S2021：从图片数据库中获取建模图片。

步骤S2022：提取建模图片的全局场景特征向量以及与建模图片关联的真实标签；真实标签携带有建模图片所属风景种类的信息。

步骤S2023：根据建模图片的全局场景特征向量以及真实标签所携带的建模图片所属风景种类信息，建立风景种类识别模型。

本发明实施例中，风景种类识别模型提供的是全局场景特征向量和图片所属风景种类的映射关系。因此建模时，需要先选取建模图片，利用建模图片的全局场景特征向量和真实标签提供标准的映射关系，以利用映射关系再进行其他图片的训练或识别。

步骤S203：在PC端上通过Open CV开源机器视觉库中的SVM分类器训练风景种类识别模型。

本发明实施例中，训练依照从易到难的原则，可分为两个阶段：第一阶段，将风景种类划分成八类：海边、森林、道路、城区、山区、原野、街道、高楼。第二阶段，从网络上其他图库下载图片，以扩大图片数据库的图片数量，提升图片数量的同时将风景种类再细分，具体的，可分为十五种：地质构造形迹、生物化石、山地、平原、雪景、雨景、雾景、太阳景、月景、水体、生物景观、湖泊、瀑布、植物、建筑。

本发明实施例中，具体的训练过程如下：

步骤S2030：从图片数据库中选取训练图片，并标记训练图片。

本发明实施例中，对训练图片进行标记有助于统计已训练过的图片，便于及时更换新的训练图片，避免一直重复训练同一批图片，有利于后期有针对性地提高模型的泛化能力。

步骤S2031：获取训练图片的绝对路径。

本发明实施例中，绝对路径记录了当前训练图片的储存位置，由此即可得到训练图片的风景种类划分情况，以绝对路径中的风景种类划分为准，后续利用风景种类识别模型进行识别后，即可将识别结果与绝对路径中的风景种类划分进行比对，若两者一致，说明该模型的识别结果与真实情况是一致的，准确率好，反之，若两者不一致，说明该模型不够准确，需要继续提高准确率。

步骤S2032：采用哈希表记录训练图片的绝对路径，并将哈希表置于Java容器中。

本发明实施例中，哈希表是根据关键码值而直接进行访问的数据结构，选用哈希表可以加快查找的速度。

步骤S2033：对训练图片进行预处理；预处理包括能量均衡和/或局部傅里叶变换。

本发明实施例中，能量均衡可以避免图片局部区域过度曝光；基于FFTW3对图片进行Gabor变换(局部傅里叶变换)，提取出图片的GIST场景特征向量(540维)，以基于特征向量构建特征矩阵。

步骤S2034：提取训练图片的全局场景特征向量，将训练图片的全局场景特征向量输入风景种类识别模型，获取训练图片的风景种类识别结果。

步骤S2035：将训练图片的风景种类识别结果置于Java容器中。

步骤S2036：比对所述训练图片的风景种类识别结果和所述绝对路径所携带的训练图片所属风景种类信息；根据比对结果以及预设的模型评估规则，获取所述风景种类识别模型的评估结果；所述评估结果包括识别准确率、识别效率以及泛化能力。

本发明实施例中，多次训练，可以得知SVM分类器选用不同核(Kernel)时识别图片的准确率，以便输出最优的识别模型。进一步地，模型评估规则如下:

识别准确率包括总样本识别准确率和新样本识别准确率；

总样本识别准确率＝成功识别的训练图片张数/训练图片总张数*100％；

新样本识别准确率＝成功识别的新训练图片张数/新训练图片总张数*100％；

总样本识别准确率低于60％时，识别效率为差；总样本识别准确率在60％-80％时，识别效率为良；总样本识别准确率高于80％时，识别效率为优；

新样本识别准确率低于60％时，泛化能力为差；新样本识别准确率在60％-80％时，泛化能力为良；新样本识别准确率高于80％时，泛化能力为优。

作为示例的，共选用100张训练图片，其中50张为旧样本，50张为新样本；识别后，旧样本的识别结果和绝对路径中的风景种类划分一致，新样本中40张的识别结果和绝对路径中的风景种类划分一致，余下10张不一致，则

总样本识别准确率＝90/100*100％＝90％，识别准确率为优；

新样本识别准确率＝40/50*100％＝80％，泛化能力为良。

步骤S204：根据评估结果，以xml标记文本输出识别准确率最高的风景种类识别模型。

本发明实施例中，以xml标记文本输出总样本识别准确率最高的风景种类识别模型。

步骤S205：获取待分类图片。

本发明实施例中，待分类图片为用户移动终端上存储的风景图片。优选的，建模图片、训练图片、待分类图片三者的数量比例为8:1:1。

本发明实施例中，对待分类图片进行预处理；预处理包括能量均衡和/或局部傅里叶变换。

步骤S206：提取待分类图片的全局场景特征向量。

步骤S207：将待分类图片的全局场景特征向量输入预设在安卓系统中的风景种类识别模型，获取待分类图片的风景种类识别结果。

步骤S208：根据待分类图片的风景种类识别结果，对待分类图片进行分类。

本发明实施例中步骤S205-步骤S208与实施例一中步骤S101-步骤S104的实施方式相同，此处不再赘述。

本发明实施例通过获取待分类图片，提取待分类图片的全局场景特征向量，将待分类图片的全局场景特征向量输入预设在安卓系统中的风景种类识别模型，获取待分类图片的风景种类识别结果，根据待分类图片的风景种类识别结果，对待分类图片进行分类，减少用户浏览查找特定风景类别图片的时间，提高了用户体验。

实施例三

本发明实施例提供了一种基于安卓系统的风景图片分类装置，如图5所示，装置包括：

植入单元301，用于将GIST特征提取算法和FFTW算法库植入安卓系统，还用于在安卓系统上安装Open CV安卓支持库；

建库单元302，用于建立图片数据库；

获取单元303，用于获取待分类图片，还用于从图片数据库中获取建模图片，还用于从图片数据库中选取训练图片；

提取单元304，用于提取建模图片的全局场景特征向量以及与建模图片关联的真实标签，还用于获取训练图片的绝对路径，还用于提取训练图片的全局场景特征向量，还用于提取待分类图片的全局场景特征向量；

建模单元305，用于根据建模图片的全局场景特征向量以及真实标签所携带的建模图片所属风景种类信息，建立风景种类识别模型；

标记单元306，用于标记训练图片；

记录单元307，用于采用哈希表记录训练图片的绝对路径，并将哈希表置于Java容器中；还用于将训练图片的风景种类识别结果置于Java容器中；

图片处理单元308，用于对训练图片进行预处理；还用于对待分类图片进行预处理；预处理包括能量均衡和/或局部傅里叶变换；

识别单元309，用于将训练图片的全局场景特征向量输入风景种类识别模型，获取训练图片的风景种类识别结果，还用于将待分类图片的全局场景特征向量输入预设在安卓系统中的风景种类识别模型，获取待分类图片的风景种类识别结果；

评估单元310，用于比对训练图片的风景种类识别结果和绝对路径所携带的训练图片所属风景种类信息；还用于根据比对结果以及预设的模型评估规则，获取所述风景种类识别模型的评估结果；

模型输出单元311，用于根据评估结果以xml标记文本输出识别准确率最高的风景种类识别模型；

分类单元312，用于根据待分类图片的风景种类识别结果，对待分类图片进行分类。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于安卓系统的风景图片分类方法，其特征在于，包括如下步骤：

建立风景种类识别模型；

建立风景种类识别模型的步骤，包括：

建立图片数据库，所述图片数据库的图片源于网络上的Scene Eight CategoriesOutdoor数据库；

从所述图片数据库中获取建模图片；

提取建模图片的全局场景特征向量以及与建模图片关联的真实标签；所述真实标签携带有建模图片所属风景种类的信息；

根据所述建模图片的全局场景特征向量以及真实标签所携带的建模图片所属风景种类信息，建立风景种类识别模型；

在PC端上通过Open CV开源机器视觉库中的SVM分类器训练所述风景种类识别模型；

训练风景种类识别模型的步骤包括：

从所述图片数据库中选取训练图片，并标记训练图片；

获取训练图片的绝对路径；所述绝对路径携带有训练图片所属风景种类的信息；

采用哈希表记录训练图片的绝对路径，并将所述哈希表置于Java容器中；

提取训练图片的全局场景特征向量，将所述训练图片的全局场景特征向量输入所述风景种类识别模型，获取训练图片的风景种类识别结果；

将所述训练图片的风景种类识别结果置于所述Java容器中；

比对所述训练图片的风景种类识别结果和所述绝对路径所携带的训练图片所属风景种类信息；

根据比对结果以及预设的模型评估规则，获取所述风景种类识别模型的评估结果；所述评估结果包括识别准确率、识别效率以及泛化能力；

获取待分类图片；

提取待分类图片的全局场景特征向量；

将所述待分类图片的全局场景特征向量输入预设在安卓系统中的风景种类识别模型，获取待分类图片的风景种类识别结果；

根据所述待分类图片的风景种类识别结果，对待分类图片进行分类。

2.根据权利要求1所述的风景图片分类方法，其特征在于，

建立风景种类识别模型的步骤之前，所述方法还包括：

通过NDK工具集将GIST特征提取算法和FFTW算法库植入所述安卓系统；

在所述安卓系统上安装Open CV安卓支持库；

获取所述风景种类识别模型的评估结果的步骤之后，所述方法还包括：

根据评估结果，以xml标记文本输出识别准确率最高的风景种类识别模型；

提取训练图片的全局场景特征向量的步骤之前，所述方法还包括：

对训练图片进行预处理；预处理包括能量均衡和/或局部傅里叶变换；

提取待分类图片的全局场景特征向量的步骤之前，所述方法还包括：

对待分类图片进行预处理；预处理包括能量均衡和/或局部傅里叶变换。

3.根据权利要求1所述的风景图片分类方法，其特征在于，所述待分类图片的风景种类识别结果为海边、森林、道路、城区、山区、原野、街道、高楼中的一个。

4.一种基于安卓系统的风景图片分类装置，基于权利要求1-3任一所述的风景图片分类方法，其特征在于，包括：

获取单元，用于获取待分类图片；

提取单元，用于提取待分类图片的全局场景特征向量；

识别单元，用于将待分类图片的全局场景特征向量输入预设在安卓系统中的风景种类识别模型，获取待分类图片的风景种类识别结果；

分类单元，用于根据待分类图片的风景种类识别结果，对待分类图片进行分类。

5.根据权利要求4所述的风景图片分类装置，其特征在于，

所述装置还包括：

建库单元，用于建立图片数据库；

所述获取单元，还用于从所述图片数据库中获取建模图片；

所述提取单元，还用于提取建模图片的全局场景特征向量以及与建模图片关联的真实标签；

所述装置还包括：

建模单元，用于根据所述建模图片的全局场景特征向量以及与建模图片关联的真实标签，建立风景种类识别模型。

6.根据权利要求5所述的风景图片分类装置，其特征在于，所述获取单元，还用于从所述图片数据库中选取训练图片；

所述装置还包括：

标记单元，用于标记训练图片；

所述提取单元，还用于获取训练图片的绝对路径；

所述装置还包括：

记录单元，用于采用哈希表记录训练图片的绝对路径，并将所述哈希表置于Java容器中；

所述提取单元，还用于提取训练图片的全局场景特征向量；

所述识别单元，还用于将所述训练图片的全局场景特征向量输入所述风景种类识别模型，获取训练图片的风景种类识别结果；

所述记录单元，还用于将所述训练图片的风景种类识别结果置于所述Java容器中；

所述装置还包括：

评估单元，用于比对所述训练图片的风景种类识别结果和所述绝对路径所携带的训练图片所属风景种类信息，并根据比对结果以及预设的模型评估规则，获取所述风景种类识别模型的评估结果。

7.根据权利要求5所述的风景图片分类装置，其特征在于，

所述装置还包括：

植入单元，用于将GIST特征提取算法和FFTW算法库植入所述安卓系统，还用于在所述安卓系统上安装Open CV安卓支持库；

所述装置还包括：

模型输出单元，用于根据评估结果以xml标记文本输出识别准确率最高的风景种类识别模型；

所述装置还包括：

图片处理单元，用于对训练图片进行预处理，还用于对待分类图片进行预处理；预处理包括能量均衡和/或局部傅里叶变换。

8.根据权利要求4所述的风景图片分类装置，其特征在于，所述待分类图片的风景种类识别结果为海边、森林、道路、城区、山区、原野、街道、高楼中的一个。

Images