CN107392238B - 基于移动视觉搜索的户外植物知识拓展学习系统 - Google Patents

Abstract

本发明提供一种基于移动视觉搜索的户外植物知识拓展学习系统，包括移动终端和服务器端，所述移动终端包括移动终端图片获取模块和知识资源加载模块，所述服务器端包括户外植物知识内容管理数据库模块、户外植物特征提取与匹配模块，和户外植物知识内容适配决策与处理模块。通过移动终端图片获取模块拍摄用户感兴趣的户外植物，并进行图像预处理特征提取然后上传至服务器端，服务器端通过构建特征索引和相似性度量等方法实现待查询图像的匹配，同时对植物知识内容资源采取相应的适配操作并发送给移动终端。本发明提供一种实时的户外植物现场视觉搜索技术方案，为户外植物知识的拓展学习提供一种全新的技术手段，具备重要的市场价值。

Description

基于移动视觉搜索的户外植物知识拓展学习系统

技术领域

本发明属于计算机移动视觉搜索领域，具体涉及基于移动视觉搜索的户外植物知识拓展学习系统。

背景技术

户外学习是以大自然为背景，让人们回到大自然中，对自然进行各种趣味性的探索实践来提高和巩固自身知识的一种趣味性、挑战性的创新学习活动。进入二十一世纪，随着教育信息化及课程的不断深化，社会对人才的需求越来越向着综合型、创新应用型发展，传统的单一课堂教学模式已经不能满足学习者的需求，户外学习以其方式的新颖性、知识的实用性、过程的趣味性等特点受到学习者的极大欢迎。

伴随移动网络及其相关行业的迅速兴起，使得移动设备在性能、技术上突飞猛进，移动视觉搜索技术作为一种全新的信息获取方式，已成为信息检索领域的热点。移动视觉搜索技术是以移动终端设备捕捉到的真实世界中的图片作为待查询的对象，通过移动网络借助移动设备查询所需要的对象的信息内容的新型搜索方式。通过移动智能终端设备与视觉搜索技术的有效结合，人们可以方便迅速地获取真实情景中的视觉对象，通过移动网络获得感兴趣的关联内容。移动视觉搜索技术成为一种新的获取信息的手段，很大程度上弥补了传统的信息检索方式的不足。移动视觉搜索技术的快速发展为户外学习的开展提供了技术支持，有效的促进了户外学习活动的扩展。

植物作为生命的主要形态之一，具有极高的药用价值、观赏价值、文化价值等，通过对植物的学习可以判断气候的变化、地理环境等的改变，及时做好预防工作等。因此，对植物的研究具有巨大的研究价值。传统的植物识别主要通过人工采样和对比，需要耗费大量的人力和物力，效率低下，且无法在艰苦环境作业，难以大面积实施。而且，目前基于植物特征识别的方法也仍然停留在使用手动查阅书籍、计算机图像识别以及大数据库分类识别等方面，因此，迫切需要一种简单便捷的植物识别方式。

发明内容

鉴于现阶段户外植物知识学习过程中存在的耗时、枯燥乏味等问题，结合移动视觉搜索技术的技术特点和优势，本发明将移动视觉搜索技术应用于户外植物知识扩展学习支持信息服务中，提出一种新型的户外植物知识学习方式。研究基于移动视觉搜索的户外植物扩展知识推送与服务关键技术，开发户外植物知识拓展学习系统。

本发明技术方案提供一种基于移动视觉搜索的户外植物知识拓展学习系统，包括移动终端和服务器端，

所述移动终端包括移动终端图片获取模块和知识资源加载模块，

移动终端图片获取模块，用于将通过移动终端拍摄的植物图片作为待查询的植物图像，对待查询的植物图像进行预处理和提取特征，上传到服务器端；

知识资源加载模块，用于接收服务器端返回的结果，加载该植物图像的知识资源以及相关的拓展学习资源；

所述服务器端包括户外植物知识内容管理数据库模块、户外植物特征提取与匹配模块，和户外植物知识内容适配决策与处理模块，

户外植物知识内容管理数据库模块，用于提供植物图像库、植物特征描述库和知识资源库，植物图像库用于存储植物图片，植物特征描述库用于存储对植物图像库中各植物图片提取特征并进行降维所得相应索引，知识资源库用于存储植物图像中各植物图片相应的知识资源；

户外植物特征提取与匹配模块，用于待查询的植物图像与植物图像库所存储的植物图片进行匹配，包括对待查询的植物图像的特征进行降维得到索引，在植物特征描述库中进行检索，包括基于图像的索引进行相似度计算，实现比较图像的特征相似程度，完成图像之间的匹配；

所述户外植物知识内容适配决策与处理模块，用于根据匹配结果从知识资源库调用植物的知识资源，采取相应的适配处理并发送给移动终端。

而且，移动终端图片获取模块对待查询的植物图像进行预处理，包括进行灰度化和二值化。

而且，对待查询的植物图像提取特征，以及对植物图像库中各植物图片提取特征，包括采用SIFT算法提取特征。

而且，对待查询的植物图像的特征进行降维，以及对植物图像库中各植物图片的特征进行降维，包括对图像采用SIFT算法提取特征所得所有特征点用K‐means做聚类，生成初始化的类心，将初始化的类心与图像的所有特征点进行度量生成每幅图像的BOW，用TF‐IDF加权法来赋予权重，然后得到这个图片的最终BOW索引。

而且，基于图像的索引进行相似度计算，包括采用欧氏距离计量索引之间的距离。

而且，所述知识资源包括植物相关的文本、图片、音频、视频和网页链接。

而且，移动终端与服务器端之间发送和接收数据采用的是HTTP协议，移动终端向服务器端发送数据时是以MultiplePartEntity格式通过HTTP POST请求的，服务器将所收到的信息进行分析处理后封装成JSON格式，再通过HTTP协议返回到移动终端；移动终端接收服务器端返回的信息是通过HTTP GET以JSON格式接收的，并且在接收信息后将接收的JSON格式的信息做解析后显示到用户界面上。

而且，为植物图像库所存储的植物图片预设id，该id号与图像生成的特征值及由特征值建立的索引是一一对应的关系，且和知识资源库中相应的知识资源信息也建立关联；在植物特征描述库中基于索引检索成功后，根据匹配所得图像的id号将相关联的知识资源信息返回给移动端。

而且，根据匹配所得图像的id号将知识资源库中相关联的知识资源信息，以及与该id号关联的其他植物的知识资源信息作为拓展学习资源返回给移动客户端。

而且，移动终端采用手机客户端或平板客户端。

本发明提供一种实时的户外植物现场视觉搜索技术方案，缩减了传统方法学习认识户外植物的时间，增加了户外植物知识学习的趣味性。通过该系统学习者可以将户外植物图片与远端的植物学习知识库中的图片进行匹配，实时获取与该植物图片相关的各类学习资源。并且针对移动终端提供采用适配技术，各类学习资源可以适应不同分辨率的移动终端。学习者可以通过与所处环境或学习场景的交互体验，将课堂所学的关于植物的理论知识与生活实际相结合，使学习者的学习兴趣、效率、知识面以及动手实践能力得到全面地拓展。

本发明可直接应用于户外植物的知识学习中，移动终端设备性能要求较低，市场大部分移动终端设备均适用。本发明解决了传统植物知识学习繁杂、枯燥、及时性不强等问题，为户外植物知识的拓展学习提供一种全新的技术手段，是推动教育教学改革实现素质教育的一条重要途径，具有重要的实用价值和广阔的应用前景，具备重要的市场价值。

附图说明

图1是本发明实施例的系统工作流程图。

图2是本发明实施例的系统功能结构图。

图3是本发明实施例的移动客户端框架图。

图4是本发明实施例的SIFT算法流程图。

图5是本发明实施例的服务器端框架图。

图6是本发明实施例的知识资源库结构图。

图7是本发明实施例的索引构建流程图。

图8是本发明实施例的改进后的K-means算法图。

具体实施方式

以下结合附图和实施案例详细说明本发明技术方案。

鉴于移动视觉搜索技术的技术特点和优势，本发明首次提出利用移动视觉搜索技术进行户外植物的实时辨识与检索，在此基础上，户外学习者可以将感兴趣的植物在远端的学习知识库进行搜索和匹配，实时获取与该植物相关的各类学习资源，通过这种方式学习者可以将课堂所学的理论知识与生活实际相结合，极大地提高学习效率、学习兴趣和实践能力，知识面将获得极大地扩展。例如：当学习者在户外看到一株植物，可以拿出随身携带的智能手机或者其他的智能终端设备拍下这株植物，然后通过移动视觉搜索引擎上传到移动互联网上，搜索引擎可以反馈给学习者关于这株植物的各种知识，包括名称、所属科类以及功用、特性等，从而将其在生物课堂上的所学知识进行巩固和拓展。

本发明着重针对基于移动视觉搜索的户外植物知识扩展学习系统做出了研究与设计，主要做了以下几方面的工作：

1)将移动视觉搜索技术应用于户外植物知识的扩展学习当中，克服了传统户外植物知识学习中枯燥乏味、耗时、方式单一、资源匮乏等问题。

2)采用特征索引建立的方法。本发明在使用SIFT方法对植物图片进行特征提取之后，引入改进后的BOW算法将SIFT提取的特征描述子转换成一组“视觉单词”的索引来表示，在进行匹配时只需要计算图像之间的索引即可，大大提高了系统的检索效率。

3)采用适配技术，针对不同屏幕分辨率设置不同res文件，通过该方法使各类知识资源灵活适应各种分辨率的移动终端。有利于提升用户的体验感。

4)在移动终端完成植物图像的即时拍摄、预处理、图像特征提取及上传等功能，并根据用户上传的图片实时获取该植物相关的概要信息和详细信息。方便学习者在户外对植物进行实时学习。

随着移动信息时代地到来，出现了手机、平板这类移动终端设备，应用这些终端设备进行上网学习的人数日益增多。在这些移动设备中占据分量最大的是智能手机，而且移动网络的速度也在不断地提高，使得智能手机在性能上有了大幅度地提高，因此本发明的实施例的移动终端就选择在Android智能手机上进行，系统是基于C/S架构的，实现了移动客户端和远端服务器间的相互通信。

本发明实施例需要在服务器端，优选移动运营商的服务器上(例如电信服务器端)建立基于移动视觉搜索的户外植物知识拓展学习系统的服务器端。本发明实施例具体的工作流程图如图1所示。发明的整个工作是从移动终端开始的，学习者打开移动终端，启动手机摄像功能拍摄一张待查询的植物图像，加载到系统的客户端。系统的客户端对加载的待查询植物图像进行简单的预处理特征提取之后上传到系统的服务器端，服务器端对待查询图像建立相应的特征索引，之后系统会对此索引同系统特征描述库中存储的索引做相似性计算。匹配完成之后系统根据匹配成功的图像的id号返回给移动终端相应图像及其对应的知识资源，完成相关知识的检索。另外，系统在进行匹配时是对图片之间的索引进行相似度计算，在最终传递给客户端信息时，不仅会返回相应的查找结果，而且系统会按照相似性度量时距离的大小推送给客户端相关联的知识资源，达到知识拓展学习的目的。

本发明在基于移动视觉搜索的基础上，让用户能够在户外真实的场景中获取场景中相关的植物的信息资源及其相关知识的拓展学习。本发明实施例功能结构图如图2所示：发明整体上分为两部分，移动终端部分和后台服务器端部分，移动终端部分主要包括图像拍摄、图像预处理、特征提取和特征上传等处理，服务器端主要包括特征索引建立、相似性度量和知识资源库三大关键部分。移动终端主要负责加载待检索的植物图像以及对植物图像进行预处理特征提取，服务器端主要负责对植物图像建立特征索引以及图像匹配等操作，最后将检索的结果返回给移动终端并推送相关的知识资源。因为移动终端本身的硬件以及存储等特性的限制，再加上拍摄的图像的大小不一、图像背景杂乱易干扰待检测主体等问题，需要在上传图像前就对图像进行预处理操作，系统选择在移动终端上进行简单的图像预处理、特征提取和特征上传操作；诸如建立索引、匹配等复杂操作在服务器端进行。经过预处理后的图像大小统一、减少了背景和噪声等的影响，更加有利于特征的提取及匹配等操作。服务器端负责对客户端上传的图像特征进行匹配操作，这样不仅能减轻移动终端的负担，还可以提高系统的检索效率。

本发明实施例主要包括数据通信、图片预处理、提取图片特征、索引构建、相似度计算以及知识推送等方面内容。在数据通信方面，移动终端与服务器端之间发送和接收数据采用的是HTTP(HyperText Transfer Protocol)协议，移动终端向服务器端发送数据时是以MultiplePartEntity格式通过HTTP POST请求的；服务器将所收到的信息进行分析处理后封装成JSON(JavaScript Object Notation)格式，再通过HTTP协议返回到移动终端；同理，移动终端接收服务器端返回的信息是通过HTTP GET以JSON格式接收的，并且在接收信息后将接收的JSON格式的信息做一个解析后显示到移动终端的用户界面UI(UserInterface)上。Android平台引入HttpClient的同时还提供了对它的一些封装和扩展，例如设置缺省的HTTP超时和缓存大小等，使其更适合在Android平台上开发互联网应用。图片预处理部分负责对用户上传的植物图片进行分割、降噪、剔除杂乱物体等操作，增强了植物图片的纯净度，缩小了特征提取的计算量。经过处理后的植物图片需要进行特征提取，特征提取这部分是系统的核心部分，获得的图片特征的区分度直接决定了同特征描述库中的图片的匹配效果，直接关系到最后返回的查询结果。实施例中，系统选用的是现有的具有良好尺度性和稳定性的SIFT特征提取算法，但是经过这种方法提取得到的是128维的高维度向量，特征向量维度较高，每幅植物图片都要进行很大的计算量，会大大地降低查询的整体速率。因此，本发明在传统特征提取基础上采用特征索引建立技术将提取的植物图片描述向量做进一步地降低维度操作，将高维度的向量转化为低维度的索引。系统的植物图片特征描述库里面存储了系统所有植物图片的特征值及其索引，对植物图片做匹配时直接将待查询植物图片建立的索引同植物图片特征描述库里存储的索引进行相似性计算，把最终的信息数据由服务器端发送到客户端。

具体实施时，可采用软件模块化方式实现本发明技术方案。

实施例中各模块的具体实现如下：

1、移动终端图片获取模块和知识资源加载模块，手机客户端首先拍摄一张自己感兴趣的植物图片保存到SD卡，然后对拍摄的图像进行灰度化、二值化处理，将处理后的图像进行SIFT特征提取后通过HTTP协议上传至植物知识拓展学习系统服务器端。移动终端接收服务器端返回的查询结果，加载该植物图像的文本、图片、音频、视频以及相关网址链接等拓展资源，并将其适配显示到移动终端的用户界面上。系统移动终端框架图如图3所示，具体移动终端图片获取模块可包括图像预处理模块、特征提取模块，除移动终端图片获取模块、知识资源加载模块以外，还可设置交互界面模块方便用户操作。

实施例中，所述移动终端图片获取模块和知识资源加载模块，用于将手机客户端拍摄的植物图片先保存到手机客户端指定的SD(Secure Digital Memory Card)卡目录，然后对所拍摄的图像进行灰度化、二值化、特征提取等处理，以便上传到服务器端后能够对图像进行更好地匹配操作；客户端将待查询的植物图像特征提取上传至服务器后，接收服务器返回的结果，加载该植物图像的知识资源以及系统推送的相关的拓展学习资源。

其中，

图像预处理模块：由于拍摄的植物图片中可能含有较多的杂物导致植物主体不够突出，或者由于户外天气、光线等外部条件的限制导致拍摄的图片较暗淡、图片存在较大的噪声等问题，因此把该植物图片上传到服务器端做相关的查找之前先要对这个图片做预处理操作。系统对图片进行的预处理操作有分割、灰度化、二值化、滤波等，在进行这些操作之后的图片减少了噪声、杂物等的影响，对下一步的图片特征提取有较大帮助。

特征提取模块：SIFT特征提取方法在尺度性、旋转性等方面具有很高的鲁棒性，所以本发明选用现有的这种方法作为图像特征获取方法。SIFT特征提取方法的操作流程如图4所示：

1)检测图像尺度空间的极值点：检测极值点是为了将在尺度空间和二维空间都为极值点的特征点找出来，以便能够初步确定特征点所在的尺度和位置。

2)确定特征点所在的位置：对于初步确定的点，还不够稳健，因此要将对比度低和不够稳健的特征点去除掉，来增强匹配的抗噪性和稳健性。

3)确定特征点的主方向：特征点的旋转变换会产生不一致性，为了消除这种不一致性使其能够变得更稳定，可以为每个特征点分配方向参数，以便得到特征点的主方向。

4)生成特征关键点描述子：为了能够得到稳定的特征向量，需要综合考虑邻域梯度信息以便得到的关键点描述子能够对图片产生的不同变化有良好的适应性。

知识资源加载模块：通过移动手机客户端可以浏览服务器返回的知识资源，知识资源设计成两种信息展示方式，一种是植物概要信息展示，一种是植物详细信息的展示。植物概要信息的展示主要是向用户展示该植物的名称、科属等一些简单的信息介绍；植物详细信息则是对该植物的一个比较全面、详细的介绍，包括该植物的产地、生长周期、习性等信息。资源加载模块除了要加载服务器返回的查询结果，还要能够加载后台服务器推送的相似图片的相关的知识信息，这样不仅使学习者能够得到查询植物的信息资源，同时又能够学习到相关植物的拓展知识，例如查询植物同科属的其他相关植物的介绍。

交互界面模块：主要包含图片上传、信息检索、个人用户等子模块。用户可以使用图片上传子模块，即时上传拍摄的植物图片；通过信息检索子模块检索上传的植物图片的相关信息；个人用户模块主要实现用户的系统注册登陆功能。

2、户外植物知识内容管理数据库模块，用于提供植物图像库、植物特征描述库和知识资源库，具体实施时可支持通过服务器端数据库管理来完成相关植物知识资源内容的添加、删除等更新操作；户外植物知识内容管理数据库模块管理的数据库(包括植物图像库、植物特征描述库和知识资源库)可简称户外植物知识内容管理数据库。

植物图像库用于存储植物图片，植物特征描述库用于存储植物图像库中各植物图片的相应索引，即对植物图片提取特征并进行降维所得相应索引，知识资源库用于存储植物图像中各植物图片相应的知识资源。

实施例中，系统的户外植物知识内容管理数据库如图6所示：系统的植物图像库就是存储在服务器端的大量植物图片的集合库，主要用于与待查询的植物图片进行特征检索和匹配。系统的植物特征描述库就是针对系统植物图像库中的图片使用不同的特征检测方法提取得到的所有图片的特征描述符。系统的知识资源库主要是存储与植物相关的基本信息及可拓展的知识资源，

所述户外植物知识内容管理数据库模块，主要是通过建立数据库来存储用来检索的图像库、图像生成的特征值以及由特征值所建立的索引，同时数据库的数据需要及时维护、更新，以完成各个模块的信息交互。户外植物知识内容管理数据库模块主要存储的数据包括图像数据、图像特征数据和其它数据、知识资源。

(1)图像数据。图像库部分主要负责存储相关的植物图片资源，存储在植物图像库中。由于户外植物种类繁多、品种复杂、不宜区分等特性，在建立图像数据库时将图像按照不同的科、目等属性进行归档，形成不同的图库如菊科类图库、蔷薇科类图库、芍药科类图库等。常用的存储图片资源的方法有：将所有的图片资源全部存放在服务器端的数据库里面，另外一种选择仍然将图片资源放置在本地文件存储里面。将图像全部存储在数据库中虽然方便了系统对图像的管理，但是会对系统的运行速度造成很大的负担，第二种方法将可以通过读取图像的路径来管理图像，减少了系统服务器端的负荷。

(2)图像特征数据。主要是指能够描述一幅图片特征的信息，对存储的植物图片进行特征提取，将提取的特征建立索引并存储在图片的特征描述库中。具体实施时，对植物图像库中存储的植物图片进行特征提取和建立索引的实现方式，应当与待查询的植物图像进行特征提取和建立索引的实现方式一致。在输入待检索植物图片来检索时，只需将待检索的图片所建立的索引跟特征描述库中存储的图片索引做相似性度量即可。可以设置，在向图像库里添加或者删除图像时，系统会自发地更新图像库里存储的图像，然后再用特征提取算法对整个图片库中的图片全部再提取特征，然后重新加入到植物特征描述库中。

(3)其它数据。主要指与获取图片特征无关的一些图片相关信息，如图片大小、图片缩略图、图片的存储位置等，这些相关信息也储存在植物特征描述库里面。

(4)知识资源。

本系统将相关的知识资源分为五类，分别是：文本类、图片类、音频类、视频类以及相关的网址链接等。

文本资源主要是对植物的科、目等种类属性的一个简单的描述，用户在获得相关的查询结果后可以知道此植物的名称、种类、科属等基本信息。这是对植物简单描述的概要信息，在知识资源加载模块提到了查询结果的返回信息分为植物的概要信息和植物的详细信息两块，所以在文本资源中还可以加入对植物的详细信息的描述，如该植物的常用别称、花期、产地、习性等信息。对于返回的图片资源则是关于该植物各个生长周期的不同形态的图片，如发芽时期、开花时期等，通过该图片资源学习者可以对该植物不同的生长时期有一个更加全面的了解，对学习者关于该植物相关知识的扩展有很大的帮助。对于资源知识库中的音频资源，是一些关于该植物的相关内容的音频介绍。视频资源是关于该植物的生长的影像记录，这样通过该视频资源学习者可以更加直观、形象和全面地了解该植物的相关信息。对于图像的相关网址，本发明可以链接到该植物的百度百科、视频网站等地址，方便学习者对该植物知识的拓展学习。

3、服务器端图像搜索与结果推送模块。用于将待检索植物图片与所存储的植物图片进行匹配。该过程主要是对移动终端使用SIFT(Scale-invariant feature transform)方法获取的高维特征向量进行降维操作，使用经过改进的“词袋”BOW(Bag of words)模型建立该图像的特征索引，缩短图像检索的时间，最后通过LIRE(Lucene Image Retrieval)的ImageSearcher类进行检索。本发明利用现有的欧式距离计算方法对图像的索引值进行相似度计算，以此来比较图像的特征相似程度，完成图像之间的匹配。

具体实施时，该模块可包括特征索引建立、相似性计算、知识资源推送等子模块，用于实现上传的植物图像特征的搜索、匹配、相关结果推送等功能，主要在服务器端实现。系统服务器端的框架图如图5所示。移动终端将待查询的植物图像经过预处理特征提取上传至服务器端后，接收服务器端返回的结果，加载该植物图像的知识资源以及系统推送的相关的拓展学习资源。服务器端子系统通过图像搜索与匹配模块将上载的图片特征建立索引，然后把该索引同系统特征描述库里的索引进行相似性计算。本发明在图像库的设计中给每幅图像分配了一个唯一标识的id号，该id号与图像生成的特征值及由特征值建立的索引是一一对应的关系，且和知识资源库中相应的知识资源信息也建立了关联。因此，当对用户输入的待查询植物图像特征与特征库中的图像进行匹配成功之后，可以根据匹配所得图像事先设置好的id号将知识资源库中与其相关联的知识资源信息返回给移动客户端。服务器端给客户端推送的知识资源包含文本资源、图片资源、音频资源、视频资源和网址资源等内容。进一步地，相关植物的图像之间可以通过id号建立关联，例如将某种植物和同科属的其他植物关联。当对用户输入的待查询植物图像特征与特征库中的图像进行匹配成功之后，可以根据匹配所得图像的id号将知识资源库中相关联的知识资源信息，以及与该id号关联的其他植物的知识资源信息作为拓展学习资源返回给移动客户端。

特征索引建立模块：因采用SIFT算法提取的图像特征维度较高、数据量较大，举例说明，我们用SIFT方法对一张图片进行特征点提取，假设总共得到了50个可用点，每个特征点由128维的向量构成，那么整幅图像就由50*128的矩阵表示。在进行检索的时候如此大的数据量必将拖慢整体的检索速度，所以本发明先对其建立索引。传统BOW方法主要采用K-means方法对SIFT算法生成的视觉单词进行聚类，因K-means算法存在簇K,类心选择等不确定性问题，为克服以上问题，本发明采用经过改进的“词袋”BOW模型来提高系统的查询性能，包括对图像采用SIFT算法提取特征所得所有特征点用K‐means做聚类，生成初始化的类心，将初始化的类心与图像的所有特征点进行度量生成每幅图像的BOW，用TF‐IDF加权法来赋予权重，然后得到这个图片的最终BOW索引，具体的流程图如图7所示：

1)首先，对图片用SIFT方法做特征点的检测和提取，完成之后得到该图片的特征描述符。

2)然后对图像提取到的特征点用改进后的K-means算法做一个聚类，生成初始化类心。改进后的K-means算法的主要步骤如图8所示：

步骤一：提取图片的特征，得到图片特征点之后，采用ISODATA(Iterative SelfOrganizing Data Analysis Techniques Algorithm,迭代自组织数据分析)算法，该算法通过类的自动合并和分裂，得到较为合理的类型数目簇K,克服了传统K-means算法中人为设置K的不确定性。

步骤二：采用K-means++算法，该算法是解决K-means算法需要人为地确定初始聚类中心问题的一种算法，为每个簇初始化选择一个类心(即随机种子点)，有效解决初始种子点的选择问题，克服了类心选择的不确定性、不准确性等问题。

步骤三：将图像生成的所有特征点与初始化设定的类心进行距离度量，按照距离的大小，将与类心之间距离较小的特征点放入该类心所在的簇中。

步骤四：将划分好的簇再重新计算一次类心。

步骤五：对初步得到的聚类结果采用均方差等方法做一个评估，若这个结果波动较小己经趋向稳定状态就停止聚类，将所得结果输出；若是得到的结果波动较大则继续上面的步骤三，重新进行聚类，直到所得结果趋向稳定为止。

3)生成每幅图像的BOW，具体方法为：将初始化的类心与图像的所有特征点进行度量，计算出特征点与哪个初始类心的距离最小，最小的话就放入这个类心，全部特征点判断完之后会生成一列频数表，但是这个生成的频数表是没有权重的。

4)对上面初步得到的没有权重的频数表，用现有的TF-IDF(term frequency–inverse document frequency)加权法来赋予权重，然后得到这个图片的最终BOW索引。

图像相似性计算模块：对于图像特征建立的索引，在进行相似性度量时，本发明选择现有的欧氏距离这种度量方法来计量图像特征索引之间的距离，根据所得距离的大小排列返回结果图像。当计算出来两幅图像之间的距离较小时，说明两幅图像比较相似，距离较大则说明图像之间的差距较明显。发明根据设置的返回查询结果图像的数目，返回相似性度量后按照度量距离大小排列的结果。

4、户外植物知识内容适配决策与处理模块，用于调用户外植物知识内容管理模块的数据库中所存储的植物知识资源(可包括根据输入的待查询植物图像匹配所得图像相关联的知识资源信息，以及关联的其他植物的知识资源信息)，结合手机客户端获取模块使客户端获取服务器端推送的JSON(JavaScript Object Notation)数据，对户外植物知识内容管理数据库模块存放的植物知识资源采取相应的适配操作并发送给移动终端。

具体实施时可以预先收集客户端的屏幕大小、分辨率大小等信息，用户可以在客户端预先进行相关设置，在服务器端根据手机客户端的屏幕大小、分辨率大小以及所支持的视频、图片格式对植物知识拓展资源内容进行适配，并将适配后的结果从服务器端推送，显示到客户端的屏幕上。

具体实施时，本发明所提供系统可采用软件方式实现并自动运行处理。典型的使用方式为，通过移动终端图片获取模块拍摄用户感兴趣的户外植物，并将用户所拍摄的图片在移动客户端进行图像预处理特征提取然后上传至服务器端，服务器端通过构建特征索引和相似性度量等方法实现待查询图像与系统库图像的匹配，同时依据客户端的相关设置，对户外植物知识内容管理数据库模块存放的植物知识内容资源采取相应的适配操作，将适配后的相应数目的匹配结果发送给移动终端。

本发明深入研究了基于移动视觉搜索的户外植物知识拓展学习系统。实现了服务器端和移动客户端的开发，并且实现了植物知识资源库存储以及加载等功能；实现了植物图片拍摄、上传、检索及相关知识的推送等功能。通过对本发明实施例技术方案进行实验，证明该发明能够实现户外植物的实时检索，极大的便利了用户的学习。并且在试验速度和准确度上都能够满足实时检索的需求。本发明为户外植物知识的学习提供了一种新的思路和方法，增添了户外植物知识学习的趣味性，使学习更便捷高效。

Claims (7)

1.一种基于移动视觉搜索的户外植物知识拓展学习系统，其特征在于：包括移动终端和服务器端，

所述移动终端包括移动终端图像获取模块和知识资源加载模块，

移动终端图像获取模块，用于将通过移动终端拍摄的植物图像作为待查询的植物图像，对待查询的植物图像进行预处理和提取特征，上传到服务器端；所述对待查询的植物图像进行预处理，包括进行灰度化和二值化，实现增强植物图像的纯净度，缩小特征提取的计算量；所述提取特征，包括采用SIFT算法提取特征；

知识资源加载模块，用于接收服务器端返回的结果，加载该植物图像的知识资源以及相关的拓展学习资源；

所述服务器端包括户外植物知识内容管理数据库模块、户外植物特征提取与匹配模块，和户外植物知识内容适配决策与处理模块，

户外植物知识内容管理数据库模块，用于提供植物图像库、植物特征描述库和知识资源库，植物图像库用于存储植物图像，植物特征描述库用于存储对植物图像库中各植物图像提取特征并进行降维所得相应索引，知识资源库用于存储植物图像库中各植物图像相应的知识资源；所述对植物图像库中各植物图像提取特征并进行降维，实现方式包括以下步骤，

1)首先，对图像用SIFT方法做特征点的检测和提取，完成之后得到该图像的特征描述符；

2)然后对图像提取到的特征点用改进后的K-means算法做一个聚类，生成初始化类心，实现如下，

步骤一，提取图像的特征，得到图像特征点之后，采用ISODATA算法，通过类的自动合并和分裂，得到类型数目簇K；

步骤二，采用K-means++算法，为每个簇初始化选择一个类心；

步骤三，将图像生成的所有特征点与初始化设定的类心进行距离度量，按照距离的大小，将与类心之间距离较小的特征点放入该类心所在的簇中；

步骤四，将划分好的簇再重新计算一次类心；

步骤五，对初步得到的聚类结果采用均方差方法做评估，若这个结果波动较小己经趋向稳定状态就停止聚类，将所得结果输出；若是得到的结果波动较大则继续步骤三，重新进行聚类，直到所得结果趋向稳定为止；

3)生成每幅图像的BOW，包括将初始化的类心与图像的所有特征点进行度量，计算出特征点与哪个初始类心的距离最小，最小的话就放入相应初始类心，全部特征点判断完之后生成没有权重的频数表；

4)对3)所得没有权重的频数表，用TF-IDF加权法赋予权重，得到这个图像的最终BOW索引；

户外植物特征提取与匹配模块，用于待查询的植物图像与植物图像库所存储的植物图像进行匹配，包括对待查询的植物图像的特征进行降维得到索引，在植物特征描述库中进行检索，包括基于图像的索引进行相似度计算，实现比较图像的特征相似程度，完成图像之间的匹配；

所述户外植物知识内容适配决策与处理模块，用于根据匹配结果从知识资源库调用植物的知识资源，采取相应的适配处理并发送给移动终端。

2.根据权利要求1所述基于移动视觉搜索的户外植物知识拓展学习系统，其特征在于：基于图像的索引进行相似度计算，包括采用欧氏距离计量索引之间的距离。

3.根据权利要求1或2所述基于移动视觉搜索的户外植物知识拓展学习系统，其特征在于：所述知识资源包括植物相关的文本、图像、音频、视频和网页链接。

4.根据权利要求1或2所述基于移动视觉搜索的户外植物知识拓展学习系统，其特征在于：移动终端与服务器端之间发送和接收数据采用的是HTTP协议，移动终端向服务器端发送数据时是以MultiplePartEntity格式通过HTTP POST请求的，服务器将所收到的信息进行分析处理后封装成JSON格式，再通过HTTP协议返回到移动终端；移动终端接收服务器端返回的信息是通过HTTP GET以JSON格式接收的，并且在接收信息后将接收的JSON格式的信息做解析后显示到用户界面上。

5.根据权利要求1或2所述基于移动视觉搜索的户外植物知识拓展学习系统，其特征在于：为植物图像库所存储的植物图像预设id号，该id号与图像生成的特征值及由特征值建立的索引是一一对应的关系，且和知识资源库中相应的知识资源信息也建立关联；在植物特征描述库中基于索引检索成功后，根据匹配所得图像的id号将相关联的知识资源信息返回给移动端。

6.根据权利要求5所述基于移动视觉搜索的户外植物知识拓展学习系统，其特征在于：根据匹配所得图像的id号将知识资源库中相关联的知识资源信息，以及与该id号关联的其他植物的知识资源信息作为拓展学习资源返回给移动客户端。

7.根据权利要求1或2所述基于移动视觉搜索的户外植物知识拓展学习系统，其特征在于：移动终端采用手机客户端或平板客户端。

Images