CN106203490A - 一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法 - Google Patents

Abstract

本发明公开一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法，识别环节：通过安卓手机获取图像并提取特征，将特征发送至服务器，服务器识别后反馈出图像属性，同时将该图片的属性组合对应的类别反馈给用户，并由用户确认与否，来决定是否将该待识别图像加入到相应属性的训练图像库中，用以提升该系统的识别性能；检索环节：用户在手机描述了所要检索图像的属性列表后，系统将图像库中具有该属性组合的类别所对应的图像以排序方式呈现给用户，由用户在其中选择，根据用户的选择，调整属性分类器参数。系统通过属性媒介将图像底层特征与用户语义表达沟通起来，对通过语义描述检索相关图像具有较好的应用效果，同时具有较高的鲁棒性。

Description

一种安卓平台下基于属性学习和交互反馈的图像在线识别、 检索方法

技术领域

本发明涉及模式识别技术领域，具体涉及基于属性学习的图像识别方法。

背景技术

图像识别是模式识别的一个重要应用，图像处理与识别技术始于20世纪中叶。1964年美国喷射推进实验室(JPL)使用计算机对太空船送回的大批月球照片处理后得到了清晰逼真的图像，这是图像处理技术发展的重要里程碑，推动了这门学科的诞生。

当前智能手机设备仍受到一些硬件上的限制，如处理速率较低、运行内存较小、系统空间有限、待机时间较短等等，而常见的图像识别技术往往需要很大的运算量以及存储空间，对运行的硬件平台具有较高的要求，因此利用移动智能设备进行图像识别处理仍然存在一定的困难。但是，随着手机照相分辨率不断提升，带有摄像头的智能手机价格不断降低，通过智能手机获取图片也成为一项主流的低成本图像采集技术，逐渐得到了广泛应用。

传统的图像识别方法有自适应增强(Adaboost)和支持向量机(SVM)方法，它们在图像识别上都取得了不错的结果。然而，为了达到良好的分类精度，这些系统需要很多人工标注的训练数据，对于每一类需要训练学习的对象通常有数百或数千的示例图像。据估计，人类能区分至少30000个相关对象类。为所有这些目标类训练常规的分类器可能需要数以亿计的标注过的图像，这是一个几乎不可能完成的目标。因此，许多减少训练图像数量的方法被开发出来，但是所有这些学习方法仍然需要一些标记过的训练实例来检测可能的测试样例。

最近的研究工作提出了使用图像固有属性进行分类的方法。属性是指可以由人指定名称并且能在图像中观察到的特性(例如，“条纹”，“喇叭状”)。它们都是有价值的新的语义线索。研究人员已经显示了它们在面部验证、目标识别、对陌生对象描述，还有促进‘零训练样本’迁移学习方面的作用。一个对象除了它的类别之外，还有许多其他的特性。例如，一双鞋子是黑色的，一件衬衫是带条纹的，盘子是圆的，这些视觉属性对认识对象的外观和把该对象描述给其他人是非常重要的。此外，不同的对象类别往往有共同的属性，将它们模块化后会明确地允许部分学习任务之间共享关联到的属性，或者允许以前学习到关于属性的知识迁移到一个新的类别上面，这会减少训练需要的图像数目并提高鲁棒性。并且属性作为级联分类器的中间层，它们使得我们能够检测那些没有训练样本的对象类别。

发明内容

本发明的目的在于克服以往基于底层特征的图像识别方法缺陷，提出一种基于属性学习的图像识别方法，并包含了属性集自动确定和用户交互反馈等方案。此方法能够在无监督条件下提取图像的优选特征，并以具有较好语义表达能力的属性作为区分个体的介质，且在由于光线、视角等因素而造成部分属性缺失时对整体类别的判断没有太大影响，具有良好的识别鲁棒性能。

本发明采用的技术方案如下：

本发明提出了一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法，共分为三层：用户层，服务器层和数据库层。系统具体功能及实现步骤为:

识别功能：

S1.获取待识别图片：用户可以选择要识别的目标对象图像，客户端主界面提供了两个功能选项，一个是进入拍摄图片的按钮，另一个是选择已经拍摄好的图片的按钮；

S2.选择图片之后，客户端对选择的图片提取特征；

S3.将提取好的特征压缩打包，上传到服务器；

S4.得到服务器返回的识别结果，并显示识别结果；

S5.服务器端接收客户端图像特征；

S6.服务器端进行类别模板训练：训练模块用于管理员进行图像模板训练和管理，选择服务器端系统中“添加类别”按钮，添加图像类别；系统还包括用户管理类别模板的功能，选择“查看类别”按钮，可查看所有类别模板；选择相应的类别，可以查看该类别所具有的所有属性列表，通过右击选择的类别模板，选择删除该类别；

S7.图像识别：服务器端对接收的客户端图像特征进行属性分类获取其所具备的属性列表，并映射到相应类别；服务器端默认为自动识别后将结果反馈至客户端，若需在服务器端显示识别结果，可选择服务器端的“识别”按钮，进行图像预测识别。

检索功能：

S1.获取用户对所要检索图像的属性描述，本系统客户端提供参考属性选项勾选，亦可由用户增加。或通过用户提供的样例图像获取其欲检索图像的属性列表，相关方法步骤同“识别功能”步骤。

S2.服务器端获取待检属性组合列表后，与数据库中存放的类别模板所对应的属性列表进行匹配，并按匹配度高低进行排序，同时将匹配度前5位的类别其在数据库中存储的对应样例图像反馈给客户端用户。

S3:用户通过客户端显示的检索结果，进行确认或选择，同时将用户的选择结果反馈至服务器端，以调整属性分类器参数。

进一步，以上步骤所述图像识别和检索过程中采用基于属性的交互反馈式图像识别方法，包括：

第一步：数据库的建立

运用Microsoft SQLServer2012进行数据库的建立，将不同类别图像录入数据库作为样本库；

第二步：图像的预处理

采用图像预处理程序对样本库中的图像进行去噪、归一化大小、亮度、对比度等操作，并进行图像增强；

第三步：图像的特征提取

对于样本图像，选择使用颜色直方图、颜色矩或者颜色集来提取颜色特征；用几何法、模型法来提取尺度特征；用傅里叶形状描述法、几何参数法提取形状特征。

第四步：属性学习及图像分类

系统的图像识别与分类采用属性学习方法，即利用训练好的各属性分类器逐个对该图像特征进行测试，测定其是否具有当前属性，在这个过程中，采用排序功能，将属性分类器中预测置信度高的结果排在前面，并展现予用户；此时，用户可核查识别的属性是否正确，并给予纠错，否则默认系统属性测定结果正确，并将该测试图像添加至所具属性对应的图像池中，以便后续进一步训练该属性分类器；当测定获取了这些属性组合后就可查询属性-类别映射表以获知该待测图像所属类别，并反馈给用户。

进一步，所述属性学习方法的实现包括：首先为每个属性设定一个属性分类器，将具有某属性的样本特征输入属性分类器，以此来训练属性分类器，得到样本与属性之间的映射关系；再结合属性与类别之间的映射关系，得到样本与类别之间的关系；

具体是将样本x_t输入卷积神经网络得到优选特征，将优选特征输入各属性分类器得到样本x_t具有属性a₁，a₂，...，a_k的后验概率，然后根据贝叶斯公式结合属性类别映射关系表得到类别的后验概率，根据后验概率的排序来判断样本所属的类别。

进一步，所述属性类别映射关系表是通过训练数据统计出具有某属性的样本中属于某类别的比例得到。

进一步，所述属性学习过程中属性集的确定方法为基于交互的机器挖掘属性法，包括如下步骤：

第1步：从底层特征空间中产生一个候选属性a，该候选属性a须具有能够提高现有属性集A对类别Y的分类能力；

第2步：将该候选属性a提交用户，进行命名；若该属性不具可命名性，则丢弃该候选属性，转至第1步；若该属性具有可命名性，则给予命名，并将该候选属性并入原属性集A＝A∪a，形成新的属性集A；

第3步：利用新的属性集A及样本来重新训练分类器h；

第4步：当所需属性数目达到既定数量，停止算法，否则转至第1步。

进一步，所述候选属性的产生方法包括如下步骤：

第1步：利用现有属性集A对训练样本进行类别Y分类，即分类器h:A→Y；

第2步：计算分类器h当前的混淆矩阵，混淆矩阵的值表示类别i被分类器标记为类别j的样本数量；混淆矩阵也可看成是基于类别全连接图的关联矩阵，当不同的两个类别关联性强时说明其混淆性强；

第3步：通过图论的归一化分割，将原类别集分割成两个或更多的聚类；

第4步：每一个聚类是原类别空间的一个子集，它表示在当前属性集下，类别间的混淆度；

第5步：使用最大间隔聚类法，通过无监督迭代寻找一个在当前已有的聚类情况下，使类别得到进一步分开的超平面；

第6步：通过该超平面映射产生一个新的候选属性。

本发明的有益效果：

1、本发明与传统图像识别方法相比，采用属性学习的方法比不采用属性学习的方法体现出更好的识别率，属性学习具有语义性的优点，方便与用户交互。同时，属性较之于类别数量较少，便于属性分类器的复用，同时也便于属性分类器的并行化训练与测试，且由于训练过程是迭代反馈的，降低了人工训练样本的成本。

2、本发明与传统的使用低层特征数据进行识别相比，在有光线、视角、遮挡等因素影响的情况下体现出更好的鲁棒性识别效果。

3、本发明与传统的使用计算机识别图像相比也具备明显优势，由于安卓系统平台手机的便携特性，并且随着智能手机分辨率的不断提升和其价格的不断降低，图像采集任务通过安卓智能手机来完成将更加低成本。同时，利用安卓系统的性能，在智能手机端完成图片的采集、预处理及特征提取，将分担服务器的运行压力，减少数据的传输。

4、本发明与其他基于属性的学习方法相比，采用了基于交互的机器挖掘属性法，在属性集的确定上既保证了分类的判别性要求，又满足了用户的语义性要求。

5、本发明在与其他图像识别、检索方法相比，系统在图像识别和检索过程中，采用交互模式反馈用户相关结果，并利用用户反馈情况来进行系统的再训练和性能提升。

附图说明

图1是本发明所述属性学习模型示意图。

图2是本发明所述基于属性学习的图像识别方法流程示意图。

具体实施方式

本发明提出了一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法，共分为三层：用户层，服务器层和数据库层。

用户层为安卓智能手机端，负责与用户交互，实现了用户拍摄图片，图像特征提取与压缩，服务器上传，检索属性输入，显示识别、检索结果。

服务器端分为三个部分：识别模块、训练模块、检索匹配模块。识别模块响应用户发出的识别请求，检索匹配模块响应用户的检索请求，训练模块响应管理员训练图像类别模板的请求，训练好的模板存放在数据库里面，当识别模块和检索匹配模块发出请求时，将模板发送给识别模块和检索匹配模块。

在C/S架构方面，采用智能手机安卓系统平台实现图像的拍摄、预处理和特征提取，然后将提取的特征上传至服务器并进行学习和训练，这样可减少数据的传输，分担服务器的运行压力，在完成鉴别后将结果反馈给用户。系统利用属性的语义级描述能力，在图像样本与类别之间加入了一个属性中间媒介层以进行识别器的设计。该方法将视觉属性作为人们可理解的对象类别间共享的性质，从而将用户高层次的语义关系嵌入到机器识别模型中，为实现系统良好的交互性提供了途径，同时便于进行未见训练样本而仅有用户属性语义描述的识别、检索任务。考虑到被识别图像中的物体种类的多样性，系统通过反馈给用户匹配度较高种类的样本图片和信息，由用户与现实物体比对，将选择结果再返还给服务器，服务器利用反馈结果更新训练，以此来提高识别率。在所述属性学习部分，为每个属性设定一个属性分类器，将具有某属性的样本特征输入各个分类器，以此来训练属性分类器。在所述属性类别映射关系学习部分，通过训练数据统计出具有某属性的样本中属于某类别的比例，得到属性类别映射关系表。在所述测试部分，将属性特征输入各个属性分类器，得到样本具有这些属性的概率。最后根据属性相关概率和属性类别映射概率表推断图像类别后验概率，从而判断图像所属类别。

在图像识别和检索过程中，采用交互模式反馈用户相关结果。具体来说，在识别阶段，该系统通过Android手机平台获取图片，经过系统识别后反馈出该图片所具有的属性组合，同时将该图片所具有的属性组合对应类别的样例图像按识别置信度排序反馈给用户，由用户与现实物体比对，将选择结果再返还给服务器，服务器利用反馈结果更新训练，以此来提高识别率。同时，用户也可以通过确认或否认所识别出来的属性是否具有或不具有(默认为识别正确)，将该待识别图像加入到确认具有属性对应的训练图像库中，以学习提升该系统的识别性能；在检索环节，当用户描述了所要检索图像的属性列表后，系统将图像库中具有该属性组合的类别所对应的图像以排序方式呈现给用户，由用户在其中选择，并根据用户的选择，调整属性分类器的参数，从而提高系统检索性能。同时，系统支持用户采用以图搜图方式进行图像检索，同样也是采取与用户交互方式进行，对输入的样例图像识别出其拥有的属性列表，并交由用户确认(默认为识别正确)，而后根据该属性列表搜索相应的目标图像，并排序后供用户选择确认。

下面结合附图和具体实施例对发明做出进一步说明。

图1为本发明属性学习模型示意图。基本思想为：首先得到样本与属性之间的映射关系，再结合属性与类别之间的映射关系，得到样本与类别之间的关系。具体来说，将样本x_t输入卷积神经网络得到优选特征，将优选特征输入各属性分类器得到样本x_t具有属性a₁，a₂，...，a_k的后验概率，然后根据贝叶斯公式结合属性类别映射关系得到类别的后验概率，根据后验概率的排序来判断样本所属的类别。

图2为本发明提出的基于属性的交互反馈式图像识别方法流程示意图。

第一步：数据库的建立

运用Microsoft SQLServer2012进行数据库的建立，将来自www.tmall.com的300种不同类别图像录入数据库作为样本库。

第二步：图像的预处理

采用图像预处理程序对图像进行去噪、归一化大小、亮度、对比度等操作，并进行图像增强。

第三步：图像的特征提取

对于样本图像，选择使用颜色直方图、颜色矩或者颜色集来提取颜色特征；用几何法、模型法来提取尺度特征；用傅里叶形状描述法、几何参数法提取形状特征。

第四步：属性学习及图像分类

系统的图像识别与分类采用属性学习方法，即利用训练好的各属性分类器逐个对该图像特征进行测试，测定其是否具有当前属性。这一过程中，采用排序功能，将属性分类器中预测置信度高的结果排在前面，并展现予用户。此时，若用户具备相关知识，则可核查识别的属性是否正确，并给予纠错，否则默认系统属性测定结果正确，并将该测试图像添加至所具属性对应的图像池中，以便后续进一步训练该属性分类器。最后，当测定获取了这些属性组合后就可查询属性-类别映射表以获知该待测图像所属类别，并反馈给用户。

在商品图像数据集上的实验表明，本发明方法的识别准确率为84.7％，因着重以实时图片为基础并且充分利用语义级的属性识别图像，实现了用户通过自己拍摄的目标物体图片来辨别是什么类别的需求。同时，在检索时用户描述了目标图像的属性后，能快速使用户获取理想的目标图片，并采用按置信度排序的方式反馈给用户。此外，由于属性相比于低层特征具有更好的语义表达性能，且对光线、视角的不敏感性，使得算法的识别效果更好。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (6)

1.一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法，其特征在于，包括用户层、服务器层和数据库层；

所述用户层为安卓智能手机客户端，具体执行过程包括如下：

识别功能：

S1.获取待识别图片：用户可以选择要识别的目标对象图像，客户端主界面提供了两个功能选项，一个是进入拍摄图片的按钮，另一个是选择已经拍摄好的图片的按钮；

S2.选择图片之后，客户端对选择的图片提取特征；

S3.将提取好的特征压缩打包，上传到服务器；

S4.得到服务器返回的识别结果，并显示识别结果；

检索功能：

获取用户对所要检索图像的属性描述，客户端提供参考属性选项勾选，亦可由用户增添；或通过用户提供的样本图像获取其欲检索图像的属性列表；

所述服务器层包括识别模块、训练模块、检索匹配模块；所述识别模块用于响应用户发出的识别请求；所述训练模块用于管理员训练属性分类器及相关类别模板，训练好的模板存放在所述数据库里，当识别模块发出请求时，将模板发送给识别模块；所述检索匹配模块负责完成检索任务中的属性组合匹配；所述服务器层的具体执行过程包括如下：

识别和训练：

S5.接收客户端图像特征；

S6.进行类别模板训练：所述训练模块用于管理员进行图像模板训练和管理，选择服务器端系统中“添加类别”按钮，添加图像类别；系统还包括用户管理类别模板的功能，选择“查看类别”按钮，可查看所有类别模板；选择相应的类别，可以查看该类别所具有的所有属性列表，通过右击选择的类别模板，选择删除该类别；

S7.图像识别：对接收的客户端图像特征进行属性分类获取其所具备的属性列表，并映射到相应类别；服务器端默认为自动识别后将结果反馈至客户端，若需在服务器端显示识别结果，可选择服务器端的“识别”按钮，进行图像预测识别；

检索功能：

S8.服务器端获取待检属性组合列表后，与数据库中存放的类别模板所对应的属性列表进行匹配，并按匹配度高低进行排序，同时将匹配度前5位的类别其在数据库中存储的对应样例图像反馈给客户端用户；

S9.用户通过客户端显示检索结果，进行确认或选择，同时将用户的选择结果反馈至服务器端，以调整属性分类器参数。

2.根据权利要求1所述的一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法，其特征在于，在所述图像识别和检索过程中采用基于属性的交互反馈式图像识别方法，包括：

第一步：数据库的建立

运用Microsoft SQLServer2012进行数据库的建立，将不同类别图像录入数据库作为样本库；

第二步：图像的预处理

采用图像预处理程序对样本库中的图像进行去噪、归一化大小、亮度、对比度等操作，并进行图像增强；

第三步：图像的特征提取

对于样本图像，选择使用颜色直方图、颜色矩或者颜色集来提取颜色特征；用几何法、模型法来提取尺度特征；用傅里叶形状描述法、几何参数法提取形状特征。

第四步：属性学习及图像分类

系统的图像识别与分类采用属性学习方法，即利用训练好的各属性分类器逐个对该图像特征进行测试，测定其是否具有当前属性，在这个过程中，采用排序功能，将属性分类器中预测置信度高的结果排在前面，并展现予用户；此时，用户可核查识别的属性是否正确，并给予纠错，否则默认系统属性测定结果正确，并将该测试图像添加至所具属性对应的图像池中，以便后续进一步训练该属性分类器；当测定获取了这些属性组合后就可查询属性-类别映射表以获知该待测图像所属类别，并反馈给用户。

3.根据权利要求2所述的一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法，其特征在于，所述属性学习方法的实现包括：首先为每个属性设定一个属性分类器，将具有某属性的样本特征输入属性分类器，以此来训练属性分类器，得到样本与属性之间的映射关系；再结合属性与类别之间的映射关系，得到样本与类别之间的关系；

具体是将样本x_t输入卷积神经网络得到优选特征，将优选特征输入各属性分类器得到样本x_t具有属性a₁，a₂，...，a_k的后验概率，然后根据贝叶斯公式结合属性类别映射关系表得到类别的后验概率，根据后验概率的排序来判断样本所属的类别。

4.根据权利要求3所述的一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法，其特征在于，所述属性类别映射关系表是通过训练数据统计出具有某属性的样本中属于某类别的比例得到。

5.根据权利要求2所述的一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法，其特征在于，所述属性学习过程中属性集的确定方法为基于交互的机器挖掘属性法，包括如下步骤：

第1步：从底层特征空间中产生一个候选属性a，该候选属性a须具有能够提高现有属性集A对类别Y的分类能力；

第2步：将该候选属性a提交用户，进行命名；若该属性不具可命名性，则丢弃该候选属性，转至第1步；若该属性具有可命名性，则给予命名，并将该候选属性并入原属性集A＝A∪a，形成新的属性集A；

第3步：利用新的属性集A及样本来重新训练分类器h；

第4步：当所需属性数目达到既定数量，停止算法，否则转至第1步。

6.根据权利要求5所述的一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法，其特征在于，所述候选属性的产生方法包括如下步骤：

第1步：利用现有属性集A对训练样本进行类别Y分类，即分类器h:A→Y；

第2步：计算分类器h当前的混淆矩阵，混淆矩阵的值表示类别i被分类器标记为类别j的样本数量；混淆矩阵也可看成是基于类别全连接图的关联矩阵，当不同的两个类别关联性强时说明其混淆性强；

第3步：通过图论的归一化分割，将原类别集分割成两个或更多的聚类；

第4步：每一个聚类是原类别空间的一个子集，它表示在当前属性集下，类别间的混淆度；

第5步：使用最大间隔聚类法，通过无监督迭代寻找一个在当前已有的聚类情况下，使类别得到进一步分开的超平面；

第6步：通过该超平面映射产生一个新的候选属性。