CN115525281B - 一种表单交互图形展示与选择方法 - Google Patents

Abstract

本申请提供一种表单交互图形展示与选择方法，包括：通过网络获取大量前端通用表单图形及描述文本，构建样本数据集；对描述文本进行语义简化；对样本数据集进行预处理，筛选出能够生成简短而明确的语义的图形数据作为候选训练集；对文本对应的图形进行组合，实现通过文本输出表单图形；基于界面需求挑选生成的图形并排序；预测用户使用一个图形后，下一次拖拽的图形，进行闪动，减少图形文字描述；获取用户经常拖拽又替换，错误使用的歧义图形，进行图形替换；对用户进行使用习惯聚类，对能够理解图形意义的用户，展示不同图标。

Description

一种表单交互图形展示与选择方法

技术领域

本发明涉及信息技术领域，尤其涉及一种表单交互图形展示与选择方法。

背景技术

低代码软件需要通过展示图形为用户提供软件设计服务，然而随着业务场景的增多，很难在有限的界面展示大量的图形。当前的界面需要用户很多的学习成本，通过文字解释能够区别图形功能，但是文字加在界面上，会导致占用空间，目前还没有办法在用户使用时才展示该图形的解释，即无法通过图像来让用户理解图形功能。同时，现有的低代码软件设计缺乏个性化管理，无法满足不同用户的使用需求。例如，用户对图形功能理解水平有高有低，但无法给这两类用户呈现个性化的图形内容，针对经常被错误理解的图形也没有方法能够实现替换。因此，如何在节约界面空间的同时能够让新用户理解它的使用、降低学习成本是一个重要的课题，且在图形解释与个性化管理方面仍然有很多问题亟待解决。

发明内容

本发明提供了一种表单交互图形展示与选择方法，主要包括：

通过网络获取大量前端通用表单图形及描述文本，构建样本数据集；对描述文本进行语义简化；对样本数据集进行预处理，筛选出能够生成简短而明确的语义的图形数据作为候选训练集；对文本对应的图形进行组合，实现通过文本输出表单图形，所述对文本对应的图形进行组合，实现通过文本输出表单图形，具体包括：根据候选训练集中的描述文本输出表单图形，通过候选训练集构建视觉词袋模型，实现输入表单图形内容输出表单图形；基于界面需求挑选生成的图形并排序，所述基于界面需求挑选生成的图形并排序，具体包括：获取界面功能性需求，根据需求对图形排序，获取界面美观性需求，根据需求对图形排序；预测用户使用一个图形后，下一次拖拽的图形，进行闪动，减少图形文字描述，所述预测用户使用一个图形后，下一次拖拽的图形，进行闪动，减少图形文字描述，具体包括：根据用户操作习惯预测下一次拖拽的图形，根据用户鼠标浮动区域预测下一次拖拽的图形，根据用户输入文本预测下一次拖拽的图形，并进行自动生成和闪动；获取用户经常拖拽又替换，错误使用的歧义图形，进行图形替换；对用户进行使用习惯聚类，对能够理解图形意义的用户，展示不同图标。

进一步可选地，所述通过网络获取大量前端通用表单图形及描述文本，构建样本数据集包括：

通过爬虫获取前端通用表单图形及描述文本，并构建样本数据集；首先，获取网站根目录；然后，使用hasRootIcon函数识别该网站中是否包括表单图形文件；若hasRootIcon函数存在返回值，则获取表单图形的下载地址及描述文本；若hasRootIcon函数没有返回值，则无法获取表单图形的下载地址及描述文本；将下载的表单图形及描述文本存入数据库中，并对每个表单图形进行编号，作为样本数据集。

进一步可选地，所述对描述文本进行语义简化包括：

从数据库中提取样本数据集中包含的所有描述文本，利用jieba分词器对所有描述文本进行分词操作，将长文本拆分成词语；对拆分后的词语进行数据清洗，包括剔除符号和停用词；将经过数据清洗后的词语输入word2vec模型中，输出每个词语的词向量；构建seq2seq模型，将所得词向量输入seq2seq模型进行语义简化；其中seq2seq模型由编码器和解码器构成，输入的词向量首先通过编码器进行编码，得到文本向量，然后经过解码器计算后得到简化后的文本结果；将所有描述文本替换为简化后的描述文本，同时更新样本数据集中的内容。

进一步可选地，所述对样本数据集进行预处理，筛选出能够生成简短而明确的语义的图形数据作为候选训练集包括：

从更新后的样本数据集中加载数据，包括编号、表单图形、描述文本；首先获取所有描述文本的长度，将所有描述文本的长度的平均值作为第一阈值；依次比较所有描述文本的字符串长度和第一阈值的大小；若所述描述文本的字符串长度小于或等于第一阈值，则将该描述文本标记为具有简短而明确的语义；若所述描述文本的字符串长度大于第一阈值，则将该描述文本标记为简化后仍不符合简短明确的要求；将所有标记为具有简短而明确的语义的描述文本提取出来，记录其编号，通过编号从数据库中导出所有数据，构成候选训练集。

进一步可选地，所述对文本对应的图形进行组合，实现通过文本输出表单图形包括：

对文本对应的图形进行组合，实现通过文本输出表单图形；实现通过文本输出表单图形包括两种方式：第一种方法是根据候选训练集中的描述文本输出表单图形，第二种方法是通过候选训练集构建视觉词袋模型，实现输入表单图形内容输出表单图形；当用户输入文本时首先采用描述文本匹配表单图形的方法，输出相对应的表单图形后，监听用户的点击行为，获取所有用户在1分钟内的平均点击次数并作为第二阈值，当用户的点击行为次数大于或等于第二阈值则存储用户最后点击的表单图形编号；若所述表单图形编号不为空，则操作结束；若所述表单图形编号为空，则弹出提示‘建议输入图形内容’，并采用视觉词袋模型输出表单图形；包括：根据候选训练集中的描述文本输出表单图形；通过候选训练集构建视觉词袋模型，实现输入表单图形内容输出表单图形；

所述根据候选训练集中的描述文本输出表单图形，具体包括：

从数据库中加载候选训练集中的编号、表单图形、描述文本，并获取用户输入的文本；计算候选训练集中的描述文本与用户输入的文本的相似度；计算相似度时获取两个文本的对应的编码，然后逐一对比每层编码是否相等；对每层编码分配不同权重，记为w1、w2、w3、w4、w5、w6，将所有编码相等层的权重累加起来记为w0，计算相似度值S；依次计算选训练集中的描述文本与用户输入的文本的相似度值S，并将相似度值S的平均值作为第三阈值，当相似度值大于第三阈值，则说明用户输入的文本和候选训练集中的描述文本词义相似，此时应输出与候选训练集中描述文本相对应的表单图形。

所述通过候选训练集构建视觉词袋模型，实现输入表单图形内容输出表单图形，具体包括：

从数据库中获取候选训练集中的所有表单图形，提取每个表单图形的特征，建立表单图形特征库；然后通过K-means算法对表单图形特征库聚类，将生成的聚类中心作为视觉单词，所有的视觉单词构成一个视觉词典，用视觉词典标识所有的表单图形；最后获取用户输入的文本，遍历所有视觉词典并计算其与用户输入的文本的相似度，筛选出相似度最高的视觉单词，并输出该视觉单词所包含的所有表单图形。

进一步可选地，所述基于界面需求挑选生成的图形并排序包括：

获取视觉词典中所有的视觉单词，根据视觉单词对图形的功能进行分类，并存入数据库；在用户还没有进行表单图形选择的操作行为时，通过获取界面功能性需求和图形功能并对图形进行排序，图形功能与界面功能重合越多的排序越靠前；当用户发生了操作行为时，获取界面美观性需求，根据需求对图形进行排序；包括：获取界面功能性需求，根据需求对图形排序；获取界面美观性需求，根据需求对图形排序；

所述获取界面功能性需求，根据需求对图形排序，具体包括：

获取用户界面功能，从数据库中提取表单图形编号及图形功能；从所述图形功能中筛选出包含用户界面功能数据对应的表单图形编号，根据字符串依次匹配图形功能和用户界面的所有功能，统计重合的次数；根据次数大小对图形进行排序，次数大则排在前面，次数小则在后面；根据表单图形编号从数据库中加载图形进行排序，若两图形功能相等次数相同则按照编号排序。

所述获取界面美观性需求，根据需求对图形排序，具体包括：

获取候选训练集中所有图形的LAB值；首先对图形进行预处理，将图形大小统一变换至224*224，并对图形所有像素点的LAB值进行归一化；然后，将AVA数据集作为DenseNet模型的训练集；将预处理之后的图形输入训练完成后的DenseNet模型，得到一个十维度的图形得分分布向量{p1,p2,...,pi,...p10}，其中pi表示评分为i的概率值；取pi最大的值作为图形的美观度得分；最后获取用户点击的图形和图形所有像素点的LAB值；输入DenseNet模型得到用户点击的图形的美观度得分；将候选训练集中的图形美观度得分大于用户点击的图形的美观度得分的图形按照得分从大到小的顺序呈现给用户。

进一步可选地，所述预测用户使用一个图形后，下一次拖拽的图形，进行闪动，减少图形文字描述包括：

首先，根据用户操作习惯预测下一次拖拽的图形编号，并输出所述图形编号对应的描述文本，进行闪动，并浮动显示图形描述文本；根据用户响应时间原则预设第四阈值，当闪动时长大于等于第四阈值时或检测到用户的拖拽行为时停止闪动；闪动停止后，根据用户鼠标浮动区域预测下一次拖拽的图形编号，并输出所述图形编号对应的描述文本，进行闪动；当用户鼠标浮动区域改变时，描述文本的内容也随之改变；监督用户操作行为，若监听到用户点击了搜索框，则根据用户输入文本预测下一次拖拽的图形并进行闪动；包括：根据用户操作习惯预测下一次拖拽的图形；根据用户鼠标浮动区域预测下一次拖拽的图形；根据用户输入文本预测下一次拖拽的图形，并进行自动生成和闪动；

所述根据用户操作习惯预测下一次拖拽的图形，具体包括：

获取用户一年内的行为数据，包括用户操作界面、拖拽的图形编号及操作时间；整理用户的行为数据，对每种操作界面根据操作时间按照从早到晚的顺序排序，并赋予操作顺序码；生成训练数据集，包括用户操作界面、拖拽的图形编号、操作顺序码；将训练数据集输入神经网络模型进行训练；然后采集当前用户的操作界面、已拖拽的图形编号和操作时间；根据操作时间从早到晚排序并赋予操作顺序码，并生成输入集，包括当前用户的操作界面、已拖拽的图形编号、操作顺序码；将输入集输入训练好的神经网络，预测下一个操作顺序码对应的图形编号。

所述根据用户鼠标浮动区域预测下一次拖拽的图形，具体包括：

获取用户鼠标浮动位置的坐标，以该坐标为中心制定一个固定大小的候选框；将候选框的图像内容转化成像素点，并输入卷积神经网络提取候选框的图像特征；从数据库中加载候选训练集，包括编号、表单图形，输入随机森林分类器中训练；将卷积神经网络提取的图像特征输入训练好的随机森林分类器中；经过随机森林分类器计算得到候选框的图像内容对应的编号。

所述根据用户输入文本预测下一次拖拽的图形，并进行自动生成和闪动，具体包括：

将候选训练集输入生成对抗网络中训练，对表单图形进行特征提取，实现自动生成新的图形；获取用户输入的文本内容，使用jieba分词对文本内容进行分词；将分词后的文本内容输入文本编码器，得到文本句子的特征向量及词语特征向量；然后将文本句子的特征向量及词语特征向量输入训练好的生成对抗网络；通过生成对抗网络的三个阶段的处理实现文字生成图形，第一阶段输入文本句子的特征向量及词语特征向量，输出64*64的图形，第二阶段输入所述64*64的图形，得到128*128的图形，第三阶段输入所述128*128的图形，最终得到256*256的图形；输出生成的图形，并进行闪动。

进一步可选地，所述获取用户经常拖拽又替换，错误使用的歧义图形，进行图形替换包括：

获取所有用户当前拖拽的表单图形编号；设置界面监控区，并监听用户当前拖拽的表单图形是否处于界面监控区内；设置计时器，对用户当前拖拽的表单图形处于界面监控区内的时长进行计时；统计所有用户拖拽的表单图形处于界面监控区内的平均时长并作为第五阈值，当用户当前拖拽的表单图形处于界面监控区内的时长大于等于第五阈值时，则无需替换；当用户当前拖拽的表单图形处于界面监控区内的时长小于第五阈值时，则应检索歧义图形的编号，将其从图形排序的顺序中删除，其后的图形按顺序替补。

一种表单交互图形展示与选择方法其特征在于，所述系统包括：

获取所有用户拖拽的不同表单图形处于界面监控区内的时长，然后通过k-means对用户聚类，将用户分为理解图形意义的用户和不理解图形意义的用户；对于理解图形意义的用户，采用基于界面需求对图形排序并呈现给用户；对于不理解图形意义的用户，将已剔除经常被错误使用的歧义图形的排序表推荐给用户，即将已经经过图形替换后的排序表呈现给用户。

本发明实施例提供的技术方案可以包括以下有益效果：

本发明能够对低代码界面的图形进行输出和解释。通过识别用户对界面的需求推荐个性化的图形，并且根据需求程度对图形进行排序。此外还能够根据用户的使用习惯、操作行为及输入的文本预测用户需要的图形，以便为用户提供更好的使用体验。建立了一种纠错机制，能够识别经常被用户错误使用的歧义图形并进行替换，根据用户使用习惯将用户分为理解图形意义的用户和不理解图形意义的用户，为不理解图形意义的用户呈现替换掉歧义图形后的界面，满足不同理解水平用户的需求。

附图说明

图1为本发明的一种表单交互图形展示与选择方法的流程图。

图2为本发明的一种表单交互图形展示与选择方法的示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

图1为本发明的一种表单交互图形展示与选择方法流程图。如图1所示，本实施例一种表单交互图形展示与选择方法具体可以包括：

步骤101，通过网络获取大量前端通用表单图形及描述文本，构建样本数据集。

通过爬虫获取前端通用表单图形及描述文本，并构建样本数据集；首先，获取网站根目录；然后，使用hasRootIcon函数识别该网站中是否包括表单图形文件；若hasRootIcon函数存在返回值，则获取表单图形的下载地址及描述文本；若hasRootIcon函数没有返回值，则无法获取表单图形的下载地址及描述文本；将下载的表单图形及描述文本存入数据库中，并对每个表单图形进行编号，作为样本数据集。例如，爬取hao123网站的表单图形，首先获取hao123网站的URL地址(即网站根目录)是http://www.hao123.com/，并且通过函数识别hao123网站包括了表单图形文件。那么，通过爬虫技术抓取表单图形及描述文本并存入数据库，以此构成样本数据集。每个表单图形和描述文本都有唯一的编号与之对应。

步骤102，对描述文本进行语义简化。

从数据库中提取样本数据集中包含的所有描述文本，利用jieba分词器对所有描述文本进行分词操作，将长文本拆分成词语；对拆分后的词语进行数据清洗，包括剔除符号和停用词；将经过数据清洗后的词语输入word2vec模型中，输出每个词语的词向量；构建seq2seq模型，将所得词向量输入seq2seq模型进行语义简化；其中seq2seq模型由编码器和解码器构成，输入的词向量首先通过编码器进行编码，得到文本向量，然后经过解码器计算后得到简化后的文本结果；将所有描述文本替换为简化后的描述文本，同时更新样本数据集中的内容。例如，样本数据集中的一个表单图形的描述文本内容为‘安卓兼容，适用于安卓的设备’。采用jieba分词得到拆分后的词语为：安卓、兼容、适用、于、安卓、的、设备。经过数据清洗后得到：安卓、兼容、适用、安卓、设备。将清洗后的数据输入word2vec模型得到对应的词向量，再输入seq2seq模型中的编码器得到文本向量，最后经过解码器得到简化的文本为：安卓兼容。seq2seq模型的编码器能够通过词向量分析句子结构并输出文本向量，编码器可以通过文本向量输出更简洁流畅的文本。

步骤103，对样本数据集进行预处理，筛选出能够生成简短而明确的语义的图形数据作为候选训练集。

从更新后的样本数据集中加载数据，包括编号、表单图形、描述文本；首先获取所有描述文本的长度，将所有描述文本的长度的平均值作为第一阈值；依次比较所有描述文本的字符串长度和第一阈值的大小；若所述描述文本的字符串长度小于或等于第一阈值，则将该描述文本标记为具有简短而明确的语义；若所述描述文本的字符串长度大于第一阈值，则将该描述文本标记为简化后仍不符合简短明确的要求；将所有标记为具有简短而明确的语义的描述文本提取出来，记录其编号，通过编号从数据库中导出所有数据，构成候选训练集。例如，有两条描述文本内容分别为‘日历’和‘安卓兼容’，假设第一阈值为4。通过字符串长度比较，将‘日历’标记为具有简短而明确的语义，而‘安卓兼容’等于第一阈值，也标记为具有简短而明确的语义。因此，记录两条描述文本的编号，通过编号从数据库中导出所有数据，构成候选训练集。

步骤104，对文本对应的图形进行组合，实现通过文本输出表单图形。

对文本对应的图形进行组合，实现通过文本输出表单图形；实现通过文本输出表单图形包括两种方式：第一种方法是根据候选训练集中的描述文本输出表单图形，第二种方法是通过候选训练集构建视觉词袋模型，实现输入表单图形内容输出表单图形；当用户输入文本时首先采用描述文本匹配表单图形的方法，输出相对应的表单图形后，监听用户的点击行为，获取所有用户在1分钟内的平均点击次数并作为第二阈值，当用户的点击行为次数大于或等于第二阈值则存储用户最后点击的表单图形编号；若所述表单图形编号不为空，则操作结束；若所述表单图形编号为空，则弹出提示‘建议输入图形内容’，并采用视觉词袋模型输出表单图形。例如，假设第二阈值为10，用户A通过描述文本检索表单图形的方法检索了十次依然没有找到想要的表单图形时，则弹出提示‘建议输入图形内容检索’。然后将搜索方式转换为通过候选训练集构建视觉词袋模型，实现输入表单图形内容输出表单图形。

根据候选训练集中的描述文本输出表单图形。

从数据库中加载候选训练集中的编号、表单图形、描述文本，并获取用户输入的文本；计算候选训练集中的描述文本与用户输入的文本的相似度；计算相似度时获取两个文本的对应的编码，然后逐一对比每层编码是否相等；对每层编码分配不同权重，记为w1、w2、w3、w4、w5、w6，将所有编码相等层的权重累加起来记为w0，计算相似度值S；依次计算选训练集中的描述文本与用户输入的文本的相似度值S，并将相似度值S的平均值作为第三阈值，当相似度值大于第三阈值，则说明用户输入的文本和候选训练集中的描述文本词义相似，此时应输出与候选训练集中描述文本相对应的表单图形。例如，候选训练集中的描述文本为日历，用户输入的文本为日期，其中日历的编码为Aa01a02，日期的编码为Aa01a03，其中编码的第一、二、三四、五、六七、八位分别对应六个层级。假设每个层级分配的权重为0.25、0.25、0.2、0.2、0.1，第三阈值为0.75，则计算得到相似度值为

大于0.75，应输出与描述文本为‘日历’相对应的图形。候选训练集中的描述文本与用户输入的文本的相似度是通过《同义词词林》实现的。《同义词词林》是专门进行语义分类的义类词典，对词语进行了六层编码，包括大类、中类、小类、词群、原子词群、词语关系，每层用不同的编码标识由于候选训练集中的描述文本与用户输入的文本都符合简短而明确的特点，因此能够使用《同义词词林》计算两者的相似度。

通过候选训练集构建视觉词袋模型，实现输入表单图形内容输出表单图形。

从数据库中获取候选训练集中的所有表单图形，提取每个表单图形的特征，建立表单图形特征库；然后通过K-means算法对表单图形特征库聚类，将生成的聚类中心作为视觉单词，所有的视觉单词构成一个视觉词典，用视觉词典标识所有的表单图形；最后获取用户输入的文本，遍历所有视觉词典并计算其与用户输入的文本的相似度，筛选出相似度最高的视觉单词，并输出该视觉单词所包含的所有表单图形。例如，通过K-means聚类算法生成了七种视觉单词，包括：人物、齿轮、闹钟、日历、感叹号、勾、叉，则这七种视觉单词构成了一个视觉词典。用户输入的文本为人，依次计算七种视觉单词与‘人’的相似度，得出相似度最高的为‘人物’。因此，‘人物’类包含的表单图形能够满足用户的检索需求，应向用户输出。

步骤105，基于界面需求挑选生成的图形并排序。

获取视觉词典中所有的视觉单词，根据视觉单词对图形的功能进行分类，并存入数据库；在用户还没有进行表单图形选择的操作行为时，通过获取界面功能性需求和图形功能并对图形进行排序，图形功能与界面功能重合越多的排序越靠前；当用户发生了操作行为时，获取界面美观性需求，根据需求对图形进行排序。例如，视觉单词中的齿轮用于设置功能，则将‘齿轮’包含的图形功能都标注为设置。视觉单词中的放大镜用于搜索、放大、查看，则将‘放大镜’包含的图形功能都标注为搜索、放大、查看。标注好的图形功能用于后续的基于界面功能性排序。

获取界面功能性需求，根据需求对图形排序。

获取用户界面功能，从数据库中提取表单图形编号及图形功能；从所述图形功能中筛选出包含用户界面功能数据对应的表单图形编号，根据字符串依次匹配图形功能和用户界面的所有功能，统计重合的次数；根据次数大小对图形进行排序，次数大则排在前面，次数小则在后面；根据表单图形编号从数据库中加载图形进行排序，若两图形功能相等次数相同则按照编号排序。例如，用户界面功能有{注册，登录，修改密码}，表单图形的编号为1，功能包括{注册，登录，修改密码，输入密码}，表单图形编号为2，功能包括{搜索，放大，查看}。通过字符串匹配得到表单图形1功能重合次数为3，表单图形2功能重合次数为0，则表单图形1的顺序在表单图形编号为2之前。次数越大，说明图形能够满足界面功能越多，应排在前面；次数越小，说明图形能够满足界面功能越少，应排在后面。

获取界面美观性需求，根据需求对图形排序。

获取候选训练集中所有图形的LAB值；首先对图形进行预处理，将图形大小统一变换至224*224，并对图形所有像素点的LAB值进行归一化；然后，将AVA数据集作为DenseNet模型的训练集；将预处理之后的图形输入训练完成后的DenseNet模型，得到一个十维度的图形得分分布向量{p1,p2,...,pi,...p10}，其中pi表示评分为i的概率值；取pi最大的值作为图形的美观度得分；最后获取用户点击的图形和图形所有像素点的LAB值；输入DenseNet模型得到用户点击的图形的美观度得分；将候选训练集中的图形美观度得分大于用户点击的图形的美观度得分的图形按照得分从大到小的顺序呈现给用户。例如，候选训练集中共有5个图形，经过DenseNet模型评估后的得分分别为3，1，4，7，9。用户点击的图形的美观度得分经过DenseNet模型评估后的得分为3，则将得分为4，7，9的三个图形呈现给用户。LAB是一种色彩模式，其中L代表明度，A代表从绿色到红色的分量，B代表从蓝色到黄色的分量。AVA数据集是专用于图形美观度评价的数据集，数据集中每张图片都包含了一个美观度分数标签，每个美观度分数都是从1到10分为10个等级。

步骤106，预测用户使用一个图形后，下一次拖拽的图形，进行闪动，减少图形文字描述。

首先，根据用户操作习惯预测下一次拖拽的图形编号，并输出所述图形编号对应的描述文本，进行闪动，并浮动显示图形描述文本；根据用户响应时间原则预设第四阈值，当闪动时长大于等于第四阈值时或检测到用户的拖拽行为时停止闪动；闪动停止后，根据用户鼠标浮动区域预测下一次拖拽的图形编号，并输出所述图形编号对应的描述文本，进行闪动；当用户鼠标浮动区域改变时，描述文本的内容也随之改变；监督用户操作行为，若监听到用户点击了搜索框，则根据用户输入文本预测下一次拖拽的图形并进行闪动。例如，用户正在操作注册界面，下一步要拖拽的图形编号为78，对应的文本为‘设置密码’。则在用户拖拽完上一个图形之后，在78号图形下方浮动显示‘设置密码’。若第四阈值为2s，则在2s内用户未点击该图形则说明其不满足用户需求，应停止闪动。此时根据用户鼠标所指位置获取下一次拖拽的图形编号为10，对应描述文本为‘设置’，则在10图形下方浮动显示‘设置’。其中，第四阈值根据用户响应时间原则设定，即2/5/10秒原则，用户在2s内响应说明用户体验非常好，5s内响应说明用户体验比较不错，10s内响应说明用户体验糟糕。

根据用户操作习惯预测下一次拖拽的图形。

获取用户一年内的行为数据，包括用户操作界面、拖拽的图形编号及操作时间；整理用户的行为数据，对每种操作界面根据操作时间按照从早到晚的顺序排序，并赋予操作顺序码；生成训练数据集，包括用户操作界面、拖拽的图形编号、操作顺序码；将训练数据集输入神经网络模型进行训练；然后采集当前用户的操作界面、已拖拽的图形编号和操作时间；根据操作时间从早到晚排序并赋予操作顺序码，并生成输入集，包括当前用户的操作界面、已拖拽的图形编号、操作顺序码；将输入集输入训练好的神经网络，预测下一个操作顺序码对应的图形编号。例如，当前用户的操作界面为注册界面，已拖拽的图形编号为6、19、101，操作顺序码为1、2、3。输入神经网络得出操作顺序码为4的图形编号为78。

根据用户鼠标浮动区域预测下一次拖拽的图形。

获取用户鼠标浮动位置的坐标，以该坐标为中心制定一个固定大小的候选框；将候选框的图像内容转化成像素点，并输入卷积神经网络提取候选框的图像特征；从数据库中加载候选训练集，包括编号、表单图形，输入随机森林分类器中训练；将卷积神经网络提取的图像特征输入训练好的随机森林分类器中；经过随机森林分类器计算得到候选框的图像内容对应的编号。例如，用户鼠标浮动位置为(100，300)，候选框大小为50*50。首先通过卷积神经网络提取候选框的图像特征，然后输入训练好的随机森林分类器得到应的表单图形编号。若编号为空则说明候选框中没有图形，若编号不为空则说明用户鼠标浮动位置对应着一个图形，且随机森林分类器的输出为表单图形的编号。

根据用户输入文本预测下一次拖拽的图形，并进行自动生成和闪动。

将候选训练集输入生成对抗网络中训练，对表单图形进行特征提取，实现自动生成新的图形；获取用户输入的文本内容，使用jieba分词对文本内容进行分词；将分词后的文本内容输入文本编码器，得到文本句子的特征向量及词语特征向量；然后将文本句子的特征向量及词语特征向量输入训练好的生成对抗网络；通过生成对抗网络的三个阶段的处理实现文字生成图形，第一阶段输入文本句子的特征向量及词语特征向量，输出64*64的图形，第二阶段输入所述64*64的图形，得到128*128的图形，第三阶段输入所述128*128的图形，最终得到256*256的图形；输出生成的图形，并进行闪动。例如，用户输入‘被咬了一口的苹果’，则使用jieba分词处理后的文本内容为‘被、咬、一口、苹果’。将所得文本句子的特征向量及词语特征向量输入生成对抗网络进行第一阶段处理，通过图形生成器和图形判别器输出64*64的图形，然后依次经过第二、三阶段最终生成256*256的图形。其中，每个阶段包括基于卷积神经网络的图形生成器和基于马尔可夫的图形判别器，图形生成器根据接收的数据生成图形并输出，判别器判断图形来源于真实图形还是生成的图形，通过图形生成器和图形判别器的迭代优化，不断缩小生成图形与真实图形的差距。生成对抗网络(GAN)是一种图像生成模型，通过和文本编码器结合将文字与图像组合起来，实现文字生成图像的功能。文本编码器能够将用户输入的文本内容转化成计算机能够识别的数值格式，所述文本编码器由双向长短词记忆模型(BiLSTM)构成。

步骤107，获取用户经常拖拽又替换，错误使用的歧义图形，进行图形替换。

获取所有用户当前拖拽的表单图形编号；设置界面监控区，并监听用户当前拖拽的表单图形是否处于界面监控区内；设置计时器，对用户当前拖拽的表单图形处于界面监控区内的时长进行计时；统计所有用户拖拽的表单图形处于界面监控区内的平均时长并作为第五阈值，当用户当前拖拽的表单图形处于界面监控区内的时长大于等于第五阈值时，则无需替换；当用户当前拖拽的表单图形处于界面监控区内的时长小于第五阈值时，则应检索歧义图形的编号，将其从图形排序的顺序中删除，其后的图形按顺序替补；例如，用户拖拽的表单图形1处于界面监控区内的时长为2s，第五阈值为10s，则该图形为用户经常错误使用的歧义图形。若在原排序中，表单图形1排在第3位，则此时应将其从图形排序的顺序中删除，其后的图形按顺序替补。即原来的第四位替补到第三位。

步骤108，对用户进行使用习惯聚类，对能够理解图形意义的用户，展示不同图标。

获取所有用户拖拽的不同表单图形处于界面监控区内的时长，然后通过k-means对用户聚类，将用户分为理解图形意义的用户和不理解图形意义的用户；对于理解图形意义的用户，采用基于界面需求对图形排序并呈现给用户；对于不理解图形意义的用户，将已剔除经常被错误使用的歧义图形的排序表推荐给用户，即将已经经过图形替换后的排序表呈现给用户。例如，首先通过k-means对所有用户聚类。若用户A是理解图形意义的用户，则用户A可见的图形顺序为基于界面功能性需求和美观性需求排序的图形。用户B是不理解图形意义的用户，则用户B可见的图形顺序为删除歧义图形后被替换过的图形顺序。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离本申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种表单交互图形展示与选择方法，其特征在于，所述方法包括：

通过网络获取大量前端通用表单图形及描述文本，构建样本数据集；对描述文本进行语义简化；对样本数据集进行预处理，筛选出能够生成简短而明确的语义的图形数据作为候选训练集；对文本对应的图形进行组合，实现通过文本输出表单图形，所述对文本对应的图形进行组合，实现通过文本输出表单图形，具体包括：根据候选训练集中的描述文本输出表单图形，通过候选训练集构建视觉词袋模型，实现输入表单图形内容输出表单图形；基于界面需求挑选生成的图形并排序，所述基于界面需求挑选生成的图形并排序，具体包括：获取界面功能性需求，根据需求对图形排序，获取界面美观性需求，根据需求对图形排序；预测用户使用一个图形后，下一次拖拽的图形，进行闪动，减少图形文字描述，所述预测用户使用一个图形后，下一次拖拽的图形，进行闪动，减少图形文字描述，包括:首先，根据用户操作习惯预测下一次拖拽的图形编号，并输出所述图形编号对应的描述文本，进行闪动，并浮动显示图形描述文本；根据用户响应时间原则预设第四阈值，当闪动时长大于等于第四阈值时或检测到用户的拖拽行为时停止闪动；闪动停止后，根据用户鼠标浮动区域预测下一次拖拽的图形编号，并输出所述图形编号对应的描述文本，进行闪动；当用户鼠标浮动区域改变时，描述文本的内容也随之改变；监督用户操作行为，若监听到用户点击了搜索框，则根据用户输入文本预测下一次拖拽的图形并进行闪动；具体包括：根据用户操作习惯预测下一次拖拽的图形；根据用户鼠标浮动区域预测下一次拖拽的图形；根据用户输入文本预测下一次拖拽的图形，并进行自动生成和闪动；获取用户经常拖拽又替换，错误使用的歧义图形，进行图形替换；对用户进行使用习惯聚类，对能够理解图形意义的用户，展示不同图标；

其中，所述根据用户操作习惯预测下一次拖拽的图形，具体包括:

获取用户一年内的行为数据，包括用户操作界面、拖拽的图形编号及操作时间；整理用户的行为数据，对每种操作界面根据操作时间按照从早到晚的顺序排序，并赋予操作顺序码；生成训练数据集，包括用户操作界面、拖拽的图形编号、操作顺序码；将训练数据集输入神经网络模型进行训练；然后采集当前用户的操作界面、已拖拽的图形编号和操作时间；根据操作时间从早到晚排序并赋予操作顺序码，并生成输入集，包括当前用户的操作界面、已拖拽的图形编号、操作顺序码；将输入集输入训练好的神经网络，预测下一个操作顺序码对应的图形编号；

所述根据用户鼠标浮动区域预测下一次拖拽的图形，具体包括:

获取用户鼠标浮动位置的坐标，以该坐标为中心制定一个固定大小的候选框；将候选框的图像内容转化成像素点，并输入卷积神经网络提取候选框的图像特征；从数据库中加载候选训练集，包括编号、表单图形，输入随机森林分类器中训练；将卷积神经网络提取的图像特征输入训练好的随机森林分类器中；经过随机森林分类器计算得到候选框的图像内容对应的编号；

所述根据用户输入文本预测下一次拖拽的图形，并进行自动生成和闪动，具体包括:

将候选训练集输入生成对抗网络中训练，对表单图形进行特征提取，实现自动生成新的图形；获取用户输入的文本内容，使用jieba分词对文本内容进行分词；将分词后的文本内容输入文本编码器，得到文本句子的特征向量及词语特征向量；然后将文本句子的特征向量及词语特征向量输入训练好的生成对抗网络；通过生成对抗网络的三个阶段的处理实现文字生成图形，第一阶段输入文本句子的特征向量及词语特征向量，输出64*64的图形，第二阶段输入所述64*64的图形，得到128*128的图形，第三阶段输入所述128*128的图形，最终得到256*256的图形；输出生成的图形，并进行闪动。

2.根据权利要求1所述的方法，其中，所述通过网络获取大量前端通用表单图形及描述文本，构建样本数据集，包括:

通过爬虫获取前端通用表单图形及描述文本，并构建样本数据集；首先，获取网站根目录；然后，使用hasRootIcon函数识别该网站中是否包括表单图形文件；若hasRootIcon函数存在返回值，则获取表单图形的下载地址及描述文本；若hasRootIcon函数没有返回值，则无法获取表单图形的下载地址及描述文本；将下载的表单图形及描述文本存入数据库中，并对每个表单图形进行编号，作为样本数据集。

3.根据权利要求1所述的方法，其中，所述对描述文本进行语义简化，包括:

从数据库中提取样本数据集中包含的所有描述文本，利用jieba分词器对所有描述文本进行分词操作，将长文本拆分成词语；对拆分后的词语进行数据清洗，包括剔除符号和停用词；将经过数据清洗后的词语输入word2vec模型中，输出每个词语的词向量；构建seq2seq模型，将所得词向量输入seq2seq模型进行语义简化；其中seq2seq模型由编码器和解码器构成，输入的词向量首先通过编码器进行编码，得到文本向量，然后经过解码器计算后得到简化后的文本结果；将所有描述文本替换为简化后的描述文本，同时更新样本数据集中的内容。

4.根据权利要求1所述的方法，其中，所述对样本数据集进行预处理，筛选出能够生成简短而明确的语义的图形数据作为候选训练集，包括:

从更新后的样本数据集中加载数据，包括编号、表单图形、描述文本；首先获取所有描述文本的长度，将所有描述文本的长度的平均值作为第一阈值；依次比较所有描述文本的字符串长度和第一阈值的大小；若所述描述文本的字符串长度小于或等于第一阈值，则将该描述文本标记为具有简短而明确的语义；若所述描述文本的字符串长度大于第一阈值，则将该描述文本标记为简化后仍不符合简短明确的要求；将所有标记为具有简短而明确的语义的描述文本提取出来，记录其编号，通过编号从数据库中导出所有数据，构成候选训练集。

5.根据权利要求1所述的方法，其中，所述对文本对应的图形进行组合，实现通过文本输出表单图形，包括:

对文本对应的图形进行组合，实现通过文本输出表单图形；实现通过文本输出表单图形包括两种方式：第一种方法是根据候选训练集中的描述文本输出表单图形，第二种方法是通过候选训练集构建视觉词袋模型，实现输入表单图形内容输出表单图形；当用户输入文本时首先采用描述文本匹配表单图形的方法，输出相对应的表单图形后，监听用户的点击行为，获取所有用户在1分钟内的平均点击次数并作为第二阈值，当用户的点击行为次数大于或等于第二阈值则存储用户最后点击的表单图形编号；若所述表单图形编号不为空，则操作结束；若所述表单图形编号为空，则弹出提示‘建议输入图形内容’，并采用视觉词袋模型输出表单图形；包括：根据候选训练集中的描述文本输出表单图形；通过候选训练集构建视觉词袋模型，实现输入表单图形内容输出表单图形；

所述根据候选训练集中的描述文本输出表单图形，具体包括:

从数据库中加载候选训练集中的编号、表单图形、描述文本，并获取用户输入的文本；计算候选训练集中的描述文本与用户输入的文本的相似度；计算相似度时获取两个文本的对应的编码，然后逐一对比每层编码是否相等；对每层编码分配不同权重，记为w1、w2、w3、w4、w5、w6，将所有编码相等层的权重累加起来记为w0，计算相似度值S；依次计算选训练集中的描述文本与用户输入的文本的相似度值S，并将相似度值S的平均值作为第三阈值，当相似度值大于第三阈值，则说明用户输入的文本和候选训练集中的描述文本词义相似，此时应输出与候选训练集中描述文本相对应的表单图形；

所述通过候选训练集构建视觉词袋模型，实现输入表单图形内容输出表单图形，具体包括:

从数据库中获取候选训练集中的所有表单图形，提取每个表单图形的特征，建立表单图形特征库；然后通过K-means算法对表单图形特征库聚类，将生成的聚类中心作为视觉单词，所有的视觉单词构成一个视觉词典，用视觉词典标识所有的表单图形；最后获取用户输入的文本，遍历所有视觉词典并计算其与用户输入的文本的相似度，筛选出相似度最高的视觉单词，并输出该视觉单词所包含的所有表单图形。

6.根据权利要求1所述的方法，其中，所述基于界面需求挑选生成的图形并排序，包括:

获取视觉词典中所有的视觉单词，根据视觉单词对图形的功能进行分类，并存入数据库；在用户还没有进行表单图形选择的操作行为时，通过获取界面功能性需求和图形功能并对图形进行排序，图形功能与界面功能重合越多的排序越靠前；当用户发生了操作行为时，获取界面美观性需求，根据需求对图形进行排序；包括：获取界面功能性需求，根据需求对图形排序；获取界面美观性需求，根据需求对图形排序；

所述获取界面功能性需求，根据需求对图形排序，具体包括:

获取用户界面功能，从数据库中提取表单图形编号及图形功能；从所述图形功能中筛选出包含用户界面功能数据对应的表单图形编号，根据字符串依次匹配图形功能和用户界面的所有功能，统计重合的次数；根据次数大小对图形进行排序，次数大则排在前面，次数小则在后面；根据表单图形编号从数据库中加载图形进行排序，若两图形功能相同次数相等则按照编号排序；

所述获取界面美观性需求，根据需求对图形排序，具体包括:

获取候选训练集中所有图形的LAB值；首先对图形进行预处理，将图形大小统一变换至224*224，并对图形所有像素点的LAB值进行归一化；然后，将AVA数据集作为DenseNet模型的训练集；将预处理之后的图形输入训练完成后的DenseNet模型，得到一个十维度的图形得分分布向量{p1,p2,...,pi,...p10}，其中pi表示评分为i的概率值；取pi最大的值作为图形的美观度得分；最后获取用户点击的图形和图形所有像素点的LAB值；输入DenseNet模型得到用户点击的图形的美观度得分；将候选训练集中的图形美观度得分大于用户点击的图形的美观度得分的图形按照得分从大到小的顺序呈现给用户。

7.根据权利要求1所述的方法，其中，所述获取用户经常拖拽又替换，错误使用的歧义图形，进行图形替换，包括:

获取所有用户当前拖拽的表单图形编号；设置界面监控区，并监听用户当前拖拽的表单图形是否处于界面监控区内；设置计时器，对用户当前拖拽的表单图形处于界面监控区内的时长进行计时；统计所有用户拖拽的表单图形处于界面监控区内的平均时长并作为第五阈值，当用户当前拖拽的表单图形处于界面监控区内的时长大于等于第五阈值时，则无需替换；当用户当前拖拽的表单图形处于界面监控区内的时长小于第五阈值时，则应检索歧义图形的编号，将其从图形排序的顺序中删除，其后的图形按顺序替补。

8.根据权利要求1所述的方法，其中，所述对用户进行使用习惯聚类，对能够理解图形意义的用户，展示不同图标，包括:

获取所有用户拖拽的不同表单图形处于界面监控区内的时长，然后通过k-means对用户聚类，将用户分为理解图形意义的用户和不理解图形意义的用户；对于理解图形意义的用户，采用基于界面需求对图形排序并呈现给用户；对于不理解图形意义的用户，将已剔除经常被错误使用的歧义图形的排序表推荐给用户，即将已经经过图形替换后的排序表呈现给用户。

Images