CN110134464A - 信息处理方法和装置 - Google Patents

Abstract

本发明涉及信息处理方法和装置。一种信息处理方法，包括：收集布局良好的用户界面作为训练集；从训练集中的每个用户界面提取表示用户界面布局的有预定顺序的元素以形成元素序列；以及将元素序列输入神经网络进行训练来得到用户界面布局模型。根据本发明的方法和装置可获得如下技术益处中至少之一：设计人员无需从零开始设计界面布局；将用户界面布局的显式设计规则通过循环神经网络表示成隐式规则后，也降低了规则提取对人工的依赖程度。

Description

信息处理方法和装置

技术领域

本发明涉及信息处理领域，更具体地涉及一种用户界面布局模型的训练方法和用户界面布局的评估方法及装置。

背景技术

用户界面(UI)对于应用程序(或网站)是至关重要的，设计合理的用户界面能有效吸引用户使用应用程序。用户界面设计的第一步就是布局(布局指用户界面元素的相对位置、大小等)设计。然而，从零开始设计布局并不容易，需要借助领域专家经过长期设计实践提取的设计规则来指导。互联网时代发展至今，已经涌现了大量优秀的应用程序或网站，它们的布局都经过精心设计并且经受住了长期的用户考验，用户界面设计人员基于这些已有的优秀应用界面布局来进行设计比从零开始设计更容易。

因此，需要一种用户界面布局的评估方法和装置。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于上述，本发明的一个方面提供了一种信息处理方法，包括：收集布局良好的用户界面作为训练集；从训练集中的每个用户界面提取表示用户界面布局的有预定顺序的元素以形成元素序列；以及将元素序列输入神经网络进行训练来得到用户界面布局模型。

根据本发明的另一个方面，提供一种信息处理方法，包括：将表示待评估用户界面布局的待评估的元素序列输入预先训练的用户界面布局模型中进行检测以得到布局概率向量；以及当布局概率向量中的最大概率值大于第二预定阈值时，认为待评估的元素序列是合理的。

根据本发明的又一个方面，提供一种信息处理装置，包括：检测单元，被配置为将表示待评估用户界面布局的待评估的元素序列输入预先训练的用户界面布局模型中进行检测以得到布局概率向量；以及评估单元，被配置为当布局概率向量中的最大概率值大于第二预定阈值时，认为待评估的元素序列是合理的。

另外，本发明的实施例还提供了用于实现上述方法的计算机程序。

此外，本发明的实施例还提供了至少非暂态计算机可读存储介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1示出了根据本发明的一个实施例的用于训练用户界面布局模型的信息处理方法100的示例性过程的流程图。

图2示出了一个用户界面布局的示意图。

图3示出了根据本发明的另一个实施例的用于对用户界面布局进行评估的信息处理方法300的示例性过程的流程图。

图4A是由布局模型评估为顺序不合理的用户界面布局的示意图。

图4B是布局模型输出概率向量中最大概率所对应的用户界面布局的示意图。

图5是示出根据本发明的另一个实施例的用于对用户界面布局进行评估的信息处理装置500的示例性配置的框图。

图6是示出根据本发明的又一个实施例的用于对用户界面布局进行评估的信息处理装置600的示例性配置的框图。

图7是示出根据本发明的再一个实施例的用于对用户界面布局进行评估的信息处理装置700的示例性配置的框图。

图8示出了评估用户界面的合理性并推荐用户界面布局的一个示例的系统框图。

图9是示出可以用于实施本发明的方法和装置的计算设备的示例性结构图。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的设备结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

下面结合附图详细说明根据本发明的实施例的用户界面布局模型的训练方法和用户界面的评估方法和装置。下文中的描述按如下顺序进行：

1.用于训练用户界面布局模型的信息处理方法

2.用于对用户界面布局进行评估的信息处理方法

3.用于对用户界面布局进行评估的信息处理装置

4.用以实施本申请的方法和装置的计算设备

1.用于训练用户界面布局模型的信息处理方法

图1示出了根据本发明的一个实施例的用于训练用户界面布局模型的信息处理方法100的示例性过程的流程图。下面将结合图1具体说明信息处理方法100的过程。

首先，在步骤S102中，收集布局良好的用户界面作为训练集。

接着，在步骤S104中，从训练集中的每个用户界面提取表示用户界面布局的有预定顺序的元素以形成元素序列。

例如，可以解析用于表达用户界面的源代码，按照所有元素在用于表达用户界面的源代码中的位置先后顺序来得到元素序列。

或者，可以将用户界面的图像，例如截屏图片或快照分割为一组元素，按照预先设定的顺序对所有元素进行排序来得到元素序列。本领域技术人员可以理解，根据用户界面布局的实际情况，该预先设定的顺序例如是从上到下、从左到右的顺序，也可以是从下到上、从右到左的顺序。

又或者，还可以根据元素在用户界面对应的文档对象模型(DOM)树中以深度优先或广度优先遍历得到的顺序来得到元素序列。

训练集中的用户界面的训练样本可以是上述三种中的任意一种或更多种。

图2示出了一个用户界面布局的示意图。从图2中示出的用户界面提取的元素序列为Header->Body->Form->Form->CheckBox->Link->Button->Label->TextArea。

最后，在步骤S106中，将元素序列输入神经网络进行训练来得到用户界面布局模型。

在一个示例中，在得到元素序列之后，将元素序列中的每个元素基于每个元素的特性编码为向量，其中，元素的特性可以包括例如元素的类别、元素的高度和元素的宽度；再将由所有编码的元素的向量组成的布局向量作为神经网络的输入进行训练。

编码后的元素序列表示一个用户界面布局，其中，编码后的每个元素由两部分组成。第一部分是一个独热编码向量，该向量的长度为所收集的所有用户界面中的元素类别的总数，向量中只有该元素对应类别所在位置为1，其余位置为0。第二部分由元素的高度和宽度两个数值组成。两部分拼接成一个向量，作为每个元素的最终向量表示。

根据这种表示方法，图2的用户界面布局可表示为(1,0,0,0,0,0,0,0,0.3,1)->(0,1,0,0,0,0,0,0,0.7,1)->(0,0,1,0,0,0,0,0,0.1,0.4)->(0,0,1,0,0,0,0,0,0.1,0.3)->(0,0,0,1,0,0,0,0,0.1,0.3)->(0,0,0,0,1,0,0,0,0.1,0.2)->(0,0,0,0,0,1,0,0,0.1,0.2)->(0,0,0,0,0,0,1,0,0.1,0.2)->(0,0,0,0,0,0,0,1,0.4,0.9)。

图2示出的用户界面布局包括8个元素类别，这里以此为例，独热向量为8维，应理解，这仅仅是示例而非限定。实际上，独热向量的长度为所收集的所有用户界面中的元素类别的总数。在Header对应的向量(1,0,0,0,0,0,0,0,0.3,1)中，与Header的元素类别对应的第1位为1，2-8位都为0，第9位为Header的高度，第10位为Header的宽度，其中高度和宽度的数值进行了归一化。

将元素序列中所有元素的向量组合在一起，例如，按照元素序列的顺序相连接，形成了用户界面布局所对应的布局向量。

用户界面元素的相对位置隐含了元素的顺序，而循环神经网络(RNN)是一种能很好的揭示有序对象规律的建模工具。因此，优选地，将训练集中所有良好的用户界面布局的经过编码后的布局向量输入循环神经网络(RNN)，来训练布局模型。

对每个用户界面布局，在每个时间步，RNN的单元(cell)接收一个元素，直到接收最后一个元素，则一个布局处理完毕。

RNN最后一个时间步的输出经过非线性处理之后得到一个概率向量作为预测向量，向量每个位置的值表示一个布局的概率，概率向量的长度为训练所用用户界面布局的数目。

每个用户界面布局都对应一个向量，该向量的长度为训练所用用户界面布局的数目，只有当前布局所在位置为1，其余位置为0，该向量与预测向量的差别即为模型的损失，使用数值优化算法(如梯度下降等)最小化该损失即可求得模型的参数，从而得到布局模型的数学表示。其中与本发明无关的具体处理可以由本领域技术人员根据实际需要利用合适的已有技术来实现，具体细节不再赘述。

在一个示例中，还可以从训练集中提取元素的顺序规则，具体地，在得到元素序列之后(例如，如图2所示的元素序列Header->Body->Form->Form->CheckBox->Link->Button->Label->TextArea)，针对每一个有序序列，提取有序的元素二元组，如Header->Body,Body->Form,Label->TextArea等。对于训练集中的至少一部分用户界面布局包含的所有有序元素组，如果提取的有序元素二元组出现的次数超过预定阈值，则将该有序元素二元组记录为一个元素顺序规则。本领域技术人员可以理解，也可以提取多于两个元素的有序元素组，当该有序元素组出现的次数超过预定阈值时，则将该有序元素组记录为一个元素顺序规则。此外，容易理解，例如可以针对训练集中所有的用户界面布局进行上述提取元素顺序规则的操作。

通过图1所示的信息处理方法，可以得到一个训练好的用户界面布局模型，利用该用户界面布局模型可以对用户输入的待评估用户界面布局是否合理进行评估。

2.用于对用户界面布局进行评估的信息处理方法

图3示出了根据本发明的另一个实施例的用于对用户界面布局进行评估的信息处理方法300的示例性过程的流程图。下面将结合图3具体说明信息处理方法300的过程。

在步骤S302中，将表示待评估用户界面布局的待评估的元素序列输入预先训练的用户界面布局模型中进行检测以得到布局概率向量。例如，可以使用上述结合图1-2描述的实施例获得的用户界面布局模型。

其中，待评估的元素序列包括用于表达待评估用户界面布局的一组有序的用户界面元素，或将待评估用户界面布局图像(例如用户界面截屏图片或快照)分割的一组有序的用户界面元素，或在待评估用户界面布局对应的DOM树中以深度优先或广度优先遍历得到的一组有序的用户界面元素。

在一个示例中，将待评估的元素序列中的每个元素基于每个元素的特性(例如元素的类别、元素的高度和元素的宽度等)编码为向量；再将由所有编码的元素的向量组成的布局向量输入预先训练的用户界面布局模型进行检测。

编码后的元素序列表示一个用户界面布局，其中，编码后的每个元素由两部分组成。第一部分是一个独热编码向量，该向量的长度为所收集的用于训练用户界面布局模型的所有用户界面中的元素类别的总数，向量中只有该元素对应类别所在位置为1，其余位置为0。第二部分由元素的高度和宽度两个数值组成。两部分拼接成一个向量，作为每个元素的最终向量表示。将元素序列中所有元素的向量组合在一起，形成了待评估用户界面布局所对应的布局向量。

以上描述的提取表示待评估用户界面布局的待评估的元素序列、将待评估的元素序列中的各元素进行编码以组合成布局向量的处理，例如可以采用与上面结合图1-2描述的实施方式中相应处理的相同的方法来实现，具体细节不再赘述。

接着，在步骤S304中，当布局概率向量中的最大概率大于第二预定阈值时，认为待评估的元素序列是合理的。

具体来说，将代表待评估用户界面的待评估的元素序列输入用户界面布局模型，模型会对输入的待评估用户界面布局进行评估。对于待评估的用户界面元素序列，根据布局模型输出的布局概率向量，找出最大的概率值，如果该值大于一个预定阈值(如，0.6)，则认为输入的用户界面元素序列的顺序合理，因而认为待评估的用户界面布局是合理的。其中，预定阈值可以根据经验值或者有限次试验来设置。

在一个示例中，可以进一步将与最大概率值对应的用户界面布局推荐给用户作为待推荐的用户界面，用户可根据推荐的用户界面布局放置这组元素。

可选地，当布局概率向量中的所有概率值都小于预定阈值时，认为待评估的元素序列的顺序不合理。进一步地，可以并将待评估的元素序列按照预先设定的顺序规则进行重新排序。重新排序后的元素序列可以再次由布局模型评估，直到布局模型输出的布局概率向量中的最大概率值大于预定阈值。

通过以上参照图1-2所描述的实施方式中获得元素顺序规则的方法，可以获得一个元素顺序规则集合。对于需要进行重新排序的待评估的元素序列，逐一检查元素顺序规则集合中的每个规则，判断待评估的元素序列是否违反规则，若违反，则把不合规则的两个元素位置调换。例如Body->Header->Form->->Link->…违反了规则Header->Body，重排后元素序列变为Header->Body->Form->->Link->…。

图4A是由布局模型确定为待评估的元素序列中包含的元素的顺序不合理的用户界面布局的示意图，根据元素顺序规则对待评估的元素序列重新排序之后，得到的元素序列被布局模型评估为合理。进一步地，可以推荐与被评估为合理的图4B所示的用户界面布局的布局模型输出向量中最大概率值所对应的用户界面布局。

以上是以输入表示待评估用户界面布局的待评估的元素序列为例进行的说明，对于输入一个待评估的用户界面截屏图片或快照的情况，首先要对其进行分割，然后按照预先设定的顺序(例如从上到下、从左到右或者从下到上、从右到左等)对分割得到的元素进行排序以得到用户界面布局的待评估的元素序列，之后的处理与单独输入用户界面布局的待评估的元素序列时相同。

对于输入与待评估的用户界面布局对应的DOM树的情况下，首先在DOM树中以深度优先或广度优先进行遍历，得到用户界面布局的待评估的元素序列，之后的处理与单独输入用户界面布局的待评估的元素序列时相同。

本发明使用训练得到的布局模型可以评估用户界面是否合理，此外，还可以为设计不合理的用户界面推荐合理布局。通过布局模型，设计人员无需从零开始设计界面布局，将用户界面布局的显式设计规则通过循环神经网络表示成隐式规则后，也降低了规则提取对人工的依赖程度。

3.用于对用户界面布局进行评估的信息处理装置

图5是示出根据本发明的另一个实施例的用于对用户界面布局进行评估的信息处理装置500的示例性配置的框图。

如图5所示，信息处理装置500包括检测单元502和评估单元504。

检测单元502被配置为将表示待评估用户界面布局的待评估的元素序列输入预先训练的用户界面布局模型中进行检测以得到布局概率向量。

评估单元504被配置为当布局概率向量中的最大概率值大于第二预定阈值时，认为待评估的元素序列是合理的。

其中，待评估的元素序列包括用于表达待评估用户界面布局的一组有序的用户界面元素，或将待评估用户界面布局图像分割的一组有序的用户界面元素，或在待评估用户界面布局对应的DOM树中以深度优先或广度优先遍历得到的一组有序的用户界面元素。

在一个示例中，检测单元进一步被配置为将待评估的元素序列中的每个元素基于每个元素的特性(例如元素的类别、元素的高度和元素的宽度等)编码为向量；再将由所有编码的元素的向量组成的布局向量输入预先训练的用户界面布局模型。其中，每个元素对应的向量包括表示该元素的类别的独热向量和分别表示该元素的高度和该元素的宽度的两个数值。

图6是示出根据本发明的又一个实施例的用于对用户界面布局进行评估的信息处理装置600的示例性配置的框图。

在图6所示的示例中，信息处理装置600包括检测单元602、评估单元604、重排单元606和顺序确定单元608。检测单元602和评估单元604与参照图5描述的检测单元502和评估单元504的功能类似，在此不再赘述。

图6中所示出的重排单元606被配置为：当布局概率向量中的所有概率值都小于预定阈值时，认为待评估的元素序列不合理，将待评估的元素序列按照预先确定的顺序规则进行重新排序。例如可以通过下述的顺序规则确定单元608来建立顺序规则的集合。

顺序规则确定单元608被配置为：从表示训练集中的至少一部分用户界面的用户界面布局的元素序列中提取所有有序的包括两个或更多个元素的有序元素组；以及当一个有序元素组出现的总次数超过第一预定阈值，则将该有序元素组中的元素的顺序记录为一个顺序规则，其中，训练集中的用户界面是用于对所述用户界面布局模型进行训练的。容易理解，例如可以针对训练集中所有的用户界面布局进行上述提取元素顺序规则的操作。

图7是示出根据本发明的再一个实施例的用于对用户界面布局进行评估的信息处理装置700的示例性配置的框图。

在图7所示的示例中，信息处理装置700包括检测单元702、评估单元704、重排单元706、顺序确定单元708和推荐单元710。检测单元702、评估单元704、重排单元706、顺序确定单元708与参照图5描述的检测单元502和评估单元504以及参照图6描述的重排单元606和顺序确定单元608的功能类似，在此不再赘述。

图7中所示出的推荐单元710被配置为：将与布局概率向量中的最大概率值对应的用户界面布局确定作为待推荐的用户界面布局。

本领域技术人员可以理解，在本发明的再一个实施例中，信息处理装置700也可以不包括重排单元和顺序确定单元，而只包括检测单元、评估单元和推荐单元，在此不再赘述。

信息处理装置500、600和700的各个部分的操作和功能的细节例如可以与参照结合图1-4描述的本发明的用于训练用户界面布局模型的信息处理方法和用于对用户界面布局进行评估的信息处理方法的实施例的相关部分相同或类似，这里不再详细描述。

在此需要说明的是，图5-7所示的信息处理装置500、600和700及其组成单元的结构仅仅是示例性的，本领域技术人员可以根据需要对图5-7所示的结构框图进行修改。

图8示出了根据本发明实施例的结合用户界面布局模型的训练和用于评估用户界面的合理性并推荐用户界面布局三者的一个具体应用的示例的系统框图。本示例可以实现评估用户界面布局或一组用户界面布局元素的顺序的合理性并推荐合理的用户界面布局。

在图8的示例中，首先，获取包括布局良好的用户界面的训练集；针对训练集中的用户界面，根据元素在用于表达用户界面的源代码中的位置先后顺序，或者将用户界面的图像分割为一组元素、按照预先设定的顺序(例如，从左到右、从上到下或者从右到左、从下到上的顺序)，或者根据元素在用户界面对应的文档对象模型(DOM)树中以深度优先或广度优先遍历得到的顺序对元素排序，并将所有用户界面样本对应的有序的元素序列例如按照前面结合图1-2描述的实施例中的方法编码，然后输入神经网络。训练得到用户界面布局模型(802中的处理)。

在训练得到用户界面布局模型之后，可以例如按照前面结合图1-2描述的实施例中的方法从存储有训练集的布局数据库中针对训练集中的至少一部分用户界面布局或训练集中所有的用户界面布局提取元素顺序规则(804处的处理)。

在对待评估用户界面布局进行评估的处理中，可以输入表示待评估用户界面布局的待评估的元素序列到用户界面布局模型，得到关于该输入是否合理的评估结论，如果合理，则推荐用户界面布局模型输出的用户界面布局(806处的处理)。

如果评估结果是不合理的，则对该元素序列重新进行排序(808处的处理)，直到重新排序的元素序列被用户界面布局模型评估为合理，再在806处推荐用户界面布局。

对于输入一个待评估的用户界面图像(截屏图片或快照)的情况，首先要对其进行分割，按照预先设定的顺序(例如从上到下、从左到右或者从下到上、从右到左等)对分割得到的元素进行排序，得到待评估的元素序列，之后的处理与输入表示待评估用户界面布局的待评估的元素序列时相同，在此不再赘述。

容易理解，在输入是与待评估的用户界面布局对应的DOM树的情况下，首先在DOM树中以深度优先或广度优先进行遍历，得到用户界面布局的待评估的元素序列，之后的处理与输入表示待评估用户界面布局的待评估的元素序列时相同，在此不再赘述。

虽然图8的示例结合了训练用户界面布局模型、确定待评估用户界面布局是否合理以及推荐布局良好的用户界面布局，但是本领域技术人员容易理解，以上各功能都可以独立存在和实施，并能带来各自的技术益处。

4.用以实施本申请的方法和装置的计算设备

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

在通过软件和/或固件实现本发明的实施例的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图9所示的通用计算机900安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。

在图9中，中央处理单元(CPU)901根据只读存储器(ROM)902中存储的程序或从存储部分908加载到随机存取存储器(RAM)903的程序执行各种处理。在RAM 903中，也根据需要存储当CPU 901执行各种处理等等时所需的数据。CPU 901、ROM 902和RAM 903经由总线904彼此链路。输入/输出接口905也链路到总线904。

下述部件链路到输入/输出接口905：输入部分906(包括键盘、鼠标等等)、输出部分907(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分908(包括硬盘等)、通信部分909(包括网络接口卡比如LAN卡、调制解调器等)。通信部分909经由网络比如因特网执行通信处理。根据需要，驱动器910也可链路到输入/输出接口905。可拆卸介质911比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器910上，使得从中读出的计算机程序根据需要被安装到存储部分908中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质911安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图9所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质911。可拆卸介质911的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 902、存储部分908中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等。

本领域的普通技术人员应理解，在此所例举的是示例性的，本发明并不局限于此。

在本说明书中，“第一”、“第二”以及“第N个”等表述是为了将所描述的特征在文字上区分开，以清楚地描述本发明。因此，不应将其视为具有任何限定性的含义。

作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合，并作为相应设备中的一部分。上述装置中各个组成模块、单元通过软件、固件、硬件或其组合的方式进行配置时可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。

在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其他实施方式中使用，与其他实施方式中的特征相组合，或替代其他实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其他特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。

基于以上的说明，可知公开至少公开了以下技术方案但不限于此：

附记1、一种信息处理方法，包括：

收集布局良好的用户界面作为训练集；

从训练集中的每个用户界面提取表示用户界面布局的有预定顺序的元素以形成元素序列；以及

将所述元素序列输入神经网络进行训练来得到用户界面布局模型。

2、根据附记1所述的方法，其中，从包括布局良好的用户界面的训练集中的每个用户界面提取表示用户界面布局的有预定顺序的元素以形成元素序列包括：

解析用于表达所述用户界面的源代码，按照所有元素在用于表达所述用户界面的源代码中的位置先后顺序来得到所述元素序列；和/或

将所述用户界面的图像分割为一组元素，按照预先设定的顺序对所有元素进行排序来得到所述元素序列；和/或

根据元素在所述用户界面对应的DOM树中以深度优先或广度优先遍历得到的顺序来得到所述元素序列。

3、根据附记2所述的方法，其中，将所述元素序列输入神经网络进行训练来得到用户界面布局模型包括：

将所述元素序列中的每个元素基于每个元素的特性编码为向量，其中，所述特性包括元素的类别、元素的高度和元素的宽度；以及

将由所有编码的元素的向量组成的布局向量作为所述神经网络的输入进行训练，其中，每个所述向量包括表示该元素的类别的独热向量和分别表示该元素的高度和该元素的宽度的两个数值。

4、根据附记3所述的方法，其中，所述独热向量的长度为所收集的所有用户界面中的元素类别的总数。

5、根据附记1所述的方法，其中，所述神经网络为循环神经网络。

6、根据附记1所述的方法，还包括从所述训练集中提取元素的顺序规则，包括：

从所述训练集中的至少一部分用户界面对应的元素序列中提取所有有序的包括两个或更多个元素的有序元素组；以及

当一个有序元素组出现的总次数超过第一预定阈值，则将该有序元素组中的元素的顺序记录为一个顺序规则。

7、一种信息处理方法，包括：

将表示待评估用户界面布局的待评估的元素序列输入预先训练的用户界面布局模型中进行检测以得到布局概率向量；以及

当所述布局概率向量中的最大概率值大于第二预定阈值时，认为待评估的元素序列是合理的。

8、根据附记7所述的方法，其中，

所述待评估的元素序列包括用于表达待评估用户界面布局的一组有序的用户界面元素，或将待评估用户界面布局图像分割的一组有序的用户界面元素，或在待评估用户界面布局对应的DOM树中以深度优先或广度优先遍历得到的一组有序的用户界面元素。

9、根据附记7所述的方法，其中，将表示待评估用户界面的待评估的元素序列输入预先训练的用户界面布局模型中进行检测以得到布局概率向量包括：

将所述待评估的元素序列中的每个元素基于每个元素的特性编码为向量，其中，所述特性包括元素的类别、元素的高度和元素的宽度；以及

将由所有编码的元素的向量组成的布局向量输入所述用户界面布局模型进行检测，其中，每个所述向量包括表示该元素的类别的独热向量和分别表示该元素的高度和该元素的宽度的两个数值。

10、根据附记7所述的方法，还包括：当所述布局概率向量中的所有概率值都小于第二预定阈值时，认为待评估的元素序列不合理，将所述待评估的元素序列按照预先确定的顺序规则进行重新排序。

11、根据附记10所述的方法，所述顺序规则通过以下步骤确定：

从表示训练集中的至少一部分用户界面的用户界面布局的元素序列中提取所有有序的包括两个或更多个元素的有序元素组；以及

当一个有序元素组出现的总次数超过第一预定阈值，则将该有序元素组中的元素的顺序记录为一个顺序规则，

其中，所述训练集中的用户界面是用于对所述用户界面布局模型进行训练的。

12、根据附记7所述的方法，还包括：将与所述布局概率向量中的最大概率值对应的用户界面布局确定作为待推荐的用户界面。

13、一种信息处理装置，包括：

检测单元，被配置为将表示待评估用户界面布局的待评估的元素序列输入预先训练的用户界面布局模型中进行检测以得到布局概率向量；以及

评估单元，被配置为当所述布局概率向量中的最大概率值大于第二预定阈值时，认为待评估的元素序列是合理的。

14、根据附记13所述的装置，其中，

所述待评估的元素序列包括用于表达待评估用户界面布局的一组有序的用户界面元素，或将待评估用户界面布局图像分割的一组有序的用户界面元素，或在待评估用户界面布局对应的DOM树中以深度优先或广度优先遍历得到的一组有序的用户界面元素。

15、根据附记13所述的装置，所述检测单元进一步被配置为:

将所述待评估的元素序列中的每个元素基于每个元素的特性编码为向量，其中，所述特性包括元素的类别、元素的高度和元素的宽度；以及

将由所有编码的元素的向量组成的布局向量输入所述用户界面布局模型进行检测，其中，每个所述向量包括表示该元素的类别的独热向量和分别表示该元素的高度和该元素的宽度的两个数值。。

16、根据附记13所述的装置，还包括重排单元，被配置为：当所述布局概率向量中的所有概率值都小于第二预定阈值时，认为待评估的元素序列不合理，将所述待评估的元素序列按照预先确定的顺序规则进行重新排序。

17、根据附记16所述的装置，还包括顺序规则确定单元，被配置为：

从表示训练集中的至少一部分用户界面的用户界面布局的元素序列中提取所有有序的包括两个或更多个元素的有序元素组；以及

当一个有序元素组出现的总次数超过第一预定阈值，则将该有序元素组中的元素的顺序记录为一个顺序规则，

其中，所述训练集中的用户界面是用于对所述用户界面布局模型进行训练的。

18、根据附记13所述的装置，还包括推荐单元，被配置为：将与所述布局概率向量中的最大概率值对应的用户界面布局确定作为待推荐的用户界面。

Claims (10)

1.一种信息处理方法，包括：

收集布局良好的用户界面作为训练集；

从训练集中的每个用户界面提取表示用户界面布局的有预定顺序的元素以形成元素序列；以及

将所述元素序列输入神经网络进行训练来得到用户界面布局模型。

2.根据权利要求1所述的方法，其中，从包括布局良好的用户界面的训练集中的每个用户界面提取表示用户界面布局的有预定顺序的元素以形成元素序列包括：

解析用于表达所述用户界面的源代码，按照所有元素在用于表达所述用户界面的源代码中的位置先后顺序来得到所述元素序列；和/或

将所述用户界面的图像分割为一组元素，按照预先设定的顺序对所有元素进行排序来得到所述元素序列；和/或

根据元素在所述用户界面对应的DOM树中以深度优先或广度优先遍历得到的顺序来得到所述元素序列。

3.根据权利要求2所述的方法，其中，将所述元素序列输入神经网络进行训练来得到用户界面布局模型包括：

将所述元素序列中的每个元素基于每个元素的特性编码为向量，其中，所述特性包括元素的类别、元素的高度和元素的宽度；以及

将由所有编码的元素的向量组成的布局向量作为所述神经网络的输入进行训练，其中，每个所述向量包括表示该元素的类别的独热向量和分别表示该元素的高度和该元素的宽度的两个数值。

4.根据权利要求1所述的方法，还包括从所述训练集中提取元素的顺序规则，包括：

从所述训练集中的至少一部分用户界面对应的元素序列中提取所有有序的包括两个或更多个元素的有序元素组；以及

当一个有序元素组出现的总次数超过第一预定阈值，则将该有序元素组中的元素的顺序记录为一个顺序规则。

5.一种信息处理方法，包括：

将表示待评估用户界面布局的待评估的元素序列输入预先训练的用户界面布局模型中进行检测以得到布局概率向量；以及

当所述布局概率向量中的最大概率值大于第二预定阈值时，认为待评估的元素序列是合理的。

6.根据权利要求5所述的方法，其中，

所述待评估的元素序列包括用于表达待评估用户界面布局的一组有序的用户界面元素，或将待评估用户界面布局图像分割的一组有序的用户界面元素，或在待评估用户界面布局对应的DOM树中以深度优先或广度优先遍历得到的一组有序的用户界面元素。

7.根据权利要求5所述的方法，其中，将表示待评估用户界面布局的待评估的元素序列输入预先训练的用户界面布局模型中进行检测以得到布局概率向量包括：

将所述待评估的元素序列中的每个元素基于每个元素的特性编码为向量，其中，所述特性包括元素的类别、元素的高度和元素的宽度；以及

将由所有编码的元素的向量组成的布局向量输入所述用户界面布局模型进行检测，其中，每个所述向量包括表示该元素的类别的独热向量和分别表示该元素的高度和该元素的宽度的两个数值。

8.根据权利要求5所述的方法，还包括：当所述布局概率向量中的所有概率值都小于第二预定阈值时，认为待评估的元素序列不合理，将所述待评估的元素序列按照预先确定的顺序规则进行重新排序。

9.根据权利要求8所述的方法，所述顺序规则通过以下步骤确定：

从表示训练集中的至少一部分用户界面的用户界面布局的元素序列中提取所有有序的包括两个或更多个元素的有序元素组；以及

当一个有序元素组出现的总次数超过第一预定阈值，则将该有序元素组中的元素的顺序记录为一个顺序规则，

其中，所述训练集中的用户界面是用于对所述用户界面布局模型进行训练的。

10.一种信息处理装置，包括：

检测单元，被配置为将表示待评估用户界面布局的待评估的元素序列输入预先训练的用户界面布局模型中进行检测以得到布局概率向量；以及

评估单元，被配置为当所述布局概率向量中的最大概率值大于第二预定阈值时，认为待评估的元素序列是合理的。