CN109461153B - 数据处理方法和装置 - Google Patents

Abstract

本公开提供了一种数据处理方法，包括：获取用户界面图像；确定所述用户界面图像的图像特征；基于所述图像特征通过神经网络获得所述用户界面图像的评估数据。本公开还提供了一种数据处理装置、一种计算机系统以及一种计算机可读存储介质。

Description

数据处理方法和装置

技术领域

本公开涉及一种数据处理方法和一种数据处理装置。

背景技术

随着信息技术和网络技术的快速发展，各种各样的电子设备广泛地应用于生活和工作等诸多场景，各种各样的应用也相继而生。目前的应用程序通常采用用户界面的交互方式与用户进行交互。而应用程序在开发过程中，通常需要对用户界面进行测试和评估。

在实现本公开构思的过程中，发明人发现现有技术中至少存在如下问题，即，现有技术通常由测试人员人工地测试和评估用户界面，然而，一个应用程序中可能存在很多个交互界面，由测试人员人工地评估用户界面则会导致大量人力物力的投入，成本高，效率低。

发明内容

本公开的一个方面提供了一种数据处理方法，包括：获取用户界面图像，确定所述用户界面图像的图像特征，以及基于所述图像特征通过神经网络获得所述用户界面图像的评估数据。

可选地，上述确定所述用户界面图像的图像特征，包括：提取所述用户界面图像中的至少一个特征点。上述方法还包括：确定所述至少一个特征点分别对应的标记类型。上述基于所述图像特征通过神经网络获得所述用户界面图像的评估数据，包括：基于所述至少一个特征点的位置信息和对应的标记类型通过第一神经网络获得所述用户界面图像的评估数据。

可选地，上述提取所述用户界面图像中的至少一个特征点，包括：通过尺度不变特征变化SIFT算法提取所述用户界面图像中的至少一个特征点。上述确定所述至少一个特征点分别对应的标记类型，包括：基于所述用户界面图像和所述至少一个特征点通过第二神经网络确定所述至少一个特征点对应的标记类型。

可选地，上述标记类型包括标签类型、按键类型、导航栏类型或图标类型。上述评估数据包括第一评估数据和第二评估数据，所述第一评估数据表征所述用户界面图像符合布局规范，所述第二评估数据表征所述用户界面图像不符合布局规范。

可选地，上述确定所述用户界面图像的图像特征，包括：提取所述用户界面图像的颜色特征。上述基于所述图像特征通过神经网络获得所述用户界面图像的评估数据，包括：基于所述颜色特征通过第三神经网络获得所述用户界面图像的第三评估数据，其中，所述第三评估数据表征所述用户界面图像的颜色的用户喜爱程度。

可选地，上述第三神经网络是通过多个图像的颜色特征和所述多个图像对应的用户评分训练得到的。

可选地，上述提取所述用户界面图像的颜色特征，包括：提取所述用户界面图像的特定像素点的RGB颜色矩阵。

可选地，上述确定所述用户界面图像的图像特征，包括：提取所述用户界面图像中的至少一个特征点。上述基于所述图像特征通过神经网络获得所述用户界面图像的评估数据，包括：基于所述至少一个特征点通过第四神经网络获得所述用户界面图像的第四评估数据，其中，所述第四评估数据表征所述用户界面图像的布局的用户喜爱程度。

可选地，上述第四神经网络是通过多个图像的特征点和所述多个图像对应的用户评分训练得到的。

本公开的另一个方面提供了一种数据处理装置，包括获取模块、第一确定模块和获得模块。其中，获取模块获取用户界面图像。第一确定模块确定所述用户界面图像的图像特征。获得模块基于所述图像特征通过神经网络获得所述用户界面图像的评估数据。

可选地，上述确定所述用户界面图像的图像特征，包括：提取所述用户界面图像中的至少一个特征点。上述装置还包括：第二确定模块，确定所述至少一个特征点分别对应的标记类型。上述基于所述图像特征通过神经网络获得所述用户界面图像的评估数据，包括：基于所述至少一个特征点的位置信息和对应的标记类型通过第一神经网络获得所述用户界面图像的评估数据。

可选地，上述提取所述用户界面图像中的至少一个特征点，包括：通过尺度不变特征变化SIFT算法提取所述用户界面图像中的至少一个特征点。上述确定所述至少一个特征点分别对应的标记类型，包括：基于所述用户界面图像和所述至少一个特征点通过第二神经网络确定所述至少一个特征点对应的标记类型。

可选地，上述标记类型包括标签类型、按键类型、导航栏类型或图标类型。上述评估数据包括第一评估数据和第二评估数据，所述第一评估数据表征所述用户界面图像符合布局规范，所述第二评估数据表征所述用户界面图像不符合布局规范。

可选地，上述确定所述用户界面图像的图像特征，包括：提取所述用户界面图像的颜色特征。上述基于所述图像特征通过神经网络获得所述用户界面图像的评估数据，包括：基于所述颜色特征通过第三神经网络获得所述用户界面图像的第三评估数据，其中，所述第三评估数据表征所述用户界面图像的颜色的用户喜爱程度。

可选地，上述第三神经网络是通过多个图像的颜色特征和所述多个图像对应的用户评分训练得到的。

可选地，上述提取所述用户界面图像的颜色特征，包括：提取所述用户界面图像的特定像素点的RGB颜色矩阵。

可选地，上述确定所述用户界面图像的图像特征，包括：提取所述用户界面图像中的至少一个特征点。上述基于所述图像特征通过神经网络获得所述用户界面图像的评估数据，包括：基于所述至少一个特征点通过第四神经网络获得所述用户界面图像的第四评估数据，其中，所述第四评估数据表征所述用户界面图像的布局的用户喜爱程度。

可选地，上述第四神经网络是通过多个图像的特征点和所述多个图像对应的用户评分训练得到的。

本公开的另一方面提供了一种计算机系统，包括：一个或多个存储器，存储有可执行指令，以及一个或多个处理器，执行所述可执行指令，以实现如上所述的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1A和1B示意性示出了根据本公开实施例的数据处理方法和装置的应用场景；

图2示意性示出了根据本公开实施例的数据处理方法的流程图；

图3示意性示出了根据本公开一实施例的数据处理方法的流程图；

图4示意性示出了根据本公开又一实施例的数据处理方法的流程图；

图5示意性示出了根据本公开再一实施例的数据处理方法的流程图；

图6示意性示出了根据本公开实施例的数据处理装置的框图；以及

图7示意性示出了根据本公开实施例的计算机系统的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

本公开的实施例提供了一种数据处理方法，包括：获取用户界面图像，确定用户界面图像的图像特征，以及基于图像特征通过神经网络获得用户界面图像的评估数据。

图1A和1B示意性示出了根据本公开实施例的数据处理方法和装置的应用场景。

如图1A和1B所示，该应用场景包括用户界面100，用户界面100例如可以是任意应用、网页或者系统的交互界面。用户界面100可以通过电子设备的显示屏进行显示，从而实现与用户的交互。

根据本公开实施例，用户界面100例如可以包括输入框、按钮、导航栏、图标等部分。可以理解，本公开实施例不限定用户界面100的构成，本领域技术人员可以根据实际需要进行设计。

在用户界面的开发过程中，通常需要对用户界面进行测试和评估，例如，测试用户界面的布局是否符合规范等。

例如，在本公开实施例中，如图1A所示的用户界面通常可以认为是符合布局规范的用户界面。例如，图1A中的各部分彼此不覆盖，属于同一行的内容对其等。如图1B所示的用户界面通常认为是不符合布局规范的用户界面。例如，图1B中的虚线框110中的部分没有对其，虚线框120中的两个部分存在重叠覆盖问题。

可以理解，一个应用程序或者一个网页中可能存在很多个用户界面，而现有技术在开发测试中，通常由测试人员人工测试和评估用户界面是否符合布局规范等，而由测试人员人工地评估用户界面则会导致大量人力物力的投入，成本高，效率低。

有鉴于此，本公开实施例提供了一种数据处理方法，可以通过获取用户界面的图像特征，基于用户界面的图像特征通过神经网络获得该用户界面的评估数据，从而可以减少人力劳动，降低成本，提高效率。

需要注意的是，图1A和1B所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

图2示意性示出了根据本公开实施例的数据处理方法的流程图。

如图2所示，该方法包括操作S201～S203。

在操作S201，获取用户界面图像。

在操作S202，确定用户界面图像的图像特征。

在操作S203，基于图像特征通过神经网络获得用户界面图像的评估数据。

根据本公开实施例，可以获取图像形式的用户界面。例如，可以通过截屏或者拍摄等方式获取用户界面图像。例如，可以获取需要进行评估测试的用户界面的图像。

在本公开实施例中，可以提取用户界面图像的图像特征，基于图像特征通过神经网络获得用户界面的评估数据。

例如，可以提取用户界面图像上的特征点，将特征点输入至训练好的神经网络中，可以得到用户界面的布局是否符合布局规范的评估数据。

又例如，可以提取用户界面图像的颜色特征，将颜色特征输入至训练好的神经网络中，可以得到用户界面的颜色受用户喜爱程度的评估数据。

再例如，可以提取用户界面图像上的特征点，将特征点输入至训练好的神经网络中，可以得到用户界面图的布局受用户喜爱程度的评估数据。

本公开实施例可以通过神经网络实现对用户界面的各个方向的评估，从而开发人员可以参考评估结果修改完善用户界面，减少了人为的参与，节约成本，提高效率。

并且，本公开实施例通过用户界面的不同特征获得不同方向的评估数据，可以减小用户界面的粒度，从而可以为开发人员在哪个方向上修改用户界面提供更加细致的参考。

下面参考图3～图5，结合具体实施例对图2所示的方法做进一步说明。

图3示意性示出了根据本公开一实施例的数据处理方法的流程图。

如图3所示，该方法包括操作S201以及S301～S303。其中，操作S201与上述参考图2描述的方法相同或类似，在此不再赘述。

在操作S301，提取用户界面图像中的至少一个特征点。

在操作S302，确定至少一个特征点分别对应的标记类型。

在操作S303，基于至少一个特征点的位置信息和对应的标记类型通过第一神经网络获得用户界面图像的评估数据。

根据本公开实施例，可以通过尺度不变特征变化SIFT算法提取用户界面图像中的至少一个特征点。例如，可以通过SIFT算法提取用户界面图像中的全部特征点，然后可以通过连续高斯模糊计算得到关键点。

在本公开实施例中，在获得图像的特征点时可以同时获得每个特征点对应的位置信息。例如，可以通过坐标(x，y)表示特征点的位置信息。

根据本公开实施例，在提取出图像特征点后，需要对提取到的特征点进行打标，确定每个特征点对应的标记类型。例如，可以基于用户界面图像和提取到的至少一个特征点通过第二神经网络确定该至少一个特征点对应的标记类型。

在本公开实施例中，标记类型例如可以包括标签类型(Label)、按键类型(Button)、导航栏类型(Navigation Bar)或者图标类型(Icon)等等。可以理解，本公开实施例不限定标记类型的种类和个数，本领域技术人员可以根据用户界面的实际构成确定标记类型。

根据本公开实施例，可以通过训练数据对第二神经网络进行训练。训练数据例如可以包括多个用户界面图像、各图像的特征点，以及每个特征点对应的标记类型。例如，第二神经网络的输入数据可以包括用户界面图像及其对应的多个特征点，输出数据可以为每个特征点对应的标记类型。

其中，在第二神经网络的训练的过程中，可以先人为对训练数据中的特征点进行打标处理。例如，用户界面上的特征点1为属于标签位置处的特征点，则将特征点1标记为标签类型。从而训练好的第二神经网络可以用于基于图像和图像的特征点获得每个特征点所对应的标记类型。

在本公开实施例中，可以基于提取到的特征点的位置信息和对应的标记类型通过第一神经网络获得用户界面图像的评估数据。其中，评估数据包括第一评估数据和第二评估数据，第一评估数据可以表征用户界面图像符合布局规范，第二评估数据可以表征用户界面图像不符合布局规范。

在本公开实施例中，可以通过两组训练数据对第一神经网络进行训练，第一组为已知的符合布局规范的用户界面图像，第二组为已知的不符合布局规范的用户界面图像。例如，第一神经网络的输入数据可以包括用户界面图像的特征点的位置信息及其对应的标记类型，输出数据例如可以是0或1，其中，0可以表示该用户界面图像不符合布局规范，1可以标识该用户界面图像符合布局规范。

可以理解，第一神经网络也可以为精度更高一些的神经网络，例如，输出数据可以是0到100的分值，从而在分值低于60分时，可以提示开发人员当前用户界面存在明显缺陷。

本公开实施例可以通过第一神经网络和第二神经网络对用户界面图像的布局进行评估，具有更好的时效性，并且相比于人工评估具有更高的效率和更低的成本。本公开实施例通过用户界面图像的特征点以及特征点对应的标记作为第一神经网络的输入数据对用户界面的布局进行评估可以提高评估的准确性，减少第一神经网络的计算量。

图4示意性示出了根据本公开又一实施例的数据处理方法的流程图。

如图4所示，该方法包括操作S201以及S401～S402。其中，操作S201与上述参考图2描述的方法相同或类似，在此不再赘述。

在操作S401，提取用户界面图像的颜色特征。

在操作S402，基于颜色特征通过第三神经网络获得用户界面图像的第三评估数据，其中，第三评估数据表征用户界面图像的颜色的用户喜爱程度。

根据本公开实施例，可以提取用户界面图像的特定像素点的RGB颜色矩阵。例如，可以提取用户界面图像的全部像素点的RGB矩阵。或者，也可以通过高斯卷积得到用户界面图像的128个像素点。在本公开实施例中，可以将用户界面图像输入至特征提取系统中，得到128*3的颜色矩阵的输出数据。

在本公开实施例中，第三神经网络可以是通过多个图像的颜色特征和多个图像对应的用户评分训练得到的。其中，用户评分例如可以是通过NLP方法分析用户针对某个用户界面的评价获得的用户评分。用户评分也可以通过针对某个用户界面的点赞用户数量和浏览用户数量的比值确定。

根据本公开实施例，第三神经网络的输入数据可以是用户界面图像的颜色特征，输出数据例如可以是分值数据。分值数据越高可以表明用户对该用户界面的颜色的喜爱程度越高。

本公开实施例可以通过第三神经网络对用户界面图像的颜色的受用户喜爱程度进行评估，从而可以为开发人员提供参考信息，开发人员可以根据当前的评估结果修改或者调整用户界面的颜色。

图5示意性示出了根据本公开再一实施例的数据处理方法的流程图。

如图5所示，该方法包括操作S201以及S501～S502。其中，操作S201与上述参考图2描述的方法相同或类似，在此不再赘述。

在操作S501，提取用户界面图像中的至少一个特征点。

在操作S502，基于至少一个特征点通过第四神经网络获得用户界面图像的第四评估数据，其中，第四评估数据表征用户界面图像的布局的用户喜爱程度。

根据本公开实施例，可以通过尺度不变特征变化SIFT算法提取用户界面图像中的至少一个特征点。例如，可以通过SIFT算法提取用户界面图像中的全部特征点，还可以通过连续高斯模糊计算得到关键点。

在本公开实施例中，在获得图像的特征点时可以同时获得每个特征点对应的位置信息。例如，可以通过坐标(x，y)表示特征点的位置信息。

在本公开实施例中，第四神经网络可以是通过多个图像的特征点和多个图像对应的用户评分训练得到的。其中，用户评分例如可以是通过NLP方法分析用户针对某个用户界面的评价获得的用户评分。用户评分也可以通过针对某个用户界面的点赞用户数量和浏览用户数量的比值确定。

根据本公开实施例，第四神经网络的输入数据可以是用户界面图像的特征点(包括位置信息)，输出数据例如可以是分值数据。分值数据越高可以表明用户对该用户界面的布局的喜爱程度越高。

本公开实施例可以通过第四神经网络对用户界面图像的布局的受用户喜爱程度进行评估，从而可以为开发人员提供参考信息，开发人员可以根据当前的评估结果修改或者调整用户界面的布局。

图6示意性示出了根据本公开实施例的数据处理装置600的框图。

如图6所示，该数据处理装置600包括获取模块610、确定模块620和获得模块630。

获取模块610获取用户界面图像。

确定模块620确定用户界面图像的图像特征。

获得模块630基于图像特征通过神经网络获得所述用户界面图像的评估数据。

根据本公开实施例，确定用户界面图像的图像特征可以包括：提取所述用户界面图像中的至少一个特征点。

根据本公开实施例，数据处理装置600还可以包括：第二确定模块(图中未示)，确定至少一个特征点分别对应的标记类型。

根据本公开实施例，基于图像特征通过神经网络获得用户界面图像的评估数据可以包括：基于至少一个特征点的位置信息和对应的标记类型通过第一神经网络获得用户界面图像的评估数据。

根据本公开实施例，提取用户界面图像中的至少一个特征点可以包括：通过尺度不变特征变化SIFT算法提取用户界面图像中的至少一个特征点。

根据本公开实施例，确定至少一个特征点分别对应的标记类型可以包括：基于用户界面图像和至少一个特征点通过第二神经网络确定至少一个特征点对应的标记类型。

根据本公开实施例，标记类型可以包括标签类型、按键类型、导航栏类型或图标类型。

根据本公开实施例，评估数据可以包括第一评估数据和第二评估数据，第一评估数据可以表征用户界面图像符合布局规范，第二评估数据可以表征用户界面图像不符合布局规范。

根据本公开实施例，确定用户界面图像的图像特征可以包括：提取所述用户界面图像的颜色特征。

根据本公开实施例，基于图像特征通过神经网络获得用户界面图像的评估数据可以包括：基于颜色特征通过第三神经网络获得用户界面图像的第三评估数据，其中，第三评估数据表征用户界面图像的颜色的用户喜爱程度。

根据本公开实施例，第三神经网络可以是通过多个图像的颜色特征和多个图像对应的用户评分训练得到的。

根据本公开实施例，提取用户界面图像的颜色特征可以包括：提取用户界面图像的特定像素点的RGB颜色矩阵。

根据本公开实施例，确定用户界面图像的图像特征可以包括：提取用户界面图像中的至少一个特征点。

根据本公开实施例，基于图像特征通过神经网络获得用户界面图像的评估数据可以包括：基于至少一个特征点通过第四神经网络获得用户界面图像的第四评估数据，其中，第四评估数据表征用户界面图像的布局的用户喜爱程度。

根据本公开实施例，第四神经网络可以是通过多个图像的特征点和多个图像对应的用户评分训练得到的。

根据本公开实施例，如图6所示的数据处理装置例如可以实现上文参考图2～图5描述的方法，在此不再赘述。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，获取模块610、确定模块620和获得模块630中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获取模块610、确定模块620和获得模块630中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块610、确定模块620和获得模块630中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图7示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的方框图。图7示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括处理器710、计算机可读存储介质720。该计算机系统700可以执行根据本公开实施例的方法。

具体地，处理器710例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器710还可以包括用于缓存用途的板载存储器。处理器710可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质720，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。

计算机可读存储介质720可以包括计算机程序721，该计算机程序721可以包括代码/计算机可执行指令，其在由处理器710执行时使得处理器710执行根据本公开实施例的方法或其任何变形。

计算机程序721可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序721中的代码可以包括一个或多个程序模块，例如包括721A、模块721B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器710执行时，使得处理器710可以执行根据本公开实施例的方法或其任何变形。

根据本发明的实施例，获取模块610、确定模块620和获得模块630中的至少一个可以实现为参考图6描述的计算机程序模块，其在被处理器710执行时，可以实现上面描述的相应操作。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (9)

1.一种数据处理方法，包括：

获取用户界面图像；

确定所述用户界面图像的图像特征，包括：提取所述用户界面图像中的至少一个特征点；

确定所述至少一个特征点分别对应的标记类型，包括：基于所述用户界面图像和所述至少一个特征点通过第二神经网络确定所述至少一个特征点对应的标记类型；其中，所述标记类型包括标签类型、按键类型、导航栏类型或图标类型；

基于所述至少一个特征点的位置信息和对应的标记类型通过第一神经网络获得所述用户界面图像的评估数据。

2.根据权利要求1所述的方法，其中：

所述提取所述用户界面图像中的至少一个特征点，包括：

通过尺度不变特征变化SIFT算法提取所述用户界面图像中的至少一个特征点。

3.根据权利要求1所述的方法，其中：

所述评估数据包括第一评估数据和第二评估数据，所述第一评估数据表征所述用户界面图像符合布局规范，所述第二评估数据表征所述用户界面图像不符合布局规范。

4.根据权利要求1所述的方法，其中：

所述确定所述用户界面图像的图像特征，包括：

提取所述用户界面图像的颜色特征；

所述基于所述图像特征通过神经网络获得所述用户界面图像的评估数据，包括：

基于所述颜色特征通过第三神经网络获得所述用户界面图像的第三评估数据，其中，所述第三评估数据表征所述用户界面图像的颜色的用户喜爱程度。

5.根据权利要求4所述的方法，其中，所述第三神经网络是通过多个图像的颜色特征和所述多个图像对应的用户评分训练得到的。

6.根据权利要求4所述的方法，其中，所述提取所述用户界面图像的颜色特征，包括：

提取所述用户界面图像的特定像素点的RGB颜色矩阵。

7.根据权利要求1所述的方法，其中，所述基于所述图像特征通过神经网络获得所述用户界面图像的评估数据，包括：

基于所述至少一个特征点通过第四神经网络获得所述用户界面图像的第四评估数据，其中，所述第四评估数据表征所述用户界面图像的布局的用户喜爱程度。

8.根据权利要求7所述的方法，其中，所述第四神经网络是通过多个图像的特征点和所述多个图像对应的用户评分训练得到的。

9.一种数据处理装置，包括：

获取模块，获取用户界面图像；

第一确定模块，确定所述用户界面图像的图像特征，包括：提取所述用户界面图像中的至少一个特征点；

第二确定模块，确定所述至少一个特征点分别对应的标记类型，包括：基于所述用户界面图像和所述至少一个特征点通过第二神经网络确定所述至少一个特征点对应的标记类型；其中，所述标记类型包括标签类型、按键类型、导航栏类型或图标类型；

获得模块，基于所述至少一个特征点的位置信息和对应的标记类型通过第一神经网络获得所述用户界面图像的评估数据。

Images