CN118193115A - 用户界面测评方法、装置、设备及存储介质 - Google Patents
用户界面测评方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN118193115A CN118193115A CN202410530817.3A CN202410530817A CN118193115A CN 118193115 A CN118193115 A CN 118193115A CN 202410530817 A CN202410530817 A CN 202410530817A CN 118193115 A CN118193115 A CN 118193115A
- Authority
- CN
- China
- Prior art keywords
- user interface
- interface design
- analysis result
- design
- draft
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 78
- 238000013461 design Methods 0.000 claims abstract description 335
- 238000004458 analytical method Methods 0.000 claims abstract description 159
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 239000003795 chemical substances by application Substances 0.000 claims description 127
- 238000000034 method Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 25
- 238000012986 modification Methods 0.000 claims description 16
- 230000004048 modification Effects 0.000 claims description 16
- 239000002245 particle Substances 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 6
- 238000012550 audit Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004573 interface analysis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/20—Software design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/38—Creation or generation of source code for implementing user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种用户界面测评方法、装置、设备及存储介质，涉及计算机技术领域，首先获取待测评的用户界面设计稿，而后提取设计稿涉及的图层树结构的各个节点中的层叠样式表属性数据，生成设计稿的结构化文本，以便调用智能体依据结构化文本确定设计稿内容，相较于从图像化的用户界面设计稿中识别设计稿的图像特征进行测评的方案，本申请测评用户界面设计稿的依据更为直接客观；后续调用不同关注侧重的多个智能体共同测评，细节智能体以较小视野分析结构化文本，以测评设计稿细节，全局智能体以较大视野分析结构化文本，以测评设计稿整体，平衡智能体综合两智能体的分析结果，生成综合分析结果，最终实现了更加快速和客观的用户界面测评任务。
Description
技术领域
本申请涉及计算机技术领域，更具体的说，是涉及一种用户界面测评方法、装置、设备及存储介质。
背景技术
当前，为确保产品或服务的用户界面（User Interface，UI）满足用户需求、易于使用并能够提供较好的用户体验，在用户界面设计师完成用户界面之后，通常需要专家设计师审阅用户界面设计稿，并基于视觉设计走查表进行评价，该种审阅方式依赖于专家设计师，需要花费大量的时间和人力资源。
因此，如何实现对用户界面测评任务，成为本领域技术人员亟需解决的问题。
发明内容
鉴于上述问题，提出了本申请以便提供一种用户界面测评方法、装置、设备及存储介质，以实现对用户界面测评任务。
具体方案如下：
第一方面，提供了一种用户界面测评方法，包括：
获取待测评的用户界面设计稿涉及的图层树结构；
提取所述图层树结构的各个节点中的层叠样式表属性数据，生成所述用户界面设计稿的结构化文本；
调用预训练的细节智能体，分析所述用户界面设计稿的结构化文本，生成所述用户界面设计稿对应的细节分析结果，所述细节分析结果用于表征所述用户界面设计稿的细节测评结果；
调用预训练的全局智能体，分析所述用户界面设计稿的结构化文本，生成所述用户界面设计稿对应的全局分析结果；所述全局分析结果用于表征所述用户界面设计稿的全局测评结果；所述全局智能体的分析视野大于所述细节智能体的分析视野；
调用预训练的平衡智能体，分析所述用户界面设计稿的结构化文本、所述细节分析结果和所述全局分析结果，生成所述用户界面设计稿的综合分析结果，所述综合分析结果用于表征所述用户界面设计稿的综合测评结果；
其中，所述细节智能体、所述全局智能体和所述平衡智能体均基于大语言模型构建，共同构成多智能体系统，所述多智能体系统基于用户界面设计知识训练得到，所述用户界面设计知识包括用户界面设计领域通用设计知识。
可选的，提取所述图层树结构的各个节点中的层叠样式表属性数据，生成所述用户界面设计稿的结构化文本，包括：
提取所述图层树结构的各个节点中的层叠样式表属性数据，作为原始数据；所述原始数据为呈一定段落结构的JSON字符串；
对所述原始数据进行数据预处理，生成所述用户界面设计稿的结构化文本；
其中，所述数据预处理包括：用于去除冗余字符的数据清洗处理和用于去除空格和换行的格式清除处理，所述冗余字符包括引号。
可选的，生成所述用户界面设计稿对应的细节分析结果包括：
依据所述用户界面设计稿的粒子组件内的元素、粒子组件和子节点的功能属性，生成所述用户界面设计稿对应的细节分析结果，所述细节分析结果包括对所述用户界面设计稿的叶节点的分析结果；
生成所述用户界面设计稿对应的全局分析结果，包括：
依据所述用户界面设计稿中具有视觉元素的内容和用户界面关键审核元素涉及的内容，生成所述用户界面设计稿对应的全局分析结果；其中，所述用户界面关键审核元素包括：图层结构，语义命名，位置大小，功能完整性，可伸缩矢量图形SVG图标，以及，设计风格颜色。
可选的，生成所述用户界面设计稿的综合分析结果，包括：
对所述细节分析结果和所述全局分析结果的差异项进行修正，并结合所述细节分析结果和所述全局分析结果的一致项，生成所述用户界面设计稿的综合分析结果。
可选的，在生成所述用户界面设计稿的综合分析结果之后，还包括：
显示所述综合分析结果，以供用户确定待修改对象；
接收用户的修改指令，所述修改指令包括所述用户界面设计稿中待修改对象对应的图层名、层叠样式表属性名和对应的属性值；
将所述图层树结构中的所述图层名的所述层叠样式表属性名的属性值，修改为所述修改指令中的属性值；
生成修改后的用户界面设计稿。
可选的，所述用户界面设计稿携带有设计意图标签，所述设计意图标签用于表征所述用户界面设计稿对应的用户界面的应用场景；
所述原始数据还包括：设计意图字段对应的字段值，所述字段值为所述设计意图标签；
所述用户界面设计知识还包括：各个应用场景下的用户界面设计知识。
可选的，所述分析所述用户界面设计稿的结构化文本，包括：
分析所述结构化文本中层叠样式表属性数据对应的文本内容，并分析所述结构化文本中层叠样式表属性数据对应的文本内容与所述结构化文本中设计意图对应的文本内容的相关度，所述相关度用于表征所述用户界面设计稿与其设计意图的匹配程度。
第二方面，提供了一种用户界面测评装置，包括：
设计稿获取单元，用于获取待测评的用户界面设计稿涉及的图层树结构；
设计稿表示单元，用于提取所述图层树结构的各个节点中的层叠样式表属性数据，生成所述用户界面设计稿的结构化文本；
设计稿测评单元，用于调用预训练的细节智能体，分析所述用户界面设计稿的结构化文本，生成所述用户界面设计稿对应的细节分析结果，所述细节分析结果用于表征所述用户界面设计稿的细节测评结果；调用预训练的全局智能体，分析所述用户界面设计稿的结构化文本，生成所述用户界面设计稿对应的全局分析结果；所述全局分析结果用于表征所述用户界面设计稿的全局测评结果；所述全局智能体的分析视野大于所述细节智能体的分析视野；以及，调用预训练的平衡智能体，分析所述用户界面设计稿的结构化文本、所述细节分析结果和所述全局分析结果，生成所述用户界面设计稿的综合分析结果，所述综合分析结果用于表征所述用户界面设计稿的综合测评结果；其中，所述细节智能体、所述全局智能体和所述平衡智能体均基于大语言模型构建，共同构成多智能体系统，所述多智能体系统基于用户界面设计知识训练得到，所述用户界面设计知识包括用户界面设计领域通用设计知识。
第三方面，提供了一种用户界面测评设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现上述的用户界面测评方法的各个步骤。
第四方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的用户界面测评方法的各个步骤。
借由上述技术方案，本申请首先获取待测评的用户界面设计稿涉及的图层树结构，而后提取图层树结构的各个节点中的层叠样式表属性数据，生成设计稿的结构化文本，以便调用智能体依据结构化文本确定设计稿内容，相较于从图像化的用户界面设计稿中识别设计稿的图像特征，并基于图像特征进行评价的方案，本申请测评用户界面设计稿的依据更为直接和客观，能够便于实现更加快速和客观的用户界面测评任务；后续调用不同关注侧重的多个智能体共同进行测评，细节智能体以较小的视野分析设计稿的结构化文本，以实现对设计稿细节的测评任务，全局智能体以较大的视野分析设计稿的结构化文本，以实现对设计稿整体的测评任务，平衡智能体能够综合细节智能体和全局智能体的分析结果，生成对设计稿的综合分析结果，最终实现对用户界面设计稿的测评任务，节省了人工成本，提高了测评效率，加快了用户界面的开发进程。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本申请实施例提供的用户界面测评方法的一流程示意图；
图2示例了一种用户界面设计稿的结构化文本生成过程示意图；
图3示例了一种多智能体系统处理用户界面设计稿的结构化文本的过程示意图；
图4为本申请实施例提供的一种用户界面测评装置结构示意图；
图5为本申请实施例提供的用户界面测评设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供了一种用户界面测评方法、装置、设备及存储介质，可以适用于解决用户界面测评任务。
本申请方案可以基于具备数据处理能力的终端实现，该终端可以是电脑、服务器、云端等。
图1为本申请实施例提供的一种用户界面测评方法的流程示意图，结合图1所示，所述用户界面测评方法可以包括如下步骤：
步骤S101、获取待测评的用户界面设计稿涉及的图层树结构。
其中，用户界面设计稿可以是由用户选中提交并确认完整的设计稿，可以在用户确认提交的用户界面设计稿完整之后，获取其涉及的图层树结构。在一种可能的实现方式中，用户界面设计稿的获取和确认过程可以包括：
第一步、接收用户选中提交的设计稿；
第二步、以图像形式显示接收到的设计稿，以供用户确认；
第三步、在用户确认提交的设计稿完整的情况下，将接收到的设计稿作为待测评的用户界面设计稿，以供获取该设计稿的图层树结构。
具体的，用户界面设计稿可以是用户基于UI设计工具figma设计的设计稿，UI设计工具figma允许用户以图层的形式构建和编辑设计，基于此，用户界面设计稿可以表示为图层树结构。在此基础上，在以图像形式显示接收到的设计稿时，还可以显示接收到的设计稿涉及的图层，以供用户检查所要测评的设计稿的图层内容。
步骤S102、提取所述图层树结构的各个节点中的层叠样式表属性数据，生成所述用户界面设计稿的结构化文本。
其中，层叠样式表即Cascading Style Sheets（CSS），层叠样式表属性即为CSS属性，被用来设置元素样式和效果的特征，例如颜色、字体、边距等。示例性，可以通过UI设计工具figma的API接口，递归地获取被用户选中图层树结构的每一个节点当中的CSSproperties，以便依此生成供智能体识别的结构化文本。需要说明的是，对于用户界面设计稿而言，其结构化文本是相对固定的，对设计稿的描述（如文本描述）是不固定的，进行描述的主体不同则可能得到不同的描述，即使是同一主体，在不同时刻输出的描述也可能不同，因此基于对设计稿的文本描述或图像特征进行测评，难以输出较高质量的结果。
步骤S103、调用预训练的细节智能体，分析所述用户界面设计稿的结构化文本，生成所述用户界面设计稿对应的细节分析结果。
其中，所述细节分析结果可以用于表征所述用户界面设计稿的细节测评结果。
步骤S104、调用预训练的全局智能体，分析所述用户界面设计稿的结构化文本，生成所述用户界面设计稿对应的全局分析结果。
其中，所述全局分析结果可以用于表征所述用户界面设计稿的全局测评结果。并且，在分析结构化文本时，所述全局智能体的分析视野大于所述细节智能体的分析视野。需要说明，本申请不限制步骤S103和步骤S104的顺序，两者可以先后执行也可以同时执行。
步骤S105、调用预训练的平衡智能体，分析所述用户界面设计稿的结构化文本、所述细节分析结果和所述全局分析结果，生成所述用户界面设计稿的综合分析结果。
其中，所述综合分析结果可以用于表征所述用户界面设计稿的综合测评结果；所述细节智能体、所述全局智能体和所述平衡智能体均基于大语言模型构建，共同构成多智能体系统，所述多智能体系统基于用户界面设计知识训练得到，所述用户界面设计知识可以包括用户界面设计领域通用设计知识。上述的多智能体系统，利用大语言模型从网页代码中学习到了大量设计学知识，并且能够依据设计稿的结构化文本，“读懂”设计稿；此外，在训练和应用的过程中，上述的各个智能体可以通过提示工程处理数据，在不同的提示任务下，各个智能体具备了不同的关注倾向，具备了不同维度的用户界面分析测评能力。
可选的，在生成综合分析结果之后，可以显示综合分析结果，以供用户获取并修改设计稿。
上述的方法，首先获取待测评的用户界面设计稿涉及的图层树结构，而后提取图层树结构的各个节点中的层叠样式表属性数据，生成设计稿的结构化文本，以便调用智能体依据结构化文本确定设计稿内容，相较于从图像化的用户界面设计稿中识别设计稿的图像特征，并基于图像特征进行评价的方案，或者基于对用户界面的文本描述评价用户界面的方案，本申请测评用户界面设计稿的依据更为直接和客观，能够便于实现更加快速和客观的用户界面测评任务；后续调用不同关注侧重的多个智能体共同进行测评，细节智能体以较小的视野分析设计稿的结构化文本，以实现对设计稿细节的测评任务，全局智能体以较大的视野分析设计稿的结构化文本，以实现对设计稿整体的测评任务，平衡智能体能够综合细节智能体和全局智能体的分析结果，生成对设计稿的综合分析结果，最终实现对用户界面设计稿的测评任务，相较于使用单一智能体进行测评的方案，本方案借由多个智能体获取到多角度的分析结果，在一定程度上提高了测评质量，并节省了人工成本，提高了测评效率，加快了用户界面的开发进程。
图2示例了一种用户界面设计稿的结构化文本生成过程示意图。结合图2所示，在本申请提供的一个或多个实施例中，步骤S102、提取所述图层树结构的各个节点中的层叠样式表属性数据，生成所述用户界面设计稿的结构化文本，可以包括下述的步骤A-B：
步骤A、提取所述图层树结构的各个节点中的层叠样式表属性数据，作为原始数据。
其中，所述原始数据为呈一定段落结构的JSON字符串，如图2所示；
步骤B、对所述原始数据进行数据预处理，生成所述用户界面设计稿的结构化文本。
其中，所述数据预处理可以包括：用于去除冗余字符的数据清洗处理和用于去除空格和换行的格式清除处理，所述冗余字符包括引号，如双引号。结合图2所示，经过数据预处理，生成的结构化文本的token数量大幅度减少，具体的，原始数据的总token数量为26059，经过数据预处理的总token数量为4966。
借由上述方案，实现了对提取到的原始数据中的引号、空格、换行等无用冗余的JSON编码信息的字符串删减，减少了后续智能体识别分析的token数量，加快了智能体的处理速度，并且有助于智能体确定理解设计稿内容。
在本申请提供的一个或多个实施例中，所述用户界面设计稿携带有设计意图标签，所述设计意图标签用于表征所述用户界面设计稿对应的用户界面的应用场景。所述用户界面设计知识还可以包括：各个应用场景下的用户界面设计知识。
示例性的，设计意图标签可以是基于用户在确认设计稿完整之后上传或提交的表示设计意图的一段文本生成的标签，即设计意图标签可以是一段文字内容，可以包括设计稿对应的用户界面将应用于的终端类型、软件类型、设计稿对应的用户界面所要实现的交互功能等等。
需要说明，用户界面设计领域通用设计知识可以是指不限定应用领域具备较强通用性的设计知识，依据用户界面设计领域通用设计知识训练得到的多智能体系统，可以具备通用的界面元素排布规律、颜色使用等方面的分析测评能力；相对应的，依据用户界面设计领域通用设计知识和各个应用场景下的用户界面设计知识训练得到的多智能体系统，可以具备对特定应用场景下的用户界面的分析测评能力。
在上述的基础上，所述原始数据还包括：设计意图字段对应的字段值，所述字段值为所述设计意图标签。
也就是说，可以将设计意图标签以设计意图字段对应的字段值的形式添加的提取到的CSS属性数据中。可选的，在生成设计稿的结构化文本时，提取到的CSS属性数据和设计意图标签也可以具备不同的组合形式，以供智能体分析处理。
接下来对本申请实施例提供的智能体进行示例性说明。
在本申请提供的一个或多个实施例中，所述细节智能体、所述全局智能体和所述平衡智能体分析所述用户界面设计稿的结构化文本，均可以包括：
分析所述结构化文本中层叠样式表属性数据对应的文本内容，并分析所述结构化文本中层叠样式表属性数据对应的文本内容与所述结构化文本中设计意图对应的文本内容的相关度。
其中，所述相关度可以用于表征所述用户界面设计稿与其设计意图的匹配程度。也就是说，各智能体的任务提示还可以包括：关注设计稿与其设计意图的匹配程度，即设计稿对其设计意图的实现程度。
在本申请提供的一个或多个实施例中，调用所述细节智能体，生成所述用户界面设计稿对应的细节分析结果，可以包括：
依据所述用户界面设计稿的粒子组件内的元素、粒子组件和子节点的功能属性，生成所述用户界面设计稿对应的细节分析结果，所述细节分析结果包括对所述用户界面设计稿的叶节点的分析结果。
需要说明，在用户界面设计领域，组件可以是指具备独立功能的模块，按照维度不同可以包括：应用程序维度的组件，页面维度的组件，以及小于页面维度的粒子组件，在此基础上，粒子组件内的元素可以包括：组件内含有的文本、图片、可伸缩矢量图形SVG等元素。
在本申请提供的一个或多个实施例中，调用所述全局智能体生成所述用户界面设计稿对应的全局分析结果，可以包括：
依据所述用户界面设计稿中具有视觉元素的内容和用户界面关键审核元素涉及的内容，生成所述用户界面设计稿对应的全局分析结果；其中，所述用户界面关键审核元素包括：图层结构，语义命名，位置大小，功能完整性，可伸缩矢量图形SVG图标，以及，设计风格颜色。
在本申请提供的一个或多个实施例中，调用所述平衡智能体，生成所述用户界面设计稿的综合分析结果，可以包括：
对所述细节分析结果和所述全局分析结果的差异项进行修正，并结合所述细节分析结果和所述全局分析结果的一致项，生成所述用户界面设计稿的综合分析结果。
需要说明，平衡智能体可以采用较大的视野分析结构化文本，例如全局智能体的分析视野，依此修正细节分析结果和全局分析结果的差异项，以避免过于关注设计稿细节。
图3示例了一种多智能体系统处理用户界面设计稿的结构化文本的过程示意图，结合上述内容和图3所示，各个智能体均接收设计稿的结构化文本，并分别根据各自的注意力窗口（通过响应的任务提示输入，可以控制各智能体关注上下文相关UI内容的尺度，即分析视野）设置分析观察界面，完成分析任务，输出对应的分析结果。其中，细节智能体（detail agent）可以对每一个界面节点的所有属性进行分析，该智能体关注上下文相关UI内容的尺度较小；全局智能体（global agent）主要关注所有具有视觉元素的模块内容，该智能体关注上下文的UI内容较为广泛，会忽略部分细节；基于此，借由预训练的细节智能体和全局智能体能够同时关注到设计稿的细节特征和全局特征；平衡智能体（balanceragent） 会接受细节智能体和全局智能体的输出，并基于自身的观察界面，对细节分析结果和全局分析结果的冲突项进行处理，并显著标出细节分析结果和全局分析结果的一致项，得到较高质量的测评结果。
在本申请提供的一个或多个实施例中，在生成所述用户界面设计稿的综合分析结果之后，还可以包括：
步骤C、显示所述综合分析结果，以供用户确定待修改对象。
也就是说，综合分析结果中可以包含有对用户界面设计稿的修改提示，如“修改用户个人信息部分配色为灰色系，主题色推荐为#aaaaa，#bbbbb”等。
步骤D、接收用户的修改指令。
其中，修改指令可以基于用户选择的待修改对象生成，所述修改指令可以包括所述用户界面设计稿中待修改对象对应的图层名、层叠样式表属性名和对应的属性值。
步骤E、将所述图层树结构中的所述图层名的所述层叠样式表属性名的属性值，修改为所述修改指令中的属性值。
步骤F、生成修改后的用户界面设计稿。
上述的方案在实现对用户界面设计稿的测评任务之后，进一步的实现了对设计稿的修改任务。
需要说明的是，本申请实施例提供的用户界面测评方案可以分别部署于前端和后端，前端用于与用户交互，可以嵌入在用户界面设计软件中，以插件的形式部署；后端用于进行数据处理，可以运行在具备较高算力的网络服务器，以加快处理速度。
下面对本申请实施例提供的用户界面测评装置进行描述，下文描述的用户界面测评装置与上文描述的用户界面测评方法可相互对应参照。
参见图4，图4为本申请实施例公开的一种用户界面测评装置结构示意图。
如图4所示，该装置可以包括：
设计稿获取单元11，用于获取待测评的用户界面设计稿涉及的图层树结构；
设计稿表示单元12，用于提取所述图层树结构的各个节点中的层叠样式表属性数据，生成所述用户界面设计稿的结构化文本；
设计稿测评单元13，用于调用预训练的细节智能体，分析所述用户界面设计稿的结构化文本，生成所述用户界面设计稿对应的细节分析结果，所述细节分析结果用于表征所述用户界面设计稿的细节测评结果；调用预训练的全局智能体，分析所述用户界面设计稿的结构化文本，生成所述用户界面设计稿对应的全局分析结果；所述全局分析结果用于表征所述用户界面设计稿的全局测评结果；所述全局智能体的分析视野大于所述细节智能体的分析视野；以及，调用预训练的平衡智能体，分析所述用户界面设计稿的结构化文本、所述细节分析结果和所述全局分析结果，生成所述用户界面设计稿的综合分析结果，所述综合分析结果用于表征所述用户界面设计稿的综合测评结果；其中，所述细节智能体、所述全局智能体和所述平衡智能体均基于大语言模型构建，共同构成多智能体系统，所述多智能体系统基于用户界面设计知识训练得到，所述用户界面设计知识包括用户界面设计领域通用设计知识。
在本申请提供的一个或多个实施例中，设计稿表示单元12提取所述图层树结构的各个节点中的层叠样式表属性数据，生成所述用户界面设计稿的结构化文本的过程，可以包括：
提取所述图层树结构的各个节点中的层叠样式表属性数据，作为原始数据；所述原始数据为呈一定段落结构的JSON字符串；
对所述原始数据进行数据预处理，生成所述用户界面设计稿的结构化文本；
其中，所述数据预处理包括：用于去除冗余字符的数据清洗处理和用于去除空格和换行的格式清除处理，所述冗余字符包括引号。
在本申请提供的一个或多个实施例中，设计稿测评单元13生成所述用户界面设计稿对应的细节分析结果的过程，可以包括：
依据所述用户界面设计稿的粒子组件内的元素、粒子组件和子节点的功能属性，生成所述用户界面设计稿对应的细节分析结果，所述细节分析结果包括对所述用户界面设计稿的叶节点的分析结果。
在本申请提供的一个或多个实施例中，设计稿测评单元13生成所述用户界面设计稿对应的全局分析结果的过程，可以包括：
依据所述用户界面设计稿中具有视觉元素的内容和用户界面关键审核元素涉及的内容，生成所述用户界面设计稿对应的全局分析结果；其中，所述用户界面关键审核元素包括：图层结构，语义命名，位置大小，功能完整性，可伸缩矢量图形SVG图标，以及，设计风格颜色。
在本申请提供的一个或多个实施例中，设计稿测评单元13生成所述用户界面设计稿的综合分析结果的过程，可以包括：
对所述细节分析结果和所述全局分析结果的差异项进行修正，并结合所述细节分析结果和所述全局分析结果的一致项，生成所述用户界面设计稿的综合分析结果。
在本申请提供的一个或多个实施例中，所述用户界面测评装置还可以包括：设计稿修改单元，用于在生成所述用户界面设计稿的综合分析结果之后，显示所述综合分析结果，以供用户确定待修改对象；接收用户的修改指令，所述修改指令包括所述用户界面设计稿中待修改对象对应的图层名、层叠样式表属性名和对应的属性值；将所述图层树结构中的所述图层名的所述层叠样式表属性名的属性值，修改为所述修改指令中的属性值；以及，生成修改后的用户界面设计稿。
在本申请提供的一个或多个实施例中，所述用户界面设计稿携带有设计意图标签，所述设计意图标签用于表征所述用户界面设计稿对应的用户界面的应用场景；
所述原始数据还包括：设计意图字段对应的字段值，所述字段值为所述设计意图标签；
所述用户界面设计知识还包括：各个应用场景下的用户界面设计知识。
在本申请提供的一个或多个实施例中，设计稿测评单元13分析所述用户界面设计稿的结构化文本的过程，可以包括：
分析所述结构化文本中层叠样式表属性数据对应的文本内容，并分析所述结构化文本中层叠样式表属性数据对应的文本内容与所述结构化文本中设计意图对应的文本内容的相关度，所述相关度用于表征所述用户界面设计稿与其设计意图的匹配程度。
本申请实施例提供的用户界面测评装置可应用于用户界面测评设备，如终端：电脑等。可选的，图5示出了用户界面测评设备的硬件结构框图，参照图5，用户界面测评设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory）等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
获取待测评的用户界面设计稿涉及的图层树结构；
提取所述图层树结构的各个节点中的层叠样式表属性数据，生成所述用户界面设计稿的结构化文本；
调用预训练的细节智能体，分析所述用户界面设计稿的结构化文本，生成所述用户界面设计稿对应的细节分析结果，所述细节分析结果用于表征所述用户界面设计稿的细节测评结果；
调用预训练的全局智能体，分析所述用户界面设计稿的结构化文本，生成所述用户界面设计稿对应的全局分析结果；所述全局分析结果用于表征所述用户界面设计稿的全局测评结果；所述全局智能体的分析视野大于所述细节智能体的分析视野；
调用预训练的平衡智能体，分析所述用户界面设计稿的结构化文本、所述细节分析结果和所述全局分析结果，生成所述用户界面设计稿的综合分析结果，所述综合分析结果用于表征所述用户界面设计稿的综合测评结果；
其中，所述细节智能体、所述全局智能体和所述平衡智能体均基于大语言模型构建，共同构成多智能体系统，所述多智能体系统基于用户界面设计知识训练得到，所述用户界面设计知识包括用户界面设计领域通用设计知识。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
获取待测评的用户界面设计稿涉及的图层树结构；
提取所述图层树结构的各个节点中的层叠样式表属性数据，生成所述用户界面设计稿的结构化文本；
调用预训练的细节智能体，分析所述用户界面设计稿的结构化文本，生成所述用户界面设计稿对应的细节分析结果，所述细节分析结果用于表征所述用户界面设计稿的细节测评结果；
调用预训练的全局智能体，分析所述用户界面设计稿的结构化文本，生成所述用户界面设计稿对应的全局分析结果；所述全局分析结果用于表征所述用户界面设计稿的全局测评结果；所述全局智能体的分析视野大于所述细节智能体的分析视野；
调用预训练的平衡智能体，分析所述用户界面设计稿的结构化文本、所述细节分析结果和所述全局分析结果，生成所述用户界面设计稿的综合分析结果，所述综合分析结果用于表征所述用户界面设计稿的综合测评结果；
其中，所述细节智能体、所述全局智能体和所述平衡智能体均基于大语言模型构建，共同构成多智能体系统，所述多智能体系统基于用户界面设计知识训练得到，所述用户界面设计知识包括用户界面设计领域通用设计知识。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种用户界面测评方法，其特征在于，包括：
获取待测评的用户界面设计稿涉及的图层树结构；
提取所述图层树结构的各个节点中的层叠样式表属性数据，生成所述用户界面设计稿的结构化文本；
调用预训练的细节智能体，分析所述用户界面设计稿的结构化文本，生成所述用户界面设计稿对应的细节分析结果，所述细节分析结果用于表征所述用户界面设计稿的细节测评结果；
调用预训练的全局智能体，分析所述用户界面设计稿的结构化文本，生成所述用户界面设计稿对应的全局分析结果；所述全局分析结果用于表征所述用户界面设计稿的全局测评结果；所述全局智能体的分析视野大于所述细节智能体的分析视野；
调用预训练的平衡智能体，分析所述用户界面设计稿的结构化文本、所述细节分析结果和所述全局分析结果，生成所述用户界面设计稿的综合分析结果，所述综合分析结果用于表征所述用户界面设计稿的综合测评结果；
其中，所述细节智能体、所述全局智能体和所述平衡智能体均基于大语言模型构建，共同构成多智能体系统，所述多智能体系统基于用户界面设计知识训练得到，所述用户界面设计知识包括用户界面设计领域通用设计知识。
2.根据权利要求1所述的用户界面测评方法，其特征在于，提取所述图层树结构的各个节点中的层叠样式表属性数据，生成所述用户界面设计稿的结构化文本，包括：
提取所述图层树结构的各个节点中的层叠样式表属性数据，作为原始数据；所述原始数据为呈一定段落结构的JSON字符串；
对所述原始数据进行数据预处理，生成所述用户界面设计稿的结构化文本；
其中，所述数据预处理包括：用于去除冗余字符的数据清洗处理和用于去除空格和换行的格式清除处理，所述冗余字符包括引号。
3.根据权利要求2所述的用户界面测评方法，其特征在于，生成所述用户界面设计稿对应的细节分析结果包括：
依据所述用户界面设计稿的粒子组件内的元素、粒子组件和子节点的功能属性，生成所述用户界面设计稿对应的细节分析结果，所述细节分析结果包括对所述用户界面设计稿的叶节点的分析结果；
生成所述用户界面设计稿对应的全局分析结果，包括：
依据所述用户界面设计稿中具有视觉元素的内容和用户界面关键审核元素涉及的内容，生成所述用户界面设计稿对应的全局分析结果；其中，所述用户界面关键审核元素包括：图层结构，语义命名，位置大小，功能完整性，可伸缩矢量图形SVG图标，以及，设计风格颜色。
4.根据权利要求3所述的用户界面测评方法，其特征在于，生成所述用户界面设计稿的综合分析结果，包括：
对所述细节分析结果和所述全局分析结果的差异项进行修正，并结合所述细节分析结果和所述全局分析结果的一致项，生成所述用户界面设计稿的综合分析结果。
5.根据权利要求1-4中任一项所述的用户界面测评方法，其特征在于，在生成所述用户界面设计稿的综合分析结果之后，还包括：
显示所述综合分析结果，以供用户确定待修改对象；
接收用户的修改指令，所述修改指令包括所述用户界面设计稿中待修改对象对应的图层名、层叠样式表属性名和对应的属性值；
将所述图层树结构中的所述图层名的所述层叠样式表属性名的属性值，修改为所述修改指令中的属性值；
生成修改后的用户界面设计稿。
6.根据权利要求2-4中任一项所述的用户界面测评方法，其特征在于，所述用户界面设计稿携带有设计意图标签，所述设计意图标签用于表征所述用户界面设计稿对应的用户界面的应用场景；
所述原始数据还包括：设计意图字段对应的字段值，所述字段值为所述设计意图标签；
所述用户界面设计知识还包括：各个应用场景下的用户界面设计知识。
7.根据权利要求6所述的用户界面测评方法，其特征在于，所述分析所述用户界面设计稿的结构化文本，包括：
分析所述结构化文本中层叠样式表属性数据对应的文本内容，并分析所述结构化文本中层叠样式表属性数据对应的文本内容与所述结构化文本中设计意图对应的文本内容的相关度，所述相关度用于表征所述用户界面设计稿与其设计意图的匹配程度。
8.一种用户界面测评装置，其特征在于，包括：
设计稿获取单元，用于获取待测评的用户界面设计稿涉及的图层树结构；
设计稿表示单元，用于提取所述图层树结构的各个节点中的层叠样式表属性数据，生成所述用户界面设计稿的结构化文本；
设计稿测评单元，用于调用预训练的细节智能体，分析所述用户界面设计稿的结构化文本，生成所述用户界面设计稿对应的细节分析结果，所述细节分析结果用于表征所述用户界面设计稿的细节测评结果；调用预训练的全局智能体，分析所述用户界面设计稿的结构化文本，生成所述用户界面设计稿对应的全局分析结果；所述全局分析结果用于表征所述用户界面设计稿的全局测评结果；所述全局智能体的分析视野大于所述细节智能体的分析视野；以及，调用预训练的平衡智能体，分析所述用户界面设计稿的结构化文本、所述细节分析结果和所述全局分析结果，生成所述用户界面设计稿的综合分析结果，所述综合分析结果用于表征所述用户界面设计稿的综合测评结果；其中，所述细节智能体、所述全局智能体和所述平衡智能体均基于大语言模型构建，共同构成多智能体系统，所述多智能体系统基于用户界面设计知识训练得到，所述用户界面设计知识包括用户界面设计领域通用设计知识。
9.一种用户界面测评设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1-7中任一项所述的用户界面测评方法的各个步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-7中任一项所述的用户界面测评方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410530817.3A CN118193115A (zh) | 2024-04-29 | 2024-04-29 | 用户界面测评方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410530817.3A CN118193115A (zh) | 2024-04-29 | 2024-04-29 | 用户界面测评方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118193115A true CN118193115A (zh) | 2024-06-14 |
Family
ID=91396880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410530817.3A Pending CN118193115A (zh) | 2024-04-29 | 2024-04-29 | 用户界面测评方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118193115A (zh) |
-
2024
- 2024-04-29 CN CN202410530817.3A patent/CN118193115A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021082953A1 (zh) | 机器阅读理解方法、设备、存储介质及装置 | |
| CN108595583B (zh) | 动态图表类页面数据爬取方法、装置、终端及存储介质 | |
| CN107346336B (zh) | 基于人工智能的信息处理方法和装置 | |
| CN111488931B (zh) | 文章质量评估方法、文章推荐方法及其对应的装置 | |
| CN116226334B (zh) | 生成式大语言模型训练方法以及基于模型的搜索方法 | |
| Karasneh et al. | Extracting UML models from images | |
| CN105989067A (zh) | 从图片生成文本摘要的方法、用户设备及训练服务器 | |
| CN110209780B (zh) | 一种问题模板生成方法、装置、服务器及存储介质 | |
| CN112434501A (zh) | 工单智能生成的方法、装置、电子设备及介质 | |
| CN113704623A (zh) | 一种数据推荐方法、装置、设备及存储介质 | |
| CN112464927A (zh) | 一种信息提取方法、装置及系统 | |
| CN113360654A (zh) | 文本分类方法、装置、电子设备及可读存储介质 | |
| CN116385584A (zh) | 海报的生成方法、装置、系统及计算机可读存储介质 | |
| CN114676705B (zh) | 一种对话关系处理方法、计算机及可读存储介质 | |
| CN116306506A (zh) | 一种基于内容识别的智能邮件模板方法 | |
| CN118193115A (zh) | 用户界面测评方法、装置、设备及存储介质 | |
| CN115034177A (zh) | 演示文稿转换方法、装置、设备及存储介质 | |
| CN115496830A (zh) | 产品需求流程图的生成方法及装置 | |
| CN114021004A (zh) | 一种理科相似题推荐方法、装置、设备及可读存储介质 | |
| CN113535125A (zh) | 金融需求项生成方法及装置 | |
| CN112950167A (zh) | 设计服务匹配方法、装置、设备及存储介质 | |
| CN113761147A (zh) | 基于逻辑编辑器的问卷题目显示方法、装置及电子设备 | |
| JP7126808B2 (ja) | 情報処理装置および情報処理装置用プログラム | |
| CN114091662B (zh) | 一种文本图像生成方法、装置及电子设备 | |
| CN117235236B (zh) | 对话方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |