CN117420998A - 一种客户端ui交互组件生成方法、装置、终端及介质 - Google Patents
一种客户端ui交互组件生成方法、装置、终端及介质 Download PDFInfo
- Publication number
- CN117420998A CN117420998A CN202311454170.2A CN202311454170A CN117420998A CN 117420998 A CN117420998 A CN 117420998A CN 202311454170 A CN202311454170 A CN 202311454170A CN 117420998 A CN117420998 A CN 117420998A
- Authority
- CN
- China
- Prior art keywords
- component
- attribute
- client
- interaction
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims description 78
- 238000000034 method Methods 0.000 title claims description 54
- 230000000694 effects Effects 0.000 claims abstract description 82
- 238000010586 diagram Methods 0.000 claims abstract description 45
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 36
- 238000013461 design Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 10
- 238000011161 development Methods 0.000 description 8
- 230000018109 developmental process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000009960 carding Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000009411 base construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/36—Software reuse
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/10—Requirements analysis; Specification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种客户端UI交互组件生成方法、装置、终端及介质，涉及IT与软件技术领域，本申请提供的技术方案通过获取UI效果图和需求描述信息，通过预设的多模态模型，对UI效果图进行特征提取以及特征语言化转换，得到UI效果图的属性文本信息并转换成属性向量化特征，然后根据利用预先构建的UI组件知识库，将从UI效果图得到的属性向量化数据充当检索的关键词信息，用于与UI组件知识库中的UI组件对象进行相似度匹配，从而查找出相似的目标UI组件对象，实现了基于输入的UI效果图自动提取的属性信息作为关键词，解决了现有的复用代码关键词归纳不统一导致查找不准确的问题，提高复用代码查询的准确度和查询效果的稳定性。
Description
技术领域
本申请涉及IT与软件技术领域，尤其涉及一种客户端UI交互组件生成方法、装置、终端及介质。
背景技术
随着超级客户端的不断迭代更新，客户端应用开发过程中功能越来越丰富，承载的业务功能日益增加，与此同时沉淀积累的UI交互组件呈现出特异化、多样化的特点，为客户端开发过程中的代码复用开发提供了很大的便利。
代码复用开发即选取功效接近的标准化代码模板，在模板基础上进行调整的软件开发方式，传统的做法一般有通过已有的UI代码模板按主题进行分类整合，建立组件仓库，通过关键词检索，查找出类似UI代码模板供开发人员作编程参考或修改后使用，但在实际应用过程中，这种方法仅通过输入的少量关键词作为匹配标准，难以准确查找出符合设计的组件代码，严重影响组件复用效率，无法发挥组件标准化的实用价值。
发明内容
本申请提供了一种客户端UI交互组件生成方法、装置、终端及介质，用于解决现有的代码复用开发存在的组件代码查找准确度低的技术问题。
为解决上述的技术问题，本申请第一方面提供了一种客户端UI交互组件生成方法，包括：
获取待生成的客户端UI交互组件的UI效果图和需求描述文本；
根据预设的多模态模型，结合所述需求描述文本，对所述UI效果图进行特征提取，并将提取的属性特征通过特征语言化转换方式转换成自然语言文本，得到所述UI效果图的属性信息；
通过所述属性信息，与预设的UI组件知识库中的UI组件对象进行属性相似度匹配，以根据匹配结果得到目标UI组件对象；
获取所述目标UI组件对象对应的目标组件代码，以基于所述目标组件代码生成所述客户端UI交互组件。
优选地，所述UI组件知识库的构建过程具体包括：
获取多个UI组件对象的组件效果图、组件说明文本以及组件代码；
根据所述组件效果图、所述组件说明文本以及所述组件代码，通过所述多模态模型，得到所述UI组件对象对应的组件属性特征，并将所述组件属性特征转换成组件属性特征向量，所述组件属性特征向量包括：图像向量和文本向量；
将每个UI组件对象的识别标识与所述组件属性特征向量进行关联，并将关联后的识别标识与所述组件属性特征向量存入基于原子设计理论构建的大模型数据库，以得到所述UI组件知识库。
优选地，通过所述属性信息，与预设的UI组件知识库中的UI组件对象进行属性相似度匹配，以根据匹配结果得到目标UI组件对象具体包括：
根据所述属性信息转换成属性向量化数据；
将所述属性向量化数据与所述UI组件知识库中的UI组件对象的组件属性特征向量进行向量距离匹配，以根据匹配结果确定一个或多个目标UI组件对象。
优选地，所述基于所述目标组件代码生成所述客户端UI交互组件具体包括：
根据所述组件属性特征向量与所述属性向量化数据的匹配结果，以及所述需求描述文本与所述组件说明文本的匹配结果，确定所述目标UI组件对象中与所述客户端UI交互组件间的相同属性，再从所述目标组件代码中提取所述相同属性对应的第一代码片段；
根据所述UI效果图和所述需求描述文本，对所述第一代码片段进行组合，以得到所述客户端UI交互组件。
优选地，还包括：
根据所述UI效果图和所述需求描述文本，对所述第一代码片段进行校验，确定所述第一代码片段中不符合所述UI效果图和所述需求描述文本的异常属性；
根据所述异常属性，按照所述UI效果图与所述需求描述文本，从所述UI组件知识库中进行二次匹配，得到第二代码片段，以通过所述第二代码片段对所述第一代码片段进行更新。
优选地，还包括：
根据所述需求描述文本，通过开集目标检测方式与模糊匹配方式，确定所述客户端UI交互组件的组件类型信息，以根据所述组件类型信息调整所述UI组件对象的匹配范围。
优选地，所述属性信息包括：色彩配置、控件类型、控件尺寸、控件图像、布局结构和控件字符内容。
同时，本申请第二方面提供了一种客户端UI交互组件生成装置，包括：
需求数据获取单元，用于获取待生成的客户端UI交互组件的UI效果图和需求描述文本；
属性信息提取单元，用于根据预设的多模态模型，结合所述需求描述文本，对所述UI效果图进行特征提取，并将提取的属性特征通过特征语言化转换方式转换成自然语言文本，得到所述UI效果图的属性信息；
属性匹配单元，用于通过所述属性信息，与预设的UI组件知识库中的UI组件对象进行属性相似度匹配，以根据匹配结果得到目标UI组件对象；
UI组件生成单元，用于获取所述目标UI组件对象对应的目标组件代码，以基于所述目标组件代码生成所述客户端UI交互组件。
本申请第三方面提供了一种客户端UI交互组件生成终端，包括：存储器和处理器；
所述存储器用于存储如本申请第一方面提供的客户端UI交互组件生成方法对应的程序代码；
所述处理器用于执行所述程序代码。
本申请第四方面提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中保存有如本申请第一方面提供的客户端UI交互组件生成方法对应的程序代码。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供的技术方案通过获取UI效果图和需求描述信息，通过预设的多模态模型，对UI效果图进行特征提取以及特征语言化转换，得到UI效果图的属性文本信息并转换成属性向量化特征，然后根据利用构建的UI组件知识库，将从UI效果图得到的属性向量化数据充当检索的关键词信息，用于与UI组件知识库中的UI组件对象进行相似度匹配，从而查找出与UI效果图相似的目标UI组件对象，实现了基于输入的UI效果图自动提取可作为关键词的属性信息，通过自动提取的关键词查询相似的目标UI组件对象，以通过目标UI组件对象对应的目标组件代码进行整合得到所需客户端UI交互组件，解决了复用代码查询的关键词归纳容易受到个人的语言习惯和语言文化水平等主观因素影响导致的查询不准确问题，提高复用代码查询的准确度和查询效果的稳定性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请提供的一种客户端UI交互组件生成方法实施例的流程示意图。
图2为本申请提供的一种客户端UI交互组件生成方法实施例中UI组件知识库构建的流程示意图。
图3为本申请提供的一种客户端UI交互组件生成方法实施例的整体逻辑框架示意图。
图4为本申请提供的一种客户端UI交互组件生成方法另一实施例的流程示意图。
图5为本申请提供的一种客户端UI交互组件生成装置实施例的结构示意图。
图6为本申请提供的一种客户端UI交互组件生成终端实施例的结构示意图。
具体实施方式
针对目前代码复用开发在实际应用过程中存在问题，通过研究发现，现有的做法是通过输入关键词查找出类似UI代码模板，然而输入的关键词需要由开发人员基于需要达到的UI效果特点以语言文字的形式归纳得出，由于关键词的归纳容易受开发人员个人的语言习惯和语言文化水平等主观因素影响，使得即使是针对相同的UI效果，不同人员提炼的关键词也可能存在区别，从而导致搜索方向产生偏差，难以准确查找出符合设计的组件代码。
本申请实施例提供了一种客户端UI交互组件生成方法、装置、终端及介质，用于解决现有的代码复用开发存在的组件代码查找准确度低的技术问题。
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
术语解释：
大模型：指具有数百万或数十亿个参数的深度神经网络模型，这种模型经过专门的训练过程，能够对大规模数据进行复杂的处理和任务处理。
多模态模型：是一种能够处理多种不同媒体(例如文字、图像、音频、视频等)的机器学习模型。它可以同时分析和理解多种媒体形式的信息，并进行跨模态的联合建模。这种模型使用不同的技术和算法来整合多种媒体的数据，以提取和表示丰富的语义和语境信息。多模态模型在许多领域都有广泛应用，如自然语言处理、计算机视觉、音频处理、多媒体检索等。通过整合不同媒体的信息，多模态模型可以提供更全面和准确的分析、理解和生成能力。
向量数据库：是一种特殊的数据库管理系统，用于存储和处理向量数据。向量数据是由一组数值组成的数据，用于表示和描述事物的特征。向量数据库能够有效地存储和检索大规模向量数据集，支持高速的相似性搜索和数据分析。
首先是本申请提供的一种客户端UI交互组件生成方法实施例的详细说明，具体如下：
请参阅图1，本申请实施例提供了一种客户端UI交互组件生成方法，包括：
步骤101、获取待生成的客户端UI交互组件的UI效果图和需求描述文本。
需要说明的是，根据客户端UI交互组件的开发要求，获取相应的UI效果图和需求描述文本，其中，UI效果图反映的是该客户端UI交互组件的基本设计框架，包括但不限于：色彩配置、控件类型、控件尺寸、控件图像、布局结构和控件字符内容等信息，而需求描述文本一般包含UI效果图中不容易通过设计图展示的细节辅助说明信息，例如，主题说明、响应式设计、用户交互流程以及特殊效果等。
更具体地，主题说明：UI效果图的标题，用于简要描述该效果图所展示的内容。
功能模块：描述UI效果图中的各个功能模块，并说明它们的作用和功能。
色彩方案：描述UI效果图中使用的色彩方案，包括主色、辅助色、背景色等，并说明它们的用途和意义。
布局结构：描述UI效果图中的布局结构，包括模块的排列方式、组件的相对位置等。
界面元素：描述UI效果图中的各种界面元素，如按钮、文本框、下拉菜单等，并简要说明它们的作用和交互方式。
图片和图标：如果UI效果图中包含图片和图标，需要描述它们的内容、样式和用途。
响应式设计：如果UI效果图是响应式设计的，需要描述不同屏幕尺寸下的布局和组件调整方式。
用户交互流程：描述UI效果图中的用户交互流程，包括用户的操作步骤和系统的响应方式。
特殊效果：如果UI效果图中包含一些特殊效果，如动画、过渡效果等，需要描述它们的实现方式和效果展示。
步骤102、根据预设的多模态模型，结合需求描述文本，对UI效果图进行特征提取，并将提取的属性特征通过特征语言化转换方式转换成自然语言文本，得到UI效果图的属性信息。
接着，本实施例根据多模态模型可以同时分析和理解多种媒体形式的信息，并进行跨模态的联合建模的特点，使得这种模型可以使用不同的技术和算法来整合多种媒体的数据，以提取和表示丰富的语义和语境信息的优势。通过预先构建的多模态模型，此多模态模型至少集成了文字数据处理的算法，如NLP算法以及图像数据处理的算法，如Segment分割算法，利用需求描述文本包含的信息作为模型算法识别的辅助参考知识，对UI效果图进行特征提取并将提取的属性特征通过特征语言化转换方式转换成自然语言文本，包括但不限于颜色、字体、布局等属性信息。
步骤103、通过属性信息，与预设的UI组件知识库中的UI组件对象进行属性相似度匹配，以根据匹配结果得到目标UI组件对象。
再接着，基于步骤102得到的属性信息，充当用于向UI组件知识库发起查询的关键词，通过与UI组件知识库中的UI组件对象进行属性相似度匹配，根据匹配结果得到与输入的UI效果图相似的目标UI组件对象。
其中，本实施例提及的UI组件知识库优选为：通过参考原子设计理论构建组件代码片段仓库(基础样式-控件组合-组件搭建)，并进行文本数据向量化处理后形成知识库。
步骤104、获取目标UI组件对象对应的目标组件代码，以基于目标组件代码生成客户端UI交互组件。
最后，根据目标UI组件对象，获取这些目标UI组件对象对应的目标组件代码，通过对目标组件代码进行组合，生成完整的客户端UI交互组件。
以上为本申请提供的一种客户端UI交互组件生成方法的一个实施例的详细说明，下面为本申请提供的一种客户端UI交互组件生成方法的进一步实施例的详细说明。
请参阅图2和图3，在上一实施例的内容基础上，本实施例提供的一种客户端UI交互组件生成方法，具体还包括以下内容：
进一步地，如图2所示，UI组件知识库的构建过程具体包括：
步骤1001、获取多个UI组件对象的组件效果图、组件说明文本以及组件代码；
步骤1002、根据组件效果图、组件说明文本以及组件代码，通过多模态模型，得到UI组件对象对应的组件属性特征，并将组件属性特征转换成组件属性特征向量。
其中，组件属性特征向量包括：图像向量和文本向量。
步骤1003、将每个UI组件对象的识别标识与组件属性特征向量进行关联，并将关联后的识别标识与组件属性特征向量存入基于原子设计理论构建的大模型数据库，以得到UI组件知识库。
需要说明的是，本实施例提供的UI组件知识库的构建示例为先获取足够的UI组件对象样本，包括UI组件对象的组件效果图、组件说明文本以及组件代码。梳理UI组件的效果图、组件说明文本以及代码片段的关联特征，以制作知识库语料。其中，知识库语料的制作原则包括：参考原子设计理论，即以“原子-分子-组织-模版-页面”的组织方式进行梳理，将通用业务场景搭建拆分为“基础-控件-组件-场景”的颗粒度，其中语料元素包含标准规范、功能描述、源代码库集成说明、API使用示例注释、演示效果图、函数方法、文件类、组合代码包。优选的梳理方式有：选定代码仓库承载工具，主要用于记录语料元素，根据不同类型的文本、图像进行录入、管理、存储；串联组件开发工程环境，通过常规项目迭代中专门梳理的组件代码，通过片段或混合类的方式进行存储，工具数据db.json提交到gitlab仓库进行管理，依托IDE插件工具或massCdoe。
将每个UI组件对象的识别标识与组件属性特征向量进行关联，并将关联后的识别标识与组件属性特征向量存入基于原子设计理论构建的大模型数据库，以得到UI组件知识库，通过建设大模型知识库，导入代码语料进行向量化存储用于相似数据检索，该知识库使用自然语言处理库(如NLTK或spaCy)对代码语料进行处理，然后使用词袋模型或Word2Vec等技术将代码语料向量化存储。采用窗口文本分割模式，如分段文本为1000字符，上下文连接字符为20，通过向量化处理，获得一个矩阵，其中每一行代表一个代码样本，每一列代表一个代码中的特征(例如，函数名、类名、变量名等)。对于每个样本，每个特征的值表示该特征在该样本中出现的次数。基于前面示例构建的UI组件知识库，接下来，可以使用向量化后的代码进行相似数据检索，比如计算代码之间的相似度或寻找与给定代码最相似的代码。
同理，向量化后的组件效果图像也可以通过插件上传至知识库服务，以便后续与用户端输入的UI效果图的属性特征进行匹配。
请参阅图4，进一步地，本申请的步骤103，其步骤过程具体可包括：
步骤1031、根据属性信息转换成属性向量化数据；
步骤1032、将属性向量化数据与UI组件知识库中的UI组件对象的组件属性特征向量进行向量距离匹配，以根据匹配结果确定一个或多个目标UI组件对象。
需要说明的是，本步骤中提及的向量距离匹配也可以使用各种相似度匹配度量方法，如余弦相似度或欧几里德距离等，根据匹配结果，可以选取相似度最高的一个或多个UI组件对象，作为目标UI组件对象。
进一步地，基于步骤1032、本实施例的步骤104的步骤过程具体可包括：
步骤1041、根据组件属性特征向量与属性向量化数据的匹配结果，以及需求描述文本与组件说明文本的匹配结果，确定目标UI组件对象中与客户端UI交互组件间的相同属性，再从目标组件代码中提取相同属性对应的第一代码片段；
步骤1042、根据UI效果图和需求描述文本，对第一代码片段进行组合，以得到客户端UI交互组件。
需要说明的是，本实施例通过UI效果图、需求描述文本与UI组件对象的匹配结果，具体为组件属性特征向量与属性向量化数据的匹配结果，以及需求描述文本与组件说明文本的匹配结果，确定出目标UI组件对象中与客户端UI交互组件要求相符的相同属性，将这些相同属性对应的代码片段进行提取，得到第一代码片段，然后根据UI效果图和需求描述文本，对提取出的第一代码片段进行组合，从而得到完整的客户端UI交互组件，更具体地，由于在实际应用场景里，一般难以匹配出完全一致的目标UI组件对象，因此本实施例优选通过选取多个目标UI组件对象的方式，以便更容易匹配得到所需的第一代码片段。。
进一步地，步骤1041之后还包括：
步骤10411、根据UI效果图和需求描述文本，对第一代码片段进行校验，确定第一代码片段中不符合UI效果图和需求描述文本的异常属性；
步骤10412、根据异常属性，按照UI效果图与需求描述文本，从UI组件知识库中进行二次匹配，得到第二代码片段，以通过第二代码片段对第一代码片段进行更新。
在一些实施例中，由于在实际应用场景里，通过多个目标UI组件对象进行匹配也仍然有可能存在未匹配成功的部分属性，如颜色、字体以及动效等，本实施例将这类属性视为异常属性，然后本实施例针对这些异常属性，UI效果图与需求描述文本，从UI组件知识库中进行二次匹配，得到第二代码片段，这些第二代码片段均为与异常属性相关且符合UI效果图与需求描述文本，通过第二代码片段对第一代码片段进行更新，更新的方式可以为代码段替换和/或代码参数替换，实现代码片段的自动微调，从而更符合UI效果图与需求描述文本等输入要求的客户端UI交互组件。
进一步地，本实施例的步骤103之前还可以包括：
步骤1030、根据需求描述文本，通过开集目标检测方式与模糊匹配方式，确定客户端UI交互组件的组件类型信息，以根据组件类型信息调整UI组件对象的匹配范围。
需要说明的是，本实施例还可以通过开集目标检测方式与模糊匹配方式，对需求描述文本进行模糊匹配，确定客户端UI交互组件的组件类型信息，以缩小UI组件对象的查询范围，提高代码检索效率。
以上为本申请提供的一种客户端UI交互组件生成方法的进一步实施例的详细说明，下面为本申请提供的一种客户端UI交互组件生成装置实施例的详细说明。
请参阅图5，本实施例提供了一种客户端UI交互组件生成装置，包括：
需求数据获取单元201，用于获取待生成的客户端UI交互组件的UI效果图和需求描述文本；
属性信息提取单元202，用于根据预设的多模态模型，结合需求描述文本，对UI效果图进行特征提取，并将提取的属性特征通过特征语言化转换方式转换成自然语言文本，得到UI效果图的属性信息；
属性匹配单元203，用于通过属性信息，与预设的UI组件知识库中的UI组件对象进行属性相似度匹配，以根据匹配结果得到目标UI组件对象；
UI组件生成单元204，用于获取目标UI组件对象对应的目标组件代码，以基于目标组件代码生成客户端UI交互组件。
此外，除了上述提供的一种客户端UI交互组件生成装置实施例外，本申请还提供了一种客户端UI交互组件生成终端以及一种计算机可读存储介质等实施例的详细说明，具体如下：
请参阅图6，本实施例提供了一种客户端UI交互组件生成终端，终端的类型包括但不限于：个人计算机、工业计算机、服务器主机以及嵌入式智能终端，终端的组成主要包括：存储器33和处理器31，其中存储器33和处理器31可通过总线34连接；
存储器33用于存储如前文实施例提供的客户端UI交互组件生成方法对应的程序代码；
处理器31用于执行程序代码。
本实施例提供的提供了一种计算机可读存储介质，计算机可读存储介质中保存有如前文实施例提供的客户端UI交互组件生成方法对应的程序代码。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的终端，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种客户端UI交互组件生成方法，其特征在于，包括：
获取待生成的客户端UI交互组件的UI效果图和需求描述文本；
根据预设的多模态模型，结合所述需求描述文本，对所述UI效果图进行特征提取，并将提取的属性特征通过特征语言化转换方式转换成自然语言文本，得到所述UI效果图的属性信息；
通过所述属性信息，与预设的UI组件知识库中的UI组件对象进行属性相似度匹配，以根据匹配结果得到目标UI组件对象；
获取所述目标UI组件对象对应的目标组件代码，以基于所述目标组件代码生成所述客户端UI交互组件。
2.根据权利要求1所述的一种客户端UI交互组件生成方法，其特征在于，所述UI组件知识库的构建过程具体包括：
获取多个UI组件对象的组件效果图、组件说明文本以及组件代码；
根据所述组件效果图、所述组件说明文本以及所述组件代码，通过所述多模态模型，得到所述UI组件对象对应的组件属性特征，并将所述组件属性特征转换成组件属性特征向量，所述组件属性特征向量包括：图像向量和文本向量；
将每个UI组件对象的识别标识与所述组件属性特征向量进行关联，并将关联后的识别标识与所述组件属性特征向量存入基于原子设计理论构建的大模型数据库，以得到所述UI组件知识库。
3.根据权利要求2所述的一种客户端UI交互组件生成方法，其特征在于，通过所述属性信息，与预设的UI组件知识库中的UI组件对象进行属性相似度匹配，以根据匹配结果得到目标UI组件对象具体包括：
根据所述属性信息转换成属性向量化数据；
将所述属性向量化数据与所述UI组件知识库中的UI组件对象的组件属性特征向量进行向量距离匹配，以根据匹配结果确定一个或多个目标UI组件对象。
4.根据权利要求3所述的一种客户端UI交互组件生成方法，其特征在于，所述基于所述目标组件代码生成所述客户端UI交互组件具体包括：
根据所述组件属性特征向量与所述属性向量化数据的匹配结果，以及所述需求描述文本与所述组件说明文本的匹配结果，确定所述目标UI组件对象中与所述客户端UI交互组件间的相同属性，再从所述目标组件代码中提取所述相同属性对应的第一代码片段；
根据所述UI效果图和所述需求描述文本，对所述第一代码片段进行组合，以得到所述客户端UI交互组件。
5.根据权利要求4所述的一种客户端UI交互组件生成方法，其特征在于，还包括：
根据所述UI效果图和所述需求描述文本，对所述第一代码片段进行校验，确定所述第一代码片段中不符合所述UI效果图和所述需求描述文本的异常属性；
根据所述异常属性，按照所述UI效果图与所述需求描述文本，从所述UI组件知识库中进行二次匹配，得到第二代码片段，以通过所述第二代码片段对所述第一代码片段进行更新。
6.根据权利要求1所述的一种客户端UI交互组件生成方法，其特征在于，还包括：
根据所述需求描述文本，通过开集目标检测方式与模糊匹配方式，确定所述客户端UI交互组件的组件类型信息，以根据所述组件类型信息调整所述UI组件对象的匹配范围。
7.根据权利要求1所述的一种客户端UI交互组件生成方法，其特征在于，所述属性信息包括：色彩配置、控件类型、控件尺寸、控件图像、布局结构和控件字符内容。
8.一种客户端UI交互组件生成装置，其特征在于，包括：
需求数据获取单元，用于获取待生成的客户端UI交互组件的UI效果图和需求描述文本；
属性信息提取单元，用于根据预设的多模态模型，结合所述需求描述文本，对所述UI效果图进行特征提取，并将提取的属性特征通过特征语言化转换方式转换成自然语言文本，得到所述UI效果图的属性信息；
属性匹配单元，用于通过所述属性信息，与预设的UI组件知识库中的UI组件对象进行属性相似度匹配，以根据匹配结果得到目标UI组件对象；
UI组件生成单元，用于获取所述目标UI组件对象对应的目标组件代码，以基于所述目标组件代码生成所述客户端UI交互组件。
9.一种客户端UI交互组件生成终端，其特征在于，包括：存储器和处理器；
所述存储器用于存储如权利要求1至7任意一项所述的客户端UI交互组件生成方法对应的程序代码；
所述处理器用于执行所述程序代码。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中保存有如权利要求1至7任意一项所述的客户端UI交互组件生成方法对应的程序代码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311454170.2A CN117420998A (zh) | 2023-11-02 | 2023-11-02 | 一种客户端ui交互组件生成方法、装置、终端及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311454170.2A CN117420998A (zh) | 2023-11-02 | 2023-11-02 | 一种客户端ui交互组件生成方法、装置、终端及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117420998A true CN117420998A (zh) | 2024-01-19 |
Family
ID=89526284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311454170.2A Pending CN117420998A (zh) | 2023-11-02 | 2023-11-02 | 一种客户端ui交互组件生成方法、装置、终端及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117420998A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117851435A (zh) * | 2024-03-08 | 2024-04-09 | 易方信息科技股份有限公司 | 一种基于大语言模型的知识库知识检索方法及相关装置 |
-
2023
- 2023-11-02 CN CN202311454170.2A patent/CN117420998A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117851435A (zh) * | 2024-03-08 | 2024-04-09 | 易方信息科技股份有限公司 | 一种基于大语言模型的知识库知识检索方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111753060B (zh) | 信息检索方法、装置、设备及计算机可读存储介质 | |
| US20200151201A1 (en) | Automated Extraction, Inference and Normalization of Structured Attributes for Product Data | |
| CN108287858B (zh) | 自然语言的语义提取方法及装置 | |
| US20240028651A1 (en) | System and method for processing documents | |
| US7689527B2 (en) | Attribute extraction using limited training data | |
| CN112667794A (zh) | 一种基于孪生网络bert模型的智能问答匹配方法及系统 | |
| CN107491655B (zh) | 基于机器学习的肝脏疾病信息智能咨询系统 | |
| US20150199567A1 (en) | Document classification assisting apparatus, method and program | |
| CN109408821B (zh) | 一种语料生成方法、装置、计算设备及存储介质 | |
| CN110297880B (zh) | 语料产品的推荐方法、装置、设备及存储介质 | |
| CN112966091B (zh) | 一种融合实体信息与热度的知识图谱推荐系统 | |
| JP2011018178A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| WO2023108980A1 (zh) | 基于文本对抗样例的信息推送方法及装置 | |
| CN111666766A (zh) | 数据处理方法、装置和设备 | |
| CN109522396B (zh) | 一种面向国防科技领域的知识处理方法及系统 | |
| CN112836509A (zh) | 一种专家系统知识库构建方法及系统 | |
| CN117420998A (zh) | 一种客户端ui交互组件生成方法、装置、终端及介质 | |
| US11481722B2 (en) | Automated extraction, inference and normalization of structured attributes for product data | |
| CN110795942B (zh) | 基于语义识别的关键词确定方法、装置和存储介质 | |
| CN112148952A (zh) | 一种任务执行方法、装置、设备及计算机可读存储介质 | |
| CN116882414B (zh) | 基于大规模语言模型的评语自动生成方法及相关装置 | |
| CN112395881B (zh) | 物料标签的构建方法、装置、可读存储介质及电子设备 | |
| KR20200064490A (ko) | 프로필 자동생성서버 및 방법 | |
| CN115309995A (zh) | 一种基于需求文本的科技资源推送方法和装置 | |
| Kang et al. | Recognising informative Web page blocks using visual segmentation for efficient information extraction. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |