CN112667232A - 界面代码生成方法、装置、设备及存储介质 - Google Patents
界面代码生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112667232A CN112667232A CN202011523821.5A CN202011523821A CN112667232A CN 112667232 A CN112667232 A CN 112667232A CN 202011523821 A CN202011523821 A CN 202011523821A CN 112667232 A CN112667232 A CN 112667232A
- Authority
- CN
- China
- Prior art keywords
- code
- image
- gui
- feature
- dsl
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000010586 diagram Methods 0.000 claims abstract description 110
- 238000000605 extraction Methods 0.000 claims description 119
- 238000012549 training Methods 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 17
- 230000009467 reduction Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 6
- 238000011161 development Methods 0.000 abstract description 39
- 230000008569 process Effects 0.000 abstract description 19
- 239000000284 extract Substances 0.000 abstract description 5
- 230000018109 developmental process Effects 0.000 description 37
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供一种界面代码生成方法、装置、设备及存储介质，该方法基于一张GUI图快速生成该GUI图的界面代码，节省前端开发人员大量的重复工作，降低GUI开发复杂度，提高开发效率。而且，本申请实施例在生成GUI图的界面代码过程中，利用第一预设模型对GUI图进行识别，其中，第一预设模型在对GUI图进行特征提取后，对提取的特征再次进行特征提取，使得提取的GUI图的特征信息更丰富，提高了图片识别率，从而，后续本申请实施例基于第一预设模型提取的GUI图的特征，生成上述待处理GUI图的界面代码，提高了生成的GUI图的界面代码的准确率。
Description
技术领域
本申请涉及金融科技(Fintech)的计算机技术，尤其涉及一种界面代码生成方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技转变，图形用户界面(graphical user interface，GUI)的代码生成技术也不例外，但由于金融行业的安全性、实时性要求，也对GUI的代码生成技术提出更高的要求。
相关技术中，在金融行业的工程项目开发过程中，GUI部分的开发通常要经过系统分析师，美工或GUI设计师，以及前端开发人员的多方参与。首先，系统分析师分析需求，生成设计文档；美工或GUI设计师根据设计文档，制作低保真或高保真GUI图。最后，前端开发人员根据设计好的GUI图，开发出相应的代码。
后续随着工程、项目的进展，产品通常会经历不断的版本更新迭代。即便在同一个版本的开发中也会有多次微调改动。因此，前端开发人员需要不断地基于不同的GUI图，开发出相应的代码，开发过程复杂，效率较低。
发明内容
为解决现有技术中存在的问题，本申请提供一种界面代码生成方法、装置、设备及存储介质，以解决如何在GUI开发过程中，快速获得GUI图的界面代码，以降低GUI开发复杂度，提高开发效率的问题。
第一方面，本申请实施例提供一种界面代码生成方法，所述方法包括：
获取待处理GUI图，并将所述待处理GUI图输入第一预设模型，其中，所述第一预设模型包括卷积层和特征提取层，所述卷积层对所述待处理GUI图进行特征提取，获得所述待处理GUI图的第一图像特征，所述特征提取层对所述第一图像特征进行特征提取，获得所述待处理GUI图的第二图像特征；
获取预存的GUI图的图像特征与领域特定语言(Domain Specified Language，DSL)代码的代码特征的对应关系，并根据所述对应关系，确定所述第二图像特征对应的DSL代码的代码特征；
根据所述第二图像特征对应的DSL代码的代码特征，获得所述待处理GUI图的界面代码。
在一种可能的实现方式中，所述第一预设模型还包括降噪层，所述降噪层去除所述第一图像特征中的噪点，所述特征提取层对去除噪点后的第一图像特征进行特征提取，获得所述第二图像特征。
在一种可能的实现方式中，所述特征提取层为hash层，所述hash层计算所述第一图像特征的哈希值，并根据所述哈希值对所述第一图像特征进行特征提取，获得所述第二图像特征。
在一种可能的实现方式中，在所述根据所述对应关系，确定所述第二图像特征对应的DSL代码的代码特征之前，还包括：
根据所述第一图像特征和所述第二图像特征，确定所述特征提取层的损失值；
根据所述特征提取层的损失值，对所述特征提取层进行优化，以使优化后的特征提取层的损失值等于预设最小损失值，所述优化后的特征提取层对所述第一图像特征进行特征提取，获得所述第二图像特征。
在一种可能的实现方式中，所述获取预存的GUI图的图像特征与DSL代码的代码特征的对应关系，包括：
将预设GUI图的图像特征和预设DSL代码的代码特征输入第二预设模型，其中，所述第二预设模型通过参考图像特征、参考代码特征，以及所述参考图像特征与所述参考代码特征的对应关系训练得到；
根据所述第二预设模型的输出，获得所述对应关系。
在一种可能的实现方式中，在所述将预设GUI图的图像特征和预设DSL代码的代码特征输入第二预设模型之前，还包括：
将所述预设DSL代码输入第三预设模型，其中，所述第三预设模型通过参考DSL代码和所述参考DSL代码的代码特征训练得到；
根据所述第三预设模型的输出，获得所述预设DSL代码的代码特征。
在一种可能的实现方式中，所述根据所述第二图像特征对应的DSL代码的代码特征，获得所述待处理GUI图的界面代码，包括：
根据所述第二图像特征对应的DSL代码的代码特征，确定所述待处理GUI图对应的DSL代码；
根据所述待处理GUI图对应的DSL代码，获得所述待处理GUI图的界面代码。
在一种可能的实现方式中，所述根据所述第二图像特征对应的DSL代码的代码特征，确定所述待处理GUI图对应的DSL代码，包括：
将所述第二图像特征对应的DSL代码的代码特征输入第四预设模型，其中，所述第四预设模型通过参考DSL代码的代码特征和所述参考DSL代码训练得到；
根据所述第四预设模型的输出，获得所述待处理GUI图对应的DSL代码。
在一种可能的实现方式中，所述获取待处理GUI图，包括：
对目标GUI的至少一个GUI图进行图像预处理，所述图像预处理包括调整图像大小和图像归一化中一个或多个；
根据图像预处理结果，获得所述待处理GUI图。
在一种可能的实现方式中，在所述对目标GUI的至少一个GUI图进行图像预处理之前，还包括：
接收预设图像采集装置发送的所述至少一个GUI图。
在一种可能的实现方式中，在所述对目标GUI的至少一个GUI图进行图像预处理之前，还包括：
接收所述目标GUI所在的设备发送的所述至少一个GUI图。
第二方面，本申请实施例提供一种界面代码生成装置，所述装置包括：
输入模块，用于获取待处理GUI图，并将所述待处理GUI图输入第一预设模型，其中，所述第一预设模型包括卷积层和特征提取层，所述卷积层对所述待处理GUI图进行特征提取，获得所述待处理GUI图的第一图像特征，所述特征提取层对所述第一图像特征进行特征提取，获得所述待处理GUI图的第二图像特征；
获取模块，用于获取预存的GUI图的图像特征与DSL代码的代码特征的对应关系；
确定模块，用于根据所述对应关系，确定所述第二图像特征对应的DSL代码的代码特征；
获得模块，用于根据所述第二图像特征对应的DSL代码的代码特征，获得所述待处理GUI图的界面代码。
在一种可能的实现方式中，所述第一预设模型还包括降噪层，所述降噪层去除所述第一图像特征中的噪点，所述特征提取层对去除噪点后的第一图像特征进行特征提取，获得所述第二图像特征。
在一种可能的实现方式中，所述特征提取层为hash层，所述hash层计算所述第一图像特征的哈希值，并根据所述哈希值对所述第一图像特征进行特征提取，获得所述第二图像特征。
在一种可能的实现方式中，所述输入模块，还用于在所述确定模块根据所述对应关系，确定所述第二图像特征对应的DSL代码的代码特征之前，根据所述第一图像特征和所述第二图像特征，确定所述特征提取层的损失值；
根据所述特征提取层的损失值，对所述特征提取层进行优化，以使优化后的特征提取层的损失值等于预设最小损失值，所述优化后的特征提取层对所述第一图像特征进行特征提取，获得所述第二图像特征。
在一种可能的实现方式中，所述获取模块，具体用于：
将预设GUI图的图像特征和预设DSL代码的代码特征输入第二预设模型，其中，所述第二预设模型通过参考图像特征、参考代码特征，以及所述参考图像特征与所述参考代码特征的对应关系训练得到；
根据所述第二预设模型的输出，获得所述对应关系。
在一种可能的实现方式中，所述获取模块，还用于：
将所述预设DSL代码输入第三预设模型，其中，所述第三预设模型通过参考DSL代码和所述参考DSL代码的代码特征训练得到；
根据所述第三预设模型的输出，获得所述预设DSL代码的代码特征。
在一种可能的实现方式中，所述获得模块，具体用于：
根据所述第二图像特征对应的DSL代码的代码特征，确定所述待处理GUI图对应的DSL代码；
根据所述待处理GUI图对应的DSL代码，获得所述待处理GUI图的界面代码。
在一种可能的实现方式中，所述获得模块，具体用于：
将所述第二图像特征对应的DSL代码的代码特征输入第四预设模型，其中，所述第四预设模型通过参考DSL代码的代码特征和所述参考DSL代码训练得到；
根据所述第四预设模型的输出，获得所述待处理GUI图对应的DSL代码。
在一种可能的实现方式中，所述输入模块，还用于：
对目标GUI的至少一个GUI图进行图像预处理，所述图像预处理包括调整图像大小和图像归一化中一个或多个；
根据图像预处理结果，获得所述待处理GUI图。
在一种可能的实现方式中，所述输入模块，还用于：
接收预设图像采集装置发送的所述至少一个GUI图。
在一种可能的实现方式中，所述输入模块，还用于：
接收所述目标GUI所在的设备发送的所述至少一个GUI图。
第三方面，本申请实施例提供一种界面代码生成设备，包括：
处理器；
存储器；以及
计算机程序；
其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如第一方面所述的方法的指令。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行第一方面所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行第一方面所述的方法。
本申请实施例提供的界面代码生成方法、装置、设备及存储介质，该方法首先将待处理GUI图输入第一预设模型，该第一预设模型包括卷积层和特征提取层，该卷积层对上述待处理GUI图进行特征提取，获得第一图像特征，该特征提取层对上述第一图像特征进行特征提取，获得第二图像特征，然后，该方法根据预存的GUI图的图像特征与DSL代码的代码特征的对应关系，确定上述第二图像特征对应的DSL代码的代码特征，进而，根据该代码特征，获得上述待处理GUI图的界面代码。即本申请实施例基于一张GUI图快速生成该GUI图的界面代码，节省前端开发人员大量的重复工作，降低GUI开发复杂度，提高开发效率。而且，本申请实施例中第一预设模型在对GUI图进行特征提取后，对提取的特征再次进行特征提取，使得提取的GUI图的特征信息更丰富，获得的GUI图的信息更多，基于获得的信息进行图片识别，提高了图片识别率，从而，提高了后续生成的GUI图的界面代码的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种模型训练过程示意图；
图2为本申请实施例提供的基于图1训练好的模型生成用户界面代码的示意图；
图3为本申请实施例提供的一种界面代码生成系统架构示意图；
图4为本申请实施例提供的一种界面代码生成方法的流程示意图；
图5为本申请实施例提供的一种第一预设模型的示意图；
图6为本申请实施例提供的另一种界面代码生成方法的流程示意图；
图7为本申请实施例提供的一种代码生成模型示意图；
图8为本申请实施例提供的一种界面代码生成装置的结构示意图；
图9示出了本申请界面代码生成设备的一种可能的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”及“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
相关技术中，在金融行业的工程项目开发过程中，GUI部分的开发通常要经过系统分析师，美工或GUI设计师，以及前端开发人员的多方参与。首先，系统分析师分析需求，生成设计文档；美工或GUI设计师根据设计文档，制作低保真或高保真GUI图。最后，前端开发人员根据设计好的GUI图，开发出相应的代码。
后续随着工程、项目的进展，产品通常会经历不断的版本更新迭代。即便在同一个版本的开发中也会有多次微调改动。因此，前端开发人员需要不断地基于不同的GUI图，开发出相应的代码，开发过程复杂，效率较低，因此，如何在GUI开发过程中，快速获得GUI图的界面代码，以降低GUI开发复杂度，提高开发效率成为一个急需解决的问题。
为了解决上述问题，现有研究提供了一种用户界面代码生成的方法。示例性的，在训练过程中，如图1所示，客户端或服务器将某一GUI图I输入卷积神经网络(ConvolutionalNeural Networks，CNN)模型中，CNN模型对该GUI图I进行识别，编码为向量表示为p。客户端或服务器将某一DSL代码输入时间循环神经网络(Long Short-Term Memory，LSTM)模型中，LSTM模型将该DSL代码编码为一个中间表示qt。客户端或服务器将p和qt输入LSTM*的模型中，再将LSTM*的输出输入到softmax函数模块，获得p与qt之间的关系。在采样阶段，如图2所示，客户端或服务器将空代码文本输入到LSTM模型中，再将待处理GUI图输入到CNN，最后，将CNN的输出和LSTM的输出输入LSTM*，再将LSTM*的输出输入到softmax函数模块，可以获取上述待处理GUI图的DSL代码。
然而，上述CNN模型通过对GUI图I进行降维来识别图像，即CNN模型将GUI图I降维为计算机可处理信息，基于该计算机可处理信息来识别图像。其中，在降维过程中GUI图I的很多信息被CNN模型丢弃，从而，使得CNN模型对GUI图I的识别率较低，进而，导致上述CNN模型对上述GUI图I进行识别，编码得到的向量p的准确性较低，降低了后续生成的GUI图的DSL代码的准确率。
因此，本申请实施例提出一种界面代码生成方法，基于一张GUI图快速生成该GUI图的界面代码，节省前端开发人员大量的重复工作，降低GUI开发复杂度，提高开发效率。另外，本申请实施例在生成GUI图的界面代码过程中，利用第一预设模型对GUI图进行识别，其中，第一预设模型在对GUI图进行特征提取后，对提取的特征再次进行特征提取，使得提取的GUI图的特征信息更丰富，而且相对于现有CNN模型对GUI图进行降维来识别图像来说，本申请实施例通过对GUI图进行两次特征提取，获得的GUI图的信息更多，基于获得的信息进行图片识别，提高了图片识别率，从而，后续本申请实施例基于第一预设模型提取的GUI图的特征，生成上述待处理GUI图的界面代码，提高了生成的GUI图的界面代码的准确率。
本申请实施例提供的界面代码生成方法可应用多种设备的GUI开发中，例如移动端设备的GUI开发、个人计算机(Personal Computer，PC)端设备的GUI开发、游戏端设备的GUI开发等，具体可以根据实际情况确定，本申请实施例对此不做特别限制。
这里，以移动端设备的GUI开发为例，该移动端设备的GUI图可以通过预设图像采集装置采集得到，例如摄像头采集得到。示例性的，以预设图像采集装置为上述摄像头为例，上述摄像头的数量、位置和类型等信息可以由代码生成设备统一规定。其中，代码生成设备用于生成GUI图的界面代码，并在生成GUI图的界面代码过程中用到的装置，例如上述摄像头，进行管理。例如，代码生成设备可以根据摄像头的相关规定，检查上述摄像头的安装是否符合要求，如通过移动端设备上传的上述摄像头的安装图像，检查上述摄像头的安装是否符合要求。如果符合要求，代码生成设备可以与上述摄像头建立连接。在移动端设备的GUI开发过程中，代码生成设备可以启动上述摄像头，采集移动端设备的GUI图。
除上述外，上述GUI图还可以通过移动端设备自身采集得到，例如移动端设备通过截屏得到上述GUI图。示例性的，上述代码生成设备可以在移动端设备的GUI开发过程中，发送图像获取请求至移动端设备。移动端设备根据该请求截屏得到上述GUI图。
这里，在上述摄像头或移动端设备获取上述GUI图后，可以发送至上述代码生成设备。进而，上述代码生成设备可以将上述GUI图输入第一预设模型，快速生成上述GUI图的界面代码，节省前端开发人员大量的重复工作，降低GUI开发复杂度，提高开发效率。而且，上述第一预设模型包括卷积层和特征提取层，该卷积层对上述GUI图进行特征提取，获得第一图像特征，该特征提取层对上述第一图像特征进行特征提取，获得第二图像特征，使得提取的GUI图的特征信息更丰富，提高了图片识别率，从而，提高了后续基于上述GUI图的特征生成的GUI图的界面代码的准确率。
可选地，图3为本申请实施例提供的一种界面代码生成系统架构示意图。在图3中，以移动端设备的GUI开发为例。上述架构包括代码生成设备11和预设图像采集装置12。
可以理解的是，本申请实施例示意的结构并不构成对界面代码生成架构的具体限定。在本申请另一些可行的实施方式中，上述架构可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置，具体可根据实际应用场景确定，在此不做限制。图3所示的部件可以以硬件，软件，或软件与硬件的组合实现。
在具体实现过程中，代码生成设备11可以首先确定是否控制预设图像采集装置12启动。示例性的，代码生成设备11可以在确定移动端设备的GUI开发开始后，控制预设图像采集装置12启动，采集移动端设备的GUI图。或者，代码生成设备11可以根据前端开发人员的需求，确定是否控制预设图像采集装置12启动。示例性的，如果前端开发人员要求开启预设图像采集装置12，则代码生成设备11控制预设图像采集装置12启动，采集移动端设备的GUI图。
在预设图像采集装置12启动，并采集到移动端设备的GUI图后，可以将采集的图像发送至代码生成设备11。代码生成设备11在接收到上述GUI图后，将上述GUI图输入第一预设模型，对上述GUI图进行特征提取，获得第一图像特征，并对上述第一图像特征进行特征提取，获得第二图像特征，从而，代码生成设备11基于第一预设模型提取的GUI图的特征，快速生成上述GUI图的界面代码，节省前端开发人员大量的重复工作，提高开发效率。而且，第一预设模型在对GUI图进行特征提取后，对提取的特征再次进行特征提取，使得提取的GUI图的特征信息更丰富，获得的GUI图的信息更多，基于获得的信息进行图片识别，提高了图片识别率。从而，代码生成设备11基于第一预设模型提取的GUI图的特征，生成上述待处理GUI图的界面代码，提高了生成的GUI图的界面代码的准确率。
另外，本申请实施例描述的系统架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
下面以几个实施例为例对本申请的技术方案进行描述，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图4为本申请实施例提供的一种界面代码生成方法的流程示意图，本申请实施例提供了一种界面代码生成方法，该方法可以应用于GUI图的界面代码生成的处理，且该方法可以由任意执行界面代码生成方法的装置来执行，该装置可以通过软件和/或硬件实现。如图4所示，在图3所示系统架构的基础上，本申请实施例提供的界面代码生成方法包括如下步骤：
S401：获取待处理GUI图，并将该待处理GUI图输入第一预设模型，其中，该第一预设模型包括卷积层和特征提取层，该卷积层对上述待处理GUI图进行特征提取，获得上述待处理GUI图的第一图像特征，该特征提取层对上述第一图像特征进行特征提取，获得上述待处理GUI图的第二图像特征。
其中，上述待处理GUI图可以根据实际情况确定，例如以上述移动端设备的GUI开发为例，上述待处理GUI图可以为上述移动端设备的GUI图。
在本申请实施例中，以执行主体为上述代码生成设备为例。上述待处理GUI图可以为上述代码生成设备直接接收的上述预设图像采集装置发送的上述移动端设备的GUI图，或者，接收的目标GUI(例如上述移动端设备的GUI)所在的设备(例如上述移动端设备)发送的上述移动端设备的GUI图。
这里，为了提高后续第一预设模型识别图片的识别率，上述代码生成设备可以对接收的GUI图进行图像预处理。示例性的，上述预设图像采集装置可以发送上述目标GUI的至少一个GUI图至上述代码生成设备。同样，上述目标GUI所在的设备也可以发送上述目标GUI的至少一个GUI图至上述代码生成设备。上述代码生成设备在接收到上述至少一个GUI图后，可以对上述至少一个GUI图进行图像预处理，例如调整图像大小和图像归一化等，从而，根据图像预处理结果，获得上述待处理GUI图。示例性的，上述代码生成设备可以将上述至少一个GUI图的大小调整为预设大小，然后再对图像进行归一化处理等，最后将处理后的图像作为上述待处理GUI图。其中，上述预设大小可以根据实际情况确定，本申请实施例对此不做特别限制。
在本申请实施例中，上述卷积层对上述待处理GUI图进行特征提取时，可以根据上述待处理GUI图的每一维特征的权重进行特征提取，其中，每一维特征的权重代表着该维特征的重要性，即重要性高的特征权重大，重要性小的特征权重小。这里，每一维特征的重要性可以根据实际情况确定。
示例性的，上述卷积层可以首先根据上述待处理GUI图的每一维特征的权重大小，对上述待处理GUI图的每一维特征进行排序，例如从权重大到权重小进行排序，然后根据排序结果，从上述待处理GUI图的每一维特征中提取权重较大的特征，例如提取权重大于预设权重的特征，从而，获得上述待处理GUI图的第一图像特征。其中，上述预设权重可以根据实际情况设置，本申请实施例对此不做特别限制。
这样，本申请实施例通过第一预设模型首先获得了上述待处理GUI图的权重较大的特征，即提取了重要性较高的特征，获得GUI图更准确的特征，从而，后续对提取的特征再次进行特征提取，使得提取的GUI图的特征信息更丰富，获得的GUI图的信息更多，基于获得的信息进行图片识别，提高了图片识别率。
这里，第一预设模型在对GUI图进行特征提取后，对提取的特征再次进行特征提取，使得提取的GUI图的特征信息更丰富，提高了图片识别率，从而，提高了后续生成的GUI图的界面代码的准确率。为了进一步提高第一预设模型识别图片的准确率，上述第一预设模型还可以包括降噪层，该降噪层去除上述第一图像特征中的噪点，提高了图像的清晰度，进而，上述特征提取层对去除噪点后的第一图像特征进行特征提取，获得上述第二图像特征，进一步提高了后续生成的GUI图的界面代码的准确率。
示例性的，上述特征提取层可以为hash层，该hash层计算上述第一图像特征的哈希值，并根据该哈希值对上述第一图像特征进行特征提取，获得上述第二图像特征。其中，上述hash层计算上述第一图像特征的哈希值，进而，基于该哈希值对上述第一图像特征进行标记，从而，根据该标记对上述第一图像特征进行特征提取，获得更丰富的GUI图的特征信息，提高了第一预设模型的图片识别率。
这里，上述hash层可以采用公式：hi(x；w)＝tanh(wT[Xi(fn-2(x)；fn-1(x))])计算上述第一图像特征的哈希值。其中，i＝1,2,…,k，hi(x；w)表示获得的第i位的哈希值，tanh是双曲正切函数，w表示hash层的权重，fn-2(x)，fn-1(x)分别表示上述第一图像特征，Xi(fn-2(x)；fn-1(x))表示分割后第i段图像特征表示。
示例性的，本申请实施例提供的一种第一预设模型的示意图如图5所示。该第一预设模型包括卷积层、降噪层和特征提取层，该特征提取层为hash层。其中，上述卷积层对上述待处理GUI图进行特征提取，获得上述待处理GUI图的第一图像特征。上述降噪层去除上述第一图像特征中的噪点。上述hash层计算去除噪点后的第一图像特征的哈希值，进而，基于该哈希值对去除噪点后的第一图像特征进行标记，从而，根据该标记对去除噪点后的第一图像特征进行特征提取，获得上述待处理GUI图的第二图像特征，即获得更准确、更丰富的GUI图的特征信息，提高了第一预设模型的图片识别率，进一步提高了后续基于第一预设模型提取的GUI图的特征生成的GUI图的界面代码的准确率。
这里，上述第一预设模型除包括上述卷积层、降噪层、hash层外，还可以使用分层注意力机制，基于该分层注意力机制，提取上述GUI图的特征信息，进而，使得后续基于提取的上述GUI图的特征生成的GUI图的界面代码更准确。
另外，上述第一预设模型可以与上述代码生成设备独立设置。在上述代码生成设备获取待处理GUI图，并将所述待处理GUI图输入第一预设模型之前，上述第一预设模型可以先进行模型训练，以便上述代码生成设备直接利用训练好的第一预设模型对上述待处理GUI图进行特征提取，缩短GUI的开发时间，提高开发效率。
S402：获取预存的GUI图的图像特征与DSL代码的代码特征的对应关系，并根据该对应关系，确定上述第二图像特征对应的DSL代码的代码特征。
这里，上述代码生成设备在根据上述对应关系，确定上述第二图像特征对应的DSL代码的代码特征之前，还可以根据上述第一图像特征和第二图像特征，确定上述特征提取层的损失值，进而，根据该特征提取层的损失值，对上述特征提取层进行优化，以使优化后的特征提取层的损失值等于预设最小损失值。上述优化后的特征提取层对上述第一图像特征进行特征提取，获得上述第二图像特征。
在本申请实施例中，上述代码生成设备根据上述特征提取层的输入和输出，对上述特征提取层进行优化，使得优化后的特征提取层提取的特征更准确，提高后续基于优化后的特征提取层提取的特征生成的GUI图的界面代码的准确率。
示例性的，上述代码生成设备可以根据公式：
确定上述特征提取层的损失值L。其中，W＝[w1,w2,…,wc]是上述特征提取层中分类器的权重，yi＝[y1,y2,…,yn]表示上述第一图像特征，bi表示上述第二图像特征，s表示未经过阈值化的连续值编码，为常数值，可以通过大量实验确定。进而，上述代码生成设备根据上述特征提取层的损失值L，对上述特征提取层进行优化，以使优化后的特征提取层的损失值等于预设最小损失值。这里，预设最小损失值可以根据实际情况确定，本申请实施例对此不做特别限制。
S403：根据上述第二图像特征对应的DSL代码的代码特征，获得上述待处理GUI图的界面代码。
示例性的，上述代码生成设备可以首先根据上述第二图像特征对应的DSL代码的代码特征，确定上述待处理GUI图对应的DSL代码，然后，根据上述待处理GUI图对应的DSL代码，获得上述待处理GUI图的界面代码。
其中，上述代码生成设备可以将上述第二图像特征对应的DSL代码的代码特征输入第四预设模型，这里，第四预设模型通过参考DSL代码的代码特征和参考DSL代码训练得到。第四预设模型具体可以根据实际情况确定，例如LSTM模型，本申请实施例对此不做特别限制。进而，上述代码生成设备根据第四预设模型的输出，获得上述待处理GUI图对应的DSL代码。
这里，上述待处理GUI图的界面代码可以根据实际需要确定。上述代码生成设备可以对上述待处理GUI图对应的DSL代码进行编译，将上述待处理GUI图对应的DSL代码转换为上述待处理GUI图的界面代码。
在本申请实施例中，上述代码生成设备首先将待处理GUI图输入第一预设模型，该第一预设模型包括卷积层和特征提取层，该卷积层对上述待处理GUI图进行特征提取，获得第一图像特征，该特征提取层对上述第一图像特征进行特征提取，获得第二图像特征，然后，上述代码生成设备根据预存的GUI图的图像特征与DSL代码的代码特征的对应关系，确定上述第二图像特征对应的DSL代码的代码特征，进而，根据该代码特征，获得上述待处理GUI图的界面代码，即本申请实施例基于一张GUI图快速生成该GUI图的界面代码，节省前端开发人员大量的重复工作，降低GUI开发复杂度，提高开发效率。而且，本申请实施例中第一预设模型在对GUI图进行特征提取后，对提取的特征再次进行特征提取，使得提取的GUI图的特征信息更丰富，获得的GUI图的信息更多，基于获得的信息进行图片识别，提高了图片识别率，从而，提高了后续生成的GUI图的界面代码的准确率。
这里，代码生成设备在将上述第二图像特征对应的DSL代码的代码特征输入第四预设模型之前，需要对第四预设模型进行训练，以便后续将上述第二图像特征对应的DSL代码的代码特征输入训练好的第四预设模型，根据第四预设模型的输出，获得上述待处理GUI图对应的DSL代码。其中，在训练过程中，代码生成设备可以将参考DSL代码的代码特征输入第四预设模型，然后，根据第四预设模型输出的DSL代码，以及上述参考DSL代码，确定输出准确率。如果该输出准确率低于预设准确率阈值，代码生成设备可以根据上述输出准确率，调整上述第四预设模型，以提高上述输出准确率，将调整后的第四预设模型作为新的第四预设模型，重新执行上述将上述参考DSL代码的代码特征输入第四预设模型的步骤。
其中，上述参考DSL代码可以为已知的GUI图的DSL代码，例如上述移动端设备的旧版本GUI图的DSL代码。上述参考DSL代码的代码特征可以由代码生成设备对上述参考DSL代码进行特征提取获得。示例性的，代码生成设备可以将上述参考DSL代码输入LSTM模型中，通过该LSTM模型将上述参考DSL代码编码为一个中间表示qt，进而，根据该qt，获得上述参考DSL代码的代码特征。
另外，本申请实施例在上述获取预存的GUI图的图像特征与DSL代码的代码特征的对应关系时，上述代码生成设备还考虑将预设GUI图的图像特征和预设DSL代码的代码特征输入第二预设模型，其中，所述第二预设模型通过参考图像特征、参考代码特征，以及上述参考图像特征与参考代码特征的对应关系训练得到。第二预设模型具体可以根据实际情况确定，例如LSTM模型，本申请实施例对此不做特别限制。进而，上述代码生成设备根据上述第二预设模型的输出，获得上述GUI图的图像特征与DSL代码的代码特征的对应关系。图6为本申请实施例提出的另一种界面代码生成方法的流程示意图。如图6所示，该方法包括：
S601：获取待处理GUI图，并将该待处理GUI图输入第一预设模型，其中，第一预设模型包括卷积层和特征提取层，该卷积层对上述待处理GUI图进行特征提取，获得上述待处理GUI图的第一图像特征，该特征提取层对上述第一图像特征进行特征提取，获得上述待处理GUI图的第二图像特征。
其中，步骤S601与上述步骤S401的实现方式相同，此处不再赘述。
S602：将预设GUI图的图像特征和预设DSL代码的代码特征输入第二预设模型，其中，第二预设模型通过参考图像特征、参考代码特征，以及上述参考图像特征与上述参考代码特征的对应关系训练得到。
这里，上述代码生成设备在将预设GUI图的图像特征和预设DSL代码的代码特征输入第二预设模型之前，还可以获取上述预设DSL代码的代码特征。
示例性的，上述代码生成设备可以将上述预设DSL代码输入第三预设模型，其中，第三预设模型通过参考DSL代码和该参考DSL代码的代码特征训练得到。第三预设模型具体可以根据实际情况确定，例如LSTM模型，本申请实施例对此不做特别限制。进而，上述代码生成设备根据上述第三预设模型的输出，获得上述预设DSL代码的代码特征。
其中，上述第三预设模型可以为LSTM模型，该LSTM模型通过参考DSL代码和该参考DSL代码的代码特征训练得到。上述代码生成设备将上述预设DSL代码输入上述LSTM模型，根据上述LSTM模型的输出，获得上述预设DSL代码的代码特征。
S603：根据所述第二预设模型的输出，获得GUI图的图像特征与DSL代码的代码特征的对应关系，并根据该对应关系，确定上述第二图像特征对应的DSL代码的代码特征。
这里，在上述获得上述预设DSL代码的代码特征之后，上述代码生成设备可以将预设GUI图的图像特征和上述预设DSL代码的代码特征输入第二预设模型，该第二预设模型也可以为LSTM模型。该LSTM模型通过参考图像特征、参考代码特征，以及上述参考图像特征与参考代码特征的对应关系训练得到。上述代码生成设备根据上述LSTM模型的输出，获得上述GUI图的图像特征与DSL代码的代码特征的对应关系，从而，使得获取的上述对应关系更准确，提高了后续基于上述对应关系生成的GUI图的界面代码的准确率。
示例性的，图7示出一种代码生成模型示意图，该代码生成模型包括上述第一预设模型、第二预设模型和第三预设模型。上述代码生成设备在获取待处理GUI图后，可以将该待处理GUI图输入上述第一预设模型。上述第一预设模型包括卷积层和特征提取层，卷积层对上述待处理GUI图进行特征提取，获得上述待处理GUI图的第一图像特征，特征提取层对上述第一图像特征进行特征提取，获得上述待处理GUI图的第二图像特征。上述代码生成设备可以将预设GUI图的图像特征和预设DSL代码的代码特征输入上述第二预设模型，其中，上述第二预设模型通过参考图像特征、参考代码特征，以及上述参考图像特征与参考代码特征的对应关系训练得到。进而，上述代码生成设备根据第二预设模型的输出，获得GUI图的图像特征与DSL代码的代码特征的对应关系，并根据该对应关系，确定上述第二图像特征对应的DSL代码的代码特征，根据上述第二图像特征对应的DSL代码的代码特征，获得上述待处理GUI图的界面代码。其中，上述代码生成设备可以通过将预设DSL代码输入上述第三预设模型，获得上述预设DSL代码的代码特征，这里，上述第三预设模型通过参考DSL代码和该参考DSL代码的代码特征训练得到。
S604：根据上述第二图像特征对应的DSL代码的代码特征，获得上述待处理GUI图的界面代码。
其中，步骤S604与上述步骤S403的实现方式相同，此处不再赘述。
本申请实施例通过第二预设模型获得上述GUI图的图像特征与DSL代码的代码特征的对应关系，从而，使得获取的上述对应关系更准确，提高了后续基于上述对应关系生成的GUI图的界面代码的准确率。而且，本申请实施例基于一张GUI图快速生成该GUI图的界面代码，节省前端开发人员大量的重复工作，降低GUI开发复杂度，提高开发效率。另外，本申请实施例中第一预设模型在对GUI图进行特征提取后，对提取的特征再次进行特征提取，使得提取的GUI图的特征信息更丰富，获得的GUI图的信息更多，基于获得的信息进行图片识别，提高了图片识别率，从而，提高了后续基于上述GUI图的特征生成的GUI图的界面代码的准确率。
这里，代码生成设备在将预设GUI图的图像特征和预设DSL代码的代码特征输入第二预设模型之前，需要对第二预设模型进行训练，以便后续将上述预设GUI图的图像特征和预设DSL代码的代码特征输入训练好的第二预设模型，获得第二预设模型输出的GUI图的图像特征与DSL代码的代码特征的对应关系。在训练过程中，代码生成设备可以将上述参考图像特征和参考代码特征输入第二预设模型，然后，根据第二预设模型输出的两者之间的关系，以及上述参考图像特征与参考代码特征的对应关系，确定输出准确率。如果该输出准确率低于预设准确率阈值，代码生成设备可以根据上述输出准确率，调整上述第二预设模型，以提高上述输出准确率，将调整后的第二预设模型作为新的第二预设模型，重新执行上述将上述参考图像特征和参考代码特征输入第二预设模型的步骤。
其中，上述参考图像特征和参考代码特征可以为已知的GUI图的图像特征和该GUI图的DSL代码的代码特征，例如上述移动端设备的旧版本GUI图的图像特征和该旧版本GUI图的DSL代码的代码特征。
其中，上述旧版本GUI图的DSL代码的代码特征可以由代码生成设备对上述旧版本GUI图的DSL代码进行特征提取获得。示例性的，代码生成设备可以将上述旧版本GUI图的DSL代码输入LSTM模型中，通过该LSTM模型将上述参考DSL代码编码为一个中间表示qt，进而，根据该qt，获得上述旧版本GUI图的DSL代码的代码特征。
同样，代码生成设备在将上述预设DSL代码输入第三预设模型之前，需要对第三预设模型进行训练。这里，第三预设模型的训练过程可以参见上述第二预设模型的训练过程，在此不再赘述。
对应于上文实施例的界面代码生成方法，图8为本申请实施例提供的界面代码生成装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。图8为本申请实施例提供的一种界面代码生成装置的结构示意图，该界面代码生成装置80包括：输入模块801、获取模块802、确定模块803以及获得模块804。这里的界面代码生成装置可以是上述代码生成设备本身，或者是实现代码生成设备的功能的芯片或者集成电路。这里需要说明的是，输入模块、获取模块、确定模块以及获得模块的划分只是一种逻辑功能的划分，物理上两者可以是集成的，也可以是独立的。
其中，输入模块801，用于获取待处理GUI图，并将所述待处理GUI图输入第一预设模型，其中，所述第一预设模型包括卷积层和特征提取层，所述卷积层对所述待处理GUI图进行特征提取，获得所述待处理GUI图的第一图像特征，所述特征提取层对所述第一图像特征进行特征提取，获得所述待处理GUI图的第二图像特征。
获取模块802，用于获取预存的GUI图的图像特征与DSL代码的代码特征的对应关系。
确定模块803，用于根据所述对应关系，确定所述第二图像特征对应的DSL代码的代码特征。
获得模块804，用于根据所述第二图像特征对应的DSL代码的代码特征，获得所述待处理GUI图的界面代码。
在一种可能的设计中，所述第一预设模型还包括降噪层，所述降噪层去除所述第一图像特征中的噪点，所述特征提取层对去除噪点后的第一图像特征进行特征提取，获得所述第二图像特征。
在一种可能的实现方式中，所述特征提取层为hash层，所述hash层计算所述第一图像特征的哈希值，并根据所述哈希值对所述第一图像特征进行特征提取，获得所述第二图像特征。
在一种可能的实现方式中，所述输入模块801，还用于在所述确定模块803根据所述对应关系，确定所述第二图像特征对应的DSL代码的代码特征之前，根据所述第一图像特征和所述第二图像特征，确定所述特征提取层的损失值；
根据所述特征提取层的损失值，对所述特征提取层进行优化，以使优化后的特征提取层的损失值等于预设最小损失值，所述优化后的特征提取层对所述第一图像特征进行特征提取，获得所述第二图像特征。
在一种可能的实现方式中，所述获取模块802，具体用于：
将预设GUI图的图像特征和预设DSL代码的代码特征输入第二预设模型，其中，所述第二预设模型通过参考图像特征、参考代码特征，以及所述参考图像特征与所述参考代码特征的对应关系训练得到；
根据所述第二预设模型的输出，获得所述对应关系。
在一种可能的实现方式中，所述获取模块802，还用于：
将所述预设DSL代码输入第三预设模型，其中，所述第三预设模型通过参考DSL代码和所述参考DSL代码的代码特征训练得到；
根据所述第三预设模型的输出，获得所述预设DSL代码的代码特征。
在一种可能的实现方式中，所述获得模块804，具体用于：
根据所述第二图像特征对应的DSL代码的代码特征，确定所述待处理GUI图对应的DSL代码；
根据所述待处理GUI图对应的DSL代码，获得所述待处理GUI图的界面代码。
在一种可能的实现方式中，所述获得模块804，具体用于：
将所述第二图像特征对应的DSL代码的代码特征输入第四预设模型，其中，所述第四预设模型通过参考DSL代码的代码特征和所述参考DSL代码训练得到；
根据所述第四预设模型的输出，获得所述待处理GUI图对应的DSL代码。
在一种可能的实现方式中，所述输入模块801，还用于：
对目标GUI的至少一个GUI图进行图像预处理，所述图像预处理包括调整图像大小和图像归一化中一个或多个；
根据图像预处理结果，获得所述待处理GUI图。
在一种可能的实现方式中，所述输入模块801，还用于：
接收预设图像采集装置发送的所述至少一个GUI图。
在一种可能的实现方式中，所述输入模块801，还用于：
接收所述目标GUI所在的设备发送的所述至少一个GUI图。
本申请实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。
可选地，图9示意性地提供本申请所述界面代码生成设备的一种可能的基本硬件架构。
参见图9，界面代码生成设备900包括至少一个处理器901以及通信接口903。进一步可选的，还可以包括存储器902和总线904。
其中，界面代码生成设备900可以是上述处理装置，本申请对此不作特别限制。界面代码生成设备900中，处理器901的数量可以是一个或多个，图8仅示意了其中一个处理器901。可选地，处理器901，可以是中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)或者数字信号处理(Digital Signal Process，DSP)。如果界面代码生成设备900具有多个处理器901，多个处理器901的类型可以不同，或者可以相同。可选地，界面代码生成设备900的多个处理器901还可以集成为多核处理器。
存储器902存储计算机指令和数据；存储器902可以存储实现本申请提供的上述界面代码生成方法所需的计算机指令和数据，例如，存储器902存储用于实现上述界面代码生成方法的步骤的指令。存储器902可以是以下存储介质的任一种或任一种组合：非易失性存储器(例如只读存储器(Read-Only Memory，ROM))、固态硬盘(Solid State Disk，SSD)、硬盘(Hard Disk Drive，HDD)、光盘)，易失性存储器。
通信接口903可以为所述至少一个处理器提供信息输入/输出。也可以包括以下器件的任一种或任一种组合：网络接口(例如以太网接口)、无线网卡等具有网络接入功能的器件。
可选的，通信接口903还可以用于界面代码生成设备900与其它计算设备或者终端进行数据通信。
进一步可选的，图9用一条粗线表示总线904。总线904可以将处理器901与存储器902和通信接口903连接。这样，通过总线904，处理器901可以访问存储器902，还可以利用通信接口903与其它计算设备或者终端进行数据交互。
在本申请中，界面代码生成设备900执行存储器902中的计算机指令，使得界面代码生成设备900实现本申请提供的上述界面代码生成方法，或者使得界面代码生成设备900部署上述的界面代码生成装置。
从逻辑功能划分来看，示例性的，如图9所示，存储器902中可以包括输入模块801、获取模块802、确定模块803以及获得模块804。这里的包括仅仅涉及存储器中所存储的指令被执行时可以分别实现输入模块、获取模块、确定模块以及获得模块的功能，而不限定是物理上的结构。
另外，上述的界面代码生成设备除了可以像上述图9通过软件实现外，也可以作为硬件模块，或者作为电路单元，通过硬件实现。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行本申请提供的上述界面代码生成方法。
本申请提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行上述界面代码生成方法。
本申请提供一种芯片，包括至少一个处理器和通信接口，所述通信接口为所述至少一个处理器提供信息输入和/或输出。进一步，所述芯片还可以包含至少一个存储器，所述存储器用于存储计算机指令。所述至少一个处理器用于调用并运行该计算机指令，以执行本申请提供的上述界面代码生成方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
Claims (13)
1.一种界面代码生成方法，其特征在于，包括：
获取待处理图形用户界面GUI图，并将所述待处理GUI图输入第一预设模型，其中，所述第一预设模型包括卷积层和特征提取层，所述卷积层对所述待处理GUI图进行特征提取，获得所述待处理GUI图的第一图像特征，所述特征提取层对所述第一图像特征进行特征提取，获得所述待处理GUI图的第二图像特征；
获取预存的GUI图的图像特征与领域特定语言DSL代码的代码特征的对应关系，并根据所述对应关系，确定所述第二图像特征对应的DSL代码的代码特征；
根据所述第二图像特征对应的DSL代码的代码特征，获得所述待处理GUI图的界面代码。
2.根据权利要求1所述的方法，其特征在于，所述第一预设模型还包括降噪层，所述降噪层去除所述第一图像特征中的噪点，所述特征提取层对去除噪点后的第一图像特征进行特征提取，获得所述第二图像特征。
3.根据权利要求1所述的方法，其特征在于，所述特征提取层为hash层，所述hash层计算所述第一图像特征的哈希值，并根据所述哈希值对所述第一图像特征进行特征提取，获得所述第二图像特征。
4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述根据所述对应关系，确定所述第二图像特征对应的DSL代码的代码特征之前，还包括：
根据所述第一图像特征和所述第二图像特征，确定所述特征提取层的损失值；
根据所述特征提取层的损失值，对所述特征提取层进行优化，以使优化后的特征提取层的损失值等于预设最小损失值，所述优化后的特征提取层对所述第一图像特征进行特征提取，获得所述第二图像特征。
5.根据权利要求1至3中任一项所述的方法，其特征在于，所述获取预存的GUI图的图像特征与DSL代码的代码特征的对应关系，包括：
将预设GUI图的图像特征和预设DSL代码的代码特征输入第二预设模型，其中，所述第二预设模型通过参考图像特征、参考代码特征，以及所述参考图像特征与所述参考代码特征的对应关系训练得到；
根据所述第二预设模型的输出，获得所述对应关系。
6.根据权利要求5所述的方法，其特征在于，在所述将预设GUI图的图像特征和预设DSL代码的代码特征输入第二预设模型之前，还包括：
将所述预设DSL代码输入第三预设模型，其中，所述第三预设模型通过参考DSL代码和所述参考DSL代码的代码特征训练得到；
根据所述第三预设模型的输出，获得所述预设DSL代码的代码特征。
7.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述第二图像特征对应的DSL代码的代码特征，获得所述待处理GUI图的界面代码，包括：
根据所述第二图像特征对应的DSL代码的代码特征，确定所述待处理GUI图对应的DSL代码；
根据所述待处理GUI图对应的DSL代码，获得所述待处理GUI图的界面代码。
8.根据权利要求7所述的方法，其特征在于，所述根据所述第二图像特征对应的DSL代码的代码特征，确定所述待处理GUI图对应的DSL代码，包括：
将所述第二图像特征对应的DSL代码的代码特征输入第四预设模型，其中，所述第四预设模型通过参考DSL代码的代码特征和所述参考DSL代码训练得到；
根据所述第四预设模型的输出，获得所述待处理GUI图对应的DSL代码。
9.根据权利要求1至3中任一项所述的方法，其特征在于，所述获取待处理GUI图，包括：
对目标GUI的至少一个GUI图进行图像预处理，所述图像预处理包括调整图像大小和图像归一化中一个或多个；
根据图像预处理结果，获得所述待处理GUI图。
10.一种界面代码生成装置，其特征在于，包括：
输入模块，用于获取待处理GUI图，并将所述待处理GUI图输入第一预设模型，其中，所述第一预设模型包括卷积层和特征提取层，所述卷积层对所述待处理GUI图进行特征提取，获得所述待处理GUI图的第一图像特征，所述特征提取层对所述第一图像特征进行特征提取，获得所述待处理GUI图的第二图像特征；
获取模块，用于获取预存的GUI图的图像特征与DSL代码的代码特征的对应关系；
确定模块，用于根据所述对应关系，确定所述第二图像特征对应的DSL代码的代码特征；
获得模块，用于根据所述第二图像特征对应的DSL代码的代码特征，获得所述待处理GUI图的界面代码。
11.一种界面代码生成设备，其特征在于，包括：
处理器；
存储器；以及
计算机程序；
其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如权利要求1-9任一项所述的方法的指令。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行权利要求1-9任一项所述的方法。
13.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令被处理器执行权利要求1-9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011523821.5A CN112667232A (zh) | 2020-12-21 | 2020-12-21 | 界面代码生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011523821.5A CN112667232A (zh) | 2020-12-21 | 2020-12-21 | 界面代码生成方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112667232A true CN112667232A (zh) | 2021-04-16 |
Family
ID=75407376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011523821.5A Pending CN112667232A (zh) | 2020-12-21 | 2020-12-21 | 界面代码生成方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112667232A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113867724A (zh) * | 2021-09-15 | 2021-12-31 | 中国船舶重工集团公司第七0九研究所 | 一种gui代码自动生成方法及系统、服务器及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10534595B1 (en) * | 2017-06-30 | 2020-01-14 | Palantir Technologies Inc. | Techniques for configuring and validating a data pipeline deployment |
| CN111562915A (zh) * | 2020-06-15 | 2020-08-21 | 厦门大学 | 前端代码生成模型的生成方法和装置 |
| CN111831279A (zh) * | 2019-04-22 | 2020-10-27 | 华为技术有限公司 | 界面代码生成方法及装置 |
-
2020
- 2020-12-21 CN CN202011523821.5A patent/CN112667232A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10534595B1 (en) * | 2017-06-30 | 2020-01-14 | Palantir Technologies Inc. | Techniques for configuring and validating a data pipeline deployment |
| CN111831279A (zh) * | 2019-04-22 | 2020-10-27 | 华为技术有限公司 | 界面代码生成方法及装置 |
| CN111562915A (zh) * | 2020-06-15 | 2020-08-21 | 厦门大学 | 前端代码生成模型的生成方法和装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113867724A (zh) * | 2021-09-15 | 2021-12-31 | 中国船舶重工集团公司第七0九研究所 | 一种gui代码自动生成方法及系统、服务器及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3370188B1 (en) | Facial verification method, device, and computer storage medium | |
| KR20200145827A (ko) | 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체 | |
| EP4137991A1 (en) | Pedestrian re-identification method and device | |
| WO2023173646A1 (zh) | 一种表情识别方法及装置 | |
| CN111428557A (zh) | 基于神经网络模型的手写签名的自动校验的方法和装置 | |
| CN109934142B (zh) | 用于生成视频的特征向量的方法和装置 | |
| CN113379786A (zh) | 图像抠图方法、装置、计算机设备及存储介质 | |
| WO2022111461A1 (zh) | 识别方法、装置及电子设备 | |
| CN112101543A (zh) | 神经网络模型确定方法、装置、电子设备及可读存储介质 | |
| CN112667232A (zh) | 界面代码生成方法、装置、设备及存储介质 | |
| CN113902789A (zh) | 图像特征处理、深度图像生成方法及装置、介质和设备 | |
| CN111815748B (zh) | 一种动画处理方法、装置、存储介质及电子设备 | |
| CN113762312A (zh) | 页面的埋点分析方法和装置 | |
| CN112257689A (zh) | 人脸识别模型的训练和识别方法、存储介质及相关设备 | |
| CN114222181B (zh) | 一种图像处理方法、装置、设备及介质 | |
| CN111651555B (zh) | 业务处理方法、系统和计算机可读存储介质 | |
| CN114973293A (zh) | 相似性判断方法、关键帧提取方法及装置、介质和设备 | |
| CN111461971B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| US20150379751A1 (en) | System and method for embedding codes in mutlimedia content elements | |
| CN113610856A (zh) | 训练图像分割模型和图像分割的方法和装置 | |
| CN115797643A (zh) | 一种图像去噪方法、装置、系统、边缘设备及存储介质 | |
| CN111241990A (zh) | 图像处理方法及装置、计算机设备、计算机可读存储介质 | |
| CN112085025A (zh) | 物体分割方法、装置、设备 | |
| CN110689518B (zh) | 宫颈细胞图像筛查方法、装置、计算机设备及存储介质 | |
| CN113361602B (zh) | 神经网络模型的训练方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |