CN116048708A - 基于人工智能的软件窗口调整方法、系统、设备和介质 - Google Patents
基于人工智能的软件窗口调整方法、系统、设备和介质 Download PDFInfo
- Publication number
- CN116048708A CN116048708A CN202310338714.2A CN202310338714A CN116048708A CN 116048708 A CN116048708 A CN 116048708A CN 202310338714 A CN202310338714 A CN 202310338714A CN 116048708 A CN116048708 A CN 116048708A
- Authority
- CN
- China
- Prior art keywords
- software
- windows
- window
- frequency
- initial display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 30
- 238000003062 neural network model Methods 0.000 claims description 38
- 238000010586 diagram Methods 0.000 claims description 35
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 238000002372 labelling Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明提供一种基于人工智能的软件窗口调整方法、系统、设备和介质，本发明涉及软件窗口调整技术领域，通过多个软件窗口的初始显示界面、多个软件窗口对应的软件信息使用频率确定模型确定多个软件窗口的查看频率，基于多个软件窗口的初始显示界面、多个软件窗口对应的软件信息、多个软件窗口的查看频率构建软件窗口图，基于软件窗口图使用图神经网络模型确定多个软件窗口的目标显示界面的四个顶点的位置坐标，基于多个软件窗口的目标显示界面的四个顶点的位置坐标对多个软件窗口进行调整，提高了软件窗口的调整效率，优化了用户体验。
Description
技术领域
本发明涉及软件窗口调整技术领域，具体涉及一种基于人工智能的软件窗口调整方法、系统、设备和介质。
背景技术
随着计算机软件行业不断地快速发展，越来越多的软件被广泛应用于各种领域。其中，用户在使用这些软件时，常常需要对多个软件窗口同时开启，以便同时查看更多的信息，以此来提升工作效率。然而，面对各种不同的软件，由于设备屏幕大小是一定的，为了能在屏幕上同时呈现的更多的软件窗口，则需要调整多个软件窗口的大小和位置以便用户能够同时查看更多的信息。传统的软件窗口调整方法大多是用户手动拖动每一个软件窗口来调整软件窗口的位置和大小，当窗口内容过多时，用户需要频繁的调整每一个软件的窗口以便能同时查看多个软件的信息。且如果新增一个软件窗口需要查看时，用户又需要重新根据新增的软件窗口来重新调整所有软件窗口的大小和位置。用户手动调整的方式费时费力，效率低下，且用户使用体验较差。
因此，如何提高软件窗口的调整效率，提高用户使用体验是当前亟待解决的问题。
发明内容
本发明主要解决的技术问题是如何提高软件窗口的调整效率，提高用户使用体验。
根据第一方面，本发明提供一种基于人工智能的软件窗口调整方法，包括：获取多个软件窗口的初始显示界面；基于所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息使用频率确定模型确定所述多个软件窗口的查看频率，其中所述软件信息包括软件类型、软件名称、软件窗口包含文字数、软件窗口包含图片数、软件窗口的历史使用频率、软件流量使用数据、软件内存占用数据；基于所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息、所述多个软件窗口的查看频率构建软件窗口图，所述软件窗口图包括多个节点和多条边，所述多个节点为所述多个软件窗口，所述多条边为所述多个节点之间的位置关系，其中所述多个节点中的每一个节点包括多个节点特征，所述多个节点特征包括每一个软件窗口的查看频率、每一个软件窗口的初始显示界面、每一个软件窗口对应的软件信息；基于所述软件窗口图使用图神经网络模型确定所述多个软件窗口的目标显示界面的四个顶点的位置坐标，其中所述图神经网络模型的输入为所述软件窗口图，所述图神经网络模型的输出为所述多个软件窗口的目标显示界面的四个顶点的位置坐标；基于所述多个软件窗口的目标显示界面的四个顶点的位置坐标对所述多个软件窗口进行调整。
更进一步地，所述频率确定模型为卷积神经网络模型，所述频率确定模型的输入包括所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息，所述频率确定模型的输出为所述多个软件窗口的查看频率。
更进一步地，所述获取多个软件窗口的初始显示界面，包括：对设备运行的屏幕界面进行截图得到运行界面整体图；对所述运行界面整体图进行图像识别得到识别出的多个软件窗口的初始显示界面。
更进一步地，所述频率确定模型通过训练过程获取，所述训练过程包括：获取多个训练样本，所述训练样本包括样本输入数据和所述样本输入数据对应的标签，所述样本输入数据为多个样本软件窗口的初始显示界面、多个样本软件窗口对应的软件信息，所述标签为多个样本软件窗口的查看频率；基于所述多个训练样本训练初始的频率确定模型，得到所述频率确定模型。
根据第二方面，本发明提供一种基于人工智能的软件窗口调整系统，包括：获取模块，用于获取多个软件窗口的初始显示界面；频率确定模块，用于基于所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息使用频率确定模型确定所述多个软件窗口的查看频率，其中所述软件信息包括软件类型、软件名称、软件窗口包含文字数、软件窗口包含图片数、软件窗口的历史使用频率、软件流量使用数据、软件内存占用数据；图构建模块，用于基于所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息、所述多个软件窗口的查看频率构建软件窗口图，所述软件窗口图包括多个节点和多条边，所述多个节点为所述多个软件窗口，所述多条边为所述多个节点之间的位置关系，其中所述多个节点中的每一个节点包括多个节点特征，所述多个节点特征包括每一个软件窗口的查看频率、每一个软件窗口的初始显示界面、每一个软件窗口对应的软件信息；位置坐标输出模块，用于基于所述软件窗口图使用图神经网络模型确定所述多个软件窗口的目标显示界面的四个顶点的位置坐标，其中所述图神经网络模型的输入为所述软件窗口图，所述图神经网络模型的输出为所述多个软件窗口的目标显示界面的四个顶点的位置坐标；调整模块，用于基于所述多个软件窗口的目标显示界面的四个顶点的位置坐标对所述多个软件窗口进行调整。
更进一步地，所述频率确定模型为卷积神经网络模型，所述频率确定模型的输入包括所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息，所述频率确定模型的输出为所述多个软件窗口的查看频率。
更进一步地，所述获取模块还用于：对设备运行的屏幕界面进行截图得到运行界面整体图；对所述运行界面整体图进行图像识别得到识别出的多个软件窗口的初始显示界面。
更进一步地，所述软件窗口调整系统包括训练模块，所述频率确定模型通过所述训练模块获取，所述训练模块用于：获取多个训练样本，所述训练样本包括样本输入数据和所述样本输入数据对应的标签，所述样本输入数据为多个样本软件窗口的初始显示界面、多个样本软件窗口对应的软件信息，所述标签为多个样本软件窗口的查看频率；基于所述多个训练样本训练初始的频率确定模型，得到所述频率确定模型。
根据第三方面，本发明提供一种电子设备，包括：存储器；处理器；以及计算机程序；其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现上述的方法。
根据第四方面，本发明提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上述方面中任一项所述的方法。
本发明提供的一种基于人工智能的软件窗口调整方法、系统、设备和介质，通过多个软件窗口的初始显示界面、多个软件窗口对应的软件信息使用频率确定模型确定多个软件窗口的查看频率，基于多个软件窗口的初始显示界面、多个软件窗口对应的软件信息、多个软件窗口的查看频率构建软件窗口图，基于软件窗口图使用图神经网络模型确定多个软件窗口的目标显示界面的四个顶点的位置坐标，基于多个软件窗口的目标显示界面的四个顶点的位置坐标对多个软件窗口进行调整，提高了软件窗口的调整效率，优化了用户体验。
附图说明
图1为本发明实施例提供的一种基于人工智能的软件窗口调整方法的流程示意图；
图2为本发明实施例提供的一种多个软件窗口的初始显示界面的示意图；
图3为本发明实施例提供的一种构建的软件窗口图的示意图；
图4为本发明实施例提供的对多个软件窗口进行调整后的示意图；
图5为本发明的实施例提供的一种基于人工智能的软件窗口调整系统示意图；
图6为本发明实施例提供的一种电子设备的示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本发明能被更好的理解。
本发明实施例中，提供了如图1所示的一种基于人工智能的软件窗口调整方法，所述基于人工智能的软件窗口调整方法包括步骤S1~S5：
步骤S1，获取多个软件窗口的初始显示界面。
多个软件窗口的初始显示界面表示多个软件窗口未调整之前的显示界面的图像。图2为本发明实施例提供的一种多个软件窗口的初始显示界面的示意图。如图2所示，在设备屏幕上存在多个软件窗口的初始显示页面，如a软件窗口的初始显示页面、b软件窗口的初始显示页面、c软件窗口的初始显示页面、d软件窗口的初始显示页面、e软件窗口的初始显示页面、f软件窗口的初始显示页面、g软件窗口的初始显示页面，相互多个软件窗口的初始显示页面之间存在遮挡，导致软件窗口中的信息不能完全显示，所以多个软件窗口需要被调整以便用户能同时查看到多个软件中的信息。
在一些实施例中，用户可以预先设定的接口发出指示，指示设备开始进行软件窗口调整，则设备开始运行所述基于人工智能的软件窗口调整方法。
在一些实施例中，当设备检测到多个软件窗口的初始显示界面存在遮挡面积大于一定阈值时也可以自动指示设备运行所述基于人工智能的软件窗口调整方法。例如，可以获取到多个软件窗口的初始显示界面的四个顶点的坐标，再基于多个软件窗口的初始显示界面的四个顶点的坐标来计算多个软件的总遮挡面积，当检测到所述多个软件的总遮挡面积大于阈值时，则启动运行所述基于人工智能的软件窗口调整方法。
在一些实施例中，可以对设备运行的屏幕界面进行截图得到运行界面整体图，再对所述运行界面整体图进行图像识别得到识别出的多个软件窗口的初始显示界面。图像识别的方法可以包括基于神经网络的图像识别方法、基于小波矩的图像识别方法。神经网络可以为循环神经网络(Recurrent Neural Network，RNN)、卷积神经网络（ConvolutionalNeural Networks，CNN）、生成对抗网络(Generative Adversarial Networks，GAN)等等。
设备可以包括终端设备（比如手机）、平板电脑、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、手持计算机、上网本、个人数字助理（personaldigital assistant，PDA）、智能家居设备、车载电脑。
步骤S2，基于所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息使用频率确定模型确定所述多个软件窗口的查看频率，其中所述软件信息包括软件类型、软件名称、软件窗口包含文字数、软件窗口包含图片数、软件窗口的历史使用频率、软件流量使用数据、软件内存占用数据。
所述多个软件窗口的初始显示界面会显示部分信息，多个软件窗口的初始显示界面可以反映软件窗口的查看频率。例如软件窗口中未被遮挡的部分显示该软件窗口为当前正在使用的文档窗口，用户正在进行文档编辑操作，则可以判断该软件窗口的查看频率较高。又例如，软件窗口中未被遮挡的部分显示该软件窗口为未开启语音聊天的语音软件窗口，由于用户当前未进行语音聊天操作，则需要对该软件窗口进行查看和操作的频率较低，则可以判断该软件窗口的查看频率较低。又例如，软件窗口中未被遮挡的部分显示该软件窗口为正在进行搜索操作的浏览器的窗口，则可以判断该软件窗口的查看频率较高。又例如，软件窗口中未被遮挡的部分显示该软件窗口为用户置顶的聊天软件窗口，则可以判断该软件窗口的查看频率较高。
所述多个软件窗口对应的软件信息包括软件类型、软件名称、软件窗口包含文字数、软件窗口包含图片数、软件窗口的历史使用频率、软件流量使用数据、软件内存占用数据。多个软件窗口对应的软件信息也可以反映软件窗口的查看频率。例如，软件窗口包含文字数或图片数越多，则软件窗口所包含的信息量越大，信息量越大的软件窗口会蕴含着对用户日常使用更多的有用信息，对用户的帮助和参考价值更大，则用户来进行查看的频率会更高。作为示例，聊天软件所包含的聊天图片、聊天字数越多，则用户需要进行回复和查看的操作就较多，则查看频率会更高。又例如，软件流量使用数据和软件内存占用数据越高，则表示当前软件使用的较为频繁，则用户需要查看频率会更高。软件窗口的历史使用频率表示表示历史上该软件窗口的使用频率，在一些实施例中，可以通过软件的运行日志来判断软件窗口的历史使用频率。软件窗口的历史使用频率越高，则查看频率会越高。
频率确定模型为卷积神经网络模型，卷积神经网络模型包括卷积神经网络。卷积神经网络模型为人工智能的一种实现方式。卷积神经网络(CNN)可以是多层神经网络(例如，包括至少两个层)。所述至少两个层可以包括卷积层(CONV)、修正线性单元(ReLU)层、池化层(POOL)或全连接层(FC)中的至少一个。卷积神经网络(CNN)的至少两个层可以对应于以三维排列的神经元：宽度、高度、深度。在一些实施例中，卷积神经网络(CNN)可以具有[输入层-卷积层-修正线性单元层-池化层-全连接层]的架构。卷积层可以计算连接到输入中局部区域的神经元的输出，计算每个神经元的权重与其在输入体积中连接的小区域之间的点积。所述频率确定模型的输入包括所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息，所述频率确定模型的输出为所述多个软件窗口的查看频率。频率确定模块可以综合多个输入来判断所述多个软件窗口的查看频率，使得最终的输出结果更加准确。
频率确定模型可以通过训练样本来训练得到，所述训练样本包括样本输入数据和所述样本输入数据对应的标签，所述样本输入数据为多个样本软件窗口的初始显示界面、多个样本软件窗口对应的软件信息，所述标签为多个样本软件窗口的查看频率。频率确定模型的训练样本的样本输出标签可以通过工作人员进行手动标注得到，例如对多个样本软件窗口的初始显示界面、多个样本软件窗口对应的软件信息进行手动标注，标注出多个样本软件窗口的查看频率。最后基于所述多个训练样本训练初始的频率确定模型，得到所述频率确定模型。在一些实施例中，可以通过梯度下降法对卷积神经网络模型进行训练得到训练后的卷积神经网络模型。
所述多个软件窗口的查看频率表示用户在设备的使用过程中需要为了获得软件窗口中的信息对软件窗口进行查看的频率。所述多个软件窗口的查看频率可以为0-1之间的数值，数值越大，则说明用户的查看频率越高。例如，聊天软件窗口的查看频率为0.8，则说明用户需要经常对聊天软件窗口的信息进行查看。例如，录制视频软件窗口的查看频率为0.1，则说明用户偶尔对录制视频软件窗口的信息进行查看。
步骤S3，基于所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息、所述多个软件窗口的查看频率构建软件窗口图，所述软件窗口图包括多个节点和多条边，所述多个节点为所述多个软件窗口，所述多条边为所述多个节点之间的位置关系，其中所述多个节点中的每一个节点包括多个节点特征，所述多个节点特征包括每一个软件窗口的查看频率、每一个软件窗口的初始显示界面、每一个软件窗口对应的软件信息。
所述软件窗口图是由节点和边两部分组成的一种数据结构。所述软件窗口图包括多个节点和多条边，所述多个节点为所述多个软件窗口，所述多条边为所述多个节点之间的位置关系，其中所述多个节点中的每一个节点包括多个节点特征，所述多个节点特征包括每一个软件窗口的查看频率、每一个软件窗口的初始显示界面、每一个软件窗口对应的软件信息。
图3为本发明实施例提供的一种构建的软件窗口图的示意图。如图3所示，构建的软件窗口图包括多个节点a、b、c、d、e、f、g和由多个节点组成的边，其中a、b、c、d、e、f、g节点分别表示一个软件窗口。a1,a2,a3…和g1,g2,g3分别代表软件窗口的节点的特征，例如分别代表该节点的软件窗口的查看频率、软件窗口的初始显示界面、软件窗口对应的软件信息。其中软件窗口对应的软件信息包括软件类型、软件名称、软件窗口包含文字数、软件窗口包含图片数、软件窗口的历史使用频率、软件流量使用数据、软件内存占用数据。
所述多条边为所述多个节点之间的位置关系，在一些实施例中，边的特征可以包括节点之间的距离、方向。
步骤S4，基于所述软件窗口图使用图神经网络模型确定所述多个软件窗口的目标显示界面的四个顶点的位置坐标，其中所述图神经网络模型的输入为所述软件窗口图，所述图神经网络模型的输出为所述多个软件窗口的目标显示界面的四个顶点的位置坐标。
图神经网络模型包括图神经网络（Graph Neural Network，GNN）和全连接层。图神经网络是一种直接作用于图上的神经网络，所述图是由节点和边两部分组成的一种数据结构。图神经网络为人工智能的一种实现方式。图神经网络模型基于信息传播机制，每一个节点通过相互交换信息来更新自己的节点状态，直到达到某一个稳定值。
在一些实施例中，图神经网络可以包括图卷积网络（Graph ConvolutionNetworks，GCN）、 图注意力网络（Graph Attention Networks）、图自编码器（ GraphAutoencoders）、图生成网络（ Graph Generative Networks） 和图时空网络（GraphSpatial-temporal Networks）。
在一些实施例中，图神经网络模型可以包括多层图神经网络。多层图神经网络训练或实际应用过程中，每一层每个节点从与之连接(例如，相邻)的节点接收信息，并进行节点之间的信息融合，经过多层图神经网络之后，每一层中的节点可以与更远的节点(例如，与之不连接或相邻的节点)进行信息融合，提高了准确性。
图神经网络模型的输入为所述软件窗口图，输出为所述多个软件窗口的目标显示界面的四个顶点的位置坐标。
所述多个软件窗口的目标显示界面表示经过调整后的软件窗口的显示界面。所述多个软件窗口的目标显示界面的四个顶点的位置坐标表示经过调整后的软件窗口的显示界面的四个顶点。软件窗口的初始显示界面、目标显示界面都为矩形，可以通过四个顶点的位置坐标来对软件窗口的目标显示界面进行定位。
图神经网络模型可以通过训练样本训练得到。训练样本的输入包括样本软件窗口图，训练样本的输出标签为多个样本软件窗口的目标显示界面的四个顶点的位置坐标。训练样本的标签可以通过工作人员手动标注得到，在对样本软件窗口图手动标注过程中，工作人员会对多个软件窗口进行调整，从而选择出最合适的多个软件窗口的目标显示界面，选择出的多个软件窗口的目标显示界面之间不存在遮挡，而且标注时会倾向于将查看频率较高的软件窗口对应的目标显示界面的面积标注的大一点，使得查看频率较高的软件窗口在最终显示的时候窗口更大，能够显示更多的内容。由于在标注的时候会通过标注目标显示界面的四个顶点的位置坐标的方式倾向性的将查看频率较高的软件窗口对应的目标显示界面的面积标注的大一点，所以训练完成后的图神经网络模型在输出目标显示界面的四个顶点的位置坐标时也会将查看频率较高的软件窗口的目标显示界面的面积增大，从而方便了用户的查看。
在一些实施例中，可以通过梯度下降法对图神经网络模型进行训练得到训练后的图神经网络模型。具体的，根据训练样本，构建图神经网络模型的损失函数，通过图神经网络模型的损失函数调整图神经网络模型的参数，直到损失函数值收敛或者小于预设阈值，则训练完成。损失函数可以包括但不限于对数(log)损失函数、平方损失函数、指数损失函数、Hinge损失函数以及绝对值损失函数等。
训练完成后，可以将所述软件窗口图输入到所述图神经网络模型中，输出得到所述多个软件窗口的目标显示界面的四个顶点的位置坐标。
步骤S5，基于所述多个软件窗口的目标显示界面的四个顶点的位置坐标对所述多个软件窗口进行调整。
可以基于所述目标显示界面的四个顶点的位置坐标来对将软件窗口调整到指定位置，使得软件窗口能够在目标显示界面上显示。经过图神经网络模型处理输出后，多个软件窗口的目标显示界面之间互相不存在遮挡，而且考虑了多个软件窗口的查看频率，查看频率越高的目标显示界面的面积会越大，方便了用户的查看。
图4为本发明实施例提供的对多个软件窗口进行调整后的示意图。如图4所示，在设备屏幕上存在多个软件窗口的目标显示界面，如a软件窗口的目标显示界面、b软件窗口的目标显示界面、c软件窗口的目标显示界面、d软件窗口的目标显示界面、e软件窗口的目标显示界面、f软件窗口的目标显示界面、g软件窗口的目标显示界面，相互多个软件窗口的目标显示界面之间不存在遮挡，显示效果较好。
基于同一发明构思，图5为本发明的实施例提供的一种基于人工智能的软件窗口调整系统示意图，所述基于人工智能的软件窗口调整系统包括：获取模块51，用于获取多个软件窗口的初始显示界面；
频率确定模块52，用于基于所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息使用频率确定模型确定所述多个软件窗口的查看频率，其中所述软件信息包括软件类型、软件名称、软件窗口包含文字数、软件窗口包含图片数、软件窗口的历史使用频率、软件流量使用数据、软件内存占用数据；
图构建模块53，用于基于所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息、所述多个软件窗口的查看频率构建软件窗口图，所述软件窗口图包括多个节点和多条边，所述多个节点为所述多个软件窗口，所述多条边为所述多个节点之间的位置关系，其中所述多个节点中的每一个节点包括多个节点特征，所述多个节点特征包括每一个软件窗口的查看频率、每一个软件窗口的初始显示界面、每一个软件窗口对应的软件信息；
位置坐标输出模块54，用于基于所述软件窗口图使用图神经网络模型确定所述多个软件窗口的目标显示界面的四个顶点的位置坐标，其中所述图神经网络模型的输入为所述软件窗口图，所述图神经网络模型的输出为所述多个软件窗口的目标显示界面的四个顶点的位置坐标；
调整模块55，用于基于所述多个软件窗口的目标显示界面的四个顶点的位置坐标对所述多个软件窗口进行调整。
基于同一发明构思，本发明的实施例提供了一种电子设备，如图6所示，包括：
处理器61；用于存储处理器61中可执行程序指令的存储器62；其中，处理器61被配置为执行以实现如前述提供的一种基于人工智能的软件窗口调整方法，所述方法包括：获取多个软件窗口的初始显示界面；基于所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息使用频率确定模型确定所述多个软件窗口的查看频率，其中所述软件信息包括软件类型、软件名称、软件窗口包含文字数、软件窗口包含图片数、软件窗口的历史使用频率、软件流量使用数据、软件内存占用数据；基于所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息、所述多个软件窗口的查看频率构建软件窗口图，所述软件窗口图包括多个节点和多条边，所述多个节点为所述多个软件窗口，所述多条边为所述多个节点之间的位置关系，其中所述多个节点中的每一个节点包括多个节点特征，所述多个节点特征包括每一个软件窗口的查看频率、每一个软件窗口的初始显示界面、每一个软件窗口对应的软件信息；基于所述软件窗口图使用图神经网络模型确定所述多个软件窗口的目标显示界面的四个顶点的位置坐标，其中所述图神经网络模型的输入为所述软件窗口图，所述图神经网络模型的输出为所述多个软件窗口的目标显示界面的四个顶点的位置坐标；基于所述多个软件窗口的目标显示界面的四个顶点的位置坐标对所述多个软件窗口进行调整。
基于同一发明构思，本实施例提供了一种非临时性计算机可读存储介质，当存储介质中的指令由电子设备的处理器61执行时，使得电子设备能够执行实现如前述提供的基于人工智能的软件窗口调整方法，所述方法包括: 获取多个软件窗口的初始显示界面；基于所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息使用频率确定模型确定所述多个软件窗口的查看频率，其中所述软件信息包括软件类型、软件名称、软件窗口包含文字数、软件窗口包含图片数、软件窗口的历史使用频率、软件流量使用数据、软件内存占用数据；基于所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息、所述多个软件窗口的查看频率构建软件窗口图，所述软件窗口图包括多个节点和多条边，所述多个节点为所述多个软件窗口，所述多条边为所述多个节点之间的位置关系，其中所述多个节点中的每一个节点包括多个节点特征，所述多个节点特征包括每一个软件窗口的查看频率、每一个软件窗口的初始显示界面、每一个软件窗口对应的软件信息；基于所述软件窗口图使用图神经网络模型确定所述多个软件窗口的目标显示界面的四个顶点的位置坐标，其中所述图神经网络模型的输入为所述软件窗口图，所述图神经网络模型的输出为所述多个软件窗口的目标显示界面的四个顶点的位置坐标；基于所述多个软件窗口的目标显示界面的四个顶点的位置坐标对所述多个软件窗口进行调整。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (10)
1.一种基于人工智能的软件窗口调整方法，其特征在于，包括：
获取多个软件窗口的初始显示界面；
基于所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息使用频率确定模型确定所述多个软件窗口的查看频率，其中所述软件信息包括软件类型、软件名称、软件窗口包含文字数、软件窗口包含图片数、软件窗口的历史使用频率、软件流量使用数据、软件内存占用数据；
基于所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息、所述多个软件窗口的查看频率构建软件窗口图，所述软件窗口图包括多个节点和多条边，所述多个节点为所述多个软件窗口，所述多条边为所述多个节点之间的位置关系，其中所述多个节点中的每一个节点包括多个节点特征，所述多个节点特征包括每一个软件窗口的查看频率、每一个软件窗口的初始显示界面、每一个软件窗口对应的软件信息；
基于所述软件窗口图使用图神经网络模型确定所述多个软件窗口的目标显示界面的四个顶点的位置坐标，其中所述图神经网络模型的输入为所述软件窗口图，所述图神经网络模型的输出为所述多个软件窗口的目标显示界面的四个顶点的位置坐标；
基于所述多个软件窗口的目标显示界面的四个顶点的位置坐标对所述多个软件窗口进行调整。
2.如权利要求1所述的基于人工智能的软件窗口调整方法，其特征在于，所述频率确定模型为卷积神经网络模型，所述频率确定模型的输入包括所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息，所述频率确定模型的输出为所述多个软件窗口的查看频率。
3.如权利要求1所述的基于人工智能的软件窗口调整方法，其特征在于，所述获取多个软件窗口的初始显示界面，包括：
对设备运行的屏幕界面进行截图得到运行界面整体图；
对所述运行界面整体图进行图像识别得到识别出的多个软件窗口的初始显示界面。
4.如权利要求2所述的基于人工智能的软件窗口调整方法，其特征在于，所述频率确定模型通过训练过程获取，所述训练过程包括：获取多个训练样本，所述训练样本包括样本输入数据和所述样本输入数据对应的标签，所述样本输入数据为多个样本软件窗口的初始显示界面、多个样本软件窗口对应的软件信息，所述标签为多个样本软件窗口的查看频率；基于所述多个训练样本训练初始的频率确定模型，得到所述频率确定模型。
5.一种基于人工智能的软件窗口调整系统，其特征在于，包括：
获取模块，用于获取多个软件窗口的初始显示界面；
频率确定模块，用于基于所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息使用频率确定模型确定所述多个软件窗口的查看频率，其中所述软件信息包括软件类型、软件名称、软件窗口包含文字数、软件窗口包含图片数、软件窗口的历史使用频率、软件流量使用数据、软件内存占用数据；
图构建模块，用于基于所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息、所述多个软件窗口的查看频率构建软件窗口图，所述软件窗口图包括多个节点和多条边，所述多个节点为所述多个软件窗口，所述多条边为所述多个节点之间的位置关系，其中所述多个节点中的每一个节点包括多个节点特征，所述多个节点特征包括每一个软件窗口的查看频率、每一个软件窗口的初始显示界面、每一个软件窗口对应的软件信息；
位置坐标输出模块，用于基于所述软件窗口图使用图神经网络模型确定所述多个软件窗口的目标显示界面的四个顶点的位置坐标，其中所述图神经网络模型的输入为所述软件窗口图，所述图神经网络模型的输出为所述多个软件窗口的目标显示界面的四个顶点的位置坐标；
调整模块，用于基于所述多个软件窗口的目标显示界面的四个顶点的位置坐标对所述多个软件窗口进行调整。
6.如权利要求5所述的基于人工智能的软件窗口调整系统，其特征在于，所述频率确定模型为卷积神经网络模型，所述频率确定模型的输入包括所述多个软件窗口的初始显示界面、所述多个软件窗口对应的软件信息，所述频率确定模型的输出为所述多个软件窗口的查看频率。
7.如权利要求5所述的基于人工智能的软件窗口调整系统，其特征在于，所述获取模块还用于：
对设备运行的屏幕界面进行截图得到运行界面整体图；
对所述运行界面整体图进行图像识别得到识别出的多个软件窗口的初始显示界面。
8.如权利要求5所述的基于人工智能的软件窗口调整系统，其特征在于，所述软件窗口调整系统包括训练模块，所述频率确定模型通过所述训练模块获取，所述训练模块用于：获取多个训练样本，所述训练样本包括样本输入数据和所述样本输入数据对应的标签，所述样本输入数据为多个样本软件窗口的初始显示界面、多个样本软件窗口对应的软件信息，所述标签为多个样本软件窗口的查看频率；基于所述多个训练样本训练初始的频率确定模型，得到所述频率确定模型。
9.一种电子设备，其特征在于，包括：存储器；处理器；以及计算机程序；其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如权利要求1至4任一项所述的基于人工智能的软件窗口调整方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任一项所述的基于人工智能的软件窗口调整方法对应的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310338714.2A CN116048708B (zh) | 2023-03-31 | 2023-03-31 | 基于人工智能的软件窗口调整方法、系统、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310338714.2A CN116048708B (zh) | 2023-03-31 | 2023-03-31 | 基于人工智能的软件窗口调整方法、系统、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116048708A true CN116048708A (zh) | 2023-05-02 |
| CN116048708B CN116048708B (zh) | 2024-02-23 |
Family
ID=86125965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310338714.2A Active CN116048708B (zh) | 2023-03-31 | 2023-03-31 | 基于人工智能的软件窗口调整方法、系统、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116048708B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116841440A (zh) * | 2023-07-03 | 2023-10-03 | 甘肃旭禾网络科技有限公司 | 基于人工智能的软件窗口调整方法及系统 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106502712A (zh) * | 2015-09-07 | 2017-03-15 | 北京三星通信技术研究有限公司 | 基于用户操作的app改进方法和系统 |
| CN106933585A (zh) * | 2017-03-07 | 2017-07-07 | 吉林大学 | 一种分布式云环境下的自适应多通道界面选择方法 |
| US20200272698A1 (en) * | 2019-02-27 | 2020-08-27 | Capital One Services, Llc | Methods and arrangements to adjust communications |
| CN111666119A (zh) * | 2019-03-06 | 2020-09-15 | 华为终端有限公司 | Ui组件显示的方法及电子设备 |
| CN111782102A (zh) * | 2020-07-15 | 2020-10-16 | Oppo广东移动通信有限公司 | 窗口的显示方法及相关装置 |
| CN112068907A (zh) * | 2019-05-25 | 2020-12-11 | 华为技术有限公司 | 一种界面显示方法和电子设备 |
| CN112288079A (zh) * | 2020-11-17 | 2021-01-29 | 北京轩宇信息技术有限公司 | 图神经网络模型训练方法、软件缺陷检测方法及系统 |
| CN112817505A (zh) * | 2021-01-25 | 2021-05-18 | 深圳邦健生物医疗设备股份有限公司 | 软件信息界面显示方法、装置、存储介质及设备 |
| CN113985744A (zh) * | 2021-10-15 | 2022-01-28 | 深圳市欧瑞博科技股份有限公司 | 界面生成方法、装置、智能家居设备以及存储介质 |
| CN114077429A (zh) * | 2020-08-18 | 2022-02-22 | 华为技术有限公司 | 一种显示界面的布局方法及电子设备 |
| CN114327074A (zh) * | 2021-12-29 | 2022-04-12 | 中国工商银行股份有限公司 | 界面功能选择方法、装置、计算机设备、存储介质 |
| CN115033319A (zh) * | 2021-06-08 | 2022-09-09 | 华为技术有限公司 | 一种应用界面的分布式显示方法及终端 |
| CN115271093A (zh) * | 2021-07-14 | 2022-11-01 | 谷歌有限责任公司 | 用于多任务用户界面建模的基于神经网络的多模态变换器 |
| CN115291779A (zh) * | 2021-04-19 | 2022-11-04 | 华为技术有限公司 | 一种窗口控制方法及其设备 |
| CN115617429A (zh) * | 2021-07-14 | 2023-01-17 | 华为技术有限公司 | 一种数据处理方法及相关设备 |
| US20230072357A1 (en) * | 2020-05-13 | 2023-03-09 | The Nielsen Company (Us), Llc | Methods and apparatus to adjust demographic information of user accounts to reflect primary users of the user accounts |
-
2023
- 2023-03-31 CN CN202310338714.2A patent/CN116048708B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106502712A (zh) * | 2015-09-07 | 2017-03-15 | 北京三星通信技术研究有限公司 | 基于用户操作的app改进方法和系统 |
| CN106933585A (zh) * | 2017-03-07 | 2017-07-07 | 吉林大学 | 一种分布式云环境下的自适应多通道界面选择方法 |
| US20200272698A1 (en) * | 2019-02-27 | 2020-08-27 | Capital One Services, Llc | Methods and arrangements to adjust communications |
| CN111666119A (zh) * | 2019-03-06 | 2020-09-15 | 华为终端有限公司 | Ui组件显示的方法及电子设备 |
| CN112068907A (zh) * | 2019-05-25 | 2020-12-11 | 华为技术有限公司 | 一种界面显示方法和电子设备 |
| US20230072357A1 (en) * | 2020-05-13 | 2023-03-09 | The Nielsen Company (Us), Llc | Methods and apparatus to adjust demographic information of user accounts to reflect primary users of the user accounts |
| CN111782102A (zh) * | 2020-07-15 | 2020-10-16 | Oppo广东移动通信有限公司 | 窗口的显示方法及相关装置 |
| CN114077429A (zh) * | 2020-08-18 | 2022-02-22 | 华为技术有限公司 | 一种显示界面的布局方法及电子设备 |
| CN112288079A (zh) * | 2020-11-17 | 2021-01-29 | 北京轩宇信息技术有限公司 | 图神经网络模型训练方法、软件缺陷检测方法及系统 |
| CN112817505A (zh) * | 2021-01-25 | 2021-05-18 | 深圳邦健生物医疗设备股份有限公司 | 软件信息界面显示方法、装置、存储介质及设备 |
| CN115291779A (zh) * | 2021-04-19 | 2022-11-04 | 华为技术有限公司 | 一种窗口控制方法及其设备 |
| CN115033319A (zh) * | 2021-06-08 | 2022-09-09 | 华为技术有限公司 | 一种应用界面的分布式显示方法及终端 |
| CN115271093A (zh) * | 2021-07-14 | 2022-11-01 | 谷歌有限责任公司 | 用于多任务用户界面建模的基于神经网络的多模态变换器 |
| CN115617429A (zh) * | 2021-07-14 | 2023-01-17 | 华为技术有限公司 | 一种数据处理方法及相关设备 |
| CN113985744A (zh) * | 2021-10-15 | 2022-01-28 | 深圳市欧瑞博科技股份有限公司 | 界面生成方法、装置、智能家居设备以及存储介质 |
| CN114327074A (zh) * | 2021-12-29 | 2022-04-12 | 中国工商银行股份有限公司 | 界面功能选择方法、装置、计算机设备、存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 周东方;王志虎;丁风海;: "基于灰色神经网络的装备计量预测研究与实现", 计算机测量与控制, no. 06, pages 29 - 33 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116841440A (zh) * | 2023-07-03 | 2023-10-03 | 甘肃旭禾网络科技有限公司 | 基于人工智能的软件窗口调整方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116048708B (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11087166B2 (en) | Training method of image-text matching model, bi-directional search method, and relevant apparatus | |
| EP3940638A1 (en) | Image region positioning method, model training method, and related apparatus | |
| EP4040401A1 (en) | Image processing method and apparatus, device and storage medium | |
| CN109117760B (zh) | 图像处理方法、装置、电子设备和计算机可读介质 | |
| CN116048708B (zh) | 基于人工智能的软件窗口调整方法、系统、设备和介质 | |
| US20220375192A1 (en) | Optimization method, apparatus, device for constructing target detection network, medium and product | |
| US11875424B2 (en) | Point cloud data processing method and device, computer device, and storage medium | |
| CN111488985A (zh) | 深度神经网络模型压缩训练方法、装置、设备、介质 | |
| CN112861518B (zh) | 文本纠错方法、装置和存储介质及电子装置 | |
| Cheng et al. | Building simplification using backpropagation neural networks: a combination of cartographers' expertise and raster-based local perception | |
| CN112241565A (zh) | 建模方法及相关装置 | |
| CN114648615A (zh) | 目标对象交互式重现的控制方法、装置、设备及存储介质 | |
| CN114565916A (zh) | 目标检测模型训练方法、目标检测方法以及电子设备 | |
| CN115861609A (zh) | 遥感图像的分割标注方法、电子设备及存储介质 | |
| CN112966592A (zh) | 手部关键点检测方法、装置、设备和介质 | |
| CN113869377A (zh) | 训练方法、装置及电子设备 | |
| CN111639523B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN113592932A (zh) | 深度补全网络的训练方法、装置、电子设备及存储介质 | |
| CN117332766A (zh) | 流程图生成方法、装置、计算机设备和存储介质 | |
| EP4068225A2 (en) | Method for training text positioning model and method for text positioning | |
| CN112990131B (zh) | 获取电压转换开关工作档位的方法、装置、设备及介质 | |
| CN114913339B (zh) | 特征图提取模型的训练方法和装置 | |
| CN110717405A (zh) | 人脸特征点定位方法、装置、介质及电子设备 | |
| CN112529984B (zh) | 绘制多边形的方法、装置、电子设备及存储介质 | |
| CN113610856B (zh) | 训练图像分割模型和图像分割的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240129 Address after: No. 69, 2nd Floor, Building 16, North Section of Yangliu East Road, Liucheng Town, Wenjiang District, Chengdu City, Sichuan Province, 611100 Applicant after: Chengdu Qizhizhi Intellectual Property Operation Co.,Ltd. Country or region after: Zhong Guo Address before: No. 324 Huixiang Road, Xinfan Street, Xindu District, Chengdu City, Sichuan Province, 610000 Applicant before: Chengdu Daqianyan Software Development Co.,Ltd. Country or region before: Zhong Guo |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240319 Address after: 277800 Building 3, Jinshui Long Street (Internet Town), High tech Zone, Zaozhuang City, Shandong Province Patentee after: Shandong Shuimu Qingqing Information Technology Co.,Ltd. Country or region after: Zhong Guo Address before: No. 69, 2nd Floor, Building 16, North Section of Yangliu East Road, Liucheng Town, Wenjiang District, Chengdu City, Sichuan Province, 611100 Patentee before: Chengdu Qizhizhi Intellectual Property Operation Co.,Ltd. Country or region before: Zhong Guo |