CN117971097A - 基于深度学习的移动用户界面评估系统 - Google Patents
基于深度学习的移动用户界面评估系统 Download PDFInfo
- Publication number
- CN117971097A CN117971097A CN202410231681.6A CN202410231681A CN117971097A CN 117971097 A CN117971097 A CN 117971097A CN 202410231681 A CN202410231681 A CN 202410231681A CN 117971097 A CN117971097 A CN 117971097A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- data
- user interface
- module
- time point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 29
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000013461 design Methods 0.000 claims abstract description 22
- 238000013136 deep learning model Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000004140 cleaning Methods 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Biodiversity & Conservation Biology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的移动用户界面评估系统,包括:数据处理模块、预处理模块、深度学习模型模块以及评估和推荐模块,数据处理模块用于手机移动应用程序的用户界面数据,并将该数据作为数据集,预处理模块对数据集进行缺失值清洗、填充缺失值内容或者重新取数、删除内容不符合数据、去除重复值或者不合理值,深度学习模块将预处理后的数据作为训练集,构建深度学习模型,提取每个屏幕截图的图像特征,然后根据提取的图像特征进行分类,评估和推荐模块利用训练好的深度学习模型对用户界面进行评估和分析。本发明过MUI评估减少对用户需求的误解,改善设计和可用性,以达到用户满意。
Description
技术领域
本发明涉及深度学习技术领域,尤其涉及一种基于深度学习的移动用户界面评估系统。
背景技术
以人为中心的人工智能在确保人类的能力和想法能够有效满足数据需求方面发挥着至关重要的作用。主要想法是让机器在许多领域从人类行为中学习,包括:电子学习、移动计算、电子医疗等。在这种背景下,移动设备的销量每天都在上升,智能手机和平板电脑的移动用户界面(Mobile User Interface,MUI)正在吸引更多的关注。
这样,新的移动服务就有了广泛的开发工具。此外,还有一些有用的移动应用程序可以帮助用户的日常生活,如健康、娱乐、游戏、社交网络、天气、电子学习、物流和交通。移动用户界面已经成为满足用户需求的必需品。在这种情况下,移动用户界面的评估是移动应用呈贡的一个基本方面。
通常,有两种主要的用户界面评估方法:手动和自动。手动是由用户或者专家来评估MUIs(Mobile User Interfaces)的视觉设计质量,然而,这是一项费时的任务。自动是使用自动工具,需要在源代码中预先配置,然而这种配置对于非程序员评估这来说是一项困难的任务。
针对上述问题,提出了一种基于深度学习的移动用户界面评估系统。
发明内容
本发明的目的是解决现有技术中存在的缺点,而提出的基于深度学习的移动用户界面评估系统。
本发明解决其技术问题所采用的技术方案是:一种基于深度学习的移动用户界面评估系统,包括:数据处理模块、预处理模块、深度学习模型模块以及评估和推荐模块,所述数据处理模块用于手机移动应用程序的用户界面数据,并将该数据作为数据集,所述用户界面数据为屏幕截图,所述预处理模块对所述数据集进行缺失值清洗、填充缺失值内容或者重新取数、删除内容不符合数据、去除重复值或者不合理值,以便后续的分析和训练,所述深度学习模块将预处理后的数据作为训练集,构建深度学习模型,提取每个屏幕截图的图像特征,然后根据提取的图像特征进行分类,所述评估和推荐模块利用训练好的深度学习模型对用户界面进行评估和分析,根据模型的输出结果来评估用户界面的质量和可用性,并提供有关用户体验和界面设计改进的反馈和建议。
进一步地,所述预处理模块包括:采样处理模块,所述过处理模块通过边界-线-smote过采样算法进行样本重采样,解决类不平衡问题。
进一步地,所述深度学习模型包括:特征提取单元和特征分类单元,所述特征提取单元基于DenseNet201架构自动提取每个屏幕截图的图像特征,所述特征分类单元基于KNN分类器将提取的图像特征分类。
进一步地,所述填充缺失值采用线性插值算法实现,所述线性插值算法的计算公式为:
对于属性A在时间点t0和t1之间的缺失值算法如下:
其中:A(t)表示在时间点t处的估计值,A(t0)表示已知时间点t0处的数据值,A(t1)表示已知时间点t1处的数据值,(t-t0)表示待估计时间点t与已知时间点t0之间的距离,(t1-t0)表示已知时间点t1与已知时间点t0之间的距离。
进一步地,所述特征分类单元基于KNN分类器将提取的图像特征分类步骤如下:
S1、数据准备:需要将图像数据划分为训练集和测试集;
S2、特征提取:对于每个图像,提取代表该图像的特征;
S3、特征向量表示:将每个图像的特征提取结果转换为特征向量表示;
S4、模型训练:用训练集的特征向量和其对应的分类标签训练KNN分类器模型;
S5、分类预测:使用训练好的KNN分类器模型对测试集中的图像特征进行分类预测,对于每个测试样本,计算它与训练样本的特征向量距离,找到最近的K个邻居,并根据邻居的类别进行投票,选择得票最多的类别作为预测结果;
S6、评估分类性能:通过比较预测结果与真实标签,计算分类的准确率、精确率、召回率、F1-Score指标来评估分类性能;
其中:训练集用于构建KNN分类器模型,测试集用于评估分类性能。
进一步地,还包括:可视化和呈现模块,所述可视化和呈现模块用于将评估和分析结果可视化呈现给用户。
进一步地,所述图像特征包括:边缘、线条、曲线、颜色、纹理以及形状。
与现有技术相比,本发明的有益效果是:
通过预处理模块对数据集进行预处理,并通过边界-线-smote技术获得一个平衡的数据集,基于DenseNet201架构提取每个GUI屏幕截图的特征,然后通过KNN分类器使用提取的特征向量,创建新的分类模型来评估MUI的视觉设计,并通过评估和推荐模块根据模型的输出结果来评估用户界面的质量和可用性,并提供有关用户体验和界面设计改进的反馈和建议,通过MUI评估减少对用户需求的误解,改善设计和可用性,以达到用户满意。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明的基于深度学习的移动用户界面评估系统的系统原理图;
图2为本发明的特征分类范媛基于KNN分类器提取图像特征分类的流程图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
如图1至图2所示,是本发明最优实施例,本实施例的基于深度学习的移动用户界面评估系统,包括:数据处理模块、预处理模块、深度学习模型模块以及评估和推荐模块,数据处理模块用于手机移动应用程序的用户界面数据,并将该数据作为数据集,用户界面数据为屏幕截图,预处理模块对数据集进行缺失值清洗、填充缺失值内容或者重新取数、删除内容不符合数据、去除重复值或者不合理值,以便后续的分析和训练,深度学习模块将预处理后的数据作为训练集,构建深度学习模型,提取每个屏幕截图的图像特征,然后根据提取的图像特征进行分类,评估和推荐模块利用训练好的深度学习模型对用户界面进行评估和分析,根据模型的输出结果来评估用户界面的质量和可用性,并提供有关用户体验和界面设计改进的反馈和建议。
在本实施例中,预处理模块包括:采样处理模块,过处理模块通过边界-线-smote过采样算法(Borderline-SMOTE)进行样本重采样,解决类不平衡问题。
在本实施例中,深度学习模型包括:特征提取单元和特征分类单元,特征提取单元基于DenseNet201架构自动提取每个屏幕截图的图像特征,特征分类单元基于KNN分类器将提取的图像特征分类。具体的,DenseNet201通过读取RICO数据集的用户界面将截图作为输入,并使用卷积层(CONV)作为特征识别器开始识别特征,卷积层是DenseNet201架构的主要部分,然后,应用全局空间平均池层来创建可用作输入GUI屏幕截图的特征描述符的向量,接着,将其缩减为具有较少特征的输出向量,DenseNet201被称为包含201层的密集卷积网络,DenseNet201网络以前馈方式工作,将每一层连接到下一层,这样,从每个先前层提取的特征地图是下一层的输入,每一层相应地从所有前面的层获得“集体知识”,这样的特征有助于减少消失问题,DenseNet201的截图输入尺寸为224*224*3。MUI被表示为Dimen-维数矩阵,矩阵的每个维度代表RGB颜色值。
其中,DenseNet201的分层架构如下:
1、滤波器大小为77的卷积层,步长为2;
2、滤波器大小为33,跨距为2的最大池层;
3、四个密集块分布如下:
密集块1:由6个致密块体组成,每个块体由过滤器尺寸为(11)的CONV和过滤器齿轮为(33)的CONV制成,结果输出为6565265;
密集块2:由12个密集块组成,每个密集块由过滤器尺寸为(11)的CONV和过滤器尺寸为(33)的CONV制成,结果输出为2828512;
密集块3:由48个密集块组成,每个密集块由过滤器尺寸为(11)的CONV和过滤器尺寸为(33)的CONV制成,结果输出为14141792;
密集块4:由32个密集块组成,每个密集块由过滤器尺寸为(11)的CONV和过滤器尺寸为(33)的CONV制成,结果输出为771920;
4、三个过渡层(每个过度层均由avg pool组成),过滤器大小为(22),步长为(2),一行中各层的输出结果为:2828128、1414256以及77896;
5、分类层(由具有过滤器大小(77)的全局Avg池和KNN分类器组成)。
使用DenseNet201架构提取每个GUI屏幕截图的特征具有如下好处:
特征提取,DenseNet201是一种深度卷积神经网络架构,它通过堆叠密集连接的卷积块来有效地提取图像中的特征,这些特征能够捕捉GUI屏幕截图中的视觉设计细节和元素;
高级特征表示,由于DenseNet201具有较深的网络结构,它能够学习到更高级别的特征表示,这些高级特征表示能够帮助分类器更好地区分不同的MUI视觉设计;
参数共享,DenseNet201中的密集连接结构允许特征在不同层之间共享,从而减少网络中的参数数量,这样能够获得更好的模型泛化能力,并减少过拟合的风险。
使用KNN分类器使用提取的特征向量,创建新的分类模型评估MUI的视觉设计具有如下好处:
简单而有效,KNN分类器是一种简单而有效的分类算法,它根据相似性度量(例如:欧式距离)将未标记的样本分配给已知类别,从而对MUI的视觉设计进行分类;
非参数化方法,KNN分类器不需要假设数据分布的形式,适用于各种类型的数据,这使得它适用于对于MUI视觉设计来说可能具有不同的模式和特征的分类问题;
资源效率,由于KNN分类器是一种延迟学习算法,其分类决策仅设计与已知样本的距离计算,这意味着训练阶段仅设计数据的存储,而在推理阶段才涉及实际的计算,从而减少了训练时间和资源消耗。
因此,通过提取GUI屏幕截图的特征并应用KNN分类器能够创建一个新的分类模型来评估MUI的视觉设计,从而提供一个量化评估的方法来衡量MUI视觉设计在分类任务中的性能和优势,能够帮助设计师和开发人员改进MUI的视觉设计,并根据实际结果进行迭代和优化。
具体的,K最近邻(KNN)分类器是一种简易而常用的监督学习方法,它的优点包括:
简单易实现,KNN算法的实现相对简单,不需要假设数据分布或进行复杂的参数调整,它主要依赖于距离度量和投票规则,因此容易理解和实施;
适用于多类别问题,KNN算法能够有效处理多类别问题,因为它能够将多个样本分配给不同的类别,并根据多数投票决定预测结果;
非参数化,KNN算法是一种非参数化方法,即它没有假设数据的分布形式,这使得它在处理复杂的、非线性的数据集时具有更好的灵活性和适应能力;
基于实例学习,KNN属于基于实例的学习方法,它直接使用训练样本进行推测和预测,这种特性使得KNN能够适应新的训练数据和更改的类别分布,而无需重新训练模型;
对少量样本有效,KNN对于训练样本数量较少的情况比较好,因为它不涉及复杂的参数估计或模型训练过程;
不受数据特征关联性影响,KNN算法能够处理具有高度相关特征的数据集,因为它是基于距离度量进行分类的,而不关注特征之间的线性相关性。
在本实施例中,填充缺失值采用线性插值算法实现,线性插值算法的计算公式为:
对于属性A在时间点t0和t1之间的缺失值算法如下:
其中:A(t)表示在时间点t处的估计值,A(t0)表示已知时间点t0处的数据值,A(t1)表示已知时间点t1处的数据值,(t-t0)表示待估计时间点t与已知时间点t0之间的距离,(t1-t0)表示已知时间点t1与已知时间点t0之间的距离。
在本实施例中,特征分类单元基于KNN分类器将提取的图像特征分类步骤如下:
S1、数据准备:需要将图像数据划分为训练集和测试集;
S2、特征提取:对于每个图像,提取代表该图像的特征;
S3、特征向量表示:将每个图像的特征提取结果转换为特征向量表示;
S4、模型训练:用训练集的特征向量和其对应的分类标签训练KNN分类器(KNearest Neighbors)模型;
S5、分类预测:使用训练好的KNN分类器模型对测试集中的图像特征进行分类预测,对于每个测试样本,计算它与训练样本的特征向量距离,找到最近的K个邻居,并根据邻居的类别进行投票,选择得票最多的类别作为预测结果;
S6、评估分类性能:通过比较预测结果与真实标签,计算分类的准确率、精确率、召回率、F1-Score指标来评估分类性能;
其中:训练集用于构建KNN分类器模型,测试集用于评估分类性能。
具体的,在步骤S2中,通过计算机视觉算法提取图像的特征,例如:SIFT(ScaleInvariant Feature Transform)、HOG(Histogram of Oriented Gradient)。
在本实施例中,还包括:可视化和呈现模块,可视化和呈现模块用于将评估和分析结果可视化呈现给用户。具体的,通过可视化的方式,用户能够直接地了解和姐用户界面的优点和缺点,从而进行改进和调整。
在本实施例中,图像特征包括:边缘、线条、曲线、颜色、纹理以及形状。
综上所述,本发明通过预处理模块对数据集进行预处理,并通过边界-线-smote技术获得一个平衡的数据集,基于DenseNet201架构提取每个GUI屏幕截图的特征,然后通过KNN分类器使用提取的特征向量,创建新的分类模型来评估MUI的视觉设计,并通过评估和推荐模块根据模型的输出结果来评估用户界面的质量和可用性,并提供有关用户体验和界面设计改进的反馈和建议,通过MUI评估减少对用户需求的误解,改善设计和可用性,以达到用户满意;本发明的评估系统可用于大规模数据集来评估,并且以平均93%的准确度显示了所提出的模型的效率,该模型是为移动应用程序设计者实现的,旨在提供MUIs的质量,MUIs评估能够减少对用户需求的误解,改善设计和可用性,以达到用户满意。
以上所述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要如权利要求范围来确定其技术性范围。
Claims (7)
1.一种基于深度学习的移动用户界面评估系统,其特征在于,包括:
数据处理模块,所述数据处理模块用于手机移动应用程序的用户界面数据,并将该数据作为数据集,所述用户界面数据为屏幕截图;
预处理模块,所述预处理模块对所述数据集进行缺失值清洗、填充缺失值内容或者重新取数、删除内容不符合数据、去除重复值或者不合理值,以便后续的分析和训练;
深度学习模型模块,所述深度学习模块将预处理后的数据作为训练集,构建深度学习模型,提取每个屏幕截图的图像特征,然后根据提取的图像特征进行分类;
评估和推荐模块,所述评估和推荐模块利用训练好的深度学习模型对用户界面进行评估和分析,根据模型的输出结果来评估用户界面的质量和可用性,并提供有关用户体验和界面设计改进的反馈和建议。
2.根据权利要求1所述的基于深度学习的移动用户界面评估系统,其特征在于,所述预处理模块包括:
采样处理模块,所述过处理模块通过边界-线-smote过采样算法进行样本重采样,解决类不平衡问题。
3.根据权利要求1所述的基于深度学习的移动用户界面评估系统,其特征在于,所述深度学习模型包括:
特征提取单元和特征分类单元,所述特征提取单元基于DenseNet201架构自动提取每个屏幕截图的图像特征,所述特征分类单元基于KNN分类器将提取的图像特征分类。
4.根据权利要求1所述的基于深度学习的移动用户界面评估系统,其特征在于,所述填充缺失值采用线性插值算法实现,所述线性插值算法的计算公式为:
对于属性A在时间点t0和t1之间的缺失值算法如下:
其中:A(t)表示在时间点t处的估计值,A(t0)表示已知时间点t0处的数据值,A(t1)表示已知时间点t1处的数据值,(t-t0)表示待估计时间点t与已知时间点t0之间的距离,(t1-t0)表示已知时间点t1与已知时间点t0之间的距离。
5.根据权利要求3所述的基于深度学习的移动用户界面评估系统,其特征在于,所述特征分类单元基于KNN分类器将提取的图像特征分类步骤如下:
S1、数据准备:需要将图像数据划分为训练集和测试集;
S2、特征提取:对于每个图像,提取代表该图像的特征;
S3、特征向量表示:将每个图像的特征提取结果转换为特征向量表示;
S4、模型训练:用训练集的特征向量和其对应的分类标签训练KNN分类器模型;
S5、分类预测:使用训练好的KNN分类器模型对测试集中的图像特征进行分类预测,对于每个测试样本,计算它与训练样本的特征向量距离,找到最近的K个邻居,并根据邻居的类别进行投票,选择得票最多的类别作为预测结果;
S6、评估分类性能:通过比较预测结果与真实标签,计算分类的准确率、精确率、召回率、F1-Score指标来评估分类性能;
其中:训练集用于构建KNN分类器模型,测试集用于评估分类性能。
6.根据权利要求1所述的基于深度学习的移动用户界面评估系统,其特征在于,还包括:
可视化和呈现模块,所述可视化和呈现模块用于将评估和分析结果可视化呈现给用户。
7.根据权利要求1所述的基于深度学习的移动用户界面评估系统,其特征在于,所述图像特征包括:
边缘、线条、曲线、颜色、纹理以及形状。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410231681.6A CN117971097A (zh) | 2024-03-01 | 2024-03-01 | 基于深度学习的移动用户界面评估系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410231681.6A CN117971097A (zh) | 2024-03-01 | 2024-03-01 | 基于深度学习的移动用户界面评估系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117971097A true CN117971097A (zh) | 2024-05-03 |
Family
ID=90849674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410231681.6A Pending CN117971097A (zh) | 2024-03-01 | 2024-03-01 | 基于深度学习的移动用户界面评估系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117971097A (zh) |
-
2024
- 2024-03-01 CN CN202410231681.6A patent/CN117971097A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wells et al. | Artificial intelligence in dermatopathology: Diagnosis, education, and research | |
US20230195845A1 (en) | Fast annotation of samples for machine learning model development | |
CN109559300A (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
CN107679466B (zh) | 信息输出方法和装置 | |
CN108229341A (zh) | 分类方法和装置、电子设备、计算机存储介质、程序 | |
Eirich et al. | IRVINE: A design study on analyzing correlation patterns of electrical engines | |
Fischer et al. | Towards a survey on static and dynamic hypergraph visualizations | |
CN110321805B (zh) | 一种基于时序关系推理的动态表情识别方法 | |
CN108009560B (zh) | 商品图像相似类别判定方法及装置 | |
JP2023501820A (ja) | フェイスパーシング方法および関連デバイス | |
CN113298058A (zh) | 基于无人机高光谱图像的水质预测反演方法及系统 | |
CN108549685A (zh) | 行为分析方法、装置、系统及可读存储介质 | |
CN110827304A (zh) | 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统 | |
Liu et al. | Research of animals image semantic segmentation based on deep learning | |
CN117541844B (zh) | 一种基于超图学习的弱监督组织病理学全切片图像分析方法 | |
CN109583367A (zh) | 图像文本行检测方法及装置、存储介质和电子设备 | |
CN115631008A (zh) | 商品推荐方法、装置、设备及介质 | |
Bodendorf et al. | Deep learning based cost estimation of circuit boards: a case study in the automotive industry | |
Kachhoria et al. | Lie group dee learning technique to identify the precision errors by map geometry functions in smart manufacturing | |
CN115438249A (zh) | QoS预测模型构建方法、装置、设备及可读存储介质 | |
WO2024159819A1 (zh) | 训练方法、版面分析、质量评估方法、装置、设备和介质 | |
CN113987126A (zh) | 基于知识图谱的检索方法及装置 | |
CN117971097A (zh) | 基于深度学习的移动用户界面评估系统 | |
CN113298265B (zh) | 一种基于深度学习的异构传感器潜在相关性学习方法 | |
Chen et al. | G2IFu: Graph-based implicit function for single-view 3D reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |