CN112083923A - 人工智能辅助的用户体验设计评价 - Google Patents

人工智能辅助的用户体验设计评价 Download PDF

Info

Publication number
CN112083923A
CN112083923A CN202010408426.6A CN202010408426A CN112083923A CN 112083923 A CN112083923 A CN 112083923A CN 202010408426 A CN202010408426 A CN 202010408426A CN 112083923 A CN112083923 A CN 112083923A
Authority
CN
China
Prior art keywords
screen
target
cluster
design
filtered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010408426.6A
Other languages
English (en)
Other versions
CN112083923B (zh
Inventor
黄磊
江顺
尹培风
A·梅加海德
E·刘
任广杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN112083923A publication Critical patent/CN112083923A/zh
Application granted granted Critical
Publication of CN112083923B publication Critical patent/CN112083923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/20—Software design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开的实施例涉及人工智能辅助的用户体验设计评价。提供了一种评价用户体验(UX)设计的方法和系统。UX设计被接收。被标识为输入UI屏幕的背景的部分的所有对象被移除，以创建经过滤的输入UI屏幕。输入UI屏幕被分配给集群。输入屏幕的目标UI屏幕被确定，并且其背景被移除以创建经过滤的目标UI集群。目标UI屏幕被分配给集群。经过滤的输入UI屏幕被用作深度学习模型的输入，以预测目标UI集群。基于聚类，所预测的目标UI集群与经过滤的目标UI集群进行比较。在确定经过滤的目标UI集群与目标UI屏幕相似后，UX设计被分类为成功的。

Description

人工智能辅助的用户体验设计评价
技术领域
本公开总体上涉及计算机系统，并且更具体地涉及对用户界面设计的自动评价。
背景技术
用户体验(UX)设计是通过改进在与产品的交互中提供的可用性、可访问性以及合意性来增强产品的用户满意度的过程。用户体验设计涵盖传统人机交互(HCI)设计，并且通过解决如用户感知到的产品或服务的所有方面(包括产品的用户界面)来扩展它。
发明内容
根据各种实施例，一种计算设备、一种非瞬态计算机可读存储介质、以及一种方法被提供用于评价用户体验(UX)设计。UX设计被接收，并且该UX设计的输入用户界面(UI)屏幕的对象被标识。被标识为输入UI屏幕的背景的部分的所有对象被移除，以创建经过滤的输入UI屏幕。输入UI屏幕被分配给集群。输入屏幕的目标UI屏幕被确定。被标识为目标UI屏幕的背景的部分的所有对象被移除，以创建经过滤的目标UI屏幕。目标UI屏幕被分配给集群。经过滤的输入UI屏幕被用作深度学习模型的输入，以预测目标UI集群。所预测的目标UI集群基于聚类与经过滤的目标UI集群进行比较。在确定经过滤的目标UI集群与所述目标UI屏幕相似后，UX设计被分类为成功的。
在一个实施例中，深度学习模型是序列模型。
在一个实施例中，经过滤的目标UI集群与经过滤的目标UI集群之间的相似性基于置信度分数处于或高于预定阈值。在确定置信度分数低于预定阈值后，UX设计可以被分类为无效。UX设计然后可以被防止对受众可用。
在一个实施例中，对UX设计的序列UX流评价被执行。
在一个实施例中，经过滤的输入UI屏幕包括第一特征向量，并且经过滤的目标UI屏幕包括第二特征向量，并且比较基于第一特征向量或第二特征向量的比较。
在一个实施例中，深度学习模型由计算设备在初步阶段期间创建，其中，聚类节点的加权的流图(graph)基于成功的UX设计的历史数据来创建。用户与UX设计之间的历史用户交互日志被接收。加权的流图与用户交互日志被组合以创建路径。这些路径被用来训练深度学习模型。深度学习模型可以是序列模型。长短期记忆(LSTM)可以由序列模型使用。
在一个实施例中，加权的流图的聚类节点之间的边基于聚类节点之间的转换的概率而被加权。
根据各种实施例，一种计算设备、一种非瞬态计算机可读存储介质、以及一种方法被提供用于评价UX设计。UX设计被接收，并且UX设计的输入用户界面(UI)屏幕的对象被标识。包括用户界面屏幕的序列的用户体验UX设计被接收。针对UX设计的每个UI屏幕，UI屏幕的对象被标识。被标识为UI屏幕的背景的部分的所有对象被移除，以创建经过滤的输入UI屏幕。经过滤的输入UI屏幕被分配给集群。集群的序列被创建。集群的序列的目标UI屏幕被确定。被标识为目标UI屏幕的背景的部分的所有对象被移除，以创建经过滤的目标UI集群。集群的序列被用作深度学习模型的输入，以预测目标UI集群。所预测的目标UI集群与经过滤的目标UI集群进行比较。在确定经过滤的目标UI集群与所述目标UI屏幕相似后，UX设计被分类为成功的。
在一个实施例中，学习模型是多对一序列深度学习模型。
在一个实施例中，经过滤的目标UI集群与经过滤的目标UI集群之间的相似性基于置信度分数处于或高于预定阈值。在确定置信度分数低于预定阈值后，UX设计可以被分类为无效的。UX设计然后可以被防止对受众可用。
在一个实施例中，经过滤的输入UI屏幕包括第一特征向量，经过滤的目标UI屏幕包括第二特征向量，并且比较基于第一特征向量或第二特征向量的比较。
这些和其他特征将从要结合附图阅读的其说明性实施例的以下详细描述变得明显。
附图说明
附图是说明性实施例的附图。它们不图示所有实施例。另外或代替地，其他实施例可以被使用。可以明显或不必要的细节可以被省略以节省空间或为了更高效的图示。一些实施例可以利用附加的组件或步骤或在没有被图示的所有组件或步骤的情况下被实践。当相同的数字出现在不同附图中时，其指代相同或相似的组件或步骤。
图1图示了用户体验设计评价系统的示例架构。
图2是与说明性实施例一致的用户界面流图的构建的概念框图。
图3是与说明性实施例一致的深度学习模型的创建的概念框图。
图4是与说明性实施例一致的用户界面对象评价的功能框图。
图5是与说明性实施例一致的用户界面屏幕对转换逻辑评价的概念框图。
图6是与说明性实施例一致的用户体验设计流评价的概念框图。
图7呈现了与说明性实施例一致的有关通过分析屏幕转换来评价用户体验设计的说明性过程。
图8是与说明性实施例一致的基于对集群的序列的评价对用户体验设计的质量的评价的示例过程流。
图9提供了可以用于实现可以托管用户体验设计评价引擎的特别配置的计算设备的计算机硬件平台的功能框图图示。
图10描绘了与说明性实施例一致的云计算环境。
图11描绘了与说明性实施例一致的抽象模型层。
具体实施方式
概述
在以下详细描述中，许多具体细节通过示例被阐述以提供对相关教导的透彻理解。然而，应当明显的是，本教导可以在没有这样的细节的情况下被实践。在其他实例中，众所周知的方法、过程、组件和/或电路已经在没有细节的情况下在相对高的级别上被描述，以避免不必要地模糊本教导的各方面。
本公开总体上涉及自动评价UX设计的系统和计算机化方法。近年来，对人类行为和其与他或她的环境的交互的了解已经成为一个活跃的研究领域。好的UX设计为用户提供轻松愉快的体验，由此改进设计背后的产品的接受度、可用性和最终成功。为了确定UX设计的有效性，传统方法包括A/B测试、进行调查、专家评价、用户研讨会和评价、等等、或其组合。例如，A/B测试通常涉及具有两个变体(例如，A和B，其中，A可以是老版本，B是新版本)的随机实验。其包括统计假设测试或“双样本假设测试”的应用。A/B测试提供通常通过测试对象对变体A与变体B的反应并且基于预定准则来确定两个变体中的哪个更有效来比较单个变量的两个版本的方式。关于调查，其通常涉及针对确定来自一群人的数据的问题列表。用于评价UX设计的前述已知方法具有各种限制。这样的方法一般在时间上是低效的，需要高成本，可能是有偏见的，难以量化，可能是不可理解的(例如，用于评价的准则可能是未知的)，并且从其获得的知识可能不能被容易地转移到其他平台。
因此，在一个实施例中，本文中提供的内容是基于图论和序列深度学习建模对UX设计的评价。本文中讨论的UX设计评价方法可以涉及提供其置信度分数的UX设计的评价的三个级别，包括：(i)UI对象评价，(ii)UI屏幕对转换逻辑评价，以及(iii)序列UX流评价。下面详细讨论这些评价中的每一个。现在详细参考附图中图示的和下面讨论的示例。
示例架构
图1图示了用户体验(UX)设计评价系统的示例架构100。架构100可以包括一个或多个UX设计开发者101(1)至101(N)，其创建可以在各种计算设备102(1)至102(N)上被体验的UX设计105(1)至105(N)。架构100还可以包括可操作以提供历史数据113的历史数据储存库112以及可操作以提供历史用户交互数据115的用户交互日志数据库114。
架构100包括托管UX设计评价引擎103的设计评价服务器116。存在网络106，其允许UX设计评价引擎103与被连接到网络106的各种资源(诸如历史数据储存库112、用户交互日志数据库114和UX设计开发者101(1)至101(N))通信。网络106可以是但不限于局域网(“LAN”)、虚拟私有网络(“VPN”)、蜂窝网络、互联网、或其组合。例如，网络106可以包括被通信地耦合到私有网络(有时被称为内联网)的移动网络，其提供各种辅助服务，诸如与各种数据库、潜在参与者、互联网和云120的通信。
出于讨论目的，不同用户设备出现在附图中，以表示可以由用户使用以体验UX设计的各种屏幕的客户端设备的一些示例。如今，用户设备通常采取便携式手持设备、智能电话、平板计算机、个人数字助理(PDA)以及智能手表的形式，但是它们可以以其他形状因子(包括消费、医学和商业电子设备)来实现。这样的用户设备以及其他用户设备可以被用作体验UX设计的界面。
历史数据储存库112被配置为存储并维持大的历史数据113的集合，有时被称为大容量数据，其包括与被认为有效的各种UX设计相关的数据(例如，导致查询或事务的令人满意的完成，诸如对在线产品的购买)。类似地，用户交互日志数据库114存储与被认为成功的各种UX设计交互的用户行为的数据。
UX设计103被配置为通过网络106接收历史数据113和用户交互日志数据115以创建稍后更详细地讨论的加权的流图。在一个实施例中，由用户交互日志数据库114提供的数据115与历史数据113一起共同地用作数据的语料库，UX设计评价引擎103可以从其学习以创建序列深度学习模型，该序列深度学习模型然后可以用于评价各种新UX设计105(1)至105(N)。
将理解，由UX设计评价引擎103接收的大量的历史数据113和用户交互日志数据115可以提供针对不仅网络106而且还有托管UX设计评价引擎103的设计评价服务器116的计算资源(包括设计评价服务器116的处理时间和存储器资源)的技术挑战。在这方面，UX设计评价引擎103被配置为过滤掉UX设计的每个屏幕的背景信息。以这种方式，节省宝贵的网络资源106以及设计评价服务器116的计算和存储资源的技术效果被实现。通过将计算限制于精简的相关数据池，关于设计评价服务器116的计算需求被节省，由此提供更有效的计算平台。
在一个方面中，基于图论和/或序列深度学习模型，本文中的教导提供在三个级别上评价UX设计(例如，105(1))的自动方式：(i)用户界面(UI)对象，(ii)UI屏幕之间的转换逻辑，以及(iii)序列UX流，其中的每个将在下面详细地解释。
尽管历史数据储存库112、用户交互日志数据库114、简档数据库118、以及设计评价服务器116通过示例的方式被图示为在不同平台上，但是将理解，在不同实施例中，这些平台可以以各种组合来组合。在其他实施例中，这些计算平台中的一个或多个可以通过虚拟机形式的虚拟计算设备或被托管在云120中的软件容器来实现，由此提供用于处理和存储的弹性架构。稍后更详细地讨论云。
示例框图
现在参考图2，其是与说明性实施例一致的用户界面流图210的构建的概念框图200。用户界面屏幕202的集合可以从大容量UI设计数据集(诸如图1的历史数据储存库112)被接收。例如，UI屏幕202可以与被用作从其学习的数据的语料库的一部分的成功UX设计相关。
在框204处，用户界面屏幕之间的转换逻辑被提取。例如，如框206中所图示的，屏幕1可以通过动作1来调用屏幕2。屏幕2可以通过动作2调用屏幕6。通过非限制性示例，屏幕1可以是具有各种可动作对象(诸如用户名、密码、生物识别信息、等等)的登录屏幕。第二屏幕可以是针对用户账户定制的在线零售商的一般欢迎屏幕。
框230表示由UX设计评价引擎103进行的可动作对象分割和背景移除。如本文中所使用的，可动作对象是用户可以与之交互的实体，诸如密码输入字段、搜索字段、等等。不可动作的对象可以被分类为背景对象。这些背景对象从对应的屏幕被移除(即，过滤)，由此简化UX设计评价引擎103的计算复杂度。例如，UI屏幕分割可以包括检测动作对象的边界(例如，可以触发UI屏幕转换的UI项，诸如搜索、登录、可点击按钮、超链接图像、等等)。因此，UI屏幕240被处理，因为它们从具有被标识为背景的任何对象被过滤。另外，可动作对象在语义上被标记在框240中。例如，语义标记可以被认为是描述屏幕中的可动作对象的功能的文本标签(例如，用于登录按钮的语义标签可以简单地为短文本“登录”)。屏幕可以包括多个可动作对象(例如，登录、注册、作为游客连接、等等)。在一个实施例中，我们可以通过图像分割和标记技术来检测它们。
在框250处，图像嵌入和聚类预测被执行，以基于其中所标识的对象来确定屏幕属于哪个集群。在一个实施例中，图像嵌入(有时被称为嵌入UI屏幕)包括：(i)动作对象分割和语义标记，(ii)移除背景对象，以及(iii)生成用于UI屏幕的特征向量。
每个对象具有帮助将其分类成对应集群的它自己的特殊特征。为此，在一个实施例中，深度学习被使用。例如，深度学习可以在本文中被用于建立算法，该算法可以基于可以被存储在历史数据储存库112中的数据来学习并做出预测。这样的算法通过从所存储的先前输入或来自其的基线构建模型来操作，以便做出数据驱动的预测或决策(或提供阈值条件以指示屏幕是否属于预定集群)而不是遵循严格静态准则。基于深度学习，模式和趋势被标识，并且任何异常值被标识为不属于集群。
在各种实施例中，本文中讨论的深度学习可以是监督式的或无监督式的。在监督式学习中，UX设计评价引擎103可以被呈现有来自历史数据储存库112的示例数据作为分别与各种类别相关的数据。换言之，历史数据储存库112用作UX设计评价引擎103的教导者(teacher)。在无监督式学习中，历史数据储存库112不提供如什么是可接受的任何标签，相反，其简单地将历史数据113提供到设计评价服务器116，其可以被用于在数据之中找到它自己的结构以标识正确的集群。
在各种实施例中，深度学习可以利用诸如监督式学习、无监督式学习、半监督式学习、朴素贝叶斯、贝叶斯网络、决策树、神经网络、模糊逻辑模型和/或概率分类模型之类的技术。
框260将每个UI屏幕图示为被聚类到对应节点中。例如，一个集群可以与登录屏幕相关，另一集群可以与搜索屏幕相关，等等。框260的集群信息与框206的用户界面屏幕之间的转换逻辑一起被用于生成框208中的UI流图。在一个实施例中，流图被加权，如由框210所图示的。
返回参考框208，UX设计评价引擎103生成用户界面流图，其可以被加权，如框210中所图示的。框210的节点212至222表示聚类节点。如本文中所使用的，集群是表征功能的内在聚集(grouping)。例如，功能可以是但不限于登录屏幕、搜索屏幕、结账台、购物页面、搜索屏幕、帮助屏幕、等等。在一些实施例中，表示屏幕之间的转换的边基于转换概率被加权。仅通过示例而非通过限制，点线(dotted line)可以表示最低概率，短划线(dashedline)表示较高概率，实线(solid line)表示比短划线更高的概率，并且粗实线表示最高概率。将理解，从一个集群转换到另一个集群的概率的其他图形表示(诸如颜色或标签)在本公开的范围内。
图3是与说明性实施例一致的深度学习模型340的创建的概念框图300。例如，框图300描述了用户如何与用户界面(诸如提供产品和/或服务的网站)交互。如本文中所讨论的，在创建加权的流图310后，该流图与用户交互日志320(1)至320(N)(其可以从图1的用户交互日志数据库114被接收)进行组合。在各种实施例中，用户交互日志320(1)至320(N)可以通过各种web分析平台(诸如Google Analytics、IBM
Figure BDA0002492190070000081
等等)来获得。用户交互日志320(1)至320(N)提供关于什么功能序列(例如，屏幕)通常由用户获取的见解。在一个实施例中，信息被过滤以仅仅保留已经被认为成功的用户交互日志(例如，导致事务的令人满意的完成(诸如销售或问题的解决)的那些)。通常，好的设计是用户不会被后续屏幕的内容感到惊讶的设计，其可以由用户将击中“返回”按钮以返回到先前屏幕、完全中止交互、选择帮助特征等等的可能性指示。在一个实施例中，存在用户在屏幕上花费的预期时间或时间范围。如果在屏幕上花费的时间超过预定限制，那么其可以指示差的设计。在一些情景中，用户在页面上花费时间越长，UX设计可能越好。因此，预期时间与所花费的实际时间之间的时间的大小可以指示从一个屏幕到另一个屏幕的转换的有效性。
加权的流图310和用户交互日志320(1)至320(N)的组合提供路径330(1)至330(N)。路径可以然后被使用在序列模型340的训练的上下文中。例如，长短期记忆(LSTM)可以被使用，其使用人工递归神经网络(RNN)架构进行深度学习。该经训练的模型340可以然后用于针对它们的有效性评价新UX设计。
在创建经训练的模型340后，其可以被使用在针对它们的有效性评价新UX设计的不同级别中。在一个方面中，本文中讨论的UX设计评价可以涉及提供其置信度分数的UX设计的评价的三个级别，包括：(i)UI对象评价，(ii)UI屏幕对转换逻辑评价，以及(iii)序列UX流评价。下面详细讨论这些评价中的每一个。
现在参考图4，其是由UX设计评价引擎进行的UI对象评价的功能框图。UI对象评价400的目标是评价用于输入UI屏幕402的功能主题的可识别性。换言之，对象评价400确定UI屏幕属于哪个集群。为此，UX引擎通过分割406来标识动作对象。被认为是背景的对象从分析中被移除。因此，不包括任何背景信息的经过滤的UI屏幕被提供410。
图像嵌入和聚类预测执行414，以确定UI屏幕中的每个对象属于哪个集群。如本文中所使用的，集群是表征功能的箱(bin)。在一个实施例中，针对每个可动作对象，输出418是具有对应置信度分数的聚类节点，有时在本文中被称为置信度分数。例如，置信度分数越高，可动作对象越可能属于该集群。如果置信度分数低于预定阈值，那么可动作项被认为是不可识别的。例如，不可识别的可动作项可以指示UI设计可能不可由用户识别。在这方面，UX设计评价引擎可以将通知(例如，警告)发送到相关UX设计开发者。
如果置信度分数在预定阈值处或高于预定阈值，有时在本文中被称为显性(dominant)置信度分数，那么具有一个或多个可动作项的屏幕被相应地聚类。
现在参考图5，其是与说明性实施例一致的UX对转换逻辑评价的概念框图500。更特别地，框图500解释从一个屏幕(例如，开始屏幕502)到后续屏幕(例如，目标屏幕504)的转换如何由UX设计评价引擎103评价。在框510处，针对转换中的每个屏幕502和504，可动作对象分割以及如以上所解释的背景移除被执行。在框520处，针对转换中的每个屏幕502和504，图像嵌入和聚类被执行。存在由框570表示的预测模块，其被配置为基于流图信息560和开始节点530来确定(即，预测)下一节点(即，屏幕)580。这两个节点然后在框550处被比较。在一个实施例中，如果这些节点通过比较被认为不相同(例如，具有低于预定阈值的置信度分数)，那么屏幕之间的转换被认为是无效的。针对开始屏幕与目标屏幕504之间的每对转换，该过程可以继续。以这种方式，对UX设计的评价的细粒度可以被提供，并且UX设计开发者可以关注具有低置信度分数的转换。
例如，动作Ai可以用于帮助在给定开始节点的情况下预测下一节点。考虑例如设计者设计两个页面(A，B)。通过点击按钮(即，动作Ai)，页面可以从页面A转换到页面B(即，A→B)，其中，A是开始屏幕，B是目标屏幕。本文中讨论的系统可以评价转换是否是“好”的(例如，对用户友好的)或“坏”的(例如，超出用户的预期)。为此，在一个实施例中，系统首先(例如，基于图4的框414)分别预测针对A和B的聚类节点。系统可以确定对应的开始节点和目标节点。
然后，开始节点和动作Ai可以被用作图模型的输入以预测下一节点。例如，在该图中，边指示由特定动作触发的转换。因此，在给定开始节点和动作Ai的情况下，下一节点(即，预测节点)可以在该图中被确定。
接下来，预测节点与目标节点550进行比较以观察它们是否基本上相似。如果它们基本上相似，则指示转换逻辑设计是“好的”并且因此被广泛采用在现有UX设计中。
图6是与说明性实施例一致的UX设计流评价的概念框图600。框602表示由图1的UX设计评价引擎103接收的用户界面屏幕的序列。在框610处，针对用户界面屏幕602中的每一个，对象分割被执行。另外，背景对象被移除。
在框620处，图像嵌入和聚类被执行，由此将每个节点(即，UI屏幕)分配给对应的集群630(1)至630(N)。例如，第一聚类节点630(1)可以是登录屏幕，第二聚类节点630(2)可以是搜索屏幕，第三聚类节点630(3)可以与其中用户可以将产品添加到购物箱中的屏幕相关，并且最后一个聚类节点630(N)可以提供支付信息。
基于路径630(1)至630(N)的给定组合，目标节点650在集群630(1)至630(N)的序列之后，可以是结账屏幕。因此，不像在图5的上下文中讨论的方法，其关注开始屏幕和目标屏幕，路径630(1)至630(N)将附加的上下文提供到UX设计。换言之，代替仅仅分析紧挨着的前面的屏幕，图6的方法提供在UX设计中使用的到达目标节点的路径的上下文概述。
学习模型640被用于预测下一节点652，其然后与主体UX设计产品的目标节点650进行比较。在一个实施例中，多对一序列化深度学习模型用于基于节点630(1)到630(N)的集群的路径来提供预测的节点652。基于该比较，输出670然后指示UX设计是否是成功的。
示例过程
在具有对示例架构100和概念框图200至600的前述概述的情况下，现在可以有帮助的是，考虑示例过程的高级别讨论。为此，图7呈现了与说明性实施例一致的有关通过分析屏幕转换来评价UX设计的说明性过程。图8呈现了与说明性实施例一致的有关通过分析包括多个屏幕转换的序列来评价UX设计的说明性过程。过程700和800被图示为各自在逻辑流程图中的表示可以在硬件、软件、或其组合中被实现的操作的序列的框的汇集。在软件的上下文中，框表示计算机可执行指令，其在由一个或多个处理器执行时执行所记载的操作。总体上，计算机可执行指令可以包括例程、程序、对象、组件、数据结构等，其执行功能或实现抽象数据类型。在每个过程中，各操作被描述的顺序不旨在被解释为限制，并且任何数量的所描述的框可以以任何顺序组合和/或与实现该过程并行地被执行。出于讨论目的，参考图1的架构100描述过程700和800。
在框702处，设计评价服务器116上的UX设计评价引擎103通过网络106接收用户体验设计105。在框704处，UX设计评价引擎103标识UX设计105的UI屏幕的对象。在框706处，UX设计评价引擎103移除被标识为输入UI屏幕的背景的部分的所有对象以创建经过滤的输入UI屏幕。在框708处，UX设计评价引擎103将经过滤的输入UI屏幕分配给集群(例如，第一集群)。
在框710处，UX设计评价引擎103确定输入屏幕的目标UI屏幕。例如，目标UI屏幕可以由触发从UI屏幕的输入UI屏幕到目标UI屏幕的转换的动作Ai确定。动作Ai是与UI屏幕的可动作对象的交互。
在块712处，UX设计评价引擎103移除(即，从目标UI屏幕)被标识为目标UI屏幕的背景的部分的所有对象，以创建经过滤的目标UI集群。在框714处，UX设计评价引擎103将目标UI屏幕分配给集群(例如，第二集群)。在各种实施例中，(i)对输入UI屏幕的对象的标识和移除和(ii)对目标UI屏幕的对象的标识和移除可以被同时或顺序地执行。例如，(例如，由对应的Ai动作触发的)目标UI屏幕对的所有输入UI被标识。然后，被标识为对应屏幕的背景的部分的所有对象被同时移除。
在框716处，UX设计评价引擎103将经过滤的输入UI屏幕用作深度学习模型的输入，以预测目标UI集群。借助于从输入UI屏幕和目标UI屏幕移除背景对象，计算设备(例如，设计评价服务器116)的计算复杂度和存储器资源被减少。
在框718处，UX设计评价引擎103将所预测的目标UI集群与经过滤的目标UI集群进行比较。在确定了经过滤的目标UI集群与所预测的目标UI集群相似(即，在决策框718处的“是”)后，过程以框720继续，其中，UX设计被分类为成功的。然而，在确定了经过滤的目标UI集群与目标UI屏幕不相似(即，在决策框718处的“否”)后，过程以框722继续，其中，UX设计被分类为无效的。在一个实施例中，经过滤的输入UI屏幕与目标UI屏幕之间的相似性基于置信度分数处于或高于预定阈值。在确定UX设计无效后，通知可以被发送到相关UX设计开发者(例如，101(1))以指示UX设计应当被改进。在一个实施例中，被认为无效的UX设计被防止呈现给受众(例如，一组用户被防止暴露于该UX设计)，由此防止无效UX设计被发布。
尽管过程700一般出于简单性被描述为用于输入UI屏幕与目标UI屏幕之间的转换(例如，A→B)，但是将理解，输入UI屏幕与对应的输出屏幕之间的所有转换也可以被执行(例如，A→B；B→C；C→D；等等)。在各种实施例中，输入UI屏幕与对应的目标UI屏幕之间的转换可以被同时评价、顺序地评价或其任何组合。
现在参考图8，其是与说明性实施例一致的基于对集群的序列的评价对UX设计的质量的评价的示例过程流。在框802处，UX设计评价引擎103通过网络106接收用户体验设计105。在框804处，针对UX设计105的每个UI屏幕，UX设计评价引擎103标识UX设计105的UI屏幕的对象。在块806处，针对每个UI屏幕，UX设计评价引擎103移除被标识为背景的部分的所有对象以创建经过滤的输入UI屏幕。在框808处，针对每个经过滤的输入UI屏幕，UX设计评价引擎103将输入UI屏幕分配给对应的集群。
在框810处，UX设计评价引擎103创建输入集群的序列。例如，节点的集群的序列(C1,C2,C3,…Cm-1,Cm)基于用户交互日志和加权的流图。
在框811处，UX设计评价引擎103确定输入集群的目标UI屏幕。在块812处，UX设计评价引擎103移除被标识为目标UI屏幕的背景的部分的所有对象以创建经过滤的目标UI集群。
在框814处，UX设计评价引擎103将目标UI屏幕分配给集群。
在框816处，UX设计评价引擎103将输入集群的序列用作深度学习模型的输入，以预测目标UI集群。例如，聚类节点(C1,C2,C3,…Cm-1)的子序列(例如，头m-1个聚类节点)被用作序列深度学习模型的输入以预测目标聚类节点C’m。借助于从输入UI屏幕和目标UI屏幕移除背景对象，计算设备(例如，设计评价服务器116)的计算复杂度和存储器资源被减少。
在框818处，UX设计评价引擎103将所预测的目标UI集群与经过滤的目标UI集群进行比较(例如，C’m＝Cm)。在确定了经过滤的目标UI集群与所预测的目标UI集群相似(即，在决策框818处的“是”)后，过程以框820继续，其中，UX设计被分类为成功的设计。然而，在确定了经过滤的目标UI集群与所预测的目标UI集群不相似(即，在决策框818处的“否”)后，过程以框822继续，其中，UX设计被分类为差的UX设计。在一个实施例中，经过滤的输入UI集群与目标UI屏幕之间的相似性基于分数处于或高于预定阈值。
示例计算机平台
如以上所讨论的，涉及自动确定UX设计的质量的功能可以通过如图1所示的经由无线或有线通信而连接的用于数据通信的一个或多个计算设备的使用来执行，并且根据图7和图8的过程700和过程800来执行。图9提供了计算机硬件平台900的功能框图，该计算机硬件平台900可以用于实现可以托管UX设计评价引擎940的特别配置的计算设备。特别地，图9图示了网络或主机计算机平台900，如可以用于实现适当配置的服务器，诸如图1的设计评价服务器116。
计算机平台900可以包括被连接到系统总线902的中央处理单元(CPU)904、硬盘驱动器(HDD)906、随机访问存储器(RAM)和/或只读存储器(ROM)908、键盘910、鼠标912、显示器914、以及通信接口916。
在一个实施例中，HDD 906具有包括存储可以按本文中描述的方式运行诸如UX设计评价引擎940的各种过程的程序的能力。UX设计评价引擎940可以具有被配置为执行不同功能的各种模块。例如，可以存在交互模块942，其可操作以从如本文中讨论的诸如用户交互日志114和历史数据库112以及各种UX设计开发者101(1)至101(N)的各种源接收电子数据。
在一个实施例中，存在可操作以确定从一个屏幕到另一个屏幕的转换的转换逻辑提取模块944。例如，UI屏幕可以是在特定时间的UX设计的UI的快照。用于UI屏幕对的转换逻辑(例如，UI1到UI2)是触发屏幕对的转换的动作。
可以存在深度学习模块948(有时在本文中被称为预测模块)，其可操作以在初步阶段(有时被称为训练阶段)期间从成功UX设计和用户交互日志的历史数据学习以构建如本文中所讨论的可以用于评价新UX设计的模型。可以存在可操作以检测包括可以触发UI屏幕转换的UI项的可动作对象的边界的对象分割模块950。在一个实施例中，对象分割模块950附加地或备选地被配置为从被标识为背景的部分的屏幕移除对象。
在一个实施例中，存在可操作以基于历史数据和用户交互日志来生成加权的流图的加权的流图模块952。生成加权的流图可以包括针对每个屏幕基于在屏幕中标识的特征向量将屏幕分配给集群。图节点针对每个集群被添加。有向边基于图节点(例如，两个不同集群中的两个UI屏幕)之间的转换逻辑而被添加。在一个实施例中，加权的流图模块952可以基于转换概率来更新边权重。可以存在可操作以将每个屏幕聚类到对应的集群的集群模块956。
在一个实施例中，诸如ApacheTM的程序可以被存储用于操作如web服务器的系统。在一个实施例中，HDD 906可以存储包括一个或多个库软件模块(诸如针对JavaTM运行时环境程序的用于实现JVM(JavaTM虚拟机)的那些库软件模块)的执行应用。
示例云平台
如以上所讨论的，涉及管理一个或多个客户端域的合规性的功能可以包括云200(参见图1)。要理解，尽管本公开包括关于云计算的详细描述，但是本文中记载的教导的实现不限于云计算环境。相反，本公开的实施例能够结合现在已知或稍后开发的任何其他类型的计算环境来实现。
云计算是一种服务交付模式，用于对共享的可配置计算资源池进行方便、按需的网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放的资源，例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。
特征包括：
按需自助式服务：云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能力。
广泛的网络接入：计算能力可以通过标准机制在网络上获取，这种标准机制促进了通过不同种类的瘦客户机平台或厚客户机平台(例如移动电话、膝上型电脑、个人数字助理PDA)对云的使用。
资源池：提供者的计算资源被归入资源池并通过多租户(multi-tenant)模式服务于多重消费者，其中按需将不同的实体资源和虚拟资源动态地分配和再分配。一般情况下，消费者不能控制或甚至并不知晓所提供的资源的确切位置，但可以在较高抽象程度上指定位置(例如国家、州或数据中心)，因此具有位置无关性。
迅速弹性：能够迅速、有弹性地(有时是自动地)部署计算能力，以实现快速扩展，并且能迅速释放来快速缩小。在消费者看来，用于部署的可用计算能力往往显得是无限的，并能在任意时候都能获取任意数量的计算能力。
可测量的服务：云系统通过利用适于服务类型(例如存储、处理、带宽和活跃用户帐号)的某种抽象程度的计量能力，自动地控制和优化资源效用。可以监测、控制和报告资源使用情况，为服务提供者和消费者双方提供透明度。
服务模型如下：
软件即服务(SaaS)：向消费者提供的能力是使用提供者在云基础架构上运行的应用。可以通过诸如网络浏览器的瘦客户机接口(例如基于网络的电子邮件)从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置外，消费者既不管理也不控制包括网络、服务器、操作系统、存储、乃至单个应用能力等的底层云基础架构。
平台即服务(PaaS)：向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用，这些应用利用提供者支持的程序设计语言和工具创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础架构，但对其部署的应用具有控制权，对应用托管环境配置可能也具有控制权。
基础架构即服务(IaaS)：向消费者提供的能力是消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础架构，但是对操作系统、存储和其部署的应用具有控制权，对选择的网络组件(例如主机防火墙)可能具有有限的控制权。
部署模型如下：
私有云：云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。
共同体云：云基础架构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。
公共云：云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。
混合云：云基础架构由两个或更多部署模型的云(私有云、共同体云或公共云)组成，这些云依然是独特的实体，但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。
云计算环境是面向服务的，特点集中在无状态性、低耦合性、模块性和语意的互操作性。云计算的核心是包含互连节点网络的基础架构。
现在参考图10，图示性云计算环境1000被描绘。如所示出的，云计算环境1000包括一个或多个云计算节点1010，由云消费者使用的本地计算设备(诸如个人数字助理(PDA)或蜂窝电话1054A、台式计算机1054B、膝上型计算机1054C和/或汽车计算机系统1054N)可以与其进行通信。节点1010可以与彼此进行通信。它们可以被物理地或虚拟地聚集(未示出)在一个或多个网络(诸如如上文中描述的私有云、共同体云、公共云或混合云、或其组合)中。这允许云计算环境1050提供云消费者不需要将资源维持在本地计算设备上的基础设施即服务、平台即服务和/或软件即服务。应理解，图10中示出的计算设备1054A-1054N的类型旨在仅仅为说明性的并且计算节点1010和云计算环境1050可以通过任何类型的网络和/或网络可寻址连接(例如，使用web浏览器)与任何类型的计算机化设备进行通信。
现在参考图11，示出了由云计算环境1050(图10)提供的功能抽象层的集合。应当提前理解，图11中示出的组件、层和功能旨在仅仅为说明性的并且本公开的实施例不限于此。如所描绘的，以下层和对应的功能被提供：
硬件和软件层1160包括硬件和软件组件。硬件组件的示例包括：大型主机1161；基于RISC(精简指令集计算机)架构的服务器1162；服务器1163；刀片服务器1164；存储设备1165；以及网络和联网组件1166。在一些实施例中，软件组件包括网络应用服务器软件1167和数据库软件1168。
虚拟化层1170提供抽象层，从该抽象层虚拟实体的以下示例可以被提供：虚拟服务器1171；虚拟存储装置1172；虚拟网络1173，包括虚拟私有网络；虚拟应用和操作系统1174；以及虚拟客户端1175。
在一个示例中，管理层1180可以提供下面描述的功能。资源配置服务1181提供用于在云计算环境内执行任务的计算资源和其他资源的动态采购。计量和定价1182当资源在云计算环境内被利用时提供成本跟踪以及对这些资源的消费的计费或开发票。在一个示例中，这些资源可以包括应用软件许可证。安全性提供针对云消费者和任务的身份验证以及针对数据和其他资源的保护。用户端口1183为消费者和系统管理员提供对云计算环境的访问。服务水平管理1184提供云计算资源分配和管理使得所需的服务水平得到满足。服务水平协议(SLA)规划和履行1185提供根据SLA预料到针对其的未来要求的云计算资源的预安排和采购。
工作负载层1190提供云计算环境可以被利用的功能性的示例。可以从该层被提供的工作负载和功能的示例包括：映射和导航1191；软件开发和生命周期管理1192；虚拟教室教育传递1193；数据分析处理1194；事务处理1195；以及评价用户界面设计1196，如本文中所讨论的。
结论
对本教导的描述已经出于说明的目的被呈现，但是不旨在为穷举的或限于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变型对于本领域技术人员将是明显的。本文中使用的术语被选择以最好地解释实施例的原理、对在市场中找到的技术的实践应用或技术改进，或者以使得本领域其他普通技术人员能够理解本文中公开的实施例。
尽管前文已经描述了什么被认为是最好的陈述和/或其他示例，但是应理解，可以在其中进行各种修改并且本文中公开的主题可以以各种形式和示例来实现，并且教导可以被应用在许多应用中，其中的仅仅一些已经在本文中被描述。意图通过随附权利要求来请求保护落入本教导的真实范围内的任何和所有应用、修改和变型。
本文中已经讨论的组件、步骤、特征、对象、益处和优点仅仅是说明性的。它们中任何一个以及与它们相关的讨论都不旨在限制保护范围。尽管在本文中已经讨论了各种优点，但是将理解，不是所有实施例都必须包括所有优点。除非另行陈述，否则在本说明书中包括在随附的权利要求书中阐述的所有测量结果、值、评级、位置、大小、尺寸、以及其他规范是大约的而不是精确的。它们旨在具有与它们涉及的功能以及与它们所属的领域的惯例一致的合理范围。
还预见到许多其他实施例。这些包括具有更少、附加和/或不同组件、步骤、特征、对象、益处和优点的实施例。这些还包括其中组件和/或步骤被不同地安排和/或排序的实施例。
本文中参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本公开的方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令实现。
这些计算机可读程序指令可以被提供给适当配置的计算机、专用计算机或其他可编程数据处理装置的处理器以产生一种机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图中的一个或多个方框中指定的功能/动作的部件。这些计算机可读程序指令还可以被存储在计算机可读存储介质中，其能够指引计算机、可编程数据处理装置和/或其他设备以某种方式工作，使得具有指令存储在其中的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图中的一个或多个方框中指定的功能/动作的各方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
本文附图中的调用流、流程图和框图图示了根据本公开的各个实施例的系统、方法和计算机程序产品的可能实现的架构、功能性和操作。在这一点上，流程图或框图中的每个方框可以表示包括用于实现(多个)指定的逻辑功能的一个或多个可执行指令的指令的模块、片段或部分。在一些备选实现中，框中指出的功能可以不以附图中指出的顺序发生。例如，取决于涉及的功能性，连续示出的两个框实际上可以基本上同时地被执行，或各框可以有时以相反的顺序被执行。还将注意，框图和/或流程图中的每个框以及框图和/或流程图中的框的组合可以由执行指定功能或动作或实施专用硬件和计算机指令的组合的基于专用硬件的系统实现。
尽管已经结合示例性实施例描述了前文，但是应理解，术语“示例性”仅仅旨在作为示例，而非最好或最佳的。除了如以上直接陈述的，已经陈述或图示的任何内容不旨在或不应当被解释为引起对任何组件、步骤、特征、对象、益处、优点的贡献或等效于公用的，不管其是否被记载在权利要求中。
将理解，本文中使用的术语和表达具有如关于其对应的相应调查和研究领域赋予这样的术语和表达的普通含义，除了其中特定含义已经另外在本文中被阐述。诸如第一和第二等关系术语可以仅仅被用于将一个实体或动作与另一个区分开而不一定要求或暗示这样的实体或动作之间的任何实际这样的关系或顺序。术语“包括(comprise)”、“包括(comprising)”或其任何变型旨在涵盖非排他性包含，使得包括元素列表的过程、方法、制品或装置不仅仅包括那些元素而且可以包括未被明确列出的或者这样的过程、方法、制品或装置所固有的其他元素。在没有另外的约束的情况下，以“一”或“一个”开头的元素不排除包括该元素的过程、方法、制品或装置中的附加的相同元件的存在。
提供本公开的摘要以允许读者快速确定技术公开内容的性质。该摘要在以下理解的情况下被提交：其将不被用于解释或限制权利要求的范围或含义。另外，在前述详细描述中，可以看出，各种特征被一起聚集在各种实施例中以用于使本公开流水线化。本公开的该方法不应被解释为反映所要求保护的实施例具有比每项权利要求中明确记载的特征更多的特征的意图。相反，如随附权利要求反映的，发明主题在于少于单个公开的实施例的所有特征。因此，随附权利要求书在此被并入到具体实施方式中，其中，每项权利要求独立作为单独要求保护的主题。

Claims (38)

1.一种计算设备，包括：
处理器；
网络接口，其被耦合到所述处理器以支持通过网络上的通信；
存储设备，其被耦合到所述处理器；
用户体验(UX)设计评价引擎代码，其被存储在所述存储设备中，其中由所述处理器对所述代码的执行将所述计算设备配置为执行包括以下的动作：
接收UX设计；
标识所述UX设计的输入用户界面(UI)屏幕的对象；
移除被标识为所述输入UI屏幕的背景的部分的所有对象，以创建经过滤的输入UI屏幕；
将所述经过滤的输入UI屏幕分配给集群；
确定所述输入屏幕的目标UI屏幕；
从所述目标UI屏幕移除被标识为所述目标UI屏幕的背景的部分的所有对象，以创建经过滤的目标UI屏幕；
将所述经过滤的目标UI屏幕分配给集群；
将所述经过滤的输入UI屏幕用作深度学习模型的输入，以预测目标UI集群；
将所预测的目标UI集群与所述经过滤的目标UI集群进行比较；以及
在确定所述经过滤的目标UI集群与所述所预测的目标UI集群相似后，将所述UX设计分类为成功的。
2.根据权利要求1所述的计算设备，其中所述深度学习模型是序列模型。
3.根据权利要求1所述的计算设备，其中所述经过滤的目标UI集群与所述所预测的目标UI集群之间的相似性基于置信度分数处于或高于预定阈值。
4.根据权利要求3所述的计算设备，其中由所述处理器对所述代码的所述执行还将所述计算设备配置为执行包括以下的动作：在确定所述置信度分数低于所述预定阈值后，将所述UX设计分类为无效的。
5.根据权利要求4所述的计算设备，其中由所述处理器对所述代码的所述执行还将所述计算设备配置为执行包括以下的动作：在确定所述UX设计无效后，防止所述UX设计对受众可用。
6.根据权利要求1所述的计算设备，其中由所述处理器对所述代码的所述执行还将所述计算设备配置为执行包括以下的动作：执行对所述UX设计的序列UX流评价。
7.根据权利要求1所述的计算设备，其中：
所述经过滤的输入UI屏幕包括第一特征向量；
所述经过滤的目标UI屏幕包括第二特征向量；并且
所述比较基于所述第一特征向量与所述第二特征向量的比较。
8.根据权利要求1所述的计算设备，其中所述深度学习模型由所述计算设备在初步阶段期间创建，所述初步阶段包括：
基于成功的UX设计的历史数据来创建聚类节点的加权的流图；
接收用户与UX设计之间的历史用户交互日志；
将所述加权的流图与所述用户交互日志进行组合以创建路径；以及
使用所述路径来训练所述深度学习模型。
9.根据权利要求8所述的计算设备，其中：
所述深度学习模型是序列模型；并且
长短期记忆(LSTM)由所述序列模型使用。
10.根据权利要求8所述的计算设备，其中所述加权的流图的所述聚类节点之间的边基于所述聚类节点之间的转换的概率而被加权。
11.一种计算设备，包括：
处理器；
网络接口，其被耦合到所述处理器以支持通过网络上的通信；
存储设备，其被耦合到所述处理器；
UX设计评价引擎代码，其被存储在所述存储设备中，其中由所述处理器对所述代码的执行将所述计算设备配置为执行包括以下的动作：
接收用户体验UX设计，所述用户体验UX设计包括用户界面屏幕的序列；
针对所述UX设计的每个UI屏幕：
标识所述UI屏幕的对象；
移除被标识为所述UI屏幕的背景的部分的所有对象，以创建经过滤的输入UI屏幕；
将所述输入UI屏幕分配给集群；
创建所述集群的序列；
确定集群的所述序列的目标UI屏幕；
移除被标识为所述目标UI屏幕的背景的部分的所有对象，以创建经过滤的目标UI屏幕；
将所述经过滤的目标UI屏幕分配给集群；
将所述集群的所述序列用作深度学习模型的输入，以预测目标UI集群；
将所预测的目标UI集群与所述经过滤的目标UI集群进行比较；
在确定所述经过滤的目标UI集群与所述目标UI屏幕相似后，将所述UX设计分类为成功的。
12.根据权利要求11所述的计算设备，其中所述深度学习模型是多对一序列深度学习模型。
13.根据权利要求11所述的计算设备，其中所述经过滤的目标UI集群与所述所预测的目标UI集群之间的相似性基于置信度分数处于或高于预定阈值。
14.根据权利要求13所述的计算设备，其中由所述处理器对所述代码的所述执行还将所述计算设备配置为执行包括以下的动作：在确定所述置信度分数低于所述预定阈值后，将所述UX设计分类为无效的。
15.根据权利要求14所述的计算设备，其中由所述处理器对所述代码的所述执行还将所述计算设备配置为执行包括以下的动作：在确定所述UX设计无效后，防止所述UX设计对受众可用。
16.根据权利要求11所述的计算设备，其中：
所述经过滤的输入UI屏幕包括第一特征向量；
所述经过滤的目标UI屏幕包括第二特征向量；并且
所述比较基于所述第一特征向量与所述第二特征向量的比较。
17.一种非瞬态计算机可读存储介质，其有形地体现具有计算机可读指令的计算机可读程序代码，所述计算机可读指令在被执行时使计算设备执行评价用户体验(UX)设计的方法，所述方法包括：
接收UX设计；
标识所述UX设计的输入用户界面(UI)屏幕的对象；
移除被标识为所述输入UI屏幕的背景的部分的所有对象，以创建经过滤的输入UI屏幕；
将所述输入UI屏幕分配给集群；
确定所述输入屏幕的目标UI屏幕；
从所述目标UI屏幕移除被标识为所述目标UI屏幕的背景的部分的所有对象，以创建经过滤的目标UI集群；
将所述目标UI屏幕分配给集群；
将所述经过滤的输入UI屏幕用作深度学习模型的输入，以预测目标UI集群；
基于聚类，将所预测的目标UI集群与所述经过滤的目标UI集群进行比较；以及
在确定所述经过滤的目标UI集群与所述目标UI屏幕相似后，将所述UX设计分类为成功的。
18.根据权利要求17所述的非瞬态计算机可读存储介质，其中所述深度学习模型是序列模型。
19.根据权利要求17所述的非瞬态计算机可读存储介质，其中所述经过滤的目标UI集群与所述经过滤的目标UI集群之间的相似性基于置信度分数处于或高于预定阈值。
20.根据权利要求17所述的非瞬态计算机可读存储介质，其中由所述处理器对所述代码的所述执行还将所述计算设备配置为执行包括以下的动作：在确定所述UX设计无效后，防止所述UX设计对受众可用。
21.一种方法，包括：
接收UX设计；
标识所述UX设计的输入用户界面(UI)屏幕的对象；
移除被标识为所述输入UI屏幕的背景的部分的所有对象，以创建经过滤的输入UI屏幕；
将所述经过滤的输入UI屏幕分配给集群；
确定所述输入屏幕的目标UI屏幕；
从所述目标UI屏幕移除被标识为所述目标UI屏幕的背景的部分的所有对象，以创建经过滤的目标UI屏幕；
将所述经过滤的目标UI屏幕分配给集群；
将所述经过滤的输入UI屏幕用作深度学习模型的输入，以预测目标UI集群；
将所预测的目标UI集群与所述经过滤的目标UI集群进行比较；以及
在确定所述经过滤的目标UI集群与所述所预测的目标UI集群相似后，将所述UX设计分类为成功的。
22.根据权利要求21所述的方法，其中所述深度学习模型是序列模型。
23.根据权利要求21所述的方法，其中所述经过滤的目标UI集群与所述所预测的目标UI集群之间的相似性基于置信度分数处于或高于预定阈值。
24.根据权利要求21所述的方法，还包括：在确定所述置信度分数低于所述预定阈值后，将所述UX设计分类为无效的。
25.根据权利要求21所述的方法，还包括：在确定所述UX设计无效后，防止所述UX设计对受众可用。
26.根据权利要求21所述的方法，还包括：执行对所述UX设计的序列UX流评价。
27.根据权利要求21所述的方法，其中：
所述经过滤的输入UI屏幕包括第一特征向量；
所述经过滤的目标UI屏幕包括第二特征向量；并且
所述比较基于所述第一特征向量与所述第二特征向量的比较。
28.根据权利要求21所述的方法，还包括：
基于成功的UX设计的历史数据来创建聚类节点的加权的流图；
接收用户与UX设计之间的历史用户交互日志；
将所述加权的流图与所述用户交互日志进行组合以创建路径；以及
使用所述路径来训练所述深度学习模型。
29.根据权利要求21所述的方法，其中：
所述深度学习模型是序列模型；并且
长短期记忆(LSTM)由所述序列模型使用。
30.根据权利要求21所述的方法，其中所述加权的流图的所述聚类节点之间的边基于所述聚类节点之间的转换的概率而被加权。
31.一种方法，包括：
接收用户体验UX设计，所述用户体验UX设计包括用户界面屏幕的序列；
针对所述UX设计的每个UI屏幕：
标识所述UI屏幕的对象；
移除被标识为所述UI屏幕的背景的部分的所有对象，以创建经过滤的输入UI屏幕；
将所述输入UI屏幕分配给集群；
创建所述集群的序列；
确定集群的所述序列的目标UI屏幕；
移除被标识为所述目标UI屏幕的背景的部分的所有对象，以创建经过滤的目标UI屏幕；
将所述经过滤的目标UI屏幕分配给集群；
将所述集群的所述序列用作深度学习模型的输入，以预测目标UI集群；
将所预测的目标UI集群与所述经过滤的目标UI集群进行比较；
在确定所述经过滤的目标UI集群与所述目标UI屏幕相似后，将所述UX设计分类为成功的。
32.根据权利要求31所述的方法，其中所述深度学习模型是多对一序列深度学习模型。
33.根据权利要求31所述的方法，其中所述经过滤的目标UI集群与所述所预测的目标UI集群之间的相似性基于置信度分数处于或高于预定阈值。
34.根据权利要求33所述的方法，其中由所述处理器对所述代码的所述执行还将所述计算设备配置为执行包括以下的动作：在确定所述置信度分数低于所述预定阈值后，将所述UX设计分类为无效的。
35.根据权利要求34所述的方法，其中由所述处理器对所述代码的所述执行还将所述计算设备配置为执行包括以下的动作：在确定所述UX设计无效后，防止所述UX设计对受众可用。
36.根据权利要求31所述的方法，其中：
所述经过滤的输入UI屏幕包括第一特征向量；
所述经过滤的目标UI屏幕包括第二特征向量；并且
所述比较基于所述第一特征向量与所述第二特征向量的比较。
37.一种计算机系统，所述系统包括分别用于执行根据权利要求21-36中的任一项所述的方法的步骤的模块。
38.一种包括计算机可读存储介质的计算机程序产品，所述计算机可读存储介质具有随之体现的程序指令，所述程序指令由处理器可执行以使得所述处理器执行根据权利要求21-36中的任一项所述的方法。
CN202010408426.6A 2019-06-15 2020-05-14 人工智能辅助的用户体验设计评价 Active CN112083923B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/442,497 2019-06-15
US16/442,497 US10929110B2 (en) 2019-06-15 2019-06-15 AI-assisted UX design evaluation

Publications (2)

Publication Number Publication Date
CN112083923A true CN112083923A (zh) 2020-12-15
CN112083923B CN112083923B (zh) 2024-07-12

Family

ID=73735880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010408426.6A Active CN112083923B (zh) 2019-06-15 2020-05-14 人工智能辅助的用户体验设计评价

Country Status (2)

Country Link
US (2) US10929110B2 (zh)
CN (1) CN112083923B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102361143B1 (ko) * 2020-07-10 2022-02-09 동서대학교 산학협력단 딥러닝기법과 빅데이터를 활용한 사용자 맞춤형 감성 웹디자인 ui 설계 방법
US11875365B2 (en) * 2020-10-23 2024-01-16 Fresenius Medical Care Holdings, Inc. User experience computing system for gathering and processing user experience information
KR102350745B1 (ko) * 2021-05-31 2022-01-14 주식회사 틴토랩 UX-bit를 이용한 자동 디자인 생성 인공신경망 장치 및 방법
US11818011B2 (en) 2021-07-30 2023-11-14 Zoom Video Communications, Inc. User experience workflow configuration

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101382889A (zh) * 2004-02-27 2009-03-11 捷讯研究有限公司 使用ui储存库的公共ui组件执行无线应用程序的系统和方法
CN102201099A (zh) * 2010-04-01 2011-09-28 微软公司 基于运动的交互式购物环境
US20180203674A1 (en) * 2017-01-18 2018-07-19 Oracle International Corporation Generating data mappings for user interface screens and screen components for an application
US20180247222A1 (en) * 2017-02-28 2018-08-30 Oath Inc. Changing machine learning classification of digital content
US20180364879A1 (en) * 2017-06-16 2018-12-20 General Electric Company Adapting user interfaces based on gold standards

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8843853B1 (en) * 2006-12-05 2014-09-23 At&T Mobility Ii Llc Home screen user interface for electronic device display
US8257091B2 (en) * 2008-02-06 2012-09-04 International Business Machines Corporation Matching learning objects with a user profile using top-level concept complexity
US8204838B2 (en) 2009-04-10 2012-06-19 Microsoft Corporation Scalable clustering
US11544135B2 (en) * 2010-05-26 2023-01-03 Userzoom Technologies, Inc. Systems and methods for the analysis of user experience testing with AI acceleration
WO2012027560A1 (en) 2010-08-25 2012-03-01 Ab Initio Technology Llc Evaluating dataflow graph characteristics
US8806444B1 (en) * 2011-04-07 2014-08-12 Intuit Inc. Modifying software based on tracked activities
US20130159228A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Dynamic user experience adaptation and services provisioning
US9361393B2 (en) * 2013-03-15 2016-06-07 Paypal, Inc. User interface overlay application
US8775332B1 (en) * 2013-06-13 2014-07-08 InsideSales.com, Inc. Adaptive user interfaces
US20150019173A1 (en) 2013-07-09 2015-01-15 International Business Machines Corporation Multiobjective optimization through user interactive navigation in a design space
US9448962B2 (en) * 2013-08-09 2016-09-20 Facebook, Inc. User experience/user interface based on interaction history
US10558924B2 (en) * 2014-05-23 2020-02-11 DataRobot, Inc. Systems for second-order predictive data analytics, and related methods and apparatus
US20180011918A1 (en) * 2015-02-23 2018-01-11 Grafton V. Mouen Taxonomic categorization retrieval system
US10629086B2 (en) * 2015-06-09 2020-04-21 International Business Machines Corporation Providing targeted, evidence-based recommendations to improve content by combining static analysis and usage analysis
US10387787B1 (en) * 2015-10-28 2019-08-20 Intuit Inc. Method and system for providing personalized user experiences to software system users
US10706309B2 (en) * 2016-02-29 2020-07-07 Nec Corporation Recursive neural networks on future event prediction
CN105843608B (zh) 2016-03-16 2019-04-26 中山大学 一种基于聚类的app用户界面设计模式推荐方法及系统
US20170300567A1 (en) 2016-03-25 2017-10-19 Spotify Ab Media content items sequencing
US10621597B2 (en) * 2016-04-15 2020-04-14 Intuit Inc. Method and system for updating analytics models that are used to dynamically and adaptively provide personalized user experiences in a software system
US10621677B2 (en) * 2016-04-25 2020-04-14 Intuit Inc. Method and system for applying dynamic and adaptive testing techniques to a software system to improve selection of predictive models for personalizing user experiences in the software system
US10866977B2 (en) * 2016-05-17 2020-12-15 Microsoft Technology Licensing, Llc Determining viewer language affinity for multi-lingual content in social network feeds
US10938686B2 (en) * 2019-02-25 2021-03-02 Zscaler, Inc. Systems and methods for analyzing digital user experience
WO2018090204A1 (en) * 2016-11-15 2018-05-24 Microsoft Technology Licensing, Llc. Content processing across applications
US10168998B2 (en) 2017-03-20 2019-01-01 Google Llc Automated interface design
US10540683B2 (en) * 2017-04-24 2020-01-21 Microsoft Technology Licensing, Llc Machine-learned recommender system for performance optimization of network-transferred electronic content items
US10776715B2 (en) * 2017-04-28 2020-09-15 Microsoft Technology Licensing, Llc Artificial intelligent cognition threshold
US10341885B2 (en) 2017-06-08 2019-07-02 Cisco Technology, Inc. Roaming and transition patterns coding in wireless networks for cognitive visibility
US11036523B2 (en) * 2017-06-16 2021-06-15 General Electric Company Systems and methods for adaptive user interfaces
US10783149B2 (en) * 2017-08-02 2020-09-22 Microsoft Technology Licensing, Llc Dynamic productivity content rendering based upon user interaction patterns
US20190179953A1 (en) * 2017-12-12 2019-06-13 International Business Machines Corporation Recommending application programs based on a user's previous experience rating
US11604979B2 (en) * 2018-02-06 2023-03-14 International Business Machines Corporation Detecting negative experiences in computer-implemented environments
US10489126B2 (en) * 2018-02-12 2019-11-26 Oracle International Corporation Automated code generation
US11449351B2 (en) * 2018-04-06 2022-09-20 Microsoft Technology Licensing, Llc History aware interfaces
US11307879B2 (en) * 2018-07-11 2022-04-19 Intuit Inc. Personalized help using user behavior and information
US20200019628A1 (en) * 2018-07-16 2020-01-16 Microsoft Technology Licensing, Llc Visual intent triggering for visual search
US10664050B2 (en) * 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
US11238223B2 (en) * 2018-10-19 2022-02-01 Oracle International Corporation Systems and methods for intelligently predicting accurate combinations of values presentable in data fields
US20200134637A1 (en) * 2018-10-31 2020-04-30 Salesforce.Com, Inc. Systems and methods for pre-filling and/or predicting response data by use of artificial intelligence (ai) in on-line targeted surveys to customers to improve the collected survey response data
US10928982B2 (en) * 2018-10-31 2021-02-23 Salesforce.Com, Inc. Automatic grouping of user interface elements into components
US10783405B2 (en) * 2018-10-31 2020-09-22 Salesforce.Com, Inc. Refinement of machine learning engines for automatically generating component-based user interfaces
US11138022B2 (en) * 2018-10-31 2021-10-05 Salesforce.Com, Inc. Dynamic user interface for predicted procedures
US10949174B2 (en) * 2018-10-31 2021-03-16 Salesforce.Com, Inc. Automatic classification of user interface elements
US20200160229A1 (en) * 2018-11-15 2020-05-21 Adobe Inc. Creating User Experiences with Behavioral Information and Machine Learning
US11775534B2 (en) * 2019-01-31 2023-10-03 Uber Technologies, Inc. Predicting and preventing negative user experience in a network service
US10997372B2 (en) * 2019-03-25 2021-05-04 Fmr Llc Computer systems and methods for representatives to monitor and intervene in robot conversation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101382889A (zh) * 2004-02-27 2009-03-11 捷讯研究有限公司 使用ui储存库的公共ui组件执行无线应用程序的系统和方法
CN102201099A (zh) * 2010-04-01 2011-09-28 微软公司 基于运动的交互式购物环境
US20180203674A1 (en) * 2017-01-18 2018-07-19 Oracle International Corporation Generating data mappings for user interface screens and screen components for an application
US20180247222A1 (en) * 2017-02-28 2018-08-30 Oath Inc. Changing machine learning classification of digital content
US20180364879A1 (en) * 2017-06-16 2018-12-20 General Electric Company Adapting user interfaces based on gold standards

Also Published As

Publication number Publication date
CN112083923B (zh) 2024-07-12
US20210117167A1 (en) 2021-04-22
US20200394026A1 (en) 2020-12-17
US10929110B2 (en) 2021-02-23
US11249736B2 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
CN112083923B (zh) 人工智能辅助的用户体验设计评价
US11048718B2 (en) Methods and systems for feature engineering
US11334721B2 (en) System, method, and recording medium for corpus pattern paraphrasing
US11900320B2 (en) Utilizing machine learning models for identifying a subject of a query, a context for the subject, and a workflow
US11276099B2 (en) Multi-perceptual similarity detection and resolution
US11550707B2 (en) Systems and methods for generating and executing a test case plan for a software product
US20220300822A1 (en) Forgetting data samples from pretrained neural network models
US11062330B2 (en) Cognitively identifying a propensity for obtaining prospective entities
US20230222150A1 (en) Cognitive recognition and reproduction of structure graphs
US11620550B2 (en) Automated data table discovery for automated machine learning
US11366964B2 (en) Visualization of the entities and relations in a document
Sindhu et al. Workload characterization and synthesis for cloud using generative stochastic processes
WO2023066073A1 (en) Distributed computing for dynamic generation of optimal and interpretable prescriptive policies with interdependent constraints
US11741099B2 (en) Supporting database queries using unsupervised vector embedding approaches over unseen data
US20220207349A1 (en) Automated Creation of Machine-learning Modeling Pipelines
US11762896B2 (en) Relationship discovery and quantification
US11392473B2 (en) Automated extension of program data storage
US11580322B2 (en) Scalable attributed graph embedding for large-scale graph analytics
US20230385889A1 (en) Predictive service orchestration using threat modeling analytics
US11847431B2 (en) Automatic container specification file generation for a codebase
US20240070481A1 (en) Configuring optimization problems
US11386265B2 (en) Facilitating information technology solution templates
US20230289276A1 (en) Intelligently optimized machine learning models
Pakdel Cloud-based machine learning architecture for big data analysis
Catal et al. Machine Learning as a Service for Software Application Categorization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant