CN117389670A - 一种用户界面展示方法、装置、电子设备及存储介质 - Google Patents

一种用户界面展示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117389670A
CN117389670A CN202311434522.8A CN202311434522A CN117389670A CN 117389670 A CN117389670 A CN 117389670A CN 202311434522 A CN202311434522 A CN 202311434522A CN 117389670 A CN117389670 A CN 117389670A
Authority
CN
China
Prior art keywords
user interface
configuration data
data corresponding
natural language
interface configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311434522.8A
Other languages
English (en)
Inventor
张印帅
赵伟
董凡东
张立斌
毕迎迎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dingdao Zhilian Beijing Technology Co ltd
Original Assignee
Dingdao Zhilian Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dingdao Zhilian Beijing Technology Co ltd filed Critical Dingdao Zhilian Beijing Technology Co ltd
Priority to CN202311434522.8A priority Critical patent/CN117389670A/zh
Publication of CN117389670A publication Critical patent/CN117389670A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开一种用户界面展示方法、装置、电子设备及存储介质,涉及用户界面设计技术领域。能够实现用户界面的智能化变化,以满足用户的需求。所述方法包括:获取在当前用户界面的操作;所述操作包括:自然语言需求描述或行为动作;其中,所述自然语言需求描述用于表征当前用户界面的调整需求;基于所述操作,获取与所述操作相应的用户界面配置数据;基于与所述操作相应的用户界面配置数据,对所述当前用户界面的配置数据进行更新,并展示配置数据更新后的用户界面。本发明适用于用户界面变化场景中。

Description

一种用户界面展示方法、装置、电子设备及存储介质
技术领域
本发明涉及用户界面设计技术领域,尤其涉及一种用户界面展示方法、装置、电子设备及存储介质。
背景技术
通过调节主题设置,让用户界面更加美观,是大多数操作系统或应用软件都具备的功能。但是目前大多数用户界面变化时还需要用户手动调节才能够满足用户的需求,用户界面变化不具备智能性。
发明内容
有鉴于此,本发明实施例提供一种用户界面展示方法、装置、电子设备及存储介质,能够实现用户界面的智能化变化,以满足用户的需求。
第一方面,本发明实施例提供一种用户界面展示方法,所述方法包括:获取在当前用户界面的操作;所述操作包括:自然语言需求描述或行为动作;其中,所述自然语言需求描述用于表征当前用户界面的调整需求;基于所述操作,获取与所述操作相应的用户界面配置数据;基于与所述操作相应的用户界面配置数据,对所述当前用户界面的配置数据进行更新,并展示配置数据更新后的用户界面。
可选的,所述操作为自然语言需求描述;所述获取在当前用户界面的操作,包括:响应于在当前用户界面中的文本输入框输入的自然语言需求描述,或响应于语音输入的自然语言需求描述,获取在当前用户界面的操作。
可选的,所述操作为自然语言需求描述;所述基于所述操作,获取与所述操作相应的用户界面配置数据,包括:对所述自然语言需求描述进行意图理解,获取所述自然语言需求描述映射的用户界面设计变量名称;查询预设数据库中是否存在与所述用户界面设计变量名称相匹配的标签;若存在,则根据与所述用户界面设计变量名称相匹配的标签,从所述预设数据库中获取与所述操作相应的用户界面配置数据;所述用户界面变化需求数据包括界面样式属性及对应的属性值。
可选的,所述基于所述操作,获取与所述操作相应的用户界面配置数据,还包括:若所述预设数据库中不存在与所述用户界面设计变量名称相匹配的标签,则将所述自然语言需求描述作为用户界面生成模型的输入,通过所述用户界面生成模型生成并输出与所述操作相应的用户界面配置数据。
可选的,在通过所述用户界面生成模型生成并输出与所述操作相应的用户界面配置数据之后,所述方法还包括:渲染所述用户界面生成模型输出的所述用户界面配置数据,得到第一用户界面;对所述第一用户界面进行美观度自动化测试,得到美观度评分;若所述美观度评分大于预设美观度评分阈值,则将所述用户界面生成模型输出的所述用户界面配置数据,作为第一有效的用户界面配置数据;其中,所述基于与所述操作相应的用户界面配置数据,对所述当前用户界面的配置数据进行更新,包括:基于所述第一有效的用户界面配置数据,对所述当前用户界面的配置数据进行更新。
可选的,在通过所述用户界面生成模型生成并输出与所述操作相应的用户界面配置数据之后,所述方法还包括:渲染所述用户界面生成模型输出的所述用户界面配置数据,得到第一用户界面;响应于对所述用户界面配置数据的手动调整,得到手动调整后的用户界面配置数据;其中,所述基于与所述操作相应的用户界面配置数据,对所述当前用户界面的配置数据进行更新,包括:基于所述手动调整后的用户界面配置数据,对所述当前用户界面的配置数据进行更新。
可选的,所述基于与所述操作相应的用户界面配置数据,对所述当前用户界面的配置数据进行更新之后,所述方法还包括:将与所述操作相应的用户界面配置数据反馈给所述预设数据库,对所述预设数据库进行扩充更新。
可选的,所述操作为行为动作;所述基于所述操作,获取与所述操作相应的用户界面配置数据;包括:基于所述操作,确定施加所述操作的用户在施加所述操作时的情绪类型;基于所述情绪类型,获取与所述情绪类型相适应的用户界面的用户界面配置数据。
可选的,所述基于所述操作,确定施加所述操作的用户在施加所述操作时的情绪类型,包括:将所述行为动作对应的操作数据,作为行为理解模型的输入,通过所述行为理解模型确定施加所述操作的用户在施加所述操作时的情绪类型。
可选的,所述基于所述情绪类型,获取与所述情绪类型相适应的用户界面的用户界面配置数据,包括:将所述情绪类型以及所述行为动作对应的操作数据,作为用户界面生成模型的输入,通过所述用户界面生成模型生成并输出与所述情绪类型相适应的用户界面配置数据。
第二方面,本发明还实施例提供一种用户界面展示装置,所述装置包括:第一获取模块,用于获取在当前用户界面的操作;所述操作包括:自然语言需求描述和/或行为动作;其中,所述自然语言需求描述用于表征当前用户界面的调整需求;第二获取模块,用于基于所述操作,获取与所述操作相应的用户界面配置数据;第一展示模块,用于基于与所述操作相应的用户界面配置数据,对所述当前用户界面的配置数据进行更新,并展示配置数据更新后的用户界面。
可选的,所述操作为自然语言需求描述;所述第一获取模块,具体用于响应于在当前用户界面中的文本输入框输入的自然语言需求描述,或响应于语音输入的自然语言需求描述,获取在当前用户界面的操作。
可选的,所述操作为自然语言需求描述;所述第二获取模块,包括:第一获取子模块,用于对所述自然语言需求描述进行意图理解,获取所述自然语言需求描述映射的用户界面设计变量名称;第一查询子模块,用于查询预设数据库中是否存在与所述用户界面设计变量名称相匹配的标签;第二获取子模块,用于若存在,则根据与所述用户界面设计变量名称相匹配的标签,从所述预设数据库中获取与所述操作相应的用户界面配置数据;所述用户界面变化需求数据包括界面样式属性及对应的属性值。
可选的,所述第二获取模块,还包括:第一生成子模块,用于若所述预设数据库中不存在与所述用户界面设计变量名称相匹配的标签,则将所述自然语言需求描述作为用户界面生成模型的输入,通过所述用户界面生成模型生成并输出与所述操作相应的用户界面配置数据。
可选的,所述第二获取模块还包括:第一用户界面生成子模块,用于在通过所述用户界面生成模型生成并输出与所述操作相应的用户界面配置数据之后,渲染所述用户界面生成模型输出的所述用户界面配置数据,得到第一用户界面;用户界面美观测试子模块,用于对所述第一用户界面进行美观度自动化测试,得到美观度评分;用户界面配置数据输出子模块,用于若所述美观度评分大于预设美观度评分阈值,则将所述用户界面生成模型输出的所述用户界面配置数据,作为第一有效的用户界面配置数据;其中,所述用户界面更新模块,具体用于基于所述第一有效的用户界面配置数据,对所述当前用户界面的配置数据进行更新。
可选的,所述第二获取模块还包括:第二用户界面生成子模块,用于在通过所述用户界面生成模型生成并输出与所述操作相应的用户界面配置数据之后,渲染所述用户界面生成模型输出的所述用户界面配置数据,得到第一用户界面;用户界面美观调整子模块,用于响应于对所述用户界面配置数据的手动调整,得到手动调整后的用户界面配置数据;其中,所述用户界面更新模块,具体用于基于所述手动调整后的用户界面配置数据,对所述当前用户界面的配置数据进行更新。
可选的,所述用户界面更新模块,还包括:反馈更新子模块,用于将与所述操作相应的用户界面配置数据反馈给所述预设数据库,对所述预设数据库进行扩充更新。
可选的,所述操作为行为动作;所述第二获取模块,包括:第一确定子模块,用于基于所述操作,确定施加所述操作的用户在施加所述操作时的情绪类型;第一获取子模块,用于基于所述情绪类型,获取与所述情绪类型相适应的用户界面的用户界面配置数据。
可选的,所述第一确定子模块,具体用于将所述行为动作对应的操作数据,作为行为理解模型的输入,通过所述行为理解模型确定施加所述操作的用户在施加所述操作时的情绪类型。
可选的,所述第一获取子模块,具体用于将所述情绪类型以及所述行为动作对应的操作数据,作为用户界面生成模型的输入,通过所述用户界面生成模型生成并输出与所述情绪类型相适应的用户界面配置数据。
第三方面,本发明还实施例提供一种电子设备,所述电子设备包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述第一方面任一所述的用户界面展示方法。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现第一方面任一所述的用户界面展示方法。
本发明实施例提供的一种用户界面展示方法、装置、电子设备及存储介质,通过获取用户在当前展示用户界面进行的操作,进一步获取与用户操作相应的用户界面配置数据,根据与用户操作相应的用户界面配置数据对用户界面进行变化更新,并向用户展示变化更新后的用户界面,能够实现用户界面的智能化变化,以满足用户的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明一实施例用户界面展示方法流程示意图;
图2为本发明另一实施例用户界面展示方法流程示意图;
图3为本发明再一实施例用户界面展示方法流程示意图;
图4为本发明一实施例用户界面展示装置架构示意图;
图5为本发明另一实施例用户界面展示装置架构示意图;
图6为本发明再一实施例用户界面展示装置架构示意图;
图7为本发明电子设备一个实施例的架构示意框图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例一
本发明实施例提供了一种用户界面展示方法,能够实现用户界面的智能化变化,图1为本发明一实施例提供的用户界面展示方法流程示意图;参看图1所示,所述方法包括:
S110、获取在当前用户界面的操作;所述操作包括:自然语言需求描述或行为动作;其中,所述自然语言需求描述用于表征当前用户界面的调整需求。
本步骤中,根据用户的操作行为,获取用户在当前展示用户界面的操作,用户的操作可以是根据当前展示用户界面产生的调整当前展示用户界面的自然语言需求描述,也可以是用户在操作系统中的行为动作。
S120、基于所述操作,获取与所述操作相应的用户界面配置数据。
本步骤中,根据用户在当前用户界面的操作,获取与用户操作所相应的用户界面配置数据,以使操作系统根据用户界面配置数据更新用户界面。
S130、基于与所述操作相应的用户界面配置数据,对所述当前用户界面的配置数据进行更新,并展示配置数据更新后的用户界面。
本步骤中,获取到与用户操作相应的用户界面配置数据后,根据获取的新的用户界面配置数据对当前用户界面的配置数据进行更新,实现用户界面的变化,并展示变化后的用户界面。其中,用户界面的变化是根据用户的自然语言需求描述所做出的对当前用户界面的调整,也可以是通过用户的行为动作数据,用户界面智能化产生的变化。
本发明实施例提供的用户界面展示方法,通过获取用户在当前展示用户界面进行的操作,进一步获取与用户操作相应的用户界面配置数据,根据与用户操作相应的用户界面配置数据对用户界面进行变化更新,并向用户展示变化更新后的用户界面,能够实现用户界面的智能化变化,以满足用户的需求。
可选的,在本发明的一个实施例中,所述操作为自然语言需求描述;所述获取在当前用户界面的操作,包括:响应于在当前用户界面中的文本输入框输入的自然语言需求描述,或响应于语音输入的自然语言需求描述,获取在当前用户界面的操作。
本实施例中,用户操作为自然语言需求描述,获取用户操作的方式为响应于用户通过当前展示用户界面中的文本输入框中输入或者语音输入想要调整当前展示用户界面的自然语言需求描述,获取用户在当前用户界面的操作。例如,进入夜晚后,浅色的用户界面过于刺眼,于是用户通过自然语言输入需求“太亮了”,或者,当用户长时间办公后,眼睛产生了疲劳,于是用户通过自然语言输入需求“放松一下眼睛”。
可选的,参看图2所示,在本发明的一个实施例中,在步骤S120中,所述操作为自然语言需求描述;所述基于所述操作,获取与所述操作相应的用户界面配置数据,包括:
S120a、对所述自然语言需求描述进行意图理解,获取所述自然语言需求描述映射的用户界面设计变量名称;
S120b、查询预设数据库中是否存在与所述用户界面设计变量名称相匹配的标签;
S120c、若存在,则根据与所述用户界面设计变量名称相匹配的标签,从所述预设数据库中获取与所述操作相应的用户界面配置数据;所述用户界面变化需求数据包括界面样式属性及对应的属性值。
本实施例中,获取到用户输入的自然语言需求描述后,利用意图理解模型(例如基于Transformer的LaMDA(LaMDA:Language Models for Dialog Applications,针对对话应用的语言模型)模型)对自然语言描述进行意图理解,将自然语言映射到用户需求的用户界面设计变量名称,并且在预设的数据库中查询与用户界面设计变量名称相同或者相似度足够高的标签,查询到标签后根据与用户界面设计变量名称相匹配的标签,从所述预设数据库中获取与所述操作相应的用户界面配置数据,其中,用户界面变化需求数据包括界面样式属性及对应的属性值。例如,进入夜晚后,浅色的用户界面过于刺眼,于是用户通过自然语言输入需求“太亮了”,意图理解模型将用户输入的自然语言映射为深色模式,然后在数据库中查询与深色模式相同或者相似度足够高的标签,例如暗,黑等标签,从而数据库中获取与操作相应的界面样式属性值及对应的值。
在一些实施例中,所述界面样式属性包括:形、色、字、构、质、动效、度、音;形就是指图形,界面中的图形就包括图标、卡片、图片,图标的风格、卡片圆角的大小、图片圆角的大小等;色即是色彩,在界面中色彩不是单一的色调,它是整个色彩规范,什么时候应该用主色,什么时候应该用辅色,主色和辅色的比例,颜色在图标、文字、装饰上的应用等,这些会影响人的整体感受,吸引视觉注意力,规范的配色搭配会让界面的视觉更加舒适;字即是字体,字体的形式、字号大小、文字的间距都影响着界面的信息传递,选择符合产品特性的字体、合适的字号、舒适的间距都能让界面看起来更加精致;构即是结构,也就是界面的内容布局,排列的方式、分割的方式、留白的多少,都是属于界面结构的范围;质就是质感,也就是整体页面的感觉,通过圆角的大小、留白的多少、排版的疏密、投影的大小来决定整个质感是扁平的还是拟物的、高冷的还是活泼的;动即是动效,画面动效、图标动效、跳转动效、加载过渡等方面微交互动效,增加用户使用时的趣味性;度即是疏密程度,界面中样式的疏密程度;音即是音频。
可选的,在本发明的一个实施例中,所述基于所述操作,获取与所述操作相应的用户界面配置数据,还包括:若所述预设数据库中不存在与用户界面设计变量名称相匹配的标签,则将所述自然语言需求描述作为用户界面生成模型的输入,通过所述用户界面生成模型生成并输出与所述操作相应的用户界面配置数据。
本实施例中,当用户界面的需求在预设数据库中无法查询到时,会去请求用户界面生成模型服务,其中,用户界面生成模型也就是基于UI(用户界面)语义数据泛化了意图理解能力和代码生成能力的大语言模型,将自然语言需求描述作为用户界面生成模型的输入,通过用户界面生成模型生成并输出与用户操作相应的界面样式属性及对应的属性值。
可选的,在本发明的一个实施例中,在通过所述用户界面生成模型生成并输出与所述操作相应的用户界面配置数据之后,所述方法还包括:渲染所述用户界面生成模型输出的所述用户界面配置数据,得到第一用户界面;对所述第一用户界面进行美观度自动化测试,得到美观度评分;若所述美观度评分大于预设美观度评分阈值,则将所述用户界面生成模型输出的所述用户界面配置数据,作为第一有效的用户界面配置数据;其中,所述基于与所述操作相应的用户界面配置数据,对所述当前用户界面的配置数据进行更新,包括:基于所述第一有效的用户界面配置数据,对所述当前用户界面的配置数据进行更新。
本实施例中,用户界面生成模型输出界面样式属性及对应的属性值后,生成结果会对其进行预渲染得到第一用户界面,并将第一用户界面输入给用户界面美观模型进行美观度自动化测试,得到美观度评分,用户界面美观模型可以是NIMA(Neural ImageAssessment,神经图像评估)美观度模型,如果美观度评分大于预设美观度评分阈值,则将用户界面生成模型输出的界面样式属性及对应的属性值,作为第一有效的用户界面配置数据,如果美观度评分不达标,由用户界面生成模型重新生成,直到生成足够美观的用户界面,从而获得有效的用户界面配置数据,并根据有效的用户界面配置数据对当前用户界面的配置数据进行更新,得到更新变化后且满足用户需求的用户界面。
可选的,在本发明的一个实施例中,在通过所述用户界面生成模型生成并输出与所述操作相应的用户界面配置数据之后,所述方法还包括:渲染所述用户界面生成模型输出的所述用户界面配置数据,得到第一用户界面;响应于对所述用户界面配置数据的手动调整,得到手动调整后的用户界面配置数据;其中,所述基于与所述操作相应的用户界面配置数据,对所述当前用户界面的配置数据进行更新,包括:基于所述手动调整后的用户界面配置数据,对所述当前用户界面的配置数据进行更新。
本实施例中,根据用户的自然语言需求生成的用户界面展示给用户后,如果用户对用户界面生成模型生成的用户界面不满意时,用户会对其进行手动调整,响应于用户对用户界面配置数据的手动调整,得到手动调整后的用户界面配置数据,并根据手动调整后的用户界面配置数据,对当前用户界面的配置数据进行更新,得到更新变化后的用户界面。
可选的,在本发明的一个实施例中,所述基于与所述操作相应的用户界面配置数据,对所述当前用户界面的配置数据进行更新之后,所述方法还包括:将与所述操作相应的用户界面配置数据反馈给所述预设数据库,对所述预设数据库进行扩充更新。
本实施例中,根据重新生成的用户界面对数据库中的用户界面配置数据进行反馈更新;一方面,当预设数据库不具备满足某个用户意图的标签时,用户界面生成模型的生成结果会反馈给数据库,扩充其内容;另一方面,当用户对用户界面生成模型的生成结果不满意时,手动调节了他们的用户界面,这时用户调节的结果会反馈给数据库,更新其内容。
可选的,参看图3所示,在本发明的一个实施例中,所述操作为行为动作;在步骤S120中,所述基于所述操作,获取与所述操作相应的用户界面配置数据;包括:
S121b、基于所述操作,确定施加所述操作的用户在施加所述操作时的情绪类型;
S122b、基于所述情绪类型,获取与所述情绪类型相适应的用户界面的用户界面配置数据。
本实施例中,不仅可以通过用户直接输入的自然语需求描述进行用户界面的智能化变化,还可以根据用户在用户界面的行为动作进行用户界面的智能化变化,根据采集到的用户在操作系统中的行为动作数据,例如点击、双击、拖拽输入等,结合深度学习算法,确定施加操作的用户在施加操作时的情绪类型,进一步根据用户界面改进算法,基于用户的情绪类型,获取与情绪类型相适应的用户界面的用户界面配置数据。
可选的,在本发明的一个实施例中,所述基于所述操作,确定施加所述操作的用户在施加所述操作时的情绪类型,包括:将所述行为动作对应的操作数据,作为行为理解模型的输入,通过所述行为理解模型确定施加所述操作的用户在施加所述操作时的情绪类型。
本实施例中,通过采集用户在操作系统层面的行为数据,比如用户在用户界面操作的多帧数据流,将其作为行为理解模型的输入,行为理解模型可以是基于GOMS模型进行隐马尔可夫链分析;其中GOMS模型是一个缩写术语,G代表Goals(目标)、O代表Operations(操作)、M代表Methods(方法)、S代表Selection rules(选择规则),GOMS模型是关于用户在与系统交互时使用的知识和认知过程的模型;利用行为理解模型确定用户在进行操作时产生的负面情绪的情绪类型,其中负面情绪的情绪类型包括:强烈操作、无效操作、快速后退;强烈操作指用户在短时间内频繁进行相同指令的操作,意味着用户愤怒;无效操作指在系统预设的反馈时间内,用户没有得到有效的反馈,意味着用户焦虑;快速后退指系统过度响应了用户需求或由于界面设计造成了用户的误操作,于是产生快速后退,意味着用户对系统产生不信任。
可选的,在本发明的一个实施例中,所述基于所述情绪类型,获取与所述情绪类型相适应的用户界面的用户界面配置数据,包括:将所述情绪类型以及所述行为动作对应的操作数据,作为用户界面生成模型的输入,通过所述用户界面生成模型生成并输出与所述情绪类型相适应的用户界面配置数据。
本实施例中,将行为理解模型输出用户情绪类型的结果,以及行为动作对应的操作数据作为用户界面生成模型的输入,利用用户界面改进算法(例如按键误操作提示算法,算法具体是通过收集按键周围的无效点击落点,非线性增加按键尺寸的一种方法),生成并输出与用户情绪类型相适应的界面样式属性及对应的属性值,并根据与用户情绪类型相适应的的用户界面配置数据,对当前用户界面的配置数据进行更新,实现根据用户的情绪进行用户界面的匹配。例如,当用户在聊天软件中,快速产生输入行为时,用户情绪会被判定为愤怒,这时用户界面生成算法会根据愤怒情绪,产生对应的用户界面样式,于是聊天软件的消息气泡就通过用户界面样式实现了受控,变成了红色。
需要说明的是,本发明实施例在开发的过程中,通过将样式属性值与样式代码分离的方式,以便于实现更广泛的属性类型变化,实现用户界面的可控。
实施例二
图4为本发明实施一例提供的用户界面展示装置,参看图2所示,所述装置包括:
第一获取模块11,用于获取在当前用户界面的操作;所述操作包括:自然语言需求描述和/或行为动作;其中,所述自然语言需求描述用于表征当前用户界面的调整需求;
第二获取模块12,用于基于所述操作,获取与所述操作相应的用户界面配置数据;
第一展示模块13,用于基于与所述操作相应的用户界面配置数据,对所述当前用户界面的配置数据进行更新,并展示配置数据更新后的用户界面。
可选的,在本发明的一个实施例中,所述操作为自然语言需求描述;所述第一获取模块11,具体用于响应于在当前用户界面中的文本输入框输入的自然语言需求描述,或响应于语音输入的自然语言需求描述,获取在当前用户界面的操作。
可选的,参看图5所示,在本发明的一个实施例中,所述操作为自然语言需求描述;所述第二获取模块12,包括:第一获取子模块121a,用于对所述自然语言需求描述进行意图理解,获取所述自然语言需求描述映射的用户界面设计变量名称;第一查询子模块122a,用于查询预设数据库中是否存在与所述用户界面设计变量名称相匹配的标签;第二获取子模块123a,用于若存在,则根据与所述用户界面设计变量名称相匹配的标签,从所述预设数据库中获取与所述操作相应的用户界面配置数据;所述用户界面变化需求数据包括界面样式属性及对应的属性值。
可选的,在本发明的一个实施例中,所述第二获取模块,还包括:第一生成子模块,用于若所述预设数据库中不存在与所述用户界面设计变量名称相匹配的标签,则将所述自然语言需求描述作为用户界面生成模型的输入,通过所述用户界面生成模型生成并输出与所述操作相应的用户界面配置数据。
可选的,在本发明的一个实施例中,所述第二获取模块还包括:第一用户界面生成子模块,用于在通过所述用户界面生成模型生成并输出与所述操作相应的用户界面配置数据之后,渲染所述用户界面生成模型输出的所述用户界面配置数据,得到第一用户界面;用户界面美观测试子模块,用于对所述第一用户界面进行美观度自动化测试,得到美观度评分;用户界面配置数据输出子模块,用于若所述美观度评分大于预设美观度评分阈值,则将所述用户界面生成模型输出的所述用户界面配置数据,作为第一有效的用户界面配置数据;其中,所述用户界面更新模块,具体用于基于所述第一有效的用户界面配置数据,对所述当前用户界面的配置数据进行更新。
可选的,在本发明的一个实施例中,所述第二获取模块还包括:第二用户界面生成子模块,用于在通过所述用户界面生成模型生成并输出与所述操作相应的用户界面配置数据之后,渲染所述用户界面生成模型输出的所述用户界面配置数据,得到第一用户界面;用户界面美观调整子模块,用于响应于对所述用户界面配置数据的手动调整,得到手动调整后的用户界面配置数据;其中,所述用户界面更新模块,具体用于基于所述手动调整后的用户界面配置数据,对所述当前用户界面的配置数据进行更新。
可选的,在本发明的一个实施例中,所述用户界面更新模块,还包括:反馈更新子模块,用于将与所述操作相应的用户界面配置数据反馈给所述预设数据库,对所述预设数据库进行扩充更新。
可选的,参看图6所示,在本发明的一个实施例中,所述操作为行为动作;所述第二获取模块12,包括:第一确定子模块121b,用于基于所述操作,确定施加所述操作的用户在施加所述操作时的情绪类型;第一获取子模块122b,用于基于所述情绪类型,获取与所述情绪类型相适应的用户界面的用户界面配置数据。
可选的,在本发明的一个实施例中,所述第一确定子模块,具体用于将所述行为动作对应的操作数据,作为行为理解模型的输入,通过所述行为理解模型确定施加所述操作的用户在施加所述操作时的情绪类型。
可选的,在本发明的一个实施例中,所述第一获取子模块,具体用于将所述情绪类型以及所述行为动作对应的操作数据,作为用户界面生成模型的输入,通过所述用户界面生成模型生成并输出与所述情绪类型相适应的用户界面配置数据。
本实施例的装置,可以用于执行实施例一所示方法的技术方案,其实现原理和技术效果类似,此处不再赘述。
实施例三
图6为本发明电子设备一个实施例的架构示意框图;基于与前述实施例一基本相同的技术构思,本发明实施例提供的电子设备,如6所示,可以实现本发明实施例一中任一所述的实施例方法的步骤流程。
上述电子设备可以包括:壳体41、处理器42、存储器43、电路板44和电源电路45,其中,电路板44安置在壳体41围成的空间内部,处理器42和存储器43设置在电路板44上;电源电路45,用于为上述电子设备的各个电路或器件供电;存储器43用于存储可执行程序代码;处理器42通过读取存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述实施例一中任一所述的用户界面展示方法。
处理器42对上述步骤的具体执行过程以及处理器42通过运行可执行程序代码来进一步执行的步骤,可以参见本发明实施例一的描述,在此不再赘述。
所述电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
实施例四
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现前述实施例一任一所述的用户界面展示方法。
综上,本发明实施例提供的用户界面展示方法,通过获取用户在当前展示用户界面进行的操作,进一步获取与用户操作相应的用户界面配置数据,根据与用户操作相应的用户界面配置数据对用户界面进行变化更新,并向用户展示变化更新后的用户界面,能够实现用户界面的智能化变化,以满足用户的需求。
进一步的,本发明实施例能够减少用户操作步骤,只需要通过自然语言描述,就可以替代传统软件通过在系统设置应用中的大量点击,实现UI与自然语言的映射,从而能够让用户界面根据自然语言进行智能变化。
进一步的,基于用户行为数据的用户情绪分析,实现用户界面匹配的智能交互,缓解用户在交互过程中的负面情绪。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将
一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些
实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
为了描述的方便,若涉及系统、服务器等,可能是以功能分为各种单元/模块分别描述。当然,在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种用户界面展示方法,其特征在于,所述方法包括:
获取在当前用户界面的操作;所述操作包括:自然语言需求描述或行为动作;其中,所述自然语言需求描述用于表征当前用户界面的调整需求;
基于所述操作,获取与所述操作相应的用户界面配置数据;
基于与所述操作相应的用户界面配置数据,对所述当前用户界面的配置数据进行更新,并展示配置数据更新后的用户界面。
2.根据权利要求1所述的用户界面展示方法,其特征在于,所述操作为自然语言需求描述;所述获取在当前用户界面的操作,包括:
响应于在当前用户界面中的文本输入框输入的自然语言需求描述,或响应于语音输入的自然语言需求描述,获取在当前用户界面的操作。
3.根据权利要求1所述的用户界面展示方法,其特征在于,所述操作为自然语言需求描述;
所述基于所述操作,获取与所述操作相应的用户界面配置数据,包括:
对所述自然语言需求描述进行意图理解,获取所述自然语言需求描述映射的用户界面设计变量名称;
查询预设数据库中是否存在与所述用户界面设计变量名称相匹配的标签;
若存在,则根据与所述用户界面设计变量名称相匹配的标签,从所述预设数据库中获取与所述操作相应的用户界面配置数据;所述用户界面变化需求数据包括界面样式属性及对应的属性值。
4.根据权利要求3所述的用户界面展示方法,其特征在于,所述基于所述操作,获取与所述操作相应的用户界面配置数据,还包括:
若所述预设数据库中不存在与所述用户界面设计变量名称相匹配的标签,则将所述自然语言需求描述作为用户界面生成模型的输入,通过所述用户界面生成模型生成并输出与所述操作相应的用户界面配置数据。
5.根据权利要求4所述的用户界面展示方法,其特征在于,在通过所述用户界面生成模型生成并输出与所述操作相应的用户界面配置数据之后,所述方法还包括:
渲染所述用户界面生成模型输出的所述用户界面配置数据,得到第一用户界面;
对所述第一用户界面进行美观度自动化测试,得到美观度评分;
若所述美观度评分大于预设美观度评分阈值,则将所述用户界面生成模型输出的所述用户界面配置数据,作为第一有效的用户界面配置数据;
其中,所述基于与所述操作相应的用户界面配置数据,对所述当前用户界面的配置数据进行更新,包括:
基于所述第一有效的用户界面配置数据,对所述当前用户界面的配置数据进行更新。
6.根据权利要求4所述的用户界面展示方法,其特征在于,在通过所述用户界面生成模型生成并输出与所述操作相应的用户界面配置数据之后,所述方法还包括:
渲染所述用户界面生成模型输出的所述用户界面配置数据,得到第一用户界面;
响应于对所述用户界面配置数据的手动调整,得到手动调整后的用户界面配置数据;
其中,所述基于与所述操作相应的用户界面配置数据,对所述当前用户界面的配置数据进行更新,包括:
基于所述手动调整后的用户界面配置数据,对所述当前用户界面的配置数据进行更新。
7.根据权利要求5或6所述的用户界面展示方法,其特征在于,所述基于与所述操作相应的用户界面配置数据,对所述当前用户界面的配置数据进行更新之后,所述方法还包括:
将与所述操作相应的用户界面配置数据反馈给所述预设数据库,对所述预设数据库进行扩充更新。
8.根据权利要求1所述的用户界面展示方法,其特征在于,所述操作为行为动作;
所述基于所述操作,获取与所述操作相应的用户界面配置数据;包括:
基于所述操作,确定施加所述操作的用户在施加所述操作时的情绪类型;
基于所述情绪类型,获取与所述情绪类型相适应的用户界面的用户界面配置数据。
9.根据权利要求8所述的用户界面展示方法,其特征在于,所述基于所述操作,确定施加所述操作的用户在施加所述操作时的情绪类型,包括:
将所述行为动作对应的操作数据,作为行为理解模型的输入,通过所述行为理解模型确定施加所述操作的用户在施加所述操作时的情绪类型。
10.根据权利要求8所述的用户界面展示方法,其特征在于,所述基于所述情绪类型,获取与所述情绪类型相适应的用户界面的用户界面配置数据,包括:
将所述情绪类型以及所述行为动作对应的操作数据,作为用户界面生成模型的输入,通过所述用户界面生成模型生成并输出与所述情绪类型相适应的用户界面配置数据。
CN202311434522.8A 2023-10-31 2023-10-31 一种用户界面展示方法、装置、电子设备及存储介质 Pending CN117389670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311434522.8A CN117389670A (zh) 2023-10-31 2023-10-31 一种用户界面展示方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311434522.8A CN117389670A (zh) 2023-10-31 2023-10-31 一种用户界面展示方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117389670A true CN117389670A (zh) 2024-01-12

Family

ID=89464707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311434522.8A Pending CN117389670A (zh) 2023-10-31 2023-10-31 一种用户界面展示方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117389670A (zh)

Similar Documents

Publication Publication Date Title
CN111339246B (zh) 查询语句模板的生成方法、装置、设备及介质
US9348479B2 (en) Sentiment aware user interface customization
CN107609092B (zh) 智能应答方法和装置
CN108877336A (zh) 基于增强现实技术的教学方法、云服务平台和教学系统
CN107807734B (zh) 一种用于智能机器人的交互输出方法以及系统
US20190371319A1 (en) Method for human-machine interaction, electronic device, and computer-readable storage medium
CN111553138B (zh) 用于规范内容结构文档的辅助写作方法及装置
CN112149024A (zh) 主页自适应配置方法、装置、设备及存储介质
CN116127054A (zh) 图像处理方法、装置、设备、存储介质及计算机程序
CN110728983A (zh) 一种信息显示方法、装置、设备及可读存储介质
CN109190116B (zh) 语义解析方法、系统、电子设备及存储介质
CN114187394A (zh) 虚拟形象生成方法、装置、电子设备以及存储介质
CN112307166B (zh) 一种智能问答方法、装置、存储介质以及计算机设备
CN113655895A (zh) 应用于输入法的信息推荐方法、装置及电子设备
CN117252963A (zh) 数字人生成方法和装置
CN117389670A (zh) 一种用户界面展示方法、装置、电子设备及存储介质
CN109829157B (zh) 文本情绪呈现方法、文本情绪呈现装置以及存储介质
Zhao et al. Interface adaption to elderly users: effects of icon styles and semantic distance
CN112653919A (zh) 字幕添加方法及装置
CN116402049B (zh) 修饰文本集和图像增强器生成方法、装置及电子设备
CN113656134B (zh) 用于界面元素的配色方法、装置、设备和存储介质
CN116883533A (zh) 用户头像生成方法、装置、电子设备及存储介质
Tyturenko et al. Classification mechanisms for digitalized information in web application development, taking into account cloud server deployment trends
CN117768745A (zh) 直播间中虚拟礼物的生成方法、装置、服务器及存储介质
CN117520490A (zh) 一种人机对话方法、系统以及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination