CN115695635B - 操作提示方法、存储介质及电子设备 - Google Patents
操作提示方法、存储介质及电子设备 Download PDFInfo
- Publication number
- CN115695635B CN115695635B CN202110865713.4A CN202110865713A CN115695635B CN 115695635 B CN115695635 B CN 115695635B CN 202110865713 A CN202110865713 A CN 202110865713A CN 115695635 B CN115695635 B CN 115695635B
- Authority
- CN
- China
- Prior art keywords
- view component
- user
- prompt
- activation event
- prompting method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000004913 activation Effects 0.000 claims abstract description 47
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 239000000725 suspension Substances 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 9
- 238000013475 authorization Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000008901 benefit Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Abstract
本发明提供一种操作提示方法、存储介质及电子设备,所述操作提示方法包括以下步骤:创建操作提示控件;基于所述操作提示控件,设立监听事件,以监听所述操作提示控件的激活事件;解析所述激活事件,识别用户操作提示需求;根据所述用户操作提示需求,生成操作提示内容;呈现所述操作提示内容。本发明可以针对用户的操作提示需求,向用户提供灵活的、人性化的操作提示内容。
Description
技术领域
本发明属于屏幕操作的技术领域,涉及一种提示方法,特别是涉及一种操作提示方法、存储介质及电子设备。
背景技术
随着各种电子设备的不断发展,电子设备向用户提供的功能越来越丰富,屏幕交互的方式也更是多种多样,例如,用户的智能终端或车载终端的屏幕,屏幕元素的多样化使得每个屏幕元素的含义并不是一目了然,有时为实现一个功能,需要在屏幕上进行一系列复杂的操作,尤其是对特定人群并不友好。
电子设备更新迭代之快使得老年人等特殊人群来不及了解与学习,有时不能分辨自动弹出的提示消息、广告消息或诈骗消息等无用的信息,想要完成一些复杂的功能却不知如何操作、如何寻找,有时也并不清楚一些符号、按钮的含义。
因此,如何提供一种操作提示方法、存储介质及电子设备,以解决现有技术无法向用户提供灵活的、人性化的操作提示等缺陷,成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种操作提示方法、存储介质及电子设备,其优势在于,可以向用户提供一种灵活的、人性化的操作提示方法。
本发明的另一目的在于提供一种操作提示方法、存储介质及电子设备,其优势在于,通过操作提示控件进行事件的监听,进而根据监听的激活事件呈现操作提示内容。
本发明的另一目的在于提供一种操作提示方法、存储介质及电子设备,其优势在于,通过用户对悬浮控件的点击操作、拖动操作和语音指令操作,监听激活事件。
本发明的另一目的在于提供一种操作提示方法、存储介质及电子设备,其优势在于,通过遍历视图组件信息和/或屏幕截图确定激活事件对应的视图组件对象。
本发明的另一目的在于提供一种操作提示方法、存储介质及电子设备,其优势在于,可以在用户对悬浮控件的点击操作、拖动操作和语音指令操作后,生成指令输入口,通过指令输入口的用户指令更具体的识别用户操作提示需求。
本发明的另一目的在于提供一种操作提示方法、存储介质及电子设备,其优势在于,根据不同类型的用户指令,利用不同的识别方式确定用户操作提示需求。
本发明的另一目的在于提供一种操作提示方法、存储介质及电子设备,其优势在于,可以通过文字、语音、标记符号、图片、盲文、动画或视频中的至少一种方式,向用户直观地呈现操作提示内容。
本发明的另一目的在于提供一种操作提示方法、存储介质及电子设备,其优势在于,可以减少老年人等特定人群对他人的依赖,不需要针对不同的操作功能频繁的向他人询问,让老年人等特定人群能更好地、无障碍地使用电子设备。
为实现上述目的及其他相关目的,本发明一方面提供一种操作提示方法,所述操作提示方法包括以下步骤:创建操作提示控件;基于所述操作提示控件,设立监听事件,以监听所述操作提示控件的激活事件;解析所述激活事件,识别用户操作提示需求;根据所述用户操作提示需求,生成操作提示内容;呈现所述操作提示内容。
为实现上述目的及其他相关目的,本发明一方面提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的操作提示方法。
为实现上述目的及其他相关目的,本发明一方面提供一种电子设备,包括:处理器及存储器;所述存储器用于存储计算机程序,所述处理器被配置为执行所述存储器存储的计算机程序,以使所述电子设备执行所述的操作提示方法。
附图说明
图1显示为本发明的操作提示方法于一实施例中的原理流程图。
图2显示为本发明的操作提示方法于一实施例中的激活事件监听示意图。
图3显示为本发明的操作提示方法于一实施例中的解析识别流程图。
图4显示为本发明的操作提示方法于一实施例中的视图组件对象确定示意图。
图5显示为本发明的操作提示方法于一实施例中的视图组件遍历流程图。
图6显示为本发明的操作提示方法于一实施例中的需求识别流程图。
图7显示为本发明的操作提示方法于一实施例中的指令识别示意图。
图8显示为本发明的操作提示方法于一实施例中的屏幕截图流程图。
图9A显示为本发明的操作提示方法于一实施例中的操作提示内容呈现流程图。
图9B显示为本发明的操作提示方法于一实施例中的操作提示内容呈现示意图。
图10显示为本发明的操作提示方法于一实施例中的操作提示内容呈现示意图。
图11显示为本发明的电子设备于一实施例中的结构连接示意图。
元件标号说明
5 电子设备
51 处理器
52 存储器
521 随机存取存储器
522 高速缓存存储器
523 存储系统
524 实用工具
525 程序模块
53 总线
54 外部设备
55 显示器
56 I/O接口
57 网络适配器
S11~S15 步骤
S131~S132 步骤
S131A1~S131A3 步骤
S131B1~S131B3 步骤
S1321~S1323 步骤
S151~S152 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
本发明所述的操作提示方法、存储介质及电子设备可以针对用户的操作提示需求,向用户提供灵活的、人性化的操作提示内容。可以应用于用户,尤其是特定人群使用浏览器浏览网页时,突然弹出中奖消息,不能辨别信息的真伪;网络开关不小心关闭,找不到开启入口;接收到视频或聊天提示,不知道如何接入;想发送表情符号,但是不知道不同的表情符号各是什么含义等诸多应用场景。
以下将结合图1至图11详细阐述本实施例的一种操作提示方法、存储介质及电子设备的原理及实施方式,使本领域技术人员不需要创造性劳动即可理解本实施例的操作提示方法、存储介质及电子设备。
请参阅图1,显示为本发明的操作提示方法于一实施例中的原理流程图。如图1所示,所述操作提示方法具体包括以下几个步骤:
S11,创建操作提示控件。
具体地,响应于用户在电子设备中安装可以执行所述操作提示方法的应用后,例如,可以是一APP(应用程序,Application的缩写),APP在页面创建操作提示控件。其中,用户在安装应用的过程中或安装完成后,需要向所述操作提示方法的应用进行授权,授权内容包括接受网络通讯,还包括接受无障碍功能或接受屏幕截图的至少一种。
S12,基于所述操作提示控件,设立监听事件,以监听所述操作提示控件的激活事件。
请参阅图2,显示为本发明的操作提示方法于一实施例中的激活事件监听示意图。如图2所示,所述操作提示控件为悬浮控件;S12包括监听所述悬浮控件的点击操作、拖动操作,生成所述激活事件;或监听所述悬浮控件的语音指令操作,生成所述激活事件。
S13,解析所述激活事件,识别用户操作提示需求。
请参阅图3,显示为本发明的操作提示方法于一实施例中的解析识别流程图。如图3所示,S13具体包括以下步骤:
S131,解析所述激活事件,确定所述激活事件对应的视图组件对象。
请参阅图4,显示为本发明的操作提示方法于一实施例中的视图组件对象确定示意图。如图4所示,响应于所述激活事件,获取当前页面的视图组件信息,根据所述视图组件信息,确定所述激活事件对应的视图组件对象。
请参阅图5,显示为本发明的操作提示方法于一实施例中的视图组件遍历流程图。如图5所示,根据所述视图组件信息,确定所述激活事件对应的视图组件对象具体包括以下步骤:
S131A1,获取系统的无障碍功能授权,所述无障碍功能用于遍历获取所述页面的视图组件信息。
具体地,例如安卓系统具备无障碍功能,即辅助功能,开启辅助功能并获得用户授权后可以遍历获取页面元素组件。
S131A2,遍历获取所述页面的视图组件信息。
S131A3,根据所述视图组件信息,确定与所述激活事件对应的视图组件对象。
具体地,悬浮控件被拖动时,从遍历获取所述页面的视图组件信息中,匹配出与悬浮控件的位置以及与悬浮控件当前位置对应的视图组件,然后绘制出相应的边界视图(例如框选)。拖动操作完成后,将框选范围内的视图组件作为视图组件对象。
具体地,响应于用户对悬浮控件的点击操作,从遍历获取所述页面的视图组件信息中,匹配出所述悬浮控件,将所述悬浮控件作为视图组件对象。
具体地,响应于用户发出语音指令“打开无线网络开关”,选中悬浮控件,从遍历获取所述页面的视图组件信息中,匹配出所选中的悬浮控件,将所述悬浮控件作为视图组件对象。
S132,识别所述用户操作提示需求。
请参阅图6,显示为本发明的操作提示方法于一实施例中的需求识别流程图。如图6所示,S132具体包括以下步骤:
S1321,响应于所述激活事件,生成指令输入口;所述指令输入口包括文字指令输入口或语音指令输入口中的至少一种。
具体地,响应于用户点击悬浮控件,显示指令输入口,具体可以是输入框,若为文字输入框,则用户可输入“接听电话”;若为语音输入框,则用户可发出语音“接听电话”。又例如,在识别虚假消息时,输入“这是真的吗?”;在识别表情符号含义时,输入“这是什么意思?”。
S1322,通过所述指令输入口,获取用户指令。
具体地,文字或语音输入完成后,获取用户指令。
S1323,根据所述用户指令,识别所述用户操作提示需求。
请参阅图7,显示为本发明的操作提示方法于一实施例中的指令识别示意图。如图7所示,S1323至少包括以下步骤之一:
(1)在所述用户指令为文字指令的情况下,对所述文字指令进行语义识别,根据语义识别的结果确定所述用户操作提示需求。
(2)在所述用户指令为语音指令的情况下,将所述语音指令转换为文字内容;对所述文字内容进行语义识别,根据语义识别的结果确定所述用户操作提示需求。
具体地,语义识别是指利用自然语言处理(Natural Language Processing,NLP)分析文字内容包含或隐含的信息,以此确定所述用户操作提示需求。
需要说明的是,本发明中对步骤S131、S132的顺序不作限定。
于一实施例中,响应于所述激活事件,获取当前页面的屏幕截图,根据所述屏幕截图,确定所述激活事件对应的视图组件对象。
请参阅图8,显示为本发明的操作提示方法于一实施例中的屏幕截图流程图。如图8所示,根据所述屏幕截图,确定所述激活事件对应的视图组件对象具体包括以下步骤:
S131B1,将所述屏幕截图输入图像识别模型中,识别所述屏幕截图中至少一个视图组件。
具体地,图像识别模型是利用现有的图像模型训练方法,预先根据诸多的已知视图组件含义等信息的图像数据训练生成的。
具体地,对于屏幕截图上的文字,使用OCR(Optical Character Recognition,光学字符识别)进行识别。对于屏幕截图上的图片,使用图像识别模型识别出图像含义。
S131B2,识别所述用户操作提示需求。
S131B3,根据所述用户操作提示需求,从所述至少一个视图组件中筛选与所述用户操作提示需求相匹配的视图组件,以确定所述激活事件对应的视图组件对象。
具体地,所述用户操作提示需求为接听电话时,识别所述用户操作提示需求中相关的视图组件为电话接听按钮。从拒绝接听按钮和接听电话按钮等多个视图组件中筛选出接听电话按钮,电话接听按钮为与所述用户操作提示需求相匹配的视图组件,因此,电话接听按钮作为所述视图组件对象。
S14,根据所述用户操作提示需求,生成操作提示内容。
于一实施例中,所述操作提示内容包括:视图组件对象的位置提示、视图组件对象的含义提示或页面信息的真伪提示中的至少一种。
S15,呈现所述操作提示内容。
于一实施例中,通过文字、语音、标记符号、图片、盲文、动画或视频中的至少一种方式呈现所述操作提示内容。
具体地,所述操作提示内容可以是文字指引内容,通过文字指引内容将操作步骤按前后顺序提示给用户。所述操作提示内容也可以是获取用户指令的响应后,直接向用户打开的与激活事件对应的页面内容。所述操作提示内容还可以是获取用户指令响应后,将操作步骤按照先后顺序,在当前页面中动态绘制的动画或视频提示内容。
具体地,若用户操作提示需求为打开无线网络开关,通过语音方式播放操作提示内容“首选找到并点击桌面的设置图标,然后点击无线局域网,最后在呈现的下一级界面上点击无线局域网后面的开关按钮”。
具体地,若用户操作提示需求为接听电话,通过图片方式将绿色接听按钮单独生成图片,在界面进行放大显示。
具体地,若用户操作提示需求为询问表情图标含义,将该表情图标的含义作为操作提示内容,转换为盲文,并通过预先外接的盲文显示设备输出盲文形式的表情图标含义。
请参阅图9A,显示为本发明的操作提示方法于一实施例中的操作提示内容呈现流程图。如图9A所示,所述通过标记符号呈现所述操作提示内容,S15包括以下步骤:
S151,响应于所述操作提示内容未处于当前页面中,切换至目标页面,所述目标页面为所述操作提示内容所在的页面。
具体地,在用户操作提示需求为打开无线网络开关时,当前页面中并未呈现无线网络开关,因此,切换至无线网络开关所在的目标页面。
S152,绘制所述标记符号至所述目标页面,所述标记符号用于标注所述操作提示内容在所述目标页面中的区域。
具体地,在目标页面中将无线网络开关的按钮用红圈圈出,指示用户点击此处即可打开无线网络开关。请参阅图9B,显示为本发明的操作提示方法于一实施例中的操作提示内容呈现示意图。如图9B所示,在执行所述操作提示方法的过程中,将无线局域网的开关按钮作为视图组件对象,将无线局域网的开关按钮所在的页面位置作为操作提示内容,并通过标记符号标出。在“设置”页面上通过方框圈选的无线局域网显示关闭,跳转到下一级页面后,通过圆圈将无线局域网的开关按钮标出。需要说明的是,所述标记符号可以是不同颜色、不同形状、虚实线以及闪烁、跳变、弹动等多种组合形式的可以引人瞩目的所有标记方式。例如,可以是一个不断闪烁的虚线方框。
请参阅图10,显示为本发明的操作提示方法于一实施例中的操作提示内容呈现示意图。如图10所示,用户的原始网页为植物的品种选择,突然弹出中奖提示信息“恭喜您中奖了,请点击下方链接获取”,用户将悬浮控件拖动至中奖提示信息上,拖动悬浮控件的同时,监听到激活事件。根据屏幕中视图组件的信息创建相关的边界视图,将整个中奖提示信息框选出来,让用户清楚当前悬浮物选中的是什么,松手后会获取中奖提示信息的文字信息或将中奖提示信息作为一个整体图片获取,然后弹出一个输入框,询问用户本次操作提示希望得到什么,用户输入“这是真的吗?”,用户确定输入后,呈现操作提示内容,即屏幕界面中显示的“这是虚假信息,请您小心”。
于另一实施例中,用户在使用手机过程中因为某些原因导致网络开关关闭,但是一时找不到开启方法。然后用户点击悬浮控件,说出或输入指令“打开网络开关”,然后获取设备型号,配置与用户设备型号匹配的系统设置信息,将网络开关的位置按步骤进行动画演示。
于另一实施例中,用户收到网络通讯应用的视频或语音聊天,但是却不知道应该点击哪个按钮进行接听,点击悬浮控件后,询问屏幕中的接听或挂断等点击的元素在哪里时,对聊天页面进行屏幕截图,然后利用图像识别通过本地或联网方式分析页面上的按钮元素,将接入按钮提示给用户。具体地,分析页面是否有“接听字样”或接听电话的相关图标,如果有相关信息,获取相关信息的边界位置,在相关边界位置绘制绘制标记符号。
于另一实施例中,用户想在网络聊天中输入表情符号,但不知道表情符号的含义是否符合当前场景,用户将悬浮控件拖动到指定表情符号位置时,通过屏幕截图或遍历视图组件信息的方式获取表情符号的图标,然后分析该表情符号的图标含义,进而基于该表情符号含义、使用场景等信息向用户进行提示。
本发明所述的操作提示方法的保护范围不限于本实施例列举的步骤执行顺序,凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述操作提示方法。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的计算机可读存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的计算机存储介质。
本发明提供一种电子设备,包括:处理器及存储器;所述存储器用于存储计算机程序,所述处理器被配置为执行所述存储器存储的计算机程序,以使所述电子设备执行所述的操作提示方法。
请参阅图11,显示为本发明的电子设备于一实施例中的结构连接示意图。如图11所示,电子设备5以通用计算设备的形式表现。电子设备5的组件可以包括但不限于:一个或者多个处理器51,存储器52,连接不同系统组件(包括处理器51和存储器52)的总线53。
总线53表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于ISA(Industry Standard Architecture,工业标准体系结构)总线,MCA(MicroChannel Architecture,微通道体系结构)总线,增强型ISA总线、VESA(Video Electronics Standards Association,视频电子标准协会)局域总线以及PCI(Peripheral Component Interconnect,外围组件互连)总线。
电子设备5典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备5访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器52可以包括易失性存储器形式的计算机系统可读介质,例如RAM(RandomAccess Memory,随机存取存储器)521和/或高速缓存存储器522。电子设备5可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统523可以用于读写不可移动的、非易失性磁介质,通常称为“硬盘驱动器”。可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘读写的光盘驱动器,可移动非易失性光盘例如是CD-ROM(Compact Disc Read-Only Memory,只读光盘),DVD-ROM(Digital Video Disc,数字视频光盘)或者其它光介质。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线53相连。存储器52可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块525的程序/实用工具524,可以存储在例如存储器52中,这样的程序模块525包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块525通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统也可以与一个或多个外部设备54(例如键盘、指向设备、显示器55等)通信,还可与一个或者多个使得用户能与该计算机系统交互的设备通信,和/或与使得该计算机系统能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口56进行。并且,计算机系统还可以通过网络适配器57与一个或者多个网络通信,例如LAN(Local Area Network,局域网),WAN(Wide AreaNetwork,广域网)和/或公共网络,例如因特网。网络适配器57通过总线53与计算机系统的其它模块通信。应当明白,尽管图中未示出,可以结合计算机系统使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID(Redundant Arrays of Independent Disks,磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
所述电子设备包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant,简称PDA)等个人电脑,所述电子设备还可以是车机端或是智能眼镜、智能手表或其他可穿戴设备。在另一些实施方式中,所述电子设备还可以是服务器,所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上,也可以是由分布的或集中的服务器集群构成的云服务器,本实施例不作限定。
进一步地,可以通过一个或多个电子设备执行所述操作提示方法,即可实现本地执行或云端。例如,通过智能手机和云端服务器共同执行所述操作提示方法,智能手机创建操作提示控件;基于所述操作提示控件,设立监听事件,以监听所述操作提示控件的激活事件;解析所述激活事件,识别用户操作提示需求,将所述激活事件和所述用户操作提示需求发送至云端服务器;云端服务器根据所述用户操作提示需求,生成操作提示内容,将所述操作提示内容发送至智能手机;智能手机呈现所述操作提示内容。
综上所述,本发明所述操作提示方法、存储介质及电子设备可以向用户提供一种灵活的、人性化的操作提示方法。通过操作提示控件进行事件的监听,进而根据监听的激活事件呈现操作提示内容。通过用户对悬浮控件的点击操作、拖动操作和语音指令操作,监听激活事件。通过遍历视图组件信息和/或屏幕截图确定激活事件对应的视图组件对象。可以在用户对悬浮控件的点击操作、拖动操作和语音指令操作后,生成指令输入口,通过指令输入口的用户指令更具体的识别用户操作提示需求。根据不同类型的用户指令,利用不同的识别方式确定用户操作提示需求。可以通过文字、语音、标记符号、图片、盲文、动画或视频中的至少一种方式,向用户直观地呈现操作提示内容,可以减少老年人等特定人群对他人的依赖,不需要针对不同的操作功能频繁的向他人询问,让老年人等特定人群能更好地、无障碍地使用电子设备。本发明有效克服了现有技术中的种种缺点而具有高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (12)
1.一种操作提示方法,其特征在于,
所述操作提示方法包括以下步骤:
创建操作提示控件;
基于所述操作提示控件,设立监听事件,以监听所述操作提示控件的激活事件;
响应于所述激活事件,生成指令输入口并获取用户指令,并解析所述激活事件,确定所述激活事件对应的视图组件对象,基于上述步骤识别用户操作提示需求;
根据所述用户操作提示需求,生成操作提示内容;
呈现所述操作提示内容;
所述确定所述激活事件对应的视图组件对象,至少包括以下步骤:
响应于所述激活事件,获取当前页面的视图组件信息,根据所述视图组件信息,确定所述激活事件对应的视图组件对象。
2.根据权利要求1所述的操作提示方法,所述操作提示控件为悬浮控件;所述基于所述操作提示控件,设立监听事件,以监听所述操作提示控件的激活事件,包括以下步骤:
监听所述悬浮控件的点击操作、拖动操作,生成所述激活事件;
监听所述悬浮控件的语音指令操作,生成所述激活事件。
3.根据权利要求1所述的操作提示方法,所述确定所述激活事件对应的视图组件对象,还包括以下步骤:
响应于所述激活事件,获取当前页面的屏幕截图,识别所述屏幕截图中至少一个视图组件,确定所述激活事件对应的视图组件对象。
4.根据权利要求3所述的操作提示方法,所述根据所述视图组件信息,确定所述激活事件对应的视图组件对象,包括以下步骤:
获取系统的无障碍功能授权,所述无障碍功能用于遍历获取所述页面的视图组件信息;
遍历获取所述页面的视图组件信息;
根据所述视图组件信息,确定与所述激活事件对应的视图组件对象。
5.根据权利要求3所述的操作提示方法,所述根据所述屏幕截图,确定所述激活事件对应的视图组件对象,包括以下步骤:
将所述屏幕截图输入图像识别模型中,识别所述屏幕截图中至少一个视图组件;
识别所述用户操作提示需求;
根据所述用户操作提示需求,从所述至少一个视图组件中筛选与所述用户操作提示需求相匹配的视图组件,以确定所述激活事件对应的视图组件对象。
6.根据权利要求1所述的操作提示方法,所述识别所述用户操作提示需求,包括以下步骤:
所述指令输入口包括文字指令输入口或语音指令输入口中的至少一种;
通过所述指令输入口,获取用户指令;
根据所述用户指令,识别所述用户操作提示需求。
7.根据权利要求6所述的操作提示方法,所述根据所述用户指令,识别所述用户操作提示需求,至少包括以下步骤之一:
在所述用户指令为文字指令的情况下,对所述文字指令进行语义识别,根据语义识别的结果确定所述用户操作提示需求;
在所述用户指令为语音指令的情况下,将所述语音指令转换为文字内容;对所述文字内容进行语义识别,根据语义识别的结果确定所述用户操作提示需求。
8.根据权利要求1所述的操作提示方法,所述操作提示内容包括:
视图组件对象的位置提示、视图组件对象的含义提示或页面信息的真伪提示中的至少一种。
9.根据权利要求1所述的操作提示方法,所述呈现所述操作提示内容,包括以下步骤:
通过文字、语音、标记符号、图片、盲文、动画或视频中的至少一种方式呈现所述操作提示内容。
10.根据权利要求9所述的操作提示方法,所述通过标记符号呈现所述操作提示内容,包括以下步骤:
响应于所述操作提示内容未处于当前页面中,切换至目标页面,所述目标页面为所述操作提示内容所在的页面;
绘制所述标记符号至所述目标页面,所述标记符号用于标注所述操作提示内容在所述目标页面中的区域。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,
该计算机程序被处理器执行时实现权利要求1至10中任一项所述的操作提示方法。
12.一种电子设备,其特征在于,
包括:
处理器及存储器;
所述存储器用于存储计算机程序,所述处理器被配置为执行所述存储器存储的计算机程序,以使所述电子设备执行如权利要求1至10中任一项所述的操作提示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110865713.4A CN115695635B (zh) | 2021-07-29 | 2021-07-29 | 操作提示方法、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110865713.4A CN115695635B (zh) | 2021-07-29 | 2021-07-29 | 操作提示方法、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115695635A CN115695635A (zh) | 2023-02-03 |
CN115695635B true CN115695635B (zh) | 2024-04-05 |
Family
ID=85059034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110865713.4A Active CN115695635B (zh) | 2021-07-29 | 2021-07-29 | 操作提示方法、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115695635B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102890629A (zh) * | 2011-07-21 | 2013-01-23 | 富泰华工业(深圳)有限公司 | 具有操作提示功能的电子装置及操作提示方法 |
CN109491731A (zh) * | 2018-09-07 | 2019-03-19 | 咪咕文化科技有限公司 | 一种悬浮按钮的控制方法、装置及存储介质 |
CN110036357A (zh) * | 2016-10-12 | 2019-07-19 | 英智爱软件股份公司 | 控制用户界面的方法、程序及装置 |
CN110532159A (zh) * | 2019-09-03 | 2019-12-03 | 北京百度网讯科技有限公司 | 数据监听方法、装置、设备及计算机可读存储介质 |
CN111931465A (zh) * | 2020-08-14 | 2020-11-13 | 中国工商银行股份有限公司 | 基于用户操作自动生成用户手册的方法及系统 |
-
2021
- 2021-07-29 CN CN202110865713.4A patent/CN115695635B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102890629A (zh) * | 2011-07-21 | 2013-01-23 | 富泰华工业(深圳)有限公司 | 具有操作提示功能的电子装置及操作提示方法 |
CN110036357A (zh) * | 2016-10-12 | 2019-07-19 | 英智爱软件股份公司 | 控制用户界面的方法、程序及装置 |
CN109491731A (zh) * | 2018-09-07 | 2019-03-19 | 咪咕文化科技有限公司 | 一种悬浮按钮的控制方法、装置及存储介质 |
CN110532159A (zh) * | 2019-09-03 | 2019-12-03 | 北京百度网讯科技有限公司 | 数据监听方法、装置、设备及计算机可读存储介质 |
CN111931465A (zh) * | 2020-08-14 | 2020-11-13 | 中国工商银行股份有限公司 | 基于用户操作自动生成用户手册的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115695635A (zh) | 2023-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4155920A1 (en) | Application screen splitting method and apparatus, storage medium and electric device | |
US11194448B2 (en) | Apparatus for vision and language-assisted smartphone task automation and method thereof | |
US7093199B2 (en) | Design environment to facilitate accessible software | |
CN107995536A (zh) | 一种提取视频预览的方法、装置、设备和计算机存储介质 | |
US11263397B1 (en) | Management of presentation content including interjecting live feeds into presentation content | |
CN110090444B (zh) | 游戏中行为记录创建方法、装置、存储介质及电子设备 | |
CN107995535A (zh) | 一种展示视频的方法、装置、设备和计算机存储介质 | |
US20180356967A1 (en) | Facilitating automatic generation of customizable storyboards | |
CA3059676A1 (en) | Detecting fraud using machine-learning and recorded voice | |
DE202017104110U1 (de) | Bildsuchanfragevorhersagen durch eine Tastatur | |
CN108416018A (zh) | 截屏搜索方法、装置及智能终端 | |
US20100306678A1 (en) | User interface controls including capturing user mood | |
CN108829371A (zh) | 界面控制方法、装置、存储介质及电子设备 | |
US20210011684A1 (en) | Dynamic augmented reality interface creation | |
US20230244363A1 (en) | Screen capture method and apparatus, and electronic device | |
CN111565320A (zh) | 基于弹幕的互动方法及装置、存储介质、电子设备 | |
CN108665769B (zh) | 基于卷积神经网络的网络教学方法以及装置 | |
CN112882623A (zh) | 文本处理方法、装置、电子设备及存储介质 | |
CN115695635B (zh) | 操作提示方法、存储介质及电子设备 | |
EP3896614A2 (en) | Method and apparatus for labeling data | |
JP2024505316A (ja) | アプリケーションのテスト方法、装置、電子機器及び記憶媒体 | |
US11568612B2 (en) | Personalized reactive augmented reality association | |
US11829712B2 (en) | Management of presentation content including generation and rendering of a transparent glassboard representation | |
CN115204979A (zh) | 交互方法及装置、计算机可读存储介质、电子设备 | |
CN108376149A (zh) | 信息展现的方法、装置、设备和计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |