CN114168046B - 点击操作的处理方法、设备及存储介质 - Google Patents

点击操作的处理方法、设备及存储介质 Download PDF

Info

Publication number
CN114168046B
CN114168046B CN202111308242.3A CN202111308242A CN114168046B CN 114168046 B CN114168046 B CN 114168046B CN 202111308242 A CN202111308242 A CN 202111308242A CN 114168046 B CN114168046 B CN 114168046B
Authority
CN
China
Prior art keywords
control
click
priority
volume
target control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111308242.3A
Other languages
English (en)
Other versions
CN114168046A (zh
Inventor
赵伯豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202111308242.3A priority Critical patent/CN114168046B/zh
Priority to CN202211163803.XA priority patent/CN115469787A/zh
Publication of CN114168046A publication Critical patent/CN114168046A/zh
Application granted granted Critical
Publication of CN114168046B publication Critical patent/CN114168046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本申请提供了一种点击操作的处理方法、设备及存储介质。该方法对于一次点击操作作用于的控件不唯一,即点击操作对应的点击位置存在重合的控件时,基于决策树排序算法训练获得的目标控件选择模型对重合的每一控件的重合匹配度因子、重要程度因子、出现时长因子、操作频度因子和伤害程度因子进行分析处理,进而确定本次点击操作作用于每一控件的点击优先度和点击伤害度,从而实现了对不同控件在不同条件下是否点击误触实现精确的判定,最终根据每一控件的点击优先度和点击伤害度来确定本次点击操作最终需要作用于的控件,并由确定的控件来响应于本次点击操作,有效保避免了误操作导致的不良后果,提升了用户体验。

Description

点击操作的处理方法、设备及存储介质
技术领域
本申请涉及终端技术领域,尤其涉及一种点击操作的处理方法、设备及存储介质。
背景技术
随着电子设备,例如手机的普及和应用复杂度的提升,电子设备上同一时间内出现的控件越来越多,并且在一些使用场景中经常会出现多个控件重合的情况。例如,在一些直播类应用、视频类应用的播放界面中,用于实现全屏播放的全屏控件与用于调节音量的音量控件会存在重合。
在这些使用场景中,当用户对某个控件进行点击时,可能会不小心误触与其重合的控件,进而导致被误触的控件响应于点击操作,例如本该由全屏控件响应于点击操作将当前播放内容进行全屏播放,但却由音量控件响应于点击操作,误将音量调整到最大,这样不仅会给用户带来不好的用户体验,还会给用户带来不必要的麻烦。
发明内容
为了解决上述技术问题,本申请提供一种点击操作的处理方法、设备及存储介质,旨在对不同控件在不同条件下是否为点击误触实现精确的判定,从而避免误操作导致的不良后果。
第一方面,本申请提供一种点击操作的处理方法。该方法包括;在监听到点击操作时,确定所述点击操作对应的点击位置;在所述点击位置处存在重合的第一控件和第二控件时,分别获取所述第一控件的第一特征因子和所述第二控件的第二特征因子,所述第一特征因子和所述第二特征因子均包括重合匹配度因子、重要程度因子、出现时长因子、操作频度因子和伤害程度因子;通过目标控件选择模型对所述第一特征因子和所述第二特征因子进行处理,确定所述第一控件对应的第一点击优先度和第一点击伤害度,以及所述第二控件对应的第二点击优先度和第二点击伤害度;根据所述第一点击优先度、所述第一点击伤害度、所述第二点击优先度和所述第二点击伤害度从所述第一控件和所述第二控件中选择一个作为目标控件,并控制所述目标控件响应于所述点击操作。
由此,本申请实施例提供的方法,在一次点击操作作用于的控件不唯一,即点击操作对应的点击位置存在重合的控件时,基于决策树排序算法训练获得的目标控件选择模型对重合的每一控件的重合匹配度因子、重要程度因子、出现时长因子、操作频度因子和伤害程度因子进行分析处理,进而确定本次点击操作作用于每一控件的点击优先度和点击伤害度,从而通过多特征因子实现了对不同控件在不同条件下是否点击误触实现精确的判定,最终根据每一控件的点击优先度和点击伤害度来确定本次点击操作最终需要作用于的控件,并由确定的控件来响应于本次点击操作,有效保避免了误操作导致的不良后果,提升了用户体验。
根据第一方面,所述根据所述第一点击优先度、所述第一点击伤害度、所述第二点击优先度和所述第二点击伤害度从所述第一控件和所述第二控件中选择一个作为目标控件,并控制所述目标控件响应于所述点击操作,包括:根据所述第一点击优先度和所述第二点击优先度从所述第一控件和所述第二控件中选择一个作为所述目标控件;根据所述目标控件对应的点击伤害度,控制所述目标控件响应于所述点击操作。这样,通过基于多个特征因子确定的点击优先度和点击伤害度来确定本次点击操作针对的控件,并控制确定的控件响应于本次点击操作,从而通过多维度的参考因素保证了判定结果的准确性。
根据第一方面,或者以上第一方面的任意一种实现方式,所述根据所述第一点击优先度和所述第二点击优先度从所述第一控件和所述第二控件中选择一个作为所述目标控件,包括:在所述第一点击优先度高于所述第二点击优先度时,选择所述第一控件作为所述目标控件;在所述第二点击优先度高于所述第一点击优先度时,选择所述第二控件作为所述目标控件。这样,通过选择点击优先度高的控件作为目标控件,从而保证了最终确定的目标控件是用户真正想要点击的控件,进而降低了误点击现象的发生。
根据第一方面,或者以上第一方面的任意一种实现方式,所述根据所述目标控件对应的点击伤害度,控制所述目标控件响应于所述点击操作,包括:在所述目标控件对应的点击伤害度低于伤害度阈值时,控制所述目标控件响应于所述点击操作;在所述目标控件对应的点击伤害度不低于所述伤害度阈值时,提示用户是否对所述目标控件执行所述点击操作;在确定对所述目标控件执行所述点击操作时,控制所述目标控件响应于所述点击操作。本申请实施例提供的技术方案,通过利用点击伤害度这一判断因素来确定目标控件是直接响应于本次点击操作,还是先向用户进行提示,进而由用户重新确定是否由目标控件响应于本次点击操作,从而在用户没有二次借入时,保证点击操作触发的是点击优先度高,点击伤害度低的控件,进而避免误触点击伤害度高的控件给用户带来不必要的麻烦。
根据第一方面,或者以上第一方面的任意一种实现方式,所述目标控件为调节音量的音量控件;在所述根据所述目标控件对应的点击伤害度,控制所述目标控件响应于所述点击操作之前,所述方法还包括:获取当前所处环境的第一音量值;根据所述第一音量值确定所述伤害度阈值。具体的,本申请实施例提供的技术方案中,伤害度阈值与当前电子设备所处环境的音量息息相关,从而能够保证目标控件响应于点击操作,调整后的音量不会让用户和周围人群感到不适,进一步提示用户体验。
根据第一方面,或者以上第一方面的任意一种实现方式,在所述提示用户是否对所述目标控件执行所述点击操作之前,所述方法包括:获取电子设备当前的第二音量值;确定所述目标控件响应于所述点击操作后所述电子设备对应的第三音量值;在所述第二音量值和所述第三音量值的差值小于音量阈值时,执行所述控制所述目标控件响应于所述点击操作的步骤;在所述第二音量值和所述第三音量值的差值不小于音量阈值时,执行所述提示用户是否对所述目标控件执行所述点击操作步骤。具体的,本申请实施例提供的技术方案中,在目标控件对应的点击伤害度不低于伤害度阈值,向用户作出提示前进一步判断电子设备当前的音量值与响应于点击操作调整后的音量值之间的差值是与音量阈值的关系,然后再根据判断结果确定是响应于点击操作还是向用户作出提示,通过这种两次判断才决定最终操作的方式,既降低了误触现象的发生,又能够尽可能减少用户的借入,保障用户体验。
根据第一方面,或者以上第一方面的任意一种实现方式,所述提示用户是否对所述目标控件执行所述点击操作,包括:以弹窗的方式提示用户是否对所述目标控件执行所述点击操作;或者,以语音的方式提示用户是否对所述目标控件执行所述点击操作。这样,在尽可能不影响用户使用的情况下,可以让用户预先获知该目标控件响应于本次点击操作时会存在一定风险,从而根据提示重新作出正确的操作。
根据第一方面,或者以上第一方面的任意一种实现方式,所述目标控件选择模型由服务器基于决策树排序算法训练获得;在所述通过目标控件选择模型对所述第一特征因子和所述第二特征因子进行处理之前,所述方法还包括:检测本地是否存在所述目标控件选择模型;在本地不存在所述目标控件选择模型时,向所述服务器发送获取所述目标控件选择模型的请求;其中,在未向所述服务器发送用户行为数据前,所述服务器中不存在所述目标控件选择模型,所述用户行为数据根据所述目标控件对所述点击操作的响应信息生成;接收所述服务器发送的初始控件选择模型,将所述初始控件选择模型作为所述目标控件选择模型;其中,所述初始控件选择模型由所述服务器基于所述决策树排序算法对群体样本数据训练获得。具体的,电子设备首次从服务器获取目标控件选择模型时,由于还没有向服务器反馈用户使用其的用户行为数据,因此服务器不存在为该用户量身定制的目标控件选择模型,故而推送给电子设备的是基于大数据群体用户的用户行为数据训练获得的初始控件选择模型,以使电子设备根据初始控件选择模型做出的针对本次点击操作的处理结果能够基本适用于当前用户。
此外,用于确定目标控件的控件选择模型由服务器训练获得,这样就不需要考虑电子设备的资源是否支持训练模型,从而降低了对电子设备的性能要求,使得本申请实施例提供的技术方案能够适用于更多的电子设备。
根据第一方面,或者以上第一方面的任意一种实现方式,在所述控制所述目标控件响应于所述点击操作之后,所述方法还包括;根据所述目标控件对所述点击操作的响应信息生成用户行为数据;将所述用户行为数据发送给所述服务器,供所述服务器根据所述用户行为数据对所述初始控件选择模型进行优化训练;接收所述服务器优化训练后的所述初始控件选择模型对本地存储的所述目标控件选择模型进行替换。由此,本申请实施例提供的方法,电子设备通过将操作目标控件时生成的用户行为数据反馈给提供控件选择模型的服务器,从而使得服务器能够利用每个电子设备反馈的用户行为数据对需要发给该电子设备的控件选择模型(可能是初始控件选择模型,也可能是目标控件选择模型)进行优化训练,然后将优化后的目标控件选择模型推送给对应的电子设备,以便后续使用,这样通过不断的调优和单点模型的推送,使得确定目标控件所需的目标控件选择模型能够更好的适用于使用该电子设备的用户习惯,从而做到了因人而异,有效加强了每个个体用户的使用体验。
第二方面,本申请提供一种点击操作的处理方法。该方法应用于具有显示界面的电子设备,包括:在所述显示界面中显示多媒体画面和全屏控件,所述多媒体画面为非全屏播放,所述全屏控件被点击时所述多媒体画面被全屏播放;在接收到音量调节操作后,显示音量控件,所述音量控件的第一部分与所述全屏控件重叠;在所述音量控件和所述全屏控件同时显示的过程中,当接收到对所述第一部分的点击操作后,全屏播放所述多媒体画面。这样,在显示界面同时显示全屏控件和音量控件时,即便用户点击了两个控件的重叠区域,电子设备响应于该点击操作也会将多媒体画面全屏播放,而非认为用户要调节音量,避免了误响应。
根据第二方面,所述在所述显示界面中显示多媒体画面和全屏控件,包括:在接收到对提供所述多媒体画面的应用的点击操作时,在所述显示界面中显示多媒体选项,所述多媒体选项与所述多媒体画面相对应,所述多媒体选项被点击时所述显示界面播放相对应的所述多媒体画面;在接收到对所述多媒体选项的点击操作时,在所述显示界面中显示与所述多媒体选项相对应的所述多媒体画面;在接收到对所述多媒体画面的点击操作时,在所述显示界面中显示所述全屏控件。由此实现了显示界面从显示应用的图标到显示多媒体画面和全屏控件的变化。
根据第二方面,或者以上第二方面的任意一种实现方式,所述在所述音量控件和所述全屏控件同时显示的过程中,当接收到对所述第一部分的点击操作后,全屏播放所述多媒体画面,包括:确定所述音量控件的点击优先度和所述全屏控件的点击优先度;在所述音量控件的点击优先度高于所述全屏控件的点击优先度时,将音量调节到最大音量值;在所述全屏控件的点击优先度高于所述音量控件的点击优先度时,全屏播放所述多媒体画面。
根据第二方面,或者以上第二方面的任意一种实现方式,所述方法还包括:在所述音量控件的点击优先度等于所述全屏控件的点击优先度时,在所述显示界面弹出第一提示窗,所述第一提示窗中包括第一选项和第二选项,所述第一选项对应于所述音量控件,所述第二选项对应于所述全屏控件。这样,电子设备在无法确定控制哪个控件响应点击操作时,在显示界面弹出提示窗口向用户做出提示,以便用户进一步选择确定对那个控件操作。
根据第二方面,或者以上第二方面的任意一种实现方式,在所述显示界面弹出第一提示窗之后,所述方法还包括:在接收到对所述第一选项的点击操作时,将音量调节到最大音量值;在接收到对所述第二选项的点击操作时,全屏播放所述多媒体画面。这样,根据用户对提示窗中选项的点击来确定用户究竟是要调节音量还是全屏播放多媒体画面,从而保证了每次响应的准确度,有效避免了误响应给用户带来的不便。
根据第二方面,或者以上第二方面的任意一种实现方式,在所述音量控件的点击优先度高于所述全屏控件的点击优先度时,将音量调节到最大音量值之前,所述方法还包括:确定所述音量控件的点击伤害度;在所述音量控件的点击伤害度低于伤害度阈值时,执行所述将音量调节到最大音量值的步骤;在所述音量控件的点击伤害度不低于所述伤害度阈值时,在所述显示界面弹出第二提示窗,所述第二提示窗中包括提示信息、第三选项和第四选项,所述提示信息用于提示用户是否执行所述将音量调节到最大音量值的步骤,所述第三选项对应于所述音量控件,所述第四选项用于取消所述点击操作。
根据第二方面,或者以上第二方面的任意一种实现方式,在所述显示界面弹出第二提示窗之后,所述方法还包括:在接收到对所述第三选项的点击操作时,将音量调节到最大音量值;在接收到对所述第四选项的点击操作时,继续在所述显示界面的视频区域播放所述多媒体画面。
根据第二方面,或者以上第二方面的任意一种实现方式,所述确定所述音量控件的点击优先度和所述全屏控件的点击优先度,包括:分别获取所述音量控件的特征因子和所述全屏控件的特征因子,所述特征因子包括重合匹配度因子、重要程度因子、出现时长因子、操作频度因子和伤害程度因子;通过目标控件选择模型对所述音量控件的特征因子和所述全屏控件的特征因子进行处理,确定所述音量控件对应的点击优先度和所述全屏控件对应的点击优先度。
第三方面,本申请提供一种电子设备,电子设备包括存储器和处理器,所述存储器和所述处理器耦合;所述存储器存储有程序指令,所述程序指令由所述处理器执行时,使得所述电子设备执行第一方面,或者以上第一方面的任意一种实现方式中的方法的指令。
第四方面,本申请提供了一种服务器,包括存储器和处理器,所述存储器和所述处理器耦合;所述存储器存储有程序指令,所述程序指令由所述处理器执行时,使得所述服务器执行以下步骤:
基于决策树排序算法对大数据群体提供的操作控件时的用户行为数据进行训练,得到初始控件选择模型;
在接收到电子设备发送的获取目标控件选择模型的请求时,检查本地是否存在所述电子设备请求的所述目标控件选择模型;
在存在所述目标控件选择模型时,将所述目标控件选择模型发送给所述电子设备,所述目标控件选择模型基于所述电子设备发送的用户行为数据对所述初始控件选择模型进行优化训练后获得;
在不存在所述目标控件选择模型时,将所述初始控件选择模型发送给所述电子设备。
根据第四方面,当所述程序指令由所述处理器执行时,使得所述服务器还执行以下步骤:
接收所述电子设备发送的用户行为数据;
根据所述用户行为数据对所述初始控件选择模型进行优化训练,得到所述电子设备对应的所述目标控件选择模型。
第五方面,本申请提供了一种计算机可读介质,用于存储计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行第一方面,或者以上第一方面的任意一种实现方式中的方法的指令,或者执行第二方面,或者以上第二方面的任意一种实现方式中的方法的指令;当计算机程序在服务器上运行时,使得服务器执行第四方面,或者以上第四方面的任意一种实现方式中的方法的指令。
第六方面,本申请提供了一种芯片,该芯片包括处理电路、收发管脚。其中,该收发管脚、和该处理电路通过内部连接通路互相通信,该处理电路执行第一方面,或者以上第一方面的任意一种实现方式中的方法的指令,或者执行第二方面,或者以上第二方面的任意一种实现方式中的方法的指令,或者执行第四方面,或者以上第四方面的任意一种实现方式中的方法的指令,以控制接收管脚接收信号,以控制发送管脚发送信号。
第七方面,本申请提供一种点击操作的处理系统,该系统包括上述第三方面涉及的电子设备和第四方面涉及的服务器。
附图说明
图1是示例性示出的一种电子设备的硬件结构示意图;
图2是示例性示出的本申请实施例提供的点击操作的处理方法要解决的场景示意图之一;
图3是示例性示出的本申请实施例提供的点击操作的处理方法要解决的场景示意图之二;
图4是示例性示出的本申请实施例提供的点击操作的处理方法要解决的场景示意图之三;
图5是示例性示出的本申请实施例提供的点击操作的处理方法要解决的场景示意图之四;
图6是示例性示出的本申请实施例提供的点击操作的处理方法要解决的场景示意图之五;
图7是示例性示出的本申请实施例提供的点击操作的处理方法要解决的场景示意图之六;
图8是示例性示出的本申请实施例提供的点击操作的处理方法要解决的场景示意图之七;
图9是示例性示出的本申请实施例提供的点击操作的处理方法要解决的场景示意图之八;
图10是示例性示出的本申请实施例提供的点击操作的处理方法要解决的场景示意图之九;
图11是示例性示出的本申请实施例提供的点击操作的处理方法要解决的场景示意图之十;
图12是示例性示出的本申请实施例提供的点击操作的处理方法要解决的场景示意图之十一;
图13是示例性示出的本申请实施例提供的点击操作的处理方法要解决的场景示意图之十二;
图14是示例性示出的本申请实施例提供的点击操作的处理方法要解决的场景示意图之十三;
图15是示例性示出的本申请实施例提供的点击操作的处理方法要解决的场景示意图之十四;
图16是示例性示出的本申请实施例提供的点击操作的处理方法要解决的场景示意图之十五;
图17是示例性示出的本申请实施例提供的点击操作的处理方法的流程示意图;
图18是示例性示出的本申请实施例提供的点击操作的处理方法中使用的控件选择模型的一种优化示意图;
图19是示例性示出的本申请实施例提供的点击操作的处理方法中使用的控件选择模型的另一优化示意图;
图20是示例性示出的基于本申请实施例提供的点击操作的处理方法对重叠的全屏控件和音频控件做出处理的一种界面示意图之一;
图21是示例性示出的基于本申请实施例提供的点击操作的处理方法对重叠的全屏控件和音频控件做出处理的一种界面示意图之二;
图22是示例性示出的基于本申请实施例提供的点击操作的处理方法对重叠的全屏控件和音频控件做出处理的一种界面示意图之三;
图23是示例性示出的基于本申请实施例提供的点击操作的处理方法对重叠的全屏控件和音频控件做出处理的一种界面示意图之四;
图24是示例性示出的基于本申请实施例提供的点击操作的处理方法对重叠的全屏控件和音频控件做出处理的一种界面示意图之五。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元;多个系统是指两个或两个以上的系统。
为了更好的理解本申请实施例提供的技术方案,在对本申请实施例的技术方案说明之前,首先结合附图对本申请实施例适用于的电子设备(例如手机、平板设备、PC设备等)的硬件结构进行说明。
参见图1,电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
示例性的,音频模块170可以包括扬声器170A、受话器170B、麦克风170C、耳机接口170D等。
示例性的,传感器模块180可以包括压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。
具体到本申请实施例提供的技术方案中,点击操作具体是作用于显示屏194中显示的控件,而关于点击操作的监听例如可以是通过触摸传感器实现,而点击操作对应的点击位置例如可以是通过压力传感器确定的。
此外,在一些实施例中,对于点击操作是为了调节音量的场景,在进行音量调节时还可以考虑扬声器,或耳机当前播放的音量;而在另一些实施例中,对于点击操作是为了调节屏幕亮度的场景,在进行亮度调节时还可以通过环境光传感器确定当前环境的亮度,以根据实际的环境调节作出合理的响应。
关于电子设备100的硬件结构就介绍到此,应当理解的是,图1所示电子设备100仅是一个范例,在具体实现中,电子设备100可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图1中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
基于图1所示的硬件结构,具体到实际应用中,需要借助本申请实施例提供的技术方案对点击操作进行处理以避免误触的场景大致有如下几种:
场景1:
示例性的,参见图2,对于一些视频类应用,目前为了避免青少年长时间观看,通常提供了青少年守护模式。以安装这些视频类应用的电子设备是手机为例,具体的,当用户点击图2(1)中安装在手机中的视频应用时,手机响应于该点击操作会跳转到视频应用的主页面,例如图2(2)所示,紧接着对于提供青少年守护模式的该类视频应用,在处于图2(2)所示的主页面时可能会在某一时刻,例如跳转到图2(2)所示的主页面后的5s弹出图2(3)所示的开启青少年守护模式的弹窗。如果此时用户正要点击主页面中显示的“视频B”对应的控件,而此时由于开启青少年守护模式的弹窗正好出现在“视频B”对应的控件上,这样用户原本对“视频B”对应的控件的点击操作就会被误认为是对开启青少年守护模式的弹窗中“开启青少年守护模式”控件的。这种情况下,手机响应于用户的点击操作就会跳转到开启青少年守护模式的详情界面,例如图2(4)所示。
场景2:
示例性的,参见图3,在一些应用场景中,为了收集用户对应用的评价,在用户使用应用的时候,可能会在应用的主页面弹出跳转到评价应用的界面。仍以用户触发的是视频应用为例,与上述场景1类似,当用户点击图3(1)中安装在手机中的视频应用时,手机响应于该点击操作会跳转到视频应用的主页面,例如图3(2)所示,并在处于图3(2)所示的主页面时可能会在某一时刻,例如跳转到图3(2)所示的主页面后的5s弹出图3(3)所示的弹窗。如果此时用户正要点击主页面中显示的“视频B”对应的控件,而此时由于提供跳转到撰写评论的点击操作就会被误认为是对图3(3)所示弹窗中“不好,提意见”控件的。这种情况下,手机响应于用户的点击操作就会跳转到撰写评论的界面,例如图3(4)所示。
场景3:
示例性的,参见图4,在一些应用场景中,为了便于用户及时获知有新版本发布,当某一应用有新版本发布时,可能会直接以弹窗的形式显示在手机的用户界面,仍以点击的应用为视频应用为例,在手机响应于用户的点击操作跳转到图4(2)所示的界面后,假设用户依旧想要点击“视频B”对应的空间,而在用户点击的瞬间恰巧弹出了图4(3)中所示的“发现新版本是否更新”的弹窗,而用户点击操作对应的点击位置恰好落在该弹窗中“立即更新”的控件上,那么在现有的方案中,手机响应于该点击操作,就会跳转到视频应用更新的页面,例如图4(4)所示。
场景4:
示例性的,在一些直播类应用、视频类应用的播放界面中,用于实现全屏播放的全屏控件与用于调节音量的音量控件会存在重合,故而当用户触发的点击操作对应的点击位置既有全屏控件,又有音量控件时,对该点击操作的响应行为就会有两种不同的表现形式。一种是用户实际想要调节音量,结果手机误认为需要实现全屏,这样手机响应于用户的点击操作后,就会将当前播放的画面调整为全屏播放,例如图5所示;另一种是用户实际想要将当前画面设置为全屏,结果手机误认为需要调节音量,这样手机响应于用户的点击操作后,就会将当前音量调整到最大音量,例如图6所示。
需要说明的,在实际应用中,图5和图6中显示的音量控件例如可以是通过手机侧面的机械按键跳出的,因此当用户操作弹出的音量控件时,手机可能每一识别到用户的滑动手势,而将最终停止互动的位置,或者开始滑动的位置误认是用户的点击操作,如果该点击操作对应的点击位置恰好落在了全屏控件的区域,手机就会误认为当前的操作是实现全屏的操作。
相应地,在用户实际是要点击全屏控件时,如果不小心误触了手机侧边的机械键跳出的了音量控件,则在点击全屏控件的时候,手机便可能误以为该操作是针对音量控件的。
场景5:
示例性的,在多屏协同场景下,可能存在用户想要打开手机投放在Pad上操作界面下的备忘录应用(安装在Pad上),例如图7所示,但是误触了靠近备忘录的显示界面上的关闭按钮,结果pad的界面就变成了图8所示。
示例性的,在多屏协同场景下,还可能存在用户想要关闭手机投放在Pad上的操作界面,但是点击操作确被误判为打开Pad上的备忘录应用,结果pad的界面就变成了图9所示。
场景6:
示例性的,参见图10,在一些实现场景中,用户想要给搜索出的张三打电话,结果在点击图10(1)中张三一栏上的电话控件时,弹出了接收到新邮件的通知,结果点击操作被误认为是对刚刚弹出的通知栏的操作,例如图10(2)所示,这种情况下,手机响应于该点击操作就会跳转到邮件界面,例如图10(3)所示。
示例性的,参见图11,在一些实现场景中,例如用户想要给图11(1)界面中的张五拨打电话,但是此次弹出了接收到新邮件的通知,例如图11(2)所示,此次如果用户想要向上滑动通知栏,暂时忽略掉通知栏中的内容,结果操作过程中误触了拨打张三电话的控件,这种情况下,手机响应于该点击操作就会跳转到呼叫张三的呼叫界面,例如图11(3)所示。
场景7:
示例性的,在一些应用场景中,例如手机的显示界面上层有悬浮窗口(例如12和图13中的播放视频画面的大窗口,以及图14和图15中开启视频播放画面的悬浮图标),用户可能想要关闭播放视频画面的大窗口,结果点击操作却被误认为开启悬浮窗口下的备忘录应用,进而手机响应于该点击操作后,界面从图12(1)所示的内容切换为图12(2)所示的内容;另一种情况下则是用户实际想要开启悬浮窗口下的备忘录应用同时保持当前界面继续以悬浮窗口播放视频画面,但是点击操作却被误认为关闭播放视频画面的大窗口,进而手机响应于该点击操作后,界面从图13(1)所示的内容切换为图13(2)所示的内容。
示例性的,在一些应用场景中,例如手机的显示界面上层有悬浮图标(例如图14和图15中开启视频播放画面的悬浮图标),用户想要开启悬浮图标下的备忘录应用同时保持当前界面继续显示该悬浮图标,但是点击操作却被误认为进入悬浮图标对应的播放界面,进而手机响应于该点击操作后,界面从图14(1)所示的内容切换为图14(2)所示的内容;另一种情况下则是用户实际想要进入悬浮图标对应的播放界面,但是点击操作却被误认为开启悬浮图标下的备忘录应用同时保持当前界面继续显示该悬浮图标,进而手机响应于该点击操作后,界面从图15(1)所示的内容切换为图15(2)所示的内容。
场景8:
示例性的,参见图16,在一些应用场景中,用户想要查看6:45分收到的短信,结果在点击的时候,接收到了一条新的短信,这样点击操作触发相同的位置时,会被认为要查看的是8:00接收到的短信,因此手机响应于该点击操作后,界面会变成图16(4)所示的内容。
应当理解的是,上述说明仅是为了更好的理解本实施例的技术方案而列举的示例能够适应于的场景,不作为对本实施例的唯一限制。以下结合图17对本申请实施例提供的用来解决上述场景存在的问题的技术方案进行具体说明。
参见图17,本申请实施例提供的技术方案的实现流程,具体包括:
步骤S101,在监听到点击操作时,确定所述点击操作对应的点击位置。
可理解的,目前的电子设备,例如手机、Pad等设备通常是通过触摸、点击屏幕的方式来实现对屏幕上显示的控件的操作,因而上述所说的点击操作实际就是用户对屏幕上某一位置的触摸、点击。
示例性的,关于上述所说的点击操作例如是由电子设备内部设置的触摸传感器进行监听的,而点击操作在屏幕上对应的点击位置,即具体的点击坐标则是由电子设备内部设置的压力传感器确定。
可理解的,在实际的应用中,压力传感器除了可以确定用户触发的点击操作在屏幕上的具体点击位置,还可以确定本次点击操作点击屏幕的压力值等信息。
步骤S102,在所述点击位置处存在重合的第一控件和第二控件时,分别获取所述第一控件的第一特征因子和所述第二控件的第二特征因子。
具体的说,在确定本次点击操作对应的点击位置后,可以根据当前屏幕显示的画面对应的布局,确定该布局中每一控件的位置信息,这样通过查找遍历每一控件包括的位置信息中是否有本次点击操作对应的点击位置,将所有包括本次点击操作对应的点击位置的控件筛选出来,即可确定本次点击位置处是否存在重合的控件。
相应地,在筛选出的控件大于等于两个时,说明点击位置处存在重合的控件。
为了便于说明,本实施例以点击位置处存在两个重合的控件,即第一控件和第二控件为例。
相应地,在确定点击位置处存在重合的第一控件和第二控件时,为了避免电子设备误将对第一控件的点击操作认为是对第二控件的,或者将对第二控件的点击操作认为是对第一控件的,本实施例提供的技术方案需要根据存在重合的两个控件的多个特征因子进行分析处理,因此需要分别获取第一控件的第一特征因子和第二控件的第二特征因子。
此外,可理解的,关于上述所说的重合,在一些实施例中,可以是第一控件与第二控件的部分区域重合,也可以是第一控件与第二控件全部重合。
步骤S103,通过目标控件选择模型对所述第一特征因子和所述第二特征因子进行处理,确定所述第一控件对应的第一点击优先度和第一点击伤害度,以及所述第二控件对应的第二点击优先度和第二点击伤害度。
示例性的,在一种实现方式中,本实施例中用来确定每一控件点击优先度和点击伤害度的目标控件选择模型例如可以是由服务器基于决策树排序算法训练获得的,这种方式将训练模型的压力转移到服务器,从而降低了对电子设备性能的要求,使得本实施例提供的技术方案能够适用于更多的电子设备。
示例性的,在另一种实现方式中,本实施例中用来确定每一控件点击优先度和点击伤害度的目标控件选择模型也可以是由电子设备自己基于决策树排序算法训练获得的,这种方式电子设备无需与服务器进行交互,即便没有网络也可以实现。
为了便于说明,本实施例以目标控件选择模型由服务器基于决策树排序算法训练获得为例。
需要说明的,本实施例提供的技术方案为了对不同控件在不同条件下是否点击误触实现精确的判定,故而训练目标控件选择模型所需的训练数据要包括多种维度的特征因子。
示例性的,这些特征因子例如可以重合匹配度因子、重要程度因子、出现时长因子、操作频度因子和伤害程度因子。
示例性的,重合匹配度因子,又可以细化为控件面积、控件重合程度、点击位置、点击位置与控件匹配度。
其中,控件面积是用来表征控件在N*N单位像素下所占的面积,N为大于0的数;控件重合程度是用来表征每组参与排序(点击优先度和点击伤害度)的控件相互之间的面积重合程度;点击位置即本次点击操作在N*N单位面积小所处的位置坐标;点击位置与控件匹配度则是用来判断本次点击操作是否在控件所占的面积中,依据本次点击操作位于控件的核心位置或偏远位置程度。
示例性的,重要程度因子具体通过控件操作类型来表征,例如设置系统操作型的优先级低于第三方应用程序(Application,APP)操作型的优先度。
示例性的,出现时长因子具体是指控件在屏幕中出现的时长,具体是本次点击操作若不经算法处理下,本应进行操作的控件在屏幕中出现的历史时长。
示例性的,操作频度,又可以细化为每天点击控件的次数和单位时间内点击控件的次数。
其中,每天点击控件的次数为本次点击操作若不经算法处理下,本应进行响应于点击操作的控件经大数据统计平均每个用户每天点击次数;单位时间内点击控件的次数为用户单位时间,例如5s内尝试点击该控件的次数,次数越大证明本次排序的错误可能越大,用户在反复尝试点击。
示例性的,伤害程度因子是点击操作对用户造成伤害的严重程度等级。关于用户点击该操作后所造成伤害性等级,包括但不限于物理伤害(例如调整音量过大,调整屏幕亮度过大等)以及对用户体验的伤害(手机重置、恢复出厂设置等)。
关于上述列举的几种特征因子,以及每一特征因子包括的具体特征信息对应的特征值阈,例如可以如表1所示。
表1训练目标控件选择模型的训练数据包括的特征因子表
Figure GDA0003751138490000121
应当理解的是,上述说明仅是为了更好的理解本实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
基于表1给出的维度,服务器在采用决策树排序算法对大数据群体数据进行训练时,训练流程如下:
1、对训练数据进行预处理
示例性的,可以先按照N*N的像素单位对屏幕进行分割,接着获取每个单位下各类系统应用和常用第三方应用的控件样本,并进行点击训练,然后按照表1中的特征因子对控件进行划分和预处理。
可理解的,关于划分屏幕时所依据的N*N的像素单位,可以根据实际的业务要求,比如要求是训练精度来设置,本实施例对此不做限制。
此外,对控件的点击训练,例如可以包括伤害性点击,误触点击和正常点击。
所谓伤害性点击例如可以是采用暴力点击屏幕中的控件;所谓误触点击例如可以是重合位置处的第一控件响应于点击操作后,用户立马退出响应于针对第一控件的点击操作的界面,重新对重合位置进行点击操作,直到第二控件响应于点击操作,以说明之前的点击误触点击;所谓正常点击,即针对每一次点击操作做出的响应,用户都没有返回之前的界面重新进行点击操作。
应当理解的是,上述说明仅是为了更好的理解本实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
2、训练过程
进一步地,在按照表1中5个类型的特征因子进行划分后,可以将按照这5中类型的特征因子对应的数据作为决策树排序(Gradient Boosting Decision Tree,FBDT)算法训练控件选择模型(具体为初始控件选择模型)的输入数据,并按照预算的迭代次数和权重缩减系数进行迭代训练,在每一次训练过程中不断的进行调参优化,直到输出的控件选择模型满足对应的业务需求为止。
接着,对于每个点击操作涉及的控件,按照表1给出的上述特征因子,将点击操作对应的上述特征因子重新输入到已经训练好的控件选择模型便可以得到每个控件对应的点击优先度和点击伤害度。
示例性的,当点击优先度越高,表明用户点击该控件的意图越强;当点击伤害度越高,表明用户点击该控件的危险程度越高。
这样根据点击优先度和点击伤害度便可以确定用户究竟想要点击哪一个控件,以及用户点击该控件后是否存在一定的危险程度。
通过上述描述可知,控件选择模型时由服务器训练的,因此为了确保步骤S102获取到的第一控件的第一特征因子和第二控件的第二特征因子能够被目标控件选择模型进行分析处理,进而得到第一控件的第一点击优先度和第一点击伤害度,以及第二控件的第二点击优先度和第二点击伤害度,在监听到点击操作之前,或者获取到第一特征因子和第二特征因子之后,电子设备需要先检测本地是否存在上述所说的目标控件选择模型。
相应地,若本地存在,则可以直接执行上述步骤S103;否则,电子设备需要从服务器获取目标控件选择模型。
具体的说,在本实施例中,为了尽可能减小对服务器的训练压力,同时又能使得训练出的控件选择模型能够适合大部分用户群体,服务器首次训练处的控件选择模型可以是基于大数据群体用户提供的用户行为数据,即用户操作屏幕中控件的时生成的数据,训练一个初始控件选择模型,然后将训练出的初始控件选择模型分别推送给各个提供用户行为数据的电子设备,例如图18中的手机1、手机2和手机3,或者在接收到各个电子设备的请求后,再将训练出的初始控件选择模型推送给对应的电子设备。
进一步地,为了实现对用户的因人而异,实现个体差异,服务器还可以收集每个使用初始控件选择模型的电子设备后续生成的用户行为数据,然后根据不同用户行为数据分别对初始控件选择模型进行优化训练,进而得到针对不同电子设备的目标控件选择模型,并分别将不同电子设备的目标控件选择模型推送给对应的电子设备使用,例如图19所示。
也就是说,在电子设备本地不存在所述目标控件选择模型时,需要向所述服务器发送获取所述目标控件选择模型的请求,而在电子设备向服务器发送获取目标控件选择模型的请求前,如果没有想服务器发送过使用初始控件选择模型确定的目标控件对点击操作的响应消息生成的用户行为数据,则说明服务器中不存在基于所述用户行为数据对初始控件选择模型进行优化训练后的目标控件选择模型,那么服务器推送给电子设备的依旧是基于大数据群体用户的行为数据训练处的初始控件选择模型。这样,电子设备接收到服务器发送的初始控件选择模型后,在获取到服务器推送的目标控件选择模型前,只能将初始控件选择模型作为目标控件选择模型使用。
步骤S104,根据所述第一点击优先度、所述第一点击伤害度、所述第二点击优先度和所述第二点击伤害度从所述第一控件和所述第二控件中选择一个作为目标控件,并控制所述目标控件响应于所述点击操作。
示例性的,具体到本实施例中,具体是根据所述第一点击优先度和所述第二点击优先度从所述第一控件和所述第二控件中选择一个作为所述目标控件,然后根据所述目标控件对应的点击伤害度,控制所述目标控件响应于所述点击操作。
通过上述描述可知,点击优先度越高,表明用户点击的意图越强,因此上述所说的根据所述第一点击优先度和所述第二点击优先度从所述第一控件和所述第二控件中选择一个作为所述目标控件,具体到本实施例中具体是在所述第一点击优先度高于所述第二点击优先度时,选择所述第一控件作为所述目标控件;在所述第二点击优先度高于所述第一点击优先度时,选择所述第二控件作为所述目标控件。即,选择点击优先度高的作为目标控件。
此外,需要说明的是,具体到实际的应用场景中,会存在一些点击操作的点击伤害度较高,但是该点击操作所针对的目标控件确实是用户想要点击的控件,并且当前的点击操作也是正常点击,此外为了避免直接响应于该点击操作给用户带来的伤害,可以根据业务需求向用户做出提示。
也就是说,在根据所述目标控件对应的点击伤害度,控制所述目标控件响应于所述点击操作时,可以先判断目标控件对应的点击伤害度是否低于伤害度阈值。
相应地,在所述目标控件对应的点击伤害度低于伤害度阈值时,可以直接控制所述目标控件响应于所述点击操作;反之,即所述目标控件对应的点击伤害度不低于所述伤害度阈值时,可以向用户做出提示,提示用户是否对所述目标控件执行所述点击操作,并在确定需要对所述目标控件执行所述点击操作时,控制所述目标控件响应于所述点击操作。
示例性的,关于向用户做出的提示,例如可以是以弹窗的方式提示用户是否对所述目标控件执行所述点击操作,或者以语音的方式提示用户是否对所述目标控件执行所述点击操作。
这种处理方式可以应用于上述提到的各个场景中,在具体到每个不同的场景时,根据点击的控件的不同和条件的不同对目标控件选择模型进行优化,然后根据优化后的目标控件选择模型确定目标控件和是否响应于点击操作即可。
示例性的,应用到图2所示的场景中时,可以获取该视频软件当前登陆的用户账号信息,确定用户的年龄,或者通过前置摄像头采集用户头像确定用户年龄段,如果用户是青少年,那么该点击操作就向响应于开启及青少年守护模式;反之,则打开视频B。
示例性的,应用到图3所示的场景中时,可以根据用户使用电子设备期间对其他应用的评价习惯来确定用户是否喜欢对应用进行评价,如果确定不喜欢,则控制“视频B”的控件响应于点击操作,即打开视频B;反之,则跳转到撰写评论界面。
示例性的,应用到图4所示的场景中时,可以根据用户更新应用的习惯来作为点击优先度的计算依据,例如在该视频应用每次发布新版本时用户都会及时更新,那么这种情况下,用户点击“立即更新”的点击优先度就会高于“视频B”控件的点击优先度;反之,用户点击“视频B”控件的点击优先度就会高于“立即更新”的点击优先度。
示例性的,应用到图7至图9所示的场景时,可以根据用户的历史使用记录,以及电子设备当前模式来计算点击优先度。
例如,对于电子设备当前选择的是会议模式,这种情况下说明书用户此时处于会议中,因此有很大的概率是需要使用备忘录记录会议内容,即备忘录应用这一控件对应的点击优先度会较高。
还比如,根据用户开启多屏协同模式的历史使用记录可知,如果用每天8:00到12:00会使用多屏协同模式,而之后的时间则不使用,那么在当前点击操作的触发时间是12:00之后时,关闭投屏画面的点击优先度会较高。
示例性的,应用到图10和图11所示的场景时,计算点击优先度的时候,同样可以参考用户的历史使用习惯,以及弹出内容的重要性,本实施例对此不做限制。
示例性的,应用到图12至图15所示的场景时,点击操作的处理方式可以参见图图7至图9所示的场景,此处不再赘述。
示例性的,应用到图16所示的场景场景时,可以根据点击位置处的消息和与该相信相邻的信息的时间,以及点击操作对应的时间,以及用户每次优先查看哪一用户的消息等特征来确定点击不同消息的点击优先度,进而确定时点击图16中用户为“77777”,消息接收时间是8:00的消息,还是点击用户为“11111”,消息接收时间是6:45的消息。
应当理解的是,上述说明仅是为了更好的理解本实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
由此,本申请实施例提供的方法,在一次点击操作作用于的控件不唯一,即点击操作对应的点击位置存在重合的控件时,基于决策树排序算法训练获得的目标控件选择模型对重合的每一控件的重合匹配度因子、重要程度因子、出现时长因子、操作频度因子和伤害程度因子进行分析处理,进而确定本次点击操作作用于每一控件的点击优先度和点击伤害度,从而通过多特征因子实现了对不同控件在不同条件下是否点击误触实现精确的判定,最终根据每一控件的点击优先度和点击伤害度来确定本次点击操作最终需要作用于的控件,并由确定的控件来响应于本次点击操作,有效保避免了误操作导致的不良后果,提升了用户体验。
为了更好的理解,以下结合图20至图24以第一控件为音量控件,第二控件为全屏控件为例,对用户做出的点击操作的处理进行说明。
示例性的,参见图20(1),在电子设备,例如手机的显示界面中显示有多个应用的图标,例如时钟图标、日历图标、图库图标、备忘录图标、文件管理图标、电子邮件图标、音乐图标、计算器图标、视频图标、运动健康图标、天气图标、浏览器图标、设置图标、录音机图标等,此处不再一一列举,本实施例对此不做限制。
示例性的,当用户点击图20(1)中的视频图标后,手机响应于用户的点击操作,显示界面中显示的内容会切换为图20(2)所示。
示例性的,参见图20(2),手机的显示界面中会显示可供用户选择的多媒体选项,例如视频A选项、视频B选项、视频C选项、视频D选项、视频E选项、视频F选项、视频G选项等,此处不再一一列举,本实施例对此不做限制。
示例性的,当用户点击图20(2)中的视频G选项后,手机响应于用户的点击操作,显示界面便会显示与视频G选项相对应的多媒体画面,例如图20(3)所示。
示例性的,参见图20(3),在用户对多媒体画面10点击后,显示界面中还会显示全屏控件20,例如图20(4)所示。
可理解的,在实际的应用场景中,当用户点击多媒体画面后,显示界面中还可以显示播放进度条控件、暂停播放控件、返回控件等,此处不再一一列举,本实施例对此不做限制。
也就是说,手机在接收到用户对提供多媒体画面的应用的点击操作时,会在显示界面中显示多媒体选项。并且,由于显示的所述多媒体选项与所述多媒体画面相对应,因此所述多媒体选项被点击时所述显示界面播放相对应的所述多媒体画面。即,在接收到对所述多媒体选项的点击操作时,在所述显示界面中显示与所述多媒体选项相对应的所述多媒体画面,并在接收到对所述多媒体画面的点击操作时,在所述显示界面中显示所述全屏控件。
进一步地,当手机的显示界面显示的内容如图20(4)所示时,如果用户按压了手机侧边的音量键,或者通过特定手势,例如手指按压在显示界面显示多媒体画面的某一区域向上滑动或向下滑动时,便会触发音量调节操作。
示例性的,参见图21,在手机接收到用户触发的音量调节操作后,在显示界面中会显示音量控件30。
具体到本实施例提供的技术方案所适用于的场景中,音量控件30的第一部分30-1与全屏控件20部分重叠。
相应地,在所述音量控件和所述全屏控件同时显示的过程中,当监听到用户的点击操作时,需要确定点击操作对应的点击位置,然后在点击位置位于所述第一部分30-1,即音量控件30与全屏控件20的重叠区域时,采用本申请实施例提供的点击操作的处理方案中的目标控件选择模型确定全屏控件20的点击优先度和音量控件30的点击优先度,进而选择点击优先度高的控件响应于点击操作。
示例性的,参见图21,用户的点击操作对应的点击位置处存在重合的音量节控件和全屏控件,通过按照表1给出的特征因子的类型获取音量控件对应的特征因子和全屏控件对应的特征因子,然后将音量控件对应的特征因子和全屏控件对应的特征因子分别作为输入数据,分别输入控件选择模型(可能是初始控件选择模型,也可能是目标控件选择模型),进而得到音量控件对应的点击优先度和点击伤害度,以及全屏控件对应的点击优先度和点击伤害度。
示例性的,在所述音量控件的点击优先度高于所述全屏控件的点击优先度时,将所述音量值调整到所述第一部分对应的音量值,调整后的音量控件30对应的音量条如图22(1)所示。
示例性的,在所述全屏控件的点击优先度高于所述音量控件的点击优先度时,在所述显示界面全屏播放所述多媒体画面,即显示界面变成图22(2)所示。
示例性的,在所述音量控件的点击优先度等于所述全屏控件的点击优先度时,在所述显示界面弹出第一提示窗,例如图23中在显示界面中弹出的窗口40。
示例性的,所述第一提示窗40中可以包括第一选项和第二选项。其中,所述第一选项对应于所述音量控件,所述第二选项对应于所述全屏控件。
继续参见图23,第一选项可以直接为音量选项40-1,第二选项可以直接为全屏选项40-2。
进一步地,在显示界面弹出第一提示窗40之后,手机需要继续监听用户的点击操作。
相应地,在监听到用户对所述第一选项,即图23中的音量选项40-1的点击操作时,将所述音量值调整到所述第一部分对应的音量值,即调整后的音量控件30对应的音量条如图22(1)所示;在监听到用户对所述第二选项,即图23中的全屏选项40-2的点击操作时,在所述显示界面全屏播放所述多媒体画面,即显示界面变成图22(2)所示。
此外,需要说明的是,如果通过比较这两个控件对应的点击优先度,确定用户实际要点击的控件是音量控件,而音量的突然调高,会给用户带来不适,影响用户体验。因此,需要判断音量控件的点击伤害度是否低于伤害度阈值。
具体到图21的例子中,点击伤害度可以是根据音量划分的,例如将电子设备支持的音量范围从0~100,以10为单位划分为10个等级,例如0~10对应的伤害程度是1,11~20对应的伤害程度是2,21~30对应的伤害程度是3,31~40对应的伤害程度是4,41~50对应的伤害程度是5,51~60对应的伤害程度是6,61~70对应的伤害程度是7,71~80对应的伤害程度是8,81~90对应的伤害程度是9,91~100对应的伤害程度是10,那么伤害度阈值就是当前环境下让用户的听觉比较舒适的一个区间的值。
也就是说,音量控件对应的伤害度阈值的确定过程,需要先获取电子设备当前所处环境的音量值(后续称为第一音量值),然后根据第一音量值来确定伤害度阈值,例如当前环境下让用户的听觉比较舒适的一个区间的值为60,那么对应的伤害度阈值的伤害程度就是6,即伤害度阈值时6。
继续参见图21,具体到实际的应用场景中,由于点击位置位于音量控件的最顶端,这种情况下,电子设备在响应于该点击操作时,会将音量调节到最大,对于最大音量值为100的电子设备,按照上述划分对应的点击伤害度就是10。这样,在伤害度阈值时6,点击伤害度是10的情况下,点击伤害度明显高于伤害度阈值,为了避免给用户造成伤害,就会按照预设的提示方式向用户做出提示,例如以弹窗的方式,在当前界面弹出图24中的提示窗。
即,在所述音量控件的点击伤害度不低于所述伤害度阈值时,在所述显示界面弹出第二提示窗50。
参见图24,所述第二提示窗50中包括提示信息,例如图24中的“当前环境不适合将音量调到最大,是否继续?”、第三选项,例如图23中的继续选项50-1和第四选项,例如图24中的停止选项50-2。
通过图24所示可知,所述提示信息用于提示用户是否执行所述将所述音量值调整到所述第一部分对应的音量值的步骤,所述第三选项对应于所述音量控件,所述第四选项用于取消所述第一点击操作。
相应地,如果用户点击了继续选项50-1,则响应于用户调节音量的点击操作,将音量调节到最高,例如100;如果用户点击了停止选项50-2,则不调节音量,电子设备继续以当前的音量播放视频内容。
进一步地,具体到实际的应用场景中,为了做到既兼顾用户体验,又尽量减少用户介入,在点击伤害度高于伤害度阈值,对用户做出提示前,还可以进一步获取电子设备当前的音量值(后续称为第二音量值),然后确定目标控件如果响应于点击操作后,电子设备对应的音量值(后续称为第三音量值),即调节后的音量值,接着确定第二音量值和第三音量值的差值是否小于音量阈值。
相应地,如果小于,则说明将音量从第二音量值调节到第三音量值后,调节幅度不大,对用户影响较小,这种情况下可以不向用户做出提示,直接控制所述目标控件响应于所述点击操作的步骤;反之,则说明调节幅度较大,对用户的体验影响较大,这种情况下就需要向用户做出提示,由用户来决定是否还要继续调节音量。
也就是说,即便点击伤害度不低于伤害度阈值,但是由于调节前后的音量差值小于音量阈值,那么也是可以不向用户做出提示,直接控制目标控件响应于当前的点击操作的。
应当理解的是,上述说明仅是为了更好的理解本实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
另外,本申请实施例还提供一种计算机可读存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的点击操作的处理方法;当该计算机指令在上述服务器上运行时,使得服务器执行上述相关方法步骤实现上述实施例中的训练和优化控件选择模型的方法。
另外,本申请的实施例还提供一种芯片(也可以是组件或模块),该芯片可包括一个或多个处理电路和一个或多个收发管脚;其中,所述收发管脚和所述处理电路通过内部连接通路互相通信,所述处理电路执行上述相关方法步骤实现上述实施例中的点击操作的处理方法,或者训练和优化控件选择模型的方法,以控制接收管脚接收信号,以控制发送管脚发送信号。
另外,本申请的实施例还提供一种点击操作的处理系统,其中该系统中的电子设备用于执行上述相关步骤,以实现上述实施例中的点击操作的处理方法,该系统中的服务器用于执行上述相关方法步骤实现上述实施例中的训练和优化控件选择模型的方法。
此外,通过上述描述可知,本申请实施例提供的电子设备、服务器、计算机可读存储介质或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
此外,应当理解的是,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的。

Claims (16)

1.一种点击操作的处理方法,其特征在于,应用于具有显示界面的电子设备,所述方法包括:
在所述显示界面中显示多媒体画面和全屏控件,所述多媒体画面为非全屏播放,所述全屏控件被点击时所述多媒体画面被全屏播放;
在接收到音量调节操作后,显示音量控件,所述音量控件的第一部分与所述全屏控件重叠;
当接收到对所述第一部分的点击操作后,全屏播放所述多媒体画面;
分别获取所述音量控件的特征因子和所述全屏控件的特征因子,所述特征因子包括重合匹配度因子、重要程度因子、出现时长因子、操作频度因子和伤害程度因子,所述出现时长因子是指控件在屏幕中出现的时长,具体是本次点击操作若不经算法处理下,本应进行操作的控件在屏幕中出现的历史时长;
通过目标控件选择模型对所述音量控件的特征因子和所述全屏控件的特征因子进行处理,确定所述音量控件对应的点击优先度和所述全屏控件对应的点击优先度;
在所述全屏控件的点击优先度高于所述音量控件的点击优先度时,全屏播放所述多媒体画面。
2.根据权利要求1所述的方法,其特征在于,所述在所述显示界面中显示多媒体画面和全屏控件,包括:
在接收到对提供所述多媒体画面的应用的点击操作时,在所述显示界面中显示多媒体选项,所述多媒体选项与所述多媒体画面相对应,所述多媒体选项被点击时所述显示界面播放相对应的所述多媒体画面;
在接收到对所述多媒体选项的点击操作时,在所述显示界面中显示与所述多媒体选项相对应的所述多媒体画面;
在接收到对所述多媒体画面的点击操作时,在所述显示界面中显示所述全屏控件。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述音量控件的点击优先度高于所述全屏控件的点击优先度时,将音量调节到最大音量值。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在所述音量控件的点击优先度等于所述全屏控件的点击优先度时,在所述显示界面弹出第一提示窗,所述第一提示窗中包括第一选项和第二选项,所述第一选项对应于所述音量控件,所述第二选项对应于所述全屏控件。
5.根据权利要求4所述的方法,其特征在于,在所述显示界面弹出第一提示窗之后,所述方法还包括:
在接收到对所述第一选项的点击操作时,将音量调节到最大音量值;
在接收到对所述第二选项的点击操作时,全屏播放所述多媒体画面。
6.根据权利要求3所述的方法,其特征在于,在所述音量控件的点击优先度高于所述全屏控件的点击优先度时,将音量调节到最大音量值之前,所述方法还包括:
确定所述音量控件的点击伤害度;
在所述音量控件的点击伤害度低于伤害度阈值时,执行所述将音量调节到最大音量值的步骤;
在所述音量控件的点击伤害度不低于所述伤害度阈值时,在所述显示界面弹出第二提示窗,所述第二提示窗中包括提示信息、第三选项和第四选项,所述提示信息用于提示用户是否执行所述将音量调节到最大音量值的步骤,所述第三选项对应于所述音量控件,所述第四选项用于取消所述点击操作。
7.根据权利要求6所述的方法,其特征在于,在所述显示界面弹出第二提示窗之后,所述方法还包括:
在接收到对所述第三选项的点击操作时,将音量调节到最大音量值;
在接收到对所述第四选项的点击操作时,继续在所述显示界面的视频区域播放所述多媒体画面。
8.一种点击操作的处理方法,其特征在于,包括:
在监听到点击操作时,确定所述点击操作对应的点击位置;
在所述点击位置处存在重合的第一控件和第二控件时,分别获取所述第一控件的第一特征因子和所述第二控件的第二特征因子,所述第一特征因子和所述第二特征因子均包括重合匹配度因子、重要程度因子、出现时长因子、操作频度因子和伤害程度因子;
通过目标控件选择模型对所述第一特征因子和所述第二特征因子进行处理,确定所述第一控件对应的第一点击优先度和第一点击伤害度,以及所述第二控件对应的第二点击优先度和第二点击伤害度;
根据所述第一点击优先度、所述第一点击伤害度、所述第二点击优先度和所述第二点击伤害度从所述第一控件和所述第二控件中选择一个作为目标控件,并控制所述目标控件响应于所述点击操作。
9.根据权利要求8所述的方法,其特征在于,所述根据所述第一点击优先度、所述第一点击伤害度、所述第二点击优先度和所述第二点击伤害度从所述第一控件和所述第二控件中选择一个作为目标控件,并控制所述目标控件响应于所述点击操作,包括:
根据所述第一点击优先度和所述第二点击优先度从所述第一控件和所述第二控件中选择一个作为所述目标控件;
根据所述目标控件对应的点击伤害度,控制所述目标控件响应于所述点击操作。
10.根据权利要求9所述的方法,其特征在于,所述根据所述第一点击优先度和所述第二点击优先度从所述第一控件和所述第二控件中选择一个作为所述目标控件,包括:
在所述第一点击优先度高于所述第二点击优先度时,选择所述第一控件作为所述目标控件;
在所述第二点击优先度高于所述第一点击优先度时,选择所述第二控件作为所述目标控件。
11.根据权利要求9所述的方法,其特征在于,所述根据所述目标控件对应的点击伤害度,控制所述目标控件响应于所述点击操作,包括:
在所述目标控件对应的点击伤害度低于伤害度阈值时,控制所述目标控件响应于所述点击操作;
在所述目标控件对应的点击伤害度不低于所述伤害度阈值时,提示用户是否对所述目标控件执行所述点击操作;
在确定对所述目标控件执行所述点击操作时,控制所述目标控件响应于所述点击操作。
12.根据权利要求11所述的方法,其特征在于,所述提示用户是否对所述目标控件执行所述点击操作,包括:
以弹窗的方式提示用户是否对所述目标控件执行所述点击操作;
或者,
以语音的方式提示用户是否对所述目标控件执行所述点击操作。
13.根据权利要求8至12任一项所述的方法,其特征在于,所述目标控件选择模型由服务器基于决策树排序算法训练获得;
在所述通过目标控件选择模型对所述第一特征因子和所述第二特征因子进行处理之前,所述方法还包括:
检测本地是否存在所述目标控件选择模型;
在本地不存在所述目标控件选择模型时,向所述服务器发送获取所述目标控件选择模型的请求;其中,在未向所述服务器发送用户行为数据前,所述服务器中不存在所述目标控件选择模型,所述用户行为数据根据所述目标控件对所述点击操作的响应信息生成;
接收所述服务器发送的初始控件选择模型,将所述初始控件选择模型作为所述目标控件选择模型;其中,所述初始控件选择模型由所述服务器基于所述决策树排序算法对群体样本数据训练获得。
14.根据权利要求13所述的方法,其特征在于,在所述控制所述目标控件响应于所述点击操作之后,所述方法还包括;
根据所述目标控件对所述点击操作的响应信息生成用户行为数据;
将所述用户行为数据发送给所述服务器,供所述服务器根据所述用户行为数据对所述初始控件选择模型进行优化训练;
接收所述服务器优化训练后的所述初始控件选择模型对本地存储的所述目标控件选择模型进行替换。
15.一种电子设备,特征在于,包括:存储器和处理器,所述存储器和所述处理器耦合;所述存储器存储有程序指令,所述程序指令由所述处理器执行时,使得所述电子设备执行如权利要求1至7中任意一项所述的点击操作的处理方法,或者执行如权利要求8至14中任意一项所述的点击操作的处理方法。
16.一种计算机可读存储介质,包括计算机程序,其特征在于,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至7中任意一项所述的点击操作的处理方法,或者执行如权利要求8至14中任意一项所述的点击操作的处理方法。
CN202111308242.3A 2021-11-05 2021-11-05 点击操作的处理方法、设备及存储介质 Active CN114168046B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111308242.3A CN114168046B (zh) 2021-11-05 2021-11-05 点击操作的处理方法、设备及存储介质
CN202211163803.XA CN115469787A (zh) 2021-11-05 2021-11-05 点击操作的处理方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111308242.3A CN114168046B (zh) 2021-11-05 2021-11-05 点击操作的处理方法、设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211163803.XA Division CN115469787A (zh) 2021-11-05 2021-11-05 点击操作的处理方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114168046A CN114168046A (zh) 2022-03-11
CN114168046B true CN114168046B (zh) 2022-10-14

Family

ID=80478107

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111308242.3A Active CN114168046B (zh) 2021-11-05 2021-11-05 点击操作的处理方法、设备及存储介质
CN202211163803.XA Pending CN115469787A (zh) 2021-11-05 2021-11-05 点击操作的处理方法、设备及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211163803.XA Pending CN115469787A (zh) 2021-11-05 2021-11-05 点击操作的处理方法、设备及存储介质

Country Status (1)

Country Link
CN (2) CN114168046B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115097980B (zh) * 2022-08-24 2022-12-02 成都智暄科技有限责任公司 一种小面积重叠透明控件选中方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653558A (zh) * 2014-11-28 2016-06-08 阿里巴巴集团控股有限公司 用户终端的功能推荐方法及其装置
CN111880704A (zh) * 2020-07-20 2020-11-03 北京百度网讯科技有限公司 应用程序处理方法、装置、设备和介质
CN113032082A (zh) * 2021-04-19 2021-06-25 北京新三优秀科技有限公司 一种控件显示方法、电子设备和计算机可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179277A (zh) * 2013-03-21 2013-06-26 广东欧珀移动通信有限公司 手机音视频播放模式切换方法及装置
CN105657564B (zh) * 2015-12-30 2018-04-20 广东欧珀移动通信有限公司 浏览器的视频处理方法及视频处理系统
CN106303655A (zh) * 2016-08-17 2017-01-04 珠海市魅族科技有限公司 一种媒体内容播放提示方法及装置
CN107102802A (zh) * 2017-04-19 2017-08-29 网易(杭州)网络有限公司 重叠目标选择方法及装置、存储介质、电子设备
CN108379839B (zh) * 2018-03-23 2019-12-10 网易(杭州)网络有限公司 控件的响应方法、装置和终端
CN109002339A (zh) * 2018-07-04 2018-12-14 Oppo广东移动通信有限公司 触控操作方法、装置、存储介质及电子设备
CN109388458A (zh) * 2018-09-26 2019-02-26 深圳壹账通智能科技有限公司 界面控件的管理方法、终端设备及计算机可读存储介质
CN109495552A (zh) * 2018-10-31 2019-03-19 北京字节跳动网络技术有限公司 用于更新点击率预测模型的方法和装置
CN109814797A (zh) * 2019-01-16 2019-05-28 努比亚技术有限公司 触控控制方法及移动终端、计算机可读存储介质
CN111338597A (zh) * 2020-02-24 2020-06-26 维沃移动通信有限公司 显示方法及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653558A (zh) * 2014-11-28 2016-06-08 阿里巴巴集团控股有限公司 用户终端的功能推荐方法及其装置
CN111880704A (zh) * 2020-07-20 2020-11-03 北京百度网讯科技有限公司 应用程序处理方法、装置、设备和介质
CN113032082A (zh) * 2021-04-19 2021-06-25 北京新三优秀科技有限公司 一种控件显示方法、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN114168046A (zh) 2022-03-11
CN115469787A (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN108363593B (zh) 应用程序预加载方法、装置、存储介质及终端
CN111176960B (zh) 一种用户操作行为跟踪方法、装置、设备及存储介质
US11928312B2 (en) Method for displaying different application shortcuts on different screens
US11237703B2 (en) Method for user-operation mode selection and terminals
CN109525707A (zh) 一种音频播放方法及移动终端
CN106303733B (zh) 播放直播特效信息的方法和装置
CN107402712B (zh) 一种触摸操作的响应方法、装置、存储介质及终端
EP3780676A1 (en) Method for automatically switching sim cards, and electronic apparatus
CN105739693A (zh) 一种屏幕横竖转换的方法、装置和移动终端
CN110083266B (zh) 信息处理方法、装置及存储介质
CN107465841B (zh) 一种故障信息上报方法及终端
CN104066009A (zh) 节目识别方法、装置、终端、服务器及系统
EP2418833A1 (en) Method for controlling communication setting of mobile terminal and mobile terminal
CN105955613A (zh) 一种控制方法及装置
CN109101290A (zh) 一种快捷控制设置方法、终端及计算机可读存储介质
CN114168046B (zh) 点击操作的处理方法、设备及存储介质
US11405499B2 (en) Do-not-disturb method and terminal
CN113039774B (zh) 一种对应用程序进行处理的方法、装置、电子设备和存储介质
JP6511499B2 (ja) サイドメニュー表示方法、装置及び端末
CN107807876B (zh) 分屏显示方法、移动终端及存储介质
CN111045540A (zh) 一种屏幕触控响应方法、装置、设备及计算机可读介质
EP4270938A1 (en) Video call method and device
CN108924308A (zh) 摄像头的调用方法、装置、存储介质及终端
CN108877742A (zh) 亮度调整方法及装置
CN109144643B (zh) 指纹识别提示方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant