CN112005296B - 利用机器学习来选择显示器 - Google Patents

利用机器学习来选择显示器 Download PDF

Info

Publication number
CN112005296B
CN112005296B CN201880092878.9A CN201880092878A CN112005296B CN 112005296 B CN112005296 B CN 112005296B CN 201880092878 A CN201880092878 A CN 201880092878A CN 112005296 B CN112005296 B CN 112005296B
Authority
CN
China
Prior art keywords
display
machine learning
learning model
displays
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880092878.9A
Other languages
English (en)
Other versions
CN112005296A (zh
Inventor
F·L·达西尔瓦
R·里巴尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN112005296A publication Critical patent/CN112005296A/zh
Application granted granted Critical
Publication of CN112005296B publication Critical patent/CN112005296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

描述了由电子设备执行的方法的示例。在所述方法的一些示例中，基于多个交互事件和对应的多个图像来训练机器学习模型。在一个示例中，所述多个交互事件中的每一个对应于所述多个显示器中的一个。在方法的一些示例中，基于机器学习模型来选择所述多个显示器中的一个显示器。在一个示例中，对象被呈现在该显示器上。

Description

利用机器学习来选择显示器
背景技术
计算机技术已经发展成为在社会上几乎无处不在并且已经被用于改进社会上的许多活动。例如，计算机用于执行各种任务，包括工作活动、交流、研究和娱乐。
附图说明
图1是可以被实现为利用机器学习来选择显示器的计算设备的示例的框图；
图2是图示用于利用机器学习来选择显示器的方法的示例的流程图；
图3是图示用于训练机器学习模型的方法的示例的流程图；
图4是图示用于验证机器学习模型的训练的方法的示例的流程图；
图5是图示用于利用机器学习来选择显示器的方法的示例的流程图；
图6是图示用于利用机器学习来选择显示器的机器可读存储介质的示例的框图；并且
图7是图示神经网络的示例的框图。
具体实施方式
本文描述了系统和方法的一些示例，所述系统和方法用于使用机器学习来在多显示器设置上进行对象定位，以用于注视检测。在其中用户具有多个显示器要查看的环境中，如果对象（例如，通知、窗口等）没有显示在当前正在被查看的显示器上，则该用户可能由于人类视觉在外围区域中的限制而错过该对象。例如，在具有十几个显示器的监控系统场景中，如果在信息呈现在另一个显示器上时用户正在关注特定的显示器，则负责监视的用户可能错过一些关于触发的警报或检测到的运动的信息。
本文描述的系统和方法的一些示例可以提供一种在使用多屏幕设置时检测用户正在看哪里以显示新的通知的自动方式。例如，可以使用机器学习模型（例如算法）和来自系统本身的训练样本来标识被查看的显示器（例如，监视器）以示出通知。当用户正在使用鼠标点击定位与程序交互时，可以基于从相机捕捉的图像来训练机器学习模型，以推断用户正在看哪里。
一些方法可以使用鼠标或其它定点设备的当前定位来选择显示器，但是当前定位可能不一定与当前正在被查看的显示器相对应。另一方法可以是将信息呈现在所有显示器上，但是该方法可能浪费显示和处理资源，并且可能不必要地使显示空间杂乱。因此，基于用户正在看哪里来确定正在被查看的显示器（“被查看的显示器”）可能是有益的。
本文描述的系统和方法的一些示例可以使用注视检测信息，以在具有多个显示器的受控环境中以更有效的方式显示通知。一些示例是自适应的，并使用机器学习技术。机器学习和自动训练（例如，非手动训练）的使用可能是有益的。例如，自动训练可以避免要求用户执行手动训练和/或可以避免要求用户遵循用于手动训练的特定指令，这可以提供更透明和方便的训练过程。在受控的场景中，由于用于检测的数据是从用户收集的，因此本文描述的系统和方法的一些示例可以更准确。
贯穿于附图，相同或相似的附图标记可以指定相似但不一定相同的元件。一些附图标记可以包括字母（例如，显示器126a、显示器126n）以区分项目的各个实例。当这样的附图标记省略字母时，该附图标记通常可以指代项目中的一个或多个、一些、任何一个或全部实例。例如，“显示器126”可以指代显示器126a-n中的一个或多个，显示器126a-n中的一些，显示器126a-n中的任何一个或者显示器126a-n中的全部。附图不一定是成比例的，并且某些部分的大小可能被放大以更清楚地图示所示出的示例。此外，附图提供与描述一致的示例和/或实施方式；然而，描述不限于附图中提供的示例和/或实施方式。
图1是可以被实现为利用机器学习来选择显示器的计算设备102的示例的框图。计算设备是包括处理器118和机器可读存储介质104（例如，存储器）的一种类型的电子设备。处理器118执行存储在机器可读存储介质104中的指令以执行各种各样的操作。例如，处理器118可以运行程序，该程序是在由处理器118执行时执行操作的一组指令或代码。程序的示例包括Web浏览器、文字处理器、日历应用、视频游戏、照片处理应用、文档阅读器、电子邮件应用、演示应用、视频回放应用、音频回放应用以及其它。
计算设备102的示例包括个人计算机、台式计算机、服务器计算机、平板计算机、膝上型计算机、智能电话、游戏机、智能装置、车辆控制台设备等。计算设备102可以包括处理器118、数据存储120、机器可读存储介质104和/或通信接口122。计算设备102可以包括附加的组件（未示出），和/或在不脱离本公开的范围的情况下本文描述的组件中的一些可以被移除和/或修改。
处理器118可以是中央处理单元（CPU）、基于半导体的微处理器、图形处理单元（GPU）、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、和/或适合于检索和执行存储在机器可读存储介质104中的指令的其它硬件设备。处理器118可以获取、解码和/或执行存储在机器可读存储介质104上的指令（例如，交互事件检测器106、机器学习模型110、显示器选择器112、训练器114和/或对象呈现事件检测器116）。应当注意，处理器118可以被配置为执行在一些示例中结合图2-7描述的功能、操作、步骤、方法等中的任何一个。
机器可读存储介质104（例如，存储器）可以是包含或存储电子信息（例如，指令和/或数据）的任何电子、磁、光学或其它物理存储设备。因此，机器可读存储介质104可以是例如随机存取存储器（RAM）、动态随机存取存储器（DRAM）、电可擦除可编程只读存储器（EEPROM）、磁阻随机存取存储器（MRAM）、相变RAM（PCRAM）、忆阻器、闪存、存储设备、硬盘驱动器、磁盘、闪存和光盘等。在一些实施方式中，机器可读存储介质104可以是非暂时性机器可读存储介质，其中术语“非暂时性”不涵盖暂时性的传播信号。机器可读存储介质104（例如，存储器）可以耦合到处理器118。存储在机器可读存储介质104（例如，存储器）上的指令集可以与处理器118协作（例如，可由处理器118执行）以执行本文描述的功能、操作、方法、步骤和/或过程中的任何一个。
可以存储在机器可读介质104中的指令和/或数据的示例包括交互事件检测器106指令、机器学习模型110指令、显示器选择器112指令、训练器114指令、对象呈现事件检测器116指令、图像108和/或显示器标识数据130。
在一些示例中，计算设备102还可以包括处理器118可以在其上存储信息的数据存储120。数据存储120可以是易失性和/或非易失性存储器，诸如动态随机存取存储器（DRAM）、EEPROM、磁阻随机存取存储器（MRAM）、相变RAM（PCRAM）、忆阻器、闪存、硬盘驱动器和磁盘等。在一些示例中，机器可读存储介质104可以被包括在数据存储120中。可替代地，机器可读存储介质104可以与数据存储120分离。在一些方法中，数据存储120可以存储与机器可读存储介质104存储的指令和/或数据相似的指令和/或数据。例如，数据存储120可以是非易失性存储器，而机器可读存储介质104可以是易失性存储器。
在一些示例中，计算设备102可以包括通信接口122。通信接口122可以使得能够实现计算设备102与一个或多个其它电子设备之间的通信。例如，通信接口122可以提供用于有线和/或无线通信的接口。在一些示例中，通信接口122可以使得能够实现一种或多种线缆和/或有线线路（例如，通用串行总线（USB）、数字视觉接口（DVI）、视频图形阵列（VGA）、高分辨率多媒体接口（HDMI）、显示端口、闪电、以太网、光纤线缆等）通信。例如，通信接口122可以包括一个或多个端口（例如，USB端口、DVI端口、VGA端口、HDMI端口、闪电端口、以太网端口等）。在一些示例中，通信接口122可以耦合到一个或多个天线（图1中未示出），以用于传送和/或接收射频（RF）信号。例如，通信接口122可以使得能够实现一种或多种无线（例如，个人局域网（PAN）、蓝牙、蜂窝、无线局域网（WLAN）等）通信。
在一些示例中，可以实现和/或利用多个通信接口122。例如，一个通信接口122可以是PAN（例如，蓝牙）通信接口122，另一通信接口122可以是通用串行总线（USB）接口，另一通信接口122可以是以太网接口，另一通信接口122可以是无线局域网（WLAN）接口（例如，电气和电子工程师协会（IEEE）802.11接口），和/或另一通信接口122可以是蜂窝通信接口122（例如，3G、长期演进（LTE）、码分多址（CDMA）等）。在一些配置中，（多个）通信接口122可以向电子设备（例如，（多个）相机124、显示器126、（多个）接口设备128等）发送信息（例如，（多个）图像捕捉命令、用于在显示器126上呈现的图像信息等）和/或从电子设备（例如，（多个）相机124、显示器126、（多个）接口设备128等）接收信息（例如，捕捉的（多个）图像、来自接口设备128的（多个）输入等）。
在一些示例中，计算设备102可以与（例如，耦合至或链接至）一个或多个相机124、显示器126和/或一个或多个接口设备128通信和/或包括一个或多个相机124、显示器126和/或一个或多个接口设备128。例如，一个或多个相机124、显示器126和/或接口设备128可以耦合到通信接口122。在一些示例中，一个或多个相机124、显示器126和/或接口设备128可以被包括在计算设备102中（例如集成到计算设备102中或作为计算设备102的一部分）。在一些示例中，计算设备102可以包括一个或多个集成和/或远程相机124、显示器126和/或接口设备128。例如，计算设备102可以包括集成显示器126，并且可以耦合到远程显示器126。在一些示例中，（多个）相机124、（多个）显示器126和/或（多个）接口设备128可以集成到一个设备中。例如，显示器126可以包括集成相机124和/或集成接口设备128（例如，触摸屏）。
相机124可以捕捉图像。例如，可以放置相机124，以便在用户正在使用计算设备102时捕捉用户（例如，用户的面部、眼睛等）的图像。相机124的示例包括网络摄像头、图像传感器、集成相机等。在一些示例中，一个或多个相机124可以与计算设备102有线和/或无线通信和/或可以被包括在计算设备102中。相机124可以向计算设备提供图像（例如，静止图像、视频帧、连拍图像等）。在一些示例中，相机124可以从计算设备102接收捕捉命令，并且可以响应于捕捉命令来捕捉图像。在一些示例中，可以不需要使相机124直接面对用户132。相机124可以具有包括用户132的视场。在一些示例中，相机124的定位可以随时间的经过（例如，随着不同的膝上型计算机或网络摄像头定位）而改变。
显示器126是提供光学输出的设备。可以利用多个显示器126来呈现对象（例如，图像、用户界面（UI）窗口、通知、用户界面控件、静止图像、视频等）。显示器的示例包括屏幕、监视器、液晶显示器（LCD）、有机发光二极管（OLED）显示器、电视显示器、等离子体显示器、阴极射线管（CRT）显示器、电子墨水（E ink）显示器等。在多显示器126a-n设置中，用户132可以将用户的注视134引导至显示器126a-n中的一个或多个。例如，用户的注视134可以一次主要指向显示器126a-n中的一个。
接口设备128是使得能够实现用户与计算设备102的交互的电子设备。可以利用一个或多个接口设备128来向计算设备102提供输入。接口设备128的示例包括鼠标、键盘、小键盘、触摸屏、触摸板、按键、开关、指针设备、控制器、操纵杆、运动设备、相机（例如用于手势识别）、麦克风（例如用于语音识别）等。在一些示例中，一个或多个接口设备128可以与计算设备102有线和/或无线通信，和/或可以被包括在计算设备102中。（多个）接口设备128可以感测用户输入（例如，触摸、点击、运动、触笔、手势、声音、致动等）。（多个）接口设备128可以向计算设备102发送和/或提供输入。在一些示例中，（多个）接口设备128可以发送指示输入的位置和/或动作的信息。例如，触摸屏可以发送指示划动运动的长度和方向和/或轻击的位置的信息。在另一示例中，鼠标可以发送指示移动的量和方向和/或点击输入的信息。
处理器118可以与机器可读存储介质104（例如，存储器）电子通信。如上所述，处理器118可以执行存储在机器可读存储介质104中的指令（例如，交互事件检测器106指令、机器学习模型110指令、显示器选择器112指令、训练器114指令和/或对象呈现事件检测器116指令）。指令可以被加载到处理器118中以供执行。
处理器118可以执行交互事件检测器106指令以实现和/或执行交互事件检测器106。交互事件检测器106可以从接口设备128接收多个输入。例如，执行交互事件检测器106指令的处理器118可以从一个或多个接口设备128接收指示一个或多个输入的信息。交互事件检测器106可以检测（例如，多个）交互事件中的一个或多个。交互事件是计算设备102对输入的响应。对来自接口设备128的点击、触摸、信号、手势、运动、声音和/或信息等的响应是交互事件。每个交互事件可以对应于显示器126a-n中的一个。例如，当接收到点击时光标位于其上的显示器可以指示交互事件与该显示器之间的对应性（例如，标识与交互事件相对应的显示器）。在另一示例中，从其接收触摸屏轻击的显示器可以指示交互事件与该显示器之间的对应性（例如，标识与交互事件相对应的显示器）。
交互事件检测器106可以标识显示器126a-n中的分别对应于多个输入的一个或多个。例如，交互事件检测器106可以根据与每个交互事件相对应的每个显示器来存储显示器标识数据130。显示器标识数据130可以指示显示器126a-n中的哪一个对应于每个输入和/或交互事件。
机器可读存储介质104可以从（多个）相机124接收多个图像。例如，机器可读存储介质104可以接收和存储多个图像108。在一些示例中，可以响应于一个或多个输入来捕捉多个图像108中的一个或多个。例如，当处于训练模式中时，处理器118可以响应于来自接口设备128的输入和/或响应于检测到交互事件而命令（多个）相机124捕捉图像。相应地，图像108中的一个或多个可以在接收到输入的时间处或接收到输入的时间附近（例如，在所述时间的一秒、0.5秒、0.1秒、50毫秒、10毫秒等内）和/或在发生交互事件的时间处或发生交互事件的时间附近（例如，在所述时间的一秒、0.5秒、0.1秒、50毫秒、10毫秒等内）描绘用户132（以及用户的注视134）。例如，当处于训练模式中时，计算设备102可以收集显示器标识数据130和与输入和/或交互事件相对应的图像108。
处理器118可以执行训练器114指令以实现和/或执行训练器114。训练器114可以基于多个图像108和所标识的显示器（例如，显示器标识数据130）来训练机器学习模型110。机器学习模型110是用于基于图像来推断显示器126a-n中的哪一个是被查看的显示器的模型或算法。如本文所使用的，术语“推断”及其变型可以意味着使用机器学习模型基于输入信息来计算可能的结果。例如，机器学习模型110可以基于输入图像来推断被查看的显示器。在一些示例中，推断被查看的显示器可以包括基于输入图像来计算多个显示器中的每一个可能是被查看的显示器的概率。推断出的被查看的显示器可以是具有最高计算概率的显示器。
机器学习模型110的示例包括神经网络。结合图7描述了神经网络的示例。在一些示例中，训练器114可以通过调整机器学习模型110的权重来训练机器学习模型110，以基于用户的图像来更准确地推断显示器126a-n中用户正在查看的一个显示器。例如，训练器114可以调整机器学习模型110的权重，使得机器学习模型110响应于输入和/或交互事件来从所捕捉的图像正确地标识被查看的显示器（例如，与输入和/或交互事件相对应的显示器）。训练机器学习模型110可以使得机器学习模型110能够基于图像来推断被查看的显示器。
在一些示例中，训练器114可以确定显示器126a-n的数量。例如，训练器114可以检测可供计算设备102使用的显示器126a-n的数量。在一些方法中，训练器114可以请求和/或接收如由计算设备102的操作系统指示的可供使用（或正在使用）的显示器126a-n的数量。在一些示例中，训练器114可以基于所述多个显示器的数量来设置机器学习模型110的输出的数量。例如，训练器114可以将机器学习模型110的输出的数量设置为等于所述多个显示器126a-n的数量。
处理器118可以执行机器学习模型110指令以实现和/或执行机器学习模型110。例如，处理器118可以使用机器学习模型110来确定显示器126a-n中被查看的显示器。在一些示例中，处理器118可以将来自相机124的图像提供给机器学习模型110，其中，机器学习模型110可以基于该图像来推断被查看的显示器。
在一些示例中，处理器118可以响应于对象呈现事件而利用机器学习模型110来确定被查看的显示器。对象呈现事件是其中计算设备102预期在显示器126上呈现对象的事件。对象呈现事件的示例是（例如，从应用或程序）用以呈现对象（例如，窗口、通知、图像、用户界面、按键、图标等）的对处理器118的调用。例如，通知事件可以是触发通知的呈现的对象呈现事件的示例。通知的示例包括通信（例如，即时消息传递（IM）、电子邮件、聊天、文本消息、语音邮件、电话呼叫等）通知、日历通知、警报通知、提醒通知、错误通知、安全通知（例如，运动检测通知、门警报通知、金属检测通知等）、系统通知（例如，恶意软件检测通知、软件更新通知等）、新闻通知、进度通知（例如，安装完成通知、渲染完成通知、仿真完成通知等）、广告通知、导航通知等。
在一些示例中，处理器118可以执行对象呈现事件检测器116指令，以实现和/或执行对象呈现事件检测器116。对象呈现事件检测器116可以检测对象呈现事件。例如，对象呈现事件检测器116可以检测用以呈现对象（例如，窗口、通知、图像、用户界面、按键、图标等）的对处理器118的调用。例如，对象呈现事件检测器116可以监视对使得呈现对象的一个或多个功能的调用。在一些示例中，对象呈现事件检测器116可以监视特定类型的对象呈现事件（例如，通知、来自一个或多个特定程序的通知等）。
处理器118可以在被查看的显示器上呈现对象。例如，处理器118可以在显示器126a-n中的如由机器学习模型110所指示的被查看的显示器上呈现对象。
在一些示例中，计算设备102可以省略结合图1描述的元件中的一个或多个。在一个示例中，计算设备102可以包括相机124、显示器126a-n和接口设备128，并且可以不包括通信接口122。在一些示例中，计算设备102可以省略数据存储120。应当注意，在一些示例中，在训练之后，推断和/或选择被查看的显示器可以基于响应于对象呈现事件而获得的单个图像。例如，计算设备102可以不对连续的帧运行推断。这可以帮助节省能量并减轻处理负载。在一些示例中，计算设备102可以对响应于对象呈现事件而获得的帧运行推断。在一些示例中，计算设备102可以对响应于对象呈现事件而获得的帧运行推断。
图2是图示用于利用机器学习来选择显示器的方法200的示例的流程图。方法200可以由电子设备来执行。例如，方法200可以由结合图1描述的计算设备102来执行。
在一些示例中，计算设备102可以检测多个交互事件。例如，检测多个交互事件可以如结合图1描述的那样来执行。例如，计算设备102可以响应于来自接口设备128的输入来检测交互事件。
在一些示例中，计算设备102可以获得与多个交互事件相对应的用户的多个图像。例如，可以如结合图1所描述的那样执行获得与多个交互事件相对应的用户的多个图像。例如，计算设备102可以针对多个交互事件中的每一个来接收和/或捕捉图像。
计算设备102可以基于多个交互事件和对应的多个图像来训练202机器学习模型110。多个交互事件中的每一个可以对应于多个显示器126a-n中的一个。在一些示例中，训练202机器学习模型110可以如结合图1描述的那样来执行。例如，计算设备102可以调整机器学习模型110的权重，使得机器学习模型110指示与针对图像中的每一个的交互事件中的每一个相对应的显示器。在一些示例中，机器学习模型的输出的数量可以等于多个显示器126a-n的数量。
计算设备102可以基于机器学习模型110来选择204多个显示器126a-n中的显示器126。在一些示例中，可以如结合图1所描述的那样执行基于机器学习模型110来选择204显示器126。例如，当计算设备102要选择显示器126时，计算设备102可以获得图像（例如，用户的当前图像）并将该图像提供给机器学习模型110。在一些示例中，响应于对象呈现事件来执行选择204多个显示器126a-n中的显示器126。机器学习模型110可以基于图像来推断被查看的显示器。计算设备102可以选择如机器学习模型110所指示的显示器126。例如，计算设备102可以指定多个显示器126a-n中的一个来呈现对象。
计算设备102可以在显示器126上呈现206对象。在一些示例中，可以如结合图1所描述的那样来执行呈现206对象。例如，计算设备102可以将对象数据（例如，表示诸如通知之类的对象的像素数据）提供给所选择的显示器126以用于呈现。
在一些示例中，计算设备102可以接收用户输入以激活数据收集、训练和/或显示器选择。例如，计算设备102可以在每次用户鼠标点击时开始从固定定位的相机124收集图像。可以假设当点击鼠标时用户正在看光标。因此，在该时间处来自相机124的图像可以被分派给该特定显示器或显示器上的位置。
利用足够的所收集的样本（例如，图像和交互事件），可以对机器学习模型进行训练，以基于来自相机124的图像来推断或预测用户正在看哪里。在一些示例中，机器学习模型110的输出的数量可以与显示器的数量相同。对于每个样本图像，可以将显示器126分派为用于训练的标签。在一些示例中，在限定量的训练之后（例如，在限定的时间量、样本量等之后），机器学习模型110可以准备好用于推断。当新的通知到达时，计算设备102可以使用经训练的机器学习模型110来执行推断，并且通知可以被显示在具有被用户查看的最高概率的显示器126上。
图3是图示用于训练机器学习模型的方法300的示例的流程图。方法300可以由电子设备执行。例如，方法300可以由结合图1描述的计算设备102执行。
计算设备102可以确定302是否检测到交互事件。例如，如果从接口设备128接收到输入（例如，点击、触摸等）和/或如果计算设备102响应于输入（例如，注册点击、触摸、引起交互事件等），则可以检测到交互事件。计算设备102可以获得与交互事件相对应的显示器标识符。例如，计算设备102可以确定所述多个显示器126a-n中的哪个显示器126对应于交互事件。例如，计算设备102可以确定光标在显示空间中的位置以及与该显示空间的位置相对应的显示器。显示空间可以是跨多个显示器映射的空间，其中显示空间的各部分（例如，范围）被映射到不同的显示器。如果光标的位置在与一个显示器相对应的部分（例如，范围）之一内，则可以确定该部分的显示器（例如，显示器标识符）。在另一示例中，触摸屏的触摸或接触位置可以指示显示器（例如，显示器标识符）。
如果检测到交互事件，则计算设备102可以获得304图像。例如，可以如结合图1所描述的那样来执行获得图像。例如，计算设备102可以响应于确定交互事件来接收和/或捕捉图像。
计算设备102可以将图像和显示器标识符存储306在训练集中。训练集可以是数据（例如，图像和相关联的显示器标识符）的集合。例如，图像108中的一些或全部和/或全部显示器标识数据130中的一些可以被包括在训练集中。
计算设备102可以确定308训练集是否足够（例如，足够用于训练）。在一些示例中，如果训练集包括最小阈值数量的图像（例如，1000、5000、10,000等），则训练集可以被确定为是足够的。在一些示例中，如果训练集包括最小阈值多样性的数据，则训练集可以被确定为是足够的。例如，如果训练集包括针对多个显示器126a-n中的每个显示器126的最小阈值数量的数据点（例如，具有相关联的显示器标识符的图像），则训练集可以被确定为是足够的。否则（例如，如果训练集包括小于最小阈值的图像和/或小于最小阈值多样性的数据），则训练集可以被确定为是不足的（例如，不足以用于训练）。在训练集不足的情况下，操作可以返回到确定302是否检测到交互事件（例如，以便收集附加的数据）。
在确定308训练集足够的情况下，计算设备102可以利用训练集（例如，多个交互事件和对应的多个图像）来训练310机器学习模型110。在一些示例中，可以如结合图1-2中的一个或多个所描述的那样来执行训练310机器学习模型110。
在一些示例中，训练模式可以包括一个或多个数据收集操作（例如，收集图像和对应的显示器标识符）和/或训练机器学习模型110。在方法300的示例中，训练模式可以包括确定302是否检测到交互事件，获取304图像，存储306图像和显示器标识符，确定308训练集是否足够和/或训练310机器学习模型110。在一些示例中，一种或多种训练模式操作可以作为计算设备102上的后台操作来执行。例如，可以在用户继续与计算设备交互的同时执行训练模式操作。在一些示例中，可以在进行计算设备102的使用时使用少于阈值量的处理来训练机器学习模型110。在一些示例中，训练模式可以不包括明确的校准过程，在校准过程中指示用户采取特定的动作（例如，“看向该显示器”、“在该区域中点击”等）。在一些示例中，训练模式可以执行对用户透明的一个或多个操作（例如，使用来自计算设备的正常使用的样本和/或使用来自与和训练模式指令无关的应用交互的样本）。
在一些示例中，计算设备102可以停用312训练模式。例如，停用312训练模式可以包括中止收集训练集数据和/或中止机器学习模型的训练。在一些示例中，在机器学习模型110的初始训练之后，可以不停用训练模式和/或可以继续训练模式。例如，在利用机器学习模型110来推断被查看的显示器时，可以继续执行训练以便细化机器学习模型110的训练。
在一些示例中，计算设备102可以使314机器学习模型110可用于推断。例如，计算设备102可以使得能够利用机器学习模型110来用于基于图像（例如，当前图像）推断（例如，确定）正在查看的显示器。在一些示例中，计算设备102可以在机器可读存储介质104中设置标志以指示该机器学习模型110可用于推断（例如，机器学习模型110的训练完成和/或被验证）。
在一些示例中，计算设备102可以激活316推断模式。推断模式可以包括：获得图像（用于推断），利用机器学习模型110基于图像来推断正在查看的显示器，选择显示器126，和/或在显示器126上呈现对象。在一些示例中，可以响应于确定308训练集足以用于训练机器学习模型110而执行激活316推断模式。
图4是图示用于验证机器学习模型的训练的方法400的示例的流程图。例如，验证训练可以包括执行方法400中描述的操作中的一个或多个。方法400可以由电子设备执行。例如，方法400可以由结合图1描述的计算设备102执行。
计算设备102可以确定402是否检测到交互事件。例如，如果从接口设备128接收到输入（例如，点击、触摸等）和/或如果计算设备102响应于输入（例如，注册点击、触摸，引起交互事件等），则可以检测到交互事件。计算设备102可以获得与交互事件相对应的显示器标识符。因此，计算设备102可以检测与多个显示器126a-n中的所标识的显示器126相对应的交互事件。例如，计算设备102可以确定所述多个显示器126a-n中的哪个显示器126对应于交互事件。例如，计算设备102可以确定光标在显示空间中的位置以及与该显示空间的位置相对应的显示器。在另一示例中，触摸屏的触摸或接触位置可以指示显示器（例如，显示器标识符）。
如果检测到交互事件，则计算设备102可以获得404图像。例如，获得404用户的图像可以如结合图1所描述的那样来执行。例如，计算设备102可以向相机124发送命令以捕捉图像和/或可以从相机124接收图像。
计算设备102可以基于机器学习模型110和图像来选择406显示器126。在一些示例中，可以如结合图1所描述的那样执行选择406显示器126。例如，机器学习模型110可以基于图像来推断被查看的显示器。计算设备102可以如机器学习模型110所指示的那样选择406显示器126。因此，计算设备102可以基于机器学习模型110和图像来选择多个显示器126a-n中的所推断的显示器126。
计算设备102可以确定408机器学习模型110的训练是否被验证。在一些示例中，可以由结合图1描述的计算设备102来执行验证训练和/或确定408训练是否被验证。在一些示例中，计算设备102可以通过确定基于机器学习模型而选择406的所推断的显示器是对应于交互事件的所标识的显示器来确定408训练被验证。否则，可以将训练确定408为未被验证。在一些示例中，计算设备102可以通过确定基于机器学习模型而选择406的阈值数量的所推断显示器是对应于交互事件的所标识的显示器来确定408训练被验证。对训练进行验证可以确保机器学习模型110训练足以在推断被查看的显示器方面提供准确的结果。
在训练未被验证的情况下，计算设备102可以继续训练机器学习模型110。例如，计算设备102可以收集更多数据（例如，具有交互事件和图像的所标识的显示器）以用于训练。例如，操作可以返回到检测交互事件并获得对应的图像，这可以用于进一步训练机器学习模型和/或执行附加的验证操作。
在一些示例中，在确定408训练被验证的情况下，计算设备102可以激活410推断模式。推断模式可以包括检测对象呈现事件并响应于检测到对象呈现事件来选择显示器。在一些示例中，推断模式可以包括通知触发，在通知触发中可以响应于通知事件来触发显示器选择。在一些示例中，计算设备102可以响应于确定408训练被验证而激活选择显示器的通知触发。
在一些示例中，计算设备102可以响应于确定408训练被验证而停用训练模式。例如，停用训练模式可以包括中止收集训练集数据和/或中止机器学习模型的训练。在一些示例中，在机器学习模型110的验证之后，可以不停用训练模式和/或可以继续训练模式。
图5是图示用于利用机器学习来选择显示器的方法500的示例的流程图。方法500可以由电子设备执行。例如，方法500可以由结合图1描述的计算设备102来执行。
在一些示例中，计算设备102可以确定502机器学习模型110是否可用。例如，计算设备102可以确定机器学习模型训练是否完成和/或被验证。在一些示例中，当机器学习模型训练完成和/或被验证时，计算设备102可以在机器可读存储介质104（例如，存储器）中设置指示机器学习模型110可用的标志。计算设备102可以读取该标志以确定502机器学习模型110是否可用。
在机器学习模型110不可用的情况下（例如，训练尚未完成和/或训练还未被验证），操作可以结束504。在一些示例中，在机器学习模型110不可用的情况下，计算设备102可以继续收集用于训练集的数据和/或继续训练机器学习模型110，直到机器学习模型110可用。在一些示例中，计算设备102可以响应于确定502机器学习模型可用而激活推断模式。
在机器学习模型110可用的情况下，计算设备102可以确定506是否检测到对象呈现事件。在一些示例中，可以如结合图1所描述的那样来执行确定506是否检测到对象呈现事件。例如，计算设备102可以检测对呈现对象（例如，窗口、通知、图像、用户界面、按键、图标等）的调用。在一些示例中，计算设备102可以监视特定类型的对象呈现事件（例如，通知、来自一个或多个特定程序的通知等）。
在检测到对象呈现事件的情况下，计算设备102可以获得508图像。例如，可以如结合图1所描述的那样执行获得图像。例如，计算设备102可以响应于确定506检测到对象呈现事件而接收和/或捕捉图像。
计算设备102可以基于图像和机器学习模型110来选择510显示器126。在一些示例中，可以如结合图1所描述的那样执行基于图像和机器学习模型110来选择510显示器126。例如，机器学习模型110可以基于图像来推断被查看的显示器。计算设备102可以选择如机器学习模型110所指示的显示器126。例如，计算设备102可以指定多个显示器126a-n中的一个来呈现对象。
计算设备102可以在显示器126上呈现512对象。在一些示例中，可以如结合图1所描述的那样执行呈现512对象。例如，计算设备102可以向所选择的显示器126提供对象数据（例如，表示诸如通知之类的对象的像素数据）以用于呈现。
图6是图示用于利用机器学习来选择显示器的机器可读存储介质604的示例的框图。机器可读存储介质604的示例可以包括RAM、EEPROM、存储设备和光盘等。在一些实施方式中，机器可读存储介质604可以被容纳在计算设备中或在计算设备（例如，计算设备102）的外部。例如，机器可读存储介质604可以是容纳在计算设备中的固态驱动器（SSD），或者可以是可以耦合到计算设备的外部闪存。在一些实施方式中，机器可读存储介质604可以是结合图1描述的机器可读存储介质104的示例。在一些示例中，可以利用结合图4描述的机器可读存储介质604来代替（例如，取代）结合图1描述的机器可读存储介质104。机器可读存储介质604可以包括可以由（多个）处理器（例如，计算设备）执行的代码（例如，指令）。
在一些示例中，机器可读存储介质604可以包括交互事件检测器指令636、机器学习模型指令638、训练器指令640、图像608（例如，图像数据）、显示器选择器指令642、显示器标识数据630和/或对象呈现事件检测器指令644。应当注意，结合图6描述的指令和/或数据中的一个或多个可以从机器可读存储介质604中省略和/或存储在另一存储介质604上。
当被执行时，交互事件检测器指令636可以使计算设备检测交互事件。例如，交互事件检测器指令636可以使计算设备（例如，计算设备102）确定检测到交互事件（例如，接收到来自交互设备的输入和/或计算设备已经响应了输入）。
当被执行时，交互事件检测器指令636可以使计算设备标识多个显示器中的与每个交互事件相对应的一个显示器（例如，获得显示器标识符）。例如，交互事件检测器指令636可以使计算设备在接收到点击时标识光标位于其上的显示器。在另一示例中，交互事件检测器指令636可以使计算设备标识从其接收到触摸屏轻击的显示器。指示显示器的数据（例如，显示器标识符）可以作为显示器标识数据630存储在机器可读存储介质604上和/或另外的存储介质（例如，存储器、存储装置等）上。
当被执行时，交互事件检测器指令636可以使计算设备针对每个交互事件捕捉用户的图像。可以响应于检测到交互事件来执行捕捉图像。在一些示例中，计算设备可以命令相机或图像传感器捕捉用户的图像。图像608可以存储在机器可读存储介质604上和/或另外的存储介质（例如，存储器、存储装置等）上。
机器学习模型指令638可以是用于执行机器学习模型的指令。当被执行时，机器学习模型指令638可以使计算设备确定（例如，推断）多个显示器中的被查看的显示器。在一些示例中，机器可读存储介质604可以包括与机器学习模型指令638相关联的数据。例如，数据可以包括机器学习模型的权重。
当被执行时，训练器指令640可以使计算设备基于多个图像和所标识的显示器来训练机器学习模型。例如，计算设备可以调整机器学习模型的权重，使得机器学习模型根据响应于输入和/或交互事件而捕捉的图像来正确地标识被查看的显示器（例如，与输入和/或交互事件相对应的显示器）。
当被执行时，对象呈现事件检测器指令644可以使计算设备检测对象呈现事件（例如，通知事件）。例如，计算设备可以检测用以呈现对象（例如，窗口、通知、图像、用户界面、按键、图标等）的调用。例如，计算设备可以监视对使得呈现对象的一个或多个功能的调用。在一些示例中，对象呈现事件检测器116可以监视通知事件。
当被执行时，显示器选择器指令642可以使计算设备响应于通知事件使用机器学习模型来确定多个显示器中的被查看的显示器。例如，显示器选择器指令642可以使计算设备选择由机器学习模型的输出指示的显示器。
当被执行时，显示器选择器指令642可以使计算设备在被查看的显示器上呈现通知。例如，计算设备可以将通知输出到被查看的显示器。
在一些示例中，机器可读存储介质604可以包括用于响应于确定多个图像和所标识的显示器足以用于训练机器学习模型而停用训练模式的指令。在一些示例中，机器可读存储介质可以包括用以验证机器学习模型的训练的指令。
图7是示出神经网络746的示例的框图。神经网络746可以是本文描述的机器学习模型的示例。在结合图7描述的示例中，N表示多个显示器。在一些示例中，可以基于显示器的数量来设置或确定神经网络746的一个或多个维度。
输入图像748可以被提供给神经网络746。在一些示例中，输入图像748可以是红绿蓝（RGB）图像。例如，输入图像748可以是具有宽度×高度×通道的尺寸的RGB图像。例如，输入图像748可以具有224（像素）×224（像素）×3（红色、绿色和蓝色通道）的尺寸。
在图7的示例中，神经网络包括五个块：块A 750、块B 752、块C 754、块D 756和块E758。所述块中的每一个包括卷积层和池化层。在该示例中，块A 750包括两个卷积层和一个池化层，块B 752包括两个卷积层和一个池化层，块C 754包括三个卷积层和一个池化层，块D 756包括三个卷积层和一个池化层，并且块E 758包括三个卷积层和一个池化层。每个卷积层可以包括具有感受野的卷积滤波器。每个池化层可以组合卷积层的输出。池化层的示例是最大池化，其可以从相应的块中取最大值。
神经网络746可以包括全连接层760、762、764。在一些示例中，全连接层可以将一层中的所有神经元连接到另一层中的所有神经元。块E 758的输出可以被提供给第一全连接层760。在一个示例中，第一全连接层760可以具有4096的维度。第一全连接层760的输出可以被提供给第二全连接层762。在一个示例中，第二全连接层762可以具有4096的维度。第二全连接层762的输出可以被提供给第三全连接层764。在一个示例中，第三全连接层764可以具有N（例如，显示器的数量）的维度。
神经网络746可以包括softmax层766。softmax层766可以执行softmax函数。例如，softmax层766可以对第三全连接层764的输出执行softmax函数。在一些示例中，softmax函数是归一化指数函数。例如，softmax函数将全连接层的N个通道的值转换为N维向量，其中该N维向量的所有值之和为1。softmax层输出可以被提供给输出层768的N个通道（例如，N个输出）。输出层768的值可以指示显示器中的哪个显示器是如神经网络746推断的被查看的显示器。例如，具有最高值的输出层768的输出或通道可以对应于多个显示器中最可能被查看的显示器。在一些示例中，计算设备可以基于输出层768的值来选择显示器以呈现对象。
应当注意，尽管本文描述了系统和方法的各种示例，但是本公开不应当限于所述示例。本文描述的示例的变型可以在本公开的范围内实现。例如，本文描述的示例的一个或多个步骤、功能、方面或元件可以被省略或组合。

Claims (15)

1.一种由电子设备执行的方法，包括：
基于多个交互事件和对应的多个图像来训练机器学习模型，其中所述多个交互事件中的每一个对应于多个显示器中的一个；
基于所述机器学习模型来选择所述多个显示器中的显示器；以及
在所述显示器上呈现对象。
2.根据权利要求1所述的方法，其中所述机器学习模型的输出的数量等于所述多个显示器的数量。
3.根据权利要求1所述的方法，其中响应于对象呈现事件来执行选择所述多个显示器中的所述显示器。
4.根据权利要求1所述的方法，进一步响应于确定训练集足以用于训练所述机器学习模型而激活推断模式。
5.根据权利要求1所述的方法，进一步包括验证所述机器学习模型的训练。
6.根据权利要求5所述的方法，进一步包括响应于验证所述训练而停用训练模式。
7.根据权利要求5所述的方法，进一步包括响应于验证所述训练而激活选择所述显示器的通知触发。
8.根据权利要求5所述的方法，其中，验证所述机器学习模型的训练包括：
检测与所述多个显示器中的所标识的显示器相对应的第一交互事件；
获得用户的第一图像；
基于所述机器学习模型和所述第一图像，选择所述多个显示器中的所推断的显示器；以及
确定基于所述机器学习模型选择的所推断的显示器是与所述第一交互事件相对应的所标识的显示器。
9.一种计算设备，包括：
处理器；
存储器，与所述处理器电子通信；以及
存储在所述存储器中的指令，其中，所述指令可由所述处理器执行以用于：
从接口设备接收多个输入；
标识多个显示器中的分别与所述多个输入相对应的显示器；
从相机接收多个图像，其中响应于所述多个输入中的每一个来分别捕捉所述多个图像中的每一个；
基于所述多个图像和所标识的显示器来训练机器学习模型；
响应于对象呈现事件，使用所述机器学习模型来确定所述多个显示器中的被查看的显示器；以及
在所述被查看的显示器上呈现对象。
10.根据权利要求9所述的计算设备，其中所述指令可执行以用于：
确定所述多个显示器的数量；以及
基于所述多个显示器的数量来设置所述机器学习模型的输出的数量。
11.根据权利要求10所述的计算设备，其中所述机器学习模型的输出的数量等于所述多个显示器的数量。
12.根据权利要求9所述的计算设备，其中所述对象呈现事件是通知事件。
13.一种非暂时性机器可读存储介质，其编码有可由处理器执行的指令，所述机器可读存储介质包括指令以用于：
标识多个显示器中的与多个交互事件中的每一个相对应的一个显示器；
针对所述多个交互事件中的每一个来捕捉用户的图像；
基于所述图像和所标识的显示器来训练机器学习模型；
响应于通知事件，使用所述机器学习模型来确定所述多个显示器中的被查看的显示器；以及
在所述被查看的显示器上呈现通知。
14.根据权利要求13所述的存储介质，进一步包括用以响应于确定所述图像和所标识的显示器足以用于训练所述机器学习模型而停用训练模式的指令。
15.根据权利要求13所述的存储介质，进一步包括用以验证所述机器学习模型的训练的指令。
CN201880092878.9A 2018-10-09 2018-10-09 利用机器学习来选择显示器 Active CN112005296B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2018/054976 WO2020076300A1 (en) 2018-10-09 2018-10-09 Selecting a display with machine learning

Publications (2)

Publication Number Publication Date
CN112005296A CN112005296A (zh) 2020-11-27
CN112005296B true CN112005296B (zh) 2023-03-31

Family

ID=70165295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880092878.9A Active CN112005296B (zh) 2018-10-09 2018-10-09 利用机器学习来选择显示器

Country Status (3)

Country Link
US (1) US20210224011A1 (zh)
CN (1) CN112005296B (zh)
WO (1) WO2020076300A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113778362B (zh) * 2021-09-16 2024-03-22 平安银行股份有限公司 基于人工智能的屏幕控制方法、装置、设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8301624B2 (en) * 2009-03-31 2012-10-30 Yahoo! Inc. Determining user preference of items based on user ratings and user features
US9013574B2 (en) * 2011-11-15 2015-04-21 Mitutoyo Corporation Machine vision system program editing environment including synchronized user interface features
KR20140011203A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템
US9405427B2 (en) * 2012-09-12 2016-08-02 Facebook, Inc. Adaptive user interface using machine learning model
US9195909B2 (en) * 2013-09-23 2015-11-24 Adobe Systems Incorporated Using machine learning to define user controls for photo adjustments
US9406025B2 (en) * 2014-06-04 2016-08-02 International Business Machines Corporation Touch prediction for visual displays
EP3335096B1 (en) * 2015-08-15 2022-10-05 Google LLC System and method for biomechanically-based eye signals for interacting with real and virtual objects
US11475290B2 (en) * 2016-12-30 2022-10-18 Google Llc Structured machine learning for improved whole-structure relevance of informational displays
CN108416363A (zh) * 2018-01-30 2018-08-17 平安科技（深圳）有限公司 机器学习模型的生成方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US20210224011A1 (en) 2021-07-22
WO2020076300A1 (en) 2020-04-16
CN112005296A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN107291356B (zh) 文件传输显示控制方法、装置及相应的终端
US10397649B2 (en) Method of zooming video images and mobile display terminal
CN108647055B (zh) 应用程序预加载方法、装置、存储介质及终端
CN109753159B (zh) 用于控制电子装置的方法和设备
US20140118268A1 (en) Touch screen operation using additional inputs
US8957857B2 (en) Device and method for controlling mouse pointer
US20150116344A1 (en) Method and apparatus for controlling screen brightness in electronic device
US20120026105A1 (en) Electronic device and method thereof for transmitting data
CN105320417B (zh) 页面切换方法及客户端
CN104685449A (zh) 基于用户的目光的用户界面元素焦点
CN110637282B (zh) 一种触控方法及终端
WO2019076238A1 (zh) 一种悬浮按钮显示方法及终端设备
CN106527944A (zh) 移动终端的分屏显示方法及移动终端
CN107239222A (zh) 一种触摸屏的操控方法及终端设备
US20140223328A1 (en) Apparatus and method for automatically controlling display screen density
CN109634487B (zh) 信息显示方法、装置及存储介质
US10394442B2 (en) Adjustment of user interface elements based on user accuracy and content consumption
CN112005296B (zh) 利用机器学习来选择显示器
CN112286612A (zh) 信息显示方法、装置及电子设备
CN107728898B (zh) 一种信息处理方法及移动终端
CN108021313B (zh) 一种图片浏览方法及终端
CN115705231B (zh) 屏幕显示方法和终端设备
US20150234543A1 (en) Information processing method and electronic device
CN114222355A (zh) 终端省电显示方法、装置和电子设备
CN109101153B (zh) 一种悬浮通知的显示方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant