CN116939075A - 操作电子装置的方法及装置 - Google Patents

操作电子装置的方法及装置 Download PDF

Info

Publication number
CN116939075A
CN116939075A CN202310825813.3A CN202310825813A CN116939075A CN 116939075 A CN116939075 A CN 116939075A CN 202310825813 A CN202310825813 A CN 202310825813A CN 116939075 A CN116939075 A CN 116939075A
Authority
CN
China
Prior art keywords
screen
electronic device
virtual key
user
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310825813.3A
Other languages
English (en)
Inventor
王莹
赵文芳
孙宇
郭宇辉
亓向国
柳瑞超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN202310825813.3A priority Critical patent/CN116939075A/zh
Publication of CN116939075A publication Critical patent/CN116939075A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0208—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings characterized by the relative motions of the body parts
    • H04M1/0214—Foldable telephones, i.e. with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0208—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings characterized by the relative motions of the body parts
    • H04M1/0214—Foldable telephones, i.e. with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • H04M1/0216—Foldable in one direction, i.e. using a one degree of freedom hinge
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H04M1/0268—Details of the structure or mounting of specific components for a display module assembly including a flexible display panel

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种操作电子装置的方法及装置。该操作电子装置的方法包括：响应于检测到预设触发条件，将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域；在第一屏幕区域显示电子装置的当前界面，在第二屏幕区域显示虚拟按键界面；响应于通过所述虚拟按键界面接收到用户操作指令，在所述当前界面执行与所述用户操作指令相应的响应操作。

Description

操作电子装置的方法及装置
技术领域
本公开涉及仅涉及终端设备技术领域。更具体地，本公开涉及一种操作电子装置的方法及装置。
背景技术
随着多窗口模式的应用，越来越多的用户选择使用分屏模式进行多任务处理。特别是大屏手机，可以通过分屏模式同时操作多个应用。尤其是折叠屏的分屏模式，能让用户随时随地通过分屏模式同时观看视频/游戏或处理消息等。
分屏模式对于折叠机来说是重要的一种提升体验和吸引消费者的功能，有助于折叠机的生态完善。其中折叠机基于半折叠状态的分屏模式体验,是区别于非折叠机型的重要功能。但是实际应用时，对一些操作频繁的应用，如游戏等，分屏模式无法满足复杂的操控处理，不能充分发挥多窗口的优势，无法让用户可以在分屏模式下同时显示和操控应用。
第三方可以通过适配分屏模式或折叠状态相关接口，提供符合用户分屏模式操控需求的显示效果，但是需要大量的资源和内容修改，以及额外的开发和人力成本，难以推广。
目前各厂商都提供了分屏模式，并积极发布推广折叠机，折叠机已成为每年重点宣传以及体现前沿技术的旗舰机型。但是未提供针对分屏模式的虚拟按键界面功能。
发明内容
本公开的示例性实施例在于提供一种操作电子装置的方法及装置，以使得用户可以在分屏模式下同时显示和操控应用。
根据本公开的示例性实施例，提供一种操作电子装置的方法，包括：响应于检测到预设触发条件，将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域；在第一屏幕区域显示电子装置的当前界面，在第二屏幕区域显示虚拟按键界面；响应于通过所述虚拟按键界面接收到用户操作指令，在所述当前界面执行与所述用户操作指令相应的响应操作。
可选地，所述将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域的步骤可包括：通过将电子装置的屏幕显示模式转换到分屏模式来将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域。
可选地，所述方法还可包括：响应于检测到预设退出条件，退出分屏模式；并且将第一屏幕区域的显示页面显示在电子装置的屏幕上。
可选地，在将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域的步骤之后，所述方法还可包括：在预设时间段内，显示用于设置虚拟按键的快捷按钮；响应于接收到用户对所述快捷按钮的操作，显示用于配置虚拟按键的第一界面；基于用户对第一界面的操作来配置虚拟按键。
可选地，所述虚拟按键界面中的虚拟按键的位置可基于用户历史操作的热区。
可选地，在所述在第二屏幕区域显示虚拟按键界面之前，所述方法还可包括：基于用户历史操作数据匹配虚拟按键的位置和/或面积大小，其中，针对点击频繁的虚拟按键优先分配更容易按的位置和/或更大的面积。
可选地，当电子装置是折叠屏电子装置时，所述预设触发条件可包括电子装置的折叠状态从非折叠状态转换到预设折叠状态，所述预设退出条件可包括电子装置的折叠状态从所述预设折叠状态转换到所述非折叠状态。
可选地，在检测到所述预设触发条件之后，所述方法还可包括：将电子装置的至少一个其他屏幕设置为显示状态；在所述至少一个其他屏幕上显示扩展虚拟按键界面；响应于通过所述扩展虚拟按键界面接收到扩展用户操作指令，在所述当前界面执行与所述扩展用户操作指令相应的响应操作。
可选地，所述在所述当前界面执行与所述用户操作指令相应的响应操作的步骤可包括：基于所述用户操作指令的操作坐标确定与所述用户操作指令相应的响应操作；执行确定的所述响应操作。
可选地，所述基于所述用户操作指令的操作坐标确定与所述用户操作指令相应的响应操作的步骤可包括：基于所述用户操作的坐标，确定所述坐标的预设范围内的多个区域；通过操控区域识别算法，基于所述多个区域的对角点的坐标来确定所述多个区域的区域对角计算值，基于所述区域对角计算值从所述多个区域确定所述坐标所属的区域；基于所述坐标所属的区域确定与所述用户操作指令相应的响应操作。
根据本公开的示例性实施例，提供一种操作电子装置的装置，包括：屏幕划分单元，被配置为响应于检测到预设触发条件，将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域；区分显示单元，被配置为在第一屏幕区域显示电子装置的当前界面，在第二屏幕区域显示虚拟按键界面；和响应操作单元，被配置为响应于通过所述虚拟按键界面接收到用户操作指令，在所述当前界面执行与所述用户操作指令相应的响应操作。
可选地，所述屏幕划分单元可被配置为：通过将电子装置的屏幕显示模式转换到分屏模式来将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域。
可选地，还可包括恢复单元，被配置为：响应于检测到预设退出条件，退出分屏模式；并且将第一屏幕区域的显示页面显示在电子装置的屏幕上。
可选地，还可包括按键配置单元，被配置为：在预设时间段内，显示用于设置虚拟按键的快捷按钮；响应于接收到用户对所述快捷按钮的操作，显示用于配置虚拟按键的第一界面；基于用户对第一界面的操作来配置虚拟按键。
可选地，所述虚拟按键界面中的虚拟按键的位置可基于用户历史操作的热区。
可选地，所述装置还可包括虚拟按键配置单元，被配置为：基于用户历史操作数据匹配虚拟按键的位置和/或面积大小，其中，针对点击频繁的虚拟按键优先分配更容易按的位置和/或更大的面积。
可选地，当电子装置是折叠屏电子装置时，所述预设触发条件可包括电子装置的折叠状态从非折叠状态转换到预设折叠状态，所述预设退出条件包括电子装置的折叠状态从所述预设折叠状态转换到所述非折叠状态。
可选地，所述装置还可包括辅助操作单元，被配置为：响应于检测到所述预设触发条件，将电子装置的至少一个其他屏幕设置为显示状态；在所述至少一个其他屏幕上显示扩展虚拟按键界面；响应于通过所述扩展虚拟按键界面接收到扩展用户操作指令，在所述当前界面执行与所述扩展用户操作指令相应的响应操作。
可选地，所述响应操作单元可被配置为：基于所述用户操作指令的操作坐标确定与所述用户操作指令相应的响应操作；执行确定的所述响应操作。
可选地，所述响应操作单元可被配置为：基于所述用户操作的坐标，确定所述坐标的预设范围内的多个区域；通过操控区域识别算法，基于所述多个区域的对角点的坐标来确定所述多个区域的区域对角计算值，基于所述区域对角计算值从所述多个区域确定所述坐标所属的区域；基于所述坐标所属的区域确定与所述用户操作指令相应的响应操作。
根据本公开的示例性实施例，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现根据本公开的示例性实施例的操作电子装置的方法。
根据本公开的示例性实施例，提供一种计算装置，包括：至少一个处理器；至少一个存储器，存储有计算机程序，当所述计算机程序被所述至少一个处理器执行时，实现根据本公开的示例性实施例的操作电子装置的方法。
根据本公开的示例性实施例，提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成根据本公开的示例性实施例的操作电子装置的方法。
根据本公开的示例性实施例的操作电子装置的方法及装置，通过响应于检测到预设触发条件，将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域，在第一屏幕区域显示电子装置的当前界面，在第二屏幕区域显示虚拟按键界面，响应于通过所述虚拟按键界面接收到用户操作指令，在所述当前界面执行与所述用户操作指令相应的响应操作，从而实现通过虚拟按键同时进行半屏显示和半屏操控。
将在接下来的描述中部分阐述本公开总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本公开总体构思的实施而得知。
附图说明
通过下面结合示例性地示出实施例的附图进行的描述，本公开的示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：
图1示出根据本公开的示例性实施例的操作电子装置的方法的流程图；
图2示出根据本公开的示例性实施例的虚拟按键界面的示例；
图3示出根据本公开的示例性实施例的针对大屏虚拟按键的响应的示意图；
图4示出根据本公开的示例性实施例的针对小屏虚拟按键的响应的示意图；
图5示出根据本公开的示例性实施例的不规则操控区域的示意图；
图6示出根据本公开的示例性实施例的操作电子装置的示意图；
图7示出根据本公开的示例性实施例的使用第一类游戏模板来设置虚拟按键的示例；
图8示出根据本公开的示例性实施例的使用第二类游戏模板来设置虚拟按键的示例；
图9示出根据本公开的示例性实施例的显示虚拟按键位置的示例；
图10示出根据本公开的示例性实施例的扩展按键的示例；
图11示出根据本公开的示例性实施例的根据触摸历史数据生成的热区的示例；
图12示出根据本公开的示例性实施例的基于热区自适应匹配的配置参考界面的示例；
图13示出根据本公开的示例性实施例的主屏显示副屏操作的示意图；
图14示出根据本公开的示例性实施例的主屏显示副屏操作的示意图；
图15示出根据本公开的示例性实施例的根据实际游戏数据生成的热区模拟示意图；
图16示出根据本公开的示例性实施例的基于热区自适应匹配的配置参考界面的示例；
图17示出根据本公开的示例性实施例的主屏显示副屏操作的示意图；
图18示出根据本公开的示例性实施例的主屏显示副屏操作的示意图；
图19示出根据本公开的示例性实施例的一键响应操作序列的示例；
图20示出根据本公开的示例性实施例的操作电子装置的框图；和
图21示出根据本公开的示例性实施例的计算装置的示意图。
具体实施方式
现将详细参照本公开的示例性实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本公开。
现有的分屏技术，可以同时打开多个应用，通过切换焦点操控不同的应用，但是无法利用分屏模式同时显示和操控应用。在手机半折叠状态下，应用全屏显示也不能提供较好的用户观看体验。同时对于类似折叠机的多屏设备上，应用针对大屏和小屏适配时的应用视角设计不同，对倾向于小屏视角的用户，需要通过半屏显示应用半屏操作的方式，充分利用折叠屏手机的特性，尤其是在半折叠状态提供不同于普通设备的玩法。现有的设备侧默认分屏模式无法满足用户定制化的触控需求。同时针对半屏显示半屏操控的效果，非按键映射方法，需要第三方针对应用内容做大量的修改，适配成本高。另外现有的折叠机，只能使用大屏或者小屏，不能2个屏幕同时使用，充分利用大屏的显示效果，提供全沉浸式的体验。
通过本公开提供的方法，可以结合设备侧的分屏模式和触控事件映射，通过虚拟按键的UI提供用户半屏显示半屏操控的定制化显示效果，同时无需第三方适配和额外的修改成本，可以提升分屏模式以及折叠机的用户使用量。充分利用分屏模式的特性，提供通用的虚拟按键界面，满足用户同时观看使用以及操作应用的需求，尤其是半折叠状态情况下的特殊体验效果。大大降低了第三方应用适配时的开发和人力成本，也有利于分屏模式和折叠机的生态完善。除此以外，可以支持前后屏同时使用，通过界面打开虚拟按键后，在前后屏幕同时操作完成复杂动作或降低操作时延，还可以同时体验大屏以及通过背屏操控主屏应用。
本公开提供了一种基于分屏/多屏模式的虚拟按键映射方法。通过以下技术方案实现：基于分屏模式，通过虚拟按键映射方法，提供触控按键的界面。此外，在折叠屏设备进入半折叠状态时，可以自动进入分屏模式并打开界面。虚拟按键界面，可基于触控映射方法对虚拟按键设置对应的触控事件，在点击虚拟按键时，可响应实际的触控事件。通过该方案，无需第三方适配，即可实现分屏模式下的半屏渲染显示应用，半屏操控应用的效果。
在本公开中，可提供用户界面(UI)模块和系统功能模块。用户界面主要是提供用户设置以及显示虚拟按键的界面。系统功能模块实现的内容包括监控设备状态，进入分屏模式以及虚拟按键映射，另外还可以提供自动化模式。
用户界面模块可以包括自定义设置UI模块和虚拟按键显示UI模块。
自定义设置UI模块可主要用于设置虚拟按键的触控响应位置，可以设置多个按键，每个按键可映射实际的触控事件。可针对常用的热门应用，提供对应的模板，快速设定虚拟按键。可提供手动和自动两种模式，手动方式根据默认坐标显示按键后，用户可拖动更新虚拟按键位置。自动模式是根据历史触控事件生成推荐的坐标信息后，根据该信息显示虚拟按键。
虚拟按键显示UI模块可主要用于显示虚拟按键界面，包括两部分，大屏虚拟按键以及小屏虚拟按键。大屏虚拟按键的显示UI可以包括手柄、常用应用按键布局以及用户自定义等多种模式。用户可通过该UI点击虚拟按键，并响应实际的触控事件。小屏虚拟按键为可选按键，可扩展左右区域两个虚拟按键扩展设备的操控范围，提供更沉浸的操控效果。
系统功能模块可包括监控设备状态模块、自动识别热区模块、自适应规则模块、虚拟按键映射。
监控设备状态模块可主要用于监控设备的折叠状态或者特定的触发方式，如手势识别等。当设备的折叠角度达到一定阈值，符合半折叠模式的定义，或者通过自定义特殊手势，在识别特定手势等符合定义的触发机制时，可以自动激活分屏/多屏模式，打开虚拟按键界面，也可以由用户手动打开。
自动识别热区模块可主要用于针对应用的触控事件历史，识别点击频繁的热区，通过对用户操作预定时间或达到指定数量后采集的数据，使用算法(例如，但不限于，聚类算法)自动生成热区，输出热区的中心点信息用于生成虚拟按键。
自适应规则模块可主要用于在用户使用自动模式设置虚拟按键时，参考热区的中心点信息，作为虚拟按键的位置，根据位置信息以及匹配规则显示推荐的虚拟按键坐标给用户。
虚拟按键映射模块可主要用于过滤触控事件。在收到虚拟按键映射响应事件时，可以触发已设置的实际触控事件。同时，对于小屏的虚拟按键，如果已设置，需要触发小屏左右屏对应的扩展按键的实际操控事件。将虚拟按键和实际按键重组打包后输入到输入(input)系统。
图1示出根据本公开的示例性实施例的操作电子装置的方法的流程图。
参照图1，在步骤S101，响应于检测到预设触发条件，将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域。例如，可通过监控设备状态模块监控电子装置的折叠状态是否从非折叠状态转换到预设折叠状态，或者监控分屏/多屏模式开关的触发。
在本公开的示例性实施例中，将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域的步骤可包括：通过将电子装置的屏幕显示模式转换到分屏模式来将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域。
具体来说，在将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域之后，即，在进入分屏/多屏模式后，会判断当前使用的前台应用是否已设置虚拟按键界面。
如果已设置虚拟按键界面，则进行步骤S102。
如果未设置虚拟按键界面，则首先显示虚拟按键界面的快捷按钮(或开关)，如果用户点击打开快捷按钮，则显示自定义设置UI，用户可选择自动模式，如使用自动模式，则可显示推荐的虚拟按键，用户也可手动调整；否则显示统一的虚拟按键UI或模板。在用户完成设置后保存用户添加的虚拟按键配置文件。在使用自动模式时，可根据用户习惯快速生成配置，通过热区和自适应规则，一键生成虚拟按键以及配置文件。
在步骤S102，在第一屏幕区域显示电子装置的当前界面，在第二屏幕区域显示虚拟按键界面。虚拟按键界面中的虚拟按键可以由用户设置，在虚拟按键界面中根据设置显示对应的虚拟按键。可针对应用设置或配置虚拟按键。此外，也可针对电子装置设置或配置虚拟按键，从而针对没有单独设置或配置虚拟按键的应用可以使用针对电子装置设置或配置的虚拟按键。
在本公开的示例性实施例中，在步骤S101将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域之后，在步骤S102之前，还可在预设时间段内，显示用于设置虚拟按键的快捷按钮；响应于接收到用户对所述快捷按钮的操作，显示用于配置虚拟按键的第一界面；基于用户对第一界面的操作来配置虚拟按键。
在本公开的示例性实施例中，所述虚拟按键界面中的虚拟按键的位置基于用户历史操作的热区。
在本公开的示例性实施例中，在步骤S102在第二屏幕区域显示虚拟按键界面之前，所述方法还可包括：基于用户历史操作数据匹配虚拟按键的位置和/或面积大小，其中，针对点击频繁的虚拟按键优先分配更容易按的位置和/或更大的面积。
如果未设置虚拟按键，则显示设置虚拟按键的快捷开关，如用户点击打开快捷按钮，则显示自定义设置界面(User Interface，简称UI)，用户可选择自动模式，如使用自动模式，则会显示推荐的虚拟按键，用户也可手动调整；否则显示统一的虚拟按键界面或模板。在用户完成设置后保存用户添加的虚拟按键配置文件。在使用自动模式时，会根据用户习惯快速生成配置，通过热区和自适应规则，一键生成虚拟按键以及配置文件。
例如，在通过手动模式设置虚拟按键时，可执行以下步骤：
1)通过点击对应的虚拟按键图标，在游戏渲染画面中显示或隐藏对应的按键，例如，A,B,X,Y,RB,LB；
2)每个按键会有对应的键(key)值和默认位置坐标信息，如需更改映射的按键坐标，可以拖动图标至新的目标位置，在拖动结束，识别出有抬起动作时，根据中心点更新对应的坐标信息(x,y)；
3)点击保存后，存储虚拟按键映射配置信息至数据库中，包括(应用包名，虚拟按键映射配置列表)，其中虚拟按键映射配置列表包括存储时状态为显示的按键映射信息(key0,x0,y0),(key1,x1,y1),…,(keyn,xn,yn)。
例如，在通过自动模式设置虚拟按键时，可记录当前应用的历史点击事件作为样本数据集{x1,x2,…,xm}，当数据集符合预定时间或者指定数量需求后，使用聚类算法获取推荐虚拟按键坐标集。
聚类算法(以k-mean模型为例)计算步骤参考如下：
a.随机选取k个样本作为初始均值向量{μ1,μ2,…,μk}，k值范围参考：2-8。
b.计算每个样本数据xj与各均值向量的距离μi的距离dji＝||xj-μi||2；根据距离最近的均值向量确定xj的簇标记λ＝arg mini∈{1,2,…,k}dji；将样本xj划入对应的簇：Cλj＝Cλj∪{xj}。
c.计算新均值向量：如果当前均值向量μi≠μi'，则将μi更新为μi'；否则保持不变。
d.重复以上步骤知道当前均值向量均为更新。
e.输出簇划分结果C＝{C1,C2,…,Ck}。
关于k值的选择，可以参考肘部法则、轮廓系数等，以轮廓系数为例，具体计算方法如下：
a.对于第i个元素xj，计算xj与同一个簇内所有其他元素距离的平均值，记作aj，表示簇内的凝聚度。
b.选取xj以外的另一个簇b，计算xj与b中所有点的平均距离，遍历所有其他簇，找到最近的平均距离，记作bj，表示簇之间分离度。
c.对于元素xj，轮廓系数sj＝(bj-aj)/max(aj,bj)。
d.计算所有x的轮廓系数，求出平均值即为当前聚类的整体轮廓系数。sj越趋近于1，效果越好。
关于自适应规则，主要用于生成热区，也就是聚类算法获得用户经常点击的区域信息后，匹配热区中心点的虚拟按键到虚拟按键界面的特定触控区域。
在根据热区生成虚拟按键后，需要根据自适应规则自动映射虚拟按键到合适的虚拟按键界面区域中。可以根据区域权重和源触控数据的点击频繁程度生成配置文件。
图2示出根据本公开的示例性实施例的虚拟按键界面的示例。图2所示的虚拟按键界面包含12个操控区域，右边的A/B/X/Y和中心(绿色圆圈)，左边的和中心(蓝色圆圈)，副屏的LB/RB，基于操控区域距离屏幕边缘的距离，越近的区域用户操作越方便，所以右边区域优先级为A>B>Y>X，左边区域优先级为/>。如果用户使用副屏，会优先分配LB/RB。右边的中心(绿色圆圈)和左边的中心(蓝色圆圈)用于映射滑动操作，匹配滑动事件，与点击事件对应的按键/>不同。
在热区生成后，会获取到虚拟按键，包含了触摸(touch)事件类型(点击或者滑动)，生成热区的虚拟按键包含的源触摸事件数量，表示了用户点击该区域的频繁程度。
然后匹配时，会根据触摸事件类型、虚拟按键位置右侧或者左侧、点击频繁程度进行分配。
通常应用滑动事件最多不超过2个，所以2个圆圈(即，绿色圆圈和蓝色圆圈)足够匹配虚拟按键中的滑动事件。
点击事件会根据虚拟按键界面的左右区域进行划分，如果用户使用了副屏，优先根据虚拟按键的左右位置分配副屏的LB/RB。其余按键则根据“点击越频繁，分配的虚拟按键界面区域优先级越高”的原则进行匹配。
在根据自适应规则匹配完成后，会根据包名保存对应的配置文件，如{包名,<ID1,(x1,y1)>,…<IDn,(xn,yn)>}。其中键值对<ID,(x,y)>，ID表示对应的实际操控区域，(x,y)表示虚拟按键坐标。
在步骤S103，响应于通过所述虚拟按键界面接收到用户操作指令，在所述当前界面执行与所述用户操作指令相应的响应操作。
在本公开的示例性实施例中，在步骤S101检测到所述预设触发条件之后，所述方法还可包括：将电子装置的至少一个其他屏幕设置为显示状态；在所述至少一个其他屏幕上显示扩展虚拟按键界面；响应于通过所述扩展虚拟按键界面接收到扩展用户操作指令，在所述当前界面执行与所述扩展用户操作指令相应的响应操作。这里，电子装置的屏幕可以是在电子装置的第一表面上，该至少一个其他屏幕可以是在电子装置的第二表面上。这里，该至少一个其他屏幕可以是例如，但不限于，下文中的小屏。
在本公开的示例性实施例中，电子装置的屏幕也可以被称为主屏(大屏)，该至少一个其他屏幕也可以被称为副屏(小屏)。
具体来说，在检测到用户触摸屏幕时，如果用户操作的是主屏(大屏)上的虚拟按键，则根据已设置的配置文件重定向为映射的触控按键；如果用户操作的是副屏(小屏)的虚拟按键，则根据左右区域重定向为映射的触控按键；如果用户操作的是原应用UI，则保持原触控响应事件；如果不是以上触控事件，例如，用户操作的是虚拟按键界面的非虚拟按键区域，则不作响应。通过虚拟按键界面，可以过滤触摸事件并映射到对应的虚拟按键。
在本公开的示例性实施例中，在所述当前界面执行与所述用户操作指令相应的响应操作的步骤可包括：基于所述用户操作指令的操作坐标确定与所述用户操作指令相应的响应操作；执行确定的所述响应操作。
在本公开的示例性实施例中，基于所述用户操作指令的操作坐标确定与所述用户操作指令相应的响应操作的步骤可包括：基于所述用户操作的坐标，确定所述坐标的预设范围内的多个区域；通过操控区域识别算法，基于所述多个区域的对角点的坐标来确定所述多个区域的区域对角计算值，基于所述区域对角计算值从所述多个区域确定所述坐标所属的区域；基于所述坐标所属的区域确定与所述用户操作指令相应的响应操作。
图3示出根据本公开的示例性实施例的针对大屏虚拟按键的响应的示意图。如图3所示，当用户触摸大屏虚拟按键时，可根据以下3个步骤进行响应：
1)当用户点击对应的虚拟按键，如IDA对应的A键，则根据key值查找虚拟按键映射配置列表信息<IDA,(xAt,yAt)>。
其中，关于操控区域的识别方法，如组合(X,Y,A,B)，包含4个对角坐标点，当用户点击图3中的S点时，点击坐标为(x,y)，即，S点。计算公式如下：
如果区域对角计算值S(P1,P4,P)≥0&&区域对角计算值S(P2,P3,P)≥0，则确定S点所在区域为‘Y’区域。
如果区域对角计算值S(P1,P4,P)<0&&区域对角计算值S(P2,P3,P)≥0，则确定S点所在区域为‘X’区域。
如果区域对角计算值S(P1,P4,P)≥0&&区域对角计算值S(P2,P3,P)<0，则确定S点所在区域为‘A’区域。
如果区域对角计算值S(P1,P4,P)<0&&区域对角计算值S(P2,P3,P)<0，则确定S点所在区域为‘B’区域。
2)创建(xAt,yAt)为坐标的touch事件。
3)将touch事件注入touch管理器中。
图4示出根据本公开的示例性实施例的针对小屏虚拟按键的响应的示意图。如图4所示，当用户触摸小屏虚拟按键时，可根据以下4个步骤进行响应：
1)如果用户已设置LB或RB按键，并且触摸了折叠屏的小屏时，则激活小屏，根据小屏触控区域的位置(x,y)的横坐标信息判断点击区域时左半屏还是右半屏。
2)如果设置了LB并触控了左半屏，并且x∈[x12,x14]&&y∈[y14,y13]，则注入LB对应的映射坐标touch事件至touch管理器中。
3)如果设置了RB并触控了右半屏，并且x∈[x22,x24]&&y∈[y24,y23]，则注入RB对应的映射坐标touch事件至touch管理器中。
4)否则，不添加虚拟按键对应的映射事件。
关于左右半屏的判断，可以参考屏幕尺寸(width,height)信息。如x<width/2，则为左半屏，如x≥width/2，则是右半屏。
图5示出根据本公开的示例性实施例的不规则操控区域的示意图。操控区域不局限于特定的形状，如矩形等。以图5的不规则区域为例，可以通过点击事件的坐标向操控区域做射线，根据与操控区域的交点个数N判断是否在指定区域内。
如N％2！＝0，则在当前操控区域内；如N％2＝＝0，则在当前操控区域外。
摇杆虚拟按键的设计原理如下：
1)摇杆按键包括虚拟按键UI中的中心点位置坐标(xo,yo)以及映射的按键坐标信息(xt,yt)；
2)如用户保存了摇杆按键映射的配置信息(xt,yt)。当用户点击摇杆按键时，会监控触控事件，根据获取的移动坐标(xm,ym)，计算滑动时距离摇杆中心点的相对位置(xm-xo,ym-yo)；
3)根据相对位置计算映射的摇杆按键坐标(xt+xm-xo,yt+ym-yo)；
4)注入摇杆按键坐标的滑动事件至触摸管理器中。
一键响应操作的基本流程与大屏虚拟按键类似，区别在于设置时key值对应的键，存储的映射坐标非单点坐标，而是坐标序列列表，如(key0,{x00,y00,x01,y01,…,x0n,y0n})。当点击虚拟按键时，注入触摸事件序列至触摸管理器中。
触控板的设计原理如下：
1)触控板按照半屏的屏幕尺寸等比例设计，如半屏屏幕尺寸为(width,height)，则触控板的长宽(widtho,heighto)符合width/widtho＝height/heighto；
2)触控板滑动时，计算当前触控板上的触控点坐标(xo,yo)，在显示应用画面的半屏中的相对位置(xt,yt)；
3)计算公式为xt＝width/widtho*xo，yt＝height/heighto*height/heighto；
4)根据触控结束，抬起动作时的坐标位置(xt,yt)注入点击事件至touch管理器中。
在本公开的示例性实施例中，还可响应于检测到预设退出条件，退出分屏模式；并且将第一屏幕区域的显示页面显示在电子装置的屏幕上。
在本公开的示例性实施例中，当电子装置是折叠屏电子装置时，所述预设触发条件可包括电子装置的折叠状态从非折叠状态转换到预设折叠状态，所述预设退出条件可包括电子装置的折叠状态从所述预设折叠状态转换到所述非折叠状态。
本公开提供了一种基于分屏/多屏显示模式，通过自定义虚拟按键映射方法，实现一种应用操控方式。通过该方法，无需第三方适配，可以提供用户分屏模式下，一半屏幕显示游戏画面，一半屏幕操控游戏的全新体验，充分利用分屏模式的特性，给用户一种新的玩法，同时可以支持前后屏同时使用的玩法，提升用户体验。
图6示出根据本公开的示例性实施例的操作电子装置的示意图。如图6所示，当符合分屏/多屏模式触发条件时，①如用户未设置虚拟按键，则进入该状态后，指定时间内显示快键方式，用户可通过该快捷方式进入设置UI，配置虚拟按键。②如用户已经设置，则自动进入分屏/多屏模式，根据配置文件全屏或者半屏显示，半屏显示时在下半屏打开虚拟按键界面，当用户点击虚拟按键时，根据配置文件触发对应的实际触控操作。如图6所示，用户可以在分屏/多屏模式下，以在虚拟按键界面(也称为虚拟按键界面)操控应用。
以下对不同的应用场景的示例实施例进行说明，以游戏应用为例。
因游戏具有不同于其他应用的特点，需要频繁的触控事件对用户的操作进行即时响应，同时操作和游戏画面通常在同一画面中。
通常游戏可分为多种类型，同类型游戏操控界面类似。针对同一类型的游戏，可提供统一风格的模板虚拟按键。
图7示出根据本公开的示例性实施例的使用第一类游戏模板来设置虚拟按键的示例。如图7所示，第一类游戏主要按键包括技能释放等，可以根据游戏画面预设对应的常用按键，进入设置虚拟按键时使用第一类游戏模板，如用户无需修改，则可以点击确认保持该配置，也可以通过拖动对应的按键修改到需要相应的按钮或者位置上。
图8示出根据本公开的示例性实施例的使用第二类游戏模板来设置虚拟按键的示例。如图8所示，第二类游戏主要包括射击等常用按键，在打开设置虚拟按键时可提供第二类游戏模板，如确认，则使用预设的虚拟按键配置，也可通过拖动方式更新或者添加。
其他类型游戏的虚拟按键的配置方式可与上述方式类似。如非常用类型游戏，可以使用手动模板，自行拖动按键至需要响应的位置。当完成设置时，会保存对应的配置信息至数据库中，包括虚拟按键key值以及映射点坐标。
另外，还提供一种自动模式。自动模式主要是在设置时，方便用户快速设定虚拟按键。根据不同游戏分别记录一定数量的触摸事件历史，当进入自动模式设置时，可以通过触摸历史获取经常点击的区域。根据触摸热区，使用聚类算法生成对应的虚拟按键中心坐标。
图9示出根据本公开的示例性实施例的显示虚拟按键位置的示例。如图9所示，用户在玩当前游戏时，常点击5个技能释放相关按键，可根据算法推荐的坐标，自动显示虚拟按键位置。同时用户如有需要，也可以拖动按键图标进行调整。当设置完成后，可以通过虚拟按键界面操控当前应用。
图10示出根据本公开的示例性实施例的扩展按键的示例。在游戏模式下，用户追求多指操控体验，可以充分利用多指优势，提升响应的效率。基于虚拟按键模式，除大屏虚拟按键外，可以如图10所示，额外补充背面的左右区域作为扩展按键。可在大屏的设置UI上拖动RB或LB图标至需要响应的按键位置，如已设置并保持对应的配置，在进入半屏模式后，可通过点击背面的小屏左右区域控制前台的应用界面。
当用户点击背面的小屏区域并触发虚拟按键时，会从数据库中获取RB/LB对应的映射点坐标，与大屏虚拟按键类似，根据映射点坐标生成触摸事件，并通过触摸过滤器(Filter)注入，再由系统侧发送至应用侧处理。
以第一类游戏和第二类游戏分别做进一步说明如下。
针对第一类游戏
1)根据触摸历史数据生成热区
图11示出根据本公开的示例性实施例的根据触摸历史数据生成的热区的示例。如图11所示，左侧是游戏显示画面，右侧是根据实际游戏数据生成的热区模拟示意图，记录了特定时间的触摸事件坐标信息。通过类似K-mean的算法，集中的坐标点数据集可以生成相应的簇，分离的点将被忽略。然后基于热区中心点生成虚拟按键坐标，参考图中黄色圆圈标注区域为对应点击事件的常用技能按键，红色圆圈标注区域为对应移动操作的滑动事件。
2)自适应规则
图12示出根据本公开的示例性实施例的基于热区自适应匹配的配置参考界面的示例。如图12所示，左边是热区模拟示意图，右侧为自适应匹配后配置参考界面。
虚拟按键界面分为3个区域，右侧的A/B/X/Y和中心(绿色圆圈)，左侧的和中心(蓝色圆圈)，副屏的LB/RB。
如果打开副屏，则优先分发LB/RB对应的虚拟按键。
以图12的应用为例，不考虑副屏，主屏的虚拟按键界面，右侧A区域将匹配点击频率最高的常用技能击杀按键，Y和X分别匹配第二和第三频繁的特殊技能匹配按键，另外2个特殊技能按键位置偏左侧，分配到主屏界面的左侧区域按键，点击频率更高的按键分配到/>区域。左侧滑动按键会映射到界面左侧的中心按键(蓝色圆圈)。
3)收益案例介绍
对第一类游戏来说，最重要的就是快速换装，通过使用公开的方法，可以减少操作时延。
4)主屏显示副屏操作模式1
图13示出根据本公开的示例性实施例的主屏显示副屏操作的示意图。如图13所示，用户也可以体验主屏显示以及副屏操作的特殊模式，在享受大屏的同时可以减少主屏上的操作，避免遮挡。如使用虚拟按键配置LB-打开设置页面，LBB-切换装备，RBB-购买装备，RB-关闭设置页面。通过该模式，主屏可以全屏显示，又能满足类似一键换装的复杂操作需求。
5)主屏显示副屏操作模式2
图14示出根据本公开的示例性实施例的主屏显示副屏操作的示意图。由于背屏操作区域有限，如图14所示，可以提供特殊的主屏UI，通过左侧或右侧边缘的虚拟按键界面模式，接近全屏显示效果，同时又能提供更多的操控区域。
第二类游戏
1)根据触摸历史数据生成热区
图15示出根据本公开的示例性实施例的根据实际游戏数据生成的热区模拟示意图。如图15所示，左侧是游戏显示画面，右侧是根据实际游戏数据生成的热区模拟示意图，通过类似K-mean的算法，可以生成热区图，然后基于热区中心点生成虚拟按键坐标，参考图中黄色圆圈标注区域为对应点击事件的常用技能按键，红色圆圈标注区域为对应移动、切换视角的滑动事件。
2)自适应规则
图16示出根据本公开的示例性实施例的基于热区自适应匹配的配置参考界面的示例。如图16所示，左边是热区模拟示意图，右侧为自适应匹配后配置参考界面。
虚拟按键界面分为3个区域，右侧的A/B/X/Y和中心(绿色圆圈)，左侧的和中心(蓝色圆圈)，副屏的LB/RB。
如果打开副屏，则优先分发LB/RB对应的虚拟按键。
以图16中的应用为例，最常操作的按键包括左右两侧的滑动事件，与移动和切换视角有关，将匹配至绿色圆圈和蓝色圆圈。
同时最频繁的点击事件是开枪，将会匹配至虚拟按键界面中的按键A，其他虚拟按键会根据点击频繁程度分配到对应的虚拟按键。
3)收益案例介绍
第二类游戏最重要的场景就是击杀对手并且保证存活。使用本公开的方案，可以让用户操作更复杂的动作，更容易击杀对手，同时能增加对方反击的难度。
4)主屏显示副屏操作模式1
图17示出根据本公开的示例性实施例的主屏显示副屏操作的示意图。如图17所示，用户也可以体验主屏显示以及副屏操作的特殊模式。如使用虚拟按键配置LB-跳起，RB-射击。移动和切换视角可以使用主屏的左右区域滑动操作，通过该模式，主屏可以全屏显示，又能满足复杂的射击等动作。
5)主屏显示副屏操作模式2
图18示出根据本公开的示例性实施例的主屏显示副屏操作的示意图。由于背屏操作区域有限，如图18所示，可以提供特殊的主屏界面，通过左侧或右侧边缘的虚拟按键界面，接近全屏显示效果，同时又能提供更多的操控区域。
图19示出根据本公开的示例性实施例的一键响应操作序列的示例。除按键的一一映射关系设置和响应外，虚拟按键也支持一键响应操作序列。如图19所示，设置虚拟按键时，可通过指定动作，比如多次移动设置菜单对应图标，可新增对应下标的按键，如多拖动2次A键，共生成A1,A2,A3作为虚拟按键A的映射坐标序列。
在用户进入虚拟按键界面时，点击A键，会从数据库中获取对应的映射坐标序列，依次生成触摸事件后，通过触摸过滤器(Filter)注入，再由系统侧发送至应用侧，可满足用户一键操控的特殊需求。
本公开的有益效果是扩展了分屏/多屏模式的使用场景，特别是折叠机的半折叠状态，提供用户全新的虚拟按键控制台体验。同时无需第三方适配和修改，即可在电子装置侧通过虚拟按键同时进行半屏显示和半屏操控，从而降低了电子装置的适配成本，提供全新的折叠屏体验。
此外，根据本公开的示例性实施例的操作电子装置的方法，还可使得用户同时使用主屏和副屏；还可以根据用户的热区图自动获取推荐的虚拟按键。可以显著改善分屏模式、折叠机的半折叠模式适配时的成本，充分发挥电子装置的屏幕分区或者多个屏幕的优势。
此外，根据本公开的示例性实施例的操作电子装置的方法，不局限于游戏应用场景，也不局限于折叠屏电子装置场景。
以上已经结合图1至图19对根据本公开的示例性实施例的操作电子装置的方法进行了描述。在下文中，将参照图20对根据本公开的示例性实施例的操作电子装置的装置及其单元进行描述。
图20示出根据本公开的示例性实施例的操作电子装置的框图。
参照图20，操作电子装置的装置包括屏幕划分单元201、区分显示单元202和响应操作单元203。
屏幕划分单元201被配置为响应于检测到预设触发条件，将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域。
在本公开的示例性实施例中，屏幕划分单元201可被配置为：通过将电子装置的屏幕显示模式转换到分屏模式来将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域。
在本公开的示例性实施例中，操作电子装置的装置还可包括按键配置单元，被配置为：在预设时间段内，显示用于设置虚拟按键的快捷按钮；响应于接收到用户对所述快捷按钮的操作，显示用于配置虚拟按键的第一界面；基于用户对第一界面的操作来配置虚拟按键。
在本公开的示例性实施例中，所述虚拟按键界面中的虚拟按键的位置可基于用户历史操作的热区。
在本公开的示例性实施例中，所述装置还可包括虚拟按键配置单元，被配置为：基于用户历史操作数据匹配虚拟按键的位置和/或面积大小，其中，针对点击频繁的虚拟按键优先分配更容易按的位置和/或更大的面积。
区分显示单元202被配置为在第一屏幕区域显示电子装置的当前界面，在第二屏幕区域显示虚拟按键界面。
响应操作单元203被配置为响应于通过所述虚拟按键界面接收到用户操作指令，在所述当前界面执行与所述用户操作指令相应的响应操作。
在本公开的示例性实施例中，操作电子装置的装置还可包括恢复单元，被配置为：响应于检测到预设退出条件，退出分屏模式；并且将第一屏幕区域的显示页面显示在电子装置的屏幕上。
在本公开的示例性实施例中，当电子装置是折叠屏电子装置时，所述预设触发条件包括电子装置的折叠状态从非折叠状态转换到预设折叠状态，所述预设退出条件包括电子装置的折叠状态从所述预设折叠状态转换到所述非折叠状态。
在本公开的示例性实施例中，所述装置还可包括辅助操作单元(未示出)，被配置为：响应于检测到所述预设触发条件，将电子装置的至少一个其他屏幕设置为显示状态；在所述至少一个其他屏幕上显示扩展虚拟按键界面；响应于通过所述扩展虚拟按键界面接收到扩展用户操作指令，在所述当前界面执行与所述扩展用户操作指令相应的响应操作。
在本公开的示例性实施例中，响应操作单元203可被配置为：基于所述用户操作指令的操作坐标确定与所述用户操作指令相应的响应操作；执行确定的所述响应操作。
在本公开的示例性实施例中，响应操作单元203可被配置为：基于所述用户操作的坐标，确定所述坐标的预设范围内的多个区域；通过操控区域识别算法，基于所述多个区域的对角点的坐标来确定所述多个区域的区域对角计算值，基于所述区域对角计算值从所述多个区域确定所述坐标所属的区域；基于所述坐标所属的区域确定与所述用户操作指令相应的响应操作。
此外，根据本公开的示例性实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被执行时，实现根据本公开的示例性实施例的操作电子装置的方法。
在本公开的示例性实施例中，所述计算机可读存储介质可承载有一个或者多个程序，当所述计算机程序被执行时可实现以下步骤：响应于检测到预设触发条件，将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域；在第一屏幕区域显示电子装置的当前界面，在第二屏幕区域显示虚拟按键界面；响应于通过所述虚拟按键界面接收到用户操作指令，在所述当前界面执行与所述用户操作指令相应的响应操作。
计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储计算机程序的有形介质，该计算机程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。计算机可读存储介质可以包含在任意装置中；也可以单独存在，而未装配入该装置中。
此外，根据本公开的示例性实施例，还提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成根据本公开的示例性实施例的操作电子装置的方法。
以上已经结合图20对根据本公开的示例性实施例的操作电子装置的装置进行了描述。接下来，结合图21对根据本公开的示例性实施例的计算装置进行描述。
图21示出根据本公开的示例性实施例的计算装置的示意图。
参照图21，根据本公开的示例性实施例的计算装置21，包括存储器211和处理器212，所述存储器211上存储有计算机程序，当所述计算机程序被处理器212执行时，实现根据本公开的示例性实施例的操作电子装置的方法。
在本公开的示例性实施例中，当所述计算机程序被处理器212执行时，可实现以下步骤：响应于检测到预设触发条件，将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域；在第一屏幕区域显示电子装置的当前界面，在第二屏幕区域显示虚拟按键界面；响应于通过所述虚拟按键界面接收到用户操作指令，在所述当前界面执行与所述用户操作指令相应的响应操作。
本公开实施例中的计算装置可以包括但不限于诸如移动电话、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)、台式计算机等的装置。图21示出的计算装置仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
以上已参照图1至图21描述了根据本公开的示例性实施例的操作电子装置的方法及装置。然而，应该理解的是：图20中所示的操作电子装置的装置及其单元可分别被配置为执行特定功能的软件、硬件、固件或上述项的任意组合，图21中所示的计算装置并不限于包括以上示出的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。
根据本公开的示例性实施例的操作电子装置的方法及装置，通过响应于检测到预设触发条件，将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域，在第一屏幕区域显示电子装置的当前界面，在第二屏幕区域显示虚拟按键界面，响应于通过所述虚拟按键界面接收到用户操作指令，在所述当前界面执行与所述用户操作指令相应的响应操作，从而实现通过虚拟按键同时进行半屏显示和半屏操控。
尽管已经参照其示例性实施例具体显示和描述了本公开，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本公开的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (22)

1.一种操作电子装置的方法，包括：
响应于检测到预设触发条件，将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域；
在第一屏幕区域显示电子装置的当前界面，在第二屏幕区域显示虚拟按键界面；
响应于通过所述虚拟按键界面接收到用户操作指令，在所述当前界面执行与所述用户操作指令相应的响应操作。
2.根据权利要求1所述的方法，所述将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域的步骤包括：
通过将电子装置的屏幕显示模式转换到分屏模式来将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域。
3.根据权利要求2所述的方法，还包括：
响应于检测到预设退出条件，退出分屏模式；并且
将第一屏幕区域的显示页面显示在电子装置的屏幕上。
4.根据权利要求1所述的方法，其中，在将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域的步骤之后，还包括：
在预设时间段内，显示用于设置虚拟按键的快捷按钮；
响应于接收到用户对所述快捷按钮的操作，显示用于配置虚拟按键的第一界面；
基于用户对第一界面的操作来配置虚拟按键。
5.根据权利要求1所述的方法，其中，所述虚拟按键界面中的虚拟按键的位置基于用户历史操作的热区。
6.根据权利要求1所述的方法，其中，在所述在第二屏幕区域显示虚拟按键界面之前，所述方法还包括：
基于用户历史操作数据匹配虚拟按键的位置和/或面积大小，其中，针对点击频繁的虚拟按键优先分配更容易按的位置和/或更大的面积。
7.根据权利要求1所述的方法，其中，当电子装置是折叠屏电子装置时，所述预设触发条件包括电子装置的折叠状态从非折叠状态转换到预设折叠状态，所述预设退出条件包括电子装置的折叠状态从所述预设折叠状态转换到所述非折叠状态。
8.根据权利要求1所述的方法，其中，在检测到所述预设触发条件之后，所述方法还包括：
将电子装置的至少一个其他屏幕设置为显示状态；
在所述至少一个其他屏幕上显示扩展虚拟按键界面；
响应于通过所述扩展虚拟按键界面接收到扩展用户操作指令，在所述当前界面执行与所述扩展用户操作指令相应的响应操作。
9.根据权利要求1所述的方法，其中，所述在所述当前界面执行与所述用户操作指令相应的响应操作的步骤包括：
基于所述用户操作指令的操作坐标确定与所述用户操作指令相应的响应操作；
执行确定的所述响应操作。
10.根据权利要求9所述的方法，其中，所述基于所述用户操作指令的操作坐标确定与所述用户操作指令相应的响应操作的步骤包括：
基于所述用户操作的坐标，确定所述坐标的预设范围内的多个区域；
通过操控区域识别算法，基于所述多个区域的对角点的坐标来确定所述多个区域的区域对角计算值，基于所述区域对角计算值从所述多个区域确定所述坐标所属的区域；
基于所述坐标所属的区域确定与所述用户操作指令相应的响应操作。
11.一种操作电子装置的装置，包括：
屏幕划分单元，被配置为响应于检测到预设触发条件，将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域；
区分显示单元，被配置为在第一屏幕区域显示电子装置的当前界面，在第二屏幕区域显示虚拟按键界面；和
响应操作单元，被配置为响应于通过所述虚拟按键界面接收到用户操作指令，在所述当前界面执行与所述用户操作指令相应的响应操作。
12.根据权利要求11所述的装置，其中，所述屏幕划分单元被配置为：
通过将电子装置的屏幕显示模式转换到分屏模式来将电子装置的屏幕划分为第一屏幕区域和第二屏幕区域。
13.根据权利要求12所述的装置，还包括恢复单元，被配置为：
响应于检测到预设退出条件，退出分屏模式；并且
将第一屏幕区域的显示页面显示在电子装置的屏幕上。
14.根据权利要求11所述的装置，还包括按键配置单元，被配置为：
在预设时间段内，显示用于设置虚拟按键的快捷按钮；
响应于接收到用户对所述快捷按钮的操作，显示用于配置虚拟按键的第一界面；
基于用户对第一界面的操作来配置虚拟按键。
15.根据权利要求11所述的装置，其中，所述虚拟按键界面中的虚拟按键的位置基于用户历史操作的热区。
16.根据权利要求11所述的装置，还包括虚拟按键配置单元，被配置为：
基于用户历史操作数据匹配虚拟按键的位置和/或面积大小，其中，针对点击频繁的虚拟按键优先分配更容易按的位置和/或更大的面积。
17.根据权利要求11所述的装置，其中，当电子装置是折叠屏电子装置时，所述预设触发条件包括电子装置的折叠状态从非折叠状态转换到预设折叠状态，所述预设退出条件包括电子装置的折叠状态从所述预设折叠状态转换到所述非折叠状态。
18.根据权利要求11所述的装置，还包括辅助操作单元，被配置为：
响应于检测到所述预设触发条件，将电子装置的至少一个其他屏幕设置为显示状态；
在所述至少一个其他屏幕上显示扩展虚拟按键界面；
响应于通过所述扩展虚拟按键界面接收到扩展用户操作指令，在所述当前界面执行与所述扩展用户操作指令相应的响应操作。
19.根据权利要求11所述的装置，其中，所述响应操作单元被配置为：
基于所述用户操作指令的操作坐标确定与所述用户操作指令相应的响应操作；
执行确定的所述响应操作。
20.根据权利要求19所述的装置，其中，所述响应操作单元被配置为：
基于所述用户操作的坐标，确定所述坐标的预设范围内的多个区域；
通过操控区域识别算法，基于所述多个区域的对角点的坐标来确定所述多个区域的区域对角计算值，基于所述区域对角计算值从所述多个区域确定所述坐标所属的区域；
基于所述坐标所属的区域确定与所述用户操作指令相应的响应操作。
21.一种存储有计算机程序的计算机可读存储介质，其中，当所述计算机程序被处理器执行时，实现权利要求1至10中任一项所述的操作电子装置的方法。
22.一种计算装置，包括：
至少一个处理器；
至少一个存储器，存储有计算机程序，当所述计算机程序被所述至少一个处理器执行时，实现权利要求1至10中任一项所述的操作电子装置的方法。
CN202310825813.3A 2023-07-06 2023-07-06 操作电子装置的方法及装置 Pending CN116939075A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310825813.3A CN116939075A (zh) 2023-07-06 2023-07-06 操作电子装置的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310825813.3A CN116939075A (zh) 2023-07-06 2023-07-06 操作电子装置的方法及装置

Publications (1)

Publication Number Publication Date
CN116939075A true CN116939075A (zh) 2023-10-24

Family

ID=88381952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310825813.3A Pending CN116939075A (zh) 2023-07-06 2023-07-06 操作电子装置的方法及装置

Country Status (1)

Country Link
CN (1) CN116939075A (zh)

Similar Documents

Publication Publication Date Title
EP2854973B1 (en) Graphical user interface for a gaming system
US9965039B2 (en) Device and method for displaying user interface of virtual input device based on motion recognition
US9880727B2 (en) Gesture manipulations for configuring system settings
US10282022B2 (en) Control method and control device for working mode of touch screen
CN111580923B (zh) 一种控制方法、装置及电子设备
CN112148170B (zh) 桌面元素调整方法、装置和电子设备
KR102027879B1 (ko) 미디어 기기의 메뉴 제어 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
WO2014000445A1 (zh) 控件设置方法和终端设备
CN107797722A (zh) 触控屏图标选择方法及装置
CN111831190B (zh) 音乐应用程序控制方法、装置及电子设备
CN106325842B (zh) 访问智能终端同类应用的方法、装置及智能终端
JP2023542666A (ja) 操作方法及び装置
KR20150135840A (ko) 사용자 인터페이스 제공 장치 및 방법
US20230241499A1 (en) Position adjustment method and apparatus for operation control, terminal, and storage medium
CN114415886A (zh) 应用图标的管理方法和电子设备
TW201833902A (zh) 子畫面佈局控制方法和裝置
CN113769375A (zh) 游戏控件的处理方法、装置、终端设备和可读存储介质
CN113268182A (zh) 应用图标的管理方法和电子设备
US20200293155A1 (en) Device and method for providing reactive user interface
WO2022267433A1 (zh) 视频资源处理方法及装置
CN116939075A (zh) 操作电子装置的方法及装置
TW201514832A (zh) 調整畫面顯示的系統及方法
CN113835578A (zh) 显示方法、装置及电子设备
CN112527175A (zh) 动画实现方法、装置、设备及存储介质
WO2018180406A1 (ja) シーケンス生成装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination