CN113126756A - 应用交互方法及装置 - Google Patents

应用交互方法及装置 Download PDF

Info

Publication number
CN113126756A
CN113126756A CN202110322379.8A CN202110322379A CN113126756A CN 113126756 A CN113126756 A CN 113126756A CN 202110322379 A CN202110322379 A CN 202110322379A CN 113126756 A CN113126756 A CN 113126756A
Authority
CN
China
Prior art keywords
control
target
touch feedback
application
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110322379.8A
Other languages
English (en)
Inventor
吴明桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202110322379.8A priority Critical patent/CN113126756A/zh
Publication of CN113126756A publication Critical patent/CN113126756A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种应用交互方法及装置，属于通信技术领域。能够解决在投屏场景下进行游戏时，用户的操作速度、精准度等受到影响，导致用户游戏体验差的技术问题。上述方法包括：在检测到第一电子设备与第二电子设备间投屏连接的情况下，将目标应用中的第一控件的触控反馈配置切换为第一控件对应的目标触控反馈配置；接收用户对第一控件的触控输入；响应于上述触控输入，发出目标触控反馈，所述目标触控反馈为所述目标触控反馈配置为第一控件配置的触控反馈。本申请实施例应用于投屏场景中。

Description

应用交互方法及装置
技术领域
本申请属于通信技术领域，具体涉及一种应用交互方法及装置。
背景技术
随着电子技术的发展，电子设备的显示性能与处理性能的提升，使得可以在电子设备上运行大型的在线游戏。目前，用户可以在手机等电子设备上进行多种游戏。但是，由于手机或者平板等小型电子设备的屏幕通常较小。因此，目前提出了可以通过投屏技术将游戏显示画面投屏到其他具备大屏幕的电子设备(如，智能电视)上显示，将手机等电子设备仅作为游戏操控设备。
在相关技术中，当将第一电子设备运行的游戏投屏至第二电子设备时，用户是通过对投屏设备的显示屏中虚拟的操作按钮进行触控操作，来进行游戏操作。由于用户在观看投屏设备中的投屏画面的同时，也需要关注被投屏设备显示屏中的显示画面来精准的触控相应的操作控件，从而利用触控操作控制游戏应用的受控游戏角色。
如此，由于用户需要同时关注两个显示屏的显示内容，从而导致用户的操作速度、精准度等受到影响。
发明内容
本申请实施例的目的是提供一种应用交互方法及装置，能够解决在投屏场景下操作应用，用户的操作速度、精准度等受到影响的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种应用交互方法，该方法包括：在检测到第一电子设备与第二电子设备间投屏连接的情况下，将目标应用中的第一控件的触控反馈配置切换为第一控件对应的目标触控反馈配置；接收用户对第一控件的触控输入；响应于上述触控输入，发出目标触控反馈配置为第一控件配置的目标触控反馈。
第二方面，本申请实施例提供了一种应用交互装置，该装置包括：所述配置模块，用于在检测到第一电子设备与第二电子设备间投屏连接的情况下，将目标应用中的第一控件的触控反馈配置切换为第一控件对应的目标触控反馈配置；上述接收模块，用于接收用户对第一控件的触控输入；上述执行模块，用于响应于上述接收模块接收的触控输入，发出上述目标触控反馈配置为上述第一控件配置的目标触控反馈。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供了一种计算机程序产品，该程序产品被存储在非易失的存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中，应用交互装置可以在检测到第一电子设备与第二电子设备间投屏连接的情况下，将目标应用中的第一控件的触控反馈配置切换为第一控件对应的目标触控反馈配置，并在接收到用户对第一控件的触控输入的情况下，发出目标触控反馈配置为第一控件配置的目标触控反馈，从而利用第一控件对应的目标触控反馈，使用户在不关注显示屏的情况下，也能通过应用交互装置发出的第一控件对应的目标触控反馈，感知到当前操作的第一控件。如此，一方面，减少甚至避免用户观看显示屏的过程，从而帮助用户在操作应用(例如，操作游戏应用)的过程中实现“盲操作”，增强用户的应用交互体验；另一方面，使得用户可以在专注投屏画面的情况下，提升用户的操作速度、精准度。
附图说明
图1是本申请实施例提供的一种应用交互方法的流程图；
图2是本申请实施例提供的一种应用交互装置的结构示意图；
图3是本申请实施例提供的一种电子设备的硬件结构示意图之一；
图4是本申请实施例提供的一种电子设备的硬件结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
目前，电子产品中支持的应用功能越来越多，不同设备之间进行数据同步也变得非常普遍。例如，采用投屏技术，可以将移动设备上的数据实时同步显示在其他设备中，例如，将用户手机上的界面内容显示在与手机连接的智能电视的屏幕上。
示例性的，目前电子设备主要通过以下几种方式实现投屏功能：DLNA，投屏APP。其中，DLNA代表“数字生活网络联盟”。DLNA使用通用即插即用(UPnP)协议。例如，在手机上使用该投屏协议实现投屏的情况下，在使用视频播放APP打开视频后，点击投屏图标，就会弹出“正在搜寻可投屏设备”，并显示同一个Wi-Fi网络下能够发现的投屏设备，选择投屏的电视机后，电视机就会播放对应的视频。
专门投屏的投屏APP通常实现了上述几种协议，或者是自身实现一套私有协议。手机和智能电视需要在均安装有投屏APP时，通过投屏APP进行投屏。
在相关技术中，在玩游戏场景下，当手机上的游戏界面投屏到电视时，如果想做到视觉体验上的最佳化，通常不将相应的操作按钮也显示在电视上。此时，如果希望获得最佳的视觉沉浸体验，人的注意力焦点是在电视投屏上，而非相比小屏的手机上。
通常情况下，用户的游戏操作是通过双手发生在手机屏幕的，由于当前的智能机屏幕表面是平面光滑的，如果在人眼没有注视手机屏幕的情况下，便难以操作到正确的游戏按钮。因此，如果想更沉浸式地通过投屏玩游戏，便遇到了障碍。
在本申请实施例中，应用交互装置可以在检测到第一电子设备与第二电子设备间投屏连接的情况下，将目标应用中的第一控件的触控反馈配置切换为第一控件对应的目标触控反馈配置，并在接收到用户对第一控件的触控输入的情况下，发出目标触控反馈配置为第一控件配置的目标触控反馈，从而利用第一控件对应的目标触控反馈，使用户在不关注显示屏的情况下，也能通过应用交互装置发出的第一控件对应的目标触控反馈，感知到当前操作的第一控件。如此，一方面，减少甚至避免用户观看显示屏的过程，从而帮助用户在操作应用(例如，操作游戏应用)的过程中实现“盲操作”，增强用户的应用交互体验；另一方面，使得用户可以在专注投屏画面的情况下，提升用户的操作速度、精准度。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的应用交互方法进行详细地说明。
本申请实施例提供了一种应用交互方法，应用于第一电子设备，图1示出了本申请实施例提供的应用交互方法的流程图，如图1所示，本申请实施例提供的应用交互方法可以包括如下步骤101至步骤103：
步骤101：应用交互装置在第一电子设备与第二电子设备间投屏连接的情况下，将目标应用中的第一控件的触控反馈配置切换为第一控件对应的目标触控反馈配置。
在本申请实施例中，第一电子设备和第二电子设备可以包括以下任一项：智能电视/手机/穿戴设备，平板电脑，车载设备等，本申请实施例对此不做任何限定。
可以理解的是，目前为了提升用户对电子设备的屏幕内容的观看体验，通常将小屏幕的电子设备(例如，手机)的屏幕内容投屏到大屏幕的电子设备的屏幕上。示例性的，上述第一电子设备可以为小屏幕的电子设备，例如，手机，平板；上述第二电子设备可以为大屏幕的电子设备，例如，智能电视。
在本申请实施例中，应用交互装置可以对第一电子设备进行实时检测，以确定第一电子设备与第二电子设备是否投屏连接。
示例性的，应用交互装置可以对第一电子设备的进程列表(Process List)进行监测，并基于监测结果确定第一电子设备是否处于投屏连接状态，若进程列表中存在投屏连接对应的进程，则可以确定第一电子设备处于投屏连接状态。
在本申请实施例中，上述目标应用可以为电子设备中的任一系统应用或者第三方应用。示例性的，上述目标应用可以为以下任一项：社交APP、游戏APP、多媒体APP等，本申请实施例对此不做任何限定。
示例性的，上述目标应用可以是预设的应用。上述目标应用还可以是第一电子设备和第二电子设备间投屏连接的情况下，第一电子设备中运行的应用，或者，第一电子设备的显示屏中显示有应用界面的应用。
在本申请实施例中，上述目标应用中的第一控件可以为：目标应用中的功能控件。示例性的，上述功能控件可以为功能选项或者操作控件(如，操作按钮)。例如，当上述目标应用为社交APP时，上述第一控件可以为该社交APP中进行消息发送的功能选项；当上述目标应用为游戏APP时，上述第一控件可以为该游戏APP中进行游戏操控的操作按钮。
在本申请实施例中，上述第一控件对应的目标触控反馈配置用于配置该第一控件的触控反馈效果和识别区域。
可选地，在本申请实施例中，上述目标触控反馈的反馈方式包括以下至少一项：震动反馈，声音反馈。示例性的，上述震动反馈和声音反馈，用于在用户进行触控输入的情况下，向用户提供触觉和听觉上的反馈。
可选地，在本申请实施例中，上述配置该第一控件的识别区域可以包括以下任一项：1)将第一控件的识别区域放大；2)以预设透明度显示第一控件的识别区域(例如，在第一控件上增加蒙层按钮效果，以通过操作按钮的蒙层更好地辅助用户的视觉感知)，以预设颜色、亮度显示第一控件的识别区域；3)控制第一控件的识别区域的显示屏形变(如，使显示屏凸起)等。
可选地，在本申请实施例中，应用交互装置在检测到第一电子设备和第二电子设备间已建立投屏连接的情况下，可以根据该第一控件对应的目标触控反馈配置，对该第一控件进行重配，即，重新配置该第一控件的触控反馈配置。
可选地，在本申请实施例中，应用交互装置在检测到第一电子设备与第二电子设备间的投屏连接的情况下，可以在上述第一电子设备或者目标应用处于投屏交互模式(如，投屏游戏交互模式)的情况下，将目标应用中的第一控件的触控反馈配置切换为第一控件对应的目标触控反馈配置。
步骤102：应用交互装置接收用户对第一控件的触控输入。
可选地，在本申请实施例中，上述第一输入可以包括：用户对上述第一控件的点击输入，滑动输入，按压输入等。进一步地，上述点击操作可以为任意次数的点击操作，也可以为长按的点击(点击时间大于或等于预设时间的)操作，也可以是短按的点击(点击时间小于预设时间的)操作等。上述滑动操作可以为向任意方向的滑动操作，例如向上滑动、向下滑动、向左滑动或者向右滑动等。
在本申请实施例中，上述第一输入用于触发第一电子设备执行第一控件对应的目标功能。
可选地，在本申请实施例中，上述目标应用中的第一控件对应该目标应用的功能指令，上述目标应用的功能指令用于指示执行目标应用的目标功能。
示例性的，应用交互装置在接收用户对第一控件的第一输入之后，可以获取该第一控件对应的功能指令，然后根据该功能指令执行相应的目标功能。
举例说明，以上述目标应用为游戏APP，上述第一控件为该游戏APP中的操作按钮为例，当该操作按钮指示的功能指令为施放技能A时，在用户点击该操作按钮后，第一电子设备在该游戏应用中执行施放技能A的功能。
步骤103：应用交互装置响应于触控输入，发出目标触控反馈。
其中，上述目标触控反馈为上述目标触控反馈配置为第一控件配置的触控反馈。
可选地，在本申请实施例中，应用交互装置在接收用户对第一控件的触控输入后，可以获取该第一控件对应的目标触控反馈配置，并根据第一控件对应的目标触控反馈配置，控制显示屏下的振动单元振动，和/或，控制音频模块输出声音(如，提示音)。
需要说明的是，当用户在投屏情况下操作第一电子设备上的功能控件时，通过触觉和听觉上的反馈来提醒用户当前所操作的功能控件，使得用户在不看显示屏的情况下也能感知到功能控件的位置，减少甚至避免用户观看操作屏幕的过程，进而帮助用户在游戏过程中实现“盲操作”，提升用户眼睛观看投屏画面的专注度，增强用户的游戏体验。
举例说明，以目标应用为游戏APP，第一控件为该游戏APP中的操作按钮A为例。假设该操作按钮A对应的目标触控反馈包括：震动效果1和声音2，则用户在点击该操作按钮A的情况下，应用交互装置可以发出震动效果1和声音2，以提示用户能够感知该操作按钮A在显示屏中的位置。
在本申请实施例提供的应用交互方法中，应用交互装置可以在检测到第一电子设备与第二电子设备间投屏连接的情况下，将目标应用中的第一控件的触控反馈配置切换为第一控件对应的目标触控反馈配置，并在接收到用户对第一控件的触控输入的情况下，发出目标触控反馈配置为第一控件配置的目标触控反馈，从而利用第一控件对应的目标触控反馈，使用户在不关注显示屏的情况下，也能通过应用交互装置发出的第一控件对应的目标触控反馈，感知到当前操作的第一控件。如此，一方面，减少甚至避免用户观看显示屏的过程，从而帮助用户在操作应用(例如，操作游戏应用)的过程中实现“盲操作”，增强用户的应用交互体验；另一方面，使得用户可以在专注投屏画面的情况下，提升用户的操作速度、精准度。
可选地，在本申请实施例中，上述步骤101中将目标应用中的第一控件的触控反馈配置切换为目标触控反馈配置的过程，可以包括如下步骤101a：
步骤101a：应用交互装置按照上述第一控件对应的目标触控反馈配置，将上述第一控件在上述第一电子设备的显示屏中的原始识别区域配置为目标识别区域。
其中，上述目标识别区域的区域面积大于上述原始识别区域的区域面积。
需要说明的是，第一控件的识别区域(即，该第一控件的触控响应区域)，可以为该第一控件的控件响应区域，第一控件对应的预定显示区域。
示例性的，上述第一控件的原始识别区域为该控件原本的识别区域。
示例性的，上述第一控件的目标识别区域为该第一控件对应的目标触控反馈配置为该第一控件重新配置的识别区域。
示例性的，应用交互装置在将第一控件的原始识别区域配置为目标识别区域的情况下，可以调整第一控件的位置和/或大小。例如，在放大第一控件的识别区域的同时，将第一控件放大。
举例说明，以上述目标应用为游戏APP，第一控件为该游戏APP中的操作控件，且该操作控件为圆形控件为例。则应用交互装置可以根据该圆形控件对应的目标触控反馈配置，将该圆形控件进行放大。
如此，当用户在投屏场景下使用应用时，可以扩大该应用的功能控件的识别区域，从而扩大了用户对控件的可操作区域的面积，提高用户操作控件的准确性。
示例性的，用户可以通过“开启”和“关闭”开关，灵活控制是否重配第一控件的识别区域。例如，用户可以点击“开启”开关，触发应用交互装置将第一控件的识别区域进行放大。
可选地，在本申请实施例中，上述目标应用中包含多个控件，上述多个控件包括上述第一控件。
其中，在上述第一电子设备与上述第二电子设备间投屏连接的情况下，上述多个控件中的每个控件对应不同的触控反馈配置。
示例性的，上述每个控件对应的不同的触控反馈配置用于为不同控件配置不同的触控反馈。即，目标应用中的不同控件具备不同的触控反馈。
示例性的，应用交互装置在接收用户对不同的控件的触控输入的情况下，可以根据不同的控件对应的目标触控反馈配置，发出不同的触控反馈。
举例说明，假设目标应用为游戏APP1，该游戏APP1中存在操作按钮1，操作按钮2和操作按钮3这3个操作按钮(即，控件)，操作按钮1对应的触控反馈为：震动效果a+声音a，操作按钮2对应的触控反馈为：震动效果b，操作按钮3对应的触控反馈为：震动效果c+声音c，则用户在点击操作按钮1、操作按钮2和操作按钮3的情况下，应用交互装置可以发出相应的震动效果a+声音a，震动效果b和震动效果c+声音c。
如此，由于目标应用中的每个控件可以对应不同的触控反馈配置，使得用户在不关注显示屏上的每个控件的情况下操作控件时，可以通过应用交互装置发出的不同的触控反馈，感知显示屏中的不同控件各自所处的位置，从而对不同的控件加以区分，提高用户操作控件的准确性。
可选地，在本申请实施例中，上述目标触控反馈配置可以包括以下任一项：通用默认配置，用户主动适配。
示例性的，上述通用默认配置可以是应用交互装置预先为目标应用中的第一控件配置的目标触控反馈设置；上述用户主动适配可以是用户为目标应用中的第一控件自定义的目标触控反馈设置。
示例性的，当目标应用包括多个控件时，可以为不同的控件配置不同的触控反馈配置。进一步地，在设置控件的触控反馈配置的情况下，可以为不同的控件设置不同的触控反馈。例如，当控件的触控反馈为震动反馈时，可以为不同的控件设置不同的震动时长、震动连续性、震动幅度以及震动强度的震动反馈；当控件的触控反馈为声音反馈时，可以为不同的控件设置不同的音调、音色以及响度的提示音，以便用户对应用中的不同控件进行区分。
1)针对目标触控反馈用于配置控件的触控反馈效果的情况：
示例性的，当上述目标触控反馈配置为通用默认配置时，应用交互装置可以默认设置目标应用中的1到n个控件的反馈效果(即，震动反馈和声音反馈)。
示例性的，应用交互装置可以先获取目标应用中的一个或者多个控件，并为这些控件设置代号，然后根据每个控件的代号，依次针对每个控件自动进行目标触控反馈配置，并保存每个控件对应的目标触控反馈配置。即，应用交互装置可以针对目标应用中的每个控件(如，功能控件)，单独设置目标触控反馈配置，即，震动反馈、声音反馈。
举例说明，表1示出了游戏APP(仅是一种示例)对应的一种通用默认配置项参考表，具体的配置方式可以根据实际情况确定，本申请实施例对此不做任何限定。
按钮代号 反馈效果
1 震动效果a
2 震动效果b
3 震动效果c+声音a
4 震动效果d
5 声音b
6 声音c
表1
需要说明的是，上述按钮代号为应用交互装置为该游戏APP中的每个控件(即，操作按钮)设置的代号，每个按钮代号代表唯一一个按钮。
示例性的，当上述目标触控反馈配置为用户主动适配时，用户可以自定义目标应用的一个或者多个控件的配置项；进一步地，用户可以在应用交互设置界面中，主动设置目标应用的一个或多个控件的触控反馈的反馈效果。
举例说明，表2示出了游戏APP(仅是一种示例)对应的一种用户(即，游戏应用方)主动适配配置项参考表(以目标应用为游戏APP为例)，具体的配置方式可以根据实际情况确定，本申请实施例对此不做任何限定。
按钮代号 反馈效果
蓝色前进摇杆 震动效果a
红色瞄准方向摇杆 震动效果b+声音b
红色摇杆的射击 震动效果c+声音a
表2
2)针对目标触控反馈配置用于配置控件的识别区域的情况：
示例性的，应用交互装置可以将第一控件进行一定程度的放大，该放大成都可以用放大倍数表征。
在一种示例中，当上述目标触控反馈配置为通用默认配置时，应用交互装置可以为第一控件设置默认的放大倍数，例如，将第一控件放大1.2倍。
在另一种示例中，当上述触控反馈配置为通用默认配置时，应用交互装置可以为第一控件适应性设置放大倍数，即，使得第一控件自适应于应用界面的显示区域以及应用界面中的其它控件的识别区域进行放大，即，第一控件的放大倍数是可以发生变化的。
需要说明的是，应用交互装置在适应性设置第一控件的放大倍数的情况下，对于第一控件的放大倍数是以不覆盖其它控件的识别区域为前提的，如果相邻两个控件的距离较小，则第一控件的放大倍数也较小；反之，如果相邻两个按钮距离较大，则放大倍数也较大。进一步地，在目标应用中包括多个控件的情况下，应用交互装置可以自动识别各个控件的识别区域以及各个控件之间的位置关系(如，距离)，然后根据自适应算法确定第一控件的放大倍数的最优解。
示例性的，当上述目标触控反馈配置为用户主动适配时，用户可以自定义目标应用的一个或者多个控件的配置项；进一步地，用户可以在应用交互设置界面中，主动设置目标应用的一个或多个控件的识别区域的放大倍数。
示例性的，在第一控件同时具备通用默认配置和用户主动适配两种配置时，可以在这两种配置间进行切换。进一步地，应用交互装置可以显示用来进行配置切换的悬浮控件，用户可以通过对该悬浮控件进行输入，来触发应用交互装置进行上述两种配置的切换。
如此，用户可以通过通用默认配置或者自定义配置为应用中的控件设置触控反馈配置，以及，用户可以灵活地切换控件的不同配置，提高了用户操作的灵活性。
可选地，在本申请实施例中，上述步骤101中将目标应用中的第一控件的触控反馈配置切换为上述第一控件对应的目标触控反馈配置的过程，可以包括如下步骤101b：
步骤101b：应用交互装置在显示目标应用的第一界面的情况下，获取上述第一界面中的每个控件对应的目标触控反馈配置，分别将上述每个控件对应的触控反馈配置切换为各自对应的目标触控反馈配置。
其中，上述第一界面中的控件包含上述第一控件。
示例性的，上述目标应用的第一界面可以为目标应用的任一应用界面。进一步地，当上述目标应用为游戏应用时，该第一界面可以为该游戏应用中的游戏界面。
示例性的，应用交互装置可以对显示屏上的显示内容进行检测，当检测到显示屏上显示有目标应用的应用界面时，可以通过解析该应用界面的界面内容，来获取该应用界面中的各个功能控件，然后，基于每个控件对应的目标触控反馈配置对该控件的触控反馈配置进行重配。进一步地，上述解析结果中可以包括各个功能控件的位置、大小、代号中的至少一种，应用交互装置可以根据解析结果获取上述一个或多个控件的控件信息。
进一步地，应用交互装置在获取上述目标应用的第一界面中的每个控件后，可以同时将每个控件对应的触控反馈配置的配置效果作用于每个控件，或者，按照预定优先级将每个控件对应的触控反馈配置的配置效果分别作用于每个控件。例如，上述预定优先级可以为：按照正向显示屏(即，屏幕)从上至下，从左至右。
举例说明，参照上述表1，假设目标应用为游戏APP1，该游戏APP1中存在操作按钮1，操作按钮2和操作按钮3这3个操作按钮(即，控件)，操作按钮1对应的触控反馈配置为：震动效果a+声音a，操作按钮2对应的触控反馈配置为：震动效果b，操作按钮3对应的触控反馈配置为：震动效果c+声音c，则在投屏情况下显示该游戏APP1的游戏界面的情况下，应用交互装置可以同时将上述3个操作按钮对应的触控反馈配置的配置效果，分别作用于每个操作按钮，以使得用户在点击上述3个操作按钮后，可以发出相应的触控反馈。
如此，在显示目标应用的应用界面的情况下，应用交互装置可以自动获取目标应用的当前显示的界面中的每个控件，并为每个控件进行相应的触控反馈配置。一方面，应用交互可以针对用户当前可能需要使用的控件进行配置，以便用户在当前界面上进行操作，提高人机交互效果；另一方面，应用交互装置无需对目标应用未显示的界面中的控件进行配置，即，无需对目标应用中用户当前不需要操作的界面中的控件进行配置，提高操作效率。
需要说明的是，本申请实施例提供的应用交互方法，执行主体可以为应用交互装置，或者该应用交互装置中的用于执行应用交互方法的控制模块。本申请实施例中以应用交互装置执行应用交互方法为例，说明本申请实施例提供的应用交互装置。
本申请实施例提供一种应用交互装置，如图2所示，该应用交互装置包括：配置模块601，接收模块602和执行模块603，其中：
上述配置模块601，用于在第一电子设备与第二电子设备间投屏连接的情况下，将目标应用中的第一控件的触控反馈配置切换为上述第一控件对应的目标触控反馈配置；上述接收模块602，用于接收用户对上述第一控件的触控输入；上述执行模块603，用于响应于上述接收模块接收的上述触控输入，发出目标触控反馈，上述目标触控反馈为目标触控反馈配置为第一控件配置的触控反馈。
可选地，在本申请实施例中，上述配置模块601，具体用于按照上述第一控件对应的目标触控反馈配置，将上述第一控件在上述第一电子设备的显示屏中的原始识别区域配置为上述目标识别区域；其中，上述目标识别区域的区域面积大于上述原始识别区域的区域面积。
可选地，在本申请实施例中，上述目标应用中包含多个控件，上述多个控件包括上述第一控件；其中，在上述第一电子设备与上述第二电子设备间投屏连接的情况下，上述多个控件中的每个控件对应不同的触控反馈配置。
可选地，在本申请实施例中，上述配置模块601，具体用于在显示目标应用的第一界面的情况下，获取上述第一界面中的每个控件对应的目标触控反馈配置，分别将上述每个控件对应的触控反馈配置切换为各自对应的目标触控反馈配置；其中，上述第一界面中的控件包含上述第一控件。
可选地，在本申请实施例中，上述目标触控反馈的反馈方式包括以下至少一项：声音反馈，震动反馈。
在本申请实施例提供的应用交互装置中，应用交互装置可以在检测到第一电子设备与第二电子设备间投屏连接的情况下，将目标应用中的第一控件的触控反馈配置切换为第一控件对应的目标触控反馈配置，并在接收到用户对第一控件的触控输入的情况下，发出目标触控反馈配置为第一控件配置的目标触控反馈，从而利用第一控件对应的目标触控反馈，使用户在不关注显示屏的情况下，也能通过应用交互装置发出的第一控件对应的目标触控反馈，感知到当前操作的第一控件。如此，一方面，减少甚至避免用户观看显示屏的过程，从而帮助用户在操作应用(例如，操作游戏应用)的过程中实现“盲操作”，增强用户的应用交互体验；另一方面，使得用户可以在专注投屏画面的情况下，提升用户的操作速度、精准度。
本申请实施例中的应用交互装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的应用交互装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的应用交互装置能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选的，如图3所示，本申请实施例还提供一种电子设备700，包括处理器701，存储器702，存储在存储器702上并可在所述处理器701上运行的程序或指令，该程序或指令被处理器701执行时实现上述应用交互方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图4为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。
本领域技术人员可以理解，电子设备100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图4中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，上述处理器110，用于在第一电子设备与第二电子设备间投屏连接的情况下，将目标应用中的第一控件的触控反馈配置切换为上述第一控件对应的目标触控反馈配置；上述用户输入单元107，用于接收用户对上述第一控件的触控输入；上述处理器110，还用于响应于上述接收模块接收的上述触控输入，发出目标触控反馈，上述目标触控反馈为目标触控反馈配置为第一控件配置的触控反馈。
可选地，在本申请实施例中，上述处理器110，具体用于按照上述第一控件对应的目标触控反馈配置，将上述第一控件在上述第一电子设备的显示屏中的原始识别区域配置为上述目标识别区域；其中，上述目标识别区域的区域面积大于上述原始识别区域的区域面积。
可选地，在本申请实施例中，上述目标应用中包含多个控件，上述多个控件包括上述第一控件；其中，在上述第一电子设备与上述第二电子设备间投屏连接的情况下，上述多个控件中的每个控件对应不同的触控反馈配置。
可选地，在本申请实施例中，上述处理器110，具体用于在显示目标应用的第一界面的情况下，获取上述第一界面中的每个控件对应的目标触控反馈配置，分别将上述每个控件对应的触控反馈配置切换为各自对应的目标触控反馈配置；其中，上述第一界面中的控件包含上述第一控件。
可选地，在本申请实施例中，上述目标触控反馈的反馈方式包括以下至少一项：声音反馈，震动反馈。
在本申请实施例提供的电子设备中，应用交互装置可以在检测到第一电子设备与第二电子设备间投屏连接的情况下，将目标应用中的第一控件的触控反馈配置切换为第一控件对应的目标触控反馈配置，并在接收到用户对第一控件的触控输入的情况下，发出目标触控反馈配置为第一控件配置的目标触控反馈，从而利用第一控件对应的目标触控反馈，使用户在不关注显示屏的情况下，也能通过应用交互装置发出的第一控件对应的目标触控反馈，感知到当前操作的第一控件。如此，一方面，减少甚至避免用户观看显示屏的过程，从而帮助用户在操作应用(例如，操作游戏应用)的过程中实现“盲操作”，增强用户的应用交互体验；另一方面，使得用户可以在专注投屏画面的情况下，提升用户的操作速度、精准度。
应理解的是，本申请实施例中，输入单元104可以包括图形处理器(GraphicsProcessing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器109可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述应用交互方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述xxx方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供了一种计算机程序产品，该程序产品被存储在非易失的存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种应用交互方法，应用于第一电子设备，其特征在于，所述方法包括：
在第一电子设备与第二电子设备间投屏连接的情况下，将目标应用中的第一控件的触控反馈配置切换为所述第一控件对应的目标触控反馈配置；
接收用户对所述第一控件的触控输入；
响应于所述触控输入，发出目标触控反馈，所述目标触控反馈为目标触控反馈配置为所述第一控件配置的触控反馈。
2.根据权利要求1所述的方法，其特征在于，所述将目标应用中的第一控件的触控反馈配置切换为目标触控反馈配置，包括：
按照所述第一控件对应的目标触控反馈配置，将所述第一控件在所述第一电子设备的显示屏中的原始识别区域配置为所述目标识别区域；
其中，所述目标识别区域的区域面积大于所述原始识别区域的区域面积。
3.根据权利要求1所述的方法，其特征在于，所述目标应用中包含多个控件，所述多个控件包括所述第一控件；
其中，在所述第一电子设备与所述第二电子设备间投屏连接的情况下，所述多个控件中的每个控件对应不同的触控反馈配置。
4.根据权利要求1所述的方法，其特征在于，所述将目标应用中的第一控件的触控反馈配置切换为所述第一控件对应的目标触控反馈配置，包括：
在显示目标应用的第一界面的情况下，获取所述第一界面中的每个控件对应的目标触控反馈配置，分别将所述每个控件对应的触控反馈配置切换为各自对应的目标触控反馈配置；
其中，所述第一界面中的控件包含所述第一控件。
5.根据权利要求1所述的方法，其特征在于，所述目标触控反馈的反馈方式包括以下至少一项：声音反馈，震动反馈。
6.一种应用交互装置，其特征在于，所述装置包括：配置模块，接收模块和执行模块，其中：
所述配置模块，用于在第一电子设备与第二电子设备间投屏连接的情况下，将目标应用中的第一控件的触控反馈配置切换为所述第一控件对应的目标触控反馈配置；
所述接收模块，用于接收用户对所述第一控件的触控输入；
所述执行模块，用于响应于所述接收模块接收的所述触控输入，发出目标触控反馈，所述目标触控反馈为所述目标触控反馈配置为所述第一控件配置的触控反馈。
7.根据权利要求6所述的装置，其特征在于，
所述配置模块，具体用于按照所述第一控件对应的目标触控反馈配置，将所述第一控件在所述第一电子设备的显示屏中的原始识别区域配置为所述目标识别区域；
其中，所述目标识别区域的区域面积大于所述原始识别区域的区域面积。
8.根据权利要求6所述的装置，其特征在于，所述目标应用中包含多个控件，所述多个控件包括所述第一控件；
其中，在所述第一电子设备与所述第二电子设备间投屏连接的情况下，所述多个控件中的每个控件对应不同的触控反馈配置。
9.根据权利要求6所述的装置，其特征在于，
所述配置模块，具体用于在显示目标应用的第一界面的情况下，获取所述第一界面中的每个控件对应的目标触控反馈配置，分别将所述每个控件对应的触控反馈配置切换为各自对应的目标触控反馈配置；
其中，所述第一界面中的控件包含所述第一控件。
10.根据权利要求6所述的装置，其特征在于，所述目标触控反馈的反馈方式包括以下至少一项：声音反馈，震动反馈。
CN202110322379.8A 2021-03-25 2021-03-25 应用交互方法及装置 Pending CN113126756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110322379.8A CN113126756A (zh) 2021-03-25 2021-03-25 应用交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110322379.8A CN113126756A (zh) 2021-03-25 2021-03-25 应用交互方法及装置

Publications (1)

Publication Number Publication Date
CN113126756A true CN113126756A (zh) 2021-07-16

Family

ID=76774117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110322379.8A Pending CN113126756A (zh) 2021-03-25 2021-03-25 应用交互方法及装置

Country Status (1)

Country Link
CN (1) CN113126756A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113521733A (zh) * 2021-07-27 2021-10-22 咪咕互动娱乐有限公司 游戏控制方法、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100013613A1 (en) * 2008-07-08 2010-01-21 Jonathan Samuel Weston Haptic feedback projection system
CN105867765A (zh) * 2016-03-25 2016-08-17 网易（杭州）网络有限公司 对于触控虚拟控件的反馈方法、系统及移动终端
CN110362231A (zh) * 2019-07-12 2019-10-22 腾讯科技（深圳）有限公司 抬头触控设备、图像显示的方法及装置
CN112000410A (zh) * 2020-08-17 2020-11-27 努比亚技术有限公司 一种投屏控制方法、设备及计算机可读存储介质
CN112121409A (zh) * 2020-09-14 2020-12-25 努比亚技术有限公司 一种游戏交互方法、柔性屏终端及计算机可读存储介质
US10921951B1 (en) * 2019-10-09 2021-02-16 Oracle International Corporation Dual-purpose user-interface control for data submission and capturing feedback expressions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100013613A1 (en) * 2008-07-08 2010-01-21 Jonathan Samuel Weston Haptic feedback projection system
CN105867765A (zh) * 2016-03-25 2016-08-17 网易（杭州）网络有限公司 对于触控虚拟控件的反馈方法、系统及移动终端
CN110362231A (zh) * 2019-07-12 2019-10-22 腾讯科技（深圳）有限公司 抬头触控设备、图像显示的方法及装置
US10921951B1 (en) * 2019-10-09 2021-02-16 Oracle International Corporation Dual-purpose user-interface control for data submission and capturing feedback expressions
CN112000410A (zh) * 2020-08-17 2020-11-27 努比亚技术有限公司 一种投屏控制方法、设备及计算机可读存储介质
CN112121409A (zh) * 2020-09-14 2020-12-25 努比亚技术有限公司 一种游戏交互方法、柔性屏终端及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘秀桃编著: "《健康知识小百科 感觉的密码》", 31 March 2013, 东北师范大学出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113521733A (zh) * 2021-07-27 2021-10-22 咪咕互动娱乐有限公司 游戏控制方法、设备及存储介质

Similar Documents

Publication Publication Date Title
US11307733B2 (en) Always on display method and electronic device
CA3053980C (en) Task management based on instant communication message
US10674018B2 (en) Scene-based vibration feedback method and mobile terminal
CN111913628A (zh) 分享方法、装置和电子设备
EP2908231A1 (en) Object suspension realizing method and device
EP3282644B1 (en) Timing method and device
CN111580661A (zh) 交互方法和增强现实设备
CN113596555B (zh) 视频播放方法、装置及电子设备
WO2022057407A1 (zh) 挂件显示方法和电子设备
CN106095285B (zh) 操作执行方法及装置
CN112286483A (zh) 音频播放控制方法、装置及电子设备
CN112269505A (zh) 音视频控制方法、装置及电子设备
US8849260B2 (en) Apparatus and method for providing shortcut service in portable terminal
CN113271376B (zh) 通信控制方法、电子设备和耳机
CN112269509B (zh) 信息处理方法、装置及电子设备
CN112286611B (zh) 图标显示方法、装置和电子设备
CN113126756A (zh) 应用交互方法及装置
CN112099682B (zh) 图标显示方法、装置及电子设备
US10613622B2 (en) Method and device for controlling virtual reality helmets
CN106454540A (zh) 基于直播的交互信息的处理方法及装置
CN113872849B (zh) 消息交互方法、装置及电子设备
CN113992786A (zh) 音频播放方法及装置
CN109257491B (zh) 一种消息管理方法和电子设备
CN112764618A (zh) 界面操作方法、装置、设备及存储介质
CN111901482A (zh) 功能控制方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination