CN112463016A - 显示控制方法、装置、电子设备及穿戴显示设备 - Google Patents

显示控制方法、装置、电子设备及穿戴显示设备 Download PDF

Info

Publication number
CN112463016A
CN112463016A CN202011449323.0A CN202011449323A CN112463016A CN 112463016 A CN112463016 A CN 112463016A CN 202011449323 A CN202011449323 A CN 202011449323A CN 112463016 A CN112463016 A CN 112463016A
Authority
CN
China
Prior art keywords
touch
touch information
information
gesture sensing
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011449323.0A
Other languages
English (en)
Other versions
CN112463016B (zh
Inventor
邓方东
姚荣杰
刘子晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011449323.0A priority Critical patent/CN112463016B/zh
Publication of CN112463016A publication Critical patent/CN112463016A/zh
Application granted granted Critical
Publication of CN112463016B publication Critical patent/CN112463016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Abstract

本申请实施例公开了一种显示控制方法、装置、电子设备、穿戴显示设备以及存储介质。所述方法包括：接收触控操作检测指令；若检测到有作用于所述手势感应装置的触控操作；将与所述触控操作对应的触控信息发送给显示装置，以使所述显示装置显示所述触控信息以及与所述触控信息对应的操作指引。通过上述方法，实时将触控操作显示于显示装置中，使得手势感应装置的触控操作变成可视的，提高了操作准确性，降低了用户操作难度，提升了用户体验。

Description

显示控制方法、装置、电子设备及穿戴显示设备
技术领域
本申请涉及VR/AR技术领域，更具体地，涉及一种显示控制方法、装置、电子设备、穿戴显示设备以及存储介质。
背景技术
VR/AR内涵界定是：借助近眼显示、感知交互、渲染处理、网络传输和内容制作等新一代信息通信技术，构建身临其境与虚实融合沉浸体验所涉及的产品和服务。随着VR/AR技术的不断迭代和创新，在相关的对VR/AR终端的显示控制方法中，由于VR/AR终端是虚拟现实或者虚实结合，用户不能直接看到自己的触摸操作，容易发生误触。
发明内容
鉴于上述问题，本申请实施例提出了一种显示控制方法、装置、电子设备以及存储介质，以改善上述问题。
第一方面，本申请实施例提供了一种显示控制方法，应用于电子设备，所述电子设备包括手势感应装置，所述方法包括：接收触控操作检测指令；若检测到有作用于所述手势感应装置的触控操作；将与所述触控操作对应的触控信息发送给显示装置，以使所述显示装置显示所述触控信息以及与所述触控信息对应的操作指引。
第二方面，本申请实施例提供了一种显示控制方法，应用于穿戴显示设备，所述穿戴显示设备包括显示装置，所述方法包括：接收手势感应装置发送的触控信息，其中，所述触控信息为基于触控操作检测指令检测到的与作用于所述手势感应装置的触控操作对应的触控信息；显示所述触控信息以及与所述触控信息对应的操作指引。
第三方面，本申请实施例提供了一种显示控制装置，运行于电子设备，所述电子设备包括手势感应装置，所述装置包括：指令接收单元，用于接收触控操作检测指令；检测单元，用于若检测到有作用于所述手势感应装置的触控操作；信息发送单元，用于将与所述触控操作对应的触控信息发送给显示装置，以使所述显示装置显示所述触控信息以及与所述触控信息对应的操作指引。
第四方面，本申请实施例提供了一种显示控制装置，运行穿戴显示设备，所述穿戴显示显示设备包括显示装置，所述装置包括：信息接收单元，用于接收手势感应装置发送的触控信息，其中，所述触控信息为基于触控操作检测指令检测到的与作用于所述手势感应装置的触控操作对应的触控信息；显示单元，用于显示所述触控信息以及与所述触控信息对应的操作指引。
第五方面，本申请实施例提供了一种电子设备，包括手势感应装置、一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行以实现上述的方法。
第六方面，本申请实施例提供了一种电子设备，包括显示装置、一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行以实现上述的方法。
第七方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行上述的方法。
本申请实施例提供的一种显示控制方法、装置、电子设备、穿戴显示设备以及存储介质，接收触控操作检测指令，若检测到有作用于手势感应装置的触控操作，将与触控操作对应的触控信息发送给显示装置，以使显示装置显示触控信息以及与触控信息对应的操作指引。通过上述方法，实时将触控操作显示于显示装置中，使得手势感应装置的触控操作变成可视的，提高了操作准确性，降低了用户操作难度，提升了用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提出的一种显示控制方法的应用环境示意图；
图2示出了本申请一实施例提出的一种显示控制方法的应用系统的结构框图；
图3示出了本申请一实施例提出的一种显示控制方法的流程图；
图4示出了本申请一实施例提出的一种显示触控操作和操作指引的示意图；
图5示出了本申请一实施例提出的一种显示触控操作和操作指引的变化的示意图；
图6示出了本申请另一实施例提出的一种显示控制方法的流程图；
图7示出了本申请又一实施例提出的一种显示控制方法的流程图；
图8示出了本申请又一实施例中提出的另一种显示控制方法的流程图；
图9示出了本申请一实施例提出的一种显示控制装置的结构框图；
图10示出了本申请一实施例提出的又一种显示控制装置的结构框图；
图11示出了本申请一实施例提出的再一种显示控制装置的结构框图；
图12示出了本申请再一实施例提出的一种显示控制装置的结构框图；
图13示出了本申请再一实施例提出的又一种显示控制装置的结构框图；
图14示出了本申请再一实施例提出的再一种显示控制装置的结构框图；
图15示出了本申请实时中的用于执行根据本申请实施例的显示控制方法的电子设备的结构框图；
图16示出了本申请实时中的用于执行根据本申请实施例的显示控制方法的穿戴显示设备的结构框图；
图17示出了本申请实时中的用于保存或者携带实现根据本申请实施例的显示控制方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
虚拟现实(Virtual Reality，简称VR)技术，又称灵境技术。虚拟现实技术囊括计算机、电子信息以及仿真技术于一体，其基本实现方式是处理器模拟虚拟环境从而给人以环境沉浸感。增强现实(Augmented Reality，简称AR)技术，也被称之为混合现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。VR和AR两者在关键器件、终端形态上相似性较大，而在关键技术和应用领域上有所差异。VR通过隔绝式的音视频内容带来沉浸感体验，对显示画质要求较高，AR强调虚拟信息与显示环境的无缝融合，对感知交互要求较高。此外，VR侧重于游戏、视频、直播社交等大众市场，AR目前侧重于工业、军事等垂直应用，并开始向消费者渗透。
VR/AR作为头戴式设备，对重量/体积/续航/温升都有高要求，特别是面向未来的消费端需求，头戴体验是产品的最核心的需求。VR/AR的发展由第一代的一体机，向第二代的分体机发展。分体式设计，能较大程度减少头戴VR/AR的重量，提高使用者的舒适性，是主流的未来设计。使用手机进行投屏的VR/AR设计，备受VR/AR厂商青睐，已经成为消费者期待的产品，会越来越多使用在VR/AR设计中。
而发明人在对相关的显示控制方法的研究中发现，随着VR/AR对3D游戏的不断迭代和创新，用户对游戏的体验在不断提升，在相关的对VR/AR终端的显示控制方法中，由于VR/AR终端是虚拟现实或者虚实结合，用户不能直接看到自己的触摸操作，容易发生误触。
因此，发明人提出了本申请实施例中的接收触控操作检测指令，若检测到有作用于手势感应装置的触控操作，将与触控操作对应的触控信息发送给显示装置，以使显示装置显示触控信息以及与触控信息对应的操作指引，实时将触控操作显示于显示装置中，使得手势感应装置的触控操作变成可视的，提高了操作准确性，降低了用户操作难度，提升了用户体验的显示控制的方法、装置、电子设备以及存储介质。
下面针对本发明实施提供的显示控制方法的应用环境进行介绍：
请参阅图1，本发明实施提供的显示控制方法可以应用于VR/AR显示系统100，该VR/AR显示系统100可以包括移动终端110以及VR/AR终端120。如图1所示，所述移动终端110可以为手机，所述VR/AR终端120可以为VR/AR眼镜。其中，手机110和VR/AR眼镜120之间可以通过无线连接，也可以通过实体连接线进行连接。
请参阅图2，其中，移动终端110可以包括触摸屏112、主控和信息处理单元114以及其他单元116，可选的，移动终端110可以为智能手机，也可以为使用带触摸屏的其他主机或者平板电脑、笔记本电脑等移动或者固定设备；VR/AR终端120可以包括显示模块122以及提示模块124。
其中，触摸屏112为电容式触摸屏，电容式触摸屏是一块四层复合玻璃屏，玻璃屏的内表面和夹层各涂有一层ITO(纳米铟锡金属氧化物)，最外层是一薄层矽土玻璃保护层，夹层ITO涂层作为工作面，四个角上引出四个电极，内层ITO为屏蔽层以保证良好的工作环境。在本申请实施例中，所述触摸屏112包括多个感应单元，触摸屏112检测每个感应单元自身电容(对GND)的变化。当手指靠近或触摸到触摸屏112时，手指的电容叠加到触摸屏112电容上，触摸屏112电容增加。
主控和信息处理单元114，分别与触摸屏112和其他模块116进行连接，将触摸屏112和其他模块116传输的数据信息传输给VR/AR终端120。
显示模块122，用于接收主控和信息处理单元114传输的数据信息，并对该数据信息进行显示。
提示单元124，可以包括惯性测量单元(Inertial Measurement Unit，IMU)以及传感器，主要用于在检测到用户的操作错误时，向移动终端发送提示信息。
下面将结合附图具体描述本申请的各实施例。
请参阅图3，本申请实施例提供的一种显示控制方法，应用于电子设备，所述电子设备包括手势感应装置，所述方法包括：
S110：接收触控操作检测指令。
作为一种方式，所述触控操作检测指令可以为与电子设备进行无线连接的移动终端发送的检测指令。其中，移动终端可以实时或者按照预设时间间隔向电子设备发送触控操作检测指令。当电子设备接收到该触控操作检测指令时，开始检测是否有作用于手势触控装置的触控操作。
S120：若检测到有作用于所述手势感应装置的触控操作。
其中，手势感应装置为电容式手势感应装置，所述电容式手势感应装置可以为电容式触摸屏。在本申请实施例中，该手势感应装置中包括多个感应单元，手势感应装置通过检测每个感应单元的电容量是否发生变化来确定是否有作用于手势感应装置的触控操作。
具体的，当手指或者手掌靠近或触摸手势感应感应装置时，手指或手掌的电容叠加到手势感应装置的电容上，手势感应装置的电容量增加。当检测到手势感应装置的电容量增加时，确定检测到有作用于手势感应装置的触控操作。可选的，在进行触控操作检测时，可以一次分别检测M个X轴和N个Y列点击阵列，跟进触控操作前后手势感应装置中所有感应单元的电容量的变化。
另外需要说明的是，只要手指或手掌在手势感应装置附近，即使手指或手掌没有挨着手势感应装置表面，手势感应装置也能检测到感应单元的电容量的变化，实现触控操作检测。实际上由于手势感应装置上有显示屏的盖板，手指或手掌与手势感应装置的距离通常在0.2mm以上。通常情况下，电子设备的手势感应装置的有效感应距离是15mm～50mm左右，其中，有效感应距离指的是手指或手掌到手势感应装置的显示屏盖板的距离。即手指或手掌距离手势感应装置几十毫米时，手势感应装置也能感应到手指或手掌的存在。
可选的，为了提高检测触控操作的准确性，实时获取手势感应装置的电容的变化量，当检测到手势感应装置的电容的变化量大于预设电容阈值时，确定检测到有作用于手势感应装置的触控操作。
作为另一种方式，所述手势感应装置可以为其他类型的触摸屏。当手势感应装置为其他类型的触摸屏时，可以根据是否接收到感应信号来确定是否有作用于手势感应装置的触控操作。其中，所述感应信号可以是由手势感应装置向电子设备发送的，当电子设备接收到该感应信号时，确定检测到有作用于手势感应装置的触控操作。示例性的，若手势感应装置包括有手势感应传感器，当手势感应传感器检测到有手指或者手掌靠近时，向电子设备发送感应信号，当电子设备接收到该感应信号时，确定检测到有作用于手势感应装置的触控操作。
在一些实施方式中，当检测到有作用于手势感应装置的触控操作后。为了区分检测到的普通的触控操作和VR/AR触控操作，可以通过多种方式进行区分。其中，VR/AR触控操作为需要发送给显示装置进行显示的操作。
作为其中一种方式，所述触控操作检测指令为VR/AR触控操作检测指令。电子设备中可以设置一个控制按钮，控制是否开启VR/AR触控操作检测指令，当检测到该控制按钮开启时，电子设备接收到VR/AR触控操作检测指令。进一步的，在电子设备接收到VR/AR触控操作检测指令时，电子设备开始获取作用于手势感应装置的触控操作，此时，检测到的作用于手势感应装置的触控操作都作为VR/AR触控操作。将控制按钮处于关闭状态时，检测到的作用于手势感应装置的触控操作作为普通触控操作。
作为其中另一种方式，当检测到电子设备中的特定的应用程序被打开时，接收VR/AR触控操作检测指令。其中，特定的应用程序为预先设置的需要进行VR/AR显示的应用程序。当接收到VR/AR触控操作检测指令时，开始获取作用于手势感应装置的对该特定应用程序进行操作的VR/AR触控操作。
可选的，还可以将电子设备中的手势感应装置的触控区域划分为普通触控区域和VR/AR触控区域，当检测到作用于VR/AR触控区域的触控操作时，将该触控操作作为VR/AR触控操作；当检测到作用于普通触控区域的触控操作时，将该触控操作作为普通触控操作。进一步的，可以根据检测到的触控操作的作用区域，将普通触控区域和VR/AR触控区域进行切换，具体的，当检测到作用于VR/AR触控区域的触控操作时，将手势感应装置的触控区域切换为VR/AR触控区域；当检测到作用于普通触控区域的触控操作时，将手势感应装置的触控区域切换为普通触控区域。在本申请实施例中，普通触控区域和VR/AR触控区域进行切换的切换条件可以根据实际需求进行设置，比如可以设置为当检测到双击手势感应装置的触控操作时进行切换，或者设置为当检测到特定的感应手势时进行切换，在此不做限定。
S130：将与所述触控操作对应的触控信息发送给显示装置，以使所述显示装置显示所述触控信息以及与所述触控信息对应的操作指引。
在本申请实施例中，所述触控操作为VR/AR触控操作，触控信息可以包括触控类型以及触控位置。其中，触控类型包括手指触控或手掌触控，进一步的，手指触控包括一根手指触控或者多根手指触控。
作为一种方式，当检测到有作用于手势感应装置的VR/AR触控操作时，可以获取与该VR/AR触控操作对应的触控图像，进而根据触控图像可以确定触控操作对应的触控类型。
具体的，当手指和手掌作用于手势感应装置时，手势感应装置感应到的触控图像不同，当一根手指和多根手指作用于手势感应装置时，手势感应装置感应到的触控图像也不同，因此，可以根据触控图像来确定触控操作对应的触控类型，电子设备可以根据触控图案的不同分辨出是手指还是手掌，是一根手指还是多根手指等。
进一步的，在获取触控图像时，可以获取每个感应单元的电容变化量，然后根据每个感应单元的电容变化量，确定触控操作对应的手指或手掌所在的X坐标和Y坐标，可以根据手指或手掌所在的X坐标和Y坐标组合成平面的触控坐标，进而可以根据触控坐标确定与触控操作对应的触控位置，以及可以根据触控坐标生成与触控操作对应的触控图像，根据触控图像确定与触控操作对应的触控类型。
当通过上述方法确定了与VR/AR触控操作对应的触控类型和触控位置后，将与VR/AR触控操作对应的触控类型和触控位置作为触控信息发送给显示装置进行显示。具体的，电子设备的手势感应装置感应到手指或手掌的VR/AR触控操作后，将与VR/AR触控操作对应的触控图像发送给电子设备的AP，AP根据感应到的不同的触控图像判断手指和手掌的靠近，进而将触控信息发送给显示设备，在显示装置中显示手指或手掌的位置示意。
进一步的，在本申请实施例中，在对手指或手掌的位置示意进行显示的同时，也可以显示与触控信息对应的操作指引，其中，所述操作指引为基于当前的VR/AR触控操作，生成的指示下一步的VR/AR触控操作的推荐操作，或者操作指引也可以为当前的触控界面中各按键代表的操作说明。示例性的，当检测到打开游戏的VR/AR触控操作时，可以在显示装置中显示该游戏界面中各操作按键所代表的操作说明，比如，按键1代表控制游戏人物的移动方向等。示例性的，如图4所示，当检测到手指从拖动圆圈处按照虚线进行移动的触控操作时，显示装置可以显示“拖动游戏人物向左移动”和“拖动游戏人物向下移动”这两种操作说明，当检测到手指拖动圆圈从图4拖动到图5处时，显示装置可以显示“拖动游戏人物向下移动”的操作说明。
本实施例提供的一种显示控制方法，接收触控操作检测指令，若检测到有作用于手势感应装置的触控操作，将与触控操作对应的触控信息发送给显示装置，以使显示装置显示触控信息以及与触控信息对应的操作指引。通过上述方法，实时将触控操作显示于显示装置中，使得手势感应装置的触控操作变成可视的，提高了操作准确性，降低了用户操作难度，提升了用户体验。
请参阅图6，本申请实施例提供的一种显示控制方法，应用于电子设备，所述电子设备包括手势感应装置，所述方法包括：
S210：接收触控操作检测指令。
S210所包括的步骤的详细解释可以参照前述实施例中的对应步骤，这里不再赘述。
S220：基于所述触控操作检测指令，周期性的检测是否有作用于所述手势感应装置的触控操作。
具体的，手势感应装置根据接收到的触控操作检测指令，按照预设时间间隔周期性的对外界触控操作进行感应，按照预设时间间隔对手势感应装置中所包括的每个感应单元的电容量进行检测，进而根据检测到的每个感应单元的电容量的变化判断是否有作用于手势感应装置的触控操作。若没有检测到有作用于该手势感应装置的触控操作，则继续按照预设时间间隔周期性的对外界触控操作进行感应。其中，预设时间间隔可以设置为为任意时间间隔。
可选的，所述触控操作检测指令中可以包括预设时间间隔，当手势感应装置接收到触控操作检测指令时，按照触控操作指令中包括的预设时间间隔周期性的对作用于手势感应装置的触控操作进行检测。
S230：若检测到有作用于所述手势感应装置的触控操作。
S240：将与所述触控操作对应的触控信息发送给显示装置，以使所述显示装置显示所述触控信息以及与所述触控信息对应的操作指引。
S230以及S240所包括的步骤的详细解释可以参照前述实施例中的对应步骤，这里不再赘述。
S250：若接收到所述显示装置发送的表征操作错误的提示信息，提示用户按照预设触控信息对所述手势感应装置进行触控操作。
其中，所述预设触控信息为检测到当前的触控信息与所述预设触控信息不匹配时，所述显示装置发送的与上一次接收到的触控信息对应的操作指引。
在本申请实施例中，所述提示信息可以为文字形式对用户进行提示，也可以为以语音播放形式对用户进行提示。当手势感应装置将与当前的触控操作对应的触控信息发送给显示装置进行显示时，显示装置会将当前接收到的触控信息与上一次接收到的触控信息对应的操作指引进行比较，若经过比较发现，当前的触控信息与上一次接收到的触控信息对应的操作指引不匹配时，确定当前的触控操作错误，显示装置会向手势感应装置发送表征当前的触控操作错误的提示信息，当手势感应装置接收到显示装置发送的表征当前的触控操作错误的提示信息时，通过电子设备中的麦克风或者其他语音播放设备，提示用户按照与上一次接收到的触控信息对应的操作指引对手势感应装置进行触控操作。
具体的，与上一次接收到的触控信息对应的操作指引可以包括多个。在将当前接收到的触控信息与上一次接收到的触控信息对应的操作指引进行比较时，可以将当前接收到的触控信息与上一次接收到的触控信息对应的多个操作指引进行比较，若当前接收到的触控信息与多个操作指引中的任意一个操作指引相匹配，显示装置则不向手势感应装置发送表征当前的触控操作错误的提示信息，若当前接收到的触控信息与多个操作指引都不匹配，显示装置则向手势感应装置发送表征当前的触控操作错误的提示信息，当手势感应装置接收到该提示信息后，通过电子设备中的麦克风或者其他语音播放设备提示用户按照多个操作指引中的任意一个操作指引对手势感应装置进行触控操作。进一步的，在通过电子设备中的麦克风或者语音播放设备提示用户按照多个操作指引中的任意一个操作指引对手势感应装置进行触控时，电子设备可以获取用户的历史行为数据，根据用户的历史行为数据，提示用户按照多个操作指引中用户最大概率可能执行的操作指引对手势感应装置进行触控操作。可选的，在提示用户按照多个操作指引中用户最大概率可能执行的操作指引对手势感应装置进行触控操作时，可以在显示装置的显示界面中将该操作指引进行加粗或者突出显示，进而用户可以很快的找到该操作指引，并按照该操作指引对手势感应装置进行触控操作。
本实施例提供的一种显示控制方法，首先接收触控操作检测指令，根据触控操作检测指令，周期性的检测是否有作用于手势感应装置的触控操作，若检测到有作用于手势感应装置的触控操作，将与该触控操作对应的触控信息发送给显示装置，以使显示装置显示该触控信息以及与该触控信息对应的操作指引，然后若接收到显示装置发送的保证操作错误的提示信息，提示用户按照预设触控信息对手势感应装置进行触控操作。通过上述方法，通过将触控信息发送给显示装置进行显示，实现了显示装置触摸屏操作前后的的可视性，进一步的，当检测到当前的触控信息与预设触控信息不匹配时，提示用户按照预设触控信息对手势感应装置进行触控操作，提高了操作准确率以及操作效率，降低了用户操作难度，提升了用户体验。
请参阅图7，本申请实施例提供的一种显示控制方法，应用于穿戴显示装置，所述穿戴显示装置包括显示装置，所述方法包括：
S310：接收手势感应装置发送的触控信息，其中，所述触控信息为基于触控操作检测指令检测到的与作用于所述手势感应装置的触控操作对应的触控信息。
作为一种方式，所述穿戴显示设备为VR/AR设备，VR/AR设备包括多种类型，比如眼镜形态的VR/AR设备。在一些实施方式中，VR/AR设备在接收到手势感应装置发送的触控信息的同时，还会从电子设备处获取电子设备的UI界面，将电子设备发送的UI界面和触控信息以及与触控信息对应的操作指引同时进行显示。在另一些实施例中，显示装置中预先就存储有与电子设备相关的UI界面，当显示装置接收到手势感应装置发送的触控信息时，将显示装置的UI界面切换至与该触控信息相关的UI界面进行显示，并在该UI界面上显示接收到的触控信息。
S320：显示所述触控信息以及与所述触控信息对应的操作指引。
在本申请实施例中，为了实现触控操作前后的实时可视性，提高触控操作的准确率，显示装置可以实时显示作用于手势感应装置的触控操作，如单双击/滑动操作等。当显示装置接收到手势感应装置发送的触控信息时，可以根据触控信息做相应的处理，并显示触控位置以及触控操作，如显示游戏中的方向操作等。
每当显示装置接收到手势感应装置发送的触控信息时，都会根据该触控信息生成对应的操作指引，进而在对该触控信息进行显示的同时，也对与该触控信息对应的操作指引进行显示。
作为一种方式，所述操作指引可以理解为预先存储的与当前的触控信息对应的预设触控操作。具体的，可以预先建立触控信息和操作指引之间的对应关系表，并将该对应关系表存储在显示装置的存储区域中，进而当显示装置接收到手势感应装置发送的触控信息时，可以从存储区域中查找对应关系表，从对应关系表中找到与当前接收到的触控信息对应的操作指引，在获取到与当前的触控信息对应的操作指引后，将该操作指引显示在显示装置的相应位置进行显示。
请参阅图8，在S320之后还包括S330。
S330：若检测到当前的触控信息与预设触控信息不匹配时，向所述手势感应装置发送表征操作错误的提示信息，以提示用户按照所述预设触控信息对所述手势感应装置进行触控操作。
其中，所述预设触控信息为与上一次接收到的触控信息对应的操作指引。
在本申请实施例中，还可以根据所述触控信息，切换所述显示装置的显示界面。
具体的，在根据触控信息切换显示装置的显示界面时，可以根据与触控信息对应的操作指引的类型确定是否切换显示装置的显示界面，若操作指引为调节电子设备的音量或者对显示界面进行缩小放大的操作时，不对显示装置的显示界面进行切换，若操作指引为移动显示界面中的某个目标物或者切换当前的显示界面的操作时，对显示装置的显示界面进行切换。示例性的，若与当前的触控信息对应的操作指引为调节电子设备的音量，则不对显示装置的显示界面进行切换。
可选的，所述触控信息中也可以包括界面切换指令，当显示装置接收到手势感应装置发送的触控信息时，对显示装置当前的显示界面进行切换。
本实施例提供的一种显示控制方法，首先接收手势感应装置发送的触控信息，其中，触控信息为基于触控操作检测指令检测到的与作用于手势感应装置的触控操作对应的触控信息，然后显示该触控信息以及与该触控信息对应的操作指引，若检测到当前的触控信息与预设触控信息不匹配时，向手势感应装置发送表征操作错误的提示信息，以提示用户按照预设触控信息对手势感应装置进行触控操作。通过上述方法，通过将手势感应装置发送的触控信息进行显示，实现了显示装置触摸屏操作前后的的可视性，进一步的，当检测到当前的触控信息与预设触控信息不匹配时，提示用户按照预设触控信息对手势感应装置进行触控操作，提高了操作准确率以及操作效率，降低了用户操作难度，提升了用户体验。
请参阅图9，本申请提供的一种显示控制装置500，运行于电子设备，所述电子设备包括手势感应装置，所述装置500包括：
指令接收单元510，用于接收触控操作检测指令。
检测单元520，用于若检测到有作用于所述手势感应装置的触控操作。
信息发送单元530，用于将与所述触控操作对应的触控信息发送给显示装置，以使所述显示装置显示所述触控信息以及与所述触控信息对应的操作指引。
请参阅图10，所述装置500还包括：
操作检测单元540，用于基于所述触控操作检测指令，周期性的检测是否有作用于所述手势感应装置的触控操作。
请参阅图11，所述装置500还包括：
提示单元550，用于若接收到所述显示装置发送的表征操作错误的提示信息，提示用户按照预设触控信息对所述手势感应装置进行触控操作，其中，所述预设触控信息为检测到当前的触控信息与所述预设触控信息不匹配时，所述显示装置发送的与上一次接收到的触控信息对应的操作指引。
请参阅图12，本申请提供的一种显示控制装置600，运行于穿戴显示装置，所述穿戴显示装置包括显示装置，所述装置600包括：
信息接收单元610，用于接收手势感应装置发送的触控信息，其中，所述触控信息为基于触控操作检测指令检测到的与作用于所述手势感应装置的触控操作对应的触控信息。
显示单元620，用于显示所述触控信息以及与所述触控信息对应的操作指引。
请参阅图13，所述装置600还包括：
匹配单元630，用于若检测到当前的触控信息与预设触控信息不匹配时，向所述手势感应装置发送表征操作错误的提示信息，以提示用户按照所述预设触控信息对所述手势感应装置进行触控操作，其中，所述预设触控信息为与上一次接收到的触控信息对应的操作指引。
请参阅图14，所述装置600还包括：
界面切换单元640，用于根据触控信息，切换所述显示装置的显示界面。
需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。
下面将结合图15对本申请提供的一种电子设备进行说明。
请参阅图15，基于上述的显示控制方法、装置，本申请实施例还提供的另一种可以执行前述显示控制方法的电子设备100。电子设备100包括相互耦合的一个或多个(图中仅示出一个)处理器102、存储器104、网络模块106以及手势感应装置108。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。
其中，处理器102可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。
存储器104可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
所述网络模块106用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。所述网络模块106可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述网络模块106可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如，网络模块106可以与基站进行信息交互。
所述手势感应装置108，包括多个感应单元，手势感应装置108实时检测每个感应单元自身电容(对GND)的变化。当检测到手指靠近或触摸到手势感应装置108的触摸屏时，手指的电容叠加到触摸屏电容上，触摸屏的电容增加。
下面将结合图16对本申请提供的一种穿戴显示设备进行说明。
请参阅图16，基于上述的显示控制方法、装置，本申请实施例还提供的另一种可以执行前述显示控制方法的穿戴显示设备200。穿戴显示设备200包括相互耦合的一个或多个(图中仅示出一个)处理器202、存储器204、网络模块206以及显示装置208。其中，该存储器204中存储有可以执行前述实施例中内容的程序，而处理器202可以执行该存储器204中存储的程序。
其中，处理器202可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个穿戴显示设备200内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器204内的数据，执行穿戴显示设备200的各种功能和处理数据。可选地，处理器202可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器202可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器202中，单独通过一块通信芯片进行实现。
存储器204可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器204可用于存储指令、程序、代码、代码集或指令集。存储器204可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储穿戴显示设备200在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
所述网络模块206用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。所述网络模块206可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述网络模块206可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如，网络模块206可以与基站进行信息交互。
所述显示装置208为VR/AR显示设备的显示屏，主要用于接收展示与所述显示装置208进行无线连接的电子设备100发送的手势图案或者用户界面等。
请参考图17，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
本实施例提供的一种显示控制方法、装置、电子设备、穿戴显示设备以及存储介质，接收触控操作检测指令，若检测到有作用于手势感应装置的触控操作，将与触控操作对应的触控信息发送给显示装置，以使显示装置显示触控信息以及与触控信息对应的操作指引。通过上述方法，实时将触控操作显示于显示装置中，使得手势感应装置的触控操作变成可视的，提高了操作准确性，降低了用户操作难度，提升了用户体验。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种显示控制方法，其特征在于，应用于电子设备，所述电子设备包括手势感应装置，所述方法包括：
接收触控操作检测指令；
若检测到有作用于所述手势感应装置的触控操作；
将与所述触控操作对应的触控信息发送给显示装置，以使所述显示装置显示所述触控信息以及与所述触控信息对应的操作指引。
2.根据权利要求1所述的方法，其特征在于，所述将与所述触控操作对应的触控信息发送给显示装置，以使所述显示装置显示所述触控信息以及与所述触控信息对应的操作指引之后还包括：
若接收到所述显示装置发送的表征操作错误的提示信息，提示用户按照预设触控信息对所述手势感应装置进行触控操作，其中，所述预设触控信息为检测到当前的触控信息与所述预设触控信息不匹配时，所述显示装置发送的与上一次接收到的触控信息对应的操作指引。
3.根据权利要求1所述的方法，其特征在于，所述若检测到有作用于所述手势感应装置的触控操作之前还包括：
基于所述触控操作检测指令，周期性的检测是否有作用于所述手势感应装置的触控操作。
4.一种显示控制方法，其特征在于，应用于穿戴显示设备，所述穿戴显示设备包括显示装置，所述方法包括：
接收手势感应装置发送的触控信息，其中，所述触控信息为基于触控操作检测指令检测到的与作用于所述手势感应装置的触控操作对应的触控信息；
显示所述触控信息以及与所述触控信息对应的操作指引。
5.根据权利要求4所述的方法，其特征在于，所述显示所述触控信息以及与所述触控信息对应的操作指引之后还包括：
若检测到当前的触控信息与预设触控信息不匹配时，向所述手势感应装置发送表征操作错误的提示信息，以提示用户按照所述预设触控信息对所述手势感应装置进行触控操作，其中，所述预设触控信息为与上一次接收到的触控信息对应的操作指引。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据所述触控信息，切换所述显示装置的显示界面。
7.一种显示控制装置，其特征在于，运行于电子设备，所述电子设备包括手势感应装置，所述装置包括：
指令接收单元，用于接收触控操作检测指令；
检测单元，用于若检测到有作用于所述手势感应装置的触控操作；
信息发送单元，用于将与所述触控操作对应的触控信息发送给显示装置，以使所述显示装置显示所述触控信息以及与所述触控信息对应的操作指引。
8.一种显示控制装置，其特征在于，运行于穿戴显示设备，所述穿戴显示设备包括显示装置，所述装置包括：
信息接收单元，用于接收手势感应装置发送的触控信息，其中，所述触控信息为基于触控操作检测指令检测到的与作用于所述手势感应装置的触控操作对应的触控信息；
显示单元，用于显示所述触控信息以及与所述触控信息对应的操作指引。
9.一种电子设备，其特征在于，包括手势感应装置、一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行权利要求1-3任一所述的方法。
10.一种穿戴显示设备，其特征在于，包括显示装置、一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行权利要求4-6任一所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-3任一或权利要求4-6任一所述的方法。
CN202011449323.0A 2020-12-09 2020-12-09 显示控制方法、装置、电子设备及穿戴显示设备 Active CN112463016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011449323.0A CN112463016B (zh) 2020-12-09 2020-12-09 显示控制方法、装置、电子设备及穿戴显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011449323.0A CN112463016B (zh) 2020-12-09 2020-12-09 显示控制方法、装置、电子设备及穿戴显示设备

Publications (2)

Publication Number Publication Date
CN112463016A true CN112463016A (zh) 2021-03-09
CN112463016B CN112463016B (zh) 2023-01-06

Family

ID=74801890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011449323.0A Active CN112463016B (zh) 2020-12-09 2020-12-09 显示控制方法、装置、电子设备及穿戴显示设备

Country Status (1)

Country Link
CN (1) CN112463016B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113238708A (zh) * 2021-05-17 2021-08-10 杭州灵伴科技有限公司 一种在头戴式显示设备中显示触控操作信息的方法、装置
CN115248655A (zh) * 2021-04-28 2022-10-28 闪耀现实(无锡)科技有限公司 用于显示信息的方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101634930A (zh) * 2009-08-18 2010-01-27 酷派软件技术（深圳）有限公司 一种终端及其帮助用户操作的方法
CN102591569A (zh) * 2011-12-15 2012-07-18 百度在线网络技术（北京）有限公司 一种在移动终端上提示用户进行触控操作的方法及客户端
US20140078134A1 (en) * 2012-09-18 2014-03-20 Ixonos Oyj Method for determining three-dimensional visual effect on information element using apparatus with touch sensitive display
US20160132181A1 (en) * 2014-11-12 2016-05-12 Kobo Incorporated System and method for exception operation during touch screen display suspend mode
CN105867609A (zh) * 2015-12-28 2016-08-17 乐视移动智能信息技术（北京）有限公司 基于虚拟现实头盔观看视频的方法和装置
WO2017128912A1 (zh) * 2015-03-26 2017-08-03 努比亚技术有限公司 移动终端及其触控操作方法
WO2019000287A1 (zh) * 2017-06-28 2019-01-03 华为技术有限公司 一种图标显示方法及装置
CN110262705A (zh) * 2019-06-24 2019-09-20 北京集创北方科技股份有限公司 定位方法、定位装置及电子设备
CN111970456A (zh) * 2020-09-14 2020-11-20 Oppo广东移动通信有限公司 拍摄控制方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101634930A (zh) * 2009-08-18 2010-01-27 酷派软件技术（深圳）有限公司 一种终端及其帮助用户操作的方法
CN102591569A (zh) * 2011-12-15 2012-07-18 百度在线网络技术（北京）有限公司 一种在移动终端上提示用户进行触控操作的方法及客户端
US20140078134A1 (en) * 2012-09-18 2014-03-20 Ixonos Oyj Method for determining three-dimensional visual effect on information element using apparatus with touch sensitive display
US20160132181A1 (en) * 2014-11-12 2016-05-12 Kobo Incorporated System and method for exception operation during touch screen display suspend mode
WO2017128912A1 (zh) * 2015-03-26 2017-08-03 努比亚技术有限公司 移动终端及其触控操作方法
CN105867609A (zh) * 2015-12-28 2016-08-17 乐视移动智能信息技术（北京）有限公司 基于虚拟现实头盔观看视频的方法和装置
WO2019000287A1 (zh) * 2017-06-28 2019-01-03 华为技术有限公司 一种图标显示方法及装置
CN110262705A (zh) * 2019-06-24 2019-09-20 北京集创北方科技股份有限公司 定位方法、定位装置及电子设备
CN111970456A (zh) * 2020-09-14 2020-11-20 Oppo广东移动通信有限公司 拍摄控制方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115248655A (zh) * 2021-04-28 2022-10-28 闪耀现实(无锡)科技有限公司 用于显示信息的方法和装置
CN113238708A (zh) * 2021-05-17 2021-08-10 杭州灵伴科技有限公司 一种在头戴式显示设备中显示触控操作信息的方法、装置
CN113238708B (zh) * 2021-05-17 2024-02-23 杭州灵伴科技有限公司 一种在头戴式显示设备中显示触控操作信息的方法、装置

Also Published As

Publication number Publication date
CN112463016B (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
US11204684B2 (en) Sticker presentation method and apparatus and computer-readable storage medium
CN111061574B (zh) 一种对象分享方法及电子设备
EP3336678B1 (en) Method and electronic device for preventing touch button from being false triggered
EP2921947B1 (en) Device and method for controlling a display panel
US8893054B2 (en) Devices, systems, and methods for conveying gesture commands
CN110737374B (zh) 操作方法及电子设备
CN111142747B (zh) 群组管理方法及电子设备
CN109871174B (zh) 一种虚拟按键显示方法和移动终端
CN106681555A (zh) 一种移动终端的触摸屏控制方法、装置及移动终端
CN109933252B (zh) 一种图标移动方法及终端设备
CN112463016B (zh) 显示控制方法、装置、电子设备及穿戴显示设备
CN108958606B (zh) 分屏显示方法、装置、存储介质和电子设备
CN109408072B (zh) 一种应用程序删除方法及终端设备
CN111026464A (zh) 一种识别方法及电子设备
CN109471586B (zh) 一种键帽配色方法、装置和终端设备
KR20110104620A (ko) 휴대용 단말기에서 문자 입력 방법 및 장치
CN108762606B (zh) 一种屏幕解锁方法及终端设备
CN109634438B (zh) 一种输入法的控制方法及终端设备
CN111026321A (zh) 一种触控方法及电子设备
CN109286726B (zh) 一种内容显示方法及终端设备
CN107918517A (zh) 屏幕旋转的响应方法、装置、移动终端及存储介质
EP2778858A1 (en) Electronic device including touch-sensitive keyboard and method of controlling same
CN111459300A (zh) 一种字符显示方法及电子设备
CN109446765B (zh) 一种屏幕解锁方法及终端设备
CN109388316B (zh) 绘图方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant