CN111124236B - 一种数据处理方法、装置和机器可读介质 - Google Patents

一种数据处理方法、装置和机器可读介质 Download PDF

Info

Publication number
CN111124236B
CN111124236B CN201811280800.8A CN201811280800A CN111124236B CN 111124236 B CN111124236 B CN 111124236B CN 201811280800 A CN201811280800 A CN 201811280800A CN 111124236 B CN111124236 B CN 111124236B
Authority
CN
China
Prior art keywords
interaction mode
user
interface
interaction
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811280800.8A
Other languages
English (en)
Other versions
CN111124236A (zh
Inventor
许侃
姚维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Banma Zhixing Network Hongkong Co Ltd
Original Assignee
Banma Zhixing Network Hongkong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Banma Zhixing Network Hongkong Co Ltd filed Critical Banma Zhixing Network Hongkong Co Ltd
Priority to CN201811280800.8A priority Critical patent/CN111124236B/zh
Priority to TW108129108A priority patent/TW202016694A/zh
Priority to US16/666,008 priority patent/US11209970B2/en
Priority to PCT/US2019/058604 priority patent/WO2020092398A2/en
Publication of CN111124236A publication Critical patent/CN111124236A/zh
Application granted granted Critical
Publication of CN111124236B publication Critical patent/CN111124236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Abstract

本申请实施例提供了一种数据处理方法、装置和机器可读介质，所述的方法包括：响应于用户的第一输入，在屏幕的目标位置显示界面；所述目标位置与所述用户的手部位置相匹配；所述第一输入对应第一交互方式；所述界面对应第二交互方式；响应于所述用户的第二输入，执行所述界面对应的功能；所述第二输入对应第二交互方式。本申请实施例可以降低用户的操作成本，提高用户的操作效率，且可以增加手部与界面之间的关联性。

Description

一种数据处理方法、装置和机器可读介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种数据处理方法、一种数据处理装置、一种装置和一种机器可读介质。
背景技术
随着计算机技术的发展，人机交互技术也得到了迅猛发展。目前较为成熟的人机交互方式具体包括：语音交互方式、手势交互方式、触控交互方式等。这些人机交互方式被应用于实现日常的功能，如音量、亮度、饱和度、温度、风速等参数的调节功能。
一种相关技术，可以通过语音交互方式实现上述调节功能。以音量调节功能为例，常用的语音口令可以包括：“音量放大一点”、“音量降低一点”、或者“音量调到音量数值X”等，且可以响应于用户输入的语音口令，进行音量的调节，如在当前音量的基础上将音量数值增加调整量、或者降低调整量、或者调整为音量数值X等。该相关技术通常需要用户准确确定与音量调节的相关信息，如一次语音口令对应的调整量是多少、当前音量对应的当前音量数值是多少、以及所需的目标音量数值是多少等；若不能准确确定上述相关信息，则将会增加语音口令的次数。并且，即使能够准确确定上述相关信息，考虑到当前音量数值、以及调整量的多种情况，仍需要多次语音口令，才能得到所需的目标音量数值，既使得用户的操作成本增加，而且使得调节效率较低。
一种相关技术，可以通过手势交互方式实现上述调节功能。具体地，可以向用户提供N(N为自然数)个手势，其中不同的手势可以代表不同的调节功能，以使用户通过不同的手势实现不同的调节功能。例如，单指顺时针旋转的手势对应音量上调功能，单指逆时针旋转的手势对应音量下调功能，双指顺时针旋转的手势对应风速上调功能，双指逆时针旋转的手势对应风速下调功能，三指顺时针旋转的手势对应温度上调功能，三指逆时针旋转的手势对应温度下调功能等等。在实际应用中，N的值通常与功能的数量相匹配，N的值通常大于6，因此增加了手势的记忆难度。
一种相关技术，可以通过触控交互方式实现上述调节功能。具体地，用户可以首先通过点击桌面上的设置图标，进入第一设置界面；然后，在设置界面中寻找并点击对应调节功能的设置项，以进入第二设置界面；接着，在第二设置界面中通过触控滑动的方式进行功能的调节。上述操作过程需要经过桌面→第一设置界面→第二设置界面的跳转，且需要用户的多次点击操作，因此，既使得用户的操作成本增加，而且使得调节效率较低。
发明内容
本申请实施例所要解决的技术问题是提供一种数据处理方法，可以降低用户的操作成本，提高用户的操作效率，且可以增加手部与界面之间的关联性。
相应的，本申请实施例还提供了一种数据处理装置、一种装置以及一种机器可读介质，用以保证上述方法的实现及应用。
为了解决上述问题，本申请实施例公开了一种数据处理方法，包括：
响应于用户的第一输入，在屏幕的目标位置显示界面；所述目标位置与所述用户的手部位置相匹配；所述第一输入对应第一交互方式；所述界面对应第二交互方式；
响应于所述用户的第二输入，执行所述界面对应的功能；所述第二输入对应第二交互方式。
另一方面，本申请实施例还公开了一种数据处理装置，包括：
界面显示模块，用于响应于用户的第一输入，在屏幕的目标位置显示界面；所述目标位置与所述用户的手部位置相匹配；所述第一输入对应第一交互方式；所述界面对应第二交互方式；以及
功能执行模块，用于响应于所述用户的第二输入，执行所述界面对应的功能；所述第二输入对应第二交互方式。
再一方面，本申请实施例还公开了一种装置，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行前述一个或多个所述的方法。
又一方面，本申请实施例公开了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述一个或多个所述的方法。
与现有技术相比，本申请实施例包括以下优点：
本申请实施例采用第一交互方式和第二交互方式，实现功能；其中，第一交互方式对应的第一输入用于触发界面的显示，第二交互方式对应的第二输入用于触发界面对应的功能的执行；本申请实施例可以综合第一交互方式和第二交互方式的优点，且可以规避第一交互方式或者第二交互方式的缺点，本申请实施例可以通过第一输入和第二输入实现功能，故可以降低用户的操作成本，提高用户的操作效率。
并且，本申请实施例中界面在屏幕上的目标位置与用户的手部位置相匹配，这样，可以增加手部与界面之间的关联性，可以实现手部在哪则界面在哪的效果，因此可以增加手部操作的便利性，且可以提升用户体验。
附图说明
图1是本申请的一种数据处理方法的应用环境的示意；
图2是本申请的一种数据处理方法实施例一的步骤流程图；
图3是本申请的一种数据处理方法实施例二的步骤流程图；
图4是本申请实施例的一种交互的流程示意；
图5是本申请实施例的一种交互的流程示意；
图6是本申请实施例的一种交互的流程示意；
图7是本申请实施例的一种交互的流程示意；
图8是本申请的一种数据处理方法实施例三的步骤流程图；
图9是本申请实施例的一种交互的流程示意；
图10是本申请实施例的一种交互的流程示意；
图11是本申请的一种数据处理装置实施例的结构框图；以及
图12是本申请一实施例提供的装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
本申请的构思易于进行各种修改和替代形式，其具体实施例已经通过附图的方式示出，并将在这里详细描述。然而，应该理解，上述内容并不是用来将本申请的构思限制为所公开的具体形式，相反地，本申请的说明书和附加权利要求书意欲覆盖所有的修改、等同和替代的形式。
本说明书中的“一个实施例”，“实施例”，“一个具体实施例”等，表示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以包括或可以不必然包括该特定特征、结构或特性。此外，这样的短语不一定指的是同一实施例。另外，在联系一个实施例描述特定特征、结构或特性的情况下，无论是否明确描述，可以认为本领域技术人员所知的范围内，这样的特征、结构或特性也与其他实施例有关。另外，应该理解的是，“在A，B和C的至少一个”这种形式所包括的列表中的条目中，可以包括如下可能的项目：(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A，B和C)。同样，“A，B或C中的至少一个”这种形式列出的项目可能意味着(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A，B和C)。
在一些情况下，所公开的实施例可以被实施为硬件、固件、软件或其任意组合。所公开的实施例也可以实现为携带或存储在一个或多个暂时的或者非暂时的机器可读(例如计算机可读)存储介质中的指令，该指令可以被一个或多个处理器执行。机器可读存储介质可以实施为用于以能够被机器读取的形式存储或者传输信息的存储装置、机构或其他物理结构(例如易失性或非易失性存储器、介质盘、或其他媒体其它物理结构装置)。
在附图中，一些结构或方法特征可以以特定的安排和/或排序显示。然而，优选地，这样的具体安排和/或排序并不是必要的。相反，在一些实施方案中，这样的特征可以以不同的方式和/或顺序排列，而不是如附图中所示。此外，特定的附图中的结构或方法特征中所包含的内容，不意味着暗示这种特征是在所有实施例是必须的，并且在一些实施方案中，可能不包括这些特征，或者可能将这些特征与其它特征相结合。
本申请实施例提供了一种数据处理方案，该方案可以响应于用户的第一输入，在屏幕的目标位置显示界面；所述目标位置可以与所述用户的手部位置相匹配；所述第一输入可以对应第一交互方式；所述界面可以对应第二交互方式；以及，响应于所述用户的第二输入，执行所述界面对应的功能；所述第二输入可以对应第二交互方式。
本申请实施例采用第一交互方式和第二交互方式，实现功能；其中，第一交互方式对应的第一输入用于触发界面的显示，第二交互方式对应的第二输入用于触发界面对应的功能的执行；本申请实施例可以综合第一交互方式和第二交互方式的优点，且可以规避第一交互方式或者第二交互方式的缺点，本申请实施例可以通过第一输入和第二输入实现功能，故可以降低用户的操作成本，提高用户的操作效率。
例如，由于本申请实施例可以通过界面反馈功能的信息，如功能的当前状态、用户对于功能的执行效果等；上述功能的信息可以辅助用户产生精准的第二输入，因此，可以减少例如语音交互的人机交互次数，降低用户的操作成本。
又如，由于本申请实施例的界面可以适用于任意类型的功能，故本申请实施例可以使不同类型的功能共用手势，因此可以减少手势的样式，以及可以降低手势的记忆成本和学习成本。例如，音量、亮度、饱和度、对比度、温度、风速等不同类型的功能，可以共用手势，因此可以减少手势的样式。
再如，由于本申请实施例可以通过第一输入快速直达界面，因此可以减少通过触控交互方式实现功能所花费的操作路径，降低用户的操作成本。
并且，本申请实施例中界面在屏幕上的目标位置与用户的手部位置相匹配，这样，可以增加手部与界面之间的关联性，可以实现手部在哪则界面在哪的效果，因此可以增强手部操作的便利性，且可以提升用户体验。
本领域技术人员可以根据实际应用需求，确定第一交互方式和第二交互方式。
根据一种实施例，所述第一交互方式可以为语音交互方式，所述第二交互方式可以为手势交互方式、或者触控交互方式。此种情况下，可以对单一的语音交互方式的冗长交互流程进行改进，通过语音输入便捷地调出界面，并通过手势交互方式、或者触控交互方式便捷地产生第二输入，以实现界面对应的功能。需要说明的是，在通过手势交互操作产生第二输入的情况下，由于显示的界面可以使不同类型的功能共用手势，故可以减少手势的样式，降低手势的记忆成本和学习成本。
根据另一种实施例，所述第一交互方式可以为触控交互方式，所述第二交互方式可以为手势交互方式、或者语音交互方式。此种情况下，第一输入可以为预设的触控输入，如预设次数的敲击屏幕的操作、预设按压力度的敲击屏幕的操作、或者在屏幕上产生的预设轨迹的滑动操作等，以通过第一输入便捷地调出界面。并且，可以通过界面反馈功能的信息，如功能的当前状态、用户对于功能的执行效果等；上述功能的信息可以辅助用户产生精准的第二输入，因此，可以减少例如语音交互的人机交互次数，降低用户的操作成本。可选地，界面上可以显示音量的当前音量值和最大音量值，以便于用户确定所需的目标音量值X，并通过语音口令触发目标音量值X的调整。
根据再一种实施例，所述第一交互方式可以为手势交互方式，所述第二交互方式可以为触控交互方式、或者语音交互方式。此种情况下，第一输入可以为预设的手势输入，如手部的横向、纵向或者旋转等任意方向的操作，以通过第一输入便捷地调出界面。
本申请实施例的应用场景可以包括：远距离操作的场景、或者不便精准操作的近距离场景、或者触摸屏场景等。其中，远距离操作的场景可以包括：智能电视场景、大屏幕场景等，不便精准操作的近距离场景可以包括：驾驶场景等。
以驾驶场景为例，为了安全驾驶，用户需要观察车辆周围的路况，因此，用户的注意力在驾驶行为上，因此不便于精准操作；而本申请实施例支持用户通过第一交互方式和第二交互方式，实现所需的功能；第一交互方式可以为语音交互方式，第二交互方式可以为手势交互方式，由于语音交互方式和手势交互方式均为非接触性的人机交互方式，故可以使用户不投入视线或者投入较少视线，使用户更专注于驾驶，因此可以提高驾驶的安全性。
以触摸屏场景为例，按照传统方式，需要通过多级界面的跳转才能进入功能的界面。本申请实施例可以通过例如语音交互方式的第一交互方式调出界面，并通过手势交互方式在界面上进行操作。因此可以减少通过触控交互方式实现功能所花费的操作路径，降低用户的操作成本。
可以理解，上述远距离操作的场景、或者不便精准操作的近距离场景、或者触摸屏场景只是作为应用场景的示例，实际上，本领域技术人员可以根据实际应用需求，将本申请实施例应用到任意的应用场景，本申请实施例对于具体的应用场景不加以限制。
本申请实施例提供的数据处理方法可应用于图1所示的应用环境中，如图1所示，客户端100与服务器200位于有线或无线网络中，通过该有线或无线网络，客户端100与服务器200进行数据交互。
可选地，客户端可以运行在设备上，例如，该客户端可以为终端上运行的APP，如导航APP、电子商务APP、即时通讯APP、输入法APP、或者操作系统自带的APP等，本申请实施例对于客户端所对应的具体APP不加以限制。
可选地，上述设备可以内置或者外接屏幕，上述屏幕用于显示信息。上述设备具体可以包括但不限于：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准音频层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准音频层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载设备、PC(个人计算机，Personal Computer)、机顶盒、智能电视机、可穿戴设备、大屏幕的控制设备，该控制设备用于控制大屏幕的显示等等。可以理解，本申请实施例对于具体的设备不加以限制。
车载设备的例子可以包括：HUD(平视显示器，Head Up Display)等，HUD通常安装在驾驶员前方，在驾驶过程中可为驾驶员提供一些必要的行车信息，如车速、油耗、导航，甚至手机来电、消息提醒等；换言之，HUD可以集多种功能于一体，方便驾驶员关注行车路况。
本申请实施例中的功能可以为任意的功能，如上述功能可以包括：系统功能、或者应用功能。上述系统功能可以包括：音量、亮度、饱和度、指示灯参数、对比度、温度、风速等参数的设置功能。上述应用功能可以指应用程序内部的功能，应用程序可以根据实际应用需求，确定上述功能，如浏览器应用的显示参数的设置功能等。
可选地，上述功能可以为系统全局功能，例如PC的音量、亮度、背光灯等参数的调节功能，车载设备的音量、风速、温度等参数的调节功能等。换言之，本申请实施例可以针对车载设备，调节音量、风速、温度等系统功能。或者，本申请实施例可以针对智能电视，调节音量、亮度、饱和度等系统功能。或者，本申请实施例可以针对PC、平板电脑等大屏幕，调节音量、亮度等系统功能。
上述参数可以为设备耦合的器件的工作参数，上述耦合可以包括：非接触连接(如网络连接)或者接触连接。其中，音量可以指例如扬声器的发声器件的工作参数。亮度、饱和度、对比度可以指例如屏幕的显示器的工作参数。温度、风速可以指例如空调的工作参数。在驾驶场景下，可以通过车载设备对车辆内空调的工作参数进行调节；或者，可以通过智能电视、或者智能手机对室内空调的工作参数进行调节。可以理解，本申请实施例的功能可以与任意的工作参数相应，本申请实施例对于具体的功能不加以限制。
本申请实施例可以通过手势识别装置，采集用户的手势，对采集的手势进行识别，由此可以对手势识别结果进行响应。手势识别用于判断手势属于哪一种。
本申请实施例中，手势的方位可以包括：方向、角度和弧度中的至少一种。在实际应用中，预设状态下的手部可以沿着任意方向移动，或者预设状态下的手部可以在平面内绕某个点旋转，或者，预设状态下的手部可以绕着某个轴翻转，以得到多样性的手势。其中，预设状态可以包括：握拳状态、手掌展开状态、手掌半展开状态等。可以理解，本领域技术人员或者用户可以根据实际应用需求，设置所需的手势，并采用所需的信息来表征手势的方位，本申请实施例对于具体的手势、以及手势的具体方位表示方法不加以限制。
在本申请的一种应用示例中，上述手势识别装置可以包括：两个红外摄像头、图像采集单元、红外发光二极管、红外发光二极管驱动单元、运算单元和手势识别单元。其中，图像采集单元与两个红外摄像头电连接，所述红外发光二极管驱动单元与红外发光二极管电连接以驱动红外发光二极管发光，所述运算单元与图像采集单元、红外发光二极管驱动单元、手势识别单元电连接；所述图像采集单元通过两个红外摄像头采集手势图像数据，并将手势图像数据发送到运算单元进行处理，运算单元获得手势图像数据并进行三维坐标定位后发送给手势识别单元进行模式匹配实现手势识别。
在实际应用中，上述手势识别装置可以与用于执行本申请实施例的方法的设备相互独立，或者，上述手势识别装置可被集成在用于执行本申请实施例的方法的设备中。可以理解，本领域技术人员可以根据所需的任意手势识别装置，实现手势识别，本申请实施例对于具体的手势识别装置、以及手势识别装置与用于执行本申请实施例的方法的设备之间的具体关系不加以限制。
方法实施例一
参照图2，示出了本申请的一种数据处理方法实施例一的步骤流程图，具体可以包括如下步骤：
步骤201、响应于用户的第一输入，在屏幕的目标位置显示界面；所述目标位置可以与所述用户的手部位置相匹配；所述第一输入可以对应第一交互方式；所述界面可以对应第二交互方式；
步骤202、响应于所述用户的第二输入，执行所述界面对应的功能；所述第二输入可以对应第二交互方式。
本申请实施例的方法所包括的至少一个步骤可由客户端执行，当然，本申请实施例对于方法的步骤的具体执行主体不加以限制。
本申请实施例可以在设备处于任意状态的情况下，执行图2所示方法。例如，在设备显示任意页面的情况下，均可以响应于用户的第一输入，执行步骤201，进一步可以响应于用户的第二输入，执行步骤202。
步骤201中，第一输入可用于触发界面的显示，第一输入可以通过第一交互方式触发。
在本申请的一种可选实施例中，所述第一交互方式可以为语音交互方式，所述第一输入可以为语音口令，该语音口令可用于表征需要触发的功能。可选地，语音口令可以包括：需要触发的功能的标识，如功能的名称等。
当然，语音交互方式只是作为第一交互方式的示例，实际上，本申请实施例对具体的第一交互方式不加以限制。例如，第一交互方式可以为手势交互方式，第一输入可以为手部的横向、纵向或者旋转等任意方向的操作。或者，第一交互方式可以为触控交互方式，第一输入可以为预设次数的敲击屏幕的操作、预设按压力度的敲击屏幕的操作、或者在屏幕上产生的预设轨迹的滑动操作等。其中，上述预设按压力度可以通过3D-touch(3D-触控)技术得到。
本申请实施例中界面在屏幕上的目标位置与用户的手部位置相匹配，这样，可以增加手部与界面之间的关联性，可以实现手部在哪则界面在哪的效果，因此可以增强手部操作的便利性，且可以提升用户体验。
可选地，手部位置可以为操作触发位置，操作触发位置可用于表征用户为了触发本申请实施例手部所处的位置。根据一种实施例，操作触发位置可以为手部与屏幕相接触的位置。根据另一种实施例，操作触发位置可以为手部在屏幕前方悬停的位置。
可选地，操作触发位置还可以是其它对象操作的位置，例如，触控笔触控的位置、语音输入确定的位置(例如：语音输入“屏幕中央”，则屏幕中央为操作触发位置)。
可选地，操作触发位置还可以是来自操作系统或其他应用的实时指令或预先设置，可以根据实时指令或预先设置来确定操作触发位置，例如，根据操作系统或其他应用输出的屏幕坐标信息，作为操作触发位置。
在本申请的一种可选实施例中，在第一交互方式为语音交互方式的情况下，若所述用户的手部与所述屏幕接触，则所述第二交互方式可以为触控交互方式。例如，若用户发出语音口令，且手部点击屏幕的任意位置，则可以根据手部点击的位置，在目标位置显示界面。目标位置可以为手部与屏幕相接触的位置。
在本申请的一种可选实施例中，在第一交互方式为语音交互方式的情况下，若所述用户的手部与所述屏幕不接触，则所述第二交互方式为手势交互方式。例如，若用户发出语音口令，且手部在屏幕前方悬停，则可以根据手部的悬停位置，在目标位置显示界面。目标位置可以为手部在屏幕上的投影位置。
在本申请的一种可选实施例中，所述界面可以包括：功能的信息。功能的信息可以包括如下信息中的至少一种：功能的当前状态、功能对应的操作引导信息、或者用户对于功能的执行效果等。上述功能的信息可以辅助用户产生精准的第二输入，因此，可以减少例如语音交互的人机交互次数，降低用户的操作成本。
在本申请的另一种可选实施例中，所述界面可以包括：控件，所述控件包括的控制块能够响应滑动事件。上述控件还可以包括：导向容器，以使控制块在上述导向容器中滑动，控制块在上述导向容器中的位置，可以表征功能的当前状态。
可选地，所述控制块的位置可以与所述用户的手部位置相匹配。例如，控制块的位置可以为手部与屏幕相接触的位置，或者，控制块的位置可以为手部在屏幕上的投影位置，这样，可以便于用户产生第二输入。
可选地，步骤201可以首先确定第一输入对应的目标功能，然后，在屏幕的目标位置显示目标功能对应的界面。其中，不同目标功能可以对应相同或不同的界面。可选地，目标功能对应的界面可以包括：前述的控件、以及目标功能的标识，目标功能的标识可以包括：名称、图标等。并且，控制块在导向容器中的位置可以依据目标功能对应的当前参数值确定。
步骤202中，可以响应于所述用户的第二输入，执行所述界面对应的功能。第二输入用于触发界面对应的功能的执行。
例如，在界面的控件包括控制块和导向容器的情况下，用户可以通过第二输入对控制块在导向容器中的位置进行控制。在实际应用中，导向容器的方向可以与控制块的滑动方向相匹配。该滑动方向可以为任意方向，如水平方向或者竖直方向，如上下方向或者左右方向等，用户的第二输入可以与该滑动方向相应，这样可以减少用户对于第二输入的记忆成本和学习成本，提高第二输入的准确度。
在本申请的一种应用示例中，假设屏幕与用户的面部平行，则导向容器的方向包括：左右方向，则第二输入对应的手势方向也可以为左右方向，例如，从左到右的手势方向，可以使控制块从左到右滑动，又如，从右到左的手势方向，可以使控制块从从右到左滑动。当然，第二输入对应的手势方向可以与滑动方向不同，例如，从左到右的手势方向，可以使控制块从上到下滑动等。
可以理解，上述包括控制块的控件只是作为界面的可选实施例，实际上，任意的能够表征功能的界面均在本申请实施例的保护范围之内，例如，上述界面可以包括：依序排列的多个功能项，上述多个功能项中的一个被选中，作为目标功能项。本申请实施例可以通过第二输入，实现对于目标功能项的选择。例如，可以将音量值划分为多个功能项，按照音量值从低到高的顺序，多个功能项依次可以包括：功能项1、功能项2、…功能项N(N为大于1的自然数)等，则用户可以通过第二输入，对其中的目标功能项进行调整。
需要说明的是，本申请实施例的控制块或者目标功能项可以随着第二输入而变化。在第二输入为触控输入的情况下，控制块可以与手部位置同步。在第二输入为语音输入或者手势输入的情况下，可以确定一次语音输入或者一个时间周期T对应的手势输入、与控制块或目标功能项的滑动单位之间的映射关系，由此可以实现控制块或者目标功能项的更新。
可选地，一次语音输入对应的滑动单位为△a，则可以按照滑动方向、控制控制块或目标功能项产生△a的位移。或者，一个时间周期T内的手势输入对应的滑动单位为△b，则可以按照滑动方向和手势输入的时间t、控制控制块或目标功能项产生t*△b/T的位移。可以理解，本领域技术人员可以根据实际应用需求，确定上述滑动单位、以及控制块或目标功能项与第二输入之间的关联运动方式，本申请实施例对于具体的滑动单位及关联运动方式不加以限制。
在本申请的一种可选实施例中，所述第二交互方式可以为手势交互方式，则步骤202执行所述界面对应的功能具体可以包括：响应于所述用户的功能选中手势，执行所述功能选中手势对应的目标功能。
功能选中手势用于触发界面所对应功能的执行。例如，从左到右的手势方向，可以使控制块从左到右滑动，进而可以实现“上调”功能。又如，从右到左的手势方向，可以使控制块从从右到左滑动，进而可以实现“下调”功能等。
可选地，所述功能的信息对应的显示位置与所述功能选中手势的方位之间具有映射关系。这样，在显示的功能的信息可用于向用户提示功能选中手势的方位，故可以进一步降低用户对于手势的记忆成本和学习成本，提高手势交互的便利性。
可选地，上述方位可以包括：方向，这样，功能的信息对应的显示位置可用于提示功能选中手势的方向。例如，功能的信息对应的显示位置位于控件的左侧，则功能选中手势的方向可以为左，如向左平移，或者向左翻转等。又如，功能的信息对应的显示位置位于控件的右侧，则功能选中手势的方向可以为右，比如向右平移，或者向右翻转等。
在本申请的一种可选实施例中，可以通过如下步骤建立功能的信息对应的显示位置与所述功能选中手势的方位之间的映射关系：依据功能选中手势的方位、以及功能与功能选中手势之间的映射关系，确定功能选中手势的方位对应的显示位置，由此可以建立功能的信息对应的显示位置与所述功能选中手势的方位之间的映射关系。假设功能1对应有功能选中手势1，则可以依据功能选中手势1的方位A，确定功能1的信息对应的显示位置B，其中，方位A与显示位置B相匹配，例如，方位A为向左的平移方向，则显示位置B可以为屏幕的左侧位置。
在本申请的一种可选实施例中，所述功能的信息可以位于所述控件的边缘。上述边缘可以包括：上边缘、下边缘、左边缘和右边缘中的至少一种。上述边缘对应的位置信息可以向用户提示功能选中手势的方位。
本申请实施例中，功能的信息可以包括：文本和/或图标。文本可以为功能的关键词(如名称等)，图标可以为用于指代功能的含义的图标，如“上调”功能的图标可以为“→”，“下调”功能的图标可以为“←”等。
在本申请的一种可选实施例中，上述方法还可以包括：在所述用户的手部动作符合预置条件的情况下，停止对所述界面进行显示。
例如，在第二交互方式为手势交互方式的情况下，若检测到预设手势，则可以停止对所述界面进行显示，也即可以关闭对应的控件。可以理解，上述预设手势可以与功能选中手势不同，由此可以避免手势之间的混淆，提高操作的准确度。
又如，在第二交互方式为触控交互方式的情况下，若检测到手部离开屏幕的操作，则可以停止对所述界面进行显示，也即可以关闭对应的控件。
综上，本申请实施例的数据处理方法，采用第一交互方式和第二交互方式，实现功能；其中，第一交互方式对应的第一输入用于触发界面的显示，第二交互方式对应的第二输入用于触发界面对应的功能的执行；本申请实施例可以综合第一交互方式和第二交互方式的优点，且可以规避第一交互方式或者第二交互方式的缺点，本申请实施例可以通过第一输入和第二输入实现功能，故可以降低用户的操作成本，提高用户的操作效率。
并且，本申请实施例中界面在屏幕上的目标位置与用户的手部位置相匹配，这样，可以增加手部与界面之间的关联性，可以实现手部在哪则界面在哪的效果，因此可以增加手部操作的便利性，且可以提升用户体验。
方法实施例二
参照图3，示出了本申请的一种数据处理方法实施例二的步骤流程图，具体可以包括如下步骤：
步骤301、响应于用户的语音输入，在屏幕的目标位置显示界面；所述目标位置可以与所述用户的手部位置相匹配；
步骤302、响应于所述用户的手势输入，执行所述界面对应的功能。
本申请实施例将语音自然和手势简洁的优点相结合，可以在一定程度上克服解决全语音的交互冗长问题和全手势的学习记忆成本高问题，为用户实现功能带来便利性。具体地，综合采用语音输入和远程的手势输入，其中，可以通过一次语音输入调出界面，故可以减少语音交互的次数。
并且，本申请实施例可以通过手势交互方式便捷地产生手势输入，以实现界面对应的功能。由于显示的界面可以使不同类型的功能共用手势，故可以减少手势的样式，降低手势的记忆成本和学习成本。
另外，本申请实施例中界面在屏幕上的目标位置与用户的手部位置相匹配，这样，可以增加手部与界面之间的关联性，可以实现手部在哪则界面在哪的效果，因此可以增加手部操作的便利性，且可以提升用户体验。
参照图4，示出了本申请实施例的一种交互的流程示意，其中，若接收到用户的语音输入，如“音量”，则可以确定该语音输入对应的目标功能，如“音量”功能；并且，若检测到手部在屏幕前方悬停，则可以依据手部位置确定目标位置，并在屏幕的目标位置显示界面401。界面401可以包括：控件和声音的图标，其中，控件可以包括：控制块和导向容器，其中，控制块可以在导向容器中滑动。
参照图5，示出了本申请实施例的一种交互的流程示意，其相对于图4的一个区别在于，界面501的目标位置与界面401的目标位置不同。具体地，界面401的目标位置为左下位置，界面501的目标位置为右下位置，上述目标位置可以为依据手部位置得到。可选地，可以依据手部在屏幕上的投影位置，确定上述目标位置。
参照图6，示出了本申请实施例的一种交互的流程示意，其中，在设备的页面为任意页面(例如导航页面、音乐页面等)的情况下，若接收到用户的语音口令，如“音量”，则可以确定该语音口令对应的目标功能，如“音量”功能；并且，可以依据手部位置确定目标位置，并在屏幕的目标位置显示界面601。界面601可以包括：控件和声音的图标，其中，控件可以包括：控制块和导向容器，其中，控制块可以在导向容器中滑动。进一步，若接收到用户的向右滑动操作，则可以将控制块向右滑动，由此可以实现音量的调节功能。
上述向右滑动操作可以通过手势交互方式或者触控交互方式实现。需要说明的是，在显示界面601后，可以判断用户的手部动作是否符合预置条件，若是，则可以停止对界面601进行显示。例如，若检测到向下移动的手势，则可以关闭界面601。
需要说明的是，上述向右滑动操作只是作为手势输入的示例，实际上，本申请实施例的手势输入可以包括：纵向位移操作、旋转操作、或者翻转操作等。
参照图7，示出了本申请实施例的一种交互的流程示意，其中，在设备的页面为任意页面(例如导航页面、音乐页面等)的情况下，若接收到用户的语音口令，如“风速”，则可以确定该语音口令对应的目标功能，如“风速”功能；并且，可以依据手部位置确定目标位置，并在屏幕的目标位置显示界面701。界面701可以包括：控件和风扇的图标，其中，控件可以包括：控制块和导向容器，其中，控制块可以在导向容器中滑动。进一步，若接收到用户的向右滑动操作，则可以将控制块向右滑动，由此可以实现风速的调节功能。
需要说明的是，在显示界面701后，可以判断用户的手部动作是否符合预置条件，若是，则可以停止对界面701进行显示。例如，若检测到向下移动的手势，则可以关闭界面701。
综上，本申请实施例的数据处理方法，综合采用语音输入和远程的手势输入，其中，可以通过一次语音输入调出界面，故可以减少语音交互的次数。
并且，本申请实施例可以通过手势交互方式便捷地产生手势输入，以实现界面对应的功能。由于显示的界面可以使不同类型的功能共用手势，故可以减少手势的样式，降低手势的记忆成本和学习成本。
另外，本申请实施例中界面在屏幕上的目标位置与用户的手部位置相匹配，这样，可以增加手部与界面之间的关联性，可以实现手部在哪则界面在哪的效果，因此可以增加手部操作的便利性，且可以提升用户体验。
方法实施例三
参照图8，示出了本申请的一种数据处理方法实施例三的步骤流程图，具体可以包括如下步骤：
步骤801、响应于用户的语音输入，在屏幕的目标位置显示界面；所述目标位置可以与所述用户的手部位置相匹配；
步骤802、响应于所述用户的触控输入，执行所述界面对应的功能。
本申请实施例将语音自然和触控简洁的优点相结合，可以在一定程度上克服解决全语音的交互冗长问题和触控的操作路径长的问题，为用户实现功能带来便利性。
参照图9，示出了本申请实施例的一种交互的流程示意，其中，若接收到用户的语音输入，如“音量”，则可以确定该语音输入对应的目标功能，如“音量”功能；并且，若检测到手部点击屏幕，则可以依据手部位置确定目标位置，并在屏幕的目标位置显示界面901。界面901可以包括：控件和声音的图标，其中，控件可以包括：控制块和导向容器，其中，控制块可以在导向容器中滑动，其中，控制块的位置可以为手部与屏幕相接触的位置。
参照图10，示出了本申请实施例的一种交互的流程示意，其相对于图9的一个区别在于，界面1001的目标位置与界面901的目标位置不同。具体地，界面1001的目标位置为左下位置，界面1001的目标位置为左上位置，上述目标位置可以为依据手部位置得到。可选地，控制块的位置可以为手部与屏幕相接触的位置。
综上，本申请实施例的数据处理方法，将语音自然和触控简洁的优点相结合，可以在一定程度上克服解决全语音的交互冗长问题和触控的操作路径长的问题，为用户实现功能带来便利性。
首先，可以通过一次语音输入调出界面，故可以减少语音交互的次数。
并且，由于本申请实施例可以通过一次语音输入快速直达界面，因此可以减少通过触控交互方式实现功能所花费的操作路径，降低用户的操作成本。
另外，本申请实施例中界面在屏幕上的目标位置与用户的手部位置相匹配，这样，可以增加手部与界面之间的关联性，可以实现手部在哪则界面在哪的效果，因此可以增加手部操作的便利性，且可以提升用户体验。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
本申请实施例还提供了一种数据处理装置。
参照图11，示出了本申请的一种数据处理装置实施例的结构框图，具体可以包括如下模块：
界面显示模块1101，用于响应于用户的第一输入，在屏幕的目标位置显示界面；所述目标位置可以与所述用户的手部位置相匹配；所述第一输入可以对应第一交互方式；所述界面可以对应第二交互方式；以及
功能执行模块1102，用于响应于所述用户的第二输入，执行所述界面对应的功能；所述第二输入可以对应第二交互方式。
可选地，所述第一交互方式可以为语音交互方式，所述第二交互方式可以为手势交互方式、或者触控交互方式；或者
所述第一交互方式可以为触控交互方式，所述第二交互方式可以为手势交互方式、或者语音交互方式；或者
所述第一交互方式可以为手势交互方式，所述第二交互方式可以为触控交互方式、或者语音交互方式。
可选地，所述第一交互方式可以为语音交互方式，所述第一输入可以为语音口令，所述语音口令用于表征需要触发的功能。
可选地，若所述用户的手部与所述屏幕接触，则所述第二交互方式可以为触控交互方式；或者
若所述用户的手部与所述屏幕不接触，则所述第二交互方式可以为手势交互方式。
可选地，所述手部位置可以为操作触发位置。
可选地，所述界面可以包括：控件，所述控件包括的控制块能够响应滑动事件。
可选地，所述控制块的位置与所述用户的手部位置相匹配。
可选地，所述界面可以包括：功能的信息。
可选地，所述第二交互方式可以为手势交互方式，功能执行模块1102可以包括：
手势功能执行模块，用于响应于所述用户的功能选中手势，执行所述功能选中手势对应的目标功能。
可选地，所述功能的信息对应的显示位置与所述功能选中手势的方位之间可以具有映射关系。
可选地，所述装置还可以包括：
停止显示模块，用于在所述用户的手部动作符合预置条件的情况下，停止对所述界面进行显示。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请实施例的实施例可被实现为使用任意适当的硬件和/或软件进行想要的配置的系统或装置。图12示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1300。
对于一个实施例，图12示出了示例性装置1300，该装置1300可以包括：一个或多个处理器1302、与处理器1302中的至少一个耦合的系统控制模块(芯片组)1304、与系统控制模块1304耦合的系统存储器1306、与系统控制模块1304耦合的非易失性存储器(NVM)/存储装置1308、与系统控制模块1304耦合的一个或多个输入/输出设备1310，以及与系统控制模块1306耦合的网络接口1312。该系统存储器1306可以包括：指令1362，该指令1362可被一个或多个处理器1302执行。
处理器1302可包括一个或多个单核或多核处理器，处理器1302可包括通用处理器或专用处理器(例如图形处理器、应用程序处理器、基带处理器等)的任意组合。在一些实施例中，装置1300能够作为本申请实施例中所述的服务器、目标设备、无线设备等。
在一些实施例中，装置1300可包括具有指令的一个或多个机器可读介质(例如，系统存储器1306或NVM/存储装置1308)以及与该一个或多个机器可读介质相合并被配置为执行指令、以实现前述装置包括的模块、从而执行本申请实施例中所述的动作的一个或多个处理器1302。
一个实施例的系统控制模块1304可包括任何适合的接口控制器，用于提供任何适合的接口给处理器1302中的至少一个和/或与系统控制模块1304通信的任意适合的装置或部件。
一个实施例的系统控制模块1304可包括一个或多个存储器控制器，用于提供接口给系统存储器1306。存储器控制器可以是硬件模块、软件模块和/或固件模块。
一个实施例的系统存储器1306可被用于加载和存储数据和/或指令1362。对于一个实施例，系统存储器1306可包括任何适合的易失性存储器，例如，适合的DRAM(动态随机存取存储器)。在一些实施例中，系统存储器1306可包括：双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
一个实施例的系统控制模块1304可包括一个或多个输入/输出控制器，以向NVM/存储装置1308及(一个或多个)输入/输出设备1310提供接口。
一个实施例的NVM/存储装置1308可被用于存储数据和/或指令1382。NVM/存储装置1308可包括任何适合的非易失性存储器(例如闪存等)和/或可包括任何适合的(一个或多个)非易失性存储设备，例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器等。
NVM/存储装置1308可包括在物理上是装置1300被安装在其上的装置的一部分的存储资源，或者其可被该装置访问而不必作为该装置的一部分。例如，NVM/存储装置1308可经由网络接口1312通过网络和/或通过输入/输出设备1310进行访问。
一个实施例的(一个或多个)输入/输出设备1310可为装置1300提供接口以与任意其他适当的设备通信，输入/输出设备1310可以包括通信组件、音频组件、传感器组件等。
一个实施例的网络接口1312可为装置1300提供接口以通过一个或多个网络和/或与任何其他适合的装置通信，装置1300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合进行无线通信。
对于一个实施例，处理器1302中的至少一个可与系统控制模块1304的一个或多个控制器(例如，存储器控制器)的逻辑封装在一起。对于一个实施例，处理器1302中的至少一个可与系统控制模块1304的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，处理器1302中的至少一个可与系统控制模块1304的一个或多个控制器的逻辑集成在同一新品上。对于一个实施例，处理器1302中的至少一个可与系统控制模块1304的一个或多个控制器的逻辑集成在同一芯片上以形成片上系统(SoC)。
在各个实施例中，装置1300可以包括但不限于：台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等计算设备。在各个实施例中，装置1300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置1300可以包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中，如果显示器包括触摸面板，显示屏可以被实现为触屏显示器，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在装置时，可以使得该装置执行本申请实施例中各方法的指令(instructions)。
在一个示例中提供了一种装置，包括：一个或多个处理器；和，其上存储的一个或多个机器可读介质中的指令，由所述一个或多个处理器执行时，导致所述装置执行如本申请实施例中的方法，该方法可以包括：图2或图3或图4或图5或图6或图7或图8或9或图10所示的方法。
在一个示例中还提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如本申请实施例中的方法，该方法可以包括：图2或图3或图4或图5或图6或图7或图8或图9或图10所示的方法。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理装置的处理器以产生一个机器，使得通过计算机或其他可编程数据处理装置的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理装置上，使得在计算机或其他可编程装置上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程装置上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上对本申请所提供的一种数据处理方法、一种数据处理装置、一种装置、以及一种机器可读介质介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (21)

1.一种数据处理方法，其特征在于，包括：
响应于用户的第一输入，在屏幕的目标位置显示界面；所述目标位置与所述用户的手部位置相匹配；所述第一输入对应第一交互方式；所述界面对应第二交互方式；
响应于所述用户的第二输入，执行所述界面对应的功能；所述第二输入对应第二交互方式；所述第二交互方式不同于所述第一交互方式。
2.根据权利要求1所述的方法，其特征在于，所述第一交互方式为语音交互方式，所述第二交互方式为手势交互方式、或者触控交互方式；或者
所述第一交互方式为触控交互方式，所述第二交互方式为手势交互方式、或者语音交互方式；或者
所述第一交互方式为手势交互方式，所述第二交互方式为触控交互方式、或者语音交互方式。
3.根据权利要求1所述的方法，其特征在于，所述第一交互方式为语音交互方式，所述第一输入为语音口令，所述语音口令用于表征需要触发的功能。
4.根据权利要求3所述的方法，其特征在于，若所述用户的手部与所述屏幕接触，则所述第二交互方式为触控交互方式；或者
若所述用户的手部与所述屏幕不接触，则所述第二交互方式为手势交互方式。
5.根据权利要求1至4中任一所述的方法，其特征在于，所述手部位置为操作触发位置。
6.根据权利要求1至4中任一所述的方法，其特征在于，所述界面包括：控件，所述控件包括的控制块能够响应滑动事件。
7.根据权利要求6所述的方法，其特征在于，所述控制块的位置与所述用户的手部位置相匹配。
8.根据权利要求1至4中任一所述的方法，其特征在于，所述界面包括：功能的信息。
9.根据权利要求8所述的方法，其特征在于，所述第二交互方式为手势交互方式，所述执行所述界面对应的功能包括：
响应于所述用户的功能选中手势，执行所述功能选中手势对应的目标功能。
10.根据权利要求9所述的方法，其特征在于，所述功能的信息对应的显示位置与所述功能选中手势的方位之间具有映射关系。
11.根据权利要求1至4中任一所述的方法，其特征在于，所述方法还包括：
在所述用户的手部动作符合预置条件的情况下，停止对所述界面进行显示。
12.一种数据处理装置，其特征在于，包括：
界面显示模块，用于响应于用户的第一输入，在屏幕的目标位置显示界面；所述目标位置与所述用户的手部位置相匹配；所述第一输入对应第一交互方式；所述界面对应第二交互方式；以及
功能执行模块，用于响应于所述用户的第二输入，执行所述界面对应的功能；所述第二输入对应第二交互方式；所述第二交互方式不同于所述第一交互方式。
13.根据权利要求12所述的装置，其特征在于，所述第一交互方式为语音交互方式，所述第二交互方式为手势交互方式、或者触控交互方式；或者
所述第一交互方式为触控交互方式，所述第二交互方式为手势交互方式、或者语音交互方式；或者
所述第一交互方式为手势交互方式，所述第二交互方式为触控交互方式、或者语音交互方式。
14.根据权利要求12所述的装置，其特征在于，所述第一交互方式为语音交互方式，所述第一输入为语音口令，所述语音口令用于表征需要触发的功能。
15.根据权利要求14所述的装置，其特征在于，若所述用户的手部与所述屏幕接触，则所述第二交互方式为触控交互方式；或者
若所述用户的手部与所述屏幕不接触，则所述第二交互方式为手势交互方式。
16.根据权利要求12至15中任一所述的装置，其特征在于，所述手部位置为操作触发位置。
17.根据权利要求12至15中任一所述的装置，其特征在于，所述界面包括：控件，所述控件包括的控制块能够响应滑动事件。
18.根据权利要求17所述的装置，其特征在于，所述控制块的位置与所述用户的手部位置相匹配。
19.一种装置，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如权利要求1-11中一个或多个所述的方法。
20.一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1-11中一个或多个所述的方法。
21.一种数据处理方法，其特征在于，包括：
响应于用户的第一输入，在屏幕的目标位置显示界面；所述目标位置与所述用户的操作触发位置相匹配；所述第一输入对应第一交互方式；所述界面对应第二交互方式；
响应于所述用户的第二输入，执行所述界面对应的功能；所述第二输入对应第二交互方式；所述第二交互方式不同于所述第一交互方式。
CN201811280800.8A 2018-10-30 2018-10-30 一种数据处理方法、装置和机器可读介质 Active CN111124236B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811280800.8A CN111124236B (zh) 2018-10-30 2018-10-30 一种数据处理方法、装置和机器可读介质
TW108129108A TW202016694A (zh) 2018-10-30 2019-08-15 資料處理方法、裝置和機器可讀媒體
US16/666,008 US11209970B2 (en) 2018-10-30 2019-10-28 Method, device, and system for providing an interface based on an interaction with a terminal
PCT/US2019/058604 WO2020092398A2 (en) 2018-10-30 2019-10-29 Method, device, and system for providing an interface based on an interaction with a terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811280800.8A CN111124236B (zh) 2018-10-30 2018-10-30 一种数据处理方法、装置和机器可读介质

Publications (2)

Publication Number Publication Date
CN111124236A CN111124236A (zh) 2020-05-08
CN111124236B true CN111124236B (zh) 2023-04-28

Family

ID=70484680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811280800.8A Active CN111124236B (zh) 2018-10-30 2018-10-30 一种数据处理方法、装置和机器可读介质

Country Status (3)

Country Link
US (1) US11209970B2 (zh)
CN (1) CN111124236B (zh)
TW (1) TW202016694A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968637A (zh) * 2020-08-11 2020-11-20 北京小米移动软件有限公司 终端设备的操作模式控制方法、装置、终端设备及介质
CN114610157A (zh) * 2022-03-23 2022-06-10 北京拙河科技有限公司 一种基于手势交互的方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052202A (zh) * 2017-12-11 2018-05-18 深圳市星野信息技术有限公司 一种3d交互方法、装置、计算机设备及存储介质
CN108334199A (zh) * 2018-02-12 2018-07-27 华南理工大学 基于增强现实的移动式多模态交互方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06131437A (ja) 1992-10-20 1994-05-13 Hitachi Ltd 複合形態による操作指示方法
JP4416643B2 (ja) 2004-06-29 2010-02-17 キヤノン株式会社 マルチモーダル入力方法
DE102008051756A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
KR101510484B1 (ko) * 2009-03-31 2015-04-08 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR101642722B1 (ko) * 2010-02-04 2016-07-27 삼성전자 주식회사 듀얼 표시부를 가지는 휴대단말 및 그 표시부의 표시 제어 방법
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US20130154913A1 (en) 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US9152376B2 (en) 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
EP2664983A3 (en) * 2012-05-17 2018-01-03 LG Electronics, Inc. Mobile terminal and control method therefor
BR112014028774B1 (pt) 2012-05-18 2022-05-10 Apple Inc Método, dispositivo eletrônico, meio de armazenamento legível por computador e aparelho de processamento de informações
KR102133410B1 (ko) * 2013-01-31 2020-07-14 삼성전자 주식회사 멀티태스킹 운용 방법 및 이를 지원하는 단말기
US20140267035A1 (en) 2013-03-15 2014-09-18 Sirius Xm Connected Vehicle Services Inc. Multimodal User Interface Design
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
EP2796993B1 (en) 2013-04-24 2022-06-01 Samsung Electronics Co., Ltd. Display apparatus and control method capable of performing an initial setting
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US20150199017A1 (en) 2014-01-10 2015-07-16 Microsoft Corporation Coordinated speech and gesture input
KR102158214B1 (ko) * 2014-05-19 2020-09-22 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR20160071264A (ko) * 2014-12-11 2016-06-21 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US20160077793A1 (en) * 2014-09-15 2016-03-17 Microsoft Corporation Gesture shortcuts for invocation of voice input
US10101803B2 (en) 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
KR20180133138A (ko) * 2017-06-05 2018-12-13 엘지전자 주식회사 이동 단말기 및 그 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052202A (zh) * 2017-12-11 2018-05-18 深圳市星野信息技术有限公司 一种3d交互方法、装置、计算机设备及存储介质
CN108334199A (zh) * 2018-02-12 2018-07-27 华南理工大学 基于增强现实的移动式多模态交互方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Shujie Deng等."Understanding the impact of multimodal interaction using gaze informed mid-air gesture control in 3D virtual objects manipulation".《 International Journal of Human-Computer Studies》.2017,第105卷第68-80页. *
张凤军等."虚拟现实的人机交互综述".《中国科学：信息科学》.2016,第46卷(第12期),第1711-1736页. *

Also Published As

Publication number Publication date
US20200167064A1 (en) 2020-05-28
CN111124236A (zh) 2020-05-08
US11209970B2 (en) 2021-12-28
TW202016694A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
US11494244B2 (en) Multi-window control method and electronic device supporting the same
US8743021B1 (en) Display device detecting gaze location and method for controlling thereof
US10228848B2 (en) Gesture controlled adaptive projected information handling system input and output devices
KR102354763B1 (ko) 주변 기기를 식별하는 전자 기기 및 이의 주변 기기 식별 방법
US20170329414A1 (en) Computing system utilizing coordinated two-hand command gestures
US11941181B2 (en) Mechanism to provide visual feedback regarding computing system command gestures
US8963865B2 (en) Touch sensitive device with concentration mode
US20150154134A1 (en) Devices and methods to receive input at a first device and present output in response on a second device different from the first device
US9030430B2 (en) Multi-touch navigation mode
US20140340308A1 (en) Electronic device and screen content sharing method
US20140173529A1 (en) Circular gesture for touch sensitive ui control feature
US10331340B2 (en) Device and method for receiving character input through the same
US20240012605A1 (en) Data Processing Method and Mobile Device
CN111124236B (zh) 一种数据处理方法、装置和机器可读介质
US20140052746A1 (en) Method of searching for playback location of multimedia application and electronic device thereof
CN112445323B (zh) 一种数据处理方法、装置、设备和机器可读介质
US20140253438A1 (en) Input command based on hand gesture
CN110618750A (zh) 一种数据处理方法、装置和机器可读介质
US20220350997A1 (en) Pointer-based content recognition using a head-mounted device
CN112732214B (zh) 控制方法、电子设备和可读存储介质
US11435857B1 (en) Content access and navigation using a head-mounted device
WO2020092398A2 (en) Method, device, and system for providing an interface based on an interaction with a terminal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201223

Address after: Room 603, 6 / F, Roche Plaza, 788 Cheung Sha Wan Road, Kowloon, China

Applicant after: Zebra smart travel network (Hong Kong) Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

GR01 Patent grant
GR01 Patent grant