CN105824429A - 基于红外传感器的读屏应用指令输入方法及装置 - Google Patents
基于红外传感器的读屏应用指令输入方法及装置 Download PDFInfo
- Publication number
- CN105824429A CN105824429A CN201610313247.8A CN201610313247A CN105824429A CN 105824429 A CN105824429 A CN 105824429A CN 201610313247 A CN201610313247 A CN 201610313247A CN 105824429 A CN105824429 A CN 105824429A
- Authority
- CN
- China
- Prior art keywords
- gesture
- action
- reading
- reading screen
- subject performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开了一种基于红外传感器的读屏应用指令输入方法,包括:通过红外传感器获取红外视频图像,提取所述红外视频图像的人体动作数据;获取所述人体动作数据的特征数据;在预设的动作/手势数据库中查找与所述特征数据匹配的目标动作/手势;确定与所述目标动作/手势对应的读屏功能操作,执行所述读屏功能操作。另外,本发明实施例还公开了一种基于红外传感器的读屏应用指令输入装置。采用本发明,可提高读屏应用的指令输入的操作便利性。
Description
技术领域
本发明涉及人机交互技术领域,尤其涉及一种基于红外传感器的读屏应用指令输入方法及装置。
背景技术
随着智能手机、个人电脑等计算机设备的快速普及,各种移动互联网应用也层出不穷,越来越多的用户能够真实感受到移动互联技术带来的生活便利和无线乐趣;但是,社会中还有一部分特殊群体也需要使用智能手机等计算机设备,那就是有一定功能障碍的人群,例如视障人群,尤其是全盲的视障群体,完全是靠耳朵听取声音来操作计算机。
在使用智能手机、平板电脑、个人电脑等终端设备的辅助操作功能(包括但不限于Voiceover、Talkback等读屏软件和其他类似功能的应用)时,用户界面元素及其功能会被提取出来并通过TTS(TexttoSpeech,文字转语音技术)把所选择的文字用语音播放出来,以帮助用户了解手机屏幕当前显示的内容;并且,用户可以通过在触摸屏上进行点击、滑动等操作,对终端进行操作,给用户带来了更全面更丰富的使用体验,尤其是使得存在一定功能障碍的人群(例如视觉障碍的残障人员、老年人等特殊群体)能够无障碍的使用智能手机等终端设备。
也就是说,用户必须手持智能手机、鼠标等输入设备才能对终端进行操作。以智能手机为例,对于用户来讲,就算有语音的辅助,也需要用户用手指在显示界面上进行多次点击或者滑动操作。另外,若手机不在身边,则无法进行操作,使得用户使用智能手机等终端设备的使用体验不佳。进一步地,对于存在一定功能障碍的人群(例如视觉障碍的残障人员、老年人等特殊群体)来讲,要准确快速的寻找手机也存在一定的问题,这就造成了存在一定功能障碍的人群(例如视觉障碍的残障人员、老年人等特殊群体)在使用手机时操作的便利性不足。
发明内容
基于此,为解决传统技术中的智能手机等终端设备的操作方式存在操作的便利性不足的技术问题,特提出了一种基于红外传感器的读屏应用指令输入方法。
一种基于红外传感器的读屏应用指令输入方法,包括:
通过红外传感器获取红外视频图像,提取所述红外视频图像的人体动作数据;
获取所述人体动作数据的特征数据;
在预设的动作/手势数据库中查找与所述特征数据匹配的目标动作/手势;
确定与所述目标动作/手势对应的读屏功能操作,执行所述读屏功能操作。
可选的,在其中一个实施例中,所述执行所述读屏功能操作的步骤之后还包括:获取所述读屏功能操作的执行结果;在所述预设的语音数据库中查找与所述读屏功能操作的执行结果对应的语音提示消息;播放所述语音提示消息。
可选的,在其中一个实施例中,所述在预设的动作/手势数据库中查找与所述特征数据匹配的目标动作/手势的步骤之后还包括:获取终端的当前显示界面,获取所述当前显示界面的读屏功能选中框;所述确定与所述目标动作/手势对应的读屏功能操作的步骤具体为:根据所述当前显示界面的读屏功能选中框确定与所述目标动作/手势对应的读屏功能操作。
可选的,在其中一个实施例中,所述读屏功能操作为音频应用开启操作;所述执行所述读屏功能操作的步骤具体为:根据所述音频应用开启操作启动与所述音频应用开启操作对应的音频应用。
可选的,在其中一个实施例中,所述确定与所述目标动作/手势对应的读屏功能操作的步骤具体为:将所述目标动作/手势发送给读屏应用,所述读屏应用用于根据所述目标动作/手势在所述预设的读屏功能操作数据库中查找与所述目标动作/手势匹配的读屏功能操作。
可选的,在其中一个实施例中,所述通过红外传感器获取红外视频图像的步骤之前还包括:接收用户输入的读屏应用开启指令,所述读屏应用开启指令与所述读屏应用对应,根据所述读屏应用开启指令启动所述读屏应用。
可选的,在其中一个实施例中,所述在预设的动作/动作/手势数据库中查找与所述特征数据匹配的目标动作/动作/手势的步骤之后还包括:获取用户输入的针对所述目标动作/动作/手势的反馈信息;或获取所述特征数据与所述目标动作/动作/手势的匹配参考值,根据所述匹配参考值生成针对所述目标动作/动作/手势的反馈信息;所述方法还包括:根据所述反馈信息确定所述预设的动作/动作/手势数据库的更新数据;根据所述更新数据刷新所述预设的动作/动作/手势数据库。
此外,为解决传统技术中的智能手机等终端设备的操作方式存在操作的便利性不足的技术问题,还提出了一种基于红外传感器的读屏应用指令输入装置。
一种基于红外传感器的读屏应用指令输入装置,包括:
人体动作数据获取模块,用于通过红外传感器获取红外视频图像,提取所述红外视频图像的人体动作数据;
特征数据获取模块,用于获取所述人体动作数据的特征数据;
目标动作/手势查找模块,用于在预设的动作/手势数据库中查找与所述特征数据匹配的目标动作/手势;
操作确定执行模块,用于确定与所述目标动作/手势对应的读屏功能操作,执行所述读屏功能操作。
可选的,在其中一个实施例中,所述装置还包括语音提示消息播放模块,用于:获取所述读屏功能操作的执行结果;在所述预设的语音数据库中查找与所述读屏功能操作的执行结果对应的语音提示消息;播放所述语音提示消息。
可选的,在其中一个实施例中,所述装置还包括显示界面获取模块,用于获取终端的当前显示界面,获取所述当前显示界面的读屏功能选中框;所述操作确定执行模块还用于根据所述当前显示界面的读屏功能选中框确定与所述目标动作/手势对应的读屏功能操作。
可选的,在其中一个实施例中,所述读屏功能操作为音频应用开启操作;所述操作确定执行模块还用于:根据所述音频应用开启操作启动与所述音频应用开启操作对应的音频应用。
可选的,在其中一个实施例中,所述操作确定执行模块还用于:将所述目标动作/动作/手势发送给读屏应用,所述读屏应用用于根据所述目标动作/动作/手势在所述预设的读屏功能操作数据库中查找与所述目标动作/动作/手势匹配的读屏功能操作。
可选的,在其中一个实施例中,所述装置还包括读屏应用开启模块,用于接收用户输入的读屏应用开启指令,所述读屏应用开启指令与所述读屏应用对应,根据所述读屏应用开启指令启动所述读屏应用。
可选的,在其中一个实施例中,所述装置还包括反馈信息获取模块和数据库更新模块,其中:所述反馈信息获取模块用于:获取用户输入的针对所述目标动作/动作/手势的反馈信息;或获取所述特征数据与所述目标动作/动作/手势的匹配参考值,根据所述匹配参考值生成针对所述目标动作/动作/手势的反馈信息;所述数据库更新模块用于:根据所述反馈信息确定所述预设的动作/动作/手势数据库的更新数据;根据所述更新数据刷新所述预设的动作/动作/手势数据库。
实施本发明实施例,将具有如下有益效果:
采用了上述基于红外传感器的读屏应用指令输入方法及装置之后,用户可以通过手部动作或者身体动作等运动操作数据,在红外传感器的覆盖范围下,用户的手部动作或者身体动作均可以被识别并被转化为对应的动作/手势操作,从而确定用户需要输入的与读屏应用对应的操作指令完成读屏应用的指令的输入并由读屏软件将相应的操作指令发送给计算机对应的装置进行执行,实现了用户通过运动操作数据向终端的读屏应用输入指令和读屏软件将操作指令的输出,相较于传统技术中用户必须通过终端的实体按键或触控屏输入指令的方案来讲,可提高指令输入的操作便利性;进一步地,上述方案还实现了在用户不手持终端的情况下也可操作终端,对读屏应用发送指令进行相关操作,进一步的提高了用户使用读屏应用的操作便利性;尤其是针对存在一定功能障碍的人群(例如视觉障碍的残障人员、老年人等特殊群体)来讲,其操作便利性的提高尤为明显。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为一个实施例中一种基于红外传感器的读屏应用指令输入方法的流程示意图;
图2为另一个实施例中一种基于红外传感器的读屏应用指令输入方法的流程示意图;
图3为一个实施例中动作/手势数据库的反馈更新方法的流程示意图;
图4为一个实施例中一种基于红外传感器的读屏应用指令输入装置的结构示意图;
图5为一个实施例中运行前述基于红外传感器的读屏应用指令输入方法的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为解决传统技术中的智能手机等终端设备的操作方式存在操作的便利性不足的技术问题,在本实施例中,特提出了一种基于红外传感器的读屏应用指令输入方法,该方法的实现可依赖于计算机程序,该计算机程序可运行于基于冯诺依曼体系的计算机系统之上,该计算机程序可以是与基于红外传感器的体感识别功能对应的与Voiceover、Talkback等读屏软件和其他类似功能的应用、与辅助操作功能(包括但不限于Voiceover、Talkback等读屏软件和其他类似功能的应用)关联的与红外传感器对应的体感识别/动作识别的应用程序。该计算机系统可以是安装了红外传感器或者可以与外设的包含了红外传感器的设备连接的智能手机、平板电脑、掌上电脑、笔记本电脑或个人电脑等计算机设备。
需要说明的是,终端的读屏应用,有些是用户安装的,有些也可能是原先就内置的:例如基于IOS系统的voiceover就是内置的,基于windows系统的NVDA就是用户安装的第三方软件。
具体的,如图1所示,上述基于可穿戴设备的读屏应用指令输入方法包括如下步骤:
步骤S101:通过红外传感器获取红外视频图像,提取所述红外视频图像的人体动作数据。
在本实施例中,红外传感器可以是终端内置的装置,也可以是与终端相连的外设的红外传感器。具体的,上述红外传感器包括了红外线信号输出模块和红外图像采集模块,且红外线信号输出模块用于向外发射红外线信号,例如,红外线信号输出模块可以由一个或者多个红外二极管构成;另外,红外图像采集模块用于采集红外视频图像。
例如,若红外传感器是与终端相连的外设红外传感器时,该红外传感器包括了通信模块,红外传感器通过该通信模块与终端通过WIFI或蓝牙等无线通信连接的方式或者有线通信连接的方式进行连接,并且通过上述连接传输数据,例如红外传感器通过上述通信连接向终端发送获取到的红外视频图像。
在本步骤中,终端采集到的红外视频图像之后,对该红外视频图像进行图像处理,获取该红外视频图像中的人体动作数据,获取人体动作数据的过程即为图像识别的过程。
具体的,在本实施例中,上述人体动作数据可以是用户的手部动作信息(即手势操作),也可以是用户的肢体动作信息(即动作操作),在其他实施例中,人体动作数据还可以是其他可以表示与用户对应的人体动作对应的数据或信息。
在一个实施例中,上述人体动作数据获取的过程可以是:根据红外视频图像的每一个图像帧,获取每个图像帧中的手部区域或人像区域以及与该区域对应的外部轮廓,该外部轮廓可以根据红外视频图像的图像中的热成像获取,通过帧间编码获取手部区域或人像区域以及与该区域对应的外部轮廓在每个图像帧之间的变化,从而获取用户手部的运动轨迹或者肢体动作。
在另一个实施例中,上述人体动作数据获取的过程还可以是,获取红外视频图像的每一个图像帧,根据预设的手部结构样本,在每个图像帧中确定手部的待测特征点,并根据红外视频图像中的每个图像帧的手部待测特征点,确定用户双手的动作轨迹/动作名称和/或位置。
需要说明的是,在本实施例中,上述人体动作数据获取的过程的具体实现方式不限于上述给出的具体人体动作数据获取的方式,还可以包括其他可提取红外视频图像中用户手部动作或肢体动作的任意图像识别算法,在这里不一一列举。
步骤S102:获取所述人体动作数据的特征数据。
在本实施例中,将人体动作数据与预设的参数进行匹配时,是通过对人体动作数据的特征参数进行比对的,例如,在人体动作数据为用户手部的运动轨迹时,需要对该运动轨迹的预设数量的特征点的位置以及该运动轨迹的形成时长进行比对,因此,在获取到人体动作数据之后,需要对该人体动作数据进行数据分析和/或特征提取,获取与该人体动作数据对应的特征参数。
例如,特征数据可以是用户手部动作的运动轨迹或者用户手部的指尖动作的运动轨迹对应的特征点的位置信息、运动轨迹的形成时长,也可以是动作幅度大小等信息。特征数据是用来与预设的动作/手势数据库中的动作/手势样本中的相关参数进行比对的。
步骤S103:在预设的动作/手势数据库中查找与特征数据匹配的目标动作/手势。
在本实施例中,读屏应用可识别的动作/手势包括但不限于左划、右划、上下滑动、双击、单击等,用户可根据需要设置多个动作/手势,例如双指缩放。
动作/手势数据库是读屏应用中预设的操作动作/手势,也就是说,当检测到与动作/手势数据库中的操作动作/手势匹配的操作动作/手势时,即可将该操作动作/手势判定为有效动作/手势,否则判定为无效操作动作/手势。
在本实施例中,需预先设定动作/手势数据库中的操作动作/手势与通过摄像头识别的用户的人体动作数据之间的对应关系,也即设定动作/手势数据库中的操作动作/手势与通过步骤S101中识别的人体动作数据的特征数据之间的对应关系。在上述对应关系建立之后,可通过该对应关系在预设的动作/手势数据库中查找与特征数据对应的目标动作/手势,即与摄像头采集到的视频图像中与用户相关的人体动作数据通过可穿戴设备输入的人体动作数据对应的目标动作/手势。
需要说明的是,在本实施例中,在目标动作/手势与特征数据的匹配关系是根据特征数据确定的。例如,在特征数据是特征点信息时,上述匹配关系可以是与目标动作/手势对应的预设轨迹上的特征点与运动轨迹数据上的特征点的匹配度超过预设值,在其他实施例中,在特征数据是运动轨迹的幅度、长度、时长等信息时,上述匹配关系还可以是运动轨迹的幅度、长度、时长等参数满足与目标动作/手势对应的预设值。
步骤S104:确定与目标动作/手势对应的读屏功能操作。
步骤S105:执行读屏功能操作。
具体实现中,在读屏应用中,每一个操作动作/手势均对应了一个具体的操作指令,例如,可以设置“单击”对应的选中触摸点所在的按钮/区域并播放与该按钮/区域对应的语音消息,还可以设置“双击”对应打开当前选中框对应的链接/页面。
在本实施例中,目标动作/手势对应的读屏功能操作包括但不限于打开读屏应用、打开某个页面、改变读屏选中框的位置等。并且,目标动作/手势对应的读屏功能操作可以根据预设的对应关系进行确定,例如,当步骤S101中输入的运动操作数据为晃动两下时,对应的目标动作/手势可以为轻点两下,对应的读屏功能操作为打开当前读屏选中框对应的页面/链接。
可选的,在一个实施例中,在步骤S105之后,针对读屏功能操作的执行结果,用户还可以通过语音播放的形式获知相关的指令执行结果,以便用户在不用查看终端的显示屏幕上的相关内容的情况下,通过声音获知相关的读屏功能操作的执行情况。
具体的,如图2所示,在步骤S105中,执行所述读屏功能操作之后还包括如下步骤:
步骤S106:获取所述读屏功能操作的执行结果;
步骤S107:在所述预设的语音数据库中查找与所述读屏功能操作的执行结果对应的语音提示消息;
步骤S108:播放所述语音提示消息。
读屏功能操作的执行结果包括了执行成功、执行失败,并且执行成功还包括了该读屏功能指令的具体指令结果,例如,选中了当前显示界面的某个空间或者图片等信息,还例如,移动了当前显示界面上的徐中框所在的位置,再例如,打开了一个新的操作页面等。
例如,当读屏功能操作打开了QQ音乐的操作页面时,语音提示消息可以是:QQ音乐已被打开。再例如,当读屏功能操作的执行结果对应的是选中了当前显示界面中的“删除”按钮,则语音提示消息可以是:选中按钮“返回”。
在一个实施例中,可以根据终端的显示界面上的具体内容确定步骤S105中所执行的读屏功能操作的具体内容。
具体的,上述步骤S103:在预设的动作/手势数据库中查找与特征数据匹配的目标动作/手势的步骤之后还包括:获取终端的当前显示界面,获取当前显示界面的读屏功能选中框;并且,步骤S104:确定与目标动作/手势对应的读屏功能操作的步骤具体为:根据当前显示界面的读屏功能选中框确定与目标动作/手势对应的读屏功能操作。
终端的当前显示界面即在终端的显示界面展示的相关内容。读屏功能选中框为显示界面上与读屏应用对应的选中框,一般来讲,在终端的显示界面上的读屏功能选中框的数量为一个,读屏功能选中框可以对应一个按钮,也可以对应一个图标、或者一个控件、或者一段文字、或者一个链接等。
需要说明的是,在本实施例中,若读屏功能选中框对应的是一个可操作的按钮,则针对该读屏功能选中框的操作包括但不限于点击进去、移动选中框、返回上一级目录等;若读屏功能选中框对应的是一段不可操作的文字,则针对该读屏功能选中框的操作可以是移动选中框,却不能是点击进入等操作。因此,针对读屏功能选中框对应的具体内容不同,目标动作/手势对应的操作指令也会随之发生改变。
具体的,根据当前显示界面的读屏功能选中框,确定与目标动作/手势对应的读屏功能操作,并在步骤S105中执行该读屏功能操作。
在另一个实施例中,上述读屏功能操作的具体内容由读屏应用来确定。具体的,上述步骤S104:确定与所述目标动作/手势对应的读屏功能操作具体为:将目标动作/手势发送给读屏应用,所述读屏应用用于根据所述目标动作/手势在所述预设的读屏功能操作数据库中查找与所述目标动作/手势匹配的读屏功能操作。
也就是说,在步骤S103中查找到目标动作/手势之后,将该目标动作/手势发送给读屏应用,读屏应用在接收到该目标动作/手势之后,根据该目标动作/手势在读屏应用的读屏功能操作数据库中,根据操作动作/手势与读屏功能操作之间的对应关系,查找与目标动作/手势对应的读屏功能操作。主要说明的是,在本实施例中,目标动作/手势对应的读屏功能操作是唯一的,且若没有查找到对应的读屏功能操作,则将对应的目标动作/手势判定为无效操作动作/手势。即对于读屏应用来讲,本实施例所公开的内容并不需要改变读屏应用本身的结果,只需要一个对应的目标动作/手势接收的接口即可,通过可穿戴设备输入的相关数据的接收和提取均可由其他应用完成。
在一个实施例中,读屏功能操作为音频应用开启操作;上述步骤S105:执行读屏功能操作的步骤具体为:根据音频应用开启操作启动与音频应用开启操作对应的音频应用。
也就是说,用户可以预先设置音频应用的开启条件,即与音频应用开启操作对应的目标动作/手势以及与目标动作/手势对应的人体动作数据的特征数据应该满足的要求,或者与音频应用开启操作对应的目标动作/手势与运动操作的特征数据之间的对应关系;从而使得用户可以在任意界面均可以直接开启音频应用,这对于视觉障碍的残障人员来讲,可以更便捷地开启使用频率最高的音频应用,提高了操作的便利性。
在本实施例中,如图2所示,可选的步骤还包括:在步骤S101之前还包括步骤S100:接收用户输入的读屏应用开启指令,读屏应用开启指令与读屏应用对应,根据读屏应用开启指令启动读屏应用。
读屏应用开启指令即为与终端中安装的读屏应用对应的应用开启指令,对于视觉障碍的残障人员来讲,使用手机的第一步就需要开启读屏应用,将手机设置了读屏模式以方便使用。用户可预先设置读屏应用开启指令的具体操作或者系统也可以进行相关的设定,例如,连续点击Home键3次,当终端检测到用户输入的读屏应用开启指令时,根据检测到的读屏应用开启指令启动读屏应用,将终端设置为读屏模式。
可选的,在一个实施例中,还可以根据用户每次输入的运动操作对数据库进行矫正,也就是说,根据用户每次输入的运动操作和用户的输入习惯,建立与用户对应的个性化动作/手势数据库,使得用户在下一次输入操作的过程中,与样本数据库的比对更为快速和精准。
具体的,如图3所示,在所述在预设的动作/手势数据库中查找与所述特征数据匹配的目标动作/手势的步骤之后,上述方法还包括如下步骤:
步骤S2011:获取用户输入的针对所述目标动作/手势的反馈信息;
或
步骤S2012:获取所述特征数据与所述目标动作/手势的匹配参考值,根据所述匹配参考值生成针对所述目标动作/手势的反馈信息;
步骤S202:根据所述反馈信息确定所述预设的动作/手势数据库的更新数据;
步骤S203:根据所述更新数据刷新所述预设的动作/手势数据库。
反馈信息包括了目标动作/手势的查找结果不符合用户预期时用户在相应的反馈页面输入的反馈信息,还包括了用户输入的运动操作的具体的操作参数与预设的动作/手势数据库中的样本参数之间的匹配程度确定的用户输入习惯的反馈信息,也就是说,反馈信息可以是用户手动反馈的,也可以终端根据用户的操作习惯确定的。
在反馈信息获取到之后,根据反馈信息的具体内容,对预设的动作/手势数据库中的样本参数、以及样本参数与操作参数之间的对应关系进行修正,然后更新动作/手势数据库,以便下一次用户输入相应操作时使用的动作/手势数据库为更新后的数据库。
此外,为解决传统技术中的智能手机等终端设备的操作方式存在的操作的便利性不足的技术问题,在一个实施例中,还提出了一种基于红外传感器的读屏应用指令输入装置,如图4所示,上述装置包括人体动作数据获取模块101、特征数据获取模块102、目标动作/手势查找模块103以及操作确定执行模块104。
具体的,人体动作数据获取模块101,用于通过红外传感器获取红外视频图像,提取所述红外视频图像的人体动作数据。
在本实施例中,红外传感器可以是终端内置的装置,也可以是与终端相连的外设的红外传感器。具体的,上述红外传感器包括了红外线信号输出模块和红外图像采集模块,且红外线信号输出模块用于向外发射红外线信号,例如,红外线信号输出模块可以由一个或者多个红外二极管构成;另外,红外图像采集模块用于采集红外视频图像。
例如,若红外传感器是与终端相连的外设红外传感器时,该红外传感器包括了通信模块,红外传感器通过该通信模块与终端通过WIFI或蓝牙等无线通信连接的方式或者有线通信连接的方式进行连接,并且通过上述连接传输数据,例如红外传感器通过上述通信连接向终端发送获取到的红外视频图像。
人体动作数据获取模块101采集到的红外视频图像之后,对该红外视频图像进行图像处理,获取该红外视频图像中的人体动作数据,获取人体动作数据的过程即为图像识别的过程。
具体的,在本实施例中,上述人体动作数据可以是用户的手部动作信息(即手势操作),也可以是用户的肢体动作信息(即动作操作),在其他实施例中,人体动作数据还可以是其他可以表示与用户对应的人体动作对应的数据或信息。
在一个实施例中,上述人体动作数据获取的过程可以是:人体动作数据获取模块101根据红外视频图像的每一个图像帧,获取每个图像帧中的手部区域或人像区域以及与该区域对应的外部轮廓,该外部轮廓可以根据红外视频图像的图像中的热成像获取,通过帧间编码获取手部区域或人像区域以及与该区域对应的外部轮廓在每个图像帧之间的变化,从而获取用户手部的运动轨迹或者肢体动作。
在另一个实施例中,上述人体动作数据获取的过程还可以是,人体动作数据获取模块101获取红外视频图像的每一个图像帧,根据预设的手部结构样本,在每个图像帧中确定手部的待测特征点,并根据红外视频图像中的每个图像帧的手部待测特征点,确定用户双手的动作轨迹/动作名称和/或位置。
需要说明的是,在本实施例中,上述人体动作数据获取的过程的具体实现方式不限于上述给出的具体人体动作数据获取的方式,还可以包括其他可提取红外视频图像中用户手部动作或肢体动作的任意图像识别算法,在这里不一一列举。
特征数据获取模块102,用于获取所述人体动作数据的特征数据.
在本实施例中,将人体动作数据与预设的参数进行匹配时,是通过对人体动作数据的特征参数进行比对的,例如,在人体动作数据为用户手部的运动轨迹时,需要对该运动轨迹的预设数量的特征点的位置以及该运动轨迹的形成时长进行比对,因此,在人体动作数据获取模块101获取到人体动作数据之后,特征数据获取模块102需要对该人体动作数据进行数据分析和/或特征提取,获取与该人体动作数据对应的特征参数。
例如,特征数据可以是用户手部动作的运动轨迹或者用户手部的指尖动作的运动轨迹对应的特征点的位置信息、运动轨迹的形成时长,也可以是动作幅度大小等信息。特征数据是用来与预设的动作/手势数据库中的动作/手势样本中的相关参数进行比对的。
目标动作/手势查找模块103,用于在预设的动作/手势数据库中查找与所述特征数据匹配的目标动作/手势。
在本实施例中,读屏应用可识别的动作/手势包括但不限于左划、右划、上下滑动、双击、单击等,用户可根据需要设置多个动作/手势,例如双指缩放。
动作/手势数据库是读屏应用中预设的操作动作/手势,也就是说,当检测到与动作/手势数据库中的操作动作/手势匹配的操作动作/手势时,即可将该操作动作/手势判定为有效动作/手势,否则判定为无效操作动作/手势。
在本实施例中,需预先设定动作/手势数据库中的操作动作/手势与通过摄像头识别的用户的人体动作数据之间的对应关系,也即设定动作/手势数据库中的操作动作/手势与人体动作数据获取模块101识别的人体动作数据的特征数据之间的对应关系。在上述对应关系建立之后,可通过该对应关系在预设的动作/手势数据库中查找与特征数据对应的目标动作/手势,即与摄像头采集到的视频图像中与用户相关的人体动作数据通过可穿戴设备输入的人体动作数据对应的目标动作/手势。
需要说明的是,在本实施例中,在目标动作/手势与特征数据的匹配关系是根据特征数据确定的。例如,在特征数据是特征点信息时,上述匹配关系可以是与目标动作/手势对应的预设轨迹上的特征点与运动轨迹数据上的特征点的匹配度超过预设值,在其他实施例中,在特征数据是运动轨迹的幅度、长度、时长等信息时,上述匹配关系还可以是运动轨迹的幅度、长度、时长等参数满足与目标动作/手势对应的预设值。
操作确定执行模块104,用于确定与所述目标动作/手势对应的读屏功能操作,执行所述读屏功能操作。
具体实现中,在读屏应用中,每一个操作动作/手势均对应了一个具体的操作指令,例如,可以设置“单击”对应的选中触摸点所在的按钮/区域并播放与该按钮/区域对应的语音消息,还可以设置“双击”对应打开当前选中框对应的链接/页面。
在本实施例中,目标动作/手势对应的读屏功能操作包括但不限于打开读屏应用、打开某个页面、改变读屏选中框的位置等。并且,目标动作/手势对应的读屏功能操作可以根据预设的对应关系进行确定,例如,当人体动作数据获取模块101获取的运动操作数据为晃动两下时,对应的目标动作/手势可以为轻点两下,对应的读屏功能操作为打开当前读屏选中框对应的页面/链接。
可选的,在一个实施例中,针对读屏功能操作的执行结果,用户还可以通过语音播放的形式获知相关的指令执行结果,以便用户在不用查看终端的显示屏幕上的相关内容的情况下,通过声音获知相关的读屏功能操作的执行情况。
具体的,如图4所示,所述装置还包括语音提示消息播放模块105,用于:获取所述读屏功能操作的执行结果;在所述预设的语音数据库中查找与所述读屏功能操作的执行结果对应的语音提示消息;播放所述语音提示消息。
读屏功能操作的执行结果包括了执行成功、执行失败,并且执行成功还包括了该读屏功能指令的具体指令结果,例如,选中了当前显示界面的某个空间或者图片等信息,还例如,移动了当前显示界面上的徐中框所在的位置,再例如,打开了一个新的操作页面等。
例如,当读屏功能操作打开了QQ音乐的操作页面时,语音提示消息播放模块105播放的语音提示消息可以是:QQ音乐已被打开。再例如,当读屏功能操作的执行结果对应的是选中了当前显示界面中的“删除”按钮,则语音提示消息播放模块105播放的语音提示消息可以是:选中按钮“返回”。
在一个实施例中,可以根据终端的显示界面上的具体内容确定操作确定执行模块104所执行的读屏功能操作的具体内容。
具体的,如图4所示,所述装置还包括显示界面获取模块106,用于获取终端的当前显示界面,获取所述当前显示界面的读屏功能选中框;所述操作确定执行模块104还用于根据所述当前显示界面的读屏功能选中框确定与所述目标动作/手势对应的读屏功能操作。
终端的当前显示界面即在终端的显示界面展示的相关内容。读屏功能选中框为显示界面上与读屏应用对应的选中框,一般来讲,在终端的显示界面上的读屏功能选中框的数量为一个,读屏功能选中框可以对应一个按钮,也可以对应一个图标、或者一个控件、或者一段文字、或者一个链接等。
需要说明的是,在本实施例中,若读屏功能选中框对应的是一个可操作的按钮,则针对该读屏功能选中框的操作包括但不限于点击进去、移动选中框、返回上一级目录等;若读屏功能选中框对应的是一段不可操作的文字,则针对该读屏功能选中框的操作可以是移动选中框,却不能是点击进入等操作。因此,针对读屏功能选中框对应的具体内容不同,目标动作/手势对应的操作指令也会随之发生改变。
具体的,操作确定执行模块104根据当前显示界面的读屏功能选中框,确定与目标动作/手势对应的读屏功能操作,执行该读屏功能操作。
在另一个实施例中,上述读屏功能操作的具体内容由读屏应用来确定。
具体的,所述操作确定执行模块104还用于:将所述目标动作/动作/手势发送给读屏应用,所述读屏应用用于根据所述目标动作/动作/手势在所述预设的读屏功能操作数据库中查找与所述目标动作/动作/手势匹配的读屏功能操作。
也就是说,在目标动作/手势查找模块103查找到目标动作/手势之后,操作确定执行模块104将该目标动作/手势发送给读屏应用,读屏应用在接收到该目标动作/手势之后,根据该目标动作/手势在读屏应用的读屏功能操作数据库中,根据操作动作/手势与读屏功能操作之间的对应关系,查找与目标动作/手势对应的读屏功能操作。需要说明的是,在本实施例中,目标动作/手势对应的读屏功能操作是唯一的,且若没有查找到对应的读屏功能操作,则将对应的目标动作/手势判定为无效操作动作/手势。即对于读屏应用来讲,本实施例所公开的内容并不需要改变读屏应用本身的结果,只需要一个对应的目标动作/手势接收的接口即可,通过可穿戴设备输入的相关数据的接收和提取均可由其他应用完成。
在一个实施例中,读屏功能操作为音频应用开启操作;所述操作确定执行模块104还用于:根据所述音频应用开启操作启动与所述音频应用开启操作对应的音频应用。
也就是说,用户可以预先设置音频应用的开启条件,即与音频应用开启操作对应的目标动作/手势以及与目标动作/手势对应的人体动作数据的特征数据应该满足的要求,或者与音频应用开启操作对应的目标动作/手势与运动操作的特征数据之间的对应关系;从而使得用户可以在任意界面均可以直接开启音频应用,这对于视觉障碍的残障人员来讲,可以更便捷地开启使用频率最高的音频应用,提高了操作的便利性。
在本实施例中,可选的,如图4所示,所述装置还包括读屏应用开启模块107,用于接收用户输入的读屏应用开启指令,所述读屏应用开启指令与所述读屏应用对应,根据所述读屏应用开启指令启动所述读屏应用。
读屏应用开启指令即为与终端中安装的读屏应用对应的应用开启指令,对于视觉障碍的残障人员来讲,使用手机的第一步就需要开启读屏应用,将手机设置了读屏模式以方便使用。用户可预先设置读屏应用开启指令的具体操作或者系统也可以进行相关的设定,例如,连续点击Home键3次,当读屏应用开启模块107检测到用户输入的读屏应用开启指令时,根据检测到的读屏应用开启指令启动读屏应用,将终端设置为读屏模式。
可选的,在一个实施例中,还可以根据用户每次输入的运动操作对数据库进行矫正,也就是说,根据用户每次输入的运动操作和用户的输入习惯,建立与用户对应的个性化动作/手势数据库,使得用户在下一次输入操作的过程中,与样本数据库的比对更为快速和精准。
具体的,如图4所示,所述装置还包括反馈信息获取模块108和数据库更新模块109,其中:所述反馈信息获取模块108用于:获取用户输入的针对所述目标动作/动作/手势的反馈信息;或获取所述特征数据与所述目标动作/动作/手势的匹配参考值,根据所述匹配参考值生成针对所述目标动作/动作/手势的反馈信息;所述数据库更新模块109用于:根据所述反馈信息确定所述预设的动作/动作/手势数据库的更新数据;根据所述更新数据刷新所述预设的动作/动作/手势数据库。
反馈信息包括了目标动作/手势的查找结果不符合用户预期时用户在相应的反馈页面输入的反馈信息,还包括了用户输入的运动操作的具体的操作参数与预设的动作/手势数据库中的样本参数之间的匹配程度确定的用户输入习惯的反馈信息,也就是说,反馈信息获取模块108获取的反馈信息可以是用户手动反馈的,也可以终端根据用户的操作习惯确定的。
在反馈信息获取模块108获取的反馈信息获取到之后,数据库更新模块109根据反馈信息的具体内容,对预设的动作/手势数据库中的样本参数、以及样本参数与操作参数之间的对应关系进行修正,然后更新动作/手势数据库,以便下一次用户输入相应操作时使用的动作/手势数据库为更新后的数据库。
实施本发明实施例,将具有如下有益效果:
采用了上述基于红外传感器的读屏应用指令输入方法及装置之后,用户可以通过手部动作或者身体动作等运动操作数据,在红外传感器的覆盖范围下,用户的手部动作或者身体动作均可以被识别并被转化为对应的动作/手势操作,从而确定用户需要输入的与读屏应用对应的操作指令完成读屏应用的指令的输入,实现了用户通过运动操作数据向终端的读屏应用输入指令,相较于传统技术中用户必须通过终端的实体按键或触控屏输入指令的方案来讲,可提高指令输入的操作便利性;进一步地,上述方案还实现了在用户不手持终端的情况下也可操作终端,对读屏应用发送指令进行相关操作,进一步的提高了用户使用读屏应用的操作便利性;尤其是针对存在一定功能障碍的人群(例如视觉障碍的残障人员、老年人等特殊群体)来讲,其操作便利性的提高尤为明显。
在一个实施例中,如图5所示,图5展示了一种运行上述基于红外传感器的读屏应用指令输入方法的基于冯诺依曼体系的计算机系统的终端。该计算机系统可以是与可穿戴设备连接的智能手机、平板电脑、掌上电脑,笔记本电脑或个人电脑等终端设备。具体的,可包括通过系统总线连接的外部输入接口1001、处理器1002、存储器1003和输出接口1004。其中,外部输入接口1001可选的可至少包括网络接口10012。存储器1003可包括外存储器10032(例如硬盘、光盘或软盘等)和内存储器10034。输出接口1004可至少包括显示屏10042等设备。
在本实施例中,本方法的运行基于计算机程序,该计算机程序的程序文件存储于前述基于冯诺依曼体系的计算机系统的外存储器10032中,在运行时被加载到内存储器10034中,然后被编译为机器码之后传递至处理器1002中执行,从而使得基于冯诺依曼体系的计算机系统中形成逻辑上的人体动作数据获取模块101、特征数据获取模块102、目标动作/手势查找模块103、操作确定执行模块104、语音提示消息播放模块105、显示界面获取模块106、读屏应用开启模块107、反馈信息获取模块108以及数据库更新模块109。且在上述基于红外传感器的读屏应用指令输入方法执行过程中,输入的参数均通过外部输入接口1001接收,并传递至存储器1003中缓存,然后输入到处理器1002中进行处理,处理的结果数据或缓存于存储器1003中进行后续地处理,或被传递至输出接口1004进行输出。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (14)
1.一种基于红外传感器的读屏应用指令输入方法,其特征在于,包括:
通过红外传感器获取红外视频图像,提取所述红外视频图像的人体动作数据;
获取所述人体动作数据的特征数据;
在预设的动作/手势数据库中查找与所述特征数据匹配的目标动作/手势;
确定与所述目标动作/手势对应的读屏功能操作,执行所述读屏功能操作。
2.根据权利要求1所述的方法,其特征在于,所述执行所述读屏功能操作的步骤之后还包括:
获取所述读屏功能操作的执行结果;
在所述预设的语音数据库中查找与所述读屏功能操作的执行结果对应的语音提示消息;
播放所述语音提示消息。
3.根据权利要求1所述的方法,其特征在于,所述在预设的动作/手势数据库中查找与所述特征数据匹配的目标动作/手势的步骤之后还包括:
获取终端的当前显示界面,获取所述当前显示界面的读屏功能选中框;
所述确定与所述目标动作/手势对应的读屏功能操作的步骤具体为:
根据所述当前显示界面的读屏功能选中框确定与所述目标动作/手势对应的读屏功能操作。
4.根据权利要求1所述的方法,其特征在于,所述读屏功能操作为音频应用开启操作;
所述执行所述读屏功能操作的步骤具体为:
根据所述音频应用开启操作启动与所述音频应用开启操作对应的音频应用。
5.根据权利要求1所述的方法,其特征在于,所述确定与所述目标动作/手势对应的读屏功能操作的步骤具体为:
将所述目标动作/手势发送给读屏应用,所述读屏应用用于根据所述目标动作/手势在所述预设的读屏功能操作数据库中查找与所述目标动作/手势匹配的读屏功能操作。
6.根据权利要求5所述的方法,其特征在于,所述通过红外传感器获取红外视频图像的步骤之前还包括:
接收用户输入的读屏应用开启指令,所述读屏应用开启指令与所述读屏应用对应,根据所述读屏应用开启指令启动所述读屏应用。
7.根据权利要求1至6任一所述的方法,其特征在于,所述在预设的动作/动作/手势数据库中查找与所述特征数据匹配的目标动作/动作/手势的步骤之后还包括:
获取用户输入的针对所述目标动作/动作/手势的反馈信息;
或
获取所述特征数据与所述目标动作/动作/手势的匹配参考值,根据所述匹配参考值生成针对所述目标动作/动作/手势的反馈信息;
所述方法还包括:
根据所述反馈信息确定所述预设的动作/动作/手势数据库的更新数据;
根据所述更新数据刷新所述预设的动作/动作/手势数据库。
8.一种基于红外传感器的读屏应用指令输入装置,其特征在于,包括:
人体动作数据获取模块,用于通过红外传感器获取红外视频图像,提取所述红外视频图像的人体动作数据;
特征数据获取模块,用于获取所述人体动作数据的特征数据;
目标动作/手势查找模块,用于在预设的动作/手势数据库中查找与所述特征数据匹配的目标动作/手势;
操作确定执行模块,用于确定与所述目标动作/手势对应的读屏功能操作,执行所述读屏功能操作。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括语音提示消息播放模块,用于:
获取所述读屏功能操作的执行结果;
在所述预设的语音数据库中查找与所述读屏功能操作的执行结果对应的语音提示消息;
播放所述语音提示消息。
10.根据权利要求8所述的装置,其特征在于,所述装置还包括显示界面获取模块,用于获取终端的当前显示界面,获取所述当前显示界面的读屏功能选中框;
所述操作确定执行模块还用于根据所述当前显示界面的读屏功能选中框确定与所述目标动作/手势对应的读屏功能操作。
11.根据权利要求8所述的装置,其特征在于,所述读屏功能操作为音频应用开启操作;
所述操作确定执行模块还用于:根据所述音频应用开启操作启动与所述音频应用开启操作对应的音频应用。
12.根据权利要求8所述的装置,其特征在于,所述操作确定执行模块还用于:将所述目标动作/动作/手势发送给读屏应用,所述读屏应用用于根据所述目标动作/动作/手势在所述预设的读屏功能操作数据库中查找与所述目标动作/动作/手势匹配的读屏功能操作。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括读屏应用开启模块,用于接收用户输入的读屏应用开启指令,所述读屏应用开启指令与所述读屏应用对应,根据所述读屏应用开启指令启动所述读屏应用。
14.根据权利要求8至13任一所述的装置,其特征在于,所述装置还包括反馈信息获取模块和数据库更新模块,其中:
所述反馈信息获取模块用于:
获取用户输入的针对所述目标动作/动作/手势的反馈信息;
或
获取所述特征数据与所述目标动作/动作/手势的匹配参考值,根据所述匹配参考值生成针对所述目标动作/动作/手势的反馈信息;
所述数据库更新模块用于:
根据所述反馈信息确定所述预设的动作/动作/手势数据库的更新数据;
根据所述更新数据刷新所述预设的动作/动作/手势数据库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610313247.8A CN105824429A (zh) | 2016-05-12 | 2016-05-12 | 基于红外传感器的读屏应用指令输入方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610313247.8A CN105824429A (zh) | 2016-05-12 | 2016-05-12 | 基于红外传感器的读屏应用指令输入方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105824429A true CN105824429A (zh) | 2016-08-03 |
Family
ID=56528737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610313247.8A Pending CN105824429A (zh) | 2016-05-12 | 2016-05-12 | 基于红外传感器的读屏应用指令输入方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105824429A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106371595A (zh) * | 2016-08-31 | 2017-02-01 | 维沃移动通信有限公司 | 一种调出消息通知栏的方法及移动终端 |
CN106775415A (zh) * | 2016-12-28 | 2017-05-31 | 珠海市魅族科技有限公司 | 应用程序启动方法及系统 |
CN108776580A (zh) * | 2018-06-04 | 2018-11-09 | 珠海格力电器股份有限公司 | 窗口的提示方法和装置 |
CN110209268A (zh) * | 2019-04-24 | 2019-09-06 | 努比亚技术有限公司 | 穿戴式设备控制方法、穿戴式设备及计算机可读存储介质 |
CN114527920A (zh) * | 2020-10-30 | 2022-05-24 | 华为终端有限公司 | 一种人机交互方法及电子设备 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1531676A (zh) * | 2001-06-01 | 2004-09-22 | ���ṫ˾ | 用户输入装置 |
CN101630193A (zh) * | 2008-07-15 | 2010-01-20 | 张雪峰 | 手感设备 |
CN101741952A (zh) * | 2009-12-10 | 2010-06-16 | 中国科学技术大学 | 盲人用移动电话交互系统及其装置 |
CN202521793U (zh) * | 2012-04-27 | 2012-11-07 | 珠海格力电器股份有限公司 | 空调器的遥控装置 |
CN102810023A (zh) * | 2011-06-03 | 2012-12-05 | 联想(北京)有限公司 | 识别手势动作的方法及终端设备 |
CN103150112A (zh) * | 2013-02-28 | 2013-06-12 | 北京小米科技有限责任公司 | 音频播放的控制方法、装置及终端 |
CN103430215A (zh) * | 2011-03-21 | 2013-12-04 | Lg电子株式会社 | 显示装置及其控制方法 |
CN103500067A (zh) * | 2013-09-30 | 2014-01-08 | 北京航空航天大学 | 一种点击、滑动、手势识别与语音结合的触摸屏交互系统 |
CN103593056A (zh) * | 2013-11-26 | 2014-02-19 | 青岛海信电器股份有限公司 | 手势数据识别和处理方法、电视机和手势输入设备 |
CN103809735A (zh) * | 2012-11-12 | 2014-05-21 | 腾讯科技(深圳)有限公司 | 一种手势识别的方法及装置 |
US20150207912A1 (en) * | 2014-01-22 | 2015-07-23 | Sony Corporation | Directing audio output based on device sensor input |
-
2016
- 2016-05-12 CN CN201610313247.8A patent/CN105824429A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1531676A (zh) * | 2001-06-01 | 2004-09-22 | ���ṫ˾ | 用户输入装置 |
CN101630193A (zh) * | 2008-07-15 | 2010-01-20 | 张雪峰 | 手感设备 |
CN101741952A (zh) * | 2009-12-10 | 2010-06-16 | 中国科学技术大学 | 盲人用移动电话交互系统及其装置 |
CN103430215A (zh) * | 2011-03-21 | 2013-12-04 | Lg电子株式会社 | 显示装置及其控制方法 |
CN102810023A (zh) * | 2011-06-03 | 2012-12-05 | 联想(北京)有限公司 | 识别手势动作的方法及终端设备 |
CN202521793U (zh) * | 2012-04-27 | 2012-11-07 | 珠海格力电器股份有限公司 | 空调器的遥控装置 |
CN103809735A (zh) * | 2012-11-12 | 2014-05-21 | 腾讯科技(深圳)有限公司 | 一种手势识别的方法及装置 |
CN103150112A (zh) * | 2013-02-28 | 2013-06-12 | 北京小米科技有限责任公司 | 音频播放的控制方法、装置及终端 |
CN103500067A (zh) * | 2013-09-30 | 2014-01-08 | 北京航空航天大学 | 一种点击、滑动、手势识别与语音结合的触摸屏交互系统 |
CN103593056A (zh) * | 2013-11-26 | 2014-02-19 | 青岛海信电器股份有限公司 | 手势数据识别和处理方法、电视机和手势输入设备 |
US20150207912A1 (en) * | 2014-01-22 | 2015-07-23 | Sony Corporation | Directing audio output based on device sensor input |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106371595A (zh) * | 2016-08-31 | 2017-02-01 | 维沃移动通信有限公司 | 一种调出消息通知栏的方法及移动终端 |
CN106371595B (zh) * | 2016-08-31 | 2020-10-30 | 维沃移动通信有限公司 | 一种调出消息通知栏的方法及移动终端 |
CN106775415A (zh) * | 2016-12-28 | 2017-05-31 | 珠海市魅族科技有限公司 | 应用程序启动方法及系统 |
CN108776580A (zh) * | 2018-06-04 | 2018-11-09 | 珠海格力电器股份有限公司 | 窗口的提示方法和装置 |
CN110209268A (zh) * | 2019-04-24 | 2019-09-06 | 努比亚技术有限公司 | 穿戴式设备控制方法、穿戴式设备及计算机可读存储介质 |
CN114527920A (zh) * | 2020-10-30 | 2022-05-24 | 华为终端有限公司 | 一种人机交互方法及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105824429A (zh) | 基于红外传感器的读屏应用指令输入方法及装置 | |
US10957315B2 (en) | Mobile terminal and method for controlling mobile terminal using machine learning | |
CN105788597A (zh) | 基于声音识别的读屏应用指令输入方法及装置 | |
CN105786804B (zh) | 一种翻译方法及移动终端 | |
CN106708282B (zh) | 一种推荐方法和装置、一种用于推荐的装置 | |
KR20210034572A (ko) | 메시지 서비스를 제공하는 전자기기 및 그 전자기기가 컨텐트 제공하는 방법 | |
US20090153366A1 (en) | User interface apparatus and method using head gesture | |
CN106201177B (zh) | 一种操作执行方法及移动终端 | |
CN109997348A (zh) | 一种终端界面的显示方法及终端 | |
CN105867641A (zh) | 基于脑波的读屏应用指令输入方法及装置 | |
CN108307069B (zh) | 导航运行方法、导航运行装置及移动终端 | |
CN110462647A (zh) | 电子设备及执行电子设备的功能的方法 | |
CN108958503A (zh) | 输入方法和装置 | |
CN106941780A (zh) | 一种用户终端的人机交互方法、装置及用户终端 | |
CN105843401A (zh) | 基于摄像头的读屏应用指令输入方法及装置 | |
RU2689430C1 (ru) | Система и способ управления сенсорным экраном с помощью двух костяшек пальцев | |
CN109799916A (zh) | 一种候选项联想方法和装置 | |
CN107688399A (zh) | 一种输入方法和装置、一种用于输入的装置 | |
CN113704631B (zh) | 交互指令提示方法、智能设备及可读存储介质 | |
CN102663055A (zh) | 浏览器导航的实现方法、装置及浏览器 | |
CN105843402A (zh) | 基于可穿戴设备的读屏应用指令输入方法及装置 | |
CN107526740A (zh) | 一种展现搜索结果的方法及电子设备 | |
KR20160016526A (ko) | 정보 제공하는 방법 및 이를 위한 전자기기 | |
CN111158487A (zh) | 使用无线耳机与智能终端进行交互的人机交互方法 | |
CN105843404A (zh) | 基于读屏应用指令输入方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160803 |