CN105022579A - 基于图像处理的虚拟键盘的实现方法和装置 - Google Patents

基于图像处理的虚拟键盘的实现方法和装置 Download PDF

Info

Publication number
CN105022579A
CN105022579A CN201410181940.5A CN201410181940A CN105022579A CN 105022579 A CN105022579 A CN 105022579A CN 201410181940 A CN201410181940 A CN 201410181940A CN 105022579 A CN105022579 A CN 105022579A
Authority
CN
China
Prior art keywords
button
target button
user
dummy keyboard
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410181940.5A
Other languages
English (en)
Inventor
魏志强
殷波
丛艳平
宫飞翔
孙民贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN201410181940.5A priority Critical patent/CN105022579A/zh
Publication of CN105022579A publication Critical patent/CN105022579A/zh
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供了一种基于图像处理的虚拟键盘的实现方法和装置。该方法主要包括:通过摄像头将虚拟键盘投射到指定的平面中,通过所述摄像头采集用户敲击所述虚拟键盘的图像,根据所述图像和所述虚拟键盘的位置信息确定用户按下的目标按键,通过分析所述摄像头采集的后续的用户敲击所述虚拟键盘的图像,获取所述用户对所述目标按键的释放操作或者长按操作。本发明实施例通过摄像头将虚拟键盘投射到指定的平面中,并采集用户敲击所述虚拟键盘的图像,通过人体动作识别技术、图像分析技术判断用户对虚拟键盘中的按键的按下、长按和释放操作。从而实现了智能终端的便捷输入,以便于满足用户的需求。

Description

基于图像处理的虚拟键盘的实现方法和装置
技术领域
本发明涉及人机交互领域,尤其涉及一种基于图像处理的虚拟键盘的实现方法和装置。
背景技术
近些年来,随着现代科技的发展,智能手机、平板电脑等手持设备越来越多,其功能集成度高、体积小、携带方便的优点,受到越来越多的人们的青睐。由于这些手持设备体积小,人机交互若用传统的体积很大的键盘会很不方便,为方便用户与计算机沟通,用户输入方式的设计就变得格外重要。近些年,市场上出现了各种各样的用于此类手持智能机的键盘,比如触摸屏式软键盘,折叠键盘等。
触摸式软键盘:主要用在智能手机、平板电脑上,没有硬件实体,在屏幕上虚化一个类似实体键盘的界面,当用户想输入某个字符时,在相应的屏幕位置单击即可。此类键盘是纯软件实现,告别实体键,也不存在维修问题。
折叠式键盘:展开后和普通桌面式键盘有着类似的大小,主要用于平板电脑及手机等移动设备的信息输入,和桌面式键盘一样也是基于电子线路实现的。其主要特点体现在折叠性,方便携带。其材质有塑胶式弯曲折叠的,也有硬塑料壳式折叠的,方便携带,用户使用起来也较习惯,有触感。
上述现有的触摸式软键盘和折叠式键盘的缺点为:触摸屏式软键盘每个按键大小受屏幕尺寸制约,输入的正确率和速度均不高,另外占据一定的屏幕面积,字符显示效果也不太理想。
折叠键盘由于经常折叠易于损坏并且维修难度大。其次虽然通过折叠设计键盘体积缩小,但仍然不能满足用户对便携式的基本要求。
发明内容
本发明的实施例提供了一种基于图像处理的虚拟键盘的实现方法和装置,以实现智能终端的便捷输入。
本发明提供了如下方案:
一种基于图像处理的虚拟键盘的实现方法,包括:
通过摄像头将虚拟键盘投射到指定的平面中;
通过所述摄像头采集用户敲击所述虚拟键盘的图像,根据所述图像和所述虚拟键盘的位置信息确定用户按下的目标按键;
通过分析所述摄像头采集的后续的用户敲击所述虚拟键盘的图像,获取所述用户对所述目标按键的释放操作或者长按操作。
所述的通过摄像头将虚拟键盘投射到指定的平面中,包括:
通过智能终端自带的摄像头将虚拟键盘投射到指定的平面中的虚拟键盘区域上,所述虚拟键盘中的各个按键组成矩形方阵,所述智能终端存储所述矩形方阵中的每一行的中心点、左边界中点、右边界中点、高度信息。
所述的通过所述摄像头采集用户敲击所述虚拟键盘的图像,根据所述图像和所述虚拟键盘的位置信息确定用户按下的目标按键,包括:
所述智能终端根据存储的所述矩形方阵中的每一行的中心点、左边界中点、右边界中点和高度信息,以及预先设定的所述矩形方阵中的每一行中的按键设置信息,获取所述矩形方阵中的每一行中的各个按键对应的位置信息;
通过所述摄像头采集用户敲击所述虚拟键盘的一幅或者多幅图像,所述智能终端按照每幅图像的采集时间的先后顺序,依次对每幅图像进行图像分割处理,获取每幅图像中用户敲击的所述虚拟键盘中的一个或者多个具体位置信息;
所述智能终端按照每幅图像的采集时间的先后顺序,依次将每幅图像中所述用户敲击的所述虚拟键盘中的每个具体位置信息和所述各个按键对应的位置信息进行比较,当所述用户敲击的所述虚拟键盘中的某个具体位置信息和某个按键对应的位置信息一致时,则判断所述某个按键为所述用户按下的目标按键,发出所述目标按键被按下的指示信息。
所述的通过分析所述摄像头采集的后续的用户敲击所述虚拟键盘的图像,获取所述用户对所述目标按键的释放操作或者长按操作,包括:
所述智能终端在按键状态数据表中存储各个按键对应的按键值,所述按键值表示了按键被按下的次数,所述智能终端还配置和存储各个按键是否具有长按功能;
所述智能终端判断出一幅图像中所述用户按下的一个或者多个目标按键后,当所述按键状态数据表中存储了所述目标按键时,将所述按键状态数据表中存储的所述目标按键对应的按键值加1;当所述按键状态数据表中没有存储所述目标按键时,将所述按键状态数据表中所述目标按键对应的按键值置为1;
当更新后的所述按键状态数据表中的某个目标按键对应的按键值大于或者等于设定的长按判断阈值,并且所述某个目标按键具有长按功能,则所述智能终端判断确定所述用户对所述某个目标按键进行了长按操作,将所述按键状态数据表中存储的所述某个目标按键对应的记录清空,发出所述某个目标按键被长按的指示信息。
所述的通过分析所述摄像头采集的后续的用户敲击所述虚拟键盘的图像,获取所述用户对所述目标按键的释放操作或者长按操作,包括:
所述智能终端判断出一幅图像中所述用户按下的一个或者多个目标按键后,根据所述一个或者多个目标按键查询所述按键状态数据表,确定所述用户对所述按键状态数据表中存储的所述一个或者多个目标按键之外的其它按键进行了释放操作,将所述按键状态数据表中存储的所述其它按键对应的记录清空,发出所述其它按键被释放的指示信息;
当更新后的所述某个目标按键对应的按键值大于或者等于长按判断阈值,并且所述某个目标按键不具有长按功能,则所述智能终端判断所述用户对所述某个目标按键进行了释放操作,将所述按键状态数据表中存储的所述某个目标按键对应的记录清空,发出所述某个目标按键被释放的指示信息。
一种基于图像处理的虚拟键盘的实现装置,包括:
虚拟键盘构造模块,用于通过摄像头将虚拟键盘投射到指定的平面中;
目标按键确定模块,用于通过所述摄像头采集用户敲击所述虚拟键盘的图像,根据所述图像和所述虚拟键盘的位置信息确定用户按下的目标按键;
目标按键释放或者长按操作确定模块,用于通过分析所述摄像头采集的后续的用户敲击所述虚拟键盘的图像,获取所述用户对所述目标按键的释放操作或者长按操作。
所述的虚拟键盘构造模块,具体用于通过智能终端自带的摄像头将虚拟键盘投射到指定的平面中的虚拟键盘区域上,所述虚拟键盘中的各个按键组成矩形方阵,所述智能终端存储所述矩形方阵中的每一行的中心点、左边界中点、右边界中点、高度信息。
所述的目标按键确定模块,具体用于通过所述智能终端根据存储的所述矩形方阵中的每一行的中心点、左边界中点、右边界中点和高度信息,以及预先设定的所述矩形方阵中的每一行中的按键设置信息,获取所述矩形方阵中的每一行中的各个按键对应的位置信息;
通过所述摄像头采集用户敲击所述虚拟键盘的一幅或者多幅图像,所述智能终端按照每幅图像的采集时间的先后顺序,依次对每幅图像进行图像分割处理,获取每幅图像中用户敲击的所述虚拟键盘中的一个或者多个具体位置信息;
利用所述智能终端按照每幅图像的采集时间的先后顺序,依次将每幅图像中所述用户敲击的所述虚拟键盘中的每个具体位置信息和所述各个按键对应的位置信息进行比较,当所述用户敲击的所述虚拟键盘中的某个具体位置信息和某个按键对应的位置信息一致时,则判断所述某个按键为所述用户按下的目标按键,发出所述目标按键被按下的指示信息。
所述的目标按键释放或者长按操作确定模块,具体用于通过所述智能终端在按键状态数据表中存储各个按键对应的按键值,所述按键值表示了按键被按下的次数,通过所述智能终端配置和存储各个按键是否具有长按功能;
通过所述智能终端判断出一幅图像中所述用户按下的一个或者多个目标按键后,当所述按键状态数据表中存储了所述目标按键时,将所述按键状态数据表中存储的所述目标按键对应的按键值加1;当所述按键状态数据表中没有存储所述目标按键时,将所述按键状态数据表中所述目标按键对应的按键值置为1;
当更新后的所述按键状态数据表中的某个目标按键对应的按键值大于或者等于设定的长按判断阈值,并且所述某个目标按键具有长按功能,则所述智能终端判断确定所述用户对所述某个目标按键进行了长按操作,将所述按键状态数据表中存储的所述某个目标按键对应的记录清空,发出所述某个目标按键被长按的指示信息。
所述的目标按键释放或者长按操作确定模块,具体用于通过所述智能终端判断出一幅图像中所述用户按下的一个或者多个目标按键后,根据所述一个或者多个目标按键查询所述按键状态数据表,确定所述用户对所述按键状态数据表中存储的所述一个或者多个目标按键之外的其它按键进行了释放操作,将所述按键状态数据表中存储的所述其它按键对应的记录清空,发出所述其它按键被释放的指示信息;
当更新后的所述某个目标按键对应的按键值大于或者等于长按判断阈值,并且所述某个目标按键不具有长按功能,则所述智能终端判断所述用户对所述某个目标按键进行了释放操作,将所述按键状态数据表中存储的所述某个目标按键对应的记录清空,发出所述某个目标按键被释放的指示信息。
由上述本发明的实施例提供的技术方案可以看出,本发明实施例通过摄像头将虚拟键盘投射到指定的平面中,并采集用户敲击所述虚拟键盘的图像,通过人体动作识别技术、图像分析技术判断用户对虚拟键盘中的按键的按下、长按和释放操作。从而实现了智能终端的便捷输入,以便于满足用户的需求。本发明实施例中的虚拟键盘无需外设装置,方便携带并且实现成本低。每个按键大小不受屏幕尺寸制约,不占据一定的屏幕面积,字符显示效果太理想,使用方便容错率高。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种基于图像处理的虚拟键盘的实现方法的处理流程图;
图2为本发明实施例二提供的一种基于图像处理的虚拟键盘的实现装置的具体实现结构图,图中,虚拟键盘构造模块21,目标按键确定模块22,目标按键释放或者长按操作确定模块23。
具体实施方式
为便于对本发明实施例的理解,下面将结合附图以几个具体实施例为例做进一步的解释说明,且各个实施例并不构成对本发明实施例的限定。
实施例一
本发明实施例采用基于人体动作识别技术、图像处理技术的虚拟键盘,不需要键盘实体,通过摄像头采集键盘区域手指动作,经过动作处理识别出按下的按键和用户敲击的动作,用软件产生敲击命令,实现人机交互的功能。
该实施例提供了一种基于图像处理的虚拟键盘的实现方法的处理流程如图1所示,包括如下的处理步骤:
步骤S110、通过摄像头将虚拟键盘投射到指定的平面中。
通过智能终端自带的摄像头将虚拟键盘投射到指定的平面中的虚拟键盘区域上,上述指定的平面可以为桌面或者墙面或者各种设备表面等。
所述虚拟键盘中的各个按键组成矩形方阵,所述智能终端存储所述矩形方阵中的每一行的中心点、左边界中点、右边界中点、高度和横向像素长度参数信息。
通过智能手持设备的摄像头将虚拟键盘投射到平面上需要确定键盘在摄像头投射的图像中的位置及每个按键所在行与列的坐标数据,也就是为后续判断按键在键盘哪一行、哪一列奠定数据基础。虚拟键盘中的各个按键组成矩形方阵,矩形方阵包括行与列两部分,本发明实施例采用键盘每一行的中心点、左边界中点、右边界中点、高度、横向像素长度这5个参数来表示行信息,通过计算这5个参数即可在摄像头投射的图像中确定键盘每一行的位置,在每一行中,各个按键可以等间隔地均匀分布。对于键盘的列信息,本发明实施例采用每个按键距离其所在行的左边界的横向像素距离来表示,通过计算该距离即可确定按键所在的列信息。
所述智能终端存储所述矩形方阵中的每一行的中心点、左边界中点、右边界中点、高度和横向像素长度参数信息。示例性的,键盘总共有6行,每一行都是长度相同的矩形。
步骤S120、通过所述摄像头采集用户敲击所述虚拟键盘的图像,根据所述图像和所述虚拟键盘的位置信息确定用户按下的目标按键。
智能终端根据存储的矩形方阵中的每一行的中心点、左边界中点、右边界中点和高度信息,以及预先设定的矩形方阵中的每一行中的按键设置信息,获取并存储矩形方阵中的每一行中的各个按键对应的位置信息,该位置信息可以包括行信息和列信息。
智能终端的摄像头按照设定的时间间隔,连续采集用户的敲击所述虚拟键盘的一幅或者多幅图像,这里智能终端的摄像头连续采集的用户的图像中包括用户的各种动作图像,采用人体动作识别技术从全部图像中提取出用户敲击虚拟键盘的动作图像。采用人体动作识别技术对手指位置捕捉,对符合手指轮廓约束条件的手指图像再次进行筛选,判定手指是否在键盘区域,即判定手指位置是否可视为敲击虚拟键盘。
所述智能终端按照每幅图像的采集时间的先后顺序,依次对每幅图像进行图像分割处理,获取每幅图像中用户敲击的所述虚拟键盘中的一个或者多个具体位置信息,在一幅图像中,用户可以同时按下多个按钮。
所述智能终端按照每幅图像的采集时间的先后顺序,依次将每幅图像中所述用户敲击的所述虚拟键盘中的每个具体位置信息和所述各个按键对应的位置信息进行比较,当所述用户敲击的所述虚拟键盘中的某个具体位置信息和某个按键对应的位置信息一致时,则判断所述某个按键为所述用户按下的目标按键,发出所述目标按键被按下的指示信息。在一幅图像中,可以有多个用户按下的目标按键。
步骤S130、通过分析所述摄像头采集的后续的用户敲击所述虚拟键盘的图像,获取所述用户对所述目标按键的释放操作或者长按操作。
智能终端在按键状态数据表中存储各个按键对应的按键值,所述按键值表示了按键被按下的次数。所述智能终端还配置和存储各个按键是否具有长按功能。
本发明实施例还设定一个长按判断阈值,只要按键按下的次数大于或者等于设定的长按判断阈值,就表示用户对该按键进行了长按操作。该长按判断阈值通常设置为2。
判断用户对按键进行了长按操作的过程如下:
智能终端判断出一幅图像中所述用户按下的一个或者多个目标按键后,当所述按键状态数据表中存储了所述目标按键时,则说明该目标按键在上幅图像中已经被按下,将所述按键状态数据表中存储的所述目标按键对应的按键值加1;当所述按键状态数据表中没有存储所述目标按键时,则说明该目标按键在上幅图像中没有被按下,将所述按键状态数据表中所述目标按键对应的按键值置为1。
当更新后的所述按键状态数据表中的某个目标按键对应的按键值大于或者等于设定的长按判断阈值,并且所述某个目标按键具有长按功能,则所述智能终端判断确定所述用户对所述某个目标按键进行了长按操作,发出所述某个目标按键被长按的指示信息,将所述按键状态数据表中存储的所述某个目标按键对应的记录清空。
判断用户对按键进行了释放操作的过程包括两种场景,分别如下:
场景1、智能终端判断出一幅图像中所述用户按下的一个或者多个目标按键后,根据所述一个或者多个目标按键查询所述按键状态数据表,确定所述用户对所述按键状态数据表中存储的所述一个或者多个目标按键之外的其它按键进行了释放操作,将所述按键状态数据表中存储的所述其它按键对应的记录清空,发出所述其它按键被释放的指示信息。
即若上一幅图像检测到某个按键被按下,而当前图像没有检测到该按键为目标按键,则说明该按键释放了。例如,在第一幅图像中,有按键‘A’和‘B’按下,在按键状态数据表中存储按键‘A’和‘B’对应的按键值。在第二幅图像中,若只有‘A’键按下,那么在按键状态数据表中将按键‘A’对应的按键值加1。并且,认为按键‘B’被释放,将按键状态数据表中按键‘B’对应的记录清空,发出按键‘B’被释放的指示信息。。
场景2、当更新后的某个目标按键对应的按键值大于或者等于长按判断阈值,并且所述某个目标按键不具有长按功能,则所述智能终端判断所述用户对所述某个目标按键进行了释放操作,将所述按键状态数据表中存储的所述某个目标按键对应的记录清空,发出所述某个目标按键被释放的指示信息。
例如,在第一幅图像中,有按键‘Ctrl’按下,在按键状态数据表中存储按键‘Ctrl’对应的按键值。在第二幅图像中,有按键‘Ctrl’和按键‘A’按下,那么在按键状态数据表中将按键‘Ctrl’、‘A’对应的按键值加1。这时,按键‘Ctrl’对应的按键值为2,等于长按判断阈值,智能终端判检测到按键‘Ctrl’并不具有长按功能,不会再次响应‘Ctrl’键,智能终端判断用户对按键‘Ctrl’进行了释放操作,将按键状态数据表中存储的按键‘Ctrl’对应的记录清空,发出按键‘Ctrl’被释放的指示信息。
智能终端判只响应按键‘A’,在按键状态数据表中将按键‘A’对应的按键值加1。这样,经过两幅图像就组成了组合键‘Ctrl+A’。
实施例二
该实施例提供了一种基于图像处理的虚拟键盘的实现装置,其具体实现结构如图2所示,具体可以包括如下的模块:
虚拟键盘构造模块21,用于通过摄像头将虚拟键盘投射到指定的平面中;
目标按键确定模块22,用于通过所述摄像头采集用户敲击所述虚拟键盘的图像,根据所述图像和所述虚拟键盘的位置信息确定用户按下的目标按键;
目标按键释放或者长按操作确定模块23,用于通过分析所述摄像头采集的后续的用户敲击所述虚拟键盘的图像,获取所述用户对所述目标按键的释放操作或者长按操作。
进一步地,所述的虚拟键盘构造模块21,具体用于通过智能终端自带的摄像头将虚拟键盘投射到指定的平面中的虚拟键盘区域上,所述虚拟键盘中的各个按键组成矩形方阵,所述智能终端存储所述矩形方阵中的每一行的中心点、左边界中点、右边界中点、高度信息。
进一步地,所述的目标按键确定模块22,具体用于通过所述智能终端根据存储的所述矩形方阵中的每一行的中心点、左边界中点、右边界中点和高度信息,以及预先设定的所述矩形方阵中的每一行中的按键设置信息,获取所述矩形方阵中的每一行中的各个按键对应的位置信息;
通过所述摄像头采集用户敲击所述虚拟键盘的一幅或者多幅图像,所述智能终端按照每幅图像的采集时间的先后顺序,依次对每幅图像进行图像分割处理,获取每幅图像中用户敲击的所述虚拟键盘中的一个或者多个具体位置信息;
利用所述智能终端按照每幅图像的采集时间的先后顺序,依次将每幅图像中所述用户敲击的所述虚拟键盘中的每个具体位置信息和所述各个按键对应的位置信息进行比较,当所述用户敲击的所述虚拟键盘中的某个具体位置信息和某个按键对应的位置信息一致时,则判断所述某个按键为所述用户按下的目标按键,发出所述目标按键被按下的指示信息。
进一步地,所述的目标按键释放或者长按操作确定模块23,具体用于通过所述智能终端在按键状态数据表中存储各个按键对应的按键值,所述按键值表示了按键被按下的次数,通过所述智能终端配置和存储各个按键是否具有长按功能;
通过所述智能终端判断出一幅图像中所述用户按下的一个或者多个目标按键后,当所述按键状态数据表中存储了所述目标按键时,将所述按键状态数据表中存储的所述目标按键对应的按键值加1;当所述按键状态数据表中没有存储所述目标按键时,将所述按键状态数据表中所述目标按键对应的按键值置为1;
当更新后的所述按键状态数据表中的某个目标按键对应的按键值大于或者等于设定的长按判断阈值,并且所述某个目标按键具有长按功能,则所述智能终端判断确定所述用户对所述某个目标按键进行了长按操作,将所述按键状态数据表中存储的所述某个目标按键对应的记录清空,发出所述某个目标按键被长按的指示信息。
进一步地,所述的目标按键释放或者长按操作确定模块23,具体用于通过所述智能终端判断出一幅图像中所述用户按下的一个或者多个目标按键后,根据所述一个或者多个目标按键查询所述按键状态数据表,确定所述用户对所述按键状态数据表中存储的所述一个或者多个目标按键之外的其它按键进行了释放操作,将所述按键状态数据表中存储的所述其它按键对应的记录清空,发出所述其它按键被释放的指示信息;
当更新后的所述某个目标按键对应的按键值大于或者等于长按判断阈值,并且所述某个目标按键不具有长按功能,则所述智能终端判断所述用户对所述某个目标按键进行了释放操作,将所述按键状态数据表中存储的所述某个目标按键对应的记录清空,发出所述某个目标按键被释放的指示信息。
用本发明实施例的装置进行基于图像处理的虚拟键盘的实现具体过程与前述方法实施例类似,此处不再赘述。
综上所述,本发明实施例通过摄像头将虚拟键盘投射到指定的平面中,并采集用户敲击所述虚拟键盘的图像,通过人体动作识别技术、图像分析技术判断用户对虚拟键盘中的按键的按下、长按和释放操作。从而实现了智能终端的便捷输入,以便于满足用户的需求。本发明的主要优点如下:
本发明实施例中的虚拟键盘无需外设装置,方便携带并且实现成本低。每个按键大小不受屏幕尺寸制约,不占据一定的屏幕面积,虚拟键盘大小与传统键盘相似,字符显示效果太理想,使用方便容错率高。采用先进的人体动作识别技术、图像分析技术,定位准确、识别快速,可以满足用户正常指速需求。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于图像处理的虚拟键盘的实现方法,其特征在于,包括:
通过摄像头将虚拟键盘投射到指定的平面中;
通过所述摄像头采集用户敲击所述虚拟键盘的图像,根据所述图像和所述虚拟键盘的位置信息确定用户按下的目标按键;
通过分析所述摄像头采集的后续的用户敲击所述虚拟键盘的图像,获取所述用户对所述目标按键的释放操作或者长按操作。
2.根据权利要求1所述的基于图像处理的虚拟键盘的实现方法,其特征在于,所述的通过摄像头将虚拟键盘投射到指定的平面中,包括:
通过智能终端自带的摄像头将虚拟键盘投射到指定的平面中的虚拟键盘区域上,所述虚拟键盘中的各个按键组成矩形方阵,所述智能终端存储所述矩形方阵中的每一行的中心点、左边界中点、右边界中点、高度信息。
3.根据权利要求2所述的基于图像处理的虚拟键盘的实现方法,其特征在于,所述的通过所述摄像头采集用户敲击所述虚拟键盘的图像,根据所述图像和所述虚拟键盘的位置信息确定用户按下的目标按键,包括:
所述智能终端根据存储的所述矩形方阵中的每一行的中心点、左边界中点、右边界中点和高度信息,以及预先设定的所述矩形方阵中的每一行中的按键设置信息,获取所述矩形方阵中的每一行中的各个按键对应的位置信息;
通过所述摄像头采集用户敲击所述虚拟键盘的一幅或者多幅图像,所述智能终端按照每幅图像的采集时间的先后顺序,依次对每幅图像进行图像分割处理,获取每幅图像中用户敲击的所述虚拟键盘中的一个或者多个具体位置信息;
所述智能终端按照每幅图像的采集时间的先后顺序,依次将每幅图像中所述用户敲击的所述虚拟键盘中的每个具体位置信息和所述各个按键对应的位置信息进行比较,当所述用户敲击的所述虚拟键盘中的某个具体位置信息和某个按键对应的位置信息一致时,则判断所述某个按键为所述用户按下的目标按键,发出所述目标按键被按下的指示信息。
4.根据权利要求1或2或3所述的基于图像处理的虚拟键盘的实现方法,其特征在于,所述的通过分析所述摄像头采集的后续的用户敲击所述虚拟键盘的图像,获取所述用户对所述目标按键的释放操作或者长按操作,包括:
所述智能终端在按键状态数据表中存储各个按键对应的按键值,所述按键值表示了按键被按下的次数,所述智能终端还配置和存储各个按键是否具有长按功能;
所述智能终端判断出一幅图像中所述用户按下的一个或者多个目标按键后,当所述按键状态数据表中存储了所述目标按键时,将所述按键状态数据表中存储的所述目标按键对应的按键值加1;当所述按键状态数据表中没有存储所述目标按键时,将所述按键状态数据表中所述目标按键对应的按键值置为1;
当更新后的所述按键状态数据表中的某个目标按键对应的按键值大于或者等于设定的长按判断阈值,并且所述某个目标按键具有长按功能,则所述智能终端判断确定所述用户对所述某个目标按键进行了长按操作,将所述按键状态数据表中存储的所述某个目标按键对应的记录清空,发出所述某个目标按键被长按的指示信息。
5.根据权利要求4所述的基于图像处理的虚拟键盘的实现方法,其特征在于,所述的通过分析所述摄像头采集的后续的用户敲击所述虚拟键盘的图像,获取所述用户对所述目标按键的释放操作或者长按操作,包括:
所述智能终端判断出一幅图像中所述用户按下的一个或者多个目标按键后,根据所述一个或者多个目标按键查询所述按键状态数据表,确定所述用户对所述按键状态数据表中存储的所述一个或者多个目标按键之外的其它按键进行了释放操作,将所述按键状态数据表中存储的所述其它按键对应的记录清空,发出所述其它按键被释放的指示信息;
当更新后的所述某个目标按键对应的按键值大于或者等于长按判断阈值,并且所述某个目标按键不具有长按功能,则所述智能终端判断所述用户对所述某个目标按键进行了释放操作,将所述按键状态数据表中存储的所述某个目标按键对应的记录清空,发出所述某个目标按键被释放的指示信息。
6.一种基于图像处理的虚拟键盘的实现装置,其特征在于,包括:
虚拟键盘构造模块,用于通过摄像头将虚拟键盘投射到指定的平面中;
目标按键确定模块,用于通过所述摄像头采集用户敲击所述虚拟键盘的图像,根据所述图像和所述虚拟键盘的位置信息确定用户按下的目标按键;
目标按键释放或者长按操作确定模块,用于通过分析所述摄像头采集的后续的用户敲击所述虚拟键盘的图像,获取所述用户对所述目标按键的释放操作或者长按操作。
7.根据权利要求6所述的基于图像处理的虚拟键盘的实现装置,其特征在于:
所述的虚拟键盘构造模块,具体用于通过智能终端自带的摄像头将虚拟键盘投射到指定的平面中的虚拟键盘区域上,所述虚拟键盘中的各个按键组成矩形方阵,所述智能终端存储所述矩形方阵中的每一行的中心点、左边界中点、右边界中点、高度信息。
8.根据权利要求7所述的基于图像处理的虚拟键盘的实现装置,其特征在于:
所述的目标按键确定模块,具体用于通过所述智能终端根据存储的所述矩形方阵中的每一行的中心点、左边界中点、右边界中点和高度信息,以及预先设定的所述矩形方阵中的每一行中的按键设置信息,获取所述矩形方阵中的每一行中的各个按键对应的位置信息;
通过所述摄像头采集用户敲击所述虚拟键盘的一幅或者多幅图像,所述智能终端按照每幅图像的采集时间的先后顺序,依次对每幅图像进行图像分割处理,获取每幅图像中用户敲击的所述虚拟键盘中的一个或者多个具体位置信息;
利用所述智能终端按照每幅图像的采集时间的先后顺序,依次将每幅图像中所述用户敲击的所述虚拟键盘中的每个具体位置信息和所述各个按键对应的位置信息进行比较,当所述用户敲击的所述虚拟键盘中的某个具体位置信息和某个按键对应的位置信息一致时,则判断所述某个按键为所述用户按下的目标按键,发出所述目标按键被按下的指示信息。
9.根据权利要求6或7或8所述的基于图像处理的虚拟键盘的实现装置,其特征在于:
所述的目标按键释放或者长按操作确定模块,具体用于通过所述智能终端在按键状态数据表中存储各个按键对应的按键值,所述按键值表示了按键被按下的次数,通过所述智能终端配置和存储各个按键是否具有长按功能;
通过所述智能终端判断出一幅图像中所述用户按下的一个或者多个目标按键后,当所述按键状态数据表中存储了所述目标按键时,将所述按键状态数据表中存储的所述目标按键对应的按键值加1;当所述按键状态数据表中没有存储所述目标按键时,将所述按键状态数据表中所述目标按键对应的按键值置为1;
当更新后的所述按键状态数据表中的某个目标按键对应的按键值大于或者等于设定的长按判断阈值,并且所述某个目标按键具有长按功能,则所述智能终端判断确定所述用户对所述某个目标按键进行了长按操作,将所述按键状态数据表中存储的所述某个目标按键对应的记录清空,发出所述某个目标按键被长按的指示信息。
10.根据权利要求9所述的基于图像处理的虚拟键盘的实现装置,其特征在于:
所述的目标按键释放或者长按操作确定模块,具体用于通过所述智能终端判断出一幅图像中所述用户按下的一个或者多个目标按键后,根据所述一个或者多个目标按键查询所述按键状态数据表,确定所述用户对所述按键状态数据表中存储的所述一个或者多个目标按键之外的其它按键进行了释放操作,将所述按键状态数据表中存储的所述其它按键对应的记录清空,发出所述其它按键被释放的指示信息;
当更新后的所述某个目标按键对应的按键值大于或者等于长按判断阈值,并且所述某个目标按键不具有长按功能,则所述智能终端判断所述用户对所述某个目标按键进行了释放操作,将所述按键状态数据表中存储的所述某个目标按键对应的记录清空,发出所述某个目标按键被释放的指示信息。
CN201410181940.5A 2014-04-30 2014-04-30 基于图像处理的虚拟键盘的实现方法和装置 Pending CN105022579A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410181940.5A CN105022579A (zh) 2014-04-30 2014-04-30 基于图像处理的虚拟键盘的实现方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410181940.5A CN105022579A (zh) 2014-04-30 2014-04-30 基于图像处理的虚拟键盘的实现方法和装置

Publications (1)

Publication Number Publication Date
CN105022579A true CN105022579A (zh) 2015-11-04

Family

ID=54412577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410181940.5A Pending CN105022579A (zh) 2014-04-30 2014-04-30 基于图像处理的虚拟键盘的实现方法和装置

Country Status (1)

Country Link
CN (1) CN105022579A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107797748A (zh) * 2016-09-05 2018-03-13 深圳光启合众科技有限公司 虚拟键盘输入方法和装置及机器人
CN107976624A (zh) * 2016-10-24 2018-05-01 佛山市顺德区美的电热电器制造有限公司 按键状态的检测方法及装置
CN108668058A (zh) * 2018-04-23 2018-10-16 常州星宇车灯股份有限公司 一种基于图像识别的车内按键操作系统
CN109753217A (zh) * 2018-12-11 2019-05-14 航天信息股份有限公司 动态键盘操作方法、装置、存储介质及电子设备
CN110488989A (zh) * 2019-07-02 2019-11-22 西安万像电子科技有限公司 事件处理方法及装置
CN112631498A (zh) * 2020-12-08 2021-04-09 青岛海尔电冰箱有限公司 控制家用电器的方法和家用电器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101335783A (zh) * 2008-07-30 2008-12-31 中兴通讯股份有限公司 一种全功能键盘手机及输入方法
CN102750044A (zh) * 2011-04-19 2012-10-24 北京三星通信技术研究有限公司 一种虚拟键盘装置及其实现方法
US20130231937A1 (en) * 2010-09-20 2013-09-05 Kopin Corporation Context Sensitive Overlays In Voice Controlled Headset Computer Displays

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101335783A (zh) * 2008-07-30 2008-12-31 中兴通讯股份有限公司 一种全功能键盘手机及输入方法
US20130231937A1 (en) * 2010-09-20 2013-09-05 Kopin Corporation Context Sensitive Overlays In Voice Controlled Headset Computer Displays
CN102750044A (zh) * 2011-04-19 2012-10-24 北京三星通信技术研究有限公司 一种虚拟键盘装置及其实现方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107797748A (zh) * 2016-09-05 2018-03-13 深圳光启合众科技有限公司 虚拟键盘输入方法和装置及机器人
CN107797748B (zh) * 2016-09-05 2020-07-21 深圳光启合众科技有限公司 虚拟键盘输入方法和装置及机器人
CN107976624A (zh) * 2016-10-24 2018-05-01 佛山市顺德区美的电热电器制造有限公司 按键状态的检测方法及装置
CN107976624B (zh) * 2016-10-24 2020-10-09 佛山市顺德区美的电热电器制造有限公司 按键状态的检测方法及装置
CN108668058A (zh) * 2018-04-23 2018-10-16 常州星宇车灯股份有限公司 一种基于图像识别的车内按键操作系统
CN108668058B (zh) * 2018-04-23 2023-11-24 常州星宇车灯股份有限公司 一种基于图像识别的车内按键操作系统
CN109753217A (zh) * 2018-12-11 2019-05-14 航天信息股份有限公司 动态键盘操作方法、装置、存储介质及电子设备
CN109753217B (zh) * 2018-12-11 2021-01-29 航天信息股份有限公司 动态键盘操作方法、装置、存储介质及电子设备
CN110488989A (zh) * 2019-07-02 2019-11-22 西安万像电子科技有限公司 事件处理方法及装置
CN112631498A (zh) * 2020-12-08 2021-04-09 青岛海尔电冰箱有限公司 控制家用电器的方法和家用电器
CN112631498B (zh) * 2020-12-08 2023-03-24 青岛海尔电冰箱有限公司 控制家用电器的方法和家用电器

Similar Documents

Publication Publication Date Title
CN105022579A (zh) 基于图像处理的虚拟键盘的实现方法和装置
CA2988821C (en) Method and terminal for locking target in game scene
WO2018027501A1 (zh) 终端、触控响应方法及装置
CN107613203B (zh) 一种图像处理方法及移动终端
CN107132986B (zh) 一种虚拟按键智能调节触控响应区域的方法及装置
TWI695311B (zh) 一種利用手勢模擬滑鼠操作的方法、裝置及終端
WO2018153074A1 (zh) 一种预览图像的显示方法及终端设备
WO2016206279A1 (zh) 触控显示装置及其触控方法
WO2014045953A1 (ja) 情報処理装置および方法、並びにプログラム
KR20130088104A (ko) 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법
CN108781252B (zh) 一种图像拍摄方法及装置
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP5962249B2 (ja) 文字入力プログラム、情報処理装置および文字入力方法
WO2016095640A1 (zh) 移动终端的控制方法及移动终端
JP2016053940A (ja) タッチ撮影方法及びそのタッチ端末
JP2015060579A (ja) 情報処理システム、情報処理方法および情報処理プログラム
CN105824553A (zh) 一种触控方法及移动终端
WO2015131590A1 (zh) 一种控制黑屏手势处理的方法及终端
WO2014146516A1 (zh) 一种左右手交互装置及方法
CN105808129B (zh) 一种利用手势快速开启软件功能的方法和装置
CN107797748B (zh) 虚拟键盘输入方法和装置及机器人
WO2022111458A1 (zh) 图像拍摄方法和装置、电子设备及存储介质
CN109656493A (zh) 控制方法及装置
US10318131B2 (en) Method for scaling down effective display area of screen, and mobile terminal
CN103744609B (zh) 一种数据提取方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151104