CN111860239A - 按键识别方法、装置、终端设备及计算机可读存储介质 - Google Patents

按键识别方法、装置、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111860239A
CN111860239A CN202010646339.4A CN202010646339A CN111860239A CN 111860239 A CN111860239 A CN 111860239A CN 202010646339 A CN202010646339 A CN 202010646339A CN 111860239 A CN111860239 A CN 111860239A
Authority
CN
China
Prior art keywords
keyboard image
key
image frame
keyboard
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010646339.4A
Other languages
English (en)
Other versions
CN111860239B (zh
Inventor
陈永康
姜迪
王力锋
黄金玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Changguang Precision Instrument Group Co ltd
Original Assignee
Foshan Changguang Intelligent Manufacturing Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Changguang Intelligent Manufacturing Research Institute Co ltd filed Critical Foshan Changguang Intelligent Manufacturing Research Institute Co ltd
Priority to CN202010646339.4A priority Critical patent/CN111860239B/zh
Publication of CN111860239A publication Critical patent/CN111860239A/zh
Application granted granted Critical
Publication of CN111860239B publication Critical patent/CN111860239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了按键识别方法、装置、终端设备及计算机可读存储介质,该按键识别方法包括:通过摄像装置对软体键盘进行拍摄,得到M个键盘图像帧,M为大于1的整数;分别确定M个键盘图像帧中的每一键盘图像帧对应的手部区域;依据每一键盘图像帧对应的手部区域以及预设按键区域排列顺序,分别确定每一键盘图像帧对应的被遮挡按键的序列;将M个键盘图像帧对应的M个被遮挡按键的序列输入到训练好的循环神经网络中,得到按键识别结果。通过本发明,基于对用户在方便携带的软体键盘上的操作动作进行拍摄得到图像,且将图像转化为一维的序列,将序列输入循环神经网络得到按键识别结果,降低了循环神经网络处理数据的难度,从而提高了识别效率。

Description

按键识别方法、装置、终端设备及计算机可读存储介质
技术领域
本发明属于智能终端技术领域,尤其涉及一种按键识别方法、装置、设备及计算机可读存储介质。
背景技术
十指键盘是重要的输入设备,是传统电脑的必不可少的组成。随着智能终端技术的发展,十指键盘已经不局限于在电脑上使用,还可以是与平板、手机连接后,供用户使用。但这种键盘是硬键盘,对用户来说不方便随身携带。
发明内容
有鉴于此,本发明实施例提供了按键识别方法、装置、设备及计算机可读存储介质,以解决现有技术中硬键盘不方便随时携带的问题。
本发明实施例的第一方面提供了一种按键识别方法,包括:
S1:通过摄像装置对软体键盘进行拍摄,得到视频流,所述视频流包括M个键盘图像帧,M为大于1的整数;
S2:分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域;
S3:依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序,分别确定所述每一键盘图像帧对应的被遮挡按键的序列;
S4:将所述M个键盘图像帧对应的M个所述被遮挡按键的序列输入到训练好的循环神经网络中,得到按键识别结果。
本发明实施例的第二方面提供了一种按键识别装置,包括:
拍摄模块,用于通过摄像装置对软体键盘进行拍摄,得到视频流,所述视频流包括M个键盘图像帧,M为大于1的整数;
确定模块,用于分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域;
生成模块,用于依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序,分别确定所述每一键盘图像帧对应的被遮挡按键的序列;
识别模块,用于将所述M个键盘图像帧对应的M个所述被遮挡按键的序列输入到训练好的循环神经网络中,得到按键识别结果。
本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述所述方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述所述方法的步骤。
本发明实施例中,通过摄像装置对软体键盘进行拍摄,得到视频流,所述视频流包括M个键盘图像帧,M为大于1的整数;分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域;依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序,分别确定所述每一键盘图像帧对应的被遮挡按键的序列;将所述M个键盘图像帧对应的M个所述被遮挡按键的序列输入到训练好的循环神经网络中,得到按键识别结果。通过本发明实施例,用户可在软体键盘上操作,基于对操作动作进行拍摄得到的图像识别出被按下的按键,其中,软体键盘造价低廉且方便携带。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的按键识别方法的第一实施例的流程示意图;
图2为一实施例中软体键盘的示意图;
图3为一实施例中摄像装置及手部所处位置的示意图;
图4为一实施例中各个按键区域在软体键盘中的排列示意图;
图5为一实施例中一键盘图像帧的示意图;
图6为对图5所示的键盘图像帧进行透视变换处理得到的新的键盘图像帧的示意图;
图7为一实施例中二值图像的示意图;
图8为一实施例中对按键进行区域划分的示意图;
图9为一实施例中被遮挡按键的序列的编码示意图;
图10为本发明的按键识别装置的第一实施例的功能模块示意图;
图11是本发明一实施例提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
在本发明实施例中,流程的执行主体为终端设备,该终端设备包括但不限于笔记本电脑、计算机、服务器、平板电脑以及智能手机等具有数据处理功能的终端设备。
图1为本发明的按键识别方法的第一实施例的流程示意图,详述如下:
S1:通过摄像装置对软体键盘进行拍摄,得到视频流,所述视频流包括M个键盘图像帧,M为大于1的整数;
本实施例中,通过摄像装置对软体键盘进行拍摄,便可得到包含M个键盘图像帧的视频流。
其中,软体键盘可以是纸质键盘或其他软体材料(柔性材料)制成的键盘,这种材质的键盘折叠后体积很小,便于携带。其中键盘的图样由普通键盘按键组成。如图2所示,图2为一实施例中软体键盘的示意图。
摄像装置的位置以及取景角度根据实际情况进行设置。例如,高清摄像头(摄像装置)离桌面一定高度,倾斜30°~60°从纸质键盘前方对着纸质键盘,角度根据键盘大小设定,将所有按键收入取景范围内,其位置相对纸质键盘较为固定。其中,摄像装置可以在终端设备上,还可以是与终端设备外接。
为了保证拍摄效果,还可以设置光源。其中,光源与拍摄装置平行,用于提供光源,减少由于外界光的产生影响,例如:其他物体投影或者光线不足等。
另外,对按键按下过程的定义为:手指在摄像头视野下遮挡按键,在接触按键后,手指离开按键并将手悬空移开,使手指在摄像头视角中不遮挡到任一按键。因此在没有输入时候,用户双手不遮挡到任一按键,设置和调整摄像头的倾角应能完全拍摄到键盘,并在手部舒适状态下符合上述要求。参照图3,图3为一实施例中摄像装置及手部所处位置的示意图。
S2:分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域;
本实施例中,通过图像识别技术识别出每一键盘图像帧对应的手部区域。其中,图像识别技术是人工智能的一个重要领域。它是指对图像进行对象识别,以识别各种不同模式的目标和对象的技术。本实施例中,即以手为识别对象,识别出键盘图像帧中手所在的手部区域。
S3:依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序,分别确定所述每一键盘图像帧对应的被遮挡按键的序列;
本实施例中,被遮挡按键的序列用于标识各个按键是否被手部区域遮挡。参照图4,图4为一实施例中各个按键区域在软体键盘中的排列示意图。如图4所示,每个按键区域均有其对应的排列序号。此处仅为示意性说明,并不限于以此种方式设置每个按键区域对应的排列序号。
若以不同的字符表示不同的遮挡状态,则每个按键区域均有其对应的字符,基于每个按键区域的排列序号(即基于预设按键区域排列顺序),对每个按键区域对应的字符进行排列,即可得到被遮挡按键的序列。对每一键盘图像帧做同样处理,即可得到每一键盘图像帧对应的被遮挡按键的序列。
S4:将所述M个键盘图像帧对应的M个所述被遮挡按键的序列输入到训练好的循环神经网络中,得到按键识别结果。
本实施例中,将由M个被遮挡按键的序列输入循环神经网络,以供循环神经网络M个被遮挡按键的序列进行推断分类,从而确定被按下的键是哪个,最终输出按键识别结果。由于,输入循环神经网络的被遮挡按键的序列为一维数据,相较于直接将图像或其他类型的多维数据输入循环神经网络进行判断的方式,本方案相当于进行了数据维度压缩,从而降低了循环神经网络对数据的处理难度,基于输入的被遮挡按键的序列能更快地得到按键识别结果。
本发明实施例中,通过摄像装置对软体键盘进行拍摄,得到视频流,所述视频流包括M个键盘图像帧,M为大于1的整数;分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域;依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序,分别确定所述每一键盘图像帧对应的被遮挡按键的序列;将所述M个键盘图像帧对应的M个所述被遮挡按键的序列输入到训练好的循环神经网络中,得到按键识别结果。通过本发明实施例,用户可在软体键盘上操作,基于对操作动作进行拍摄得到的图像识别出被按下的按键,其中,软体键盘造价低廉且方便携带。且按键识别是将图片转换为被遮挡按键的序列,然后将被遮挡按键的序列输入循环神经网络,得到按键识别结果。其中,序列为一维数据,降低了循环神经网络处理数据的难度,从而提高了循环神经网络的识别效率。
进一步地,一实施例中,所述软体键盘上设置有标志位,步骤S2包括:
步骤S21,分别识别出每一键盘图像帧中的标志位,并根据所述标志位对每一键盘图像帧进行透视变换处理,得到每一键盘图像帧对应的新的键盘图像帧,所述新的键盘图像帧的观看角度为正上方垂直观看;
本实施例中,为了更准确的识别出被遮挡的按键,需要对摄像装置拍摄的键盘图像帧进行透视变换处理。具体是基于软体键盘上设置的标志位对键盘图像帧进行透视变换处理。例如,在拍摄得到键盘图像帧后,首先识别出键盘图像帧中的标志位,基于识别出的标志位,对键盘图像帧进行透视变换处理,得到新的键盘图像帧,且新的键盘图像帧的观看角度为正上方垂直观看。如图5所示,图5为一实施例中一键盘图像帧的示意图。图5中的黑色方块即标志位。参照图6,图6为对图5所示的键盘图像帧进行透视变换处理得到的新的键盘图像帧的示意图。如图6所示,新的键盘图像帧的观看角度为正上方垂直观看。
步骤S22,基于预设像素值,将所述新的键盘图像帧转换为二值图像;
本实施例中,为了确定手部区域,需要以手部皮肤对应的像素值为基础,将新的键盘图像帧转换为二值图像。例如,以133≤C≤173且77≤Cb≤127的像素,作为人体手部肤色像素。将新的键盘图像帧中像素值为133≤C≤173且77≤Cb≤127的像素转换为第一像素值,将其他像素转换为第二像素值,得到二值图像。参照图7,图7为一实施例中二值图像的示意图。
步骤S23,基于最大连通域算法,在所述二值图像中确定手部区域。
本实施例中,基于最大连通域算法,在二值图像中确定被遮挡区域,即先找到二值图像中的各个连通域,然后从找到的连通域中确定面积最大的连通域,并以面积最大的连通域作为手部区域。其中,最大连通域算法是图像处理中常见的算法,基于最大连通域算法,在二值图像中确定手部区域的步骤为:
1,给二值图像添加一个是否已访问的属性,类型为Bool(避免死循环);
2,找到第一个非零的像素点,将其入栈并将其是否已访问的属性置为真;
3,以栈的大小是否为0作为结束条件,寻找栈顶元素相邻的八邻域非零像素点,并将它们入栈,结束后将栈顶元素删除;
4,当栈为空时,表明一个连通区域已经遍历完成,需继续找到下一个非空且未访问过的像素点作为起点,重复步骤3,直到所有的非零像素点都被访问完成。
5,当所有的连通区域求解完成之后,将像素点个数最大的连通区域标记出来即可。
像素点个数最大的连通区域即手部区域。
本实施例中,首先基于每一键盘图像帧中的标志位对每一键盘图像帧进行透视变换处理,然后对经过透视变换处理后的图像二值化,最后基于最大连通域算法,在二值图像中确定手部区域,可有效提高手部区域的识别准确度,从而保证后续得到的按键识别结果的准确性。
进一步地,一实施例中,步骤S3包括:
步骤S31,确定每一键盘图像帧对应的二值图像中被所述手部区域遮挡的第一按键区域,以及未被所述手部区域遮挡的第二按键区域;
本实施例中,可通过键盘图像帧对应的二值图像中各个按键区域与手部区域的相对位置关系,确定被手部区域遮挡的第一按键区域,以及未被手部区域遮挡的第二按键区域。
可选地,一实施例中,步骤S31包括:
步骤S311,获取每一键盘图像帧对应的二值图像中各个按键区域的坐标以及长宽;
本实施例中,以二值图像中一参考点为原点,建立坐标系,从而得到每个按键区域的坐标(以按键区域中心点的坐标作为按键区域的坐标)。其中,参考点的选择可以根据实际需要进行设置,例如以任一标志位为参考点,或以任一按键区域的中心点为参考点。每个按键区域的长宽,可直接取其在二值图像中的长宽。
步骤S312,基于每个按键区域的长宽将每个按键区域分为若干子区域,并基于每个按键区域的坐标,确定每个按键区域中各个子区域的中心点坐标;
本实施例中,根据每个按键区域的长宽便可确定每个按键区域的大小,然后基于每个按键区域的大小将每个按键区域分为若干子区域。例如,软体键盘上存在三种大小规格的按键区域(此处仅为示意性说明,不限制为三种),则将属于最大规格的按键区域分为A个子区域,将属于第二大规格的按键区域分为B个子区域,将属于最小规格的按键区域分为C个子区域,其中,A、B、C的取值基于实际需要进行设置,例如,设置A等于18,B等于12,C等于9。在将每个按键区域划分为若干子区域后,便可根据每个按键区域的坐标以及每个按键区域中心点与其包含的各个子区域的中心点的相对位置关系,得到按键区域所包含的各个子区域的中心点的坐标。参照图8,图8为一实施例中对按键进行区域划分的示意图。如图8所示,将按键分为了9个子区域,其中每个黑点代表每个子区域的中心点。
步骤S313,基于每个按键区域中各个子区域的中心点坐标,分别检测每个按键区域对应的中心点中,是否存在至少Q个中心点位于所述手部区域中,其中,Q为正整数;
本实施例中,确定每个按键区域中各个子区域的中心点坐标后,便可基于每个按键区域中各个子区域的中心点坐标,确定每个按键区域对应的中心点中有多少中心点位于手部区域中。容易理解的是,对任一按键区域而言,其包含的多个中心点中越多中心点位于手部区域,则说明该按键区域被点击的可能性越大。具体的,本实施例中判断是否存在至少Q个中心点位于手部区域中,其中,Q为正整数,Q可以根据实际情况进行设置,例如设置为5。
步骤S314,以存在至少Q个中心点位于所述手部区域中的按键区域为被所述手部区域遮挡的第一按键区域;以不存在至少Q个中心点位于所述手部区域中的按键区域为未被所述手部区域遮挡的第二按键区域。
本实施例中,只要按键区域对应的中心点中,存在至少Q个中心点位于手部区域中,则以该按键区域作为被手部区域遮挡的第一按键区域,否则为未被手部区域遮挡的第二按键区域。
步骤S32,基于预设按键区域排列顺序,对每一键盘图像帧的第一按键区域对应的第一字符以及第二按键区域对应的第二字符进行排序,得到每一键盘图像帧对应的被遮挡按键的序列。
本实施例中,如图4所示,每个按键均有其对应的排列序号,总计有77个按键,则每个按键的排列序号依次为0到76。若一键盘图像帧中第一按键区域对应的排列序号为33,第二按键区域对应的排列序号为0~32,以及34到76,则将第二字符排列在第1数位至第33数位,以及第35数位至第77数位上,将第一字符排列在第34数位上,得到该键盘图像帧对应的被遮挡按键的序列。同理,即可得到每一键盘图像帧对应的被遮挡按键的序列。其中,第一字符与第二字符不相同。例如,第一字符为1,第二字符为0;当然,第一字符以及第二字符还可以为其他字符,在此不作限制。
参照图9,图9为一实施例中被遮挡按键的序列的编码示意图。
本实施例中,将每一键盘图像帧中的各个按键区域的遮挡情况通过被遮挡按键的序列进行表示,实现了数据降维,使得后续循环神经网络基于被遮挡按键的序列进行按键识别时,降低了循环神经网络处理数据的难度,从而提高了循环神经网络的识别效率。
进一步地,一实施例中,在步骤S1之前,还包括:
S5:通过摄像装置对软体键盘进行拍摄,得到训练视频流,所述训练视频流包括M个训练键盘图像帧,M为大于1的整数;S6:分别确定所述M个训练键盘图像帧中的每一训练键盘图像帧对应的训练手部区域;S7:依据所述每一训练键盘图像帧对应的训练手部区域以及预设按键区域排列顺序,分别确定所述每一训练键盘图像帧对应的训练被遮挡按键的序列,得到M个训练键盘图像帧对应的M个训练被遮挡按键的序列;S8:获取所述M个训练被遮挡按键的序列对应的按键信息,以所述M个训练被遮挡按键的序列及其对应的按键信息作为一组训练数据;S9:重复步骤S5至步骤S8,得到多组训练数据,通过所述多组训练数据对预置循环神经网络进行训练,得到训练好的循环神经网络。
本实施例中,步骤S5至S7的具体实施例与上述步骤S1至步骤S3的实施例基本相同,在此不做赘述。通过步骤S5至S7,即可得到M个键盘图像帧对应的M个训练被遮挡按键的序列,然后获取该M个训练被遮挡按键的序列对应的按键信息,该按键信息用于指示被按下的按键,以M个训练被遮挡按键的序列及其对应的按键信息作为一组训练数据。重复步骤S5至步骤S8,便可得到多组训练数据。
循环神经网络(Recurrent Neural Network,RNN)是一类以序列(sequence)数据为输入,在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的递归神经网络(recursive neural network)。
在通过多组训练数据对预置循环神经网络进行训练时,依次输入每组训练数据对应的M个训练被遮挡按键的序列,然后比较预置循环神经网络输出的按键识别结果与对应的训练数据所包含的按键信息是否一致,若一致,则认为识别正确,并统计识别正确次数的在总次数中的比例,当比例大于或等于预设阈值时,则认为当前的预置循环神经网络的识别准确度较高,则以当前的预置循环神经网络作为训练好的循环神经网络。若比例小于预设阈值,则对循环神经网络的参数进行调整,并重复上述“依次输入每组训练数据对应的M个训练被遮挡按键的序列,然后比较预置循环神经网络输出的按键识别结果与对应的训练数据所包含的按键信息是否一致,若一致,则认为识别正确,并统计识别正确次数的在总次数中的比例”的步骤。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
本发明实施例中,还提供了一种按键识别装置,按键识别装置包括的各模块用于执行图1对应的实施例中的各步骤。参照图10,图10为本发明的按键识别装置的第一实施例的功能模块示意图。如图10所示,按键识别装置,包括:
拍摄模块10,用于通过摄像装置对软体键盘进行拍摄,得到视频流,所述视频流包括M个键盘图像帧,M为大于1的整数;
确定模块20,用于分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域;
生成模块30,用于依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序,分别确定所述每一键盘图像帧对应的被遮挡按键的序列;
识别模块40,用于将所述M个键盘图像帧对应的M个所述被遮挡按键的序列输入到训练好的循环神经网络中,得到按键识别结果。
进一步的,一实施例中,所述确定模块20,具体用于:
分别识别出每一键盘图像帧中的标志位,并根据所述标志位对每一键盘图像帧进行透视变换处理,得到每一键盘图像帧对应的新的键盘图像帧,所述新的键盘图像帧的观看角度为正上方垂直观看;
基于预设像素值,将所述新的键盘图像帧转换为二值图像;
基于最大连通域算法,在所述二值图像中确定手部区域。
进一步的,一实施例中,所述生成模块30,用于:
确定每一键盘图像帧对应的二值图像中被所述手部区域遮挡的第一按键区域,以及未被所述手部区域遮挡的第二按键区域;
基于预设按键区域排列顺序,对每一键盘图像帧的第一按键区域对应的第一字符以及第二按键区域对应的第二字符进行排序,得到每一键盘图像帧对应的被遮挡按键的序列。
进一步的,一实施例中,生成模块30,具体用于:
获取每一键盘图像帧对应的二值图像中各个按键区域的坐标以及长宽;
基于每个按键区域的长宽将每个按键区域分为若干子区域,并基于每个按键区域的坐标,确定每个按键区域中各个子区域的中心点坐标;
基于每个按键区域中各个子区域的中心点坐标,分别检测每个按键区域对应的中心点中,是否存在至少Q个中心点位于所述手部区域中,其中,Q为正整数;
以存在至少Q个中心点位于所述手部区域中的按键区域为被所述手部区域遮挡的第一按键区域;
以不存在至少Q个中心点位于所述手部区域中的按键区域为未被所述手部区域遮挡的第二按键区域。
进一步的,一实施例中,按键识别装置还包括训练模块50,用于:
通过摄像装置对软体键盘进行拍摄,得到训练视频流,所述训练视频流包括M个训练键盘图像帧,M为大于1的整数;分别确定所述M个训练键盘图像帧中的每一训练键盘图像帧对应的手部区域;依据所述每一训练键盘图像帧对应的手部区域以及预设按键区域排列顺序,分别确定所述每一训练键盘图像帧对应的训练被遮挡按键的序列,得到M个训练键盘图像帧对应的M个训练被遮挡按键的序列;获取所述M个训练被遮挡按键的序列对应的按键信息,以所述M个训练被遮挡按键的序列及其对应的按键信息作为一组训练数据;
重复上述通过摄像装置对软体键盘进行拍摄,得到训练视频流,所述训练视频流包括M个训练键盘图像帧,M为大于1的整数;分别确定所述M个训练键盘图像帧中的每一训练键盘图像帧对应的手部区域;依据所述每一训练键盘图像帧对应的手部区域以及预设按键区域排列顺序,分别确定所述每一训练键盘图像帧对应的训练被遮挡按键的序列,得到M个训练键盘图像帧对应的M个训练被遮挡按键的序列;获取所述M个训练被遮挡按键的序列对应的按键信息,以所述M个训练被遮挡按键的序列及其对应的按键信息作为一组训练数据的步骤,得到多组训练数据,通过所述多组训练数据对预置循环神经网络进行训练,得到训练好的循环神经网络。
其中,上述按键识别装置中各个模块的功能实现与上述按键识别方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
图11是本发明一实施例提供的终端设备的示意图。如图11所示,该实施例终端设备6包括:处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62,例如按键识别程序。所述处理器60执行所述计算机程序62时实现上述各个按键识别方法实施例中的步骤,例如图1所示的步骤S1至S4。或者,所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能。
示例性的,所述计算机程序62可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器61中,并由所述处理器60执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序62在所述按键识别装置/终端设备6中的执行过程。例如,所述计算机程序62可以被分割成拍摄模块、确定模块、生成模块、识别模块,各模块具体功能如下:
拍摄模块,用于通过摄像装置对软体键盘进行拍摄,得到视频流,所述视频流包括M个键盘图像帧,M为大于1的整数;
确定模块,用于分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域;
生成模块,用于依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序,分别确定所述每一键盘图像帧对应的被遮挡按键的序列;
识别模块,用于将所述M个键盘图像帧对应的M个所述被遮挡按键的序列输入到训练好的循环神经网络中,得到按键识别结果。
所述终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端6设备可包括,但不仅限于,处理器60、存储器61。本领域技术人员可以理解,图11仅仅是终端设备6的示例,并不构成对终端设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备6还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述终端设备6的内部存储单元,例如终端设备6的硬盘或内存。所述存储器61也可以是所述终端设备6的外部存储设备,例如所述终端设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种按键识别方法,其特征在于,包括:
S1:通过摄像装置对软体键盘进行拍摄,得到视频流,所述视频流包括M个键盘图像帧,M为大于1的整数;
S2:分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域;
S3:依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序,分别确定所述每一键盘图像帧对应的被遮挡按键的序列;
S4:将所述M个键盘图像帧对应的M个所述被遮挡按键的序列输入到训练好的循环神经网络中,得到按键识别结果。
2.如权利要求1所述的按键识别方法,其特征在于,所述软体键盘上设置有标志位,所述分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域的步骤包括:
分别识别出每一键盘图像帧中的标志位,并根据所述标志位对每一键盘图像帧进行透视变换处理,得到每一键盘图像帧对应的新的键盘图像帧,所述新的键盘图像帧的观看角度为正上方垂直观看;
基于预设像素值,将所述新的键盘图像帧转换为二值图像;
基于最大连通域算法,在所述二值图像中确定手部区域。
3.如权利要求2所述的按键识别方法,其特征在于,所述依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序,分别确定所述每一键盘图像帧对应的被遮挡按键的序列的步骤包括:
确定每一键盘图像帧对应的二值图像中被所述手部区域遮挡的第一按键区域,以及未被所述手部区域遮挡的第二按键区域;
基于预设按键区域排列顺序,对每一键盘图像帧的第一按键区域对应的第一字符以及第二按键区域对应的第二字符进行排序,得到每一键盘图像帧对应的被遮挡按键的序列。
4.如权利要求3所述的按键识别方法,其特征在于,所述确定每一键盘图像帧对应的二值图像中被所述手部区域遮挡的第一按键区域,以及未被所述手部区域遮挡的第二按键区域的步骤包括:
获取每一键盘图像帧对应的二值图像中各个按键区域的坐标以及长宽;
基于每个按键区域的长宽将每个按键区域分为若干子区域,并基于每个按键区域的坐标,确定每个按键区域中各个子区域的中心点坐标;
基于每个按键区域中各个子区域的中心点坐标,分别检测每个按键区域对应的中心点中,是否存在至少Q个中心点位于所述手部区域中,其中,Q为正整数;
以存在至少Q个中心点位于所述手部区域中的按键区域为被所述手部区域遮挡的第一按键区域;
以不存在至少Q个中心点位于所述手部区域中的按键区域为未被所述手部区域遮挡的第二按键区域。
5.如权利要求1至4中任一项所述的按键识别方法,其特征在于,在所述通过摄像装置对软体键盘进行拍摄,得到视频流的步骤之前,还包括:
S5:通过摄像装置对软体键盘进行拍摄,得到训练视频流,所述训练视频流包括M个训练键盘图像帧,M为大于1的整数;
S6:分别确定所述M个训练键盘图像帧中的每一训练键盘图像帧对应的训练手部区域;
S7:依据所述每一训练键盘图像帧对应的训练手部区域以及预设按键区域排列顺序,分别确定所述每一训练键盘图像帧对应的训练被遮挡按键的序列,得到M个训练键盘图像帧对应的M个训练被遮挡按键的序列;
S8:获取所述M个训练被遮挡按键的序列对应的按键信息,以所述M个训练被遮挡按键的序列及其对应的按键信息作为一组训练数据;
S9:重复步骤S5至步骤S8,得到多组训练数据,通过所述多组训练数据对预置循环神经网络进行训练,得到训练好的循环神经网络。
6.一种按键识别装置,其特征在于,包括:
拍摄模块,用于通过摄像装置对软体键盘进行拍摄,得到视频流,所述视频流包括M个键盘图像帧,M为大于1的整数;
确定模块,用于分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域;
生成模块,用于依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序,分别确定所述每一键盘图像帧对应的被遮挡按键的序列;
识别模块,用于将所述M个键盘图像帧对应的M个所述被遮挡按键的序列输入到训练好的循环神经网络中,得到按键识别结果。
7.如权利要求6所述的按键识别装置,其特征在于,所述软体键盘上设置有标志位,所述确定模块,具体用于:
分别识别出每一键盘图像帧中的标志位,并根据所述标志位对每一键盘图像帧进行透视变换处理,得到每一键盘图像帧对应的新的键盘图像帧,所述新的键盘图像帧的观看角度为正上方垂直观看;
基于预设像素值,将所述新的键盘图像帧转换为二值图像;
基于最大连通域算法,在所述二值图像中确定手部区域。
8.如权利要求7所述的按键识别装置,其特征在于,所述生成模块,用于:
确定每一键盘图像帧对应的二值图像中被所述手部区域遮挡的第一按键区域,以及未被所述手部区域遮挡的第二按键区域;
基于预设按键区域排列顺序,对每一键盘图像帧的第一按键区域对应的第一字符以及第二按键区域对应的第二字符进行排序,得到每一键盘图像帧对应的被遮挡按键的序列。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN202010646339.4A 2020-07-07 2020-07-07 按键识别方法、装置、终端设备及计算机可读存储介质 Active CN111860239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010646339.4A CN111860239B (zh) 2020-07-07 2020-07-07 按键识别方法、装置、终端设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010646339.4A CN111860239B (zh) 2020-07-07 2020-07-07 按键识别方法、装置、终端设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111860239A true CN111860239A (zh) 2020-10-30
CN111860239B CN111860239B (zh) 2024-07-02

Family

ID=73152363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010646339.4A Active CN111860239B (zh) 2020-07-07 2020-07-07 按键识别方法、装置、终端设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111860239B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115268743A (zh) * 2022-07-29 2022-11-01 深圳市商汤科技有限公司 图像处理方法、装置、电子设备、信息输入系统和介质
CN115448118A (zh) * 2022-08-24 2022-12-09 深圳火神人工智能有限公司 电梯按键控制方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US20040001734A1 (en) * 2002-02-07 2004-01-01 Burrell James W. Virtual keyboard and control means
CN1521596A (zh) * 2003-01-29 2004-08-18 华 王 一种光电式多用途输入外设
CN103309434A (zh) * 2012-03-12 2013-09-18 联想(北京)有限公司 一种指令识别方法和电子设备
CN103391480A (zh) * 2013-07-15 2013-11-13 Tcl集团股份有限公司 一种向电视机输入字符的方法及系统
CN104199550A (zh) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 人机交互式虚拟触控装置、系统及方法
CN105183242A (zh) * 2015-10-09 2015-12-23 卢庆港 基于虚拟网格畸变区域识别的虚拟键盘及其控制方法
JP2016177658A (ja) * 2015-03-20 2016-10-06 カシオ計算機株式会社 仮想入力装置、入力方法、およびプログラム
CN106354412A (zh) * 2016-08-30 2017-01-25 乐视控股(北京)有限公司 基于虚拟现实设备的输入方法及装置
CN109871155A (zh) * 2019-01-29 2019-06-11 深圳市海派通讯科技有限公司 嵌入到移动终端设备的镭射投影输入方案
CN117043847A (zh) * 2021-03-25 2023-11-10 雅马哈株式会社 演奏解析方法、演奏解析系统及程序

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US20040001734A1 (en) * 2002-02-07 2004-01-01 Burrell James W. Virtual keyboard and control means
CN1521596A (zh) * 2003-01-29 2004-08-18 华 王 一种光电式多用途输入外设
CN103309434A (zh) * 2012-03-12 2013-09-18 联想(北京)有限公司 一种指令识别方法和电子设备
CN103391480A (zh) * 2013-07-15 2013-11-13 Tcl集团股份有限公司 一种向电视机输入字符的方法及系统
CN104199550A (zh) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 人机交互式虚拟触控装置、系统及方法
JP2016177658A (ja) * 2015-03-20 2016-10-06 カシオ計算機株式会社 仮想入力装置、入力方法、およびプログラム
CN105183242A (zh) * 2015-10-09 2015-12-23 卢庆港 基于虚拟网格畸变区域识别的虚拟键盘及其控制方法
CN106354412A (zh) * 2016-08-30 2017-01-25 乐视控股(北京)有限公司 基于虚拟现实设备的输入方法及装置
CN109871155A (zh) * 2019-01-29 2019-06-11 深圳市海派通讯科技有限公司 嵌入到移动终端设备的镭射投影输入方案
CN117043847A (zh) * 2021-03-25 2023-11-10 雅马哈株式会社 演奏解析方法、演奏解析系统及程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张金;成媛媛;李洋;刘晓威;: "一种基于虚拟键盘图像坐标变换的几何失真校正方法", 计算机应用与软件, no. 06, pages 84 - 88 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115268743A (zh) * 2022-07-29 2022-11-01 深圳市商汤科技有限公司 图像处理方法、装置、电子设备、信息输入系统和介质
CN115448118A (zh) * 2022-08-24 2022-12-09 深圳火神人工智能有限公司 电梯按键控制方法及装置

Also Published As

Publication number Publication date
CN111860239B (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
CN112287866B (zh) 一种基于人体关键点的人体动作识别方法及装置
CN111833340B (zh) 图像检测方法、装置、电子设备及存储介质
CN108898643B (zh) 图像生成方法、装置与计算机可读存储介质
CN110427895A (zh) 一种基于计算机视觉的视频内容相似度判别方法及系统
CN111814194B (zh) 基于隐私保护的图像处理方法、装置和电子设备
CN110516100A (zh) 一种图像相似度的计算方法、系统、存储介质及电子设备
CN112287867B (zh) 一种多摄像头的人体动作识别方法及装置
CN111860239B (zh) 按键识别方法、装置、终端设备及计算机可读存储介质
CN112257526B (zh) 一种基于特征交互学习的动作识别方法及终端设备
JP2014041486A (ja) 信号処理方法及び信号処理装置
EP3336749A1 (en) Fingerprint image recognition method, apparatus, and terminal
CN112287868A (zh) 一种人体动作识别方法及装置
CN114066987B (zh) 一种相机位姿估计方法、装置、设备及存储介质
CN113015022A (zh) 行为识别方法、装置、终端设备及计算机可读存储介质
CN112926472A (zh) 视频分类方法、装置及设备
CN108256520B (zh) 一种识别硬币年份的方法、终端设备及计算机可读存储介质
CN111161281A (zh) 一种人脸区域识别方法、装置及存储介质
CN115578590A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
WO2022199395A1 (zh) 人脸活体检测方法、终端设备及计算机可读存储介质
CN112200004B (zh) 图像检测模型的训练方法、装置及终端设备
KR100793285B1 (ko) 필터 매트릭스에 의한 영상 노이즈 제거 시스템, 방법 및그 기록매체
Li et al. The research of QR code image correction based on image gray feature
CN111080683A (zh) 图像处理方法、装置、存储介质及电子设备
CN109978889A (zh) 一种图像处理方法、系统、装置、存储介质及黑板装置
CN109241928B (zh) 一种识别异质虹膜的方法及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230907

Address after: Room C313, 1759 Mingxi Road, Beihu science and Technology Development Zone, Changchun City, Jilin Province, 130000

Applicant after: CHANGCHUN CHANGGUANG PRECISION INSTRUMENT GROUP CO.,LTD.

Address before: 528200 Tianfu Science and Technology Center, No. 12 Xia Nan Road, Guicheng Street, Nanhai District, Foshan City, Guangdong Province, 2nd floor 201 (Residence declaration)

Applicant before: Foshan Changguang Intelligent Manufacturing Research Institute Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant