CN107479717B - 屏幕键盘的显示方法及其计算机程序产品 - Google Patents

Abstract

一种屏幕键盘的显示方法，应用于相互连接的一实体键盘、一屏幕、一传感器及一电算装置，该实体键盘包含多个按键，该传感器用以检测并取得一操作位置影像，该屏幕键盘的显示方法包含：显示一屏幕键盘于该屏幕的显示画面最顶层；读取该传感器取得的该操作位置影像；将该操作位置影像转换为一操作位置数据，该操作位置数据报括被触摸或接近的该按键的一相对位置数据；及根据该操作位置数据，显示一第一按键标记于该屏幕键盘上对应被触摸或接近的该按键的位置。

Description

屏幕键盘的显示方法及其计算机程序产品

技术领域

本发明是关于一种计算机、行动装置或抬头显示设备/头戴显示设备/虚拟现实装置等电算装置的数据输入及显示方法，特别是关于一种屏幕键盘的显示方法及其计算机程序产品。

背景技术

屏幕虚拟键盘(On-Screen Virtual Keyboard)又称为屏幕键盘(On-ScreenKeyboard，英文简称OSK)，微软Windows操作系统中称为“屏幕小键盘”，例如Windows 7、Windows 8及Windows 10开启屏幕小键盘的方式为：同时按Win键+X键，再点选执行，输入osk；或者是，在开始、所有程序、附属应用程序、轻松存取中，选取屏幕小键盘。

现有屏幕键盘虽然可以用来取代实体键盘以输入数据，但除非利用触摸屏(Touch-Screen)可用手指点选屏幕键盘中的按键，否则，仅能以鼠标操作一个一个按键慢慢点选，数据输入速度非常慢，并不适合用来连续输入大量数据。通常，使用者在万不得已的情况下才会使用现有屏幕键盘，例如：实体键盘的某个按键故障无法正常输入，或是，实体键盘为英文键盘但临时需要输入法文。虽然用户亦可开启现有屏幕键盘并利用实体键盘输入数据，但此方式意义不大，因为现有屏幕键盘无法实时反馈用户在实体键盘上的手指待命位置，现有屏幕键盘仅能实时反馈用户在实体键盘上的击键(Keystroke)。

先前技术一，美国专利申请案公开号2012/0249587A1(发明者Glen及其他人等)的“KEYBOARD AVATAR FOR HEADS UP DISPLAY(HUD)”，其中公开一种抬头显示设备(HUD)或头戴显示设备(HMD)用以查看链接至计算机的输入设备以及代表用户手指的图像。现有技术一利用摄像镜头拍摄输入设备以及用户手指的影像，以呈现在抬头显示设备/头戴显示设备上，如现有技术一3A图所示，或是将影像经由转换后，以代表图像(手指/手部图像602，及键盘图像603)呈现在抬头显示设备/头戴显示设备上，如现有技术一3B图所示。

现有技术二，美国专利Patent No.8,928,590 B1(发明者Tarek)之“GESTUREKEYBOARD METHOD AND APPARATUS”，其中公开一种可捕捉操作手势的键盘，其利用装设在键盘上的一对摄像镜头捕捉使用者在手势操作范围(即，摄像镜头的可视范围)内的操作手势，经由手势辨识后，即可与系统互动。

上述现有技术皆未利用屏幕键盘技术并加以改良，或是转换后的代表图像，实际影像若经半透明效果的图像处理后失真度将大幅提高，恐致影像中的手指位置辨识不易，若不经半透明效果的图像处理又占据大幅显示画面(实际影像会完全挡住下方重叠画面)，纵使转换后的代表图像可以半透明效果呈现，然而手指代表图像602仍旧占据太多显示画面，且易分散使用者的注意力，而且虚(虚拟现实画面或游戏画面)实(实际键盘影像)混搭会有突兀的感觉；现有技术二的手势操作范围约在键盘上方4英寸处，其操作手势与实体键盘上的按键无关，因此无法与屏幕键盘技术结合，也无助于加速用户利用实体键盘输入数据，更无法协助用户训练盲打(打字时眼睛不看键盘，英文称Touch Typing)。此外，该些现有技术皆未公开摄像镜头误判手指位置时应如何修正的问题，因此，实有必要改善现有技术以提出一种改良的屏幕键盘技术，除了实时反馈击键，又可实时反馈用户在实体键盘上的手指待命位置，并避免摄像镜头误判手指待命位置的问题，改良后的屏幕键盘技术必可成为盲打的练习利器，另外，应用在抬头显示设备、头戴显示设备或虚拟现实装置(VR)上，亦解决用户无法直接目视实体键盘的问题，可协助原本不擅盲打的用户利用实体键盘输入数据并显示于屏幕/抬头显示设备/头戴显示设备/虚拟现实装置上。

发明内容

有鉴于此，本发明提出一种屏幕键盘的显示方法及其计算机程序产品与非暂态计算机可读取媒体，其目的在于，以一种屏幕键盘同时显示击键信息，以及手指待命位置信息，让用户的视线仅需专注在装置(如：计算机/行动装置/虚拟现实装置)屏幕上的屏幕键盘，不需注视实体键盘，以加快数据输入的速度。

本发明一实施例提出一种屏幕键盘的显示方法，应用于相互连接的一实体键盘、一屏幕、一传感器及一电算装置，该实体键盘包含多个按键，该传感器用以检测并取得一操作位置影像，该屏幕键盘的显示方法包含：显示一屏幕键盘于该屏幕的显示画面最顶层；读取该传感器取得的该操作位置影像；将该操作位置影像转换为一操作位置数据，该操作位置数据报括被触摸或接近的该按键的一相对位置数据；以及根据该操作位置数据，显示一第一按键标记于该屏幕键盘上对应被触摸或接近的该按键的位置。

本发明又提出一种计算机程序产品，适于储存于一计算机可读取媒体，当计算机加载该计算机程序并执行后，可完成前述的屏幕键盘的显示方法。

本发明又再提出一种非暂态计算机可读取媒体，储存一计算机程序，该计算机程序包含计算机可执行的多个指令，用以执行前述的屏幕键盘的显示方法。

以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何熟习相关技艺者了解本发明的技术内容并据以实施，且根据本说明书所公开的内容、申请专利范围及图式，任何熟习相关技艺者可轻易地理解本发明相关的目的及优点。

附图说明

图1为本发明第一实施例实体键盘装置的示意图。

图2为本发明第二实施例实体键盘装置的示意图。

图3为本发明第三实施例实体键盘装置的示意图。

图4为本发明第四实施例实体键盘装置的示意图。

图5为本发明第一实施例实体键盘装置与对应电算装置的系统方块图。

图6为本发明第五实施例实体键盘装置与对应电算装置的系统方块图。

图7为本发明第六实施例实体键盘装置与对应电算装置的系统方块图。

图8为本发明第七实施例屏幕键盘的示意图(一)。

图9为本发明第七实施例屏幕键盘的示意图(二)。

图10为本发明第七实施例屏幕键盘的示意图(三)。

图11为本发明第七实施例屏幕键盘的示意图(四)。

图12为本发明第七实施例屏幕键盘的示意图(五)。

图13为本发明第七实施例屏幕键盘的示意图(六)。

图14为本发明第七实施例屏幕键盘的示意图(七)。

图15为本发明第八实施例屏幕键盘的示意图(一)。

图16为本发明第八实施例屏幕键盘的示意图(二)。

图17为本发明第八实施例屏幕键盘的示意图(三)。

图18为本发明第九实施例屏幕键盘的示意图。

图19为本发明第十实施例屏幕键盘的示意图。

图20为本发明一实施例屏幕键盘的操作流程图。

其中，附图标记：

10、20、30、40、50 实体键盘

11 基座

111 容置空间

112 固定座

12 按键

13、23 光源模块

14、35、45 第一传感器

15、36 第二传感器

16、38

161

162

163 控制模块

微控制单元

击键判断单元

感应控制单元

231、431、441 LED元件

232、432、442 电路板

31 第一键盘

311 第一基座

312 第一容置空间

313 第一按键

314 第一固定座

32 第二键盘

321 第二基座

322 第二容置空间

323 第二按键

324 第二固定座

33、43 第一光源模块

34、44 第二光源模块

37 第三传感器

51 第四传感器

52 第五传感器

53 第三光源模块

56 键盘驱动程序

58 影像分析模块

60 第一缓冲区

62 第二缓冲区

63 第三缓冲区

64a、64b、64c 电算装置

66 处理器

68a、68b、68c、68d 屏幕键盘

70 操作系统桌面

72 第一按键标记

74 第二按键标记

76a、76b、76c 屏幕

S101 手指触摸/接近按键

S102 产生操作位置影像

S103 储存操作位置影像至第三缓冲区

S104 影像分析模块分析操作位置影像

S105 在屏幕键盘对应操作位置数据的按键处显示第一按键标记

S106 手指是否离开按键

S107 在屏幕键盘取消显示第一按键标记

S108 手指击键

S109 产生按键扫描码

S110 储存按键扫描码至第二缓冲区

S111 处理器读取按键扫描码

S112 在屏幕键盘对应按键扫描码的按键处显示第二按键标记

S113 在屏幕键盘取消显示第二按键标记

具体实施方式

本发明是使用于但不限定于个人计算机(PC/Mac)、笔记本电脑(Laptop/Notebook/Portable Computer)、智能手机(Smartphone)、平板计算机(Tablet PC)、智能电视(Smart TV)、抬头显示设备(Head-Up Display)/头戴显示设备(Head-MountedDisplay)/虚拟现实装置(Virtual Reality Display)、电视游乐器(Video Game Console，或TV Game Console)…等等电算装置(Computing Device)，为通讯连接实体键盘10、20、30、40、50与屏幕76a、76b、76c。所述通讯连接的方式可为无线通信或有线通讯方式。实体键盘10、20、30、40、50与屏幕76a、76b、76c可设置于电算装置外部而与电算装置连接，或者可内置于电算装置中。

本说明书的图式用以说明本发明的功能及技术特征，并非用以限定本发明的外观造型。以下将分别说明实体键盘10、20、30、40、50的多个实施例及屏幕键盘68a、68b、68c、68d的多个实施例，此些不同实施例的实体键盘10、20、30、40、50可和此些不同实施例的屏幕键盘68a、68b、68c、68d任意配合。

请参阅图1。图1为本发明第一实施例实体键盘的示意图。本实施例的实体键盘10包括基座11、多个按键12、光源模块13、第一传感器14、第二传感器15以及控制模块16。基座11具有容置空间111用以容设多个按键12。图1所示的实体键盘10通过多个区域的开孔以容置不同功能的该些按键12，其为现有常用的技术手段，在此便不加以赘述。

光源模块13设置于基座11，用以向多个按键12提供光源。如图1中所示，在基座11上方较长边的中央位置外侧边，设置可容设光源模块13的固定座112。光源模块13是朝向多个按键12设置，以提供多个按键12所需的光源。在本实施例中，为能向所有按键12提供光源，光源模块13所设置的高度会高于所有按键的高度，以使得光源模块13所发出的光源，能够照射到所有按键12，亦或是使所有按键12在的区域产生足够的环境亮度。另外，光源模块13可为一LED元件，且可发出可见光。在其他实施态样中，光源模块亦可为发出红外线光的LED元件，本发明不以此为限。

第一传感器14及第二传感器15亦设置于基座11并朝向多个按键12。在本实施例中，第一传感器14及第二传感器15同样设置于固定座112上，并朝向多个按键12。第一传感器14用以检测多个按键12的环境亮度，第二传感器15用以检测并取得操作位置影像。在本实施例中，固定座112设置于基座11上方较长边的中央位置外侧边，其是为了使光源模块13、第一传感器14及第二传感器15能够左右对称地向多个按键12提供光源或进行检测，但本发明不以此为限。在其他实施态样中，固定座112可设置于基座11的任一侧边的任一位置，只能要够提供多个按键12光源，并检测或照射多个按键12即可。另外，本实施例中的光源模块13、第一传感器14及第二传感器15皆设置于一个固定座112，但本发明亦不以此为限。光源模块13、第一传感器14及第二传感器15亦可分别设置于基座11的任一位置，或二二一组设置于基座11的任一位置。或第一传感器14设置于基座11的任一位置，光源模块13及第二传感器15设置于一个固定座112。

在本实施例中，第一传感器14为亮度传感器，或称环境光传感器(Ambient LightSensor)。第一传感器14可检测多个按键12所在环境的环境亮度。第一传感器14是为了判断多个按键12所在的环境亮度是否充足，以使第二传感器15可检测并取得所需数据。

在本实施例中，第二传感器15为摄像镜头，而第二传感器15检测并取得的操作位置影像即为拍摄到的手指与按键12影像，此影像由控制模块16传送至电算装置64a(如图5所示)端，由电算装置64a端的影像分析模块58进行分析影像，以转换成操作位置数据。操作位置数据报括被触摸或接近的该些按键12的相对位置数据，即用户的手指与该些按键12的相对位置数据。由于第二传感器15需要能够拍摄到所有按键12才能正确判断用户的手指与该些按键12的相对位置数据，因此第二传感器15所设置的位置要高于任一按键12的表面。

控制模块16设置于基座11的容置空间111中，并电连接多个按键12、光源模块13、第一传感器14及第二传感器15。控制模块16可位于基座11的容置空间111中的任一位置，本发明不以此为限。当控制模块16接收并判断第一传感器14检测到的环境亮度等于或大于预设环境亮度时，即会启动第二传感器15并接收第二传感器15的操作位置影像。当控制模块16判断第一传感器14检测到的环境亮度小于预设环境亮度时，控制模块16开启光源模块13向多个按键12提供光源。

在此，预设环境亮度即为使得第二传感器15能够清楚检测并取得操作位置影像的环境亮度。预设环境亮度可事先设定后预存于控制模块16中，以利进行后续比对判断。控制模块16所接收的操作位置影像，须交由电算装置64a端进行分析。

当控制模块16要开始取得操作位置影像前，先判断第一传感器14检测到的环境亮度是否等于或大于预设环境亮度，若是，则表示第二传感器15可清楚检测并取得操作位置影像。此时，则启动第二传感器15开始拍摄并检测取得操作位置影像。当控制模块16判断第一传感器14检测到的环境亮度小于预设环境亮度时，即表示此时第二传感器15所拍摄的影像可能会过暗而无法检测并取得操作位置影像。因此，控制模块16即会开启光源模块13向多个按键12提供光源，以改善多个按键12区域的环境亮度。

藉此，上述实体键盘可通过自动补光技术解决当环境光源不足，且应用在抬头显示设备、头戴显示设备或虚拟现实装置(VR)时，即使在未开灯光的黑暗环境中，使用者藉由本实施例的自动补光技术仍可利用实体键盘10输入数据。

在本实施例中，当第二传感器15已启动并持续拍摄、检测并取得操作位置影像时，控制模块16可得知操作位置影像是否包含手指与多个按键12的相对位置数据(详见后述图5的说明)。当操作位置影像未包含手指与多个按键12的相对位置数据时，即代表用户已没有在继续操作实体键盘10，此时控制模块16关闭第二传感器15，停止继续拍摄、检测并取得操作位置影像。藉此，可在用户未操作实体键盘10，或持续一段时间未操作实体键盘10时主动关闭第二传感器15，以节省电源。

另外，当光源模块13为启动状态，此时第一传感器14持续检测环境亮度，当第一传感器14检测到的环境亮度大于预设环境亮度时，控制模块16关闭该光源模块13。在此，是当环境亮度已被改善，例如使用者打开室内灯光，第一传感器14检测到的环境亮度已大于预设环境亮度，即不需要光源模块13的光源进行辅助。此时，控制模块16主动关闭该光源模块13，以节省电源。

接着请参阅图2，图2为本发明第二实施例实体键盘的示意图。本实施例中与第一实施例相同的元件及结构以相同的元件符号表示且不再赘述。本实施例与第一实施例不同之处在于，本实施例的实体键盘20的光源模块为多个光源模块23，且多个光源模块23是设置于基座11的容置空间111中，并位于多个按键12的下方，且可朝向多个按键12提供光源。本实施例中多个光源模块23为多个LED元件231设置于一个电路板232上并置于按键12下方。在其他实施态样中，多个光源模块亦可为在每一个按键背面设置LED元件，或是于基座的容置空间的侧边设置多个LED元件，并配合导光板、反射片等元件，使光源由容置空间朝向按键12方向射出。

在本实施例中，当控制模块16判断第一传感器14检测到的环境亮度小于预设环境亮度时，控制模块16陆续开启多光源模块23的至少一个，直到控制模块16判断第一传感器14检测到的环境亮度等于或大于预设环境亮度或是多个光源模块23全部开启。也就是说，当控制模块16判断现在环境亮度不足时，可先控制一个或多个光源模块23开启，以提供光源。接着，控制模块16持续接收并判断第一传感器14检测到的环境亮度，若仍不足，则再开启一个或多个光源模块23。一直到控制模块16判断第一传感器14检测到的环境亮度已等于或大于预设环境亮度，才停止再开启光源模块23。或者控制模块16陆续开启光源模块23直到所有的光源模块23皆已被开启。

藉此，可通过控制模块16进行判断，开启足够提供所需环境亮度的光源模块23即可，而不需要每一次在环境亮度不足时就一次开启所有的光源模块23。如此，在本实施例的实体键盘20可在需要时开启足够的光源模块23，又可达到节约省电的功效。

请参阅图3，图3为本发明第三实施例实体键盘的示意图。本实施例的实体键盘30包括第一键盘31、第二键盘32、第一光源模块33、第二光源模块34、第一传感器35、第二传感器36、第三传感器37以及控制模块38。第一键盘31包括具有第一容置空间312的第一基座311及多个第一按键313，多个第一按键313设置于第一容置空间312中。第二键盘32包括具有第二容置空间322的第二基座321及多个第二按键323，多个第二按键323设置于第二容置空间322中。在本实施例中，第一键盘31及第二键盘32为将一般实体键盘的按键，分成可成组使用的左右键盘，但本发明不以此为限。第一键盘及第二键盘亦可为文字符号键盘与数字键盘的组合。

第一光源模块33设置于第一基座311，用以向多个第一按键313提供第一光源。如图3所示，在第一基座311上方较长边的中央位置外侧边，设置可容设第一光源模块33的第一固定座314。第一光源模块33是朝向多个第一按键313设置，以提供多个第一按键313所需的光源。在本实施例中，为能向所有第一按键313提供光源，第一光源模块33所设置的高度会高于所有按键的高度，以使得第一光源模块33所发出的光源，能够照射到所有第一按键313，亦或是使所有第一按键313在的区域产生足够的环境亮度。

同样地，第二光源模块34设置于第二基座321，用以向多个第二按键323提供第二光源。如图3所示，在第二基座321上方较长边的中央位置外侧边，设置可容设第二光源模块34的第二固定座324。第二光源模块34是朝向多个第二按键323设置，以提供多个第二按键323所需的光源。在本实施例中，为能向所有第二按键323提供光源，第二光源模块34所设置的高度会高于所有按键的高度，以使得第二光源模块34所发出的光源，能够照射到所有第二按键323，亦或是使所有第二按键323在的区域产生足够的环境亮度。

第一传感器35设置于第一基座311，用以检测多个第一按键313的环境亮度。如图3所示，第一传感器35则设置于此第一固定座314上，并朝向多个第一按键313。由于第一传感器35不一定要朝向所有按键，仅需单点检测，故，在另一些实施例中，第一传感器35亦可设置于第一基座311或第二基座321的其他位置，例如任意按键旁的平面空间(低于按键高度)。另外，第一键盘31与第二键盘32的距离一般来说不可能太远，两者的环境亮度通常不会有太大的差异，因此，本实施例以通过一个第一传感器35(仅检测第一键盘31的环境亮度)让控制模块16同时控制第一光源模块33与第二光源模块34。

在本实施例中，第一传感器35为亮度传感器，或称环境光传感器(Ambient LightSensor)。第一传感器35可检测多个第一按键313所在环境的环境亮度。在另一些实施例中，第一传感器35设置在第二键盘32的第二基座321，以检测多个第二按键323所在环境的环境亮度。第一传感器35是为了判断多个第一按键313(当设置于第一键盘31时)或多个第二按键323(当设置于第二键盘32时)所在的环境亮度是否充足，以使第二传感器36及第三传感器37可检测并取得所需数据。

第二传感器36设置于第一基座311并朝向多个第一按键313。在本实施例中，第二传感器36与第一光源模块33一起设置于第一固定座314上，并朝向多个第一按键313。第二传感器36用以检测并取得第一操作位置影像。在本实施例中，第一固定座314设置于第一基座311上方侧的中央位置外侧边，其是为了使第一光源模块33及第二传感器36能够左右对称得向多个第一按键313提供光源或进行检测，但本发明不以此为限。在其他实施态样中，第一固定座314可设置于第一基座311的任一侧边的任一位置，只能要够提供多个第一按键313光源，并检测或照射多个第一按键313即可。另外，本实施例中的第一光源模块33及第二传感器36皆设置于一个第一固定座314，但本发明亦不以此为限。第一光源模块33及第二传感器36亦可分别设置于第一基座311的任一位置。

第三传感器37设置于第二基座321并朝向多个第二按键323。在本实施例中，第三传感器37与第二光源模块34一起设置于第二固定座324上，并朝向多个第二按键323。第三传感器37用以检测并取得第二操作位置影像。在本实施例中，第二固定座324设置于第二基座321上方侧的中央位置外侧边，其是为了使第二光源模块34及第三传感器37能够左右对称得向多个第二按键323提供光源或进行检测，但本发明不以此为限。在其他实施态样中，第二固定座324可设置于第二基座321的任一侧边的任一位置，只能要够提供多个第二按键323光源，并检测或照射多个第二按键323即可。另外，本实施例中的第二光源模块34及第三传感器37皆设置于一个第二固定座324，但本发明亦不以此为限。第二光源模块34及第三传感器37亦可分别设置于第二基座321的任一位置。

在本实施例中，第二传感器36及第三传感器37为摄像镜头。而第二传感器36及第三传感器37检测并取得的操作位置影像即分别为拍摄到的第一影像与第二影像，此第一影像与第二影像由控制模块38传送至电算装置64a端，由电算装置64a端的影像分析模块58进行分析影像，以转换成操作位置数据其为用户的手指与多个第一按键313或多个第二按键323的相对位置数据。由于第二传感器36需要能够拍摄到所有第一按键313才能正确判断用户的手指与多个第一按键313的第一相对位置数据。第三传感器37需要能够拍摄到所有第二按键323才能正确判断用户的手指与多个第二按键323的第二相对位置数据。因此第二传感器36所设置的位置要高于任一第一按键313的表面，第三传感器37所设置的位置要高于任一第二按键323的表面。

控制模块38设置于第二容置空间322中，并电连接多个第一按键313、多个第二按键323、第一光源模块33、第二光源模块34、第一传感器35、第二传感器36及第三传感器37。在此，虽然控制模块38位于第二容置空间322，但本发明不以此为限。但在其他实施态样中，控制模块亦可设置于第一容置空间中。另外，本实施例的控制模块38虽然是设置于第二容置空间322中，但其可通过无线模块控制第一键盘31中各元件的开启或关闭，以及接收在第一键盘31中各元件所检测取得的数据。在其他实施态样中，亦可使用有线方式连接第一键盘及第二键盘，本发明不以此为限。另外，在一些实施态样中，亦可于第一键盘中设置一个第一控制模块，于第二键盘中设置一个第二控制模块，以分别控制第一键盘及第二键盘中的各元件的运作。

当控制模块38判断第一传感器35检测到的环境亮度等于或大于一预设环境亮度时，启动第二传感器36及第三传感器37并接收第二传感器36的第一操作位置影像与第三传感器37的第二操作位置影像。当控制模块38判断第一传感器35检测到的环境亮度小于预设环境亮度时，控制模块38开启第一光源模块33向多个第一按键313提供第一光源、开启第二光源模34组向多个第二按键323提供第二光源或同时开启第一光源模块33及第二光源模34。

在此，预设环境亮度即为使得第二传感器36及第三传感器37能够清楚检测并取得操作位置影像的环境亮度。预设环境亮度可事先设定后预存于控制模块38中，以利进行后续比对判断。控制模块38所接收的操作位置影像，须交由电算装置64a端进行分析。

当控制模块38要开始取得第一操作位置影像及第二操作位置影像前，先判断第一传感器35检测到的环境亮度是否等于或大于预设环境亮度，若是，则表示第二传感器36及第三传感器37可清楚检测并取得操作位置影像。此时，则启动第二传感器36及第三传感器37开始拍摄并检测取得第一操作位置影像及第二操作位置影像。当控制模块38判断第一传感器35检测到的环境亮度小于预设环境亮度时，即表示此时第二传感器36或第三传感器37所拍摄的影像可能会过暗而无法检测并取得第一操作位置影像或第二操作位置影像。因此，控制模块38即会开启第一光源模块33向多个第一按键313提供光源、开启第二光源模块34向多个第二按键323提供光源或同时开启第一光源模块33及第二光源模块34，以改善多个第一按键313及多个第二按键323区域的环境亮度。

藉此，上述结构可运用在左右分离式的实体键盘，并通过自动补光技术解决当环境光源不足，且应用在抬头显示设备、头戴显示设备或虚拟现实装置(VR)时，即使在未开灯光的黑暗环境中，使用者藉由本实施例的自动补光技术仍可利用实体键盘30输入数据。

在本实施例中，当第二传感器36及第三传感器37已启动并持续拍摄、检测并取得第一操作位置影像及第二操作位置影像后，控制模块38可得知第一操作位置影像是否包含手指与多个第一按键313的第一相对位置数据，以及第二操作位置影像是否包含手指与多个第二按键323的第二相对位置数据。此些第一及第二相对位置数据可由电算装置64a端分析后传回至控制模块38，详细可参阅后面关于图5的说明，虽然并非本实施例的装置，但原理大致相同。当第一操作位置影像及第二操作位置影像皆未包含手指与多个第一按键313的第一相对位置数据及手指与多个第二按键323的第二相对位置数据时，即代表用户已没有在继续操作实体键盘30，此时控制模块38关闭第二传感器36及第三传感器37，停止继续拍摄、检测并取得第一操作位置影像及第二操作位置影像。藉此，可在用户未操作实体键盘30，或持续一段时间未操作实体键盘30时主动关闭第二传感器36及第三传感器37，以节省电源。

另外，当第一光源模块33或第二光源模块34为启动状态，且第一传感器35检测到的环境亮度等于或大于预设环境亮度时，控制模块38关闭该第一光源模块33或第二光源模块34。意即，当第一光源模块33为启动状态、第二光源模块34为启动状态或第一光源模块33及第二光源模块34皆为启动状态，此时第一传感器35持续检测环境亮度，当第一传感器35检测到的环境亮度大于预设环境亮度时，控制模块38关闭第一光源模块33及第二光源模块34。在此，是当环境亮度已被改善，例如使用者打开室内灯光，第一传感器35检测到的环境亮度已大于预设环境亮度，即不需要第一光源模块33或第二光源模块34的光源进行辅助。此时，控制模块38主动关闭第一光源模块33及第二光源模块34，以节省电源。

接着请参阅图4，图4为本发明第四实施例实体键盘的示意图。本实施例中与第三实施例相同的元件及结构以相同的元件符号表示且不再赘述。本实施例与第三实施例不同之处在于，本实施例的实体键盘40的第一光源模块为多个第一光源模块43，且多个第一光源模块43是设置于第一基座311的第一容置空间312中，并位于多个第一按键313的下方，且可朝向多个第一按键313提供第一光源。且第二光源模块为多个第二光源模块44，且多个第二光源模块44是设置于第二基座321的第二容置空间322中，并位于多个第二按键323的下方，且可朝向多个第二按键323提供第二光源。

本实施例中多个第一光源模块43为多个LED元件431设置于一个电路板432上并置于第一按键313下方。多个第二光源模块44为多个LED元件441设置于一个电路板442上并置于第二按键323下方。在其他实施态样中，多个光源模块亦可为在每一个按键背面设置LED元件，或是于基座的容置空间的侧边设置多个LED元件，并配合导光板、反射片等元件，使光源由容置空间朝向按键方向射出。

另外，本实施例与第三实施例不同之处在于第一传感器45为二个，其中一个第一传感器45设置于第一基座311，且在本实施例中是与第二传感器36一起设置于第一固定座314。另一个第一传感器45则是设置于第二基座321。且在本实施例中是与第三传感器37一起设置于第二固定座324。

再者，第一键盘31及第二键盘32分别设置用来检测多个第一按键313及多个第二按键323的第一传感器45，可以针对第一键盘31及第二键盘32分别检测环境亮度，以各别得到各实体键盘的环境亮度值。如此，则可分别控制第一光源模块43及第二光源模块44的开启或关闭，以得到所需的环境亮度，而不用同时开启第一光源模块43及第二光源模块44，亦可达到节省电源的功效。

在本实施例中，当控制模块38判断位于第一基座311的第一传感器45检测到的环境亮度小于预设环境亮度时，控制模块38陆续开启多个第一光源模块43的至少一个，直到控制模块38判断第一传感器45检测到的环境亮度等于或大于预设环境亮度或是多个第一光源模块43全部开启。也就是说，当控制模块38判断现在环境亮度不足时，可先控制一个第一光源模块43开启(在此为控制一个LED元件431开启)，以提供光源。接着，控制模块38持续接收并判断第一传感器45检测到的环境亮度，若仍不足，则再开启一个第一光源模块43(在此为控制一个LED元件431的开启)。一直到控制模块38判断第一传感器45检测到的环境亮度已等于或大于预设环境亮度，才停止再开启第一光源模块43。或者控制模块38陆续开启第一光源模块43直到所有的第一光源模块43皆已被开启。在此虽以一次开启一个LED元件431为举例说明，但在其他实施态样中，亦可将二个至多个LED元件431设定为一组，以一次开启二至多个LED元件431。

同样地，当控制模块38判断位于第二基座321的第一传感器45检测到的环境亮度小于预设环境亮度时，控制模块38陆续开启多个第二光源模块44的至少一个，直到控制模块38判断第一传感器45检测到的环境亮度等于或大于预设环境亮度或是多个第二光源模块44全部开启。也就是说，当控制模块38判断现在环境亮度不足时，可先控制一个第二光源模块44开启(在此为控制一个LED元件441开启)，以提供光源。接着，控制模块38持续接收并判断第一传感器45检测到的环境亮度，若仍不足，则再开启一个第二光源模块44(在此为控制一个LED元件441的开启)。一直到控制模块38判断第一传感器45检测到的环境亮度已等于或大于预设环境亮度，才停止再开启第二光源模块44。或者控制模块38陆续开启第二光源模块44直到所有的第二光源模块44皆已被开启。在此虽以一次开启一个LED元件441为举例说明，但在其他实施态样中，亦可将二个至多个LED元件441设定为一组，以一次开启二至多个LED元件441。

藉此，可通过控制模块38进行判断，开启足够提供所需环境亮度的第一光源模块43或第二光源模块44即可，而不需要每一次在环境亮度不足时就一次开启所有的第一光源模块43或第二光源模块44。如此，在本实施例的实体键盘40可在需要时开启足够的第一光源模块43或第二光源模块44，又可达到节约省电的功效。

另外，由于本实施例有二个第一传感器45分别设置于第一基座311及第二基座321，而可分别检测多个第一按键313及第二按键323的环境亮度。因此，当第一光源模块43为启动状态，且位于第一基座311的第一传感器45检测到的环境亮度等于或大于预设环境亮度时，控制模块38关闭第一光源模块43。或是当第二光源模块44为启动状态，且位于第二基座321的第一传感器45检测到的环境亮度等于或大于预设环境亮度时，控制模块38关闭第二光源模块44。

亦即，当第一光源模块43为启动状态、第二光源模块44为启动状态或第一光源模块43及第二光源模块44皆为启动状态，此时二个第一传感器45会持续检测第一键盘31及第二键盘32的环境亮度。并分别依据各第一传感器45检测到的环境亮度来关闭第一光源模块43或第二光源模块44。在此，是当环境亮度已被改善，例如使用者打开室内灯光，第一传感器45检测到的环境亮度已大于预设环境亮度，即不需要第一光源模块33或第二光源模块34的光源进行辅助。此时，控制模块38主动关闭第一光源模块43或第二光源模块44，以节省电源。

请参阅图5，图5为本发明第一实施例实体键盘与对应电算装置的系统方块图。其中，控制模块16进一步包含微控制单元161(Micro Control Unit)、击键判断单元162及感应控制单元163。击键判断单元162电连接至对应于每一个按键12的接点(或称按键接点)，用以检测接点因击键而由常开状态变化为通路状态，据以产生按键扫描码。微控制单元161通过键盘驱动程序(Keyboard Driver)将该按键扫描码储存至电算装置64a端的键盘缓冲区(Keyboard Buffer)的第二缓冲区62，并发送中断请求至电算装置64a的处理器66。接着，电算装置64a的处理器66响应中断请求，并自第二缓冲区62读取按键扫描码，而可得知哪一个按键12被击键，所谓的“击键”包含按键的按压(Key Down，产生Make Code)与释放(KeyUp，产生Break Code)。以上属于本发明实体键盘击键的作动流程部分。

感应控制单元163电连接至第一传感器14、第二感应该15及光源模块13。前述的预设环境亮度储存于感应控制单元163，当第一传感器14检测到的环境亮度小于预设环境亮度时，由感应控制单元163开启光源模块13以提供光源，当检测到的环境亮度等于或大于预设环境亮度时，感应控制单元163启动第二传感器15开始检测取得操作位置影像。而第二传感器15检测并取得的操作位置影像，由微控制单元161通过键盘驱动程序56储存至电算装置64a端的键盘缓冲区的第一缓冲区60，并发送中断请求至电算装置64a的处理器66，以便电算装置64a的处理器66响应中断请求，并自第一缓冲区60读取操作位置影像，接着，由电算装置64a端设置的影像分析模块58进行分析影像数据，以进一步转换成操作位置数据，在操作位置数据中包含被触摸或接近的该些按键12的相对位置数据，即用户的手指与按键12的相对位置数据。当操作位置影像因影像过暗而无法进行辨识分析时，影像分析模块58通知微控制单元161，以便感应控制单元163开启光源模块13以提供光源或是加强光源。当操作位置数据不包含手指与按键12的相对位置数据时，影像分析模块58通知微控制单元161，以便感应控制单元163关闭第二传感器15，停止继续检测并取得操作位置影像。

上述缓冲区采用先进先出(FIFO，First-in First-out)的队列架构。在一些实施例中，操作位置影像储存至专属的第一缓冲区60后，不以发送中断请求的方式通知电算装置64a的处理器66，而是电算装置64a的处理器66以轮询(Polling)方式每隔一段时间自动读取专属储存操作位置影像的第一缓冲区60。同样地，按键扫描码储存至专属的第二缓冲区62后，也可由电算装置64a的处理器66以轮询方式每隔一段时间自动读取专属储存按键扫描码的第二缓冲区62。

请参阅图6，图6为本发明第五实施例实体键盘与对应电算装置的系统方块图。本实施例的实体键盘50与第一实施例的实体键盘不同之处在于本实施例的实体键盘50不包括任何传感器，而其击键判断单元162的功能与作动流程如上述第一实施例所述，故不赘述。微控制单元161于此亦仅处理击键判断单元162所产生的按键扫描码，作动流程亦同上述第一实施例的作动流程。而电算装置64b与前述第一实施例电算装置64a的差异，主要在于电算装置64b设有第四传感器51，以及独立于键盘驱动程序56的键盘缓冲区之外的第三缓冲区63。第四传感器51用以检测并取得操作位置影像。在本实施例中，第四传感器51为摄像镜头，而第四传感器51检测并取得的操作位置影像即为拍摄到的手指与按键12影像，将操作位置影像储存至第三缓冲区63后，由影像分析模块58进行分析影像，以转换成操作位置数据，操作位置数据报括被触摸或接近的该些按键12的相对位置数据，即用户的手指与该些按键12的一相对位置数据。第四传感器51可例如内建于笔记本电脑屏幕上方的摄像镜头，又例如HTC的虚拟现实装置Vive设于前端下方的摄像镜头，皆可用来拍摄实体键盘50的操作位置影像。

请参阅图7，图7为本发明第六实施例实体键盘与对应电算装置的系统方块图。本实施例的实体键盘50与第五实施例相同，不另赘述。而电算装置64c与第五实施例电算装置64b差异之处在于增设了第五传感器52及第三光源模块53，第五传感器52用以检测多个按键12的环境亮度是否充足，以使第四传感器51可检测并取得所需数据，于此第五传感器52为亮度传感器，或称环境光传感器。第三光源模块53可为一LED元件，且可发出可见光。在其他实施态样中，第三光源模块53亦可为发出红外线光的LED元件，本发明不以此为限。当处理器66接收并判断第五传感器52检测到的环境亮度等于或大于预设环境亮度时，即会启动第四传感器51并接收第四传感器51的操作位置影像。当处理器66判断第五传感器52检测到的环境亮度小于预设环境亮度时，处理器66开启第三光源模块53向多个按键12提供光源。

以下所述本发明屏幕键盘的显示方法及其计算机程序产品和非暂态计算机可读取媒体，即利用上述该些实施例的实体键盘10、20、30、40、50及电算装置64a、64b、64c据以实施。

参阅图8至图12，本发明第七实施例屏幕键盘68a的示意图。本实施例的屏幕键盘68a的显示，应用第五实施例中的电算装置64b及实体键盘50进行说明。图8说明了本实施例屏幕键盘68a显示于电算装置64b内置或外接的屏幕76a，屏幕键盘68a执行后是位于操作系统桌面70的最顶层(即，视图属性设为“Topmost”)，亦即，即使其他应用程序的窗口显示在屏幕键盘68a的同一位置，仍不会盖过屏幕键盘68a的显示。屏幕键盘68a的键盘布局(Keyboard Layout)对应实体键盘50(如图10所示)的布局而绘制，以避免与实际按键位置差异过大，让使用者不适应。屏幕键盘68a是计算机程序产品(Computer Program Product)的一部份。

图9为屏幕键盘68a的放大示意图，其说明了当使用者手指触摸或“接近但未碰触”(例如手指以极近的距离悬浮在按键12上方)实体键盘50的按键12时，第四传感器51检测并取得操作位置影像，操作位置影像即为拍摄到的手指与按键12影像，影像分析模块58进行分析操作位置影像后转换成操作位置数据。操作位置数据包括被触摸或接近的该些按键12的相对位置数据，即用户的手指与该些按键12的相对位置数据。处理器66再根据操作位置数据转换成对应的第一按键标记72，以便于屏幕键盘68a中显示对应被触摸按键12的第一按键标记72。于此，第一按键标记72的标示位置包含：按键a、按键s、按键d、按键f、按键j、按键k、按键l、按键；及空格键。图10对应图9，图10说明了用户手指触摸实体键盘50上的按键A、按键S、按键D、按键F、按键J、按键K、按键L、按键；及空格键的按键12。当用户手指触摸或接近按键12而未击键时，此时手指的所在位置可称为“手指待命位置”(Finger StandbyPosition)或“手指准备位置”(Finger Ready Position)。

图11说明了屏幕键盘68a上的“按键j”同时标示有第一按键标记72与第二按键标记74，亦即，用户手指触摸或接近实体键盘50上的按键A、按键S、按键D、按键F、按键J、按键K、按键L、按键；及空格键的按键12，同时亦按下了按键J的按键12。换句话说，按键J的按键12不仅产生被触摸/接近的操作位置数据，同时，亦被击键而产生按键扫描码(属MakeCode)。此情况发生在按键J的按键12被按压下(产生Make Code)，但是尚未释放按键J的按键12(尚未产生Break Code)，在正常速度打字时，第二按键标记74于屏幕键盘68a上的存在时间(或称显示时间)相当的短，通常不到一秒钟的时间，甚至低于十分之一秒，对人眼视觉来说算是“一闪而过”。

理论上，手指一定是先触摸到按键12，接着才能按下按键12，若是以稍快的速度打字时，并且于按压每一个按键的空档时手指都不触摸按键12的话，同一按键的操作位置数据与按键扫描码(属Make Code)“几乎”同时产生(两者之间仍会有时间差，但差距是以毫秒计算)，亦即，同一按键的第一按键标记72与第二按键标记74会“几乎”同时显示(因肉眼不易察觉时间差，故，感觉是同时)于屏幕键盘68a。然而，多数人(尤其是以双手及正确指法打字的人)打字时，在未击键前(例如正在思考要用何字)，习惯将手指放在“初始按键位置”(Home Keys，或称Home Row，即如图10手指所触摸的按键12)上，或是将手指放在“欲按压的”按键12上，接着，才按压按键12。也就是说，某些时候同一按键的第一按键标记72会明显比第二按键标记74较早显示于屏幕键盘68a。除了少数几个锁定按键(例如锁定键类型的大写锁定键、数字锁定键及卷动锁定键，或编辑键类型的“插入键”)的第二按键标记74可能会单独显示于屏幕键盘68a而未与第一按键标记72并存，其他按键的击键(指产生Make Code)一定是先显示第一按键标记72再显示第二按键标记74，或者，两者几乎同时显示于屏幕键盘68a，而不会发生第二按键标记74单独显示而无第一按键标记72。人眼在视觉上可明显分辨两个重叠标记与单独一个标记的不同(以图12为例)，仅管第二按键标记74只是一闪而过，单独存在的第二按键标记74(如图12上方)明显与重叠的两个标记(如图12下方)不同，尤其当两种不同颜色的标记重叠显示且上层标记具有不完全透明的透明度时会混合出第三种颜色的视觉效果，肉眼可明显区别此第三种颜色与两标记颜色的不同。因此，第二按键标记74不会单独显示这一点可做为一种视觉上的检核机制，当某一按键的第二按键标记74单独显示于屏幕键盘68a即代表错误发生(例如摄像镜头所拍的操作位置影像不清，导致影像分析模块58误判)，可提醒使用者注意。在一些实施例中，屏幕键盘68a具有自动修正机制，当某一按键的第二按键标记74单独显示于屏幕键盘68a上时，处理器66计算误判位置与实际位置两者间的误差值。再将此误差值反馈给影像分析模块58及/或处理器66，以便修正下一次的操作位置数据，降低误判发生的机率。

在此实际位置即是指单独显示的第二按键标记74，也就是因为实体键盘50上的按键12被击键时，所产生的与第二按键标记74。由于此第二按键标记74是因为真的有接收到按键12被击键，所以应为正确的标记。判误位置是指邻近的第一按键标记72，且于击键时未与第二按键标记74重叠显示的第一按键标记72。由于如前所述，当取得的数据皆正确时，第一按键标记72(手指触摸按键位置)应该会与第二按键标记74(被击键的按键12)有所重叠。因此，当按键12已被击键，而应该要显示有重叠的第一按键标记72与第二按键标记74的按键，在屏幕键盘68a中只显示第二按键标记74时，则有可能是因为分析得到的操作位置数据有所误差，使得第一按键标记72标示于错误位置，此时，被标记错误的第一按键标记72的位置即被定义为判误位置。

由于第二按键标记74只是一闪而过，在一些实施例中，屏幕键盘68a仅标示出第一按键标记72，以显示手指待命位置，而无第二按键标记74，屏幕键盘68a直接略过按键扫描码的处理，如图9所示。

图12为图11中屏幕键盘68a上按键j的放大示意图，以说明“按键j”上的两种标记，上方的第二按键标记74以反白标示(High light)，于此为方形、黑底、白字的态样，而中间的第一按键标记72以不同形状的彩色半透明标示，于此为圆形、浅灰。下方的重叠标记图式即为图11中按键j的放大示意图。为明显区别第一按键标记72与第二按键标记74，在一些实施例中，第一按键标记72与第二按键标记74采用不同的形状来标示，例如：圆形与方形、方形与三角形、圆形与星形…等等组合。在一些实施例中，第一按键标记72与第二按键标记74采用不同的颜色来标示，例如：黄色与绿色、红色与蓝色、黑色与黄色、浅灰与红色…等等组合。在一些实施例中，第一按键标记72与第二按键标记74采用不同的形状以及不同的颜色来标示。在一些实施例中，标示在上层的标记为以稍微透明的方式呈现，以让位于下层的标记得以被看见，例如：若第一按键标记72位于上层而第二按键标记74位于下层，则第一按键标记72以50％的透明度呈现。也就是说，位于上层的第一按键标记72或第二按键标记74具有不完全透明的透明度。在一些实施例中，若同一按键12被触摸(或接近)及击键可另外以不同形状、颜色等有别于第一按键标记72与第二按键标记74的第三按键标记来标记。

图13为用户手指触摸或接近实体键盘50上的Shift按键、按键S、按键D、按键F、按键J、按键K、按键L、按键；及空格键的按键12(产生操作位置影像)，同时按压Shift按键及按键J的按键12(产生按键扫描码，属Make Code)时，在屏幕键盘68a上所显示的标记。此图式说明了当“Shift按键”的按键12被按下而产生按键扫描码后，屏幕键盘68a上的按键代表标记亦随之更换，即，字母键由原本小写的按键代表标记换成大写的按键代表标记，同时具有两个按键代表标记的按键(例如数字键及符号键)则由原本的下方按键代表标记换成上方的按键代表标记，举例来说：数字键的按键1同时具有两个按键代表标记，分别是上方的“！”与下方的“1”，而符号键的“按键/”同时具有两个按键代表标记，分别是上方的“？”与下方的“/”。在未按下“Shift按键”时显示下方的“1”及“/”(如图11所示)，而当按下“Shift按键”后则显示上方的“！”及“？”(如图13所示)。

图14为用户于实体键盘50上已击键大写锁定键的按键12(产生按键扫描码，包含Make Code与Break Code，即，已释放按键12)，同时触摸了(或接近)实体键盘50上的按键A、按键S、按键D、按键F、按键J、按键K、按键L、按键；及空格键的按键12，并且按压下按键J的按键12(产生按键扫描码，Make Code)，此时在屏幕键盘68a上所显示的标记。此图说明了当“大写锁定键”的按键12产生按键扫描码后，屏幕键盘68a上的字母键由原本小写的按键代表标记换成大写的按键代表标记。

以上两图主要为说明“Shift按键”与“大写锁定键”的按键扫描码可使屏幕键盘68a更换部份按键代表标记。同样的，“数字锁定键”亦可使屏幕键盘68a更换部份按键代表标记。亦即，屏幕键盘68a不仅仅只有显示第一按键标记72与第二按键标记74的功能，亦包含与按键扫描码互动的功能。

参阅图15至图17，本发明第八实施例屏幕键盘68b的示意图。本实施例的显示屏幕为虚拟现实装置的屏幕76b、76c，而屏幕76b、76c为双酒桶形(如图15所示)或双圆形(如图16所示)，当用户将虚拟现实装置戴于头上后，其眼睛所见的画面即如图17所示。在一些实施例中，虚拟现实装置本身即为具有屏幕76b、76c的电算装置64b，例如Samsung的Gear VR利用智能型手机做为电算装置64b，在运行本发明时，即于该智能型手机安装屏幕键盘68b及键盘驱动程序56。在一些实施例中，虚拟现实装置提供屏幕76b、76c显示画面，另需通讯连接一电算装置64b以安装软件及提供硬件运算资源，例如HTC的Vive利用个人计算机做电算装置64b，在运行本发明时，即于该个人计算机安装屏幕键盘68b及键盘驱动程序56。在一些实施例中，是以不透明的效果呈现键盘布局于屏幕76a、76b、76c；在一些实施例中，是以不完全透明的效果呈现键盘布局于屏幕76a、76b、76c；在一些实施例中，用户可自行设订键盘布局的透明度。于此，屏幕键盘68b是以不完全透明的方式呈现键盘布局，以便用户在使用屏幕键盘68b时仍看见背景画面(虚拟现实画面)。若使用者不擅于盲打，且当用户无法直视实体键盘50时(例如头上戴有虚拟现实装置)，利用屏幕键盘68b即可清楚得知当下用户的手指待命位置(通过第一按键标记72)，以及击键的按键为何者(通过第二按键标记74)，可协助用户轻松键入数据。

参阅图18，本发明第九实施例屏幕键盘68c的示意图，图式与第七实施例及第八实施例不同之处在于其为对应Mac实体键盘(未描绘)的键盘布局。屏幕键盘68c显示第一按键标记72与第二按键标记74，以及与按键扫描码互动更换部份按键代表标记的方法与前述实施例相同，故不赘述。

参阅图19，本发明第十实施例屏幕键盘68d的示意图。本实施例与第七实施例不同之处在于屏幕键盘68d的键盘布局分为左、右两部份，亦即，本实施例对应左、右分离式的实体键盘(未描绘)。至于本实施例的第一按键标记72与第二按键标记74的标示是与前述实施例相同，故不赘述。于此，对应的实体键盘为105键(即，标准Windows 104键再加上重复的一个空格键)。在一些实施例中，实体键盘的键盘布局为80％配置(即，少了最右边的数字键区)具有88键，而其对应的左、右分离式屏幕键盘(未描绘)的键盘布局亦为80％配置。在一些其他实施例中，实体键盘的键盘布局可为75％配置或80％配置的左、右分离式键盘，亦或是Mac的左、右分离式键盘，其对应的屏幕键盘即与实体键盘采相同的键盘布局。

参阅图20，本发明一实施例用户操作过程中在屏幕键盘68a标示第一按键标记72与第二按键标记74的流程图，其说明使用者利用第五实施例的电算装置64b与实体键盘50产生操作位置影像及按键扫描码，并产生对应的第一按键标记72与第二按键标记74于屏幕键盘68a的操作流程，包含：

步骤S101：手指触摸或接近按键。用户手指触摸或接近实体键盘50的按键12，但未击键，如图10所示，于此被触摸(或接近)的按键12为按键A、按键S、按键D、按键F、按键J、按键K、按键L、按键；及空格键。

步骤S102：产生操作位置影像。前一步骤当手指触摸或接近实体键盘50的按键12时，第四传感器51检测并取得操作位置影像，操作位置影像是实体键盘50上的手指与按键12影像。

步骤S103：储存操作位置影像至第三缓冲区63。前一步骤当第四传感器51产生操作位置影像，处理器66将该操作位置影像储存至第三缓冲区63。

步骤S104：影像分析模块58分析操作位置影像。前一步骤当储存操作位置影像至第三缓冲区63后，有两种实施例使处理器66自第三缓冲区63读取操作位置影像。一实施例是第四传感器51发送中断请求至电算装置64b的处理器66，接着，电算装置64b的处理器66响应中断请求自第三缓冲区63读取操作位置影像；另一实施例为电算装置64b的处理器66以轮询方式每隔一段时间自动读取第三缓冲区63的操作位置影像。亦即，读取操作位置影像的动作可通过中断或轮询方式来触发。处理器66读取操作位置影像后，影像分析模块58分析操作位置影像，以将操作位置影像转换成操作位置数据，操作位置数据报括被触摸或接近的该些按键12的相对位置数据，即用户的手指与该些按键12的相对位置数据。

步骤S105：在屏幕键盘68a对应操作位置数据的按键处显示第一按键标记72。前一步骤当影像分析模块58将操作位置影像转换成操作位置数据后，处理器66再根据操作位置数据以转换成对应的第一按键标记72，即，在屏幕键盘68a上对应被触摸的按键12的位置显示第一按键标记72。于此，对应操作位置影像的位置为：按键a、按键s、按键d、按键f、按键j、按键k、按键l、按键；及空格键，如图9所示。其中，屏幕键盘68a显示于显示画面最顶层(即，视图属性设为“Topmost”)。一般而言，屏幕键盘68a是在读取到操作位置数据或按键扫描码后才显示，但显示之后一般会在一空闲时间之后才消失。因此，在某些情况下，即使没有读取到操作位置数据或按键扫描码，屏幕键盘68a仍是显示的状态，直至经过空闲时间之后才消失(若期间没有读取到操作位置数据或按键扫描码)。在一些实施例中，屏幕键盘68a也可以是在应用程序执行时即显示，并保持显示状态，直到用户将应用程序结束才消失。在一些实施例中，屏幕键盘68a在应用程序执行时不会立刻显示，是由用户控制其显示与消失。

步骤S106：判断手指是否离开按键。影像分析模块58根据操作位置数据可判断出手指是否离开已触摸的按键12。意即，若所分析出的操作位置数据中，仅包含按键而未包含手指与按键的相对位置数据，则表示手指已离开原被触摸的按键12。若某一手指离开已触摸的按键12(即，在前一步骤中已产生第一按键标记72的对应按键12)，跳至步骤S107，若手指仍未离开已触摸(或接近)的按键12则跳至步骤S108。

步骤S107：在屏幕键盘68a取消显示第一按键标记72。当影像分析模块58判断出某一手指离开“已产生第一按键标记72的对应按键12”时，屏幕键盘68a取消显示对应的第一按键标记72。

步骤S108：手指击键。当手指击键(按压按键12)时，被击键的按键12其按键接点因击键而由常开状态变化为通路状态。

步骤S109：产生按键扫描码。当击键判断单元162检测到某一按键12的按键接点由常开状态变化为通路状态时，产生按键扫描码(此为按压按键12的按键扫描码)。于此，以按键J被击键为例，击键判断单元162产生按键J的按键扫描码(属Make Code)。

步骤S110：储存按键扫描码至第二缓冲区62。前一步骤当击键判断单元162产生按键扫描码(Make Code)后，微控制单元161可将其传送出去以让电算装置64b接收，电算装置64b便通过键盘驱动程序56将该按键J的按键扫描码(Make Code)储存至电算装置64b的第二缓冲区62。

步骤S111：处理器66读取按键扫描码。前一步骤当微控制单元161将按键扫描码(Make Code)储存至第二缓冲区62后，有两种实施例使处理器66自第二缓冲区62读取按键扫描码，一实施例为微控制单元161发送中断请求至电算装置64b的处理器66，接着，电算装置64b的处理器66响应中断请求自第二缓冲区62读取按键扫描码；另一实施例为电算装置64b的处理器66以轮询方式每隔一段时间自动读取第二缓冲区62的按键扫描码。亦即，读取按键扫描码的动作可通过中断或轮询方式来触发。

步骤S112：在屏幕键盘68a对应按键扫描码的按键处显示第二按键标记74。前一步骤当处理器66读取按键扫描码(Make Code)后，处理器66会根据按键扫描码，在屏幕键盘68a上对应被击键的按键12的按键处显示第二按键标记74，于此，对应按键扫描码的位置为“按键j”。显示第二按键标记74后，连同原本已显示的第一按键标记72，即如图11所示。

步骤S113：在屏幕键盘68a取消显示对应的第二按键标记74。当击键判断单元162检测到已被按压的按键12的按键接点由通路状态变化为开路状态时，产生按键扫描码(此为释放按键12的按键扫描码)。于此，以“按键J”被释放为例，击键判断单元162产生“按键J”的按键扫描码(属Break Code)。释放按键12后，电算装置64b通过键盘驱动程序56将该“按键J”的按键扫描码(Break Code)储存至第二缓冲区62，接着，处理器66读取按键J的按键扫描码(Break Code)，最后，依据“按键J”的按键扫描码(Break Code)在屏幕键盘68a取消显示对应的第二按键标记74，如图9所示(假设用户在释放按键J后手指仍触摸或接近“按键J”的按键12)。特别是，处理器66可另外确认击键的按键属于如字母、数字之一般按键，或是如前述“Shift按键”等锁定按键，若已收到对应被释放的按键12的按键扫描码且此按键12非属于锁定按键，则取消显示对应的第二按键标记74。反之，若已收到对应被释放的按键12的按键扫描码且此按键12属于锁定按键，则保持显示对应的第二按键标记74。直到下次收到同样按键12对应击键的第二按键标记74，才取消显示第二按键标记74。

以上为本发明一实施例屏幕键盘68a标示第一按键标记72与第二按键标记74的方法。本发明更进一步，在一些实施例中，在步骤S107之后，假设使用者手指已完全离开所有按键12一空闲时间，即在此空闲时间内电算装置64b的处理器66不会检测(即读取)到包括使用者的手指与该些按键12的相对数据的该操作位置数据及该按键扫描码，屏幕键盘68a即自动隐藏(不显示于屏幕76a)。反之，若原本屏幕键盘68a未显示于屏幕76a，当用户手指触摸任一按键12后，屏幕键盘68a即自动显示于屏幕76a。此实施例用意在于用户不需利用键盘操作/键入数据时，隐藏屏幕键盘68a以避免占用操作系统桌面70，好让用户利用其他操控装置操作其他应用程序，例如以鼠标或轨迹球操作网页浏览器以查看网页数据，或是以游戏杆玩计算机游戏。

以上的屏幕键盘68a的方法与计算机程序产品为以第五实施例的实体键盘50及电算装置64b为例说明，其中检测并取得操作位置影像的第四传感器51摄像镜头。当利用第一实施例实体键盘10或第二实施例实体键盘20与电算装置64a来实施以上的方法与计算机程序产品时，其中检测并取得操作位置影像的是第二传感器15。当利用第三实施例实体键盘30或第四实施例实体键盘40与电算装置64a来实施以上的方法与计算机程序产品时，其中检测并取得操作位置影像的是第二传感器36与第三传感器37。当利用第六实施例实体键盘50与电算装置64c来实施以上的方法与计算机程序产品时，其中检测并取得操作位置影像的是第四传感器51。

本发明的计算机程序产品可包含屏幕键盘68a、键盘驱动程序56、键盘函式库(Library，未描绘)及/或键盘应用程序开发接口(Application Programming Interfaces,APIs,未描绘)，后两者可利用上述操作流程的部份或全部步骤，封装成函式库或应用程序开发接口，以便程序代码的再利用。而上述计算机程序产品可储存至一种计算机可读取记录媒体，例如：CD、DVD、USB随身碟、记忆卡…或其他各种规格的记录媒体，而可由计算机(即前述的电算装置64b)加载执行。

对本发明的不同实施例可理解的是，由电算装置执行的程序指令可实行流程图中的各个方块、流程图中方块的组合、以及各实施例中的步骤。把该等程序指令提供给一处理器操作以产生一机器或产生硬件与软件协同运作的资源，藉此在该处理器上执行该等指令时，将产生用以实行流程图方块指明的动作或技术效果的构件。不同集合的程序指令亦可使展示于流程图方块中的至少某些操作步骤并行地进行，且一应用程序的各个程序指令所表达的技术内容可能依不同实施例而不同。再者，亦可在不只一个处理器上进行某些该等步骤，例如行动通讯装置中微处理器与周边接口处理器所协同运作的状况。此外，在不偏离本发明范围或精神的条件下，流程图中之一或多个方块或方块的组合亦可与其他方块或方块组合同时地进行，或甚至以不同于展示出的顺序来进行。

因此，本发明流程图的方块支持用以进行指明动作或技术效果的构件组合、用以进行指明动作或技术效果的步骤组合、以及用以进行指明动作或技术效果的程序指令构件。亦将可了解的是，这些指明动作或技术效果是由特殊用途硬件式系统或者特殊用途硬件与程序指令协同运作来实行本发明流程图的各个方块以及流程图的方块组合。

综上所述，本发明的屏幕键盘除了实时反馈击键，并实时反馈用户在实体键盘上的手指待命位置，同时提供这两种信息让不擅于盲打的使用者不必再目视实体键盘，而将目光专注在屏幕上。同时，本发明的自动修正机制解决了摄像镜头的误判问题，进而改善使用者体验(User Experience)。当应用在抬头显示设备、头戴显示设备或虚拟现实装置时，本发明的屏幕键盘较现有的实际影像更适合融入游戏画面/虚拟现实画面之中，不会有虚、实混搭的突兀感觉，又，屏幕键盘提供了比现有的实际影像更清楚的击键与手指待命位置两种信息。并且，屏幕键盘在屏幕的呈现上较现有的实际影像使用了更适合的不完全透明(如半透明)效果处理，使得屏幕键盘下方的重叠画面(游戏画面/虚拟现实画面)得以隐约呈现，改善了现有的实际影像会完全挡住下方重叠画面的问题。

虽然本发明以前述的实施例公开如上，然其并非用以限定本发明，任何熟习相像技术者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的专利保护范围须视本说明书所附的申请专利范围所界定者为准。

Claims (9)

1.一种屏幕键盘的显示方法，应用于相互连接的一实体键盘、一屏幕、一传感器及一电算装置，该实体键盘包含多个按键，该传感器用以检测并取得一操作位置影像，该屏幕键盘的显示方法包括：

显示一屏幕键盘于该屏幕的显示画面最顶层；

读取该传感器取得的该操作位置影像；

将该操作位置影像转换为一操作位置数据，该操作位置数据包括被触摸或接近的该按键的一相对位置数据；

根据该操作位置数据，显示一第一按键标记于该屏幕键盘上对应被触摸或接近的该按键的位置；

读取该实体键盘输出的对应该按键被击键的按键扫描码；

根据该按键扫描码，显示一第二按键标记于该屏幕键盘上对应被击键的该按键的位置；及

当该第二按键标记单独标记于该屏幕键盘上时，计算一误判位置与一实际位置两者间的一误差值，将该误差值反馈给该电算装置，以修正下一次的该操作位置数据。

2.如权利要求1所述的显示方法，其特征在于，该传感器为一摄像镜头。

3.如权利要求1所述的显示方法，其特征在于，于该显示一第一按键标记于该屏幕键盘上对应被触摸或接近的该按键的位置的步骤之后，更包含：

若于一预设时间内未再次收到包括被触摸或接近的该按键的该相对位置数据的该操作位置数据，取消显示对应的该第一按键标记。

4.如权利要求1所述的显示方法，其特征在于，于该显示一第二按键标记于该屏幕键盘上对应被击键的该按键的位置的步骤之后，更包含：

根据该按键扫描码识别被击键的该按键是否属于一锁定按键；

确认是否收到对应被释放的该按键的该按键扫描码；及

若收到对应被释放的该按键的该按键扫描码且该按键不属于该锁定按键，取消显示对应的该第二按键标记。

5.如权利要求1所述的显示方法，其特征在于，更包含：于一空闲时间内没有检测到包括被触摸或接近的该按键的该相对位置数据的该操作位置数据及该按键扫描码时，隐藏该屏幕键盘。

6.如权利要求1所述的显示方法，其特征在于，该第一按键标记与该第二按键标记的形状与颜色中的任一者不同。

7.如权利要求1所述的显示方法，其特征在于，该第一按键标记或该第二按键标记具有一不完全透明的透明度。

8.如权利要求1所述的显示方法，其特征在于，该屏幕键盘具有一不完全透明的透明度。

9.一种非暂态计算机可读取介质，储存一计算机程序，其特征在于，该计算机程序包含计算机可执行的多个指令，用以执行如权利要求1至8中任一项所述的屏幕键盘的显示方法。

Images