CN116048374B - 虚拟隐形键盘的在线考试方法及系统 - Google Patents

虚拟隐形键盘的在线考试方法及系统 Download PDF

Info

Publication number
CN116048374B
CN116048374B CN202310199843.8A CN202310199843A CN116048374B CN 116048374 B CN116048374 B CN 116048374B CN 202310199843 A CN202310199843 A CN 202310199843A CN 116048374 B CN116048374 B CN 116048374B
Authority
CN
China
Prior art keywords
examinee
image
text
answer
light effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310199843.8A
Other languages
English (en)
Other versions
CN116048374A (zh
Inventor
马赫
郭南明
倪小明
彭建军
向珂
蒲淘
麦子杰
黄庆鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Wangcai Information Technology Co ltd
Original Assignee
Guangzhou Wangcai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Wangcai Information Technology Co ltd filed Critical Guangzhou Wangcai Information Technology Co ltd
Priority to CN202310199843.8A priority Critical patent/CN116048374B/zh
Publication of CN116048374A publication Critical patent/CN116048374A/zh
Application granted granted Critical
Publication of CN116048374B publication Critical patent/CN116048374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

本公开提出了一种虚拟隐形键盘的在线考试方法及系统，涉及人工智能技术领域，包括：基于摄像头获取考生在考试过程中对虚拟键盘的各个操作图像，并从所述各个操作图像中提取具有连续手势操作的图像序列；对所述图像序列中所述考生的手势操作进行识别，以确定考生当前的答题文本；响应于识别到所述考生触发所述虚拟键盘的第一光效区域，将所述答题文本输入与所述第一光效区域关联的答题框；响应于识别到所述考生触发了所述虚拟键盘的第二光效区域，基于所述第二光效区域关联的预设操作，对所述答题框中的答题文本进行处理。由此，可以利用虚拟键盘帮助考生进行考试，来进行文本的生成和输入，具有很高的便携性，使得考生可以随时随地的进行考试。

Description

虚拟隐形键盘的在线考试方法及系统
技术领域
本公开涉及人工智能技术领域，尤其涉及一种虚拟隐形键盘的在线考试方法及系统。
背景技术
随着电子技术的发展，计算机成为现代工作和生活中不可或缺的一部分，键盘作为人机交互的重要输入设备，其作用更是无法替代。由于人们对电子设备的使用变得日益普遍，这就要求这些设备具有较好的可移动性和便携性。目前，键盘主要有实体硬键盘和触摸屏软键盘两种，由于尺寸的限制，这两种键盘在便携性和易操作性上始终是相互矛盾的，虚拟键盘的产生解决了键盘在便携性和易操作性之间的矛盾。学生们经常需要在家或者需要完成考试，然而有的时候身边没有电脑、键盘，只有手机，很难实现高速的打字来进行考试。因而如何利用手机等便携式的电子设备来产生虚拟键盘帮助考生随时随地进行考试，并且提高虚拟键盘考试的易操作性和考试效率，是目前需要解决的问题。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
本公开第一方面实施例提出了一种虚拟隐形键盘的在线考试方法，包括：
基于摄像头获取考生在考试过程中对虚拟键盘的各个操作图像，并从所述各个操作图像中提取具有连续手势操作的图像序列；
对所述图像序列中所述考生的手势操作进行识别，以确定所述考生当前的答题文本；
响应于识别到所述考生触发所述虚拟键盘的第一光效区域，将所述答题文本输入与所述第一光效区域关联的答题框；
响应于识别到所述考生触发了所述虚拟键盘的第二光效区域，基于所述第二光效区域关联的预设操作，对所述答题框中的答题文本进行处理。
本公开第二方面实施例提出了一种虚拟隐形键盘的在线考试系统，包括：
获取模块，用于基于摄像头获取考生在考试过程中对虚拟键盘的各个操作图像，并从所述各个操作图像中提取具有连续手势操作的图像序列；
确定模块，用于对所述图像序列中所述考生的手势操作进行识别，以确定所述考生当前的答题文本；
输入模块，用于响应于识别到所述考生触发所述虚拟键盘的第一光效区域，将所述答题文本输入与所述第一光效区域关联的答题框；
处理模块，用于响应于识别到所述考生触发了所述虚拟键盘的第二光效区域，基于所述第二光效区域关联的预设操作，对所述答题框中的答题文本进行处理。
本公开第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本公开第一方面实施例提出的虚拟隐形键盘的在线考试方法。
本公开第四方面实施例提出了一种非临时性计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如本公开第一方面实施例提出的虚拟隐形键盘的在线考试方法。
本公开提供的虚拟隐形键盘的在线考试方法及系统，存在如下有益效果：
本公开实施例中，首先基于摄像头获取考生在考试过程中对虚拟键盘的各个操作图像，并从所述各个操作图像中提取具有连续手势操作的图像序列，然后对所述图像序列中所述考生的手势操作进行识别，以确定所述考生当前的答题文本，之后响应于识别到所述考生触发所述虚拟键盘的第一光效区域，将所述答题文本输入与所述第一光效区域关联的答题框，最后响应于识别到所述考生触发了所述虚拟键盘的第二光效区域，基于所述第二光效区域关联的预设操作，对所述答题框中的答题文本进行处理。由此，可以利用虚拟键盘帮助考生进行考试，来进行文本的生成和输入，并且还可以利用虚拟键盘对文本进行其他的处理，具有很高的便携性，成本很低，使得考生可以随时随地的进行考试，仅需进行手指手势的动作，即可以识别出对应的输入文本。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本公开实施例所提供的一种虚拟隐形键盘的在线考试方法的流程示意图；
图2为本公开实施例所提供的一种虚拟隐形键盘的在线考试系统的结构框图；
图3示出了适于用来实现本公开实施方式的示例性计算机设备的框图。
实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
下面参考附图描述本公开实施例的虚拟隐形键盘的在线考试方法、装置、计算机设备和存储介质。
需要说明的是，本公开实施例中的虚拟隐形键盘的在线考试方法的执行主体为虚拟隐形键盘的在线考试装置，该系统可以由软件和/或硬件的方式实现，该装置可以配置在任意电子设备中，比如手机、平板。在本公开提出的场景中，可以以耳机作为执行主体，下面将以“虚拟隐形键盘的在线考试装置”作为执行主体对本公开实施例中提出的虚拟隐形键盘的在线考试方法进行说明，在此不进行限定。
图1为本公开一实施例所提供的虚拟隐形键盘的在线考试方法的流程示意图。
如图1所示，该虚拟隐形键盘的在线考试方法可以包括以下步骤：
步骤101，基于摄像头获取考生在考试过程中对虚拟键盘的各个操作图像，并从所述各个操作图像中提取具有连续手势操作的图像序列。
其中，摄像头可以是多个，比如4个。终端设备中可以包含有多个摄像头，从而能够从多个角度，多个距离下对考生的键盘使用过程进行观测。
操作图像是包含有考生操作虚拟键盘的图像。需要说明的是，在考生进行考试时，摄像头可以获取到的是一组视频帧，也即可以是包含有多个操作图像的。需要说明的是，为了提高计算效率，降低计算量，可以从各个操作图像中提取出包含有考生进行手势操作的图像。
考生在打字时，通常在每打一个字，或者一组词之后会有停顿，因而可以舍去停顿时间的图像，仅保留手势操作的图像。比如说，摄像头获取的操作图像有10帧，分别E1、E2、E3、E4、E5、E6、E7、E8、E9、E10，其中，E1、E2、E3、E4是一组连续的手势操作图像，E7、E8、E9、E10是一组连续的手势操作图像，则可以删除掉E5和E6,将E1、E2、E3、E4作为第一个图像序列A1，将E7、E8、E9、E10作为第二个图像序列A2。
需要说明的是，由于摄像头有多个，因而在获取图像序列时，可以在同一时刻获取到多个图像序列。比如说，摄像头p1、摄像头p2、摄像头p3，在T1时间段可以获取到的图像序列分别为P1、P2、P3，且P1、P2、P3均包含相同帧数的图像。
可以理解的是，在获取了各个摄像头拍摄的图像序列之后，可以对图像序列进行去重，也即可以将相近或者动作相同的图像进行删除，从而仅仅保留不同动作的图像。举例来说，图像u1和图像u2中各个手指的位置基本相同，且变化的趋势也相同，则可以保留图像u1，也即先获取的那帧图像。由此，可以减少系统对图像处理的算力消耗，降低计算量，从而避免由于同时处理大量的图像所引起的系统卡顿及延迟，提高响应时间和响应速度。
在基于摄像头获取考生在考试过程中对虚拟键盘的各个操作图像，并从所述各个操作图像中提取具有连续手势操作的图像序列之前，该装置还可以响应于确定所述考生触发了与所述虚拟键盘关联的启动指令，基于姿态传感器获取所述终端设备当前的姿态，并基于所述摄像头获取当前场景的图像，然后将所述图像输入至预先构建的平整度识别模型中，以确定当前所述终端设备所在桌面对应的平整度，之后在所述平整度大于预设阈值，且所述姿态满足预设条件的情况下，启动激光光源，以在所述桌面上投射所述虚拟键盘对应的光效展示区域，其中，所述光效展示区域中包含有虚拟按键区域。
需要说明的是，在考生利用虚拟键盘进行考试的时候，为了保证考试过程的稳定性，以及对考生使用虚拟键盘的识别的准确性，该装置可以获取当前场景的图像，其中，当前场景可以是桌面的图像，或者其他平面的图像。
只有在考生在一个水面且没有杂物遮挡的桌面上时，该装置可以启动激光电源来在当前场景中的桌面上投放虚拟键盘，从而在桌面上展示键盘对应的光效展示区域。其中，光效展示区域中包含有虚拟按键区域。
需要说明的是，终端设备需要按照指定的姿态立在桌面上的时候，才能认为终端设备目前的姿态可以满足能够让虚拟键盘正常投射在桌面上的条件。从而避免因为考生将终端设备放置的位置不对，因而引起的虚拟键盘投射的光效出现偏移、畸变的情况。
其中，终端设备中包含有三轴陀螺仪、三轴加速度计，三轴电子罗盘等运动传感器，通过内嵌的低功耗ARM处理器得到终端设备的三维姿态与方位等数。具体的，可以将当前姿态传感器获取的姿态和预先设置的标准姿态进比较，若当前获取的姿态与标准姿态之间的相似度大于预设阈值，则说明是符合条件的，若当前获取的姿态与标准姿态之间的相似度不大于预设阈值，则说明是不符合条件的。
其中，平整度检测模型可以是预先训练完成的障碍物检测模型，其可以通过检测桌面上是否有杂物堆积，比如纸张、书本、笔、水杯等等物体，从而判断桌面是否是平整的。
需要说明的是，只有在平整度满足预设阈值的情况下，终端设备可以启动激光光源，以在所述桌面上投射所述虚拟键盘对应的光效展示区域。因而，该装置可以首先获得桌面在测定面积范围内的凹凸偏差值，根据测定面积范围内的凹凸偏差值，计算桌面的平整度值。
其中，光效展示区域内可以设置有多个RGB光源，以实现控制多个RGB光源在光效展示区域进行动态光效展示。
其中，RGB三色光源将红色，绿色，蓝色三色整合为一个光源，三条线路单独排列。每种颜色既独立又可联合使用调出任意颜色，可实现单独控制和同时控制，从而可以通过一个RGB光源展示多种光效。
步骤102，对图像序列中考生的手势操作进行识别，以确定考生当前的答题文本。
其中，所述摄像头至少有四个，各个所述摄像头对应的拍摄角度不同，所述图像序列的组数与所述摄像头的数量相同，每个所述摄像头对应一组所述图像序列，每组所述图像序列对应有一个所述拍摄角度，
可选的，该装置可以基于每组所述图像序列对应的所述摄像头的所述拍摄角度，对所述图像序列中所述考生的手势操作进手指识别，以确定每个所述操作图像中手指上的各个关键点对应的位置信息、以及每个关键点对应的键盘映射位置，然后根据每个所述操作图像中手指上的各个关键点对应的位置信息、以及每个关键点对应的键盘映射位置，确定每组所述图像序列对应的各个所述手指的抬起下落动作，以及对应的先后顺序，然后根据所述各个所述手指的抬起下落动作，以及对应的先后顺序，确定所述考生当前的敲击的各个按键的先后顺序，进而根据所述敲击的各个按键的先后顺序，生成所述考生当前的答题文本。
可以理解的是，在获取到每个摄像机获取的每组图像序列之后，可以对图像序列中的各个图像做一定的转换，并识别手指上的各个关键点，以及每个关键点对应的位置信息，之后可以对该信息进行对应的变化处理，比如可以基于每个关键点在图像中的位置信息，将其映射到键盘中的位置。并且同时获取每个手指的抬起和放下情况，然后对每根手指进行跟踪。
需要说明的是，手指只有在点击到桌面上的键盘映射位置之后，才能触发对应的手势动作。
可选的，在生成答题文本之后，可以将答题文本输入至预先训练生成的文本纠错模型，以对所述答题文本进行文本纠正，生成纠正后的文本，然后将所述纠正后的文本展示在显示屏中的候选项中，之后响应于接收到用户对所述候选项点击的确认操作，将所述纠正后的文本作为所述答题文本。
可以理解的是，在生成答题文本的时候经常会出现一些误差，或者文本的错乱，因而，可以实时的将答题文本输入至预先训练完成的文本纠错模型中，从而对答题文本进行纠正，从而可以得到纠正后的文本。
可选的，可以首先获取训练数据，所述训练数据中包含多个样本文本、多个样本文本的历史文本与多个样本文本的文本标注结果；构建包含记忆库门控层、编码层与输出层的神经网络模型，所述记忆库门控层用于从历史文本中选取语义单元，并将所选取的语义单元的编码向量加入记忆库，以对样本文本进行纠错，所选取的语义单元为所述历史文本中的部分文本；使用多个样本文本、多个样本文本的历史文本与多个样本文本的文本标注结果对所述神经网络模型进行训练，直至所述神经网络模型收敛，得到文本纠错模型；其中，所述记忆库门控层从历史文本中选取语义单元，并将所选取的语义单元的编码向量加入记忆库包括：得到与历史文本对应的至少一个语义单元；生成每个语义单元的编码向量；根据所生成的编码向量，计算每个语义单元的激活函数值；将激活函数值大于预设阈值的语义单元的编码向量加入记忆库。
可选的，在使用多个样本文本、多个样本文本的历史文本与多个样本文本的文本标注结果对神经网络模型进行训练，直至所述神经网络模型收敛的过程可以包含：针对每个样本文本，将该样本文本的历史文本作为所述记忆库门控层的输入，由所述记忆库门控层从所述历史文本中选取语义单元，并将所选取的语义单元的编码向量加入记忆库；将该样本文本与所述记忆库中语义单元的编码向量作为所述编码层的输入，得到由所述编码层输出的该样本文本的最终向量表示；将该样本文本的最终向量表示作为所述输出层的输入，得到由所述输出层输出的该样本文本的文本纠错结果；根据该样本文本的文本标注结果与文本纠错结果计算得到的损失函数值，调整所述神经网络模型的参数，直至所述神经网络模型收敛。
步骤103，响应于识别到考生触发所述虚拟键盘的第一光效区域，将答题文本输入与第一光效区域关联的答题框。
需要说明的是，考生触发虚拟键盘的第一光效区域的方式可以为点击第一光效区域在桌面上映射的位置。
其中，第一光效区域关联的操作可以为将文本输入至任一答题框。需要说明的是，不同的第一光效区域对应的答题框也不同。举例来说，若第一光效区域X指示的答题框为R，则在识别到考生触发了虚拟键盘中的第一光效区域X之后，则可以将答题文本输入至答题框R中。
可以理解的是，第一光效区域关联的答题框也可以为多个，比如第一光效区域X关联的答题框可以为R1、R2、R3。因而可以同时将输入文本同时输入R1、R2、R3对应的答题框。比如，若R1、R2、R3对应的答题框都是选择题的答题框，答题文本为A，从而使得R1、R2、R3对应的答案都是A。
步骤104，响应于识别到考生触发了虚拟键盘的第二光效区域，基于第二光效区域关联的预设操作，对答题框中的答题文本进行处理。
其中，第二光效区域关联的预设操作可以用于对答题文本进行修改、查看、放大、缩小、删除、复制、粘粘等等，在此不做限定。
可以理解的是，第二光效区域可以有多个子区域，其中每个子区域都对应的有一个或者多个预设操作。该装置在识别到考试触发了虚拟键盘的第二光效区域之后，即可根据对应关联的预设操作，对答题框中的答题文本进行处理。
进一步的，该装置可以确定考生触发第二光效区域的触发方式，然后基于预设的映射关系，获取与触发方式和第二光效区域关联的预设操作，之后基于所述预设操作，对所述答题框中的答题文本进行处理，最后将处理后的结果通知所述考生进行确认。
需要说明的是，第二光效区域的触发方式可以有多种，比如触摸、单击、双击、滑动等等，在此不做限定。每个触发方式都对应有指定的手势动作。因而在利用不同的触发方式触发第二光效区域时，其对应的预设操作也不一样。
本公开实施例中，首先基于摄像头获取考生在考试过程中对虚拟键盘的各个操作图像，并从所述各个操作图像中提取具有连续手势操作的图像序列，然后对所述图像序列中所述考生的手势操作进行识别，以确定所述考生当前的答题文本，之后响应于识别到所述考生触发所述虚拟键盘的第一光效区域，将所述答题文本输入与所述第一光效区域关联的答题框，最后响应于识别到所述考生触发了所述虚拟键盘的第二光效区域，基于所述第二光效区域关联的预设操作，对所述答题框中的答题文本进行处理。由此，可以利用虚拟键盘帮助考生进行考试，来进行文本的生成和输入，并且还可以利用虚拟键盘对文本进行其他的处理，具有很高的便携性，成本很低，使得考生可以随时随地的进行考试，仅需进行手指手势的动作，即可以识别出对应的输入文本。
为了实现上述实施例，本公开还提出一种虚拟隐形键盘的在线考试系统。
图2为本公开第二实施例所提供的虚拟隐形键盘的在线考试系统的结构框图。
如图2所示，该虚拟隐形键盘的在线考试系统200可以包括：
获取模块210，用于基于摄像头获取考生在考试过程中对虚拟键盘的各个操作图像，并从所述各个操作图像中提取具有连续手势操作的图像序列；
确定模块220，用于对所述图像序列中所述考生的手势操作进行识别，以确定所述考生当前的答题文本；
输入模块230，用于响应于识别到所述考生触发所述虚拟键盘的第一光效区域，将所述答题文本输入与所述第一光效区域关联的答题框；
处理模块240，用于响应于识别到所述考生触发了所述虚拟键盘的第二光效区域，基于所述第二光效区域关联的预设操作，对所述答题框中的答题文本进行处理。
可选的，所述获取模块，还包括：
获取单元，用于响应于确定所述考生触发了与所述虚拟键盘关联的启动指令，基于姿态传感器获取所述终端设备当前的姿态，并基于所述摄像头获取当前场景的图像；
确定单元，用于将所述图像输入至预先构建的平整度识别模型中，以确定当前所述终端设备所在桌面对应的平整度；
启动单元，用于在所述平整度大于预设阈值，且所述姿态满足预设条件的情况下，启动激光光源，以在所述桌面上投射所述虚拟键盘对应的光效展示区域，其中，所述光效展示区域中包含有虚拟按键区域。
可选的，所述确定模块，具体用于：
其中，所述摄像头至少有四个，各个所述摄像头对应的拍摄角度不同，所述图像序列的组数与所述摄像头的数量相同，每个所述摄像头对应一组所述图像序列，每组所述图像序列对应有一个所述拍摄角度，
基于每组所述图像序列对应的所述摄像头的所述拍摄角度，对所述图像序列中所述考生的手势操作进手指识别，以确定每个所述操作图像中手指上的各个关键点对应的位置信息、以及每个关键点对应的键盘映射位置；
根据每个所述操作图像中手指上的各个关键点对应的位置信息、以及每个关键点对应的键盘映射位置，确定每组所述图像序列对应的各个所述手指的抬起下落动作，以及对应的先后顺序；
根据所述各个所述手指的抬起下落动作，以及对应的先后顺序，确定所述考生当前的敲击的各个按键的先后顺序，进而根据所述敲击的各个按键的先后顺序，生成所述考生当前的答题文本。
可选的，所述确定模块，还用于：
将所述答题文本输入至预先训练生成的文本纠错模型，以对所述答题文本进行文本纠正，生成纠正后的文本；
将所述纠正后的文本展示在显示屏中的候选项中；
响应于接收到用户对所述候选项点击的确认操作，将所述纠正后的文本作为所述答题文本。
可选的，所述处理模块，具体用于：
确定所述考生触发所述第二光效区域的触发方式；
基于预设的映射关系，获取与所述触发方式和所述第二光效区域关联的预设操作；
基于所述预设操作，对所述答题框中的答题文本进行处理；
将处理后的结果通知所述考生进行确认。
本公开实施例中，首先基于摄像头获取考生在考试过程中对虚拟键盘的各个操作图像，并从所述各个操作图像中提取具有连续手势操作的图像序列，然后对所述图像序列中所述考生的手势操作进行识别，以确定所述考生当前的答题文本，之后响应于识别到所述考生触发所述虚拟键盘的第一光效区域，将所述答题文本输入与所述第一光效区域关联的答题框，最后响应于识别到所述考生触发了所述虚拟键盘的第二光效区域，基于所述第二光效区域关联的预设操作，对所述答题框中的答题文本进行处理。由此，可以利用虚拟键盘帮助考生进行考试，来进行文本的生成和输入，并且还可以利用虚拟键盘对文本进行其他的处理，具有很高的便携性，成本很低，使得考生可以随时随地的进行考试，仅需进行手指手势的动作，即可以识别出对应的输入文本。
为了实现上述实施例，本公开还提出一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本公开前述实施例提出的虚拟隐形键盘的在线考试方法。为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现如本公开前述实施例提出的虚拟隐形键盘的在线考试方法。
为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开前述实施例提出的虚拟隐形键盘的在线考试方法。
图3示出了适于用来实现本公开实施方式的示例性计算机设备的框图。图3显示的计算机设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件（包括系统存储器28和处理单元16）的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（Industry StandardArchitecture；以下简称：ISA）总线，微通道体系结构（Micro Channel Architecture；以下简称：MAC）总线，增强型ISA总线、视频电子标准协会（Video Electronics StandardsAssociation；以下简称：VESA）局域总线以及外围组件互连（Peripheral ComponentInterconnection；以下简称：PCI）总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（Random Access Memory；以下简称：RAM）30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质（图3未显示，通常称为“硬盘驱动器”）。尽管图3中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如：光盘只读存储器（Compact Disc Read OnlyMemory；以下简称：CD-ROM）、数字多功能只读光盘（Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM）或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组（至少一个）程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14（例如键盘、指向设备、显示器24等）通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络（例如局域网（Local Area Network；以下简称：LAN），广域网（Wide Area Network；以下简称：WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种虚拟隐形键盘的在线考试方法，其特征在于，包括：
基于摄像头获取考生在考试过程中对虚拟键盘的各个操作图像，并从所述各个操作图像中提取具有连续手势操作的图像序列；
对所述图像序列中所述考生的手势操作进行识别，以确定所述考生当前的答题文本；
响应于识别到所述考生触发所述虚拟键盘的第一光效区域，将所述答题文本输入与所述第一光效区域关联的答题框；
响应于识别到所述考生触发了所述虚拟键盘的第二光效区域，基于所述第二光效区域关联的预设操作，对所述答题框中的答题文本进行处理；
在所述基于摄像头获取考生在考试过程中对虚拟键盘的各个操作图像之前，还包括：
响应于确定所述考生触发了与所述虚拟键盘关联的启动指令，基于姿态传感器获取终端设备当前的姿态，并基于所述摄像头获取当前场景的图像；
将所述图像输入至预先构建的平整度识别模型中，以确定当前所述终端设备所在桌面对应的平整度；
在所述平整度大于预设阈值，且所述姿态满足预设条件的情况下，启动激光光源，以在所述桌面上投射所述虚拟键盘对应的光效展示区域，其中，所述光效展示区域中包含有虚拟按键区域。
2.根据权利要求1所述的方法，其特征在于，所述对所述图像序列中所述考生的手势操作进行识别，以确定所述考生当前的答题文本，包括：
其中，所述摄像头至少有四个，各个所述摄像头对应的拍摄角度不同，所述图像序列的组数与所述摄像头的数量相同，每个所述摄像头对应一组所述图像序列，每组所述图像序列对应有一个所述拍摄角度，
基于每组所述图像序列对应的所述摄像头的所述拍摄角度，对所述图像序列中所述考生的手势操作进行手指识别，以确定每个所述操作图像中手指上的各个关键点对应的位置信息、以及每个关键点对应的键盘映射位置；
根据每个所述操作图像中手指上的各个关键点对应的位置信息、以及每个关键点对应的键盘映射位置，确定每组所述图像序列对应的各个所述手指的抬起下落动作，以及对应的先后顺序；
根据所述各个所述手指的抬起下落动作，以及对应的先后顺序，确定所述考生当前的敲击的各个按键的先后顺序，进而根据所述敲击的各个按键的先后顺序，生成所述考生当前的答题文本。
3.根据权利要求1所述的方法，其特征在于，在所述对所述图像序列中所述考生的手势操作进行识别，以确定所述考生当前的答题文本之后，还包括：
将所述答题文本输入至预先训练生成的文本纠错模型，以对所述答题文本进行文本纠正，生成纠正后的文本；
将所述纠正后的文本展示在显示屏中的候选项中；
响应于接收到用户对所述候选项点击的确认操作，将所述纠正后的文本作为所述答题文本。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第二光效区域关联的预设操作，对所述答题框中的答题文本进行处理，包括：
确定所述考生触发所述第二光效区域的触发方式；
基于预设的映射关系，获取与所述触发方式和所述第二光效区域关联的预设操作；
基于所述预设操作，对所述答题框中的答题文本进行处理；
将处理后的结果通知所述考生进行确认。
5.一种虚拟隐形键盘的在线考试系统，其特征在于，包括：
获取模块，用于基于摄像头获取考生在考试过程中对虚拟键盘的各个操作图像，并从所述各个操作图像中提取具有连续手势操作的图像序列；
确定模块，用于对所述图像序列中所述考生的手势操作进行识别，以确定所述考生当前的答题文本；
输入模块，用于响应于识别到所述考生触发所述虚拟键盘的第一光效区域，将所述答题文本输入与所述第一光效区域关联的答题框；
处理模块，用于响应于识别到所述考生触发了所述虚拟键盘的第二光效区域，基于所述第二光效区域关联的预设操作，对所述答题框中的答题文本进行处理；
所述获取模块，还包括：
获取单元，用于响应于确定所述考生触发了与所述虚拟键盘关联的启动指令，基于姿态传感器获取终端设备当前的姿态，并基于所述摄像头获取当前场景的图像；
确定单元，用于将所述图像输入至预先构建的平整度识别模型中，以确定当前终端设备所在桌面对应的平整度；
启动单元，用于在所述平整度大于预设阈值，且所述姿态满足预设条件的情况下，启动激光光源，以在所述桌面上投射所述虚拟键盘对应的光效展示区域，其中，所述光效展示区域中包含有虚拟按键区域。
6.根据权利要求5所述的系统，其特征在于，所述确定模块，具体用于：
其中，所述摄像头至少有四个，各个所述摄像头对应的拍摄角度不同，所述图像序列的组数与所述摄像头的数量相同，每个所述摄像头对应一组所述图像序列，每组所述图像序列对应有一个所述拍摄角度，
基于每组所述图像序列对应的所述摄像头的所述拍摄角度，对所述图像序列中所述考生的手势操作进行手指识别，以确定每个所述操作图像中手指上的各个关键点对应的位置信息、以及每个关键点对应的键盘映射位置；
根据每个所述操作图像中手指上的各个关键点对应的位置信息、以及每个关键点对应的键盘映射位置，确定每组所述图像序列对应的各个所述手指的抬起下落动作，以及对应的先后顺序；
根据所述各个所述手指的抬起下落动作，以及对应的先后顺序，确定所述考生当前的敲击的各个按键的先后顺序，进而根据所述敲击的各个按键的先后顺序，生成所述考生当前的答题文本。
7.根据权利要求5所述的系统，其特征在于，所述确定模块，还用于：
将所述答题文本输入至预先训练生成的文本纠错模型，以对所述答题文本进行文本纠正，生成纠正后的文本；
将所述纠正后的文本展示在显示屏中的候选项中；
响应于接收到用户对所述候选项点击的确认操作，将所述纠正后的文本作为所述答题文本。
8.根据权利要求5所述的系统，其特征在于，所述处理模块，具体用于：
确定所述考生触发所述第二光效区域的触发方式；
基于预设的映射关系，获取与所述触发方式和所述第二光效区域关联的预设操作；
基于所述预设操作，对所述答题框中的答题文本进行处理；
将处理后的结果通知所述考生进行确认。
CN202310199843.8A 2023-03-05 2023-03-05 虚拟隐形键盘的在线考试方法及系统 Active CN116048374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310199843.8A CN116048374B (zh) 2023-03-05 2023-03-05 虚拟隐形键盘的在线考试方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310199843.8A CN116048374B (zh) 2023-03-05 2023-03-05 虚拟隐形键盘的在线考试方法及系统

Publications (2)

Publication Number Publication Date
CN116048374A CN116048374A (zh) 2023-05-02
CN116048374B true CN116048374B (zh) 2023-08-29

Family

ID=86127525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310199843.8A Active CN116048374B (zh) 2023-03-05 2023-03-05 虚拟隐形键盘的在线考试方法及系统

Country Status (1)

Country Link
CN (1) CN116048374B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273002A (zh) * 2017-05-15 2017-10-20 深圳市助天使软件技术有限公司 手写输入答题方法、终端及计算机可读存储介质
KR20190129365A (ko) * 2018-05-10 2019-11-20 주식회사 러너스마인드 모바일 디바이스 환경에서 주관식 테스트를 위한 가상키보드 표시 방법
CN112764704A (zh) * 2021-01-26 2021-05-07 努比亚技术有限公司 一种投屏方法、系统、投屏设备、移动设备及存储介质
CN114550106A (zh) * 2022-04-25 2022-05-27 深圳市永兴元科技股份有限公司 考试监控方法、装置、考试计算机及存储介质
WO2022267760A1 (zh) * 2021-06-22 2022-12-29 腾讯科技（深圳）有限公司 按键功能执行方法、装置、设备及存储介质
CN115700461A (zh) * 2021-07-29 2023-02-07 华为技术有限公司 投屏场景下的跨设备手写输入方法、系统和电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101411569B1 (ko) * 2013-06-05 2014-06-27 고려대학교 산학협력단 가상 키보드를 이용한 정보 처리 장치 및 방법
AU2018448950A1 (en) * 2018-11-09 2021-06-24 Citrix Systems, Inc. Automated keyboard mapping for virtual desktops

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273002A (zh) * 2017-05-15 2017-10-20 深圳市助天使软件技术有限公司 手写输入答题方法、终端及计算机可读存储介质
KR20190129365A (ko) * 2018-05-10 2019-11-20 주식회사 러너스마인드 모바일 디바이스 환경에서 주관식 테스트를 위한 가상키보드 표시 방법
CN112764704A (zh) * 2021-01-26 2021-05-07 努比亚技术有限公司 一种投屏方法、系统、投屏设备、移动设备及存储介质
WO2022267760A1 (zh) * 2021-06-22 2022-12-29 腾讯科技（深圳）有限公司 按键功能执行方法、装置、设备及存储介质
CN115700461A (zh) * 2021-07-29 2023-02-07 华为技术有限公司 投屏场景下的跨设备手写输入方法、系统和电子设备
CN114550106A (zh) * 2022-04-25 2022-05-27 深圳市永兴元科技股份有限公司 考试监控方法、装置、考试计算机及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于计算机视觉的激光虚拟键盘的研制;陈文娟 等;《大学物理实验》;第31卷(第1期);第114-118页 *

Also Published As

Publication number Publication date
CN116048374A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
EP3712805B1 (en) Gesture recognition method, device, electronic device, and storage medium
US10228848B2 (en) Gesture controlled adaptive projected information handling system input and output devices
US8737693B2 (en) Enhanced detection of gesture
US8959013B2 (en) Virtual keyboard for a non-tactile three dimensional user interface
US9348420B2 (en) Adaptive projected information handling system output devices
CN106919333B (zh) 电子书写板上书写内容的记录方法和装置
JP2011516924A (ja) マルチモードの学習システム
US9965038B2 (en) Context adaptable projected information handling system input environment
Yin et al. Toward natural interaction in the real world: Real-time gesture recognition
CN110555426A (zh) 视线检测方法、装置、设备及存储介质
US10133355B2 (en) Interactive projected information handling system support input and output devices
US20160034027A1 (en) Optical tracking of a user-guided object for mobile platform user input
US20150268739A1 (en) Projected Information Handling System Input Environment with Object Initiated Responses
CN110850982A (zh) 基于ar的人机交互学习方法、系统、设备及存储介质
CN116048374B (zh) 虚拟隐形键盘的在线考试方法及系统
CN113298082B (zh) 听写数据的处理方法、装置、电子设备及存储介质
CN109358799A (zh) 在手写设备上添加用户输入的手写批注信息的方法
WO2019134606A1 (zh) 终端的控制方法、装置、存储介质及电子设备
Habibi Detecting surface interactions via a wearable microphone to improve augmented reality text entry
Chen Universal motion-based control and motion recognition
CN109271909A (zh) 笔迹识别方法、装置、终端与存储介质
CN112698739B (zh) 一种控制方法及装置
CN113377220B (zh) 信息存储方法及装置
WO2024065345A1 (zh) 隔空手势编辑方法、装置、显示系统及介质
CN118279937A (zh) 一种指纹录入方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant