CN116153312A - 利用语音识别的在线笔试方法和装置 - Google Patents
利用语音识别的在线笔试方法和装置 Download PDFInfo
- Publication number
- CN116153312A CN116153312A CN202310199840.4A CN202310199840A CN116153312A CN 116153312 A CN116153312 A CN 116153312A CN 202310199840 A CN202310199840 A CN 202310199840A CN 116153312 A CN116153312 A CN 116153312A
- Authority
- CN
- China
- Prior art keywords
- cheating
- information
- examinee
- instruction word
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010998 test method Methods 0.000 title claims abstract description 9
- 238000012360 testing method Methods 0.000 claims abstract description 53
- 238000001514 detection method Methods 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 23
- 230000001815 facial effect Effects 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 16
- 230000003068 static effect Effects 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000012797 qualification Methods 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 241000209202 Bromus secalinus Species 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 24
- 230000006399 behavior Effects 0.000 description 14
- 238000002372 labelling Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Emergency Management (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本公开提出了一种利用语音识别的在线笔试方法和装置，涉及人工智能技术技术领域，包括：对考生的声音进行识别，以判断声音中是否包含有第一指令词和第二指令词；在声音中包含有第一指令词的情况下，确定与第一指令词对应的调整内容，并基于第一指令词对考生的试卷进行修改；在声音中包含有第二指令词的情况下，将声音对应的文本信息输入文本判断模型中，以判断文本信息中是否包含有作弊关键词；在文本信息中包含有作弊关键词的情况下，向终端设备发送报警提示信息，以及考生对应的标识。由此，则可以利用语音识别技术辅导考生进行考试，提高考生考试效率，并且可以及时的通过对考生进行语音识别，来发现考生是否作弊，并进行及时的预警。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及一种利用语音识别的在线笔试方法和装置。
背景技术
随着信息化时代的到来，在考试方式上，在线笔试已经普及到各行各业。相比传统纸质考试，在线笔试不仅成本低、效率高、试卷安全，更是打破了时间限制，而且有利于进行系统自动精准阅卷，并多维度地进行成绩分析。
目前，在线笔试可以通过语音识别来辅助学生进行一些考试内容，比如将语音识别得到的文本内容作为答题内容，从而不用学生进行手写，提高了考试效率，但是也会给考场带来很多声音，如何避免学生在利用语音技术进行考试时的作弊行为，是目前亟需解决的问题。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
本公开第一方面实施例提出了一种利用语音识别的在线笔试方法，包括：
对考生的声音进行识别，以判断所述声音中是否包含有第一指令词和第二指令词；
在所述声音中包含有所述第一指令词的情况下，确定与所述第一指令词对应的调整内容，并基于所述第一指令词对所述考生的试卷进行修改；
在所述声音中包含有所述第二指令词的情况下，将所述声音对应的文本信息输入预先构建的文本判断模型中，以判断所述文本信息中是否包含有作弊关键词；
在所述文本信息中包含有所述作弊关键词的情况下，向终端设备发送报警提示信息，以及所述考生对应的标识。
本公开第二方面实施例提出了一种利用语音识别的在线笔试装置，包括：
第一判断模块，用于对考生的声音进行识别，以判断所述声音中是否包含有第一指令词和第二指令词；
确定模块，用于在所述声音中包含有所述第一指令词的情况下，确定与所述第一指令词对应的调整内容，并基于所述第一指令词对所述考生的试卷进行修改；
第二判断模块，用于在所述声音中包含有所述第二指令词的情况下，将所述声音对应的文本信息输入预先构建的文本判断模型中，以判断所述文本信息中是否包含有作弊关键词；
发送模块，用于在所述文本信息中包含有所述作弊关键词的情况下，向终端设备发送报警提示信息，以及所述考生对应的标识。
本公开第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本公开第一方面实施例提出的利用语音识别的在线笔试方法。
本公开第四方面实施例提出了一种非临时性计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如本公开第一方面实施例提出的利用语音识别的在线笔试方法。
本公开提供的利用语音识别的在线笔试方法和装置，存在如下有益效果：
本公开实施例中，首先对考生的声音进行识别，以判断所述声音中是否包含有第一指令词和第二指令词，然后在所述声音中包含有所述第一指令词的情况下，确定与所述第一指令词对应的调整内容，并基于所述第一指令词对所述考生的试卷进行修改，之后在所述声音中包含有所述第二指令词的情况下，将所述声音对应的文本信息输入预先构建的文本判断模型中，以判断所述文本信息中是否包含有作弊关键词，最后在所述文本信息中包含有所述作弊关键词的情况下，向终端设备发送报警提示信息，以及所述考生对应的标识。由此，则可以利用语音识别技术辅导考生进行考试，提高考生考试效率，并且可以及时的通过对考生进行语音识别，来发现考生是否作弊，并进行及时的预警，
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本公开第一实施例所提供的一种利用语音识别的在线笔试方法的流程示意图；
图2为本公开实施例所提供的一种利用语音识别的在线笔试装置的结构框图；
图3示出了适于用来实现本公开实施方式的示例性计算机设备的框图。
实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
下面参考附图描述本公开实施例的利用语音识别的在线笔试方法、装置、计算机设备和存储介质。
图1为本公开第一实施例所提供的利用语音识别的在线笔试方法的流程示意图。
如图1所示，该利用语音识别的在线笔试方法可以包括以下步骤：
步骤101，对考生的声音进行识别，以判断所述声音中是否包含有第一指令词和第二指令词。
其中，第一指令词是指指示对试卷进行修改或者操作的指令词，比如“翻到下一页”、“返回上一页”、“删除第6题的答案”、或者“增加试卷中第5题的答题区域”，在此不做限定。
需要说明的是，考生在进行考试时，试卷可以是展示在考试当前的答题设备中的，比如答题面板。考生可以选择多种类型的答题方式，比如可以通过触控笔在答题面板上进行在线书写和笔试。或者，也可以将嘴巴靠近声音录入设备，通过声音录入设备进行声音的识别，从而可以将得知考生的答题内容。
可以理解的是，本公开中，可以通过声音采集设备，比如麦克风来收集考生的声音信息，并上传至服务器，从而服务器可以对声音进行识别，并得到对应的文本信息。
其中，第二指令词可以为包含有作弊内容的词汇。可以理解的是，当任一考生在和其他考生在考场上进行交流时，则可能会说出第二指令词。
其中，第一指令词可以是预先设置在服务器中的，也可以预先列成一个表单，并张贴在考生的座位附近，使得考生能够看到并且知道哪些第一指令词可以起到什么样的作用。第一指令词的指令可以用于辅助考生进行考试，比如第一指令词也可以为预先记录的一些符号，比如“562”、“58”、“98”，其中“562”、“58”、“98”可以分别对应需要调整的内容A，B，C。考生可以从座位上的贴士知道每个第一指令词所对应的命令。
第二指令词可以是预先从大数据收集的，或者也可以是预先进行记录的，可能在考生作弊时说出的词汇或者短句，比如“告诉我怎么做”、“第N题选A”、“让我看看”、“给我说下”，等等敏感性比较强的短句。
作为一种可能实现的方式，该装置可以首先获取考生的人脸特征信息和签名信息，并判断人脸特征信息和签名信息是否为预先录入的人脸特征信息和签名，然后响应于确定所述人脸特征信息和所述签名信息属于预先录入的人脸特征信息和签名，判断所述人脸特征信息和所述签名信息是否为匹配的，若匹配，则确定所述考生为具有考试资格的考生，在所述考生的答题设备中展示信息录入界面，以获取所述考生录入的验证信息，之后响应于确定所述验证信息录入完成，启动声音采集装置采集所述考生的语音信息，最后对所述语音信息进识别，以得到对应的文本信息，并基于所述文本信息辅助所述考生进行答题。
其中，每个考生都有对应的人脸特征信息和个人签字信息，为了保证考生没有替考，在考试之前需要预先将人脸特征信息和签名信息录入到服务器中，服务器并可以把人脸特征信息和签名信息进行关联存储，然后在检测到考生录入好了人脸特征信息和签名信息之后，则可以判断人脸特征信息和所述签名信息属于预先录入的人脸特征和签名，判断所述人脸特征信息和所述签名信息是否为匹配的，若匹配，则确定所述考生为具有考试资格的考生。
其中，考生录入的验证信息可以为准考证号、考试号、或者计算机MAC地址，在此不做限定。在验证通过之后，既可以启动声音采集装置采集所述考生的语音信息，最后对所述语音信息进识别，以得到对应的文本信息，并基于所述文本信息辅助所述考生进行答题。
步骤102，在所述声音中包含有所述第一指令词的情况下，确定与所述第一指令词对应的调整内容，并基于第一指令词对考生的试卷进行修改。
其中，调整内容可以是根据第一指令词确定的，比如“翻到下一页”、“返回上一页”、“删除第6题的答案”、或者“增加试卷中第5题的答题区域”，在此不做限定。
可选的，可以首先判断第一指令词所属的指令信息，之后将与指令信息对应的调整内容展示在考生的答题设备上，然后响应于接收到考生对调整内容的确认指令，对考生的试卷进行修改。
步骤103，在所述声音中包含有所述第二指令词的情况下，将所述声音对应的文本信息输入预先构建的文本判断模型中，以判断所述文本信息中是否包含有作弊关键词。
需要说明的是，若声音中包含有第二指令词，仍有可能不够准确，或者是因为考生说错了，喃喃自语等等。为了提高对考生作弊检测的准确性，可以将声音对应的文本信息输入至预先构建的文本判断模型中，从而判断文本信息中是否包含有作弊关键词，从而可以提高对考生作弊检测的准确度和可靠度。
具体的，若所述文本信息中是否包含有作弊关键词，可以得到监考视频前后10帧的作弊视频，并将所述作弊视频输入至预先构建的作弊检测模型，以判断所述考生是否发生作弊行为，若发生作弊行为，向所述终端设备发送报警提示信息，其中，所述作弊检测模型包括作弊静态检测层、作弊动态检测层、监考视频获取层和两个全连接层，所述作弊静态检测层的输入为监控图像，第一全连接层的输入为所述作弊静态检测层的输出，第一全连接层的输出为第一特征向量，用来判断是否可能发生作弊行为，若可能作弊，确定监考视频获取层的输入为监控图像；作弊动态检测层的输入为监考视频获取层的输出；第二全连接层的输入为作弊动态检测层的输出；第二全连接层的输出为第二特征向量，用来判断是否发生作弊行为。
可选的，可以首先获得训练集，训练集包括多张训练图像、多段训练视频和标注数据，所述训练视频表示学生作弊的过程，所述训练图像为所述训练视频中能够确定表明作弊的图像，所述标注数据包括图像标注数据和视频标注数据，所述图像标注数据包括针对图像的标注作弊情况和标注作弊类型，所述标注作弊情况表示是否发生作弊行为，所述视频标注数据表示图像中的学生是否发生作弊行为，将所述训练图像输入作弊静态检测层，进行特征提取，得到第一训练特征图，将所述第一训练特征图输入第一全连接层，得到第一训练特征向量，所述第一训练特征向量判断特征图中的行为是否发生作弊行为，所述第一训练特征向量包括作弊情况和作弊类型，所述作弊情况表示是否发生作弊行为，基于所述第一训练特征向量和标注数据，得到第一训练损失值，将第一训练视频输入作弊动态检测层，进行特征提取，得到第二训练特征图，所述第一训练视频为包含所述训练图像的训练视频，将所述第二训练特征图输入第二全连接层，得到第二训练特征向量，所述第二训练特征向量判断特征图中的行为是否发生作弊行为，基于所述第二训练特征向量和标注数据，得到第二训练损失值，获得训练损失值，所述训练损失值为所述第一训练损失值和第二训练损失值相加之和，获得检测模型当前的训练迭代次数以及预先设定的所述检测模型训练的最大迭代次数，当所述损失值小于或等于阈值或训练迭代次数达到所述最大迭代次数时停止训练，得到训练好的检测模型。
步骤104，在所述文本信息中包含有所述作弊关键词的情况下，向终端设备发送报警提示信息，以及所述考生对应的标识。
可选的，若文本信息中包含有所述作弊关键词，则可以获取与所述考生对应的摄像录制设备所拍摄的监考视频，之后从所述监考视频中获取包含有所述考生面部信息和手势信息的各个关键帧，然后基于预设的映射关系，获取与所述第二指令词对应的面部数据集和手势信息数据集，之后对各个所述关键帧进行图像分割，以获取每个所述关键帧中包含的面部特征和手势特征，然后判断所述面部特征和所述手势特征分别和所述面部数据集和手势信息数据集对应的第一匹配度和第二匹配度，最后在第一匹配度大于第一阈值或者第二匹配度大于第二阈值的情况下，向终端设备发送报警提示信息。
需要说明的是，若文本信息中包含有作弊关键词，说明有一定作弊的可能性，为了更准确的判断考生有没有作弊，可以获取摄像录制设备所拍摄的监考视频，然后对监考视频中的各个视频帧进行识别，从而可以得到包含有考生面部信息和手势信息的各个关键帧。
其中，考生在进行作弊时可能是通过嘴巴和其他人进行交流的，因而若某考生的嘴巴在动，可能是在和其他考生进行说话。另外，考生在进行作弊时也可能是通过手势和其他考生进行交流的，因而需要获取有关考生手势信息的视频帧。可以理解的是，通过对关键帧进行提取可以减少计算量。进一步地，可以通过对监考视频中的各个视频帧进行图像分割，也可以得到包含有目标区域的图像，也即嘴巴图像和手部图像，并可以通过特征提取模块提取对应的面部特征和手部特征。
其中，面部数据集是与第二指令词关联度比较高的数据集。其可以包含了各种各样的面部特征，需要说明的是，当多个考生在说出相同的指令词时，其对应的面部特征可能是相似的，也即可以为相似的口型，同理手势特征也可能是相似的，因而，可以预先从大数据中获取与第二指令词对应的多种面部图像和对应的手部图像，以及对应的面部特征和手部特征。进一步地，可以判断所述面部特征和所述手势特征分别和所述面部数据集和手势信息数据集对应的第一匹配度和第二匹配度，最后在第一匹配度大于第一阈值或者第二匹配度大于第二阈值的情况下，向终端设备发送报警提示信息。
其中，第一匹配度可以为面部特征和所述面部数据集之前的匹配度，第二匹配度可以为手部特征和所述面部数据集之前的匹配度。
其中，第一阈值可以为第一匹配度的阈值。其中，第二阈值可以为第二匹配度的阈值。
由此，则表明当前考生正在主动与其他考生进行交流，判定存在作弊行为并发出报警提示信息，以提示用户终端的使用者及时对作弊行为进行处理。
本公开实施例中，首先对考生的声音进行识别，以判断所述声音中是否包含有第一指令词和第二指令词，然后在所述声音中包含有所述第一指令词的情况下，确定与所述第一指令词对应的调整内容，并基于所述第一指令词对所述考生的试卷进行修改，之后在所述声音中包含有所述第二指令词的情况下，将所述声音对应的文本信息输入预先构建的文本判断模型中，以判断所述文本信息中是否包含有作弊关键词，最后在所述文本信息中包含有所述作弊关键词的情况下，向终端设备发送报警提示信息，以及所述考生对应的标识。由此，则可以利用语音识别技术辅导考生进行考试，提高考生考试效率，并且可以及时的通过对考生进行语音识别，来发现考生是否作弊，并进行及时的预警，
图2为本公开第二实施例所提供的利用语音识别的在线笔试装置的结构框图。
如图2所示，该利用语音识别的在线笔试装置200可以包括：
第一判断模块210，用于对考生的声音进行识别，以判断所述声音中是否包含有第一指令词和第二指令词；
确定模块220，用于在所述声音中包含有所述第一指令词的情况下，确定与所述第一指令词对应的调整内容，并基于所述第一指令词对所述考生的试卷进行修改；
第二判断模块230，用于在所述声音中包含有所述第二指令词的情况下，将所述声音对应的文本信息输入预先构建的文本判断模型中，以判断所述文本信息中是否包含有作弊关键词；
发送模块240，用于在所述文本信息中包含有所述作弊关键词的情况下，向终端设备发送报警提示信息，以及所述考生对应的标识。
可选的，所述确定模块，具体用于：
判断所述第一指令词所属的指令信息；
将与所述指令信息对应的调整内容展示在所述考生的答题设备上；
响应于接收到所述考生对所述调整内容的确认指令，对所述考生的试卷进行修改。
可选的，所述发送模块，具体用于：
获取与所述考生对应的摄像录制设备所拍摄的监考视频；
从所述监考视频中获取包含有所述考生面部信息和手势信息的各个关键帧；
基于预设的映射关系，获取与所述第二指令词对应的面部数据集和手势信息数据集；
对各个所述关键帧进行图像分割，以获取每个所述关键帧中包含的面部特征和手势特征；
判断所述面部特征和所述手势特征分别和所述面部数据集和手势信息数据集对应的第一匹配度和第二匹配度；
在所述第一匹配度大于第一阈值或者所述第二匹配度大于第二阈值的情况下，向终端设备发送报警提示信息。
可选的，所述第一判断模块，具体用于：
获取所述考生的人脸特征信息和签名信息，并判断所述人脸特征信息和所述签名信息是否为预先录入的人脸特征信息和签名；
响应于确定所述人脸特征信息和所述签名信息属于预先录入的人脸特征信息和签名，判断所述人脸特征信息和所述签名信息是否为匹配的，若匹配，则确定所述考生为具有考试资格的考生；
在所述考生的答题设备中展示信息录入界面，以获取所述考生录入的验证信息；
响应于确定所述验证信息录入完成，启动声音采集装置采集所述考生的语音信息；
对所述语音信息进识别，以得到对应的文本信息，并基于所述文本信息辅助所述考生进行答题。
可选的，所述第二判断模块，还用于：
若所述文本信息中是否包含有作弊关键词，得到监考视频前后10帧的作弊视频，并将所述作弊视频输入至预先构建的作弊检测模型，以判断所述考生是否发生作弊行为；
若发生作弊行为，向所述终端设备发送报警提示信息，
其中，所述作弊检测模型包括作弊静态检测层、作弊动态检测层、监考视频获取层和两个全连接层，所述作弊静态检测层的输入为监控图像，第一全连接层的输入为所述作弊静态检测层的输出，第一全连接层的输出为第一特征向量，用来判断是否可能发生作弊行为，若可能作弊，确定监考视频获取层的输入为监控图像；作弊动态检测层的输入为监考视频获取层的输出；第二全连接层的输入为作弊动态检测层的输出；第二全连接层的输出为第二特征向量，用来判断是否发生作弊行为。
本公开实施例中，首先对考生的声音进行识别，以判断所述声音中是否包含有第一指令词和第二指令词，然后在所述声音中包含有所述第一指令词的情况下，确定与所述第一指令词对应的调整内容，并基于所述第一指令词对所述考生的试卷进行修改，之后在所述声音中包含有所述第二指令词的情况下，将所述声音对应的文本信息输入预先构建的文本判断模型中，以判断所述文本信息中是否包含有作弊关键词，最后在所述文本信息中包含有所述作弊关键词的情况下，向终端设备发送报警提示信息，以及所述考生对应的标识。由此，则可以利用语音识别技术辅导考生进行考试，提高考生考试效率，并且可以及时的通过对考生进行语音识别，来发现考生是否作弊，并进行及时的预警，
为了实现上述实施例，本公开还提出一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本公开前述实施例提出的利用语音识别的在线笔试方法。
为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现如本公开前述实施例提出的利用语音识别的在线笔试方法。
为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开前述实施例提出的利用语音识别的在线笔试方法。
图3示出了适于用来实现本公开实施方式的示例性计算机设备的框图。图3显示的计算机设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件（包括系统存储器28和处理单元16）的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（Industry StandardArchitecture；以下简称：ISA）总线，微通道体系结构（Micro Channel Architecture；以下简称：MAC）总线，增强型ISA总线、视频电子标准协会（Video Electronics StandardsAssociation；以下简称：VESA）局域总线以及外围组件互连（Peripheral ComponentInterconnection；以下简称：PCI）总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（Random Access Memory；以下简称：RAM）30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质（图3未显示，通常称为“硬盘驱动器”）。尽管图3中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如：光盘只读存储器（Compact Disc Read OnlyMemory；以下简称：CD-ROM）、数字多功能只读光盘（Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM）或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组（至少一个）程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14（例如键盘、指向设备、显示器24等）通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络（例如局域网（Local Area Network；以下简称：LAN），广域网（Wide Area Network；以下简称：WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种利用语音识别的在线笔试方法，其特征在于，包括：
对考生的声音进行识别，以判断所述声音中是否包含有第一指令词和第二指令词；
在所述声音中包含有所述第一指令词的情况下，确定与所述第一指令词对应的调整内容，并基于所述第一指令词对所述考生的试卷进行修改；
在所述声音中包含有所述第二指令词的情况下，将所述声音对应的文本信息输入预先构建的文本判断模型中，以判断所述文本信息中是否包含有作弊关键词；
在所述文本信息中包含有所述作弊关键词的情况下，向终端设备发送报警提示信息，以及所述考生对应的标识。
2.根据权利要求1所述的方法，其特征在于，所述确定与所述第一指令词对应的调整内容，并基于所述第一指令词对所述考生的试卷进行修改，包括：
判断所述第一指令词所属的指令信息；
将与所述指令信息对应的调整内容展示在所述考生的答题设备上；
响应于接收到所述考生对所述调整内容的确认指令，对所述考生的试卷进行修改。
3.根据权利要求1所述的方法，其特征在于，所述向终端设备发送报警提示信息，包括：
获取与所述考生对应的摄像录制设备所拍摄的监考视频；
从所述监考视频中获取包含有所述考生面部信息和手势信息的各个关键帧；
基于预设的映射关系，获取与所述第二指令词对应的面部数据集和手势信息数据集；
对各个所述关键帧进行图像分割，以获取每个所述关键帧中包含的面部特征和手势特征；
判断所述面部特征和所述手势特征分别和所述面部数据集和手势信息数据集对应的第一匹配度和第二匹配度；
在所述第一匹配度大于第一阈值或者所述第二匹配度大于第二阈值的情况下，向终端设备发送报警提示信息。
4.根据权利要求1所述的方法，其特征在于，所述对考生的声音进行识别，以判断所述声音中是否包含有第一指令词和第二指令词，包括：
获取所述考生的人脸特征信息和签名信息，并判断所述人脸特征信息和所述签名信息是否为预先录入的人脸特征信息和签名；
响应于确定所述人脸特征信息和所述签名信息属于预先录入的人脸特征信息和签名，判断所述人脸特征信息和所述签名信息是否为匹配的，若匹配，则确定所述考生为具有考试资格的考生；
在所述考生的答题设备中展示信息录入界面，以获取所述考生录入的验证信息；
响应于确定所述验证信息录入完成，启动声音采集装置采集所述考生的语音信息；
对所述语音信息进识别，以得到对应的文本信息，并基于所述文本信息辅助所述考生进行答题。
5.根据权利要求1所述的方法，其特征在于，在所述将所述文本信息输入预先构建的文本判断模型中，以判断所述文本信息中是否包含有作弊关键词之后，还包括：
若所述文本信息中是否包含有作弊关键词，得到监考视频前后10帧的作弊视频，并将所述作弊视频输入至预先构建的作弊检测模型，以判断所述考生是否发生作弊行为；
若发生作弊行为，向所述终端设备发送报警提示信息，
其中，所述作弊检测模型包括作弊静态检测层、作弊动态检测层、监考视频获取层和两个全连接层，所述作弊静态检测层的输入为监控图像，第一全连接层的输入为所述作弊静态检测层的输出，第一全连接层的输出为第一特征向量，用来判断是否可能发生作弊行为，若可能作弊，确定监考视频获取层的输入为监控图像；作弊动态检测层的输入为监考视频获取层的输出；第二全连接层的输入为作弊动态检测层的输出；第二全连接层的输出为第二特征向量，用来判断是否发生作弊行为。
6.一种利用语音识别的在线笔试装置，其特征在于，包括：
第一判断模块，用于对考生的声音进行识别，以判断所述声音中是否包含有第一指令词和第二指令词；
确定模块，用于在所述声音中包含有所述第一指令词的情况下，确定与所述第一指令词对应的调整内容，并基于所述第一指令词对所述考生的试卷进行修改；
第二判断模块，用于在所述声音中包含有所述第二指令词的情况下，将所述声音对应的文本信息输入预先构建的文本判断模型中，以判断所述文本信息中是否包含有作弊关键词；
发送模块，用于在所述文本信息中包含有所述作弊关键词的情况下，向终端设备发送报警提示信息，以及所述考生对应的标识。
7.根据权利要求6所述的装置，其特征在于，所述确定模块，具体用于：
判断所述第一指令词所属的指令信息；
将与所述指令信息对应的调整内容展示在所述考生的答题设备上；
响应于接收到所述考生对所述调整内容的确认指令，对所述考生的试卷进行修改。
8.根据权利要求6所述的装置，其特征在于，所述发送模块，具体用于：
获取与所述考生对应的摄像录制设备所拍摄的监考视频；
从所述监考视频中获取包含有所述考生面部信息和手势信息的各个关键帧；
基于预设的映射关系，获取与所述第二指令词对应的面部数据集和手势信息数据集；
对各个所述关键帧进行图像分割，以获取每个所述关键帧中包含的面部特征和手势特征；
判断所述面部特征和所述手势特征分别和所述面部数据集和手势信息数据集对应的第一匹配度和第二匹配度；
在所述第一匹配度大于第一阈值或者所述第二匹配度大于第二阈值的情况下，向终端设备发送报警提示信息。
9.根据权利要求6所述的装置，其特征在于，所述第一判断模块，具体用于：
获取所述考生的人脸特征信息和签名信息，并判断所述人脸特征信息和所述签名信息是否为预先录入的人脸特征信息和签名；
响应于确定所述人脸特征信息和所述签名信息属于预先录入的人脸特征信息和签名，判断所述人脸特征信息和所述签名信息是否为匹配的，若匹配，则确定所述考生为具有考试资格的考生；
在所述考生的答题设备中展示信息录入界面，以获取所述考生录入的验证信息；
响应于确定所述验证信息录入完成，启动声音采集装置采集所述考生的语音信息；
对所述语音信息进识别，以得到对应的文本信息，并基于所述文本信息辅助所述考生进行答题。
10.根据权利要求6所述的装置，其特征在于，所述第二判断模块，还用于：
若所述文本信息中是否包含有作弊关键词，得到监考视频前后10帧的作弊视频，并将所述作弊视频输入至预先构建的作弊检测模型，以判断所述考生是否发生作弊行为；
若发生作弊行为，向所述终端设备发送报警提示信息，
其中，所述作弊检测模型包括作弊静态检测层、作弊动态检测层、监考视频获取层和两个全连接层，所述作弊静态检测层的输入为监控图像，第一全连接层的输入为所述作弊静态检测层的输出，第一全连接层的输出为第一特征向量，用来判断是否可能发生作弊行为，若可能作弊，确定监考视频获取层的输入为监控图像；作弊动态检测层的输入为监考视频获取层的输出；第二全连接层的输入为作弊动态检测层的输出；第二全连接层的输出为第二特征向量，用来判断是否发生作弊行为。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310199840.4A CN116153312A (zh) | 2023-03-05 | 2023-03-05 | 利用语音识别的在线笔试方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310199840.4A CN116153312A (zh) | 2023-03-05 | 2023-03-05 | 利用语音识别的在线笔试方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116153312A true CN116153312A (zh) | 2023-05-23 |
Family
ID=86356285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310199840.4A Pending CN116153312A (zh) | 2023-03-05 | 2023-03-05 | 利用语音识别的在线笔试方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116153312A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103136510A (zh) * | 2013-01-17 | 2013-06-05 | 京东方科技集团股份有限公司 | 一种监考系统及方法 |
| CN106023516A (zh) * | 2016-05-18 | 2016-10-12 | 广西瀚特信息产业股份有限公司 | 一种考试监控方法、系统及考场监控器 |
| CN109726663A (zh) * | 2018-12-24 | 2019-05-07 | 广东德诚科教有限公司 | 在线考试监控方法、装置、计算机设备及存储介质 |
| CN110705270A (zh) * | 2019-09-18 | 2020-01-17 | 北京金和网络股份有限公司 | 基于五定技术的语音监控在线考试方法及其装置 |
| CN112669820A (zh) * | 2020-12-16 | 2021-04-16 | 平安科技（深圳）有限公司 | 基于语音识别的考试作弊识别方法、装置及计算机设备 |
| CN112837687A (zh) * | 2021-03-03 | 2021-05-25 | 北京百家科技集团有限公司 | 一种答题方法、装置、计算机设备及存储介质 |
| CN114140751A (zh) * | 2021-12-13 | 2022-03-04 | 江苏商贸职业学院 | 一种考场监控方法及系统 |
| CN114639175A (zh) * | 2022-03-23 | 2022-06-17 | 平安普惠企业管理有限公司 | 考试作弊行为预测方法、装置、设备及存储介质 |
-
2023
- 2023-03-05 CN CN202310199840.4A patent/CN116153312A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103136510A (zh) * | 2013-01-17 | 2013-06-05 | 京东方科技集团股份有限公司 | 一种监考系统及方法 |
| CN106023516A (zh) * | 2016-05-18 | 2016-10-12 | 广西瀚特信息产业股份有限公司 | 一种考试监控方法、系统及考场监控器 |
| CN109726663A (zh) * | 2018-12-24 | 2019-05-07 | 广东德诚科教有限公司 | 在线考试监控方法、装置、计算机设备及存储介质 |
| CN110705270A (zh) * | 2019-09-18 | 2020-01-17 | 北京金和网络股份有限公司 | 基于五定技术的语音监控在线考试方法及其装置 |
| CN112669820A (zh) * | 2020-12-16 | 2021-04-16 | 平安科技（深圳）有限公司 | 基于语音识别的考试作弊识别方法、装置及计算机设备 |
| CN112837687A (zh) * | 2021-03-03 | 2021-05-25 | 北京百家科技集团有限公司 | 一种答题方法、装置、计算机设备及存储介质 |
| CN114140751A (zh) * | 2021-12-13 | 2022-03-04 | 江苏商贸职业学院 | 一种考场监控方法及系统 |
| CN114639175A (zh) * | 2022-03-23 | 2022-06-17 | 平安普惠企业管理有限公司 | 考试作弊行为预测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11610394B2 (en) | Neural network model training method and apparatus, living body detecting method and apparatus, device and storage medium | |
| US10311743B2 (en) | Systems and methods for providing a multi-modal evaluation of a presentation | |
| US20190026606A1 (en) | To-be-detected information generating method and apparatus, living body detecting method and apparatus, device and storage medium | |
| CN111833853B (zh) | 语音处理方法及装置、电子设备、计算机可读存储介质 | |
| CN108898115B (zh) | 数据处理方法、存储介质和电子设备 | |
| CN111738041A (zh) | 一种视频分割方法、装置、设备及介质 | |
| CN109669661A (zh) | 一种听写进度的控制方法及电子设备 | |
| CN109785846B (zh) | 单声道的语音数据的角色识别方法及装置 | |
| TW202117616A (zh) | 適性化職缺媒合系統及方法 | |
| CN112232276B (zh) | 一种基于语音识别和图像识别的情绪检测方法和装置 | |
| US6826306B1 (en) | System and method for automatic quality assurance of user enrollment in a recognition system | |
| CN110188303A (zh) | 页面错误识别方法和装置 | |
| JP2008158055A (ja) | 言語発音練習支援システム | |
| CN109408175B (zh) | 通用高性能深度学习计算引擎中的实时交互方法及系统 | |
| Seneviratne et al. | Student and lecturer performance enhancement system using artificial intelligence | |
| CN112116181B (zh) | 课堂质量模型的训练方法、课堂质量评价方法及装置 | |
| WO2020116280A1 (ja) | 学習支援装置、学習支援方法および記録媒体 | |
| US10008206B2 (en) | Verifying a user | |
| CN116153312A (zh) | 利用语音识别的在线笔试方法和装置 | |
| CN111078010A (zh) | 一种人机交互方法、装置、终端设备及可读存储介质 | |
| CN110874554A (zh) | 动作识别方法、终端设备、服务器、系统及存储介质 | |
| CN112687296B (zh) | 音频不流利的识别方法、装置、设备及可读存储介质 | |
| CN110223718B (zh) | 一种数据处理方法、装置及存储介质 | |
| CN110647622A (zh) | 交互数据有效性识别方法和装置 | |
| CN113842113A (zh) | 发展性阅读障碍智能识别方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230523 |