CN114938443B - 一种基于流媒体的实验实操考试实时评分方法 - Google Patents

Abstract

本发明提供了一种基于流媒体的实验实操考试实时评分方法，包括：设置考场，考场内设置多个考位，每个考位配置多台不同角度的网络摄像机；设置服务器端，服务器端内运行有流媒体服务器，用于接收考生的实验实操画面并生成视频流，所述视频流包括主码流和副码流；设置与考场分开的评分室，评分室内设有多台评分电脑，评分电脑上运行有阅卷客户端；阅卷客户端对接收的视频流进行人脸检测，并自动生成马赛克对人脸进行遮挡；且阅卷客户端采用主副码流机制。本发明结合了“现考现评”、“现考后评”两种方式的优点，实时评分的同时可有效避免感情分和作弊现象，并能够降低对硬件的开销。

Description

一种基于流媒体的实验实操考试实时评分方法

技术领域

本发明涉及考试评分方法技术领域，具体涉及一种基于流媒体的实验实操考试实时评分方法。

背景技术

目前常见的实验实操评分方式有“现考现评”、“现考后评”两类。“现考现评”指在考生操作时安排一名或多名评分员在旁观看其操作过程并进行打分。“现考后评”指在考生操作的考位上安装多台摄像机，进行多方位的拍摄并录制视频，评分员后期通过视频点播技术回看考生的操作视频并进行打分。

“现考现评”方式的优势是出分及时，学生操作完毕后当场就可以得知分数，不易产生纠纷和异议。“现考现评”方式最大缺点是考试时需要评分员长时间站在考生旁，会使得评分员极度疲劳，进而影响评分质量甚至是评分员的健康；其次，评分员可以直接得知考生的身份，可能会出现感情分甚至作弊。

“现考后评”方式虽然不需要评分员长时间站立，但是考生却无法当场得知考试分数，这会提高考生群体中查分的比例，或者增加了申诉的人数，增加了考试主管部门的工作量。

为了避免评分员在视频中看到学生的人脸从而得知其身份，常用的办法是对视频中的人脸进行脱敏，利用马赛克对人脸进行模糊处理则是目前公认最实用的办法。然而市面上常用的马赛克技术主要是通过对视频进行二次编码完成的，这会引入几个问题：

1、二次编码会使得视频有效信息减少，降低了视频清晰度。

2、二次编码比较占用硬件开销，尤其是对编解码器的开销，而教育单位常用电脑配置的视频编解码能力比较差，无法对高清直播画面实时完成二次编码。

3、一些产品由于无法通过对直播流进行实时二次编码，而选择了对录制好的视频文件进行二次编码，等编码完成再由用户进行点播。这就只适用于现考后评了，而不适用于现考现评。

发明内容

为了弥补现有技术中存在的不足，本发明提供了一种基于流媒体的实验实操考试实时评分方法，结合了“现考现评”、“现考后评”两种方式的优点，实时评分的同时可有效避免感情分和作弊现象，并能够降低对硬件的开销。

为了达到上述目的，本发明采用的技术方案如下：

设置考场，考场内设置多个考位，每个考位配置多台不同角度的网络摄像机，用于获取考生的实验实操画面；

设置服务器端，服务器端内运行有流媒体服务器，用于接收考生的实验实操画面并生成视频流，所述视频流包括主码流和副码流；

设置与考场分开的评分室，评分室内设有多台评分电脑，评分电脑上运行有阅卷客户端，用于接收视频流并进行在线评分；

阅卷客户端对接收的视频流进行人脸检测，并自动生成马赛克对人脸进行遮挡；且阅卷客户端默认播放副码流，同时在后台实时加载主码流但不渲染，仅在用户全屏放大某一视频画面时，才对主码流中的单一画面进行渲染。

进一步的，每个考位还配置有一台平板电脑，用于考生查看考试试题、填写电子答题卡，部分考试还需要为每个考位配置一台显微镜，用于采集显微镜画面，并将采集到的显微镜画面传输到平板电脑中。

进一步的，控制多台网络摄像机之间的时间戳同步性：配置一台高精度NTP服务器，把多台网络摄像机的NTP服务器设置为所述高精度NTP服务器，并把多台网络摄像机的RTSP流中的时间戳设为绝对时间戳，阅卷客户端运行时，先打开多个播放器，分别播放多个镜头画面的RTSP流，每个播放器把帧及其时间戳存储在一个小缓冲区中，通过控制每个播放器总是播放同一时间戳的帧，使得播放的帧基本同步。

进一步的，在录制多台网络摄像机画面时，控制其多个视频文件之间的同步性：考试的时候，总是先抽签、后考试，评分员只需要考试过程的视频，抽签时刻到考试开始时刻之间的视频不需要，因而收到抽签消息时，主镜头播放器开始写MP4文件头，侧镜头播放器也同时开始写MP4文件头，当收到开始考试消息时，通过主动获取摄像头I帧，接收到I帧才开始录制，从而实现同步开始录制。

进一步的，兼容不在同一局域网下的视频实时传输：所述平板电脑通过onvif协议自动发现网络摄像机，获取视频流媒体，所述平板电脑向消息中间件发布网络摄像机的内网流媒体地址，所述服务器端创建一个流媒体关系映射表，并在接收到流媒体地址后写入该表；评分室的评分电脑通过消息中间件，根据阅卷客户端选定的座位号，向服务器端的流媒体服务器请求对应流媒体，并进行播放。

相对于现有技术，本发明具有以下有益技术效果：

1、本发明结合了“现考现评”、“现考后评”两种方式的优点，通过在每个考位部署多台摄像机，结合流媒体技术，通过电脑就可以边观看直播画面边进行评分，评分员可以“坐着”操作电脑，而无需“站在”考生操作的现场。

2、本发明结合人脸检测技术，实时在直播画面上对敏感的人脸信息进行打码处理，直接避免评分员看到考生人脸，从根本上杜绝了感情分和作弊。

3、本发明通过主副流技术、视频秒开技术降低了视频解码的硬件开销；又通过直接在阅卷客户端上渲染一个马赛克图层，而无需对视频进行二次编码，进而降低了视频解码的硬件开销。

附图说明

图1是本发明一种基于流媒体的实验实操考试实时评分方法的物理架构图。

图2是本发明的人脸检测软件架构图。

图3是本发明评分时进行回播的软件架构图。

图4是本发明控制多台网络摄像机之间的时间戳同步性的软件架构图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

实施例1

一种基于流媒体的实验实操考试实时评分方法，物理硬件架构如图1所示，包括以下内容：

设置考场，考场内设置多个考位，每个考位配置2-3个不同角度的网络摄像机，用于获取考生的实验实操画面；每个考位还须配置1台平板电脑用于考生查看考试试题、填写电子答题卡等。部分考试还需要为每个考位设置一台显微镜，为了采集显微镜画面，需要使用具有usb画面输出功能的数码显微镜、或者为非数码显微镜加装电子目镜。数码显微镜或电子目镜的usb画面需接入到平板电脑中。

设置服务器端，服务器端内运行有流媒体服务器，用于接收考生的实验实操画面并生成视频流，视频流包括主码流和副码流。

设置与考场分开的评分室，评分室内设有多台评分电脑，评分电脑上运行有阅卷客户端。通过阅卷客户端软件，评分员可以实时监看考生各类实验实操画面，并依据相关课程设计标准对考试实操过程的每一个步骤是否正确在线给出评分。

为了提高评分公正性，系统还应防止评分员看到考生人脸。阅卷客户端采用人脸检测技术实时检测视频流中的人脸画面，并自动生成马赛克进行遮挡。人脸检测的软件架构如图2所示。

本发明的基于流媒体的实验实操考试实时评分方法，可以兼容考生和评分员不在同一局域网下进行视频实时传输，采用的技术手段如下：

1、平板电脑通过onvif协议自动发现网络摄像机，获取视频流媒体，同时通过usb信号获取电子目镜uvc信号画面并编码成流媒体。

2、平板电脑向消息中间件发布网络摄像机和电子目镜画面的“内网流媒体地址”(由于此是内网地址，所以服务器端不一定可以直接访问到，仅是做一个登记作用)，服务器端创建一个“流媒体关系映射表”，并在接收到流媒体地址后写入到该表中(如表1所示)。

表1流媒体关系映射表

教室号	座位号	相机号	内网流媒体地坛	服务器端流媒体地址

内网流媒体地址：在考场内部局域网的流媒体地址，其IP地址无法被服务器端直接访问，但是可以被内网的监考服务器直接访问。

服务器端流媒体地址：服务器端创建一个空闲流媒体地址，等待内网的监考服务器将对应的内网流媒体推流至指定的服务器端流媒体地址，以使得该流可以被评分室的局域网所访问。

3、监考服务器通过消息中间件获取到“流媒体关系映射表”后，访问内网流媒体地址并转发到对应服务器端流媒体地址。由于监考服务器和平板电脑、摄像机总是处于同一局域网内，因此监考服务器必然可以直接访问流地址。而且，由于考场局域网内设备数量总是不多(24-32套设备)，因此局域网内的广播信息总是比较少，带宽资源也充裕，因此监考服务器可以安全稳定的对视频流进行录制备份。

4、评分室的评分电脑通过消息中间件，根据阅卷客户端选定的座位号，向服务器端的流媒体服务器请求对应流媒体，并进行播放。由此实现了不同局域网下流媒体的自动发现和自动转发，无需用户关注局域网配置，也无需反复配置IP地址。

本发明的的基于流媒体的实验实操考试实时评分方法，可以实现答题卡画面的实时传输，采用的技术手段如下：

A1、考生端定时(5-10s)将电子答卷的所有相关字段打包发送到服务器端。

A2、服务器端提供一个轮询服务，以便于阅卷客户端通过HTTP定时向服务端请求响应电子答卷的最新字段。

A3、阅卷客户端请求到字段后，在本地页面的文本框中进行更新，进而实现答题卡画面的实时传输。

本发明的的基于流媒体的实验实操考试实时评分方法，通过主副码流机制，能够降低对评分电脑的硬件开销，采用的技术手段如下：

B1、网络摄像机生成一个分辨率较低的副码流，随各级的流媒体一同转发至阅卷客户端，阅卷客户端默认播放副码流，同时在后台实时加载高清主码流但是不渲染。只有当用户全屏放大某一个视频画面时，才对单一画面进行渲染，用户关闭全屏画面同时关闭渲染。

B2、由于平板电脑配置一般较低，只能将显微镜画面编码成1路高分辨率的主码流，无法再编码1路低分辨率的副码流。但是用户观看显微镜画面时不需要太强的流畅度，所以平板电脑的编码帧率可以适当调低。

本发明的的基于流媒体的实验实操考试实时评分方法，评分员进行评分时可以进行视频回播，软件架构如图3所示，采用的技术手段如下：

C1、服务器端将图像、声音分别编码打包切割容器文件ts，建立纯文本索引文件m3u8。

C2、控制器通过http向服务器端请求并下载索引文件、容器文件，播放并交于视频解码器。

C3、当TS文件被播放后，控制器会再次向服务器端请求更新的索引文件、容器文件(也就是重复第2步)。

C4、当用户需要回放时，通过与控制器进行人机交互(例如拖动进度条)，定位到需要回放的时间节点。随后控制器根据该时间节点和索引文件(m3u8)，向服务器端请求对应的容器文件(ts)，并进行播放。

C5、回放状态下的视频播放，默认会以倍速播放(2-4倍速)，以便于快速追上最新的直播画面。

C6、同理，每当播放器播放完当前ts文件后，控制器会向服务器再次发送请求更新的m3u8文件的请求，并重复第4步。直到追上最新的TS文件为止，随后重复第2步。

本发明的的基于流媒体的实验实操考试实时评分方法，采用时间戳控制技术，使得阅卷客户端无论是回播状态、倍速状态、直播状态，都能使多个画面相互同步播放，不会产生异样感。

如图4所示，控制多台网络摄像机之间的时间戳同步性，技术手段如下：

D1、在局域网里配置一台高精度的NTP服务器，用于为局域网中其他网络设备提供精准的网络时间。

D2、把多台网络摄像机的NTP服务器设置为上述局域网中的高精度ntp服务器，从而使得多台网络摄像机的网络时间实现了基本同步。

D3、把多台网络摄像机的RTSP流中的时间戳设置为绝对时间戳，而不是相对时间戳，保证了同一时刻产生的帧时间戳基本一样。

D4、此RTSP流在经过流媒体服务器(多个)转发时，始终不改变其时间戳，从而保证多个流在传输过程中无论经过多少级的转发，其时间戳始终基本同步。

D5、阅卷客户端软件运行时，先打开多个播放器，分别播放多个镜头画面的RTSP流，每个播放器把帧及其时间戳存储在一个小缓冲区中，通过控制每个播放器总是播放同一时间戳的帧，使得播放的帧基本同步。

在录制多台网络摄像机画面时，控制其多个视频文件之间的同步性，技术手段如下：

E1、考试的时候，总是先抽签、后考试，评分员只需要考试过程的视频，抽签时刻到考试开始时刻之间的视频不需要，因而收到抽签消息时，主镜头播放器开始写MP4文件头，侧镜头播放器也同时开始写MP4文件头

E2、当收到开始考试消息时，通过主动获取摄像头I帧，接收到I帧才开始录制，从而实现同步开始录制，主动获取I帧的方法有包括但不限于以下几种：

E2.1通过另外的两个播放器分别同时去打开主镜头的rtsp流和侧镜头的rtsp流，打开成功后关闭，就可以在rtsp流里产生一个I帧。

E2.2通过调用摄像头厂家提供的主动获取I帧的接口，来主动产生一个I帧。

E3、主镜头播放器收到I帧后开始录制，侧镜头播放器也是收到I帧后开始录制，从而实现同步开始录制。

E4、收到考试结束指令，主镜头播放器停止录制，侧镜头播放器停止录制，从而实现同步结束录制。

以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于流媒体的实验实操考试实时评分方法，其特征在于：

设置考场，考场内设置多个考位，每个考位配置多台不同角度的网络摄像机，用于获取考生的实验实操画面；

设置服务器端，服务器端内运行有流媒体服务器，用于接收考生的实验实操画面并生成视频流，所述视频流包括主码流和副码流；

设置与考场分开的评分室，评分室内设有多台评分电脑，评分电脑上运行有阅卷客户端，用于接收视频流并进行在线评分；

阅卷客户端对接收的视频流进行人脸检测，并自动生成马赛克对人脸进行遮挡；且阅卷客户端默认播放副码流，同时在后台实时加载主码流但不渲染，仅在用户全屏放大某一视频画面时，才对主码流中的单一画面进行渲染；

控制多台网络摄像机之间录制同步性：收到抽签消息时，主镜头播放器开始写MP4文件头，侧镜头播放器也同时开始写MP4文件头，当收到开始考试消息时，通过主动获取摄像头I帧，接收到I帧才开始录制，从而实现同步开始录制。

2.根据权利要求1所述的基于流媒体的实验实操考试实时评分方法，其特征在于：每个考位还配置有一台平板电脑，用于考生查看考试试题、填写电子答题卡，部分考试还需要为每个考位配置一台显微镜，用于采集显微镜画面，并将采集到的显微镜画面传输到平板电脑中。

3.根据权利要求2所述的基于流媒体的实验实操考试实时评分方法，其特征在于，控制多台网络摄像机之间的时间戳同步性：配置一台高精度NTP服务器，把多台网络摄像机的NTP服务器设置为所述高精度NTP服务器，并把多台网络摄像机的RTSP流中的时间戳设为绝对时间戳，阅卷客户端运行时，先打开多个播放器，分别播放多个镜头画面的RTSP流，每个播放器把帧及其时间戳存储在一个小缓冲区中，通过控制每个播放器总是播放同一时间戳的帧，使得播放的帧基本同步。

4.根据权利要求3所述的基于流媒体的实验实操考试实时评分方法，其特征在于，兼容不在同一局域网下的视频实时传输：所述平板电脑通过onvif协议自动发现网络摄像机，获取视频流媒体，所述平板电脑向消息中间件发布网络摄像机的内网流媒体地址，所述服务器端创建一个流媒体关系映射表，并在接收到流媒体地址后写入该表；评分室的评分电脑通过消息中间件，根据阅卷客户端选定的座位号，向服务器端的流媒体服务器请求对应流媒体，并进行播放。

Images