CN116091967A - 一种实验操作考试的电子答卷处理方法和装置、电子设备 - Google Patents

一种实验操作考试的电子答卷处理方法和装置、电子设备 Download PDF

Info

Publication number
CN116091967A
CN116091967A CN202211707384.1A CN202211707384A CN116091967A CN 116091967 A CN116091967 A CN 116091967A CN 202211707384 A CN202211707384 A CN 202211707384A CN 116091967 A CN116091967 A CN 116091967A
Authority
CN
China
Prior art keywords
experimental
video frame
video
equipment
close
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211707384.1A
Other languages
English (en)
Inventor
张春晓
王畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jyd Digital System Technology Co ltd
Original Assignee
Beijing Jyd Digital System Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jyd Digital System Technology Co ltd filed Critical Beijing Jyd Digital System Technology Co ltd
Priority to CN202211707384.1A priority Critical patent/CN116091967A/zh
Publication of CN116091967A publication Critical patent/CN116091967A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种实验操作考试的电子答卷处理方法和装置、电子设备，所述方法包括：获取第一摄像头拍摄的实验操作的全景视频以及第二摄像头拍摄的实验操作的特写视频；分别对全景视频和特写视频进行解码，按照预设间隔进行视频帧提取得到全景视频帧和特写视频帧；依据全景视频帧和特写视频帧中包含的实验器材特征、预设的各实验考试器材集特征，确定本次实验操作项目、初始关键帧并在初始关键帧中标记目标器材；对全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧；基于各视频关键帧、各实验步骤的关联关系，生成电子答卷，能够提高电子答卷的评分效率和准确性。

Description

一种实验操作考试的电子答卷处理方法和装置、电子设备
技术领域
本发明涉及实验操作考试信息处理技术领域，尤其涉及一种实验操作考试的电子答卷处理方法和装置、电子设备。
背景技术
国家为明确贯彻培养创新人才方针，发布《关于加强和改进中小学实验教学的意见》等关于义务教育中实验操作方面的指导方针。当前考试系统中，已出现集中录像视频数据调阅系统，该种系统只能解决专业师资投入不足和专业考场较少的问题，适用范围相对独立，并不能解决行业内当下的使用痛点。
集中视频数据调阅系统将区域内的考生实验录像集中起来，需要存储空间极大的服务器集群，专业评分员使用多倍速录像回放来进行评分。倍速增加后，操作动作加快、实验结果快速闪过，评分员需要全过程集中精力回看并调整播放速度确保评分内容。这样评分员需要高强度集中精神，主观性强，且不能保证评分准确性，需要多人匿名评一份答卷，造成不必要的精力和资源浪费。
发明内容
本发明实施例的目的是提供一种实验操作考试的电子答卷处理方法和装置、电子设备，能够解决现有技术中存在的评分准确性低、占用人力资源多的问题。
为解决上述技术问题，本发明提供如下技术方案：
本发明实施例提供了一种实验操作考试的电子答卷处理方法，其中，所述方法包括：
获取第一摄像头拍摄的实验操作的全景视频以及第二摄像头拍摄的实验操作的特写视频；
分别对所述全景视频和所述特写视频进行解码，按照预设间隔进行视频帧提取得到全景视频帧和特写视频帧；
依据所述全景视频帧和特写视频帧中包含的实验器材特征、预设的各实验考试器材集特征，确定本次实验操作项目、初始关键帧并在所述初始关键帧中标记目标器材；
对所述全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧；
基于各所述视频关键帧、各所述实验步骤的关联关系，生成电子答卷。
可选地，所述依据所述全景视频帧和特写视频帧中包含的实验器材特征、预设的各实验考试器材集特征，确定本次实验操作项目、初始关键帧并在所述初始关键帧中标记目标器材的步骤，包括：
将所述全景视频帧、特写视频帧按照时间戳信息先后顺序输入实验器材目标检测模型，确定全景视频帧中包括的第一实验器材集合和第二实验器材集合；
在同一时间戳信息对应的全景视频帧、特写视频帧的第一实验器材集合和第二实验器材集合分别与同一实验操作项目匹配的情况下，确定所述时间戳信息对应的全景视频帧、特写视频帧为初始关键帧，匹配的所述实验操作项目为本次实验操作项目，所述第一实验器材集合中包含的器材为目标器材。
可选地，对所述全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧的步骤，包括：
针对按照预设间隔提取的每个时间戳信息对应的全景视频帧和特写视频帧对，确定所述全景视频帧中包含的目标器材的第一属性集合和所述特写视频帧中包含的目标器材的第二属性集合；
将所述第一属性集合所述第二属性集合，分别与所述实验操作项目的每个操作步骤的器材属性集合进行匹配；
依据所述匹配值确定所述时间戳信息对应的全景视频帧和特写视频帧是否为实验操作步骤匹配的视频关键帧。
可选地，所述确定所述全景视频帧中包含的目标器材的第一属性集合的步骤，包括：
确定所述全景视频帧中包含的各目标器材的目标器材轮廓、目标器材颜色、目标器材间连接状态信息和入侵状态信息。
可选地，确定全景视频帧中包括的第一实验器材集合的步骤，包括：
将所述全景视频帧分割成预设尺寸网格；
针对识别出的每个所述器材目标，确定所述器材目标的中心网格，围绕所述中心网格依次递归确定各网格出现目标的置信度；
依据各网格对应置信度确定目标器材的基本信息，其中，所述基本信息包括：位置、颜色、轮廓、名称以及类型；
将各目标器材组成的集合，确定为第一实验器材集合。
可选地，基于各所述视频关键帧、各所述实验步骤的关联关系，生成电子答卷的步骤，包括：
针对每个所述实验步骤，将所述实验步骤对应的视频关键帧和下一视频关键帧组成关键步骤视频片段，将所述下一视频帧作为结果图片；
顺次将各实验步骤对应的视频片段、结果图片进行组合，生成电子答卷。
本发明实施例还提供了一种实验操作考试的电子答卷处理装置，其中，所述装置包括：
获取模块，用于获取第一摄像头拍摄的实验操作的全景视频以及第二摄像头拍摄的实验操作的特写视频；
解码模块，用于分别对所述全景视频和所述特写视频进行解码，按照预设间隔进行视频帧提取得到全景视频帧和特写视频帧；
确定模块，用于依据所述全景视频帧和特写视频帧中包含的实验器材特征、预设的各实验考试器材集特征，确定本次实验操作项目、初始关键帧并在所述初始关键帧中标记目标器材；
跟踪模块，用于对所述全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧；
生成模块，用于基于各所述视频关键帧、各所述实验步骤的关联关系，生成电子答卷。
可选地，所述确定模块包括：
第一子模块，用于将所述全景视频帧、特写视频帧按照时间戳信息先后顺序输入实验器材目标检测模型，确定全景视频帧中包括的第一实验器材集合和第二实验器材集合；
第二子模块，用于在同一时间戳信息对应的全景视频帧、特写视频帧的第一实验器材集合和第二实验器材集合分别与同一实验操作项目匹配的情况下，确定所述时间戳信息对应的全景视频帧、特写视频帧为初始关键帧，匹配的所述实验操作项目为本次实验操作项目，所述第一实验器材集合中包含的器材为目标器材。
可选地，所述跟踪模块包括：
第三子模块，用于针对按照预设间隔提取的每个时间戳信息对应的全景视频帧和特写视频帧对，确定所述全景视频帧中包含的目标器材的第一属性集合和所述特写视频帧中包含的目标器材的第二属性集合；
第四子模块，用于将所述第一属性集合所述第二属性集合，分别与所述实验操作项目的每个操作步骤的器材属性集合进行匹配；
第五子模块，用于依据所述匹配值确定所述时间戳信息对应的全景视频帧和特写视频帧是否为实验操作步骤匹配的视频关键帧。
可选地，所述第三子模块确定所述全景视频帧中包含的目标器材的第一属性集合时，具体用于：
确定所述全景视频帧中包含的各目标器材的目标器材轮廓、目标器材颜色、目标器材间连接状态信息和入侵状态信息。
可选地，所述第一子模块确定全景视频帧中包括的第一实验器材集合时，具体用于：
将所述全景视频帧分割成预设尺寸网格；
针对识别出的每个所述器材目标，确定所述器材目标的中心网格，围绕所述中心网格依次递归确定各网格出现目标的置信度；
依据各网格对应置信度确定目标器材的基本信息，其中，所述基本信息包括：位置、颜色、轮廓、名称以及类型；
将各目标器材组成的集合，确定为第一实验器材集合。
可选地，所述生成模块包括：
第六子模块，用于针对每个所述实验步骤，将所述实验步骤对应的视频关键帧和下一视频关键帧组成关键步骤视频片段，将所述下一视频帧作为结果图片；
第七子模块，用于顺次将各实验步骤对应的视频片段、结果图片进行组合，生成电子答卷。
本发明实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现上述任意一种实验操作考试的电子答卷处理方法的步骤。
本发明实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现上述任意一种实验操作考试的电子答卷处理方法的步骤。
本发明实施例提供的实验操作考试的电子答卷处理方案，一方面，同时获取第一摄像头拍摄的实验操作的全景视频以及第二摄像头拍摄的实验操作的特写视频，以两个摄像头拍摄的实验操作视频作为基础数据生成电子答卷，使得电子答卷包含的关键视频信息全面；第二方面，依据全景视频帧和特写视频帧中包含的实验器材特征、预设的各实验考试器材集特征，确定本次实验操作项目、初始关键帧并在初始关键帧中标记目标器材；对全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧；基于各视频关键帧、各实验步骤的关联关系，生成电子答卷，由于电子答卷是关键实验操作步骤对应的视频关键帧生成，而视频关键帧是有高度特点的图片、片段视频，因此后续阅卷时可减少大量无效工作、提高电子答卷的评分效率和准确性。
附图说明
图1是表示本申请实施例的一种实验操作考试的电子答卷处理方法的步骤流程图；
图2是表示本申请实施例的又一种实验操作考试的电子答卷处理方法的步骤流程图；
图3是表示本申请实施例的一种实验操作考试的电子答卷处理装置的结构框图；
图4是表示本申请实施例的一种电子设备的结构框图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的实验操作电子答卷处理方法进行详细地说明。
本申请实施例的实验操作考试的电子答卷处理方法包括以下步骤：
步骤101：获取第一摄像头拍摄的实验操作的全景视频以及第二摄像头拍摄的实验操作的特写视频。
实验操作考试的操作环境在固定位置的实验桌上，用于本方法的设备包括桌面网络摄像头和学生平板电脑。桌面摄像头需要安装在正上方和侧方，用于记录学生实验操作的全景画面和特写画面。学生可通过平板电脑查看实验内容、全景和特写视频画面。学生根据电子试卷中的考试内容，开始实验操作，操作完成后可通过平板电脑查看操作视频和结果图片。
本申请实施例中，实验桌上方摄像头即第一摄像头，用于拍摄并上传全景视频，侧方摄像头即第二摄像头拍摄并上传特写视频，在全景视频画面和特写视频画面中标记有实验操作区域画面。
步骤102：分别对全景视频和特写视频进行解码，按照预设间隔进行视频帧提取得到全景视频帧和特写视频帧。
预设间隔可根据视频文件的采集帧率适应性调整，例如设置为每间隔25帧提取一帧视频图片。
全景视频、特写视频的可以支持任意适当类型的解码，如mpeg、h264、h265等格式
步骤103：依据全景视频帧和特写视频帧中包含的实验器材特征、预设的各实验考试器材集特征，确定本次实验操作项目、初始关键帧并在初始关键帧中标记目标器材。
对全景视频和特写视频进行解码，得到多个单帧视频图片，依次输入实验器材目标检测模块又可称为实验器材目标检测模型，目标检测模块识别视频图片中的器材并锁定目标器材的类型、可信度、位置，并赋予目标器材唯一身份标识码等，后续基于锁定的目标器材并对解码的后续视频帧图片进行目标跟踪。
在一种可选地实施例中，可将全景视频帧、特写视频帧按照时间戳信息先后顺序输入实验器材目标检测模型，确定全景视频帧中包括的第一实验器材集合和第二实验器材集合；在同一时间戳信息对应的全景视频帧、特写视频帧的第一实验器材集合和第二实验器材集合分别与同一实验操作项目匹配的情况下，确定时间戳信息对应的全景视频帧、特写视频帧为初始关键帧，匹配的实验操作项目为本次实验操作项目，第一实验器材集合中包含的器材为目标器材。
在实际实现过程中，可将第一实验器材集合记作为OV集合，将第二实验器材集合记作为CU集合。实验器材集合中包括存在的各目标器材、每个目标器材的中心横坐标和中心纵坐标、目标器材轮廓点集合、目标器材颜色、目标器材名称以及目标器材类型。
在一种可选地实施例中，确定全景视频帧中包括的第一实验器材集合时，可通过如下方式实现：
首先，将全景视频帧分割成预设尺寸网格；预设尺寸可以由本领域技术人员灵活设置，本申请实施例中对此不作具体限制。
其次，针对识别出的每个器材目标，确定器材目标的中心网格，围绕所述中心网格依次递归确定各网格出现目标的置信度；
再次，依据各网格对应置信度确定目标器材的基本信息，其中，目标器材的基本信息包括：位置、颜色、轮廓、名称以及类型等。
最后，将各目标器材组成的集合，确定为第一实验器材集合。
在实际实现过程中，对特写视频帧中的第二实验器件集合的确定可采用同样方式。
步骤104：对全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧。
一种可选地对全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧的方式可以如下：
首先，针对按照预设间隔提取的每个时间戳信息对应的全景视频帧和特写视频帧对，确定全景视频帧中包含的目标器材的第一属性集合和特写视频帧中包含的目标器材的第二属性集合；
其次，将第一属性集合、第二属性集合，分别与实验操作项目的每个操作步骤的器材属性集合进行匹配；
再次，依据匹配值确定时间戳信息对应的全景视频帧和特写视频帧是否为实验操作步骤匹配的视频关键帧。
采用该种可选地筛选视频关键帧的方式逐个对提取的各时间戳信息的全景视频帧和特写视频帧进行筛选，从中选择出视频关键帧。
一种可选地确定全景视频帧中包含的目标器材的第一属性集合的方式可以为：确定全景视频帧中包含的各目标器材的目标器材轮廓、目标器材颜色、目标器材间连接状态信息和入侵状态信息。
步骤105：基于各视频关键帧、各实验步骤的关联关系，生成电子答卷。
一种可选地基于各视频关键帧、各所述实验步骤的关联关系，生成电子答卷的方式可以如下：针对每个实验步骤，将实验步骤对应的视频关键帧和下一视频关键帧组成关键步骤视频片段，将下一视频帧作为结果图片；顺次将各实验步骤对应的视频片段、结果图片进行组合，生成电子答卷。
电子答卷按实验步骤逐一生成答题，直到实验考试结束生成完整电子答卷。电子答卷生成方式，可以让学生在操作过程中随时查看已完成操作的视频图片答题，也可以将同一个操作步骤的视频图片发送给专一的智能AI判分和评分员进行评分。
本申请实施例提供的实验操作考试的电子答卷处理方法，一方面，同时获取第一摄像头拍摄的实验操作的全景视频以及第二摄像头拍摄的实验操作的特写视频，以两个摄像头拍摄的实验操作视频作为基础数据生成电子答卷，使得电子答卷包含的关键视频信息全面；第二方面，依据全景视频帧和特写视频帧中包含的实验器材特征、预设的各实验考试器材集特征，确定本次实验操作项目、初始关键帧并在初始关键帧中标记目标器材；对全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧；基于各视频关键帧、各实验步骤的关联关系，生成电子答卷，由于电子答卷是关键实验操作步骤对应的视频关键帧生成，而视频关键帧是有高度特点的图片、片段视频，因此后续阅卷时可减少大量无效工作、提高电子答卷的评分效率和准确性。
图2为本发明实施例的又一种实验操作考试的电子答卷处理方法的步骤流程图。
本申请实施例的实验操作考试的电子答卷处理方法包括以下步骤：
S1：通过摄像机、NVR(NetworkVideoRecorder，网络视频录像机)采集实验操作的全景视频和特写视频。
将实验操作的视频对接，可接入摄像机的实时视频数据，也可接入录像服务器或者视频平台等NVR的视频数据，同时接入全景视频和特写视频两个输入。
S2：采用mpeg、h264、h265等格式的解码方式对接入的全景视频和特写视频进行解码。
视频接入后，可使用ffmpeg解码，按照25帧间隔提取视频帧图片(教育考试视频文件以每秒25帧的fps为主，25帧间隔即每隔1秒钟取一个视频帧图片)，支持mpeg、h264、h265格式的解码。
S3：对解码后的全景视频帧、特写视频帧进行智能目标检测。
下文中的目标即目标器材。
将S2中得到的全景视频帧和特写视频帧按照时间戳信息依次输入实验器材目标检测模块(检测模块中已经完成实验考试中各类器材模型的网络训练，生成器材特征值的分类网络)，使用YOLO算法，将视频帧图片分割成32*32网格，检测出的目标，通过计算目标的中心坐得出中心网格，围绕中心网格依次递归检测网格内是否出现目标并标定网格置信度，递归结束后输出目标的位置、颜色、轮廓，通过目标检测模块输出目标的名称、类型。全景视频中的实验器材记作为OV集合，特写视频中的实验器材记作CU集合。集合涵盖内容为：
Figure BDA0004021360500000101
S4：匹配实验考试项目。
每个实验考试项目使用的实验考试器材均可通过预训练，使用Yolo算法回归检测目标输出实验器材数据集，涵盖目标名称和目标类型。将分别将OV集合和CU集合，与已经训练完毕的实验考试项目中的实验器材数据集进行比对，当OV集合与CU集合中的目标名称和目标类型分别与同一实验考试项目匹配时，将当前视频帧图片记作起始关键帧P0，将集合中的目标赋予唯一身份标识码，存入数据库中作为持久化数据为后续应用。OV集合和CU集合未能匹配同一项目数据集时，则返回S3步骤持续对视频帧图片进行目标检测。
S5：智能目标跟踪，识别目标属性。
对目标持续跟踪，使用IOU算法，计算多目标之间的覆盖属性，产生目标与目标的连接值IoU(目标之间交集面积与并集面积的比值)和侵入值IiU数据(目标之间交集面积与每个关联目标的面积比值，超过1按照1标记)，分别生成当前视频帧图片的全景OVA属性集合和特写CUA属性集合，集合内容包含以下数据：
Figure BDA0004021360500000102
S6：实验步骤属性集匹配。
实验项目中每步实验操作已完成标准规范操作动作的视频训练，完成实验步骤中属性集合的持久化数据归档，归档数据包含当前步骤中所产生的目标集以及该目标集中IoU和IiU数据的取值范围。将S5中产生的OVA集合和CUA集合，与该实验项目的每步操作步骤中的属性集合，按步骤的顺序进行比对，当OVA和CUA集合中目标集与步骤属性集合匹配且数值属于步骤属性集合标定范围内，认定当前视频帧图像属于该步骤。未比对出实验步骤时，返回S5步骤持续跟踪；比对出实验步骤时，如实验步骤并未发生改变，则返回S5持续跟踪；比对出实验步骤，且实验步骤发生变化时，则标记当前视频帧图片为关键帧Px(x以0为起始，按顺序增加)，Px作为变化前的实验步骤的结果帧，也作为变化后的实验步骤的起始帧。
S7：根据实验步骤与关键帧关系，生成电子答卷。
实验操作步骤的答题内容以结果帧Pn作为结果照片，以起始帧P(n-1)和结果帧Pn，生成视频文件作为操作视频。电子答卷按实验步骤逐一生成答题，直到实验考试结束生成完整电子答卷。
电子答卷生成方式，可以让学生在操作过程中随时查看已完成操作的视频图片答题，也可以将同一个操作步骤的视频图片发送给专一的智能AI判分和评分员进行评分。
电子答卷，可以将15-30分钟的实验操作考试视频或者录像文件，拆分成关键图片和关键操作视频，实现固定时长的视频文件中的非定向答题点转变成统一、明确的实验记录和操作视频。
本发明实施例提供的实验操作考试的电子答卷处理方法，一方面由固定时长的视频或者录像文件提炼成关键考核点视频文件，大幅降低系统对服务器硬盘存储的要求，并减少评分过程中对网络带宽的要求。第二方面，由播放整段考试变成具有高度特点的图片、片段视频，对同一操作步骤的图片、视频发送到指定的AI智能和评分员进行评分，可减少大量无效工作、提高单个题目的评分效率和准确性。
图3为实现本申请实施例的一种实验操作考试的电子答卷处理装置的结构框图。
本申请实施例的实验操作考试的电子答卷处理装置包括如下功能模块：
获取模块301，用于获取第一摄像头拍摄的实验操作的全景视频以及第二摄像头拍摄的实验操作的特写视频；
解码模块302，用于分别对所述全景视频和所述特写视频进行解码，按照预设间隔进行视频帧提取得到全景视频帧和特写视频帧；
确定模块303，用于依据所述全景视频帧和特写视频帧中包含的实验器材特征、预设的各实验考试器材集特征，确定本次实验操作项目、初始关键帧并在所述初始关键帧中标记目标器材；
跟踪模块304，用于对所述全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧；
生成模块305，用于基于各所述视频关键帧、各所述实验步骤的关联关系，生成电子答卷。
可选地，所述确定模块包括：
第一子模块，用于将所述全景视频帧、特写视频帧按照时间戳信息先后顺序输入实验器材目标检测模型，确定全景视频帧中包括的第一实验器材集合和第二实验器材集合；
第二子模块，用于在同一时间戳信息对应的全景视频帧、特写视频帧的第一实验器材集合和第二实验器材集合分别与同一实验操作项目匹配的情况下，确定所述时间戳信息对应的全景视频帧、特写视频帧为初始关键帧，匹配的所述实验操作项目为本次实验操作项目，所述第一实验器材集合中包含的器材为目标器材。
可选地，所述跟踪模块包括：
第三子模块，用于针对按照预设间隔提取的每个时间戳信息对应的全景视频帧和特写视频帧对，确定所述全景视频帧中包含的目标器材的第一属性集合和所述特写视频帧中包含的目标器材的第二属性集合；
第四子模块，用于将所述第一属性集合所述第二属性集合，分别与所述实验操作项目的每个操作步骤的器材属性集合进行匹配；
第五子模块，用于依据所述匹配值确定所述时间戳信息对应的全景视频帧和特写视频帧是否为实验操作步骤匹配的视频关键帧。
可选地，所述第三子模块确定所述全景视频帧中包含的目标器材的第一属性集合时，具体用于：
确定所述全景视频帧中包含的各目标器材的目标器材轮廓、目标器材颜色、目标器材间连接状态信息和入侵状态信息。
可选地，所述第一子模块确定全景视频帧中包括的第一实验器材集合时，具体用于：
将所述全景视频帧分割成预设尺寸网格；
针对识别出的每个所述器材目标，确定所述器材目标的中心网格，围绕所述中心网格依次递归确定各网格出现目标的置信度；
依据各网格对应置信度确定目标器材的基本信息，其中，所述基本信息包括：位置、颜色、轮廓、名称以及类型；
将各目标器材组成的集合，确定为第一实验器材集合。
可选地，所述生成模块包括：
第六子模块，用于针对每个所述实验步骤，将所述实验步骤对应的视频关键帧和下一视频关键帧组成关键步骤视频片段，将所述下一视频帧作为结果图片；
第七子模块，用于顺次将各实验步骤对应的视频片段、结果图片进行组合，生成电子答卷。
本申请实施例提供的实验操作考试的电子答卷处理装置，一方面，同时获取第一摄像头拍摄的实验操作的全景视频以及第二摄像头拍摄的实验操作的特写视频，以两个摄像头拍摄的实验操作视频作为基础数据生成电子答卷，使得电子答卷包含的关键视频信息全面；第二方面，依据全景视频帧和特写视频帧中包含的实验器材特征、预设的各实验考试器材集特征，确定本次实验操作项目、初始关键帧并在初始关键帧中标记目标器材；对全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧；基于各视频关键帧、各所述实验步骤的关联关系，生成电子答卷，由于电子答卷是关键实验操作步骤对应的视频关键帧生成，而视频关键帧是有高度特点的图片、片段视频，因此后续阅卷时可减少大量无效工作、提高电子答卷的评分效率和准确性。
本申请实施例中图3所示的实验操作考试的电子答卷处理装置可以是装置，也可以是服务器中的部件、集成电路、或芯片。本申请实施例中的图3所示的实验操作电子答卷处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图3所示的实验操作考试的电子答卷处理装置能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图4所示，本申请实施例还提供一种电子设备400，包括处理器401，存储器402，存储在存储器402上并可在所述处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现上述实验操作考试的电子答卷处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括上述所述的服务器。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述实验操作考试的电子答卷处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述实验操作考试的电子答卷处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种实验操作考试的电子答卷处理方法，其特征在于，所述方法包括：
获取第一摄像头拍摄的实验操作的全景视频以及第二摄像头拍摄的实验操作的特写视频；
分别对所述全景视频和所述特写视频进行解码，按照预设间隔进行视频帧提取得到全景视频帧和特写视频帧；
依据所述全景视频帧和特写视频帧中包含的实验器材特征、预设的各实验考试器材集特征，确定本次实验操作项目、初始关键帧并在所述初始关键帧中标记目标器材；
对所述全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧；
基于各所述视频关键帧、各所述实验步骤的关联关系，生成电子答卷。
2.根据权利要求1所述的方法，其特征在于，所述依据所述全景视频帧和特写视频帧中包含的实验器材特征、预设的各实验考试器材集特征，确定本次实验操作项目、初始关键帧并在所述初始关键帧中标记目标器材的步骤，包括：
将所述全景视频帧、特写视频帧按照时间戳信息先后顺序输入实验器材目标检测模型，确定全景视频帧中包括的第一实验器材集合和第二实验器材集合；
在同一时间戳信息对应的全景视频帧、特写视频帧的第一实验器材集合和第二实验器材集合分别与同一实验操作项目匹配的情况下，确定所述时间戳信息对应的全景视频帧、特写视频帧为初始关键帧，匹配的所述实验操作项目为本次实验操作项目，所述第一实验器材集合中包含的器材为目标器材。
3.根据权利要求2所述的方法，其特征在于，对所述全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧的步骤，包括：
针对按照预设间隔提取的每个时间戳信息对应的全景视频帧和特写视频帧对，确定所述全景视频帧中包含的目标器材的第一属性集合和所述特写视频帧中包含的目标器材的第二属性集合；
将所述第一属性集合所述第二属性集合，分别与所述实验操作项目的每个操作步骤的器材属性集合进行匹配；
依据所述匹配值确定所述时间戳信息对应的全景视频帧和特写视频帧是否为实验操作步骤匹配的视频关键帧。
4.根据权利要求3所述的方法，其特征在于，所述确定所述全景视频帧中包含的目标器材的第一属性集合的步骤，包括：
确定所述全景视频帧中包含的各目标器材的目标器材轮廓、目标器材颜色、目标器材间连接状态信息和入侵状态信息。
5.根据权利要求2所述的方法，其特征在于，确定全景视频帧中包括的第一实验器材集合的步骤，包括：
将所述全景视频帧分割成预设尺寸网格；
针对识别出的每个所述器材目标，确定所述器材目标的中心网格，围绕所述中心网格依次递归确定各网格出现目标的置信度；
依据各网格对应置信度确定目标器材的基本信息，其中，所述基本信息包括：位置、颜色、轮廓、名称以及类型；
将各目标器材组成的集合，确定为第一实验器材集合。
6.根据权利要求1所述的方法，其特征在于，基于各所述视频关键帧、各所述实验步骤的关联关系，生成电子答卷的步骤，包括：
针对每个所述实验步骤，将所述实验步骤对应的视频关键帧和下一视频关键帧组成关键步骤视频片段，将所述下一视频帧作为结果图片；
顺次将各实验步骤对应的视频片段、结果图片进行组合，生成电子答卷。
7.一种实验操作考试的电子答卷处理装置，其特征在于，所述装置包括：
获取模块，用于获取第一摄像头拍摄的实验操作的全景视频以及第二摄像头拍摄的实验操作的特写视频；
解码模块，用于分别对所述全景视频和所述特写视频进行解码，按照预设间隔进行视频帧提取得到全景视频帧和特写视频帧；
确定模块，用于依据所述全景视频帧和特写视频帧中包含的实验器材特征、预设的各实验考试器材集特征，确定本次实验操作项目、初始关键帧并在所述初始关键帧中标记目标器材；
跟踪模块，用于对所述全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧；
生成模块，用于基于各所述视频关键帧、各所述实验步骤的关联关系，生成电子答卷。
8.根据权利要求7所述的装置，其特征在于，所述确定模块包括：
第一子模块，用于将所述全景视频帧、特写视频帧按照时间戳信息先后顺序输入实验器材目标检测模型，确定全景视频帧中包括的第一实验器材集合和第二实验器材集合；
第二子模块，用于在同一时间戳信息对应的全景视频帧、特写视频帧的第一实验器材集合和第二实验器材集合分别与同一实验操作项目匹配的情况下，确定所述时间戳信息对应的全景视频帧、特写视频帧为初始关键帧，匹配的所述实验操作项目为本次实验操作项目，所述第一实验器材集合中包含的器材为目标器材。
9.根据权利要求8所述的装置，其特征在于，所述跟踪模块包括：
第三子模块，用于针对按照预设间隔提取的每个时间戳信息对应的全景视频帧和特写视频帧对，确定所述全景视频帧中包含的目标器材的第一属性集合和所述特写视频帧中包含的目标器材的第二属性集合；
第四子模块，用于将所述第一属性集合所述第二属性集合，分别与所述实验操作项目的每个操作步骤的器材属性集合进行匹配；
第五子模块，用于依据所述匹配值确定所述时间戳信息对应的全景视频帧和特写视频帧是否为实验操作步骤匹配的视频关键帧。
10.一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的实验操作考试的电子答卷处理方法的步骤。
CN202211707384.1A 2022-12-27 2022-12-27 一种实验操作考试的电子答卷处理方法和装置、电子设备 Pending CN116091967A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211707384.1A CN116091967A (zh) 2022-12-27 2022-12-27 一种实验操作考试的电子答卷处理方法和装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211707384.1A CN116091967A (zh) 2022-12-27 2022-12-27 一种实验操作考试的电子答卷处理方法和装置、电子设备

Publications (1)

Publication Number Publication Date
CN116091967A true CN116091967A (zh) 2023-05-09

Family

ID=86205609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211707384.1A Pending CN116091967A (zh) 2022-12-27 2022-12-27 一种实验操作考试的电子答卷处理方法和装置、电子设备

Country Status (1)

Country Link
CN (1) CN116091967A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824459A (zh) * 2023-08-29 2023-09-29 深圳市企鹅网络科技有限公司 一种实操考试的智能监测考评方法、系统及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824459A (zh) * 2023-08-29 2023-09-29 深圳市企鹅网络科技有限公司 一种实操考试的智能监测考评方法、系统及存储介质
CN116824459B (zh) * 2023-08-29 2023-12-08 深圳市企鹅网络科技有限公司 一种实操考试的智能监测考评方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN109275046B (zh) 一种基于双视频采集的教学数据标注方法
US8687941B2 (en) Automatic static video summarization
CN209980508U (zh) 一种智慧黑板，及智慧教室的教学系统
CN1783998B (zh) 用于记录的会议时间线的自动脸部提取
CN110139062B (zh) 一种视频会议记录的创建方法、装置及终端设备
US9525896B2 (en) Automatic summarizing of media content
CN111611434A (zh) 一种线上课程互动方法及互动平台
CN103984778B (zh) 一种视频检索方法及系统
CN112686165A (zh) 视频中目标对象的识别方法、装置、电子设备及存储介质
CN116091967A (zh) 一种实验操作考试的电子答卷处理方法和装置、电子设备
CN112381099A (zh) 一种基于数字教育资源的录题系统
US20150078729A1 (en) Synchronizing videos with frame-based metadata using video content
CN112261419B (zh) 直播面试的方法、设备及系统
JP3934780B2 (ja) 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体
WO2023160288A1 (zh) 会议纪要生成方法、装置、电子设备和可读存储介质
CN111522992A (zh) 题目入库方法、装置、设备及存储介质
JP2005039359A (ja) 画像再生装置及びプログラム
CN112307823A (zh) 用于对视频中的对象进行标注的方法和设备
JP2012053855A (ja) コンテンツ閲覧装置、コンテンツ表示方法及びコンテンツ表示プログラム
TW200531547A (en) Multi-resolution feature extraction for video abstraction
JP2000348142A (ja) 文字認識装置，文字認識方法，および文字認識方法を実行するプログラムを記録した記録媒体
Abuhasirah et al. Mobile journalism skills of field reporters of TV channels
CN111327943B (zh) 信息管理方法及装置、系统、计算机设备、存储介质
KR101934393B1 (ko) 전자문서의 이미지 자동변환을 통한 강의영상 컨텐츠 제작시스템
JP2020119368A (ja) 映像情報管理システムおよび映像情報管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination