CN115019240B - 化学实验操作的评分方法、装置、设备及可读存储介质 - Google Patents
化学实验操作的评分方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN115019240B CN115019240B CN202210933855.4A CN202210933855A CN115019240B CN 115019240 B CN115019240 B CN 115019240B CN 202210933855 A CN202210933855 A CN 202210933855A CN 115019240 B CN115019240 B CN 115019240B
- Authority
- CN
- China
- Prior art keywords
- scoring
- video
- image sequence
- track information
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种化学实验操作的评分方法、装置、设备及可读存储介质,涉及信息技术领域,包括:获取待评分视频,待评分视频包括化学实验中操作人员的上半身动作视频;根据待评分视频得到轨迹信息,轨迹信息包括手部关节运动轨迹和实验器材运动轨迹;根据轨迹信息输入至操作识别数学模型中计算得到识别结果;根据识别结果和预设评分规则计算得到评分结果。本发明通过将待评分视频进行处理得到手部关节运动轨迹和实验器材运动轨迹,同时将历史视频集合进行特征提取,通过K近邻算法训练后建立操作识别数学模型,进而实现对化学实验操作自动识别和评分,具有识别速度快、评分准确度高的优点。
Description
技术领域
本发明涉及信息技术领域,具体而言,涉及一种化学实验操作的评分方法、装置、设备及可读存储介质。
背景技术
按照全国的初中化学课程标准,实验操作纳入初中学业水平考试,考试成绩纳入高中阶段学校招生录取依据,其中化学实验项目共有8个,当前实验考试多采用人工现场监考阅卷模式,这样的人工监考阅卷方法存在耗费人力物力且判断标准主观性强的缺点。现需要一种基于上肢关节和实验器材运动轨迹进行识别和对实验操作进行评分的方法和装置,以此对实验室制取二氧化碳的考试进行自动评分,进而保证实验数据的留存追溯和考评的客观公正。
发明内容
本发明的目的在于提供一种化学实验操作的评分方法,以改善上述问题。为了实现上述目的,本发明采取的技术方案如下:
第一方面,本申请提供了一种化学实验操作的评分方法,包括:
获取待评分视频,所述待评分视频包括化学实验中操作人员的上半身动作视频;
根据所述待评分视频得到轨迹信息,所述轨迹信息包括手部关节运动轨迹和实验器材运动轨迹;
根据所述轨迹信息输入至操作识别数学模型中计算得到识别结果,所述识别模型为通过历史视频集合通过机器学习训练得出,所述历史视频集合中的一个元素为一个操作名称及对应的实验操作视频集;
根据识别结果和预设评分规则计算得到评分结果。
第二方面,本申请还提供了一种化学实验操作的评分装置,包括:
获取模块,用于获取待评分视频,所述待评分视频包括化学实验中操作人员的上半身动作视频;
提取模块,用于根据所述待评分视频计算得到轨迹信息,所述轨迹信息包括手部关节运动轨迹和实验器材运动轨迹;
分析模块,用于根据所述轨迹信息输入至操作识别数学模型中计算得到识别结果;
评分模块,用于根据识别结果和预设评分规则计算得到评分结果。
第三方面,本申请还提供了一种化学实验操作的评分设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现所述化学实验操作的评分方法的步骤。
第四方面,本申请还提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述基于化学实验操作的评分方法的步骤。
本发明的有益效果为:
本发明通过将待评分视频进行处理得到手部关节运动轨迹和实验器材运动轨迹,同时将历史视频集合进行特征提取,通过K近邻算法训练后建立操作识别数学模型,进而实现对化学实验操作自动识别和评分,具有识别速度快、评分准确度高的优点。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的化学实验操作的评分方法流程示意图;
图2为本发明实施例中所述的化学实验操作的评分结构示意图;
图3为本发明实施例中所述的化学实验操作的评分设备结构示意图。
图中标记:1、获取模块;2、提取模块;21、第一处理单元;22、第二处理单元;23、第一计算单元;231、第四处理单元;232、第五处理单元;233、第六处理单元;234、第二计算单元;24、第三处理单元;3、分析模块;31、第七处理单元;32、第三计算单元;321、第九处理单元;322、第十处理单元;323、第十一处理单元;324、第十二处理单元;33、第八处理单元;34、第四计算单元;4、评分模块;41、第十三处理单元;42、第十四处理单元;43、第五计算单元;800、根尖细胞的识别设备;801、处理器;802、存储器;803、多媒体组件;804、I/O接口;805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例1:
本实施例提供了一种化学实验操作的评分方法。
参见图1,图中示出了本方法包括步骤S1、步骤S2、步骤S3和步骤S4。
步骤S100、获取待评分视频,所述待评分视频包括化学实验中操作人员的上半身动作视频。
可以理解的是本步骤是为了将待评分视频进行上传和保存,便于后续的处理和数据留存。由于在实验室制取二氧化碳的考试的操作中,涉及到考生上肢的动作,如“往试管内倒入澄清石灰水”、“往锥形瓶内倒入稀盐酸溶液”等步骤,故本发明只需要对上半身动作的采集和实时上传处理。
步骤S200、根据所述待评分视频计算得到轨迹信息,所述轨迹信息包括手部关节运动轨迹和实验器材运动轨迹。
可以理解的是本步骤是为了对带评分视频进行处理提取出具有清晰判断标准的特征值,在本发明中特征值为操作过程中的手部关节运动轨迹和实验器材运动轨迹,基于人体运动学和三维形态属性从待评分视频中进行关节点标注并生成手部关节运动轨迹,实验器材运动轨迹基于轮廓特征和灰度特征对化学实验中使用到的器材进行追踪并将实验器材简化为质点进行轨迹的生成。需要说明的是,步骤S200包括步骤S210、步骤S220、步骤S230和步骤S240。
步骤S210、将所述待评分视频内的每一帧进行动作提取得到待识别图像序列。
可以理解的是本步骤是为了将待评分视频基于人体跟踪算法和轮廓识别算法处理为序列图像,每一帧图像都包含已框选的人体和实验器材并裁剪为设定像素的图幅。
步骤S220、将所述待识别图像序列通过背景减除得到上半身图像序列和实验器材图像序列。
可以理解的是本步骤是为了利用背景减除对每一帧图像进行上半身人像和实验器材的轮廓信息提取,进而形成只包含人体上半身轮廓的上半身图像序列和只包括实验器材轮廓的实验器材图像序列。本发明基于高斯模型对待识别图像序列进行处理,用待识别图像序列中第一帧图像内的每个像素点作为混合高斯建模,其中每个像素点的像素值作为该点对应混合高斯分布的均值,同时每个高斯模型赋予方差和权值。按照时间顺序逐个与后一帧图像建立的混合高斯模型进行比对并学习更新,从每一像素点的多个高斯分布中选择出背景和前景,然后消除阴影、高亮像素点,对前景进行滤波处理,进而实现对人体上半轮廓和实验器材轮廓图像的精确分割。
步骤S230、根据所述上半身图像序列和预设的关节标注数学模型计算得到手部关节运动轨迹。
可以理解的是本步骤通过基于人体肤色模型从上半身图像序列中确定人体手部和颈部的位置,然后基于人体运动学对每一帧图像中的关节点进行标注,进而得到关节点图像序列形成手部关节运动轨迹。需要说明的是,步骤S230包括步骤S231、步骤S232、步骤S233和步骤S234。
步骤S231、将所述上半身图像序列进行二值化处理得到二值图像序列。
可以理解的是本步骤是为了将彩色的上半身图像序列中每一幅图转化为灰度图,有利于后续图像的处理判别。
步骤S232、将根据所述二值图像序列通过预设的人体肤色模型进行颈部区域和手掌区域标记得到定位图像序列。
可以理解的是本步骤通过对视频中人体的肤色、环境亮度等信息的提取,进而识别人体颈部和手部的位置对图像进行标记,为后续标记手部关节点提供良好的前提条件。
步骤S233、将所述定位图像序列进行手部关节点标注处理得到关节点图像序列。
可以理解的是本步骤通过定位图像序列中颈部位置计算出颈部质心位置,通过定位图像序列中的手部位置得到指尖的坐标。由于人体骨骼比例关系,然后利用颈部质心位置计算出两侧肩部的位置,通过肩部坐标和指尖坐标连线,结合人体上、下臂指尖的比例关系可以确定肘关节的坐标。在定位图像序列中每幅图像进行标注后,整合形成关节点图像序列。
步骤S234、提取根据所述关节点图像序列内每一帧图像中手部关节点的位置得到手部关节运动轨迹。
可以理解的是本步骤是为了将关节点图像序列中的各关节点基于时序关系整合在同一坐标系下形成手部关节运动轨迹。
步骤S240、根据所述实验器材图像序列得到实验器材运动轨迹。
可以理解的是本步骤是为了将实验器材图像序列中的实验器材进行轮廓识别,根据现有的模型对不同种类的实验器材进行质心标注,进而通过图像分割了质心点整合形成实验器材运动轨迹。
步骤S300、根据所述轨迹信息输入至操作识别数学模型中计算得到识别结果,所述识别模型为通过历史视频集合通过机器学习训练得出,所述历史视频集合中的一个元素为一个操作名称及对应的实验操作视频集;
可以理解的是本步骤是为了将历史视频集合经过训练提取出特征数据作为实验操作的识别依据,通过将待评分视频生成的轨迹信息进行识别和判断得到识别结果。需要说明的是,步骤S300包括步骤S310、步骤S320、步骤S330和步骤S340。
步骤S310、根据所述历史视频集合得到轨迹信息集合,所述轨迹信息集合内一个元素为一个视频标签及对应的关节轨迹信息集合。
可以理解的是本步骤是已经分类的历史视频集合内每一个视频进行处理得到已知标签下轨迹信息集合。
步骤S320、将每一个所述关节轨迹信息集合基于带拒绝的K近邻算法计算得到标准关节运动轨迹集合。
可以理解的是本步骤通过利用K近邻算法对历史视频中的关节轨迹信息集合进行学习,同时,由于在通常情况下,待测的训练样本有可能不属于任何一个已有的分类标签,需要通过设置一个识别半径,选择性地对所有关节轨迹信息进行训练,避免由于事先错误的分类导致训练得到的标准关节运动轨迹误差大。
步骤S330、将标准关节运动轨迹集合得到进行特征提取得到标准特征数据集。
可以理解的是本步骤是通过将标准关节运动轨迹集合转换为序列集得到每个动作轨迹的特征向量。对于本领域的专业人员来说,可以通过C均值聚类等算法得到,本申请中不再赘述。
步骤S340、根据所述标准特征数据集合预设的相似度阈值建立操作识别数学模型,将所述轨迹信息作为输入值,求解所述操作识别数学模型得到识别结果。
可以理解的是本步骤是通过将特征数据集结合时序直方图对序列集构建分类学习函数,同时引入用户反馈机制,完成对实验操作的识别和判断。
步骤S400、根据识别结果和预设评分规则计算得到评分结果。
可以理解的是本步骤根据操作识别数学模型输出的识别结果,结合实验操作评分标准和评分点对待评分的视频完成自动评分。需要说明的是,步骤S400包括步骤S410、步骤S420和步骤S430。
步骤S410、根据所述识别结果得到至少一个评分点和所述评分点对应的分值。
可以理解的是本步骤通过提取识别结果中的内容,得到待识别视频中实验操作者完成的动作项目及对应的判断是否通过。其中每个动作项目对应一个评分点,动作项目未通过判断则得分为0,反之则得分为1。
步骤S420、根据所有所述评分点按照评分点的时序关系建立评分模板。
可以理解的是在本步骤中,考虑到在化学实验操作考试中,评分结果不仅要满足动作是否标准,还需要考虑操作步骤的前后顺序,结合评分点和时序关系建立评分模板利于评分结果的准确。
步骤S430、根据所述评分模板、所述分值和预设的权重计算得到评分结果。
可以理解的是,在实验操作时,各操作步骤总分不完全相同,可以通过对各评分点赋予不同分值,结合评分模板得到公正全面的评分结果。
实施例2:
如图2所示,本实施例提供了一种化学实验操作的评分装置,所述装置包括:
获取模块1,用于获取待评分视频,所述待评分视频包括化学实验中操作人员的上半身动作视频。
提取模块2,用于根据所述待评分视频计算得到轨迹信息,所述轨迹信息包括手部关节运动轨迹和实验器材运动轨迹。
分析模块3,用于根据所述轨迹信息输入至操作识别数学模型中计算得到识别结果。
评分模块4,用于根据识别结果和预设评分规则计算得到评分结果。
在本公开的一种具体实施方式中,所述提取模块2包括:
第一处理单元21,用于将所述待评分视频内的每一帧进行动作提取得到待识别图像序列。
第二处理单元22,用于将所述待识别图像序列通过背景减除得到上半身图像序列和实验器材图像序列。
第一计算单元23,用于根据所述上半身图像序列和预设的关节标注数学模型计算得到手部关节运动轨迹。
第三处理单元24,用于根据所述实验器材图像序列得到实验器材运动轨迹。
在本公开的一种具体实施方式中,所述第一计算单元23包括:
第四处理单元231,用于将所述上半身图像序列进行二值化处理得到二值图像序列。
第五处理单元232,用于将根据所述二值图像序列通过预设的人体肤色模型进行颈部区域和手掌区域标记得到定位图像序列。
第六处理单元233,用于将所述定位图像序列进行手部关节点标注处理得到关节点图像序列。
第二计算单元234,用于提取根据所述关节点图像序列内每一帧图像中手部关节点的位置计算得到手部关节运动轨迹。
在本公开的一种具体实施方式中,所述分析模块3包括:
第七处理单元31,用于根据所述历史视频集合得到轨迹信息集合。
第三计算单元32,用于将每一个所述关节轨迹信息集合基于带拒绝的K近邻算法计算得到标准关节运动轨迹集合。
第八处理单元33,用于将标准关节运动轨迹集合得到进行特征提取得到标准特征数据集。
第四计算单元34,用于根据所述标准特征数据集合预设的相似度阈值建立操作识别数学模型,将所述轨迹信息作为输入值,求解所述操作识别数学模型得到识别结果。
在本公开的一种具体实施方式中,所述第三计算单元32包括:
第九处理单元321,用于将所述关节轨迹信息内的所有关节轨迹信息进行归一化处理所述作为样本数据。
第十处理单元322,用于将样本数据中的轨迹点统一至坐标系中得到训练数据。
第十一处理单元323,用于基于K近邻算法和预设查询半径对训练数据进行训练得到分类结果。
第十二处理单元324,用于将所述分类结果进行拟合得到标准咬合轨迹。
在本公开的一种具体实施方式中,所述评分模块4包括:
第十三处理单元41,用于根据所述识别结果得到至少一个评分点和所述评分点对应的分值。
第十四处理单元42,用于根据所有所述评分点按照评分点的时序关系建立评分模板。
第五计算单元43,用于根据所述评分模板、用于所述分值和预设的权重计算得到评分结果。
实施例3:
相应于上面的方法实施例,本实施例中还提供了一种化学实验操作的评分设备,下文描述的一种化学实验操作的评分设备与上文描述的一种化学实验操作的评分方法可相互对应参照。
图3是根据示例性实施例示出的一种化学实验操作的评分设备800的框图。如图3所示,该化学实验操作的评分设备800可以包括:处理器801,存储器802。该化学实验操作的评分设备800还可以包括多媒体组件803, I/O接口804,以及通信组件805中的一者或多者。
其中,处理器801用于控制该化学实验操作的评分设备800的整体操作,以完成上述的化学实验操作的评分方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该化学实验操作的评分设备800的操作,这些数据例如可以包括用于在该化学实验操作的评分设备800上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static RandomAccess Memory,简称SRAM),电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该化学实验操作的评分设备800与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件805可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,化学实验操作的评分设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的化学实验操作的评分方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的化学实验操作的评分方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器802,上述程序指令可由化学实验操作的评分设备800的处理器801执行以完成上述的化学实验操作的评分方法。
实施例4:
相应于上面的方法实施例,本实施例中还提供了一种可读存储介质,下文描述的一种可读存储介质与上文描述的一种化学实验操作的评分方法可相互对应参照。
一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例的化学实验操作的评分方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种化学实验操作的评分方法,其特征在于,包括:
获取待评分视频,所述待评分视频包括化学实验中操作人员的上半身动作视频;
根据所述待评分视频计算得到轨迹信息,所述轨迹信息包括手部关节运动轨迹和实验器材运动轨迹;
根据所述轨迹信息输入至操作识别数学模型中计算得到识别结果,所述操作识别数学模型为通过历史视频集合通过机器学习训练得出,所述历史视频集合中的一个元素为一个操作名称及对应的实验操作视频集;
根据识别结果和预设评分规则计算得到评分结果;
其中,所述根据识别结果和预设评分规则计算得到评分结果,包括:
根据所述识别结果得到至少一个评分点和所述评分点对应的分值;
根据所有所述评分点按照评分点的时序关系建立评分模板;
根据所述评分模板、所述分值和预设的权重计算得到评分结果。
2.根据权利要求1所述的化学实验操作的评分方法,其特征在于,根据所述待评分视频计算得到轨迹信息,包括:
将所述待评分视频内的每一帧进行动作提取得到待识别图像序列;
将所述待识别图像序列通过背景减除得到上半身图像序列和实验器材图像序列;
根据所述上半身图像序列和预设的关节标注数学模型计算得到手部关节运动轨迹;
根据所述实验器材图像序列得到实验器材运动轨迹。
3.根据权利要求1所述的化学实验操作的评分方法,其特征在于,根据所述轨迹信息输入至操作识别数学模型中计算得到识别结果,包括:
根据所述历史视频集合得到轨迹信息集合,所述轨迹信息集合内一个元素为一个视频标签及对应的关节轨迹信息集合;
将每一个所述关节轨迹信息集合基于带拒绝的K近邻算法计算得到标准关节运动轨迹集合;
将标准关节运动轨迹集合得到进行特征提取得到标准特征数据集;
根据所述标准特征数据集合预设的相似度阈值建立操作识别数学模型,将所述轨迹信息作为输入值,求解所述操作识别数学模型得到识别结果。
4.一种化学实验操作的评分装置,其特征在于,包括:
获取模块,用于获取待评分视频,所述待评分视频包括化学实验中操作人员的上半身动作视频;
提取模块,用于根据所述待评分视频计算得到轨迹信息,所述轨迹信息包括手部关节运动轨迹和实验器材运动轨迹;
分析模块,用于根据所述轨迹信息输入至操作识别数学模型中计算得到识别结果;
评分模块,用于根据识别结果和预设评分规则计算得到评分结果;
所述评分模块,包括:
第十三处理单元,用于根据所述识别结果得到至少一个评分点和所述评分点对应的分值;
第十四处理单元,用于根据所有所述评分点按照评分点的时序关系建立评分模板;
第五计算单元,用于根据所述评分模板、用于所述分值和预设的权重计算得到评分结果。
5.根据权利要求4所述的化学实验操作的评分装置,其特征在于,所述提取模块包括:
第一处理单元,用于将所述待评分视频内的每一帧进行动作提取得到待识别图像序列;
第二处理单元,用于将所述待识别图像序列通过背景减除得到上半身图像序列和实验器材图像序列;
第一计算单元,用于根据所述上半身图像序列和预设的关节标注数学模型计算得到手部关节运动轨迹;
第三处理单元,用于根据所述实验器材图像序列得到实验器材运动轨迹。
6.根据权利要求4所述的化学实验操作的评分装置,其特征在于,所述分析模块包括:
第七处理单元,用于根据历史视频集合得到轨迹信息集合,所述轨迹信息集合内一个元素为一个视频标签及对应的关节轨迹信息集合;
第三计算单元,用于将每一个所述关节轨迹信息集合基于带拒绝的K近邻算法计算得到标准关节运动轨迹集合;
第八处理单元,用于将标准关节运动轨迹集合得到进行特征提取得到标准特征数据集;
第四计算单元,用于根据所述标准特征数据集合预设的相似度阈值建立操作识别数学模型,将所述轨迹信息作为输入值,求解所述操作识别数学模型得到识别结果。
7.一种化学实验操作的评分设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至3任一项所述化学实验操作的评分方法的步骤。
8.一种可读存储介质,其特征在于:所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述化学实验操作的评分方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210933855.4A CN115019240B (zh) | 2022-08-04 | 2022-08-04 | 化学实验操作的评分方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210933855.4A CN115019240B (zh) | 2022-08-04 | 2022-08-04 | 化学实验操作的评分方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115019240A CN115019240A (zh) | 2022-09-06 |
CN115019240B true CN115019240B (zh) | 2022-11-11 |
Family
ID=83065497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210933855.4A Active CN115019240B (zh) | 2022-08-04 | 2022-08-04 | 化学实验操作的评分方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115019240B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115345527B (zh) * | 2022-10-18 | 2023-01-03 | 成都西交智汇大数据科技有限公司 | 化学实验异常操作检测方法、装置、设备及可读存储介质 |
CN115359412B (zh) * | 2022-10-24 | 2023-03-03 | 成都西交智汇大数据科技有限公司 | 一种盐酸中和实验评分方法、装置、设备及可读存储介质 |
CN115375954B (zh) * | 2022-10-25 | 2023-03-24 | 成都西交智汇大数据科技有限公司 | 一种化学实验溶液识别方法、装置、设备及可读存储介质 |
CN117152830A (zh) * | 2023-07-03 | 2023-12-01 | 广州吾空创意科技有限公司 | 一种基于视觉图像的动作识别方法及系统 |
CN117994864A (zh) * | 2024-04-03 | 2024-05-07 | 北京师范大学珠海校区 | 中学生物实验操作测评方法、装置、电子设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273857A (zh) * | 2017-06-19 | 2017-10-20 | 深圳市酷浪云计算有限公司 | 运动动作的识别方法及装置、电子设备 |
CN109344692A (zh) * | 2018-08-10 | 2019-02-15 | 华侨大学 | 一种运动质量评价方法及系统 |
CN110781777A (zh) * | 2019-10-10 | 2020-02-11 | 深圳市牧爵电子科技有限公司 | 体育训练中人体动作的判定方法、系统和存储介质 |
CN111753635A (zh) * | 2020-03-31 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 化学实验操作的智能评分方法、装置及存储介质 |
CN112295617A (zh) * | 2020-09-18 | 2021-02-02 | 济南大学 | 一种基于实验场景态势感知的智能烧杯 |
CN113239797A (zh) * | 2021-05-12 | 2021-08-10 | 中科视语(北京)科技有限公司 | 人体动作识别方法、装置及系统 |
CN113935361A (zh) * | 2020-06-29 | 2022-01-14 | 深圳爱根斯通科技有限公司 | 动作检测的方法、装置、电子设备以及存储介质 |
CN114419736A (zh) * | 2022-03-10 | 2022-04-29 | 成都西交智汇大数据科技有限公司 | 一种实验评分方法、系统、设备及可读存储介质 |
CN114627407A (zh) * | 2022-02-22 | 2022-06-14 | 武汉三际通数字技术有限公司 | 视频动作自动评分方法、系统、可读存储介质及计算机 |
CN114743270A (zh) * | 2022-04-22 | 2022-07-12 | 上海锡鼎智能科技有限公司 | 一种用于智能实验考评的特定动作检测方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019229748A1 (en) * | 2018-05-28 | 2019-12-05 | United Perfectum Ltd. | Golf game video analytic system |
US11224485B2 (en) * | 2020-04-05 | 2022-01-18 | Theator inc. | Image analysis for detecting deviations from a surgical plane |
CN112308110B (zh) * | 2020-09-21 | 2023-07-21 | 哈尔滨工业大学(深圳) | 一种能够实现人机交互的手部运动识别方法及系统 |
CN113706960B (zh) * | 2021-08-29 | 2023-01-20 | 华中科技大学同济医学院附属协和医院 | 一种基于vr技术的护理操作练习平台及使用方法 |
CN114549993B (zh) * | 2022-02-28 | 2022-11-11 | 成都西交智汇大数据科技有限公司 | 实验中线段图像的评分方法、系统、设备及可读存储介质 |
-
2022
- 2022-08-04 CN CN202210933855.4A patent/CN115019240B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273857A (zh) * | 2017-06-19 | 2017-10-20 | 深圳市酷浪云计算有限公司 | 运动动作的识别方法及装置、电子设备 |
CN109344692A (zh) * | 2018-08-10 | 2019-02-15 | 华侨大学 | 一种运动质量评价方法及系统 |
CN110781777A (zh) * | 2019-10-10 | 2020-02-11 | 深圳市牧爵电子科技有限公司 | 体育训练中人体动作的判定方法、系统和存储介质 |
CN111753635A (zh) * | 2020-03-31 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 化学实验操作的智能评分方法、装置及存储介质 |
CN113935361A (zh) * | 2020-06-29 | 2022-01-14 | 深圳爱根斯通科技有限公司 | 动作检测的方法、装置、电子设备以及存储介质 |
CN112295617A (zh) * | 2020-09-18 | 2021-02-02 | 济南大学 | 一种基于实验场景态势感知的智能烧杯 |
CN113239797A (zh) * | 2021-05-12 | 2021-08-10 | 中科视语(北京)科技有限公司 | 人体动作识别方法、装置及系统 |
CN114627407A (zh) * | 2022-02-22 | 2022-06-14 | 武汉三际通数字技术有限公司 | 视频动作自动评分方法、系统、可读存储介质及计算机 |
CN114419736A (zh) * | 2022-03-10 | 2022-04-29 | 成都西交智汇大数据科技有限公司 | 一种实验评分方法、系统、设备及可读存储介质 |
CN114743270A (zh) * | 2022-04-22 | 2022-07-12 | 上海锡鼎智能科技有限公司 | 一种用于智能实验考评的特定动作检测方法 |
Non-Patent Citations (3)
Title |
---|
AI-based adaptive personalized content presentation and exercises navigation for an effective and engaging E-learning platform;Wafaa S.Sayed等;《Multimedia Tools and Applications》;20220629;第1-13页 * |
Multimodal Art Pose Recognition and Interaction With Human Intelligence Enhancement;Chengming Ma等;《Front Psychol》;20211108;第12卷;第1-31页 * |
基于三维影像后处理可视化平台的实验教学模式探讨;帅桃等;《医学影像学杂志》;20210830;第31卷(第08期);第1420-1422+1429页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115019240A (zh) | 2022-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115019240B (zh) | 化学实验操作的评分方法、装置、设备及可读存储介质 | |
Islam et al. | Real time hand gesture recognition using different algorithms based on American sign language | |
Mapari et al. | Real time human pose recognition using leap motion sensor | |
CN111898642B (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
CN114419736B (zh) | 一种实验评分方法、系统、设备及可读存储介质 | |
JP2009514109A (ja) | 人体モーションの追跡に関する判別モーションモデリング | |
CN112101329B (zh) | 一种基于视频的文本识别方法、模型训练的方法及装置 | |
CN110555417A (zh) | 一种基于深度学习的视频图像识别系统及方法 | |
CN111401318A (zh) | 动作识别方法及装置 | |
CN111814733A (zh) | 基于头部姿态的专注度检测方法及装置 | |
CN111563550A (zh) | 基于图像技术的精子形态检测方法和装置 | |
CN110717385A (zh) | 一种动态手势识别方法 | |
CN114549557A (zh) | 一种人像分割网络训练方法、装置、设备及介质 | |
CN113597614A (zh) | 图像处理方法和装置、电子设备及存储介质 | |
CN109034093A (zh) | 一种快速动态手语识别算法的设计与实现 | |
Oliva et al. | Filipino sign language recognition for beginners using kinect | |
Abdulhamied et al. | Real-time recognition of American sign language using long-short term memory neural network and hand detection | |
Aiouez et al. | Real-time Arabic Sign Language Recognition based on YOLOv5. | |
Karppa et al. | Method for visualisation and analysis of hand and head movements in sign language video | |
CN113392744A (zh) | 舞蹈动作美感确认方法、装置、电子设备及存储介质 | |
Estrivero-Chavez et al. | Toward a Mexican sign language system using human computer interface | |
Dawod | Hand Gesture Recognition Based Sign Language Interpretation in Real-Time | |
Senthilselvi et al. | An Adaptive, Dynamic and Semantic Approach for Understanding of Sign Language based on Convolution Neural Network. | |
Patil et al. | Intensity Based distinctive feature extraction and matching using Scale invariant feature transform for Indian Sign Language | |
Borah et al. | Gesture Recognition Approaches and its Applicability: A Study |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |