CN111553218A - 一种基于人体姿势识别的智能医学技能教学监测系统 - Google Patents
一种基于人体姿势识别的智能医学技能教学监测系统 Download PDFInfo
- Publication number
- CN111553218A CN111553218A CN202010314544.0A CN202010314544A CN111553218A CN 111553218 A CN111553218 A CN 111553218A CN 202010314544 A CN202010314544 A CN 202010314544A CN 111553218 A CN111553218 A CN 111553218A
- Authority
- CN
- China
- Prior art keywords
- video
- module
- feature vector
- result
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 104
- 238000000034 method Methods 0.000 claims description 29
- 230000003287 optical effect Effects 0.000 claims description 25
- 238000013527 convolutional neural network Methods 0.000 claims description 20
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 7
- 238000013479 data entry Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000011161 development Methods 0.000 abstract description 2
- 230000001737 promoting effect Effects 0.000 abstract 1
- 230000033001 locomotion Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Multimedia (AREA)
- Educational Technology (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Marketing (AREA)
- Artificial Intelligence (AREA)
- Development Economics (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Game Theory and Decision Science (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Primary Health Care (AREA)
Abstract
本发明公开了一种基于人体姿势识别的智能医学技能教学监测系统，该系统由视频采集模块、视频对比模块、结果统计模块、结果推送模块以及后台服务器组成，所述视频采集模块与视频对比模块连接，所述视频对比模块与结果统计模块连接，所述结果统计模块与结果推送模块连接，所述后台服务器分别与视频采集模块、视频对比模块、结果统计模块以及结果推送模块连接；所述视频采集模块由多个高清摄像头组成，所述高清摄像头安装在实验台操作现场。本发明，方便教师开展基于人工智能的医学技能深度教学，方便学生开展基于人工智能的医学技能深度自主学习，方便教师学生客观、及时得获得教学反馈信息，从而提高教学质量，促进学生医学技能的发展。
Description
技术领域
本发明涉及智能教学技术领域，具体为一种基于人体姿势识别的智能医学技能教学监测系统。
背景技术
随着互联网和人工智能技术的日趋成熟，将这些技术应用到传统的教学过程中，推动教育技术的智能化改革，已成为当前的研究热点。医学操作技能的教学是医学教学的重要部分，是培养医学专门人才的重要环节，是加深医学生对所学理论知识的理解应用、提高医学生综合能力主要方式。医学操作技能教学的重点在于学生学习的过程，因此过程管理尤为重要。
当前的医学操作技能教学主要存在以下问题：
(1)教学前，缺少对学生原有操作技能水平的评估及预习环节的指导监控。(2)教学中，一位教师需要同时带教多位学生，较难对所有学生的学习过程进行监控和指导，信息掌握不足，教学效果不理想。(3)教学后，由于条件限制，学生在进行操作技能的自主训练时，其过程和结果无法得到有效的监督和评价，学生对自身的掌握情况较为盲目，影响学习效果。(4)教师对操作技能的评判较为主观，不同的教师评分不一，较难统一。(5)教师和学生对操作技能的学习效果较难进行横向和纵向对比，难以精准掌握所有学生的学习问题。(6)临床上患者的维权意识越来越强，不允许学生进行多次反复医学操作。
发明内容
本发明的目的在于提供一种基于人脸识别的智能医学技能教学监测系统，方便教师开展基于人工智能的医学操作技能深度教学，方便学生开展基于人工智能的医学操作技能深度自主学习，方便教师学生客观、及时获得教学效果的反馈信息，从而较为精准地提高教学质量，促进学生医学技能的发展，解决了背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于人体姿势识别的智能医学技能教学监测系统，该系统由视频采集模块、视频对比模块、结果统计模块、结果推送模块以及后台服务器组成，所述视频采集模块与视频对比模块连接，所述视频对比模块与结果统计模块连接，所述结果统计模块与结果推送模块连接，所述后台服务器分别与视频采集模块、视频对比模块、结果统计模块以及结果推送模块连接；
所述视频采集模块由多个高清摄像头组成，所述高清摄像头安装在实验台操作现场，其数量根据操作现场区域而定，用于对实验台操作现场进行操作视频采集，并把采集的操作视频通过HTTP或FTP协议传送至视频对比模块；
所述视频对比模块接收视频采集模块发送的操作视频，并将操作视频与规范视频均进行视频拆分，得到与所述操作视频对应的待对比图集，及与所述规范视频对应的原始图集；
通过光流法对所述操作视频进行预处理，得到与所述操作视频对应的第一图集；
通过光流法对所述规范视频进行预处理，得到与所述规范视频对应的第二图集；
通过卷积神经网络获取所述第一图集中每一目标图对应的目标图特征向量，以组成第一图特征向量集；
通过卷积神经网络获取所述第二图集中每一目标图对应的目标图特征向量，以组成第二图特征向量集；
所述结果统计模块获取所述第一图特征向量集中各图片特征向量与所述第二图特征向量集中对应图片特征向量的相似度，以得到所述操作视频与所述规范视频的平均相似度；以及将所述操作视频与所述规范视频的平均相似度在满足操作规则的前提下进行评分；以及在系统基础数据中进行匹配，得到对应于所述操作视频的人名信息、班级信息；以及将评分结果、扣分原因、人名信息、班级信息操作视频记录到后台管理系统的比对记录中；以及将评分结果、扣分原因、人名信息、班级信息操作视频反馈至结果推送模块中；
所述结果推送模块接收所述评分结果、人名信息、班级信息以及操作视频，叠加后记录在后台管理系统的操作记录中，并在操作时段结束后将将评分结果、扣分原因、人名信息以及班级信息推送至系统管理员、任课教师和学生本人；
所述后台服务器：起到数据中转分发作用，是整个系统的中央枢纽。
优选的，还包括信息录入模块，所述信息录入模块分别与结果统计模块、后台服务器连接，所述信息录入模块由视频质量检测录入单元、人员基础数据录入单元、评分规则录入单元以及操作规则录入单元组成。
优选的，所述视频质量检测录入单元用于实时检测录入规范视频，所述人员基础数据录入单元用于录入人名信息、班级信息、任课教师以及学生本人基础数据，所述评分规则录入单元用于设置与平均相似度相对应的评分，所述操作规则录入单元用于设置操作规则，所述操作规则包括高清摄像头所摄录到的操作现场区域、预设操作最大时长以及实时摄录到的人脸视频与预设的人脸视频相匹配。
优选的，所述通过光流法对所述操作视频进行预处理，得到与所述操作视频对应的第一图集，包括：获取所述操作视频中各帧图片的各像素点对应的速度矢量特征；若所述操作视频中存在至少一帧图片的所述速度矢量特征未保持连续变化，将对应图片组成所述操作视频中的第一图集。
优选的，所述通过卷积神经网络获取所述第一图集中每一目标图对应的目标图特征向量，以组成第一图特征向量集，包括：将所述第一图集中每一目标图进行预处理，得到与各目标图对应的预处理后图片，及与每一预处理后图片对应的图片像素矩阵；其中，将目标图进行预处理为依序对所述目标图进行灰度化、边缘检测和二值化处理；将与各预处理后图片对应的图片像素矩阵输入至卷积神经网络模型中输入层，得到与各预处理后图片对应的特征图；将各特征图输入至卷积神经网络模型中池化层，得到与各特征图对应的一维向量；将与各特征图对应的一维向量输入至卷积神经网络模型中全连接层，得到与各特征图对应的目标图特征向量，以组成第一图特征向量集。
优选的，所述获取所述第一图特征向量集中各图片特征向量与所述第二图特征向量集中对应图片特征向量的相似度，包括：获取所述第一图特征向量集中各图片特征向量与所述第二图特征向量集中对应图片特征向量的欧氏距离后求平均欧氏距离值，以所述平均欧氏距离值作为所述第一图特征向量集与所述第二图特征向量集之间的相似度。
与现有技术相比，本发明的有益效果如下：本发明，通过摄录的操作视频与预先录入的规范操作视频比对，得到近似度，近似度与评分挂钩，进而实现自动评分并说明扣分原因，相较于现有技术中一对一，即一个实训教师对应着一个学生全程观察打分的方式，可以提高课堂效率，方便学生开展深度自主学习，从而提高教学质量，发展学生的实践操作技能。
附图说明
图1为本发明系统组成功能框图；
图2为本发明第一图集功能框图；
图3为本发明第二图集功能框图。
图中：100-视频采集模块、101-高清摄像头、200-视频对比模块、201-第一图集、2011-第一图特征向量集、202-第二图集、2021-第二图特征向量集、300-结果统计模块、400-结果推送模块4、500-后台服务器、600-信息录入模块、601-视频质量检测录入单元、602-人员基础数据录入单元、603-评分规则录入单元、604-操作规则录入单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1至图3，本发明提供一种技术方案：一种基于人体姿势识别的智能医学技能教学监测系统，该系统由视频采集模块100、视频对比模块200、结果统计模块300、结果推送模块400以及后台服务器500组成，视频采集模块100与视频对比模块200连接，视频对比模块200与结果统计模块300连接，结果统计模块300与结果推送模块400连接，后台服务器500分别与视频采集模块100、视频对比模块200、结果统计模块300以及结果推送模块400连接；
视频采集模块100由多个高清摄像头101组成，高清摄像头101安装在实验台操作现场，其数量根据操作现场区域而定，用于对实验台操作现场进行操作视频采集，并把采集的操作视频通过HTTP或FTP协议传送至视频对比模块200；
视频对比模块200接收视频采集模块100发送的操作视频，并将操作视频与规范视频均进行视频拆分，得到与操作视频对应的待对比图集，及与规范视频对应的原始图集；
由于视频的本质是在单位时间内播放一定数量的图片，例如在1秒内播放24-30张连续的图片，此时为了对比所述待对比视频及所述原始视频的相似程度，可以先将两者分别进行拆分，得到与所述待对比视频对应的待对比图片集合，及与所述原始视频对应的原始图片集合。在将所述待对比视频及所述原始视频均进行拆分时，采用常用的一些视频拆分工具即可，且将每一秒的视频拆分为24帧图片。
通过光流法对操作视频进行预处理，得到与操作视频对应的第一图集201；
进一步地，通过光流法对操作视频进行预处理，得到与操作视频对应的第一图集201，包括以下步骤：
1、获取操作视频中各帧图片的各像素点对应的速度矢量特征；
2、若操作视频中存在至少一帧图片的速度矢量特征未保持连续变化，将对应图片组成操作视频中的第一图集201。
当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜(即图像平面)，好像是一种光的“流”，故称之为光流。光流表达图像的变化，包含目标运动的信息，可用来确定目标的运动。光流三个要素：一是运动速度场，这是形成光流的必要条件；二是带光学特征的部分例如有灰度的象素点，它可以携带运动信息；三是成像投影从场景到图像平面，因而能被观察到。
定义光流以点为基础，具体来说，设(u，v)为图像点(x，y)的光流，则把(x，y，u，v)称为光流点。所有光流点的集合称为光流场。当带光学特性的物体在三维空间运动时，在图像平面上就形成了相应的图像运动场，或称为图像速度场。在理想情况下，光流场对应于运动场。
给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和背景存在着相对运动。运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置。通过光流法进行预处理，即可得到与所述待比对视频对应的第一图集201。
通过光流法对规范视频进行预处理，得到与规范视频对应的第二图集202；
进一步地，在通过光流法对规范视频进行预处理时，其过程与通过光流法对操作视频进行预处理相同，通过光流法进行预处理，即可得到与规范视频对应的第二图集202，不再赘述。其中，第一图集201中所包括图片的第一总张数不超过第二图集202中所包括图片的第二总张数，一般是第一图集201中所包括图片的第一总张数等于第二图集202中所包括图片的第二总张数。
通过卷积神经网络获取第一图集201中每一目标图对应的目标图特征向量，以组成第一图特征向量集2011；
进一步地，通过卷积神经网络获取第一图集201中每一目标图对应的目标图特征向量，以组成第一图特征向量集2011，包括以下步骤：
1、将第一图集201中每一目标图进行预处理，得到与各目标图对应的预处理后图片，及与每一预处理后图片对应的图片像素矩阵；
2、其中，将目标图进行预处理为依序对目标图进行灰度化、边缘检测和二值化处理；
3、将与各预处理后图片对应的图片像素矩阵输入至卷积神经网络模型中输入层，得到与各预处理后图片对应的特征图；
4、将各特征图输入至卷积神经网络模型中池化层，得到与各特征图对应的一维向量；
5、将与各特征图对应的一维向量输入至卷积神经网络模型中全连接层，得到与各特征图对应的目标图特征向量，以组成第一图特征向量集2011。
通过卷积神经网络获取第二图集202中每一目标图对应的目标图特征向量，以组成第二图特征向量集2021；
进一步地，在通过卷积神经网络获取与第二目标图集中每一目标图片对应的目标图片特征向量时，其过程与通过卷积神经网络获取与第一目标图集中每一目标图片对应的目标图片特征向量相同。由于第二目标图集中每一目标图片均获取了对应的目标图片特征向量，即可组成第二图特征向量集2021。
结果统计模块300获取第一图特征向量集2011中各图片特征向量与第二图特征向量集2021中对应图片特征向量的相似度，以得到操作视频与规范视频的平均相似度；
进一步地，获取第一图特征向量集2011中各图片特征向量与第二图特征向量集2021中对应图片特征向量的相似度，包括以下步骤：获取第一图特征向量集2011中各图片特征向量与第二图特征向量集2021中对应图片特征向量的欧氏距离后求平均欧氏距离值，以平均欧氏距离值作为第一图特征向量集2011与第二图特征向量集2021之间的相似度，以得到待比对视频与原始视频的平均相似度，在本实施例中，一般由于操作视频为规范视频的模仿视频，一般大的肢体动作是较为类似的，为了更精细的通过动作来判断操作视频与规范视频的相似度，可分别获取第一图特征向量集2011和第二图特征向量集2021，然后获取第一图特征向量集2011中各图片特征向量与第二图特征向量集2021中对应图片特征向量的相似度，以得到操作视频与规范视频的平均相似度。例如，第一图特征向量集2011中包括10个图片特征向量，分别记为a1-a10；第二图特征向量集2021中同样也包括10个图片特征向量，分别记为b1-b10；此时计算a1与b1之间的欧氏距离以作为a1与b 1之间的第一相似度，计算a2与b2之间的欧氏距离以作为a2与b2之间的第二相度，……，计算a10与b10之间的欧氏距离以作为a10与b10之间的第十相似度，此时获取第一相似度至第十相似度的平均值作为所述待比对视频与所述原始视频的平均相似度，通过这一运算方式能获取两相似视频之间根据动作相似度而评判的具体相似度，这比通过肉眼评判能更精准判断的视频相似度。
结果统计模块300将操作视频与规范视频的平均相似度在满足操作规则的前提下进行评分；以及在系统基础数据中进行匹配，得到对应于操作视频的人名信息、班级信息；以及将评分结果、扣分原因、人名信息、班级信息操作视频记录到后台管理系统的比对记录中；以及将评分结果、扣分原因、人名信息、班级信息操作视频反馈至结果推送模块400中；
结果推送模块400接收评分结果、人名信息、班级信息以及操作视频，叠加后记录在后台管理系统的操作记录中，并在操作时段结束后将将评分结果、扣分原因、人名信息以及班级信息推送至系统管理员、任课教师和学生本人，系统管理员可以随时查找系统中的记录，任课教师作为第一知情人，需要对评分结果记录，学生本人作为第二知情人，可以促进查补漏缺；
后台服务器500：起到数据中转分发作用，是整个系统的中央枢纽。
该系统还包括信息录入模块600，信息录入模块600分别与结果统计模块300、后台服务器600连接，信息录入模块600由视频质量检测录入单元601、人员基础数据录入单元602、评分规则录入单元603以及操作规则录入单元604组成。
视频质量检测录入单元601用于实时检测录入规范视频，规范视频要满足预设时长内完成所有动作的要求。
人员基础数据录入单元602用于录入人名信息、班级信息、任课教师以及学生本人基础数据，便于系统将考试人员的评分结果及时地通过物联网发送给系统管理员、任课教师以及家长。
评分规则录入单元603用于设置与平均相似度相对应的评分，比如相似度可以是0.6、0.7、0.8、0.9等，那么评分可以对应为60、70、80、90等，当然实际相似度还可以精确到百分、千分等，实际平分还可以是采用百分制、千分制等。还包括扣分规则的录入，例如，第一图特征向量集2011中包括10个图片特征向量，分别记为a1-a10；第二图特征向量集2021中包括9个图片特征向量，分别记为b1-b9，那么从这些图片特征向量中就知道，学生操作少了一步骤，先对该步骤进行扣分之后(各个步骤的扣分标准也可通过评分规则录入单元603进行设定)，再乘以相似度即可得到相应分数；
操作规则录入单元604用于设置操作规则，操作规则包括高清摄像头101所摄录到的操作现场区域，如果考试人员超出高清摄像头101摄录的范围后，那么评分无效。还包括预设操作最大时长，实训的时间不能超出最大时长，如果超出，那么评分无效。
以及实时摄录到的人脸视频与预设的人脸视频相匹配，其中实训人员提前通过物联网发送至系统中，实训过程中，实时摄录到的人脸视频与预设的人脸视频相匹配，即采用上述相同的相似度算法进行比对，这里的相似度是判断人脸符合度，是指≥0.8，即为同一个人，防止有人替代，当然这里的0.8，还可以是其它数据，可通过评分规则录入单元603设定。
本发明，通过摄录的操作视频与预先录入的规范操作视频比对，得到近似度，近似度与评分挂钩，进而实现自动评分并说明扣分原因，相较于现有技术中一对一，即一个实训教师对应着一个学生全程观察评分的方式，可以提高课堂效率，便于开展师生开展操作技能的深度学习，提高教学质量，和学生的实际操作能力。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种基于人体姿势识别的智能医学技能教学监测系统，其特征在于：该系统由视频采集模块(100)、视频对比模块(200)、结果统计模块(300)、结果推送模块(400)以及后台服务器(500)组成，所述视频采集模块(100)与视频对比模块(200)连接，所述视频对比模块(200)与结果统计模块(300)连接，所述结果统计模块(300)与结果推送模块(400)连接，所述后台服务器(500)分别与视频采集模块(100)、视频对比模块(200)、结果统计模块(300)以及结果推送模块(400)连接；
所述视频采集模块(100)由多个高清摄像头(101)组成，所述高清摄像头(101)安装在实验台操作现场，其数量根据操作现场区域而定，用于对实验台操作现场进行操作视频采集，并把采集的操作视频通过HTTP或FTP协议传送至视频对比模块(200)；
所述视频对比模块(200)接收视频采集模块(100)发送的操作视频，并将操作视频与规范视频均进行视频拆分，得到与所述操作视频对应的待对比图集，及与所述规范视频对应的原始图集；
通过光流法对所述操作视频进行预处理，得到与所述操作视频对应的第一图集(201)；
通过光流法对所述规范视频进行预处理，得到与所述规范视频对应的第二图集(202)；
通过卷积神经网络获取所述第一图集(201)中每一目标图对应的目标图特征向量，以组成第一图特征向量集(2011)；
通过卷积神经网络获取所述第二图集(202)中每一目标图对应的目标图特征向量，以组成第二图特征向量集(2021)；
所述结果统计模块(300)获取所述第一图特征向量集(2011)中各图片特征向量与所述第二图特征向量集(2021)中对应图片特征向量的相似度，以得到所述操作视频与所述规范视频的平均相似度；以及将所述操作视频与所述规范视频的平均相似度在满足操作规则的前提下进行评分；以及在系统基础数据中进行匹配，得到对应于所述操作视频的人名信息、班级信息；以及将评分结果、扣分原因、人名信息、班级信息操作视频记录到后台管理系统的比对记录中；以及将评分结果、扣分原因、人名信息、班级信息操作视频反馈至结果推送模块(400)中；
所述结果推送模块(400)接收所述评分结果、人名信息、班级信息以及操作视频，叠加后记录在后台管理系统的操作记录中，并在操作时段结束后将将评分结果、扣分原因、人名信息以及班级信息推送至系统管理员、任课教师和学生本人；
所述后台服务器(500)：起到数据中转分发作用，是整个系统的中央枢纽。
2.根据权利要求1所述的基于人体姿势识别的智能医学技能教学监测系统，其特征在于：还包括信息录入模块(600)，所述信息录入模块(600)分别与结果统计模块(300)、后台服务器(500)连接，所述信息录入模块(600)由视频质量检测录入单元(601)、人员基础数据录入单元(602)、评分规则录入单元(603)以及操作规则录入单元(604)组成。
3.根据权利要求2所述的基于人体姿势识别的智能医学技能教学监测系统，其特征在于：所述视频质量检测录入单元(601)用于实时检测录入规范视频，所述人员基础数据录入单元(602)用于录入人名信息、班级信息、任课教师以及学生本人基础数据，所述评分规则录入单元(603)用于设置与平均相似度相对应的评分，所述操作规则录入单元(604)用于设置操作规则，所述操作规则包括高清摄像头(101)所摄录到的操作现场区域、预设操作最大时长以及实时摄录到的人脸视频与预设的人脸视频相匹配。
4.根据权利要求1所述的基于人体姿势识别的智能医学技能教学监测系统，其特征在于：所述通过光流法对所述操作视频进行预处理，得到与所述操作视频对应的第一图集(201)，包括：获取所述操作视频中各帧图片的各像素点对应的速度矢量特征；若所述操作视频中存在至少一帧图片的所述速度矢量特征未保持连续变化，将对应图片组成所述操作视频中的第一图集(201)。
5.根据权利要求1所述的基于人体姿势识别的智能医学技能教学监测系统，其特征在于：所述通过卷积神经网络获取所述第一图集(201)中每一目标图对应的目标图特征向量，以组成第一图特征向量集(2011)，包括：将所述第一图集(201)中每一目标图进行预处理，得到与各目标图对应的预处理后图片，及与每一预处理后图片对应的图片像素矩阵；其中，将目标图进行预处理为依序对所述目标图进行灰度化、边缘检测和二值化处理；将与各预处理后图片对应的图片像素矩阵输入至卷积神经网络模型中输入层，得到与各预处理后图片对应的特征图；将各特征图输入至卷积神经网络模型中池化层，得到与各特征图对应的一维向量；将与各特征图对应的一维向量输入至卷积神经网络模型中全连接层，得到与各特征图对应的目标图特征向量，以组成第一图特征向量集(2011)。
6.根据权利要求1所述的基于人体姿势识别的智能医学技能教学监测系统，其特征在于：所述获取所述第一图特征向量集(2011)中各图片特征向量与所述第二图特征向量集(2021)中对应图片特征向量的相似度，包括：获取所述第一图特征向量集(2011)中各图片特征向量与所述第二图特征向量集(2021)中对应图片特征向量的欧氏距离后求平均欧氏距离值，以所述平均欧氏距离值作为所述第一图特征向量集(2011)与所述第二图特征向量集(2021)之间的相似度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010314544.0A CN111553218A (zh) | 2020-04-20 | 2020-04-20 | 一种基于人体姿势识别的智能医学技能教学监测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010314544.0A CN111553218A (zh) | 2020-04-20 | 2020-04-20 | 一种基于人体姿势识别的智能医学技能教学监测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111553218A true CN111553218A (zh) | 2020-08-18 |
Family
ID=72000294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010314544.0A Pending CN111553218A (zh) | 2020-04-20 | 2020-04-20 | 一种基于人体姿势识别的智能医学技能教学监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111553218A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159725A (zh) * | 2021-04-29 | 2021-07-23 | 山东数字人科技股份有限公司 | 一种解剖教学监督方法、装置、系统、设备及存储介质 |
| CN114887271A (zh) * | 2022-05-12 | 2022-08-12 | 福州大学 | 基于人体姿势识别的火灾逃生技能教学监测系统 |
| CN116757524A (zh) * | 2023-05-08 | 2023-09-15 | 广东保伦电子股份有限公司 | 一种教师授课质量评价方法和装置 |
| CN117575862A (zh) * | 2023-12-11 | 2024-02-20 | 广州番禺职业技术学院 | 一个基于知识图谱的学生个性化实训指导方法及系统 |
| CN117575862B (zh) * | 2023-12-11 | 2024-05-24 | 广州番禺职业技术学院 | 一个基于知识图谱的学生个性化实训指导方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909060A (zh) * | 2017-12-05 | 2018-04-13 | 前海健匠智能科技（深圳）有限公司 | 基于深度学习的健身房健身动作识别方法及装置 |
| CN108154304A (zh) * | 2017-12-26 | 2018-06-12 | 重庆大争科技有限公司 | 具有教学质量评估功能的服务器 |
| CN108985443A (zh) * | 2018-07-04 | 2018-12-11 | 北京旷视科技有限公司 | 动作识别方法及其神经网络生成方法、装置和电子设备 |
| CN110443226A (zh) * | 2019-08-16 | 2019-11-12 | 重庆大学 | 一种基于姿态识别的学生状态评价方法及系统 |
| CN110674837A (zh) * | 2019-08-15 | 2020-01-10 | 深圳壹账通智能科技有限公司 | 视频相似度获取方法、装置、计算机设备及存储介质 |
-
2020
- 2020-04-20 CN CN202010314544.0A patent/CN111553218A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909060A (zh) * | 2017-12-05 | 2018-04-13 | 前海健匠智能科技（深圳）有限公司 | 基于深度学习的健身房健身动作识别方法及装置 |
| CN108154304A (zh) * | 2017-12-26 | 2018-06-12 | 重庆大争科技有限公司 | 具有教学质量评估功能的服务器 |
| CN108985443A (zh) * | 2018-07-04 | 2018-12-11 | 北京旷视科技有限公司 | 动作识别方法及其神经网络生成方法、装置和电子设备 |
| CN110674837A (zh) * | 2019-08-15 | 2020-01-10 | 深圳壹账通智能科技有限公司 | 视频相似度获取方法、装置、计算机设备及存储介质 |
| CN110443226A (zh) * | 2019-08-16 | 2019-11-12 | 重庆大学 | 一种基于姿态识别的学生状态评价方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159725A (zh) * | 2021-04-29 | 2021-07-23 | 山东数字人科技股份有限公司 | 一种解剖教学监督方法、装置、系统、设备及存储介质 |
| CN114887271A (zh) * | 2022-05-12 | 2022-08-12 | 福州大学 | 基于人体姿势识别的火灾逃生技能教学监测系统 |
| CN116757524A (zh) * | 2023-05-08 | 2023-09-15 | 广东保伦电子股份有限公司 | 一种教师授课质量评价方法和装置 |
| CN116757524B (zh) * | 2023-05-08 | 2024-02-06 | 广东保伦电子股份有限公司 | 一种教师授课质量评价方法和装置 |
| CN117575862A (zh) * | 2023-12-11 | 2024-02-20 | 广州番禺职业技术学院 | 一个基于知识图谱的学生个性化实训指导方法及系统 |
| CN117575862B (zh) * | 2023-12-11 | 2024-05-24 | 广州番禺职业技术学院 | 一个基于知识图谱的学生个性化实训指导方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110334610B (zh) | 一种基于计算机视觉的多维度课堂量化系统及方法 | |
| CN109522815B (zh) | 一种专注度评估方法、装置及电子设备 | |
| CN111553218A (zh) | 一种基于人体姿势识别的智能医学技能教学监测系统 | |
| WO2021047185A1 (zh) | 基于人脸识别的监测方法、装置、存储介质及计算机设备 | |
| CN107316261A (zh) | 一种基于人脸分析的教学质量评估系统 | |
| WO2021077382A1 (zh) | 一种学习状态的判断方法、装置及智能机器人 | |
| CN111046823A (zh) | 基于课堂视频的学生课堂参与度分析系统 | |
| CN113506624B (zh) | 基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统 | |
| KR20100016696A (ko) | 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스스케줄링방법 | |
| CN106295558A (zh) | 一种猪只行为节律分析方法 | |
| Indi et al. | Detection of malpractice in e-exams by head pose and gaze estimation | |
| CN111814587A (zh) | 人体行为检测方法、教师行为检测方法及相关系统和装置 | |
| CN106652605A (zh) | 一种远程情感教学方法 | |
| CN111666829A (zh) | 多场景多主体身份行为情绪识别分析方法及智能监管系统 | |
| CN113282840B (zh) | 一种训练采集综合管理平台 | |
| Liu et al. | An improved method of identifying learner's behaviors based on deep learning | |
| Ray et al. | Design and implementation of affective e-learning strategy based on facial emotion recognition | |
| Huang et al. | Research on learning state based on students’ attitude and emotion in class learning | |
| Liu | A study of athlete pose estimation techniques in sports game videos combining multiresidual module convolutional neural networks | |
| CN114495169A (zh) | 一种人体姿态识别的训练数据处理方法、装置及设备 | |
| CN114255509A (zh) | 一种基于OpenPose的学生监督辅助工具 | |
| Lee et al. | A new approach to estimate concentration levels with filtered neural nets for online learning | |
| CN116797090B (zh) | 一种学员课堂学习状态在线评估方法及系统 | |
| CN115631074A (zh) | 一种基于信息化的网络科教方法、系统及设备 | |
| Xu et al. | A Study on the Evaluation of English Classroom Learning Status Based on Expression Recognition Technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200818 |
|
| WD01 | Invention patent application deemed withdrawn after publication |