CN112633323B - 一种用于教室的姿态检测方法和系统 - Google Patents
一种用于教室的姿态检测方法和系统 Download PDFInfo
- Publication number
- CN112633323B CN112633323B CN202011352659.5A CN202011352659A CN112633323B CN 112633323 B CN112633323 B CN 112633323B CN 202011352659 A CN202011352659 A CN 202011352659A CN 112633323 B CN112633323 B CN 112633323B
- Authority
- CN
- China
- Prior art keywords
- convolution kernel
- small target
- gesture detection
- target image
- dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 151
- 238000012549 training Methods 0.000 claims abstract description 77
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种用于教室的姿态检测方法和系统,方法包括:对训练集图像进行小目标分类,对小目标图像进行预处理;将预处理后的小目标图像和非小目标图像分别输入至卷积网络;卷积网络使用动态卷积核提取非小目标图像的特征,进行姿态检测,使用优化损失函数更新和训练动态卷积核;卷积网络使用局部卷积核提取预处理后的小目标图像的特征,进行姿态检测,使用优化损失函数更新和训练局部卷积核;将卷积网络中训练好的动态卷积核和局部卷积核进行融合,形成姿态检测模型。通过针对不同类别的图像进行训练,能够提高姿态检测正确性;将动态卷积核和局部卷积核进行融合,能够在数据集较少的教室场景中降低误检率,提升姿态检测正确性。
Description
技术领域
本申请涉及姿态检测技术领域,尤其涉及一种用于教室的姿态检测方法和系统。
背景技术
近年来,很多学校通过使用监控视频对学生的姿态进行实时检测,分析学生的到课率、在教室中的学习状态和老师的上课状况。然而在教室场景下,由于数据集中数据量较少、类别不平衡、目标分辨率低并且人体身体普遍遮挡严重,因此对于目前的基于关键点的人体姿态估计方法,其在人体的关键点丢失严重的数据集的训练下,检测效果不佳。而在不检测关键点的基于目标检测的姿态检测当中,也仍然存在着保证检测速度的情况下准确率降低的情况。目前的目标检测算法检测效果存在相似度高的趴”和“坐”两类姿态误检率高和后排模糊小目标漏检率高的情况。
综上所述,需要提供一种能够在数据集较少的教室场景中降低误检率,提升姿态检测正确性的用于教室的姿态检测方法和系统。
发明内容
为解决以上问题,本申请提出了一种用于教室的姿态检测方法系统。
一方面,本申请提出一种用于教室的姿态检测方法,包括:
对训练集图像进行小目标分类,对小目标图像进行预处理;
将预处理后的小目标图像和非小目标图像分别输入至卷积网络;
所述卷积网络使用动态卷积核提取所述非小目标图像的特征,进行姿态检测,使用优化损失函数更新和训练所述动态卷积核;
所述卷积网络使用局部卷积核提取所述预处理后的小目标图像的特征,进行姿态检测,使用优化损失函数更新和训练所述局部卷积核;
将所述卷积网络中训练好的动态卷积核和局部卷积核进行融合,作为姿态检测模型中的动态卷积核,形成姿态检测模型。
优选地,在所述形成姿态检测模型之后,还包括:
将测试集图像直接输入至所述姿态检测模型中进行姿态检测。
优选地,所述将所述卷积网络中训练好的动态卷积核和局部卷积核进行融合,作为姿态检测模型中的动态卷积核,形成姿态检测模型,包括:
将所述卷积网络中使用非小目标图像训练好的动态卷积核中的局部卷积核的权重与使用小目标图像训练好的局部卷积核的权重进行融合,得到新的局部卷积核;将训练好的动态卷积核中的标准卷积核和新的所述局部卷积核作为新的动态卷积核;
根据新的所述动态卷积核和区域候选网络形成姿态检测模型。
优选地,所述对训练集图像进行小目标分类,对小目标图像进行预处理,包括:
将小目标小于阈值数量的训练集图像作为小目标图像,小目标大于等于阈值数量的作为非小目标图像;
对所述小目标图像进行下采样;
将下采样后的小目标图像与随机的其他三张缩小后的训练集图像进行拼接,作为预处理后的小目标图像。
优选地,所述第一卷积网络使用动态卷积核提取所述非小目标图像的特征,包括:
将所述非小目标图像以1:1的比例分为上下两部分;
使用动态卷积核中的局部卷积核提取图像上部分的特征;
使用动态卷积核中的标准卷积核提取图像下部的特征。
优选地,所述进行姿态检测,使用优化损失函数更新和训练所述动态卷积核,包括:
将提取到的非小目标图像的所述特征输入至区域候选网络并对所述特征进行目标检测;
根据检测结果,使用优化损失函数更新和训练所述动态卷积核。
优选地,所述进行姿态检测,使用优化损失函数更新和训练所述局部卷积核,包括:
将提取到的小目标图像的特征输入至区域候选网络并对所述特征进行目标检测;
根据检测结果,使用优化损失函数更新和训练所述局部卷积核。
优选地,所述优化损失函数包括:一个共享的权重因子和两个单独非共享权重因子。
优选地,所述姿态检测包括:站姿、坐姿和趴姿。
第二方面,本申请提出一种用于教室的姿态检测系统,包括:
分类处理模块,用于对训练集图像进行小目标分类,对小目标图像进行预处理,输入至训练模块;
训练模块,用于将预处理后的小目标图像和非小目标图像分别输入至卷积网络;所述卷积网络使用动态卷积核提取所述非小目标图像的特征,进行姿态检测,使用优化损失函数更新和训练所述动态卷积核;所述卷积网络使用局部卷积核提取所述预处理后的小目标图像的特征,进行姿态检测,使用优化损失函数更新和训练所述局部卷积核;将所述卷积网络中训练好的动态卷积核和局部卷积核进行融合,作为姿态检测模型中的动态卷积核,形成姿态检测模型。
本申请的优点在于:通过对训练集的图像进行分类,能够对小目标图像进行预处理,之后对不同分类的图像使用不同的卷积核进行处理,能够针对不同类别的图像进行训练,提高姿态检测正确性;将卷积网络中训练好的动态卷积核和局部卷积核进行融合,能够在数据集较少的教室场景中降低误检率,提升姿态检测正确性。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选事实方案的目的,而并不认为是对本申请的限制。而且在整个附图中,用同样的参考符号表示相同的部件。在附图中:
图1是本申请提供的一种用于教室的姿态检测方法的步骤示意图;
图2是本申请提供的一种用于教室的姿态检测方法的训练流程示意图;
图3是本申请提供的一种用于教室的姿态检测方法的预处理示意图;
图4是本申请提供的一种用于教室的姿态检测方法的网络结构示意图;
图5是本申请提供的一种用于教室的姿态检测方法的测试流程示意图;
图6是本申请提供的一种用于教室的姿态检测系统的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
第一方面,根据本申请的实施方式,提出一种用于教室的姿态检测方法,如图1所示,包括:
S101,对训练集图像进行小目标分类,对小目标图像进行预处理;
S102,将预处理后的小目标图像和非小目标图像分别输入至卷积网络;
S103,卷积网络使用动态卷积核提取非小目标图像的特征,进行姿态检测,使用优化损失函数更新和训练动态卷积核;
S104,卷积网络使用局部卷积核提取预处理后的小目标图像的特征,进行姿态检测,使用优化损失函数更新和训练局部卷积核;
S105,将卷积网络中训练好的动态卷积核和局部卷积核进行融合,作为姿态检测模型中的动态卷积核,形成姿态检测模型。
在训练过程中,首先检测训练集图像中的小目标数量,若数量小于10,则将这些图像划分为一个批(batch),进行小目标增强策略(预处理),每个批的图像数量为4的倍数,每4张图像拼接起来进行分批训练,在卷积层使用局部卷积核进行特征提取;将其余图像进行划分为一个批进行分批训练,在卷积层使用动态卷积核进行特征提取。提取到的特征再经过区域候选网络(Region Proposal Network,RPN)和ROIAlign操作后,通过优化了损失函数的分类和回归操作,经过多轮迭代训练,得到最终结果。对训练集图像进行检测时,每次的结果均为将计算得到的预测值,将得到的预测值作为检测结果。
姿态检测包括:站姿、坐姿和趴姿。卷积网络包括ResNet101结构,使用RPN网络和ROIAlign操作。优化损失函数包括:一个共享的权重因子和两个单独非共享权重因子。阈值数量可以为10。
本申请的实施方式对损失函数进行修改,由于在教室数据集中,“坐”标签与“趴”标签类间相似度Sp较高,而最小化类内相似度Sn有时差别较大。但在一般的网络中,使用softmax损失函数,是为了最小化类内相似度Sn和类间相似度Sp,理想情况为Sn=0,Sp=1。将Sp和Sn组成相似对,最小化(Sn-Sp)的值,使得提升Sp等同于下降Sn,对于教室数据集缺乏优化的灵活性,并且收敛目标不明确。本申请实施方式增加非共享权重因子,能够让类间相似度Sp和最小化类内相似度Sn可以以不同的梯度改变,从而在“站”、“坐”和“趴”三个标签上有更好的表现。
与现有技术相比,本申请实施方式的效果是对于数据量较小的小目标数量进行了增加,有更多的训练样本进行训练。针对图像不同位置的不同尺度的目标的特点使用不同的卷积核,从而能够得到更好的检测效果。修改损失函数,增加非共享权重因子,让“站”、“坐”和“趴”三个标签更好地进行类间和类内回归,有效地提高检测准确率。
对训练集图像进行小目标分类,对小目标图像进行预处理,包括:
将小目标小于阈值数量的训练集图像作为小目标图像,小目标大于等于阈值数量的作为非小目标图像;对小目标图像进行下采样;将下采样后的小目标图像与随机的其他三张缩小后的训练集图像进行拼接,作为预处理后的小目标图像(拼接图像)。
卷积网络使用动态卷积核提取非小目标图像的特征,包括:将非小目标图像以1:1的比例分为上下两部分;使用动态卷积核中的局部卷积核提取图像上部分的特征;使用动态卷积核中的标准卷积核提取图像下部分的特征。
进行姿态检测,使用优化损失函数更新和训练动态卷积核,包括:将提取到的非小目标图像的特征输入至区域候选网络并对特征使用ROI Align进行目标检测;根据检测结果,使用优化损失函数更新和训练动态卷积核。
进行姿态检测,使用优化损失函数更新和训练局部卷积核,包括:将提取到的小目标图像的特征输入至区域候选网络并对特征使用ROI Align进行目标检测;根据检测结果,使用优化损失函数更新和训练局部卷积核。
在形成姿态检测模型之后,还包括:将测试集图像直接输入至姿态检测模型中进行姿态检测。
将卷积网络中训练好的动态卷积核和局部卷积核进行融合,作为姿态检测模型中的动态卷积核,形成姿态检测模型,包括:将卷积网络中使用非小目标图像训练好的动态卷积核中的局部卷积核的权重与使用小目标图像训练好的局部卷积核的权重进行融合,得到新的局部卷积核;将训练好的动态卷积核中的标准卷积核和新的局部卷积核作为新的动态卷积核;根据新的动态卷积核和区域候选网络形成姿态检测模型。
现有的检测算法中,主要使用单阶段的目标检测算法或者两阶段的目标检测算法实现,前者仅通过一次回归计算,直接检测出目标的类别概率和位置坐标值,这种方法运行速度快,准确率相对偏低;后者将检测问题划分为两个阶段,首先产生候选区域,然后对候选区域进行分类,这种方法在运行速度上稍显逊色,但是准确率相对较好。然而在现有算法中,均缺少针对教室场景的姿态数据集的策略,导致在教室数据集的检测中,对于后排模糊小目标出现漏检、误检等问题,对于相似度较高的“趴”和“坐”两种姿态出现严重的误检问题,使得“趴”姿态的准确率较低。
本申请的实施方式基于准确率较高的Mask Rcnn算法,其不仅能分类不同的类,而且能把同一类物体中的多个不同物体分别标记出来。首先对训练集中的图片进行分类,针对数据量较少和类别不平衡问题,在图像中没有或者仅有较少小目标的情况下,对此类图像进行预处理操作,将该图像与其他三幅图像进行拼接,对图像进行下采样,缩小目标大小,并将图像调整为固定大小,进行训练,从而增加小目标的数量。之后再对分类后的图像使用不同的卷积网络进行不同的处理,能够有针对性的对教室场景下的图片进行训练。通过对训练好的卷积网络进行融合,形成核形成姿态检测模型,能够在数据集较少的教室场景中降低误检率,提升姿态检测正确性。
下面,对本申请实施例进行进一步说明。
首先对训练集图像进行小目标分类。以阈值数量为10为例,将训练集图像中,小目标数量小于10的训练集图像作为小目标图像,小目标数量大于等于10的作为非小目标图像。小目标为处于教室中部至后部区域的目标。由于处于教室中部至后部区域的目标,其身体部分和面部大部分均被遮挡,并且在图像中目标较小,因此其姿态很难识别与检测。
对于训练集中小目标大于等于10的非小目标图像,由于其小目标数量较多,因此不用进行预处理。对于训练集中小目标数量小于10的小目标图像,由于其小目标数量较少,因此需要进行预处理,增强小目标数量。
如图2所示,首先将训练集图像输入至网络中,检测训练集图像中目标中的小目标数量,数量小于10则将图像输入到小目标策略中,进行进一步的预处理。设定网络输入图像的固定大小为m×m,则将需要进行预处理的图像和其他三张随机图像的大小通过步长为2的下采样调整为(m/2)×(m/2)大小,并将四张图像以如图3所示的方式拼接在一起,完成预处理。然后,将预处理后的小目标图像图像输入到第二卷积网络中进行训练。由于四张图像中都进行了下采样操作,使得图像尺度变小,小目标数量增加,有更多的小目标进行训练。
对小目标数量大于等于10的作为非小目标图像,将其原图以1:1的比例分为上下两部分,在小目标较少的下半部分,采用标准卷积核进行特征提取,在小目标较多的上半部分,采用局部卷积核进行特征提取。对于进行了增强小目标策略(预处理)后得到的拼接图像,使用局部卷积核进行特征提取。从而提高小目标的检测准确率,降低漏检率和误检率。
如图4所示,将非小目标图像和预处理后的小目标图像输入到卷积网络中,本申请实施方式采用ResNet101结构,在此基础上对结构中第一层结构中的卷积层的卷积核进行优化,对于非小目标图像和预处理后的小目标图像分别进行处理。图4为Resnet101的结构图,每一层都是一个残差网络,C1表示第一层的特征图输出,C2-C5表示每个层级最后一个残差结构的特征激活输出,在后续的网络当中会用到C2-C5进行特征融合。
将没有进行增加小目标策略的非小目标图像进一步处理,将图像按照1:1分为上下两部分,在小目标较少的下半部分,采用标准卷积核,即公式(1):
其中,(u,v)表示卷积核位置,c表示图像维度。对于标准卷积,定义输入X∈RU×V×C,空间维度S∈RU×V,输出Y∈RU×V×O,其中,o表示输出特征为第o个通道,权重W∈RC,*为二维卷积操作。
在小目标较多的上半部分,图像的特征图采用局部卷积进行提取训练,即公式(2):
其中,权重表示位置(u,v)上的独立非共享卷积核,即卷积在特征图上移动时,输出的每个通道的卷积核各不相同。为了减少参数的生成,将上半部分分为4×8个区域,在每个区域内使用同一个权重。先将上半部分图像进行自适应平均池化,再由两个1×1的标准卷积层,进行两次卷积后生成32个初始权重。这样可以在参数尽可能少的情况下,对不同的目标进行不同的卷积操作,从而得到更好的效果。
对于拼接图像(进行了预处理的小目标图像),图像中目标尺度全部较小,在进行卷积操作时,整张拼接图像使用公式(2)的局部卷积操作,从而能够在整张图像提取特征图的过程中,对于不同位置取得更好的效果。
对于损失函数,在回归的过程中,需要对损失函数进行优化,使其更加符合教室学生姿态数据集的回归规律。设有x个单样本,有L个类内相似分数和K个类间相似分数与x有关联,定义相似度分数为和/>为了最小化每个/>和最小化每个/>统一的损失函数为公式(3):
其中,γ为缩放因子,m为边际,表示K个类间相似分数,/>表示L个类内相似分数。
在教室学生姿态数据集中,由于Sp与Sn的变化幅度不一定相同。为了让每个相似度分数能够根据当前优化状态调整学习的幅度,先忽略公式(3)中的m,调整为优化的损失函数,即公式(4):
其中,和/>为非负权重因子,分别与Sp和Sn线性相关,可以使Sp和Sn以更具体的相似分数进行调整回归,/>和/>的计算公式为公式(5):
其中,Op为的最优值,On为/>的最优值,并且On<Op,[.]+为零点截止(cut-off atzero)操作,保证/>和/>非负。所有的相似度分数共享同一个缩放因子γ,并且根据每个相似度分类的值进行一次独立的加权,通过不同的学习幅度,更加灵活地学习图像特征进行回归。
在优化的损失函数中,(Sn-Sp)的优化是非对称的,因此需要设置独立的边际。将公式(4)进一步处理,得到公式(6):
其中,Δn为类间边际,Δp为类内边际,目标是并且/>由此来设置边际。将问题转换为二分问题,则决策边界为an(sn-Δn)-ap(sp-Δp)=0,结合公式(5)和公式(6)得到公式(7):
其中,C=((On-Δn)2+(Op-Δp)2)/4。为了减少计算中所使用的参数,设定Op=1+m,On=-m,Δp=1-m,Δn=m,则公式(7)变换为公式(8):
(sn-0)2+(sp-1)2=2m
基于公式(8)的决策边界,即为损失函数的边界为圆的弧,可以将优化的损失函数的目标改为和/>
优化的损失函数中,的梯度为公式(9):
的梯度为公式(10):
其中,m为一个参数因子,表示更好的相似度分离的边界,用来更好的调节特征间的距离。
将提取到的非小目标图像的所述特征输入至区域候选网络并对所述特征进行目标检测;根据检测结果,使用优化损失函数更新和训练所述动态卷积核。将提取到的小目标图像的特征输入至区域候选网络并对所述特征进行目标检测;根据检测结果,使用优化损失函数更新和训练所述局部卷积核。
将使用非小目标图像训练好的动态卷积核中的标准卷积核和使用小目标图像训练好的局部卷积核的权重进行融合,得到新的局部卷积核,将训练好的动态卷积核中的标准卷积核和新的局部卷积核作为姿态检测模型中的动态卷积核,根据新的动态卷积核和区域候选网络形成姿态检测模型。
如图5所示,在姿态检测模型的测试过程中,将测试集图像输入到姿态检测模型的网络中,不需要检测图像中小目标的数量,将测试集图像分为数个批直接输入到姿态检测模型的卷积网络中,使用动态卷积核对测试集图像进行卷积操作,其余步骤与训练时相同,最终得到每个图像的预测值,将预测值作为检测结果。
第二方面,根据本申请的实施方式,提出一种用于教室的姿态检测系统,如图6所示,包括:
分类处理模块101,用于对训练集图像进行小目标分类,对小目标图像进行预处理,输入至训练模块;
训练模块102,用于将预处理后的小目标图像输入至卷积网络;卷积网络使用动态卷积核提取非小目标图像的特征,进行姿态检测,使用优化损失函数更新和训练动态卷积核;第二卷积网络使用局部卷积核提取预处理后的小目标图像的特征,进行姿态检测,使用优化损失函数更新和训练局部卷积核;将卷积网络中训练好的动态卷积核中的标准卷积核和局部卷积核作为姿态检测模型中的动态卷积核,形成姿态检测模型。
训练模块包括:卷积训练单元和模型输出单元。
卷积训练单元包括具有优化卷积层的卷积网络;优化卷积层用于使用动态卷积核提取非小目标图像的特征,进行姿态检测,使用优化损失函数更新和训练动态卷积核;具有优化卷积层的卷积网络使用局部卷积核提取预处理后的小目标图像的特征,进行姿态检测,使用优化损失函数更新和训练局部卷积核。
模型输出单元单元,用于将使用非小目标图像训练好的动态卷积核中的标准卷积核和使用小目标图像训练好的局部卷积核的权重进行融合,得到新的局部卷积核,将训练好的动态卷积核中的标准卷积核和新的局部卷积核作为姿态检测模型中的动态卷积核,根据新的动态卷积核和区域候选网络形成姿态检测模型。
还包括测试模块,用于将测试集图像直接输入至姿态检测模型中进行姿态检测。
本申请的方法中,通过对训练集的图像进行分类,能够对小目标图像进行预处理,之后对不同分类的图像使用不同的卷积核进行处理,能够针对不同类别的图像进行训练,提高姿态检测正确性;将卷积网络中训练好的动态卷积核和局部卷积核进行融合,能够在数据集较少的教室场景中降低误检率,提升姿态检测正确性。本申请的实施方式在准确率较高的两阶段算法的基础上,针对教室学生姿态数据集的特点进行改进,在保证检测速度的基础上,使算法能够在数据量较小,目标较小并且较为模糊的情况下获得良好的准确率;对于目标尺度有较强鲁棒性,在保证检测速度的同时,具有较高的姿态检测准确率。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (5)
1.一种用于教室的姿态检测方法,其特征在于,包括:
对训练集图像进行小目标分类,对小目标图像进行预处理;
将预处理后的小目标图像和非小目标图像分别输入至卷积网络;
所述卷积网络使用动态卷积核提取所述非小目标图像的特征,进行姿态检测,使用优化损失函数更新和训练所述动态卷积核;
所述卷积网络使用局部卷积核提取所述预处理后的小目标图像的特征,进行姿态检测,使用优化损失函数更新和训练所述局部卷积核;
将所述卷积网络中训练好的动态卷积核和局部卷积核进行融合,作为姿态检测模型中的动态卷积核,形成姿态检测模型;
所述对训练集图像进行小目标分类,对小目标图像进行预处理,包括:将小目标小于阈值数量的训练集图像作为小目标图像,小目标大于等于阈值数量的作为非小目标图像;对所述小目标图像进行下采样;将下采样后的小目标图像与随机的其他三张缩小后的训练集图像进行拼接,作为预处理后的小目标图像;
所述进行姿态检测,使用优化损失函数更新和训练所述动态卷积核,包括:将提取到的非小目标图像的所述特征输入至区域候选网络并对所述特征进行目标检测;根据检测结果,使用优化损失函数更新和训练所述动态卷积核;
所述进行姿态检测,使用优化损失函数更新和训练所述局部卷积核,包括:将提取到的小目标图像的特征输入至区域候选网络并对所述特征进行目标检测;根据检测结果,使用优化损失函数更新和训练所述局部卷积核;
所述将所述卷积网络中训练好的动态卷积核和局部卷积核进行融合,作为姿态检测模型中的动态卷积核,形成姿态检测模型,包括:将所述卷积网络中使用非小目标图像训练好的动态卷积核中的局部卷积核的权重与使用小目标图像训练好的局部卷积核的权重进行融合,得到新的局部卷积核;将训练好的动态卷积核中的标准卷积核和新的所述局部卷积核作为新的动态卷积核;根据新的所述动态卷积核和区域候选网络形成姿态检测模型;
所述优化损失函数包括:一个共享的权重因子和两个单独非共享权重因子;
优化损失函数为:
其中,和/>为非负权重因子,即为两个单独非共享权重因子,一个共享的权重因子为缩放因子γ,/>表示K个类间相似分数,/>表示L个类内相似分数,Δn为类间边际,Δp为类内边际。
2.根据权利要求1所述的用于教室的姿态检测方法,其特征在于,在所述形成姿态检测模型之后,还包括:
将测试集图像直接输入至所述姿态检测模型中进行姿态检测。
3.根据权利要求1所述的用于教室的姿态检测方法,其特征在于,所述卷积网络使用动态卷积核提取所述非小目标图像的特征,包括:
将所述非小目标图像以1:1的比例分为上下两部分;
使用动态卷积核中的局部卷积核提取图像上部分的特征;
使用动态卷积核中的标准卷积核提取图像下部的特征。
4.根据权利要求1所述的用于教室的姿态检测方法,其特征在于,所述姿态检测包括:站姿、坐姿和趴姿。
5.一种用于教室的姿态检测系统,其特征在于,包括:
分类处理模块,用于对训练集图像进行小目标分类,对小目标图像进行预处理,输入至训练模块;
训练模块,用于将预处理后的小目标图像和非小目标图像分别输入至卷积网络;所述卷积网络使用动态卷积核提取所述非小目标图像的特征,进行姿态检测,使用优化损失函数更新和训练所述动态卷积核;所述卷积网络使用局部卷积核提取所述预处理后的小目标图像的特征,进行姿态检测,使用优化损失函数更新和训练所述局部卷积核;将所述卷积网络中训练好的动态卷积核和局部卷积核进行融合,作为姿态检测模型中的动态卷积核,形成姿态检测模型;
所述对训练集图像进行小目标分类,对小目标图像进行预处理,包括:将小目标小于阈值数量的训练集图像作为小目标图像,小目标大于等于阈值数量的作为非小目标图像;对所述小目标图像进行下采样;将下采样后的小目标图像与随机的其他三张缩小后的训练集图像进行拼接,作为预处理后的小目标图像;
所述进行姿态检测,使用优化损失函数更新和训练所述动态卷积核,包括:将提取到的非小目标图像的所述特征输入至区域候选网络并对所述特征进行目标检测;根据检测结果,使用优化损失函数更新和训练所述动态卷积核;
所述进行姿态检测,使用优化损失函数更新和训练所述局部卷积核,包括:将提取到的小目标图像的特征输入至区域候选网络并对所述特征进行目标检测;根据检测结果,使用优化损失函数更新和训练所述局部卷积核;
所述将所述卷积网络中训练好的动态卷积核和局部卷积核进行融合,作为姿态检测模型中的动态卷积核,形成姿态检测模型,包括:将所述卷积网络中使用非小目标图像训练好的动态卷积核中的局部卷积核的权重与使用小目标图像训练好的局部卷积核的权重进行融合,得到新的局部卷积核;将训练好的动态卷积核中的标准卷积核和新的所述局部卷积核作为新的动态卷积核;根据新的所述动态卷积核和区域候选网络形成姿态检测模型;
所述优化损失函数包括:一个共享的权重因子和两个单独非共享权重因子;
优化损失函数为:
其中,和/>为非负权重因子,即为两个单独非共享权重因子,一个共享的权重因子为缩放因子γ,/>表示K个类间相似分数,/>表示L个类内相似分数,Δn为类间边际,Δp为类内边际。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011352659.5A CN112633323B (zh) | 2020-11-26 | 2020-11-26 | 一种用于教室的姿态检测方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011352659.5A CN112633323B (zh) | 2020-11-26 | 2020-11-26 | 一种用于教室的姿态检测方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112633323A CN112633323A (zh) | 2021-04-09 |
CN112633323B true CN112633323B (zh) | 2024-04-30 |
Family
ID=75304097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011352659.5A Active CN112633323B (zh) | 2020-11-26 | 2020-11-26 | 一种用于教室的姿态检测方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112633323B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169421A (zh) * | 2017-04-20 | 2017-09-15 | 华南理工大学 | 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法 |
RU2698649C1 (ru) * | 2018-01-16 | 2019-08-29 | Акционерное общество "Федеральный научно-производственный центр "Нижегородский научно-исследовательский институт радиотехники" | Способ обнаружения и классификации малоразмерных объектов на изображениях, полученных радиолокационными станциями с синтезированной апертурой |
WO2019203921A1 (en) * | 2018-04-17 | 2019-10-24 | Hrl Laboratories, Llc | System for real-time object detection and recognition using both image and size features |
CN110490151A (zh) * | 2019-08-22 | 2019-11-22 | 昆明理工大学 | 一种基于Mask RCNN识别太赫兹安检图像可疑物体的检测方法 |
CN111860078A (zh) * | 2019-04-30 | 2020-10-30 | 北京眼神智能科技有限公司 | 人脸静默活体检测方法、装置、可读存储介质及设备 |
-
2020
- 2020-11-26 CN CN202011352659.5A patent/CN112633323B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169421A (zh) * | 2017-04-20 | 2017-09-15 | 华南理工大学 | 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法 |
RU2698649C1 (ru) * | 2018-01-16 | 2019-08-29 | Акционерное общество "Федеральный научно-производственный центр "Нижегородский научно-исследовательский институт радиотехники" | Способ обнаружения и классификации малоразмерных объектов на изображениях, полученных радиолокационными станциями с синтезированной апертурой |
WO2019203921A1 (en) * | 2018-04-17 | 2019-10-24 | Hrl Laboratories, Llc | System for real-time object detection and recognition using both image and size features |
CN111860078A (zh) * | 2019-04-30 | 2020-10-30 | 北京眼神智能科技有限公司 | 人脸静默活体检测方法、装置、可读存储介质及设备 |
CN110490151A (zh) * | 2019-08-22 | 2019-11-22 | 昆明理工大学 | 一种基于Mask RCNN识别太赫兹安检图像可疑物体的检测方法 |
Non-Patent Citations (2)
Title |
---|
基于改进Mask RCNN和Kinect的服务机器人物品识别系统;石杰;周亚丽;张奇志;;仪器仪表学报;20190415(第04期);全文 * |
基于选择性二阶段分类回归的单级目标检测;尹哲;肖业伟;;信息技术;20200819(第08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112633323A (zh) | 2021-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11195051B2 (en) | Method for person re-identification based on deep model with multi-loss fusion training strategy | |
CN106096538B (zh) | 基于定序神经网络模型的人脸识别方法及装置 | |
CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
US20220138454A1 (en) | Training method and training apparatus for a neural network for object recognition | |
CN104361313B (zh) | 一种基于多核学习异构特征融合的手势识别方法 | |
CN107239736A (zh) | 基于多任务级联卷积神经网络的人脸检测方法及检测装置 | |
CN106407958B (zh) | 基于双层级联的面部特征检测方法 | |
CN109241982A (zh) | 基于深浅层卷积神经网络的目标检测方法 | |
CN109255375A (zh) | 基于深度学习的全景图像对象检测方法 | |
CN109446922B (zh) | 一种实时鲁棒的人脸检测方法 | |
CN110543906B (zh) | 基于Mask R-CNN模型的肤质自动识别方法 | |
JP2017513144A (ja) | 顔認証方法およびシステム | |
CN105144239A (zh) | 图像处理装置、程序及图像处理方法 | |
CN112150493A (zh) | 一种基于语义指导的自然场景下屏幕区域检测方法 | |
CN113505792B (zh) | 面向非均衡遥感图像的多尺度语义分割方法及模型 | |
CN110795982A (zh) | 一种基于人体姿态分析的表观视线估计方法 | |
CN113033398B (zh) | 一种手势识别方法、装置、计算机设备及存储介质 | |
CN109033978A (zh) | 一种基于纠错策略的cnn-svm混合模型手势识别方法 | |
CN105046278B (zh) | 基于Haar特征的Adaboost检测算法的优化方法 | |
CN113239914B (zh) | 课堂学生表情识别及课堂状态评估方法、装置 | |
CN112036260A (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及系统 | |
WO2024032010A1 (zh) | 一种基于迁移学习策略的少样本目标实时检测方法 | |
CN113762269A (zh) | 基于神经网络的中文字符ocr识别方法、系统、介质及应用 | |
CN112651490A (zh) | 人脸关键点检测模型的训练方法及设备、可读存储介质 | |
CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |