CN106897698A - 基于机器视觉与双目协同技术的教室人数检测方法及系统 - Google Patents

基于机器视觉与双目协同技术的教室人数检测方法及系统 Download PDF

Info

Publication number
CN106897698A
CN106897698A CN201710104613.3A CN201710104613A CN106897698A CN 106897698 A CN106897698 A CN 106897698A CN 201710104613 A CN201710104613 A CN 201710104613A CN 106897698 A CN106897698 A CN 106897698A
Authority
CN
China
Prior art keywords
image
classroom
module
binocular
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710104613.3A
Other languages
English (en)
Other versions
CN106897698B (zh
Inventor
李新宏
李庆武
籍美苹
沈美云
邢俊
周亮基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Changgong Electronic Technology Co Ltd
Changzhou Campus of Hohai University
Original Assignee
Changzhou Changgong Electronic Technology Co Ltd
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Changgong Electronic Technology Co Ltd, Changzhou Campus of Hohai University filed Critical Changzhou Changgong Electronic Technology Co Ltd
Priority to CN201710104613.3A priority Critical patent/CN106897698B/zh
Publication of CN106897698A publication Critical patent/CN106897698A/zh
Application granted granted Critical
Publication of CN106897698B publication Critical patent/CN106897698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉与双目协同技术的教室人数检测方法及系统,属于图像处理技术领域。该方法首先利用颜色、形态、轮廓等多特征融合改进机器学习模型对人头进行检测、判断,然后结合双目协同工作消除避免教室死角区域,该方法检测准确率高,通用性好,实时性强。本发明提供的方法及系统可以有效的监控教室人数,根据机器学习结果反映出人群所处位置、人数密集程度等信息,为教室人数检测提供了重要的手段和方法。

Description

基于机器视觉与双目协同技术的教室人数检测方法及系统
技术领域
本发明属于图像处理技术领域,具体涉及一种基于机器视觉与双目协同技术的教室人数检测方法及系统。
背景技术
随着社会经济、技术的不断发展与进步,高等教育在社会上也越来越受到重视。随着高等学校的办学规模的扩大,校园中的教学楼的数目以及教室的数目也在不断增加,使得对高校教学工作的管理难度也在增加.目前,高校教学楼的照明管理是大学管理中最普遍的问题。
由于大学校园是一种开放式的管理以及师生的节能意识不是很高,大部分的教室在照明充足的情况下也把灯打开,有些教室已经没有师生在活动了,照明设备仍然没有被关闭。在夜间这种现象更为普遍,基本上所有的教室都是把所有的灯都打开,即使教室中只有少量人体目标,甚至没有人体目标。这种浪费现象的存在,不仅增加了学校的负担,提高学校开支成本,同时造成资源的浪费。
目前,传统高校的照明管理模式主要有以下几种类型:
无人管理。即完全由学生自己控制,由到教室的学生根据自己的需要开启,在晚上课程结束或者到达一定时间点后,由专门的管理人员统一关闭。
利用定时关闭。即利用定时处理系统,根据学校的作息时间在特定时间控制特定教室打开灯光,其余教室灯光都是关闭的。
利用红外光电传感器设计的照明控制系统。此方案利用红外去检测教室是否有人体目标存在,从而控制教室照明系统的开关。
但是以上三种情况均会造成能源的浪费,会造成照明系统在没人状态下继续点亮。另外2可能会造成教室有学生在自习,但是照明系统未打开的情况,严重影响学生的学习生活。3可能造成教室只有少量学生或其他目标,但是把所有灯都打开的情况,而且没有视频图像记录,不够直观。
要实现对教学楼照明系统的智能控制,首先要对教室人数以及教室人数分布进行统计。如若某个教室没有人,那就可以关闭该教室的照明;若某个教室中有人,但人数比较少,就可以根据人的位置打开相应位置的照明设备;如果教室中人员密集,则可将照明设备完全打开。传统的人数统计方法主要是人为统计或者利用电子设备触发器统计,还有部分采用红外传感器实现教室人数统计,上述方法均存在浪费人力资源、成本过高、实时性差的缺点。随着信息化时代的到来,研究出一种自动完成人数统计的方法十分必要。而基于机器学习的人数统计是计算机视觉应用的重要领域之一,其识别准确率,实时性以及鲁棒性较传统方法均有很大的提高,特别是可以避免人员参与,节省大量人力资源,其可以用于不同的场所,对商业、交通、旅游等不同领域都具有非常重要的意义。
发明内容
本发明所要解决的技术问题:针对教室复杂背景下,需要一种基于机器视觉的教室人数检测方法,能够自动、实时、准确地统计出教室中的人数。
为解决上述技术问题,本发明提供一种基于机器视觉与双目协同技术的教室人数检测方法,包括:
S1获取教室左右不同视角视频图像数据;
S2对视频图像数据中的图像帧进行灰度化处理,以压缩原始数据量;
S3利用3*3的高斯滤波掩模模板与灰度图像卷积,平滑滤波,达到抑制噪声与弱化背景信息,增强人物轮廓的效果;
S4对滤波后图像进行两次超分辨重建,其中,原始图像大小为1280*720,对其分别进行2*2以及4*4的超分辨重建,获得大小为2560*1440、5120*2880两张图像,加上原图,以获得三幅不同分辨率的图像;
S5利用颜色、形态、轮廓等多特征融合的机器学习网络分别对三幅不同分辨率图像进行检测,获的图像中人头目标位置及数目;
S6利用教室先验信息及图像配准技术,对左右目图像进行匹配,实现检测目标的去重与互补,达到左右目协同计数的效果;
S7输出总人数到服务器。
进一步地,在所述步骤S5中,至少基于颜色、形态、轮廓,多特征的机器学习是串行处理的,即首先利用颜色信息进行筛选,排除非人区域,其次,利用形态特征在可能存在人的区域进行检测,最后,利用轮廓特征对检测结果进行校正,改进。
进一步地,所述的基于颜色的机器学习算法包括:
对视频帧图像进行相应预处理后,首先根据多通道颜色信息,只保留图像中与发色相近或相同的物体;
遍历所有连通域,保存连通域信息;
对异常连通域进行剔除,更新保存的连通域信息。
进一步地,所述的基于形态的机器学习算法,在进行检测前,需要标定训练样本并进行训练,训练后获得样本的特征向量。训练样本大小归一化为64*64像素大小,其中,训练样本包括正样本与负样本,正样本是包含人头目标的图像,负样本仅包含背景图像。
进一步地,所述的基于形态的机器学习算法,利用一个48*48的滑动窗口在一帧图像上进行扫描,在水平和垂直方向上扫描步长均为8个像素点。扫描时对图像梯度进行计算,计算公式为:将计算得到的特征描述值送入SVM中,检查是否存在目标;
所述的图像梯度计算,其步骤为:
计算每个像素点在x,y方向的梯度分量、梯度向量长度、梯度向量角度;
利用高斯矩阵和像素块点乘,暗化图像块边缘;
根据像素点所在的像素块的坐标和像素点梯度向量角度,对每个像素块提取直方图,并归一化;
重复以上步骤,产生一个窗口的特征描述值,特征描述值的计算公式为
进一步地,所述的基于轮廓的机器学习算法,其步骤为:
读取视频图像,对图像进行二值化处理;
进行一定数量的膨胀腐蚀处理,剔除边缘毛刺,填补内部空洞;
利用canny算子进行边缘检测,获得边缘轮廓线;
使用随机Hough圆检测算法对图像中的轮廓线进行计算,寻找出图像中的类圆区域;
保存类圆区域的信息。
利用半圆形轮廓检测模板去除部分错检;
所述的半圆形轮廓检测模板,包括两种去错检原则,其一,若类圆区域面积占类圆的最小外界矩形面积小于设定阈值,则判定该类圆区域不符合要求,否则则符合要求,判定公式为其二,以类圆区域圆心为新圆心,类圆半径的一半为新半径,画一个半圆形区域。统计新的半圆圆弧上圆心角为0°,45°,90°,135°,180°以及类圆中心这六个点的像素值,当其中有四个及四个以上点的像素满足要求时,则判定该类圆区域为目标,否则判定为错检,判定公式为
进一步地,所述步骤S6中,综合左右目摄像机采集的视频图像,互补缺失部分图像,将其扩展为一张完整的教室图像,去重左右目拍摄的重叠的教室中间部位图像,在完成死角区域补偿和公共区域去重之后,利用左右目检测目标的位置以及人数,协同输出总人数。
进一步地,在所述步骤S1中,左右两边摄像机各自位于距离教室两侧四分之一距离处,以使摄像机采集到所有座位信息;
在所述步骤S2中,加权平均公式为f(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j);
在所述步骤S3中,选用3*3的模板,在图像上任意像素点,使该模板中心与像素点重合,按照3*3邻域内的加权平均值来给该像素点赋值,按照如上步骤遍历全图。
本发明基于机器视觉与双目协同技术的教室人数检测系统,包括:图像视频采集模块,图像预处理模块,左右目教室人体检测模块,双目协同模块,人数输出模块;
所述图像视频采集模块,用于获取教室左右不同视角视频图像数据;
所述图像预处理模块,用于对视频图像数据中的图像帧进行灰度化处理,以压缩原始数据量;利用3*3的高斯滤波掩模模板与灰度图像卷积,平滑滤波,达到抑制噪声与弱化背景信息,增强人物轮廓的效果;对滤波后图像进行两次超分辨重建,其中,原始图像大小为1280*720,对其分别进行2*2以及4*4的超分辨重建,获得大小为2560*1440、5120*2880两张图像,加上原图,以获得三幅不同分辨率的图像;
所述左右目教室人体检测模块,用于利用颜色、形态、轮廓等多特征融合的机器学习网络分别对三幅不同分辨率图像进行检测,获的图像中人头目标位置及数目;
所述双目协同模块,用于利用教室先验信息及图像配准技术,对左右目图像进行匹配,实现检测目标的去重与互补,达到左右目协同计数的效果;
所述人数输出模块,用于输出总人数到服务器。
进一步地,所述图像预处理模块,包括视频帧灰度化单元、图像滤波器、超分重建单元;
所述左右目教室人体检测模块,包括颜色、形态、轮廓机器学习单元、左/右目人数信息输出模块;
所述双目协同输出模块,包含死角区域补偿单元、公共区域去重单元和协同输出单元,其中死角区域补偿单元综合左右目摄像机采集的视频图像,互补缺失部分图像,将其扩展为一张完整的教室图像;公共区域去重单元去重左右目拍摄的重叠的教室中间部位图像;在完成死角区域补偿和公共区域去重之后,利用左右目检测目标的位置以及人数,协同输出单元输出总人数。
借由上述方案,本发明至少具有以下优点:
本发明提供的基于机器视觉与双目协同技术的教室人数检测方法及系统,利用颜色、形态、轮廓等多特征融合的机器学习网络实现对视频图像人数的统计。利用双目协同技术实现对教室无死角,无重复的人数统计,能够达到实时性的要求,并且具有很高的准确率与鲁棒性,在实际教学管理工作中具有非常广阔的应用前景。
附图说明
图1为本发明基于机器视觉与双目协同技术的教室人数检测方法实例中教室人数检测方法的流程图;
图2为基于机器视觉与双目协同技术的教室人数检测系统框图;
图3为本发明半圆形轮廓检测模板的示意图;
图4为本发明基于形态的机器学习的基本流程图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步详细的描述。
实施例1
如图1所示,本发明基于机器视觉与双目协同技术的教室人数检测方法,主要由图像视频采集模块,图像预处理模块,左右目教室人体检测模块,双目协同模块,人数输出模块组成。
图2为图1所示基于机器视觉与双目协同技术的教室人数检测方法中各部分的具体构成的框图,其包括以下步骤:
S1在教室后面左右两边各安装一个摄像头,用于采集教室左右不同视角视频;
S2选取教室左右侧视频数据,分别对教室左右侧视频数据中的图像帧进行灰度化处理,以压缩原始数据量,便于后续计算。
S3利用3*3的高斯滤波掩模模板与灰度图像卷积,平滑滤波,达到抑制噪声与弱化背景信息,增强人物轮廓的效果。
S4对滤波后图像进行两次超分辨重建,以获得三幅不同分辨率的图像,提高人头目标检测的准确率。
S5利用颜色、形态、轮廓等多特征融合的机器学习网络分别对三幅不同分辨率图像进行检测,获的图像中人头目标位置及数目。
S6利用教室先验信息及图像配准技术,对左右目图像进行匹配,实现检测目标的去重与互补,达到左右目协同计数的效果。
S7输出总人数到服务器以控制后续操作
步骤S1中,左右两边摄像机各自位于距离教室两侧四分之一距离处,并且可以尽可能采集到所有座位信息。
步骤S2中,对R,G,B分量以不同的权值进行加权平均,将平均后的值作为图像的像素值,加权平均公式为f(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j)。
步骤S3中,选用3*3的模板,在图像上任意像素点,使该模板中心与像素点重合,按照3*3邻域内的加权平均值来给该像素点赋值。按照如上步骤遍历全图。
步骤S4中,原始图像大小为1280*720,对其进行2*2以及4*4的超分辨重建,超分辨后的图像大小为2560*1440、5120*2880,其中超分辨插值公式为
步骤S5中,基于颜色、形态、轮廓等多特征的机器学习是串行处理的,即首先利用颜色信息进行筛选,排除非人区域,其次,利用形态特征在可能存在人的区域进行检测,最后,利用轮廓特征对检测结果进行校正,改进。
在本步骤中,所述的基于颜色的机器学习算法,步骤为:
(1)对视频帧图像进行相应预处理后,首先根据多通道颜色信息,只保留图像中与发色相近或相同的物体;
(2)遍历所有连通域,保存连通域信息;
(3)对异常连通域进行剔除,更新保存的连通域信息;
在本步骤中,所述的基于形态的机器学习算法,在进行检测前,需要标定训练样本并进行训练,训练后获得样本的特征向量。训练样本大小归一化为64*64像素大小。训练样本包括正样本与负样本,正样本是包含人头目标的图像,负样本仅包含背景图像。
图3为基于形态的机器学习的基本流程图,在开始时,利用一个48*48的滑动窗口在一帧图像上进行扫描,在水平和垂直方向上扫描步长均为8个像素点。扫描时对图像梯度进行计算,计算公式为:计算完成后,将计算得到的特征描述值送入SVM中,检查是否存在目标,如果存在目标,则记录目标的位置信息后继续扫描下去,如果不存在目标,则继续扫描,直到扫描结束。
在本步骤中,所述的图像梯度计算,其步骤为:
(1)计算每个像素点在x,y方向的梯度分量:(H(x,y)为图像在x,y处的像素值)
Gx(x,y)=H(x+1,y)-H(x-1,y)
Gy(x,y)=H(x,y+1)-H(x,y-1)
(2)利用高斯矩阵和像素块点乘,暗化图像块边缘;
(3)根据像素点所在的像素块的坐标和像素点梯度向量角度,对每个像素块提取直方图,并归一化;
(4)重复以上步骤,产生一个窗口的特征描述值,特征描述值的计算公式为
在本步骤中,所述的基于轮廓的机器学习算法,其步骤为:
(1)读取视频图像,对图像进行二值化处理;
(2)进行一定数量的膨胀腐蚀处理,剔除边缘毛刺,填补内部空洞;
(3)利用canny算子进行边缘检测,获得边缘轮廓线;
(4)使用随机Hough圆检测算法对图像中的轮廓线进行计算,寻找出图像中的类圆区域;
(5)保存类圆区域的信息。
(6)利用半圆形轮廓检测模板去除部分错检。
图4所示的是半圆形轮廓检测模板的示意图,主要有两种去错检原则,其一,若类圆区域面积占类圆的最小外界矩形面积小于设定阈值,则判定该类圆区域不符合要求,否则则符合要求,其判定公式为其二,以类圆区域圆心为新圆心,类圆半径的一半为新半径,画一个半圆形区域。统计新的半圆圆弧上圆心角为0°,45°,90°,135°,180°以及类圆中心这六个点的像素值,当其中有四个及四个以上点的像素满足要求时,则判定该类圆区域为目标,否则判定为错检,判定公式为
步骤S6中,包含死角区域补偿、公共区域去重和协同输出三个部分。死角区域补偿综合左右目摄像机采集的视频图像,互补缺失部分图像,将其扩展为一张完整的教室图像。公共区域去重部分去重左右目拍摄的重叠的教室中间部位图像。在完成死角区域补偿和公共区域去重之后,利用左右目检测目标的位置以及人数,协同输出总人数。此时,对于左右目共有与各有的人头目标都只统计了一次,提高人数检测的准确性。
步骤S7中,将检测到的总人数通过网络发送给服务器。
本发明方法操作流程结束。
实施例2
本实施例基于机器视觉与双目协同技术的教室人数检测系统,包括:图像视频采集模块,图像预处理模块,左右目教室人体检测模块,双目协同模块,人数输出模块;
所述图像视频采集模块,用于获取教室左右不同视角视频图像数据;
所述图像预处理模块,用于对视频图像数据中的图像帧进行灰度化处理,以压缩原始数据量;利用3*3的高斯滤波掩模模板与灰度图像卷积,平滑滤波,达到抑制噪声与弱化背景信息,增强人物轮廓的效果;对滤波后图像进行两次超分辨重建,其中,原始图像大小为1280*720,对其分别进行2*2以及4*4的超分辨重建,获得大小为2560*1440、5120*2880两张图像,加上原图,以获得三幅不同分辨率的图像;
所述左右目教室人体检测模块,用于利用颜色、形态、轮廓等多特征融合的机器学习网络分别对三幅不同分辨率图像进行检测,获的图像中人头目标位置及数目;
所述双目协同模块,用于利用教室先验信息及图像配准技术,对左右目图像进行匹配,实现检测目标的去重与互补,达到左右目协同计数的效果;
所述人数输出模块,用于输出总人数到服务器。
具体地,所述图像预处理模块,包括视频帧灰度化单元、图像滤波器、超分重建单元;
所述左右目教室人体检测模块,包括颜色、形态、轮廓机器学习单元、左/右目人数信息输出模块;
所述双目协同输出模块,包含死角区域补偿单元、公共区域去重单元和协同输出单元,其中死角区域补偿单元综合左右目摄像机采集的视频图像,互补缺失部分图像,将其扩展为一张完整的教室图像;公共区域去重单元去重左右目拍摄的重叠的教室中间部位图像;在完成死角区域补偿和公共区域去重之后,利用左右目检测目标的位置以及人数,协同输出单元输出总人数。
本实施例所述的系统中的各部分对应实现上述实施例1方法中的各个步骤的过程。同样上述方法中的各个步骤过程页可应用本系统来进行实现。
以上所述仅是本发明的优选实施方式,并不用于限制本发明,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变型,这些改进和变型也应视为本发明的保护范围。

Claims (10)

1.一种基于机器视觉与双目协同技术的教室人数检测方法,其特征在于,包括:
S1获取教室左右不同视角视频图像数据;
S2对视频图像数据中的图像帧进行灰度化处理,以压缩原始数据量;
S3利用3*3的高斯滤波掩模模板与灰度图像卷积,平滑滤波,达到抑制噪声与弱化背景信息,增强人物轮廓的效果;
S4对滤波后图像进行两次超分辨重建,其中,原始图像大小为1280*720,对其分别进行2*2以及4*4的超分辨重建,获得大小为2560*1440、5120*2880两张图像,加上原图,以获得三幅不同分辨率的图像;
S5利用颜色、形态、轮廓等多特征融合的机器学习网络分别对三幅不同分辨率图像进行检测,获的图像中人头目标位置及数目;
S6利用教室先验信息及图像配准技术,对左右目图像进行匹配,实现检测目标的去重与互补,达到左右目协同计数的效果;
S7输出总人数到服务器。
2.根据权利要求1所述的基于机器视觉与双目协同技术的教室人数检测方法,其特征在于:在所述步骤S5中,至少基于颜色、形态、轮廓,多特征的机器学习是串行处理的,即首先利用颜色信息进行筛选,排除非人区域,其次,利用形态特征在可能存在人的区域进行检测,最后,利用轮廓特征对检测结果进行校正,改进。
3.根据权利要求2所述的基于机器视觉与双目协同技术的教室人数检测方法,其特征在于:所述的基于颜色的机器学习算法包括:
对视频帧图像进行相应预处理后,首先根据多通道颜色信息,只保留图像中与发色相近或相同的物体;
遍历所有连通域,保存连通域信息;
对异常连通域进行剔除,更新保存的连通域信息。
4.根据权利要求3所述的基于机器视觉与双目协同技术的教室人数检测方法,其特征在于:所述的基于形态的机器学习算法,在进行检测前,需要标定训练样本并进行训练,训练后获得样本的特征向量。训练样本大小归一化为64*64像素大小,其中,训练样本包括正样本与负样本,正样本是包含人头目标的图像,负样本仅包含背景图像。
5.根据权利要求2所述的基于机器视觉与双目协同技术的教室人数检测方法,其特征在于,所述的基于形态的机器学习算法,利用一个48*48的滑动窗口在一帧图像上进行扫描,在水平和垂直方向上扫描步长均为8个像素点。扫描时对图像梯度进行计算,计算公式为:将计算得到的特征描述值送入SVM中,检查是否存在目标;
所述的图像梯度计算,其步骤为:
计算每个像素点在x,y方向的梯度分量、梯度向量长度、梯度向量角度;
利用高斯矩阵和像素块点乘,暗化图像块边缘;
根据像素点所在的像素块的坐标和像素点梯度向量角度,对每个像素块提取直方图,并归一化;
重复以上步骤,产生一个窗口的特征描述值,特征描述值的计算公式为
G ( x , y , σ ) = 1 2 πσ 2 e - x 2 + y 2 2 σ 2 .
6.根据权利要求2所述的基于机器视觉与双目协同技术的教室人数检测方法,其特征在于:所述的基于轮廓的机器学习算法,其步骤为:
读取视频图像,对图像进行二值化处理;
进行一定数量的膨胀腐蚀处理,剔除边缘毛刺,填补内部空洞;
利用canny算子进行边缘检测,获得边缘轮廓线;
使用随机Hough圆检测算法对图像中的轮廓线进行计算,寻找出图像中的类圆区域;
保存类圆区域的信息。
利用半圆形轮廓检测模板去除部分错检;
所述的半圆形轮廓检测模板,包括两种去错检原则,其一,若类圆区域面积占类圆的最小外界矩形面积小于设定阈值,则判定该类圆区域不符合要求,否则则符合要求,判定公式为其二,以类圆区域圆心为新圆心,类圆半径的一半为新半径,画一个半圆形区域。统计新的半圆圆弧上圆心角为0°,45°,90°,135°,180°以及类圆中心这六个点的像素值,当其中有四个及四个以上点的像素满足要求时,则判定该类圆区域为目标,否则判定为错检,判定公式为
7.根据权利要求1所述的基于机器视觉与双目协同技术的教室人数检测方法,其特征在于:所述步骤S6中,综合左右目摄像机采集的视频图像,互补缺失部分图像,将其扩展为一张完整的教室图像,去重左右目拍摄的重叠的教室中间部位图像,在完成死角区域补偿和公共区域去重之后,利用左右目检测目标的位置以及人数,协同输出总人数。
8.根据权利要求1所述的基于机器视觉与双目协同技术的教室人数检测方法,其特征在于,
在所述步骤S1中,左右两边摄像机各自位于距离教室两侧四分之一距离处,以使摄像机采集到所有座位信息;
在所述步骤S2中,加权平均公式为f(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j);
在所述步骤S3中,选用3*3的模板,在图像上任意像素点,使该模板中心与像素点重合,按照3*3邻域内的加权平均值来给该像素点赋值,按照如上步骤遍历全图。
9.一种基于机器视觉与双目协同技术的教室人数检测系统,其特征在于,包括:图像视频采集模块,图像预处理模块,左右目教室人体检测模块,双目协同模块,人数输出模块;
所述图像视频采集模块,用于获取教室左右不同视角视频图像数据;
所述图像预处理模块,用于对视频图像数据中的图像帧进行灰度化处理,以压缩原始数据量;利用3*3的高斯滤波掩模模板与灰度图像卷积,平滑滤波,达到抑制噪声与弱化背景信息,增强人物轮廓的效果;对滤波后图像进行两次超分辨重建,其中,原始图像大小为1280*720,对其分别进行2*2以及4*4的超分辨重建,获得大小为2560*1440、5120*2880两张图像,加上原图,以获得三幅不同分辨率的图像;
所述左右目教室人体检测模块,用于利用颜色、形态、轮廓等多特征融合的机器学习网络分别对三幅不同分辨率图像进行检测,获的图像中人头目标位置及数目;
所述双目协同模块,用于利用教室先验信息及图像配准技术,对左右目图像进行匹配,实现检测目标的去重与互补,达到左右目协同计数的效果;
所述人数输出模块,用于输出总人数到服务器。
10.根据权利要求9所述的基于机器视觉与双目协同技术的教室人数检测系统,其特征在于,
所述图像预处理模块,包括视频帧灰度化单元、图像滤波器、超分重建单元;
所述左右目教室人体检测模块,包括颜色、形态、轮廓机器学习单元、左/右目人数信息输出模块;
所述双目协同输出模块,包含死角区域补偿单元、公共区域去重单元和协同输出单元,其中死角区域补偿单元综合左右目摄像机采集的视频图像,互补缺失部分图像,将其扩展为一张完整的教室图像;公共区域去重单元去重左右目拍摄的重叠的教室中间部位图像;在完成死角区域补偿和公共区域去重之后,利用左右目检测目标的位置以及人数,协同输出单元输出总人数。
CN201710104613.3A 2017-02-24 2017-02-24 基于机器视觉与双目协同技术的教室人数检测方法及系统 Active CN106897698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710104613.3A CN106897698B (zh) 2017-02-24 2017-02-24 基于机器视觉与双目协同技术的教室人数检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710104613.3A CN106897698B (zh) 2017-02-24 2017-02-24 基于机器视觉与双目协同技术的教室人数检测方法及系统

Publications (2)

Publication Number Publication Date
CN106897698A true CN106897698A (zh) 2017-06-27
CN106897698B CN106897698B (zh) 2019-12-06

Family

ID=59184182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710104613.3A Active CN106897698B (zh) 2017-02-24 2017-02-24 基于机器视觉与双目协同技术的教室人数检测方法及系统

Country Status (1)

Country Link
CN (1) CN106897698B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416254A (zh) * 2018-01-17 2018-08-17 上海鹰觉科技有限公司 一种用于人流行为识别和人数统计的统计系统以及方法
CN108734731A (zh) * 2018-05-29 2018-11-02 中科院广州电子技术有限公司 一种基于机器视觉的类圆颗粒目标计数方法
CN108965826A (zh) * 2018-08-21 2018-12-07 北京旷视科技有限公司 监控方法、装置、处理设备及存储介质
CN109145127A (zh) * 2018-06-20 2019-01-04 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN109934113A (zh) * 2019-02-15 2019-06-25 中南大学 一种教室人数清点方法及其系统、装置、存储介质
CN110032930A (zh) * 2019-03-01 2019-07-19 中南大学 一种教室人数统计方法及其系统、装置、存储介质
CN110398182A (zh) * 2019-07-04 2019-11-01 西人马帝言(北京)科技有限公司 自动报靶系统、方法、设备及介质
CN110503017A (zh) * 2019-08-12 2019-11-26 北京交通大学 基于图像处理的智慧节能室内人数检测系统与方法
CN110569840A (zh) * 2019-08-13 2019-12-13 浙江大华技术股份有限公司 目标检测方法及相关装置
CN112327661A (zh) * 2020-11-28 2021-02-05 安徽信息工程学院 人员密集度识别技术在能耗管理系统中的运用
CN113369155A (zh) * 2021-05-08 2021-09-10 上海万郃环保科技有限公司 可再生垃圾废品识别检测及自动回收系统及方法
CN114206104A (zh) * 2019-05-24 2022-03-18 尤乐希玛有限责任公司 受控访问闸口
CN117036340A (zh) * 2023-09-28 2023-11-10 山洋自动化设备(苏州)有限公司 一种用于高速输送场景的计数方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504688A (zh) * 2014-12-10 2015-04-08 上海大学 基于双目立体视觉的客流密度估计的方法和系统
CN104899598A (zh) * 2015-05-14 2015-09-09 中国农业大学 基于二维傅里叶变换的教室人数统计方法及装置
CN104902258A (zh) * 2015-06-09 2015-09-09 公安部第三研究所 一种基于立体视觉的多场景人流量统计方法、系统以及双目相机
CN105718873A (zh) * 2016-01-18 2016-06-29 北京联合大学 基于双目视觉的人流分析方法
US20160259980A1 (en) * 2015-03-03 2016-09-08 Umm Al-Qura University Systems and methodologies for performing intelligent perception based real-time counting
US20170039728A1 (en) * 2015-08-04 2017-02-09 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504688A (zh) * 2014-12-10 2015-04-08 上海大学 基于双目立体视觉的客流密度估计的方法和系统
US20160259980A1 (en) * 2015-03-03 2016-09-08 Umm Al-Qura University Systems and methodologies for performing intelligent perception based real-time counting
CN104899598A (zh) * 2015-05-14 2015-09-09 中国农业大学 基于二维傅里叶变换的教室人数统计方法及装置
CN104902258A (zh) * 2015-06-09 2015-09-09 公安部第三研究所 一种基于立体视觉的多场景人流量统计方法、系统以及双目相机
US20170039728A1 (en) * 2015-08-04 2017-02-09 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
CN105718873A (zh) * 2016-01-18 2016-06-29 北京联合大学 基于双目视觉的人流分析方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416254A (zh) * 2018-01-17 2018-08-17 上海鹰觉科技有限公司 一种用于人流行为识别和人数统计的统计系统以及方法
CN108734731A (zh) * 2018-05-29 2018-11-02 中科院广州电子技术有限公司 一种基于机器视觉的类圆颗粒目标计数方法
CN109145127B (zh) * 2018-06-20 2021-04-27 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN109145127A (zh) * 2018-06-20 2019-01-04 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN108965826A (zh) * 2018-08-21 2018-12-07 北京旷视科技有限公司 监控方法、装置、处理设备及存储介质
CN109934113A (zh) * 2019-02-15 2019-06-25 中南大学 一种教室人数清点方法及其系统、装置、存储介质
CN110032930A (zh) * 2019-03-01 2019-07-19 中南大学 一种教室人数统计方法及其系统、装置、存储介质
CN114206104A (zh) * 2019-05-24 2022-03-18 尤乐希玛有限责任公司 受控访问闸口
CN110398182B (zh) * 2019-07-04 2022-02-01 西人马帝言(北京)科技有限公司 自动报靶系统、方法、设备及介质
CN110398182A (zh) * 2019-07-04 2019-11-01 西人马帝言(北京)科技有限公司 自动报靶系统、方法、设备及介质
CN110503017A (zh) * 2019-08-12 2019-11-26 北京交通大学 基于图像处理的智慧节能室内人数检测系统与方法
CN110569840A (zh) * 2019-08-13 2019-12-13 浙江大华技术股份有限公司 目标检测方法及相关装置
CN112327661A (zh) * 2020-11-28 2021-02-05 安徽信息工程学院 人员密集度识别技术在能耗管理系统中的运用
CN113369155A (zh) * 2021-05-08 2021-09-10 上海万郃环保科技有限公司 可再生垃圾废品识别检测及自动回收系统及方法
CN113369155B (zh) * 2021-05-08 2022-09-13 上海万郃环保科技有限公司 可再生垃圾废品识别检测及自动回收系统及方法
CN117036340A (zh) * 2023-09-28 2023-11-10 山洋自动化设备(苏州)有限公司 一种用于高速输送场景的计数方法及系统
CN117036340B (zh) * 2023-09-28 2023-12-15 山洋自动化设备(苏州)有限公司 一种用于高速输送场景的计数方法及系统

Also Published As

Publication number Publication date
CN106897698B (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
CN106897698A (zh) 基于机器视觉与双目协同技术的教室人数检测方法及系统
CN106570486B (zh) 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
CN104866829B (zh) 一种基于特征学习的跨年龄人脸验证方法
CN107545239A (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN108549876A (zh) 基于目标检测和人体姿态估计的坐姿检测方法
CN109635875A (zh) 一种基于深度学习的端到端网口检测方法
CN109376637A (zh) 基于视频监控图像处理的人数统计系统
CN106709438A (zh) 一种基于视频会议的人数统计方法
CN106339657B (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN101609549A (zh) 视频模糊图像的多尺度几何分析超分辨处理方法
CN107240084A (zh) 一种单幅图像去雨方法及装置
CN109344688A (zh) 一种基于卷积神经网络的监控视频中人的自动识别方法
CN104183029A (zh) 一种便携式快速人群考勤方法
CN106874884A (zh) 基于部位分割的人体再识别方法
CN110414381A (zh) 追踪式人脸识别系统
CN108334955A (zh) 基于Faster-RCNN的身份证复印件检测方法
CN106845328A (zh) 一种基于双摄像头的智能人脸识别方法及系统
CN107480607A (zh) 一种智能录播系统中站立人脸检测定位的方法
CN109657597A (zh) 面向个体直播场景的异常行为检测方法
CN104700405A (zh) 一种前景检测方法和系统
CN108491857A (zh) 一种视域重叠的多摄像机目标匹配方法
CN105631410B (zh) 一种基于智能视频处理技术的课堂检测方法
CN109815784A (zh) 一种基于红外热像仪的智能分类方法、系统及存储介质
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统
CN111582195B (zh) 一种汉语唇语单音节识别分类器构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant