CN106941580B - 基于单一探测镜头实现教师学生自动跟踪的方法和系统 - Google Patents
基于单一探测镜头实现教师学生自动跟踪的方法和系统 Download PDFInfo
- Publication number
- CN106941580B CN106941580B CN201710174262.3A CN201710174262A CN106941580B CN 106941580 B CN106941580 B CN 106941580B CN 201710174262 A CN201710174262 A CN 201710174262A CN 106941580 B CN106941580 B CN 106941580B
- Authority
- CN
- China
- Prior art keywords
- teacher
- color
- student
- target
- video camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 79
- 230000000694 effects Effects 0.000 claims abstract description 49
- 230000008859 change Effects 0.000 claims description 25
- 238000010191 image analysis Methods 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000002085 persistent effect Effects 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims description 6
- 230000002045 lasting effect Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 2
- 238000004458 analytical method Methods 0.000 description 33
- 238000009434 installation Methods 0.000 description 12
- 230000006399 behavior Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000003542 behavioural effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 241000700647 Variola virus Species 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003012 network analysis Methods 0.000 description 2
- 230000000452 restraining effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000005211 surface analysis Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于单一探测镜头实现教师学生自动跟踪的方法及系统,在教室的前墙上安装学生摄像机,后墙上安装教师摄像机和探测摄像机后,实时读取探测摄像机拍摄的原始图像;根据人体运动状态检测方法,识别出有效的运动目标及该运动目标的运动状态,并在教师活动区域启动教师摄像机进行跟踪拍摄,在学生活动区域启动学生摄像机进行跟踪拍摄;若教师学生活动交叉区域内出现有效的运动目标,判断运动目标是否存在人脸特征信息并在识别教师目标后启动教师摄像机进行跟踪拍摄。本发明的技术方案,通过一台探测摄像机的视频实现有效识别教师和学生目标,并判定目标属性,从而控制相应的教师摄像机和学生摄像机进行自动跟踪拍摄。
Description
技术领域
本发明涉及图像分析技术领域,具体涉及基于单一探测镜头实现教师学生自动跟踪的方法和系统。
背景技术
教学录播系统是近几年教育信息化建设中的一个热点,而自动跟踪拍摄系统则是教学录播系统中一个非常重要的子系统。自动跟踪系统实现了教室录播系统的无人值守的跟踪拍摄和多机位之间的自动切换导播,使录播系统成为了一个自动化、智能化的应用系统。
在教学录播系统中,自动跟踪拍摄系统的应用已经较为广泛,自动跟踪拍摄主要依靠图像分析技术发现目标,现有技术需要将教室环境划分为教师区和学生区,对两个区域分别安装探测分析镜头来抓取图像进行分析。
一般情况下,对教师区的探测需要1个探测分析镜头和1个教师跟踪摄像机,安装在教室后墙或天花板;对学生区的探测则很复杂,需要1-4个探测分析镜头和若干个学生跟踪摄像机,安装在教室前墙、天花板或者两侧墙上,如果环境复杂,需要安装的数量更多,安装的难度更大。这样的技术体系,导致设备数量繁多,物理连接较多,设备形态偏复杂可靠稳定性能不足,同时导致教学录播系统的实施工程量大,工程难度大,调试工作复杂,项目周期较长,不能满足当前录播系统建设日趋规模化批量化的现实需求。
实现多路摄像机在无人值守的情况下自动跟踪目标拍摄并且根据教学现场智能判定多路机位之间导播切换,难度较大,最大的不确定性因素就是跟踪系统采用的图像分析技术对目标识别的准确性。为了解决这个问题,现有技术都采用了多路交叉分析比对的方案,教师区面积小、目标单一、行为简单采用1个探测分析镜头可以满足要求,学生区面积大、目标多、行为复杂就需要多路探测分析镜头,有的安装在前墙上,有的装在天花板上,有的需要安装在两侧墙。这样的方案会存在一些问题:
1、部署安装的工程量和难度较大,多路视频设备的布线、安装、调试都是必须的工作量,而且这些摄像机的安装一般都有较为严格的要求,在实施中会碰到光线、窗户、门等客观条件制约,必须采用额外的工作量来进行现场装修整改以保证基本安装条件。从而导致工程量大、工程难度高、工程周期长。
2、从设备层面看,解决多路视频的接驳必然导致设备形态相对复杂,同时满足多路视频分析也需要设备具有较高的运算性能支撑,整体上使跟踪设备形态复杂,性能要求高,设备灵活性不足,物理接驳隐患点较多等等问题。
教学录播系统经过几年发展,已经表现出了旺盛的市场需求,显现了规模化部署、批量化建设的趋势,这就要求录播系统要逐步实现设备简化、工程简化、简单易用、稳定可靠的特性。而采用现有技术的跟踪系统显然无法达到这样的要求。
发明内容
有鉴于此,本发明的目的在于克服现有技术的不足,提供基于单一探测镜头实现教师学生自动跟踪的方法和系统,通过一台探测摄像机的视频有效识别教师和学生目标,并判定目标属性,从而控制相应的教师摄像机和学生摄像机进行自动跟踪拍摄。
为实现以上目的,本发明采用如下技术方案:
基于单一探测镜头实现教师学生自动跟踪的方法,在教室的前墙上安装学生摄像机,后墙上安装教师摄像机和一台探测摄像机后,执行以下步骤:
步骤S1、实时读取探测摄像机拍摄的原始图像,并在原始图像上标定教师活动区域、学生活动区域及教师学生活动交叉区域;
步骤S2、根据人体运动状态检测方法,对原始图像进行分析,以识别出有效的运动目标及该运动目标的运动状态;
步骤S3、若教师活动区域内出现有效的运动目标,启动教师摄像机进行跟踪拍摄;若学生活动区域内出现有效的运动目标,启动学生摄像机进行跟踪拍摄;
步骤S4、若教师学生活动交叉区域内出现有效的运动目标,判断教师学生活动交叉区域内有效的运动目标是否存在人脸特征信息;若存在,将该人脸特征信息与预存的教师目标人脸特征信息进行比对,若比对成功,启动教师摄像机进行跟踪拍摄,否则,启动学生摄像机进行跟踪拍摄。
优选地,所述步骤S1还包括:
步骤S11、实时读取探测摄像机拍摄的原始图像,并对原始图像中的教师目标进行人脸特征提取并保存提取后的教师目标人脸特征信息。
优选地,所述步骤S1具体为:
实时读取探测摄像机拍摄的原始图像,根据预存的教室各物件的空间位置关系与原始图像的对应关系,在原始图像上标定出教师活动区域和学生活动区域的分界线,并标定该分界线上下预设范围内为教师学生活动交叉区域。
优选地,所述步骤S2具体包括:
步骤S21、利用运动向量检测法捕捉原始图像中纵向及横向运动单元,并对所述运动单元进行边缘检测,以确定边缘点阵;
步骤S22、根据所述边缘点阵在原始图像中的位置,实时绘制出第一颜色的矩形框;
步骤S23、判断第一颜色的矩形框内图像的像素大小与原始图像的像素大小是否满足预设比例关系,若是,则判定被监测人体运动目标在第一颜色的矩形框中,并将第一颜色的矩形框改为第二颜色的矩形框;
步骤S24、利用背景差分和时间差分复合算法计算第二颜色的矩形框的持续运动时间;
步骤S25、判断第二颜色的矩形框的持续运动时间是否小于预设时间,若是,则判定该第二颜色的矩形框内的被监测人体运动目标为无效运动目标,舍弃该第二颜色的矩形框;
步骤S26、根据预设判断策略,对步骤S25筛选后保留的第二颜色的矩形框进行二次筛选,以舍弃无效运动目标所对应的第二颜色的矩形框,并判断有效运动目标的运动状态;
步骤S27、将步骤S26筛选后保留的第二颜色的矩形框以动态图像的形式显示出来。
优选地,所述预设判断策略为:
若第二颜色的矩形框面积变化率保持在5%之内,且在预设时间内持续地纵向运动,则判定该第二颜色的矩形框内的被监测人体运动目标为有效运动目标,且该有效运动目标的运动状态为起立;
若第二颜色的矩形框面积变化率保持在5%之内,且在预设时间内持续地横向运动,则判定该第二颜色的矩形框内的被监测人体运动目标为有效运动目标,且该有效运动目标的运动状态为移动;
若第二颜色的矩形框面积变化率为0,且在预设时间内无运动,且内存中无该第二颜色的矩形框的运动状态记录,则判定该第二颜色的矩形框内的被监测人体运动目标为无效运动目标,舍弃该第二颜色的矩形框;
若第二颜色的矩形框面积变化率为0,且在预设时间内无运动,但内存中有该第二颜色的矩形框的运动状态记录,则判定该第二颜色的矩形框内的被监测人体运动目标为有效运动目标,根据内存中前一时刻所记录的运动状态判定当前时刻该有效运动目标的运动状态;
若第二颜色的矩形框面积变化率大于20%,则判定该第二颜色的矩形框内的被监测人体运动目标为无效运动目标,舍弃该第二颜色的矩形框;
若第二颜色的矩形框面积变化率介于5%~20%之间,且在预设时间内无持续的运动,则判定该第二颜色的矩形框内的被监测人体运动目标为无效运动目标,舍弃该第二颜色的矩形框;
若第二颜色的矩形框面积变化率介于5%~20%之间,但在预设时间有特定方向持续的运动,返回步骤S24重新判断该第二颜色的矩形框内的被监测人体运动目标是否为有效运动目标。
优选地,所述步骤S23包括:
判断第一颜色的矩形框内图像的像素大小X与原始图像的像素大小Y是否满足:Y*1%<X<Y*20%,其中X,Y为正整数;若是,则判定被监测人体运动目标在第一颜色的矩形框中,并将第一颜色的矩形框改为第二颜色的矩形框。
优选地,所述探测摄像机为广角摄像机;所述第一颜色为红色,第二颜色为蓝色;所述预设时间为1秒。
基于单一探测镜头实现教师学生自动跟踪系统,包括:系统控制装置及分别与所述系统控制装置连接的学生摄像机、教师摄像机和一台探测摄像机,其中,
所述探测摄像机用于采集教师的正面图像信息和学生的背面图像信息,并发送给系统控制装置进行图像分析;
所述学生摄像机,安装在教室的前墙上,用于在系统控制装置的驱动下跟踪拍摄学生目标;
所述教师摄像机,安装在教室的后墙上,用于在系统控制装置的驱动下跟踪拍摄教师目标。
优选地,所述系统控制装置包括:
标定单元,用于实时读取探测摄像机拍摄的原始图像,并在原始图像上标定教师活动区域、学生活动区域及教师学生活动交叉区域;
分析单元,用于根据人体运动状态检测方法,对原始图像进行分析,以识别出有效的运动目标及该运动目标的运动状态;
第一判断单元,用于若教师活动区域内出现有效的运动目标,启动教师摄像机进行跟踪拍摄;若学生活动区域内出现有效的运动目标,启动学生摄像机进行跟踪拍摄;
第二判断单元,用于若教师学生活动交叉区域内出现有效的运动目标,判断教师学生活动交叉区域内有效的运动目标是否存在人脸特征信息;若存在,将该人脸特征信息与预存的教师目标人脸特征信息进行比对,若比对成功,启动教师摄像机进行跟踪拍摄,否则,启动学生摄像机进行跟踪拍摄。
优选地,所述标定单元还用于:
实时读取探测摄像机拍摄的原始图像,并对原始图像中的教师目标进行人脸特征提取并保存提取后的教师目标人脸特征信息。
本发明采用以上技术方案,至少具备以下有益效果:
由上述技术方案可知,本发明提供的这种基于单一探测镜头实现教师学生自动跟踪的方法和系统,采用一台安装在教室后墙的探测摄像机实现对教师区和学生区的探测(现有技术采用多台探测摄像机:用于教师图像分析的摄像机一台,用于学生图像分析的摄像机若干台)。分析现有技术可以发现,现有技术把教师的探测摄像机安装在后墙或者天花板,分析的图像是教师的正面,同理,把学生的探测摄像机安装在前墙或者两侧墙或者天花板,分析的图像也是学生的正面。而本发明采用一台探测摄像机安装在后墙,对老师采用正面分析,而对学生则采用了背面分析,这是本发明最本质的变化。本发明的核心思想是改变了传统分析思路:图像分析必须捕捉识别目标对象的正面图像。
根据探测摄像机一路视频图像分析就可以实现对教师摄像机和学生摄像机两部设备的自动跟踪拍摄控制,大幅简化了教学录播系统的实施工程量,减少了调试安装,缩短了项目周期,满足了教学录播大规模部署的需求。同时,系统集成度提高,系统形态更加小巧灵活,减少了物理链路的连接,在简化工作的同时全面提升系统稳定性。由原来多台探测摄像机协同进行的策略分析工作变为一台探测摄像机完成,系统分析效率得到较大提升。对于进一步简化并优化录播教室安装部署,提升应用体验具有积极的作用。
现有技术主要采用基于人脸识别为主的图像分析技术,所以需要获取分析目标的正面图像,这也导致前面所分析的各种制约因素,而在本发明中,采用人脸识别+运动向量检测+背景差分+行为特征分析(人体运动状态检测方法包括运动向量检测+背景差分+行为特征分析)几种图像分析方法的综合分析技术来实现目标,只解决三个问题:1、通过正面分析发现并锁定教师目标;2、通过背面分析发现学生目标;3、识别目标的属性:识别目标属性目的不是为了告诉系统这个目标是教师还是学生,而是要告诉系统这个目标需要控制教师摄像机还是学生摄像机跟踪拍摄。
本发明提供的这种基于单一探测镜头实现教师学生自动跟踪的方法,从录播教室的实际应用出发,教师行为复杂,识别精度高,控制精度高采用较为精确的人脸识别+运动向量检测+背景差分进行分析;学生行为相对简单(以起立、坐下为主),识别和控制都有冗余,就抛弃人脸识别,采用运动向量检测+背景差分+行为特征进行分析,并结合有效的判断策略实现系统应用。这样的方法彻底改变了当前录播教室多机位分析带来的安装、调试等问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的基于单一探测镜头实现教师学生自动跟踪的方法的流程示意图;
图2为本发明一实施例提供的基于单一探测镜头实现教师学生自动跟踪的系统的示意框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行详细的描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本发明所保护的范围。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
参见图1,本发明一实施例提供的基于单一探测镜头实现教师学生自动跟踪的方法,在教室的前墙上安装学生摄像机,后墙上安装教师摄像机和一台探测摄像机后,执行以下步骤:
步骤S1、实时读取探测摄像机拍摄的原始图像,并在原始图像上标定教师活动区域、学生活动区域及教师学生活动交叉区域;
步骤S2、根据人体运动状态检测方法,对原始图像进行分析,以识别出有效的运动目标及该运动目标的运动状态;
步骤S3、若教师活动区域内出现有效的运动目标,启动教师摄像机进行跟踪拍摄;若学生活动区域内出现有效的运动目标,启动学生摄像机进行跟踪拍摄;
步骤S4、若教师学生活动交叉区域内出现有效的运动目标,判断教师学生活动交叉区域内有效的运动目标是否存在人脸特征信息;若存在,将该人脸特征信息与预存的教师目标人脸特征信息进行比对,若比对成功,启动教师摄像机进行跟踪拍摄,否则,启动学生摄像机进行跟踪拍摄。
由上述技术方案可知,本发明提供的这种基于单一探测镜头实现教师学生自动跟踪的方法,采用一台安装在教室后墙的探测摄像机实现对教师区和学生区的探测(现有技术采用多台探测摄像机:用于教师图像分析的摄像机一台,用于学生图像分析的摄像机若干台)。分析现有技术可以发现,现有技术把教师的探测摄像机安装在后墙或者天花板,分析的图像是教师的正面,同理,把学生的探测摄像机安装在前墙或者两侧墙或者天花板,分析的图像也是学生的正面。而本发明采用一台探测摄像机安装在后墙,对老师采用正面分析,而对学生则采用了背面分析,这是本发明最本质的变化。本发明的核心思想是改变了传统分析思路:图像分析必须捕捉识别目标对象的正面图像。
根据探测摄像机一路视频图像分析就可以实现对教师摄像机和学生摄像机两部设备的自动跟踪拍摄控制,大幅简化了教学录播系统的实施工程量,减少了调试安装,缩短了项目周期,满足了教学录播大规模部署的需求。同时,系统集成度提高,系统形态更加小巧灵活,减少了物理链路的连接,在简化工作的同时全面提升系统稳定性。由原来多台探测摄像机协同进行的策略分析工作变为一台探测摄像机完成,系统分析效率得到较大提升。对于进一步简化并优化录播教室安装部署,提升应用体验具有积极的作用。
现有技术主要采用基于人脸识别为主的图像分析技术,所以需要获取分析目标的正面图像,这也导致前面所分析的各种制约因素,而在本发明中,采用人脸识别+运动向量检测+背景差分+行为特征分析(人体运动状态检测方法包括运动向量检测+背景差分+行为特征分析)几种图像分析方法的综合分析技术来实现目标,只解决三个问题:1、通过正面分析发现并锁定教师目标;2、通过背面分析发现学生目标;3、识别目标的属性:识别目标属性目的不是为了告诉系统这个目标是教师还是学生,而是要告诉系统这个目标需要控制教师摄像机还是学生摄像机跟踪拍摄。
本发明提供的这种基于单一探测镜头实现教师学生自动跟踪的方法,从录播教室的实际应用出发,教师行为复杂,识别精度高,控制精度高采用较为精确的人脸识别+运动向量检测+背景差分进行分析;学生行为相对简单(以起立、坐下为主),识别和控制都有冗余,就抛弃人脸识别,采用运动向量检测+背景差分+行为特征进行分析,并结合有效的判断策略实现系统应用。这样的方法彻底改变了当前录播教室多机位分析带来的安装、调试等问题。
优选地,所述步骤S1还包括:
步骤S11、实时读取探测摄像机拍摄的原始图像,并对原始图像中的教师目标进行人脸特征提取并保存提取后的教师目标人脸特征信息。
优选地,所述步骤S1具体为:
实时读取探测摄像机拍摄的原始图像,根据预存的教室各物件的空间位置关系与原始图像的对应关系,在原始图像上标定出教师活动区域和学生活动区域的分界线,并标定该分界线上下预设范围内为教师学生活动交叉区域。
优选地,所述步骤S2具体包括:
步骤S21、利用运动向量检测法捕捉原始图像中纵向及横向运动单元,并对所述运动单元进行边缘检测,以确定边缘点阵;
步骤S22、根据所述边缘点阵在原始图像中的位置,实时绘制出第一颜色的矩形框;
步骤S23、判断第一颜色的矩形框内图像的像素大小与原始图像的像素大小是否满足预设比例关系,若是,则判定被监测人体运动目标在第一颜色的矩形框中,并将第一颜色的矩形框改为第二颜色的矩形框;
步骤S24、利用背景差分和时间差分复合算法计算第二颜色的矩形框的持续运动时间;
步骤S25、判断第二颜色的矩形框的持续运动时间是否小于预设时间,若是,则判定该第二颜色的矩形框内的被监测人体运动目标为无效运动目标,舍弃该第二颜色的矩形框;
步骤S26、根据预设判断策略,对步骤S25筛选后保留的第二颜色的矩形框进行二次筛选,以舍弃无效运动目标所对应的第二颜色的矩形框,并判断有效运动目标的运动状态;
步骤S27、将步骤S26筛选后保留的第二颜色的矩形框以动态图像的形式显示出来。
其中,所述运动状态包括:起立、移动、起立后静止、移动中静止、从静止回到坐下、从起立变为移动、从静止变为移动,从移动回到坐下。
需要说明的是,预设比例关系、预设时间、预设判断策略皆根据历史经验值进行设置和制定。
对探测摄像机的安装没有严格要求,可根据需要进行安装。例如:室内环境中,在人物前后向的墙壁上高度约2米的任意位置安装摄像机一部,成像分辨率可以在D1(704*576)~1080P(1920*1080)之间,镜头角度与地面保持15-20度。
由上述技术方案可知,本发明提供的这种基于图像处理的人体运动状态检测方法,对一路无严格要求的视频图像采集装置拍摄的原始图像进行分析,经过三次判断处理(分别采用不同的图像分析算法和判断策略)识别出有效的运动目标,并能够根据预设的判断策略检测出被监测人体运动目标的运动状态。同时,还能够根据有效运动目标的运动状态去控制图像采集装置的拍摄角度,从而输出包含被监测人体运动目标在各个监测时间点的运动状态的运动轨迹。
本发明提供的这种基于图像处理的人体运动状态检测方法的优点在于所有的输出结果都是对一路视频流分析所得,并且识别准确率完全达到了应用标准(一般认为图像识别准确率达到95%以上才能支撑后期应用),能够解决现有技术中多路视频分析带来的较高的运算代价、复杂的硬件设备、较严格并且难度较高的安装实施要求、繁杂的后期维护等难题,极大提升了视频监控系统应用的经济性、实用性和稳定性,从而可以加速技术普及和应用推广,促进相关产业的快速发展。
优选地,所述预设判断策略为:
若第二颜色的矩形框面积变化率保持在5%之内,且在预设时间内持续地纵向运动,则判定该第二颜色的矩形框内的被监测人体运动目标为有效运动目标,且该有效运动目标的运动状态为起立;
若第二颜色的矩形框面积变化率保持在5%之内,且在预设时间内持续地横向运动,则判定该第二颜色的矩形框内的被监测人体运动目标为有效运动目标,且该有效运动目标的运动状态为移动;
若第二颜色的矩形框面积变化率为0,且在预设时间内无运动,且内存中无该第二颜色的矩形框的运动状态记录,则判定该第二颜色的矩形框内的被监测人体运动目标为无效运动目标,舍弃该第二颜色的矩形框;
若第二颜色的矩形框面积变化率为0,且在预设时间内无运动,但内存中有该第二颜色的矩形框的运动状态记录,则判定该第二颜色的矩形框内的被监测人体运动目标为有效运动目标,根据内存中前一时刻所记录的运动状态判定当前时刻该有效运动目标的运动状态;
若第二颜色的矩形框面积变化率大于20%,则判定该第二颜色的矩形框内的被监测人体运动目标为无效运动目标,舍弃该第二颜色的矩形框;
若第二颜色的矩形框面积变化率介于5%~20%之间,且在预设时间内无持续的运动,则判定该第二颜色的矩形框内的被监测人体运动目标为无效运动目标,舍弃该第二颜色的矩形框;
若第二颜色的矩形框面积变化率介于5%~20%之间,但在预设时间有特定方向持续的运动,返回步骤S24重新判断该第二颜色的矩形框内的被监测人体运动目标是否为有效运动目标。
优选地,所述步骤S23包括:
判断第一颜色的矩形框内图像的像素大小X与原始图像的像素大小Y是否满足:Y*1%<X<Y*20%,其中X,Y为正整数;若是,则判定被监测人体运动目标在第一颜色的矩形框中,并将第一颜色的矩形框改为第二颜色的矩形框。
优选地,所述探测摄像机为广角摄像机;所述第一颜色为红色,第二颜色为蓝色;所述预设时间为1秒。
参见图2,基于单一探测镜头实现教师学生自动跟踪系统100,包括:系统控制装置101及分别与所述系统控制装置101连接的学生摄像机102、教师摄像机103和一台探测摄像机104,其中,
所述探测摄像机104用于采集教师的正面图像信息和学生的背面图像信息,并发送给系统控制装置101进行图像分析;
所述学生摄像机102,安装在教室的前墙上,用于在系统控制装置101的驱动下跟踪拍摄学生目标;
所述教师摄像机103,安装在教室的后墙上,用于在系统控制装置101的驱动下跟踪拍摄教师目标。
优选地,所述系统控制装置101包括:
标定单元,用于实时读取探测摄像机拍摄的原始图像,并在原始图像上标定教师活动区域、学生活动区域及教师学生活动交叉区域;
分析单元,用于根据人体运动状态检测方法,对原始图像进行分析,以识别出有效的运动目标及该运动目标的运动状态;
第一判断单元,用于若教师活动区域内出现有效的运动目标,启动教师摄像机进行跟踪拍摄;若学生活动区域内出现有效的运动目标,启动学生摄像机进行跟踪拍摄;
第二判断单元,用于若教师学生活动交叉区域内出现有效的运动目标,判断教师学生活动交叉区域内有效的运动目标是否存在人脸特征信息;若存在,将该人脸特征信息与预存的教师目标人脸特征信息进行比对,若比对成功,启动教师摄像机进行跟踪拍摄,否则,启动学生摄像机进行跟踪拍摄。
优选地,所述标定单元还用于:
实时读取探测摄像机拍摄的原始图像,并对原始图像中的教师目标进行人脸特征提取并保存提取后的教师目标人脸特征信息。
需要说明的是,在实际应用中,分析环境具有多维性:室内环境的多样性、光线变化、人物形态不确定性、背景成像层次复杂、人物目标运动特性复杂等诸多因素,在此分析过程中需要综合应用多种运动检测算法,并且需要针对性的对各种算法进行调整和优化,这部分不作为本发明重点阐述的部分。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上,除非另有明确的限定。
Claims (9)
1.基于单一探测镜头实现教师学生自动跟踪的方法,其特征在于,在教室的前墙上安装学生摄像机,后墙上安装教师摄像机和一台探测摄像机后,执行以下步骤:
步骤S1、实时读取探测摄像机拍摄的原始图像,并在原始图像上标定教师活动区域、学生活动区域及教师学生活动交叉区域;
步骤S2、根据人体运动状态检测方法,对原始图像进行分析,以识别出有效的运动目标及该运动目标的运动状态;
步骤S3、若教师活动区域内出现有效的运动目标,启动教师摄像机进行跟踪拍摄;若学生活动区域内出现有效的运动目标,启动学生摄像机进行跟踪拍摄;
步骤S4、若教师学生活动交叉区域内出现有效的运动目标,判断教师学生活动交叉区域内有效的运动目标是否存在人脸特征信息;若存在,将该人脸特征信息与预存的教师目标人脸特征信息进行比对,若比对成功,启动教师摄像机进行跟踪拍摄,否则,启动学生摄像机进行跟踪拍摄。
2.根据权利要求1所述的基于单一探测镜头实现教师学生自动跟踪的方法,其特征在于,所述步骤S1还包括:
步骤S11、实时读取探测摄像机拍摄的原始图像,并对原始图像中的教师目标进行人脸特征提取并保存提取后的教师目标人脸特征信息。
3.根据权利要求1所述的基于单一探测镜头实现教师学生自动跟踪的方法,其特征在于,所述步骤S1具体为:
实时读取探测摄像机拍摄的原始图像,根据预存的教室各物件的空间位置关系与原始图像的对应关系,在原始图像上标定出教师活动区域和学生活动区域的分界线,并标定该分界线上下预设范围内为教师学生活动交叉区域。
4.根据权利要求1所述的基于单一探测镜头实现教师学生自动跟踪的方法,其特征在于,所述步骤S2具体包括:
步骤S21、利用运动向量检测法捕捉原始图像中纵向及横向运动单元,并对所述运动单元进行边缘检测,以确定边缘点阵;
步骤S22、根据所述边缘点阵在原始图像中的位置,实时绘制出第一颜色的矩形框;
步骤S23、判断第一颜色的矩形框内图像的像素大小与原始图像的像素大小是否满足预设比例关系,若是,则判定被监测人体运动目标在第一颜色的矩形框中,并将第一颜色的矩形框改为第二颜色的矩形框;
步骤S24、利用背景差分和时间差分复合算法计算第二颜色的矩形框的持续运动时间;
步骤S25、判断第二颜色的矩形框的持续运动时间是否小于预设时间,若是,则判定该第二颜色的矩形框内的被监测人体运动目标为无效运动目标,舍弃该第二颜色的矩形框;
步骤S26、根据预设判断策略,对步骤S25筛选后保留的第二颜色的矩形框进行二次筛选,以舍弃无效运动目标所对应的第二颜色的矩形框,并判断有效运动目标的运动状态;
步骤S27、将步骤S26筛选后保留的第二颜色的矩形框以动态图像的形式显示出来。
5.根据权利要求4所述的基于单一探测镜头实现教师学生自动跟踪的方法,其特征在于,所述预设判断策略为:
若第二颜色的矩形框面积变化率保持在5%之内,且在预设时间内持续地纵向运动,则判定该第二颜色的矩形框内的被监测人体运动目标为有效运动目标,且该有效运动目标的运动状态为起立;
若第二颜色的矩形框面积变化率保持在5%之内,且在预设时间内持续地横向运动,则判定该第二颜色的矩形框内的被监测人体运动目标为有效运动目标,且该有效运动目标的运动状态为移动;
若第二颜色的矩形框面积变化率为0,且在预设时间内无运动,且内存中无该第二颜色的矩形框的运动状态记录,则判定该第二颜色的矩形框内的被监测人体运动目标为无效运动目标,舍弃该第二颜色的矩形框;
若第二颜色的矩形框面积变化率为0,且在预设时间内无运动,但内存中有该第二颜色的矩形框的运动状态记录,则判定该第二颜色的矩形框内的被监测人体运动目标为有效运动目标,根据内存中前一时刻所记录的运动状态判定当前时刻该有效运动目标的运动状态;
若第二颜色的矩形框面积变化率大于20%,则判定该第二颜色的矩形框内的被监测人体运动目标为无效运动目标,舍弃该第二颜色的矩形框;
若第二颜色的矩形框面积变化率介于5%~20%之间,且在预设时间内无持续的运动,则判定该第二颜色的矩形框内的被监测人体运动目标为无效运动目标,舍弃该第二颜色的矩形框;
若第二颜色的矩形框面积变化率介于5%~20%之间,但在预设时间有特定方向持续的运动,返回步骤S24重新判断该第二颜色的矩形框内的被监测人体运动目标是否为有效运动目标。
6.根据权利要求5所述的基于单一探测镜头实现教师学生自动跟踪的方法,其特征在于,所述步骤S23包括:
判断第一颜色的矩形框内图像的像素大小X与原始图像的像素大小Y是否满足:Y*1%<X<Y*20%,其中X,Y为正整数;若是,则判定被监测人体运动目标在第一颜色的矩形框中,并将第一颜色的矩形框改为第二颜色的矩形框。
7.根据权利要求4所述的基于单一探测镜头实现教师学生自动跟踪的方法,其特征在于,
所述探测摄像机为广角摄像机;所述第一颜色为红色,第二颜色为蓝色;所述预设时间为1秒。
8.基于单一探测镜头实现教师学生自动跟踪系统,其特征在于,包括:系统控制装置及分别与所述系统控制装置连接的学生摄像机、教师摄像机和一台探测摄像机,其中,
所述探测摄像机用于采集教师的正面图像信息和学生的背面图像信息,并发送给系统控制装置进行图像分析;
所述学生摄像机,安装在教室的前墙上,用于在系统控制装置的驱动下跟踪拍摄学生目标;
所述教师摄像机,安装在教室的后墙上,用于在系统控制装置的驱动下跟踪拍摄教师目标;
其中,所述系统控制装置包括:
标定单元,用于实时读取探测摄像机拍摄的原始图像,并在原始图像上标定教师活动区域、学生活动区域及教师学生活动交叉区域;
分析单元,用于根据人体运动状态检测方法,对原始图像进行分析,以识别出有效的运动目标及该运动目标的运动状态;
第一判断单元,用于若教师活动区域内出现有效的运动目标,启动教师摄像机进行跟踪拍摄;若学生活动区域内出现有效的运动目标,启动学生摄像机进行跟踪拍摄;
第二判断单元,用于若教师学生活动交叉区域内出现有效的运动目标,判断教师学生活动交叉区域内有效的运动目标是否存在人脸特征信息;若存在,将该人脸特征信息与预存的教师目标人脸特征信息进行比对,若比对成功,启动教师摄像机进行跟踪拍摄,否则,启动学生摄像机进行跟踪拍摄。
9.根据权利要求8所述的基于单一探测镜头实现教师学生自动跟踪系统,其特征在于,所述标定单元还用于:
实时读取探测摄像机拍摄的原始图像,并对原始图像中的教师目标进行人脸特征提取并保存提取后的教师目标人脸特征信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710174262.3A CN106941580B (zh) | 2017-03-22 | 2017-03-22 | 基于单一探测镜头实现教师学生自动跟踪的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710174262.3A CN106941580B (zh) | 2017-03-22 | 2017-03-22 | 基于单一探测镜头实现教师学生自动跟踪的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106941580A CN106941580A (zh) | 2017-07-11 |
CN106941580B true CN106941580B (zh) | 2019-12-03 |
Family
ID=59463080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710174262.3A Active CN106941580B (zh) | 2017-03-22 | 2017-03-22 | 基于单一探测镜头实现教师学生自动跟踪的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106941580B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109918967A (zh) * | 2017-12-12 | 2019-06-21 | 武汉东信同邦信息技术有限公司 | 一种基于浅层卷积神经网络的老师姿态识别系统 |
CN111144255B (zh) * | 2019-12-18 | 2024-04-19 | 华中科技大学鄂州工业技术研究院 | 一种教师的非语言行为的分析方法及装置 |
CN111814587B (zh) * | 2020-06-18 | 2024-09-03 | 浙江大华技术股份有限公司 | 人体行为检测方法、教师行为检测方法及相关系统和装置 |
CN114222065B (zh) * | 2021-12-20 | 2024-03-08 | 北京奕斯伟计算技术股份有限公司 | 图像处理方法、装置、电子设备、存储介质及程序产品 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6359647B1 (en) * | 1998-08-07 | 2002-03-19 | Philips Electronics North America Corporation | Automated camera handoff system for figure tracking in a multiple camera system |
CN102096930A (zh) * | 2011-01-30 | 2011-06-15 | 吴柯维 | 一种教学智能录播系统学生起坐检测方法 |
CN103093654A (zh) * | 2013-01-28 | 2013-05-08 | 北京航空航天大学 | 一种双摄像机交互式智能跟踪教学系统 |
CN103777643A (zh) * | 2012-10-23 | 2014-05-07 | 北京网动网络科技股份有限公司 | 一种基于图像定位的摄像机自动跟踪系统及跟踪方法 |
CN104065924A (zh) * | 2014-06-23 | 2014-09-24 | 苏州阔地网络科技有限公司 | 一种在线同步课堂智能跟踪方法及系统 |
CN105049764A (zh) * | 2015-06-17 | 2015-11-11 | 武汉智亿方科技有限公司 | 一种基于多个定位摄像头的教学用图像跟踪方法及系统 |
CN106422210A (zh) * | 2016-10-13 | 2017-02-22 | 北京昊翔信达科技有限公司 | 一种基于图像处理的人体运动状态检测方法及系统 |
-
2017
- 2017-03-22 CN CN201710174262.3A patent/CN106941580B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6359647B1 (en) * | 1998-08-07 | 2002-03-19 | Philips Electronics North America Corporation | Automated camera handoff system for figure tracking in a multiple camera system |
CN102096930A (zh) * | 2011-01-30 | 2011-06-15 | 吴柯维 | 一种教学智能录播系统学生起坐检测方法 |
CN103777643A (zh) * | 2012-10-23 | 2014-05-07 | 北京网动网络科技股份有限公司 | 一种基于图像定位的摄像机自动跟踪系统及跟踪方法 |
CN103093654A (zh) * | 2013-01-28 | 2013-05-08 | 北京航空航天大学 | 一种双摄像机交互式智能跟踪教学系统 |
CN104065924A (zh) * | 2014-06-23 | 2014-09-24 | 苏州阔地网络科技有限公司 | 一种在线同步课堂智能跟踪方法及系统 |
CN105049764A (zh) * | 2015-06-17 | 2015-11-11 | 武汉智亿方科技有限公司 | 一种基于多个定位摄像头的教学用图像跟踪方法及系统 |
CN106422210A (zh) * | 2016-10-13 | 2017-02-22 | 北京昊翔信达科技有限公司 | 一种基于图像处理的人体运动状态检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106941580A (zh) | 2017-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106941580B (zh) | 基于单一探测镜头实现教师学生自动跟踪的方法和系统 | |
CN109951936B (zh) | 一种根据不同应用场景智能调整的照明控制系统及方法 | |
CN111242025B (zh) | 一种基于yolo的动作实时监测方法 | |
CN105760846B (zh) | 基于深度数据的目标检测与定位方法及系统 | |
Brown et al. | Performance evaluation of surveillance systems under varying conditions | |
CN103093654B (zh) | 一种双摄像机交互式智能跟踪教学系统 | |
CN102447835A (zh) | 无盲区多目标协同跟踪方法及系统 | |
CN101833791A (zh) | 一种单摄像机下的场景建模方法及系统 | |
CN103310444B (zh) | 一种基于头顶摄像头的监控行人计数的方法 | |
CN106128053A (zh) | 一种智慧金睛识别人员逗留徘徊报警方法和装置 | |
CN103517042A (zh) | 一种养老院老人危险行为监测方法 | |
CN106204586B (zh) | 一种基于跟踪的复杂场景下的运动目标检测方法 | |
CN104751486A (zh) | 一种多ptz相机的运动目标接力跟踪算法 | |
CN103997624A (zh) | 重叠域双摄像头目标跟踪系统及方法 | |
CN104123544A (zh) | 基于视频分析的异常行为检测方法及系统 | |
CN101751677A (zh) | 基于多摄像机的目标连续跟踪方法 | |
CN105830426A (zh) | 一种视频生成系统的视频生成方法及装置 | |
CN109583373B (zh) | 一种行人重识别实现方法 | |
CN103581614A (zh) | 基于ptz的视频中目标跟踪方法及系统 | |
CN108537829A (zh) | 一种监控视频人员状态识别方法 | |
CN103971384B (zh) | 一种无线视频传感器节点协作目标跟踪方法 | |
CN102930524A (zh) | 一种基于垂直放置的深度摄像头的人头检测方法 | |
US20230046840A1 (en) | Vehicular access control based on virtual inductive loop | |
CN103593679A (zh) | 一种基于在线机器学习的视觉人手跟踪方法 | |
CN108737785B (zh) | 基于tof 3d摄像机的室内跌倒自动检测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |