CN105718862A - 一种单摄像头教师自动跟踪方法、装置及录播系统 - Google Patents
一种单摄像头教师自动跟踪方法、装置及录播系统 Download PDFInfo
- Publication number
- CN105718862A CN105718862A CN201610028161.0A CN201610028161A CN105718862A CN 105718862 A CN105718862 A CN 105718862A CN 201610028161 A CN201610028161 A CN 201610028161A CN 105718862 A CN105718862 A CN 105718862A
- Authority
- CN
- China
- Prior art keywords
- video image
- tracking target
- target
- decoded video
- camera head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000033001 locomotion Effects 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 238000000205 computational method Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000009434 installation Methods 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract 2
- 230000007547 defect Effects 0.000 abstract 2
- 210000003128 head Anatomy 0.000 description 82
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000009432 framing Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明实施例公开了一种单摄像头教师自动跟踪方法、装置及录播系统,所述方法包括,对所获取的摄像装置拍摄的视频图像并进行解码处理;利用人脸和头肩特征分类器对解码后的视频图像进行跟踪目标识别;利用三角函数计算和查表插值相结合的计算方法,计算出将跟踪目标的位置调整到指定值以及跟踪目标的大小调整到指定大小相对应的摄像装置需要移动的PTZ参数,并向摄像装置发送PTZ控制命令。本发明采用图像定位,只需要一个摄像装置和教师自动跟踪装置,克服了系统安装部署复杂的缺点,同时本发明实施通过人脸和头肩特征分类器进行跟踪目标识别,解决了现有技术中的红外定位易受干扰的缺点,且所采用的特征分类器具有目标识别准确的优点。
Description
技术领域
本发明涉及自动跟踪定位技术领域,特别是涉及一种单摄像头教师自动跟踪方法、装置及录播系统。
背景技术
随着视频处理和网络技术的发展,在教学录播和视频会议等诸多领域,都需要摄像机对现场的发言人进行跟踪和迅速准确的定位。
现有技术中自动跟踪录播装置大都是采用红外线跟踪定位技术,红外线跟踪定位系统是通过在被跟踪目标上放置红外发射设备,在摄像机端用红外接收定位装置确定目标位置,控制摄像机跟踪目标。其具体工作原理为,摄像机端的微处理系统首先选定需要发射的红外发射设备,并触发所述红外发射设备发射红外线,此时红外线接收电路扫描对应的红外线接收设备,如果发射设备与接收设备之间有物体遮挡,则部分红外线接收设备接收不到红外线,记下该位置中心点,继续启动其它红外线发射设备,检测另外一部分接收不到红外的接收设备,记下另外一个位置中心点,一定时间范围内,通过两个中心点的位置即可计算出遮挡物体在空间中的位置坐标,然后根据所述位置坐标控制摄像机进行目标跟踪。
但是,红外跟踪定位技术容易受到太阳、投影机等光源中的红外线干扰,容易导致定位不准确;另外,上述红外线跟踪定位系统需要同时配备红外发射设备和红外接收设备,安装部署复杂。
发明内容
本发明实施例中提供了一种单摄像头教师自动跟踪方法、装置及录播系统,以解决现有技术中跟踪定位系统易受外界环境干扰和安装结构复杂的问题。
为了解决上述技术问题,本发明实施例公开了如下技术方案:
一种单摄像头教师自动跟踪方法,包括:
获取摄像装置拍摄的视频图像并进行解码处理;
利用人脸和头肩特征分类器对解码后的视频图像进行跟踪目标识别;
如果未识别到跟踪目标,则向摄像装置发送回归预置位参数控制命令;
如果识别到跟踪目标,则计算所述跟踪目标在所述解码后的视频图像上的位置和大小;
判断所述跟踪目标的位置和大小是否处于所述解码后的视频图像的指定范围内;
如果所述跟踪目标的位置和大小未处于所述解码后的视频图像的指定范围内,则利用三角函数计算和查表插值相结合的计算方法,得出将所述跟踪目标的位置调整到指定值以及所述跟踪目标的大小调整到指定大小相对应的所述摄像装置需要移动的PTZ参数;
根据所述PTZ参数,向所述摄像装置发送PTZ控制命令。
优选地,所述利用所述人脸和头肩特征分类器对解码后的视频图像进行跟踪目标识别,包括:
利用人脸特征分类器对解码后的视频图像进行跟踪目标识别,并判断是否识别到跟踪目标;
如果未识别到跟踪目标,则利用头肩特征分类器对所述解码后的视频图像进行跟踪目标识别。
优选地,所述判断所述跟踪目标的位置和大小是否处于所述解码后的视频图像的指定范围内,包括:
判断所述跟踪目标的位置是否处于所述解码后的视频图像的指定区域范围内;
判断所述跟踪目标的大小在所述解码后的视频图像所占比例是否处于指定范围内。
优选地,所述利用三角函数计算和查表插值相结合的计算方法,得出将所述跟踪目标的位置调整到指定值以及所述跟踪目标的大小调整到指定大小相对应的所述摄像装置需要移动的PTZ参数,包括:
利用θ1-θ2=arctan(x1*tanα/w)-arctan(x2*tanα/w),得出将所述跟踪目标水平方向的位置调整到指定位置时所述摄像装置需要移动的pan角度;
利用得出将所述跟踪目标垂直方向的位置调整到指定位置时所述摄像装置需要移动的tilt角度;
利用θ1=arctan(x*tanα/w)、预先训练好的水平视角和焦距的映射表以及查表插值法,得出将所述跟踪目标大小调整到指定比例时所述摄像装置的zoom调整对应的焦距参数;
其中,x1和y1分别为所述跟踪目标到所述解码后的视频图像中心在水平方向和垂直方向上的距离,x2和y2分别为所述跟踪目标所移到的指定位置到所述解码后的视频图像中心在水平方向和垂直方向上的距离,θ1和分别为所述跟踪目标在水平方向和垂直方向上的视角,θ2和分别为所述跟踪目标所移到的指定位置在水平方向和垂直方向上的视角,w和h为所述解码后的视频图像画面尺寸的宽度和高度的一半,α和β为所述解码后的视频图像边缘在水平和垂直方向上的视角。
优选地,所述预置位参数的设定方法包括:
在开始录播前,调整所述摄像装置的PTZ参数,使拍摄的视频图像为讲堂教师全景图像,保存此时的PTZ参数、并作为所述摄像装置的预置位参数。
优选地,获取摄像装置拍摄的视频图像,还包括:
对所述视频图像进行视频合成以及编码压缩处理,生成课件文件。
一种单摄像头教师自动跟踪装置,包括:
数据获取模块,用于获取摄像机拍摄的视频图像并进行解码处理;
目标识别模块,用于利用人脸和头肩特征分类器对解码后的视频图像进行跟踪目标识别;
目标定位模块,用于计算所述跟踪目标在所述解码后的视频图像上的位置和大小;
目标判断模块,用于判断所述跟踪目标的位置和大小是否处于所述解码后的视频图像的指定范围内;
数据处理模块,用于利用三角函数计算和查表插值相结合的计算方法,得出将所述跟踪目标的位置调整到指定值以及所述跟踪目标的大小调整到指定位值所相对应的所述摄像装置需要移动的PTZ参数;
数据发送模块,用于向摄像装置发送回归预置位参数控制命令,或者,用于根据所述PTZ参数,向所述摄像装置发送PTZ控制命令。
优选地,所述目标识别模块包括第一目标识别子模块和第二目标识别子模块,其中:
所述第一目标识别子模块,用于利用人脸特征分类器对解码后的视频图像进行跟踪目标识别,并判断是否识别到跟踪目标;
所述第二目标识别子模块,用于利用头肩特征分类器对所述解码后的视频图像进行跟踪目标识别。
优选地,所述数据获取模块还用于:
获取预先训练好的所述摄像装置的视角与焦距的映射表。
优选地,所述数据处理模块还用于对所获取的视频图像进行视频合成以及编码压缩处理,生成课件文件。
一种单摄像头教师自动跟踪录播系统,所述系统包括上述的教师自动跟踪装置和摄像装置,其中:
所述摄像装置,用于对所述跟踪目标进行视频拍摄,并将拍摄的视频图像发送给所述教师自动跟踪装置;同时,用于接收所述教师自动跟踪装置发送的PTZ控制命令,并依据所述PTZ控制命令进行水平、垂直方向的视角角度和焦距调整。
由以上技术方案可见,本发明实施例提供的一种单摄像头教师自动跟踪方法、装置及录播系统,所述自动跟踪方法包括:获取摄像装置拍摄的视频图像并进行解码处理;利用人脸和头肩特征分类器对解码后的视频图像进行跟踪目标识别;如果未识别到跟踪目标,则向摄像装置发送回归预置位参数控制命令;如果识别到跟踪目标,则计算所述跟踪目标在所述解码后的视频图像上的位置和大小,并利用三角函数计算和查表插值相结合的计算方法,计算出将所述跟踪目标的位置调整到指定值以及所述跟踪目标的大小调整到指定大小相对应的所述摄像装置需要移动的PTZ参数;根据所述PTZ参数,向所述摄像装置发送PTZ控制命令。本发明采用图像定位,在装置上只需要一个摄像装置和教师自动跟踪装置,克服了系统安装部署复杂的缺点,同时本发明实施通过人脸和头肩特征分类器进行跟踪目标识别,解决了现有技术中的红外定位易受干扰的缺点,且所采用的特征分类器具有目标识别准确的优点;进一步的,本发明实施例利用三角函数计算和查表插值相结合的计算方法,对摄像装置需要移动的PTZ参数进行快捷、精确的计算,能准确控制摄像机云台,进而实现对移动目标的精确自动跟踪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种单摄像头教师自动跟踪方法的流程示意图;
图2为本发明实施例提供的对解码后的视频图像中的跟踪目标位置移动的示意图;
图3为本发明实施例提供的对解码后的视频图像中的跟踪目标位置在水平方向的移动与水平视角的关系图;
图4为本发明实施例提供的对解码后的视频图像中的跟踪目标位置在垂直方向的移动与垂直视角的关系图;
图5为本发明实施例提供的对解码后的视频图像中的跟踪目标比例放大的示意图;
图6为本发明实施例提供的一种教师自动跟踪装置的示意图;
图7为本发明实施例提供的一种单摄像头教师自动跟踪录播系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明实施通过一台摄像装置和一台教师自动跟踪装置,其中教师自动跟踪装置根据摄像装置拍摄的视频图像,利用人脸和头肩分类器识别跟踪目标并判断跟踪目标在视频图像中的位置和大小,然后利用三角函数计算和查表插值相结合的计算方法,发出PTZ控制命令,最终把跟踪目标置于视频图像中的合适位置和大小,其中,所述摄像装置可以为带云台控制的摄像机,所述教师自动跟踪装置可以为录播主机。本发明采用图像定位,克服了现有技术中的红外定位易受干扰和安装部署复杂的缺点,适用于在课堂教学或会议中,对现场发言人员进行跟踪和定位,完成现场视频录制的应用场景。
下面将结合说明书附图对本发明实施例做进一步详细描述。
参见图1,为本发明实施例提供的一种单摄像头教师自动跟踪方法的流程示意图,所述方法包括如下步骤:
步骤S101:获取摄像装置拍摄的视频图像并进行解码处理。
具体的,摄像装置将拍摄的视频图像通过有线或无线传输,发送给自动追踪装置,自动追踪装置获取摄像装置拍摄的视频图像后进行解码处理。
所述自动追踪装置获取所述摄像装置拍摄的视频图像后,还包括对所述视频图像进行视频合成以及编码压缩处理,生成课件文件的步骤。进一步的,生成所述课件文件后,还可以将所述课件文件发送到流媒体服务器,进行课程视频直播,或者将所述课件文件发送到资源管理平台。
步骤S102:利用人脸和头肩特征分类器对解码后的视频图像进行跟踪目标识别。
其中,人脸和头肩特征分类器的识别原理为,将人脸和头肩看作器官特征的组合,根据眼睛、眉毛、嘴巴、鼻子等器官的特征以及相互之间的几何位置关系来检测跟踪目标。基于统计的方法则将跟踪目标看作一个整体的模式(二维像素矩阵),从统计的观点通过大量跟踪目标图像样本构造跟踪目标模式空间,根据相似度量来判断跟踪目标是否存在。
具体的检测识别过程是对输入图像中进行多区域,多尺度的检测。所谓多区域,是要对输入图像划分多块,对每个块进行检测,由于训练的时候用的照片一般都是小图像,所以对于大的跟踪目标,还需要进行多尺度的检测,并为输入图像输出大量的子窗口图像,这些子窗口图像经过筛选式级联分类器会不断地被每一个节点筛选,抛弃或通过。
因此,通过上述检测识别方法,可以对所述解码后的视频图像中的跟踪目标达到准确识别的目的。
进一步的,考虑到视频中的跟踪目标具有不断移动变换的不确定性,为了提高识别速度和准确率,本实施例中采用人脸识别和头肩识别两步识别的方法,具体包括:
先利用人脸特征分类器进行跟踪目标识别,并判断是否识别到跟踪目标;如果未识别到跟踪目标,则利用头肩特征分类器对所述解码后的视频图像进行跟踪目标识别。
本实施例中,在步骤S102之前,还包括加载预先训练好的人脸和头肩特征分类器描述文件,其中所述人脸和头肩特征分类器的具体训练过程为:
步骤S201:准备与所述跟踪目标相关的训练样本图片,包括正样本及负样本,其中,正样本是指只包含待识别跟踪目标的灰度图,负样本是指不包含待识别跟踪目标的背景图片。
步骤S202:生成样本描述文件,利用图片处理工具对样本图片进行处理,生成样本描述文件。
步骤S203:利用工具,读入所述样本描述文件进行处理,得到人脸和头肩特征分类器描述文件。
步骤S103:如果未识别到跟踪目标,则向摄像装置发送回归预置位参数控制命令。
在经过步骤102中的跟踪目标识别后,如果因为所述追踪目标移动过快,导致其不在所述解码后的视频图像中,则向摄像装置发送回归到预置位参数的控制命令,以等待跟踪目标的出现。同时,还可以发出提示报警信号,以提示所述追踪目标回到所述摄像装置的图像采集区域内。
具体的,所述预置位参数的设定方法包括:在开始录播前,调整所述摄像装置的PTZ参数,使拍摄的视频图像为讲堂教师全景图像,保存此时的PTZ参数并作为所述摄像装置的预置位参数。
步骤S104:如果识别到跟踪目标,则计算所述跟踪目标在所述解码后的视频图像上的位置和大小。
步骤S105:判断所述跟踪目标的位置和大小是否处于所述解码后的视频图像的指定范围内。
具体判断步骤包括,首先判断所述跟踪目标的位置是否处于所述解码后的视频图像的指定区域范围内,然后判断所述跟踪目标的大小在所述解码后的视频图像所占比例是否处于指定范围内。当然,并不限于所述判断步骤,可以先判断所述跟踪目标的大小再判断位置,或者两者同时进行判断。
步骤S106:如果所述跟踪目标的位置和大小未处于所述解码后的视频图像的指定范围内,则利用三角函数计算和查表插值相结合的计算方法,得出将所述跟踪目标的位置调整到指定值以及所述跟踪目标的大小调整到指定大小相对应的所述摄像装置需要移动的PTZ参数。
以图2为例,为本发明实施例提供的对解码后的视频图像中的跟踪目标位置移动的示意图。假设A点为所述跟踪目标在解码后的视频图像中位置,x1和y1分别为A点到所述解码后的视频图像中心水平方向和垂直方向上的距离;B点为所述跟踪目标需要移动到的指定目标位置,x2和y2分别为B点到所述解码后的视频图像中心水平方向和垂直方向上的距离。如果把A点移动到B点,则有以下的对应关系:
如图3所示,为跟踪目标在水平方向的距离与水平视角的关系图。
利用三角函数关系,根据x1/tanθ1=w/tanα,得出θ1=arctan(x1*tanα/w)(1)
根据x2/tanθ2=w/tanα,得出θ2=arctan(x2*tanα/w)(2)
根据公式(1)和(2),便可以得出将所述跟踪目标水平方向的位置Ax调整到指定位置Bx时,所述摄像装置需要移动的pan角度为θ1-θ2=arctan(x1*tanα/w)-arctan(x2*tanα/w)。
如图4所示,为跟踪目标在垂直方向的距离与水平视角的关系图。
同样的利用三角函数关系,根据得出
根据得出
根据公式(3)和(4),便可以得出将所述跟踪目标垂直方向的位置Ay调整到指定位置By时,所述摄像装置需要移动的tilt角度
上述公式中,θ1和分别为所述跟踪目标在水平方向和垂直方向上的视角、即所述跟踪目标相对摄像装置在水平方向和垂直方向上的视角,θ2和分别为所述跟踪目标所移到的指定位置在水平方向和垂直方向上的视角,w和h为所述解码后的视频图像画面尺寸的宽度和高度的一半,α和β为所述解码后的视频图像边缘在水平和垂直方向上的视角。
进一步的,如果所述跟踪目标所述解码后的视频图像中的比例小于预设比例,如图5,为对解码后的视频图像中的跟踪目标比例放大的示意图。
利用θ1=arctan(x1*tanα/w)、预先训练好的水平视角和焦距的映射表以及查表插值法,计算出水平角度为θ1时相对应所述摄像装置的第一焦距参数,并根据将所述跟踪目标调整到指定大小时相对应的预设焦距参数,便可以得出将所述跟踪目标的大小调整到指定比例时所述摄像装置的zoom调整对应的焦距参数。当然,也可以利用所述跟踪目标垂直方向的参数进行焦距调整。
其中,训练水平视角和焦距的映射表的具体方法包括:
步骤301:把摄像装置的初始pan,tilt角度设置为零度。
步骤302:把摄像装置的焦距f调整到最大,调整摄像装置的pan角度,使之前pan角度为0时在图像水方边缘的零度向移动到图像中央,此时pan角度相对于pan为零度时转动的角度值即为f对应的水平视角。同理,在pan为零度时,调整tilt,使tilt为零度时在图像垂直边缘的零度移动到图像中央,此时的tilt为f对应的垂直视角。
步骤303:按照步骤302的方法,把摄像装置的焦距f调整另一个值f1,得到与f1对应的水平视角和垂直视角。通过多次改变所述摄像装置的焦距,最终得到fmax和fmin之间的多个f及其对应的水平视角和垂直视角。
步骤S107:根据所述PTZ参数,向所述摄像装置发送PTZ控制命令。
具体为,根据在步骤S106中得出的PTZ参数,向所述摄像装置发送PTZ控制命令。
本发明实施例提供的教学录播的方法,通过获取摄像装置拍摄的视频图像并进行解码处理;利用人脸和头肩特征分类器对解码后的视频图像进行跟踪目标识别;如果未识别到跟踪目标,则向摄像装置发送回归到预置位参数的控制命令,等待跟踪目标出现;如果识别到跟踪目标,则计算所述跟踪目标在所述解码后的视频图像上的位置和大小,并利用三角函数计算和查表插值相结合的计算方法,计算出将所述跟踪目标的位置和大小调整到指定范围相对应的所述摄像装置需要移动的PTZ参数;根据所述PTZ参数,向所述摄像装置发送PTZ控制命令。本发明采用图像定位,在装置上只需要一个摄像装置和教师自动跟踪装置,克服了系统安装部署复杂的缺点,同时本发明实施通过人脸和头肩特征分类器进行跟踪目标识别,解决了现有技术中的红外定位易受干扰的缺点,且所采用的特征分类器具有目标识别准确的优点;进一步的,本发明实施例利用三角函数计算和查表插值相结合的计算方法,对摄像装置需要移动的PTZ参数进行快捷、精确的计算,能准确控制摄像机云台,实现对移动目标的精确自动跟踪。
本发明实施例提供的教师自动跟踪装置,对应上述方法实施例,可以用于上述方法实施例中的所有步骤,该教师自动跟踪装置对应的详细方法步骤在上述方法实施例中已经说明,在此不再详细描述。如图6所示,包括:
数据获取模块411,用于获取摄像机拍摄的视频图像并进行解码处理。
其中,所述数据获取模块411还可以用于,获取预先训练好的所述摄像装置的视角与焦距的映射表以及预先训练好的人脸和头肩特征在分类器。
目标识别模块412,用于利用人脸和头肩特征分类器对解码后的视频图像进行跟踪目标识别。
其中,所述目标识别模块412包括第一目标识别子模块和第二目标识别子模块,其中,所述第一目标识别子模块,用于利用人脸特征分类器对解码后的视频图像进行跟踪目标识别、并判断是否识别到跟踪目标;所述第二目标识别子模块,用于利用头肩特征分类器对所述解码后的视频图像进行跟踪目标识别。
目标定位模块413,用于计算所述跟踪目标在所述解码后的视频图像上的位置和大小。
目标判断模块414,用于判断所述跟踪目标的位置和大小是否处于所述解码后的视频图像的指定范围内。
数据处理模块415,用于利用三角函数计算和查表插值相结合的计算方法,得出将所述跟踪目标的位置调整到指定值以及所述跟踪目标的大小调整到指定位值所相对应的所述摄像装置需要移动的PTZ参数。
其中,所述数据处理模块415还可以用于对所获取的视频图像进行视频合成以及编码压缩处理,生成课件文件。
数据发送模块416,用于向摄像装置发送回归预置位参数控制命令,或者,用于根据所述PTZ参数,向所述摄像装置发送PTZ控制命令。
其中,所述数据发送模块416还可以用于将所述课件文件发送到流媒体服务器或资源管理平台。
本发明实施例还提供一种单摄像头教师自动跟踪录播系统,如图7所示,包括上述的教师自动跟踪装置40以及摄像装置50。
所述摄像装置50通过视频线或网线与所述教师自动跟踪装置40相连接。
所述摄像装置50,用于对所述跟踪目标进行视频拍摄,并将拍摄的视频图像发送给所述教师自动跟踪装置;同时,用于接收所述教师自动跟踪装置发送的PTZ控制命令,并依据所述PTZ控制命令进行水平、垂直方向的视角角度和焦距调整。
所述教师自动跟踪装置40,对应的模块以及方法步骤在上述实施例中已经说明,在此不再详细描述。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (11)
1.一种单摄像头教师自动跟踪方法,其特征在于,包括:
获取摄像装置拍摄的视频图像并进行解码处理;
利用人脸和头肩特征分类器对解码后的视频图像进行跟踪目标识别;
如果未识别到跟踪目标,则向摄像装置发送回归预置位参数控制命令;
如果识别到跟踪目标,则计算所述跟踪目标在所述解码后的视频图像上的位置和大小;
判断所述跟踪目标的位置和大小是否处于所述解码后的视频图像的指定范围内;
如果所述跟踪目标的位置和大小未处于所述解码后的视频图像的指定范围内,则利用三角函数计算和查表插值相结合的计算方法,得出将所述跟踪目标的位置调整到指定值以及所述跟踪目标的大小调整到指定大小相对应的所述摄像装置需要移动的PTZ参数;
根据所述PTZ参数,向所述摄像装置发送PTZ控制命令。
2.根据权利要求1所述的单摄像头教师自动跟踪方法,其特征在于,所述利用所述人脸和头肩特征分类器对解码后的视频图像进行跟踪目标识别,包括:
利用人脸特征分类器对解码后的视频图像进行跟踪目标识别,并判断是否识别到跟踪目标;
如果未识别到跟踪目标,则利用头肩特征分类器对所述解码后的视频图像进行跟踪目标识别。
3.根据权利要求1所述的单摄像头教师自动跟踪方法,其特征在于,所述判断所述跟踪目标的位置和大小是否处于所述解码后的视频图像的指定范围内,包括:
判断所述跟踪目标的位置是否处于所述解码后的视频图像的指定区域范围内;
判断所述跟踪目标的大小在所述解码后的视频图像所占比例是否处于指定范围内。
4.根据权利要求1所述的单摄像头教师自动跟踪方法,其特征在于,所述利用三角函数计算和查表插值相结合的计算方法,得出将所述跟踪目标的位置调整到指定值以及所述跟踪目标的大小调整到指定大小相对应的所述摄像装置需要移动的PTZ参数,包括:
利用θ1-θ2=arctan(x1*tanα/w)-arctan(x2*tanα/w),得出将所述跟踪目标水平方向的位置调整到指定位置时所述摄像装置需要移动的pan角度;
利用得出将所述跟踪目标垂直方向的位置调整到指定位置时所述摄像装置需要移动的tilt角度;
利用θ1=arctan(x*tanα/w)、预先训练好的水平视角和焦距的映射表以及查表插值法,得出将所述跟踪目标大小调整到指定比例时所述摄像装置的zoom调整对应的焦距参数;
其中,x1和y1分别为所述跟踪目标到所述解码后的视频图像中心在水平方向和垂直方向上的距离,x2和y2分别为所述跟踪目标所移到的指定位置到所述解码后的视频图像中心在水平方向和垂直方向上的距离,θ1和分别为所述跟踪目标在水平方向和垂直方向上的视角,θ2和分别为所述跟踪目标所移到的指定位置在水平方向和垂直方向上的视角,w和h为所述解码后的视频图像画面尺寸的宽度和高度的一半,α和β为所述解码后的视频图像边缘在水平和垂直方向上的视角。
5.根据权利要求1所述的单摄像头教师自动跟踪方法,其特征在于,所述预置位参数的设定方法包括:
在开始录播前,调整所述摄像装置的PTZ参数,使拍摄的视频图像为讲堂教师全景图像,保存此时的PTZ参数、并作为所述摄像装置的预置位参数。
6.根据权利要求1-5所述的单摄像头教师自动跟踪方法,其特征在于,所述获取摄像装置拍摄的视频图像,还包括:
对所述视频图像进行视频合成以及编码压缩处理,生成课件文件。
7.一种单摄像头教师自动跟踪装置,其特征在于,包括:
数据获取模块,用于获取摄像机拍摄的视频图像并进行解码处理;
目标识别模块,用于利用人脸和头肩特征分类器对解码后的视频图像进行跟踪目标识别;
目标定位模块,用于计算所述跟踪目标在所述解码后的视频图像上的位置和大小;
目标判断模块,用于判断所述跟踪目标的位置和大小是否处于所述解码后的视频图像的指定范围内;
数据处理模块,用于利用三角函数计算和查表插值相结合的计算方法,得出将所述跟踪目标的位置调整到指定值以及所述跟踪目标的大小调整到指定位值所相对应的所述摄像装置需要移动的PTZ参数;
数据发送模块,用于向摄像装置发送回归预置位参数控制命令,或者,用于根据所述PTZ参数,向所述摄像装置发送PTZ控制命令。
8.根据权利要求7所述的单摄像头教师自动跟踪装置,其特征在于,所述目标识别模块包括第一目标识别子模块和第二目标识别子模块,其中:
所述第一目标识别子模块,用于利用人脸特征分类器对解码后的视频图像进行跟踪目标识别,并判断是否识别到跟踪目标;
所述第二目标识别子模块,用于利用头肩特征分类器对所述解码后的视频图像进行跟踪目标识别。
9.根据权利要求7所述的单摄像头教师自动跟踪装置,其特征在于,所述数据获取模块还用于:
获取预先训练好的所述摄像装置的视角与焦距的映射表。
10.根据权利要求7所述的单摄像头教师自动跟踪装置,其特征在于,所述数据处理模块还用于对所获取的视频图像进行视频合成以及编码压缩处理,生成课件文件。
11.一种单摄像头教师自动跟踪录播系统,其特征在于,所述系统包括权利要求7-10任一所述的教师自动跟踪装置,以及摄像装置,其中:
所述摄像装置,用于对所述跟踪目标进行视频拍摄,并将拍摄的视频图像发送给所述教师自动跟踪装置;同时,用于接收所述教师自动跟踪装置发送的PTZ控制命令,并依据所述PTZ控制命令进行水平、垂直方向的视角角度和焦距调整。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610028161.0A CN105718862A (zh) | 2016-01-15 | 2016-01-15 | 一种单摄像头教师自动跟踪方法、装置及录播系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610028161.0A CN105718862A (zh) | 2016-01-15 | 2016-01-15 | 一种单摄像头教师自动跟踪方法、装置及录播系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105718862A true CN105718862A (zh) | 2016-06-29 |
Family
ID=56147157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610028161.0A Pending CN105718862A (zh) | 2016-01-15 | 2016-01-15 | 一种单摄像头教师自动跟踪方法、装置及录播系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105718862A (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106131506A (zh) * | 2016-08-23 | 2016-11-16 | 北京汉博信息技术有限公司 | 一种可视化数据跟踪采集终端 |
CN106251334A (zh) * | 2016-07-18 | 2016-12-21 | 华为技术有限公司 | 一种摄像机参数调整方法、导播摄像机及系统 |
CN106713740A (zh) * | 2016-10-18 | 2017-05-24 | 广州视源电子科技股份有限公司 | 定位跟踪摄像方法与系统 |
CN106934402A (zh) * | 2017-03-10 | 2017-07-07 | 周艳 | 室内移动视频跟踪定位辅助拍摄方法和装置 |
WO2018027698A1 (zh) * | 2016-08-10 | 2018-02-15 | 张北江 | 安防视频会议的头像追踪方法及系统 |
CN107749951A (zh) * | 2017-11-09 | 2018-03-02 | 睿魔智能科技(东莞)有限公司 | 一种用于无人摄影的视觉感知方法和系统 |
CN107948946A (zh) * | 2017-11-09 | 2018-04-20 | 南京南自信息技术有限公司 | 一种工业场所高精度人员定位球型摄像机跟踪方法 |
WO2018177050A1 (zh) * | 2017-03-29 | 2018-10-04 | 华为技术有限公司 | 一种对象识别方法、设备和系统 |
CN108881765A (zh) * | 2018-05-25 | 2018-11-23 | 讯飞幻境(北京)科技有限公司 | 轻量录播方法、装置及系统 |
CN109756678A (zh) * | 2019-01-24 | 2019-05-14 | 深圳玛蒂莲文化投资发展有限公司 | 一种室内定位跟踪系统及其在酒吧、ktv的应用 |
CN109788221A (zh) * | 2019-01-25 | 2019-05-21 | 新晨易捷(北京)科技有限公司 | 一种录播方法及装置 |
CN110456829A (zh) * | 2019-08-07 | 2019-11-15 | 深圳市维海德技术股份有限公司 | 定位跟踪方法、装置及计算机可读存储介质 |
CN110633612A (zh) * | 2019-11-20 | 2019-12-31 | 中通服创立信息科技有限责任公司 | 一种巡检机器人的监控方法及系统 |
CN112492244A (zh) * | 2020-11-30 | 2021-03-12 | 濮阳职业技术学院 | 英语线上教学用视频录制装置 |
CN112584035A (zh) * | 2019-09-27 | 2021-03-30 | 佳能株式会社 | 拍摄控制设备、摄像设备及拍摄控制方法 |
CN112784680A (zh) * | 2020-12-23 | 2021-05-11 | 中国人民大学 | 一种人流密集场所锁定密集接触者的方法和系统 |
CN113327400A (zh) * | 2021-05-31 | 2021-08-31 | 浙江大华技术股份有限公司 | 火情隐患监测方法、装置、系统和存储介质 |
CN113676699A (zh) * | 2021-06-29 | 2021-11-19 | 深圳点猫科技有限公司 | 一种嵌入式单摄像机的老师跟踪方法、系统及存储介质 |
CN113674312A (zh) * | 2021-06-30 | 2021-11-19 | 浙江大华技术股份有限公司 | 目标跟踪特写方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102215377A (zh) * | 2010-04-07 | 2011-10-12 | 北京智安邦科技有限公司 | Ptz单目标自动跟踪的装置及方法 |
CN103581614A (zh) * | 2012-08-01 | 2014-02-12 | 通号通信信息集团有限公司 | 基于ptz的视频中目标跟踪方法及系统 |
CN103591953A (zh) * | 2013-11-20 | 2014-02-19 | 无锡赛思汇智科技有限公司 | 一种基于单摄像头的人员定位方法 |
CN104484889A (zh) * | 2014-12-15 | 2015-04-01 | 三峡大学 | 目标跟踪方法和装置 |
-
2016
- 2016-01-15 CN CN201610028161.0A patent/CN105718862A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102215377A (zh) * | 2010-04-07 | 2011-10-12 | 北京智安邦科技有限公司 | Ptz单目标自动跟踪的装置及方法 |
CN103581614A (zh) * | 2012-08-01 | 2014-02-12 | 通号通信信息集团有限公司 | 基于ptz的视频中目标跟踪方法及系统 |
CN103591953A (zh) * | 2013-11-20 | 2014-02-19 | 无锡赛思汇智科技有限公司 | 一种基于单摄像头的人员定位方法 |
CN104484889A (zh) * | 2014-12-15 | 2015-04-01 | 三峡大学 | 目标跟踪方法和装置 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106251334B (zh) * | 2016-07-18 | 2019-03-01 | 华为技术有限公司 | 一种摄像机参数调整方法、导播摄像机及系统 |
CN106251334A (zh) * | 2016-07-18 | 2016-12-21 | 华为技术有限公司 | 一种摄像机参数调整方法、导播摄像机及系统 |
WO2018027698A1 (zh) * | 2016-08-10 | 2018-02-15 | 张北江 | 安防视频会议的头像追踪方法及系统 |
CN106131506A (zh) * | 2016-08-23 | 2016-11-16 | 北京汉博信息技术有限公司 | 一种可视化数据跟踪采集终端 |
CN106713740A (zh) * | 2016-10-18 | 2017-05-24 | 广州视源电子科技股份有限公司 | 定位跟踪摄像方法与系统 |
CN106713740B (zh) * | 2016-10-18 | 2019-12-17 | 广州视源电子科技股份有限公司 | 定位跟踪摄像方法与系统 |
CN106934402A (zh) * | 2017-03-10 | 2017-07-07 | 周艳 | 室内移动视频跟踪定位辅助拍摄方法和装置 |
WO2018177050A1 (zh) * | 2017-03-29 | 2018-10-04 | 华为技术有限公司 | 一种对象识别方法、设备和系统 |
CN107948946A (zh) * | 2017-11-09 | 2018-04-20 | 南京南自信息技术有限公司 | 一种工业场所高精度人员定位球型摄像机跟踪方法 |
CN107749951A (zh) * | 2017-11-09 | 2018-03-02 | 睿魔智能科技(东莞)有限公司 | 一种用于无人摄影的视觉感知方法和系统 |
CN107948946B (zh) * | 2017-11-09 | 2020-06-02 | 南京南自信息技术有限公司 | 一种工业场所高精度人员定位球型摄像机跟踪方法 |
CN108881765A (zh) * | 2018-05-25 | 2018-11-23 | 讯飞幻境(北京)科技有限公司 | 轻量录播方法、装置及系统 |
CN109756678A (zh) * | 2019-01-24 | 2019-05-14 | 深圳玛蒂莲文化投资发展有限公司 | 一种室内定位跟踪系统及其在酒吧、ktv的应用 |
CN109788221A (zh) * | 2019-01-25 | 2019-05-21 | 新晨易捷(北京)科技有限公司 | 一种录播方法及装置 |
CN110456829A (zh) * | 2019-08-07 | 2019-11-15 | 深圳市维海德技术股份有限公司 | 定位跟踪方法、装置及计算机可读存储介质 |
CN112584035A (zh) * | 2019-09-27 | 2021-03-30 | 佳能株式会社 | 拍摄控制设备、摄像设备及拍摄控制方法 |
CN110633612A (zh) * | 2019-11-20 | 2019-12-31 | 中通服创立信息科技有限责任公司 | 一种巡检机器人的监控方法及系统 |
CN112492244A (zh) * | 2020-11-30 | 2021-03-12 | 濮阳职业技术学院 | 英语线上教学用视频录制装置 |
CN112492244B (zh) * | 2020-11-30 | 2022-05-27 | 濮阳职业技术学院 | 英语线上教学用视频录制装置 |
CN112784680A (zh) * | 2020-12-23 | 2021-05-11 | 中国人民大学 | 一种人流密集场所锁定密集接触者的方法和系统 |
CN112784680B (zh) * | 2020-12-23 | 2024-02-02 | 中国人民大学 | 一种人流密集场所锁定密集接触者的方法和系统 |
CN113327400A (zh) * | 2021-05-31 | 2021-08-31 | 浙江大华技术股份有限公司 | 火情隐患监测方法、装置、系统和存储介质 |
CN113676699A (zh) * | 2021-06-29 | 2021-11-19 | 深圳点猫科技有限公司 | 一种嵌入式单摄像机的老师跟踪方法、系统及存储介质 |
CN113674312A (zh) * | 2021-06-30 | 2021-11-19 | 浙江大华技术股份有限公司 | 目标跟踪特写方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105718862A (zh) | 一种单摄像头教师自动跟踪方法、装置及录播系统 | |
US12135371B2 (en) | Multi-camera laser scanner | |
US10339386B2 (en) | Unusual event detection in wide-angle video (based on moving object trajectories) | |
US11102417B2 (en) | Target object capturing method and device, and video monitoring device | |
CN104754302B (zh) | 一种基于枪球联动系统的目标检测跟踪方法 | |
US8390686B2 (en) | Surveillance camera apparatus and surveillance camera system | |
EP2993894B1 (en) | Image capturing method and electronic apparatus | |
US20150229841A1 (en) | Target tracking method and system for intelligent tracking high speed dome camera | |
US20090167867A1 (en) | Camera control system capable of positioning and tracking object in space and method thereof | |
CN111062234A (zh) | 一种监控方法、智能终端及计算机可读存储介质 | |
CN104320587A (zh) | 一种室外云台摄像机的自动获取取景范围的方法 | |
CN107452021A (zh) | 基于单镜头图像动态识别的摄像机自动跟踪系统及其方法 | |
GB2459033A (en) | Resolution reduced video monitoring method to enable real time video processing | |
CN107343165A (zh) | 一种监控方法、设备及系统 | |
WO2015042897A1 (zh) | 一种控制方法、控制装置及控制设备 | |
CN205827430U (zh) | 基于单镜头图像动态识别的摄像机自动跟踪系统 | |
CN106584516A (zh) | 一种特定对象追踪用智能摄像机器人 | |
CN112839165B (zh) | 人脸跟踪摄像的实现方法、装置、计算机设备和存储介质 | |
KR20150019230A (ko) | 복수의 카메라를 이용한 객체 추적 방법 및 장치 | |
CN107071347A (zh) | 一种无线定位设备的调整方法以及前端设备 | |
CN114040107B (zh) | 智能汽车图像拍摄系统、方法、车辆及介质 | |
CN112702513B (zh) | 一种双光云台协同控制方法、装置、设备及存储介质 | |
CN110225247B (zh) | 一种图像处理方法及电子设备 | |
CN201839377U (zh) | 全场景红外分离自动跟踪装置 | |
Wang et al. | Automatic control of PTZ camera based on object detection and scene partition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160629 |
|
RJ01 | Rejection of invention patent application after publication |