CN117278858B - 目标监测方法和装置 - Google Patents

目标监测方法和装置 Download PDF

Info

Publication number
CN117278858B
CN117278858B CN202311561131.2A CN202311561131A CN117278858B CN 117278858 B CN117278858 B CN 117278858B CN 202311561131 A CN202311561131 A CN 202311561131A CN 117278858 B CN117278858 B CN 117278858B
Authority
CN
China
Prior art keywords
cradle head
target
video stream
camera
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311561131.2A
Other languages
English (en)
Other versions
CN117278858A (zh
Inventor
张�成
罗哲
王睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202311561131.2A priority Critical patent/CN117278858B/zh
Publication of CN117278858A publication Critical patent/CN117278858A/zh
Application granted granted Critical
Publication of CN117278858B publication Critical patent/CN117278858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects

Abstract

本发明实施例提出目标监测方法和装置。方法包括:获取摄像机在静止状态下采集的第一视频流,在第一视频流中实时检测目标;若连续第一时长内未在第一视频流中检测到目标,则触发摄像机的云台开始水平全扫描,且获取摄像机在运动状态下采集的第二视频流,在第二视频流中实时检测目标;根据在第二视频流中检测到的目标,确定云台的最佳目标监测位置;将云台调整到最佳目标监测位置后保持云台静止。本发明实施例提高了目标监测的效率。

Description

目标监测方法和装置
技术领域
本发明涉及图像处理技术领域,尤其涉及目标监测方法和装置。
背景技术
在对特定场景进行监测时,如何实现对目标的快速、准确地检测和跟进,是目前的重要课题。
常见的一种方式是采用雷达式分块扫描的方式,在该方式下,云台会按照固定的转速转动,驱动摄像头对固定的各区间进行扫描,且为了覆盖足够大的场景通常需要划分较多的区间块。这种方式的缺点如下:
一)由于摄像头是对每个区间轮流扫描,这样当某个或某些区间长时间无目标时,仍会持续地对这个或这些区间进行扫描,从而导致很多无效的扫描工作,也增大了整个过程的耗时;
二)由于摄像头始终在扫描,即摄像头始终处于运动状态,因此,对于目标特征识别的准确性不如摄像头静止状态下高;
三)该方式只给出了对单目标的检测和跟进,并未给出针对多目标场景的处理方法;
四)该方式中,云台转速始终是固定的,这样当摄像头的倍率较大时,可能会导致画面移动得较快,从而导致目标识别率降低。
发明内容
本发明实施例提出目标监测方法和装置,以提高目标监测的效率。
本发明实施例的技术方案是这样实现的:
一种目标监测方法,该方法包括:
获取摄像机在静止状态下采集的第一视频流,在第一视频流中实时检测目标;
若连续第一时长内未在第一视频流中检测到目标,则触发摄像机的云台开始水平全扫描,且获取摄像机在运动状态下采集的第二视频流,在第二视频流中实时检测目标;
根据在第二视频流中检测到的目标,确定云台的最佳目标监测位置;
将云台调整到最佳目标监测位置后保持云台静止。
所述在第二视频流中实时检测目标,包括:
当在第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的位置;
所述根据在第二视频流中检测到的目标,确定云台的最佳目标监测位置,包括:
当云台对监测场景完成水平全扫描,根据在该扫描过程中记录的每次检测到目标时的目标数,在记录的各目标数中选出最大目标数,根据最大目标数对应的云台位置确定云台的最佳目标监测位置。
所述触发摄像机的云台开始水平全扫描,且获取摄像机在运动状态下采集的第二视频流,在第二视频流中实时检测目标,包括:
A、触发云台保持当前垂直角度不变,开始沿水平方向顺时针或逆时针转动,并获取摄像机在水平运动状态下采集的水平状态第二视频流,当在水平状态第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的水平角度和垂直角度;
B、触发云台保持当前水平角度不变,并触发云台沿垂直方向扫描周围环境,垂直扫描范围为:当前画面中的所有目标对应的垂直方向范围,并获取摄像机在垂直运动状态下采集的垂直状态第二视频流,当在垂直状态第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的水平角度和垂直角度;
C、当云台沿垂直方向扫描周围环境结束时,触发云台返回步骤B开始时云台所在的位置,然后返回步骤A,直至云台完成对监测场景的水平全扫描。
步骤A所述当在水平状态第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的水平角度和垂直角度,包括:
当在水平状态第二视频流中检测到目标时,触发云台继续沿水平方向顺时针或逆时针转动,直至当前画面中位于最右侧的目标的右边界移动到画面的最右侧或者当前画面中位于最左侧的目标的左边界移动到画面的最左侧时,触发云台停止沿水平方向转动,并对当前画面进行目标检测,记录当前画面中的目标数和当前云台的水平角度和垂直角度。
步骤B所述触发云台沿垂直方向扫描周围环境,包括:
触发云台沿垂直方向向下转动,直到当前画面上最上侧目标的上边界到达当前画面的上边界,然后触发云台沿垂直方向向上转动,直至当前画面上最下侧目标的下边界到达当前画面的下边界,且,在云台垂直转动的过程中,对摄像机采集的画面进行实时目标检测,当检测到画面中有新目标出现时,更新最近记录的当前画面中的目标数,并以当前云台的垂直角度更新最近记录的云台的垂直角度。
所述根据最大目标数对应的云台位置确定云台的最佳目标监测位置,包括:
将云台调整至最大目标数对应的云台位置,并计算当前画面中所有目标的中心点,则将画面中心与所述所有目标的中心点重合时云台所在的位置作为云台的最佳目标监测位置。
所述将云台调整至最大目标数对应的云台位置,包括:
当最大目标数出现多个时,则在该多个最大目标数对应的云台位置中选择最靠近云台在开始水平全扫描前所处位置的位置,将云台调整至所选择的位置。
所述将云台调整到最佳目标监测位置,包括:
设定一个以最佳目标监测位置为中心,以预设第一长度为宽,以预设第二长度为高的矩形,触发云台沿水平方向或/和垂直方向转动,并实时检测摄像机的画面中心,当检测到摄像机的画面中心位于该矩形内时,则确定云台已调整到最佳目标检测位置。
所述若连续第一时长内未在第一视频流中检测到目标之后、所述触发摄像机的云台开始水平全扫描之前,进一步包括:
触发云台完成一次状态自检,包括:触发云台保持当前水平角度不变,沿垂直方向向上转动到顶端的机械限位点,然后沿垂直方向向下转动到底端的机械限位点,状态自检完成,触发云台返回状态自检前所在的位置。
所述触发摄像机的云台开始水平全扫描,包括:
根据当前摄像机的倍率,确定云台的转速,触发摄像机的云台按照确定的转速开始水平全扫描,其中,摄像机的倍率与云台的转速成反比。
所述在第二视频流中实时检测目标之后,进一步包括:
若摄像机的云台对监测场景水平全扫描结束时,仍未在第二视频流中检测到任何目标,则触发云台返回开始水平全扫描前所处位置后保持云台静止。
一种目标监测装置,该装置包括:
检测及控制模块,用于获取摄像机在静止状态下采集的第一视频流,在第一视频流中实时检测目标;若连续第一时长内未在第一视频流中检测到目标,则触发摄像机的云台开始水平全扫描,且获取摄像机在运动状态下采集的第二视频流,在第二视频流中实时检测目标,将检测到的目标信息发送给监测计算模块;当接收到监测计算模块发来的云台的最佳目标监测位置,将云台调整到最佳目标监测位置后保持云台静止;
监测计算模块,用于根据检测及控制模块发来的目标信息,确定云台的最佳目标监测位置,将云台的最佳目标监测位置发送给检测及控制模块。
上述实施例中,当摄像机在静止状态采集的第一视频流中连续第一时长未出现目标时,才触发云台开始扫描,从而避免了在画面中存在目标时摄像机仍在持续的转动,既减少了摄像机的无效扫描,也提高了对目标的检测准确度;在云台扫描监测场景的过程中,若在第二视频流中检测到目标,则根据检测到的目标确定云台的最佳目标监测位置,然后将云台调整到最佳目标监测位置后保持云台静止,从而使得云台能够从无目标位置调整到有目标的最佳监测位置,提高了目标监测的效率和目标检测的准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的目标监测方法的流程图;
图2为将云台调整到最佳目标监测位置的示例图;
图3为当云台在水平方向逆时针转动时,当检测到目标时对云台的控制过程图;
图4为控制云台沿垂直方向扫描周围环境的示意图;
图5为本发明一实施例提供的目标监测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
图1为本发明一实施例提供的目标监测方法的流程图,其具体步骤如下:
步骤101:获取摄像机在静止状态下采集的第一视频流,在第一视频流中实时检测目标。
摄像机在静止状态下即,云台此时处于静止状态,云台未进行水平方向或垂直方向的转动。
本步骤中,可以实时或周期性地获取摄像机在静止状态下采集的第一视频流,第一视频流可以是一段视频,也可以是单帧图片。
步骤102:若连续第一时长内未在第一视频流中检测到目标,则触发摄像机的云台开始水平全扫描,且获取摄像机在运动状态下采集的第二视频流,在第二视频流中实时检测目标。
第一时长的具体取值可根据经验等设定,例如:第一时长的取值范围为[0,60]分钟。当第一时长为0分钟时,表示步骤101~104在摄像机启动后只执行一次、不重复执行;当第一时长非0时,则表示步骤101~104会循环执行,即只要在摄像机处于静止状态后,若连续第一时长内未在第一视频流中检测到目标,则触发后续流程。
一可选实施例中,为了防止云台被外力干扰导致坐标错位,本步骤102中,若连续第一时长内未在第一视频流中检测到目标之后、触发摄像机的云台开始水平全扫描之前,进一步包括:触发云台完成一次状态自检,包括:触发云台保持当前水平角度不变,沿垂直方向向上转动到顶端的机械限位点,然后沿垂直方向向下转动到底端的机械限位点,状态自检完成,触发云台返回状态自检前所在的位置。
一可选实施例中,为了使得在摄像机的不同倍率下,都能保证目标检测的准确度,本步骤102中,触发摄像机的云台开始水平全扫描,包括:根据当前摄像机的倍率,确定云台的转速,触发摄像机的云台按照确定的转速开始水平全扫描,其中,摄像机的倍率与云台的转速成反比。
步骤103:根据在第二视频流中检测到的目标,确定云台的最佳目标监测位置。
步骤104:将云台调整到最佳目标监测位置后保持云台静止。
一可选实施例中,在执行完步骤104后,返回步骤101,以实现对周围环境的持续、自动、全面的目标监测,即使中间存在对目标监测的人为干扰如:人为调整云台角度以使得摄像机监测不到目标,通过上述步骤101~104的循环执行,也能调整回正常监测模式。
在实际应用中,步骤101~104的执行主体可以是独立于摄像机和云台的控制平台,也可以是位于摄像机或云台内的控制模块。
上述实施例中,当摄像机在静止状态采集的第一视频流中连续第一时长未出现目标时,才触发云台开始扫描,从而避免了在画面中存在目标时摄像机仍在持续的转动,既减少了摄像机的无效扫描,也提高了对目标的检测准确度;在云台扫描监测场景的过程中,若在第二视频流中检测到目标,则根据检测到的目标确定云台的最佳目标监测位置,然后将云台调整到最佳目标监测位置后保持云台静止,从而使得云台能够从无目标位置调整到有目标的最佳监测位置,提高了目标监测的效率和目标检测的准确度。
一可选实施例中,考虑到:当某个画面中出现的目标数越多时,表示该画面所在的区域的监测重要性越高,越应该将该区域列为首要关注的监测区域,因此,步骤102中,在第二视频流中实时检测目标,包括:当在第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的位置;且,步骤103中,根据在第二视频流中检测到的目标,确定云台的最佳目标监测位置,包括:当云台对监测场景完成水平全扫描,根据在该扫描过程中记录的每次检测到目标时的目标数,在记录的各目标数中选出最大目标数,根据最大目标数对应的云台位置确定云台的最佳目标监测位置。
其中,云台对监测场景完成水平全扫描指的是,完成对监测场景的水平监测范围的全扫描,例如:若水平监测范围为360°,则需要完成对监测场景水平扫描一周;若水平监测范围为270°,则完成对监测场景水平扫描270°即可。
一可选实施例中,步骤103中,根据最大目标数对应的云台位置确定云台的最佳目标监测位置,包括:将云台调整至最大目标数对应的云台位置,并计算当前画面中所有目标的中心点,则将画面中心与该所有目标的中心点重合时云台所在的位置作为云台的最佳目标监测位置。其中,所有目标的中心点指的是包含所有目标的最小矩形框的中心点。
通过上述实施例可以看出,本发明实施例可兼容单一目标和多目标场景,在画面中存在多个目标时,根据所有目标的中心点确定云台的最佳目标监测位置,从而实现了对多目标的准确监测。
一可选实施例中,为了最大化地降低云台调整对目标监测实时性的影响,步骤103中,将云台调整至最大目标数对应的云台位置,包括:当最大目标数出现多个时,则在该多个最大目标数对应的云台位置中选择最靠近云台在开始水平全扫描前所处位置的位置,将云台调整至所选择的位置。
一可选实施例中,考虑到:在调整云台位置时,由于调整精度的限制,若要将云台精确调整到最佳目标监测位置所对应的像素点,则可能需要花费较多时长,因此,为了达到云台调整精度和调整耗时之间的平衡,步骤104中,将云台调整到最佳目标监测位置,包括:设定一个以最佳目标监测位置为中心,以预设第一长度为宽,以预设第二长度为高的矩形,触发云台沿水平方向或/和垂直方向转动,并实时检测摄像机的画面中心,当检测到摄像机的画面中心位于该矩形内时,则确定云台已调整到最佳目标检测位置。其中,第一长度和第二长度的具体取值可根据经验等设定,例如:第一长度为100像素点,第二长度为50像素点。
图2给出了将云台调整到最佳目标监测位置的示例,如图2所示,当云台对监测场景完成水平全扫描时,根据记录的每次检测到目标时的目标数,发现最大目标数为2,则先将云台调整最大目标数对应的云台位置,此时,目标1和目标2在画面中的位置如21所示,则根据目标1和目标2的位置计算最佳目标监测位置201,其中,最佳目标检测位置201的坐标为(x0,y0),x0= (xmax+xmin)/2,y0= (ymax+ymin)/2,xmax、xmin分别表示目标1、目标2的中心点的横坐标,ymax、ymin分别表示目标1、目标2的中心点的纵坐标,则以(x0,y0)为中心,确定一个高为50,宽为100的矩形框202,控制云台沿水平或/和垂直方向转动,并实时监测摄像机的画面中心,当画面中心203移动至矩形框202内即,如22所示时,确定云台已调整到最佳目标检测位置。
一可选实施例中,步骤102中,触发摄像机的云台开始水平全扫描,且获取摄像机在运动状态下采集的第二视频流,在第二视频流中实时检测目标,包括:
A、触发云台保持当前垂直角度不变,开始沿水平方向顺时针或逆时针转动,并获取摄像机在水平运动状态下采集的水平状态第二视频流,当在水平状态第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的水平角度和垂直角度;
B、触发云台保持当前水平角度不变,并触发云台沿垂直方向扫描周围环境,垂直扫描范围为:当前画面中的所有目标对应的垂直方向范围,并获取摄像机在垂直运动状态下采集的垂直状态第二视频流,当在垂直状态第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的水平角度和垂直角度;
C、当云台沿垂直方向扫描周围环境结束时,触发云台返回步骤B开始时云台所在的位置,然后返回步骤A,直至云台完成对监测场景的水平全扫描。
上述实施例中,当云台在水平转动的过程中,在画面中检测到目标时,则保持云台的水平角度不变,开始控制云台沿垂直方向扫描周围环境,以检测在该水平角度下的所有垂直方向上是否存在目标,从而在一水平角度下不存在目标时,就无需对该水平角度下的垂直方向进行扫描,大大减少了无效扫描,且在不影响目标监测准确度的前提下,尽可能扩大了监测范围,提高了目标监测的效率。
一可选实施例中,步骤A中,当在水平状态第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的水平角度和垂直角度,包括:当在水平状态第二视频流中检测到目标时,触发云台继续沿水平方向顺时针或逆时针转动,直至当前画面中位于最右侧的目标的右边界移动到画面的最右侧或者当前画面中位于最左侧的目标的左边界移动到画面的最左侧时,触发云台停止沿水平方向转动,并对当前画面进行目标检测,记录当前画面中的目标数和当前云台的水平角度和垂直角度。
图3给出了当云台在水平方向逆时针转动时,当检测到目标时对云台的控制过程。如图3所示:由于云台在水平方向逆时针转动,因此,当存在目标时,目标是从画面左侧进入画面的,此时,检测到目标1~3在画面中的位置如31所示,继续控制云台在水平方向逆时针转动,直至最右侧目标:目标2的右边界移动至画面的右边界即,如32所示时,控制云台停止水平方向的转动。
上述实施例中,当云台转动到一水平角度时,若在画面中检测到目标,在保持该目标始终处于画面中的前提下,触发云台继续在水平方向转动以搜寻其它目标,然后再保持水平角度不变,触发云台沿垂直方向扫描周围环境,从而使得在一次垂直扫描中尽可能多地覆盖可能出现目标的区域,提高了目标监测效率。
一可选实施例中,步骤B中,触发云台沿垂直方向扫描周围环境,包括:触发云台沿垂直方向向下转动,直到当前画面上最上侧目标的上边界到达当前画面的上边界,然后触发云台沿垂直方向向上转动,直至当前画面上最下侧目标的下边界到达当前画面的下边界,且,在云台垂直转动的过程中,对摄像机采集的画面进行实时目标检测,当检测到画面中有新目标出现时,更新最近记录的当前画面中的目标数,并以当前云台的垂直角度更新最近记录的云台的垂直角度。
图4给出了控制云台沿垂直方向扫描周围环境的示意图。其中,当通过图3所示过程,将目标1~3移动至画面最右侧时,云台在水平方向停止转动,此时如41所示:先控制云台垂直向下转动,直至画面中位于最上侧的目标1的上边界到达画面的上边界即,如42所示,然后控制云台垂直向上转动,直至画面中位于最下侧的目标2的下边界到达画面的下边界,且,在云台垂直转动的过程中,对摄像机采集的画面进行实时目标检测,检测到画面中有新目标:目标4进入,则更新最近记录的当前画面中的目标数为4,并以当前云台的垂直角度更新最近记录的云台的垂直角度,垂直转动结束时的画面如43所示。
上述实施例使得:在保证当前水平角度下对垂直方向进行全扫描的前提下,保证已经检测到的目标不出画面。
一可选实施例中,步骤102中,在第二视频流中实时检测目标之后,进一步包括:若在摄像机的云台对监测场景水平全扫描结束时,仍未在第二视频流中检测到任何目标,则触发云台返回开始水平全扫描前所处位置后保持云台静止。
以下给出本发明的应用实例:
步骤01:在目标监测过程中,当摄像机处于静止状态时,若在摄像机采集的画面中连续第一时长内未检测到目标,则自动触发目标搜寻过程,设此时云台所在的位置为(φ1,φ2),其中,φ1为云台的水平角度,φ2为云台的垂直角度;
步骤02:目标搜寻过程正式开始前,先触发云台进行一次状态自检,其中,云台的垂直方向的顶端和底端都设置有机械限位点,触发云台垂直向上和向下分别转动到顶端和底端的机械限位点以校准垂直方向的云台坐标,防止云台被外力干扰导致坐标错位;
步骤03:当云台完成状态自检后,控制云台返回到初始位置(φ1,φ2),正式开始目标搜寻过程;
步骤04:控制云台保持垂直角度φ2不变,并在水平方向上开始沿逆时针转动;其中,云台的转速v与摄像机的倍率成反比,摄像机的倍率越大,转速越慢;
步骤05:在云台水平转动的过程中,实时检测摄像机采集的画面中是否有目标出现,若在云台水平转动一周结束时,未在摄像机采集的画面中发现任何目标,则控制云台返回到初始位置(φ1,φ2);若在云台水平转动一周的过程中,在摄像机采集的画面中检测到目标,则控制云台继续沿水平方向逆时针转动,并监测当前画面中位于最右侧的目标的右边界,当最右侧的目标的右边界移动至画面的右边界时,控制云台停止转动,并对当前画面进行目标检测,记录当前画面中的目标数n和当前云台位置(θ1,θ2),θ1为云台的水平角度,θ2为云台的垂直角度,之后,控制云台开始沿垂直方向转动,具体地:先垂直向下转动,直至当前画面中位于最上侧的目标的上边界到达画面的上边界,然后垂直向上转动,直至当前画面中位于最下侧的目标的下边界到达画面的下边界,在云台垂直转动的过程中,仍对摄像机采集的画面进行实时目标检测,当检测到有新目标出现时,更新最近记录的当前画面中的目标数n,并更新最近记录的云台位置(θ1,θ2)中的θ2为当前云台的垂直角度,当云台垂直转动结束时,控制云台沿垂直方向转动直至返回垂直角度φ2;其中,检测一个画面中的目标的总耗时与画面中的目标数有关,目标越多,总耗时越大;
步骤06:控制云台保持垂直角度φ2不变,并在水平方向上继续沿逆时针转动,返回上述步骤05,直至云台完成水平扫描周围环境一周返回初始位置(φ1,φ2);
步骤07:当云台水平扫描周围环境一周结束时,在本次目标搜寻过程中查找检测到目标数最多的一次记录,将云台调整至该记录中的云台位置,然后根据当前画面中所有目标的位置,计算所有目标的中心点,以该中心点为中心,以预设第一长度为宽,以预设第二长度为高,构造一个矩形,触发云台沿水平方向或/和垂直方向转动,并实时检测摄像机的画面中心,当检测到摄像机的画面中心位于该矩形内时,则确定云台已调整到最佳目标监测位置。
本发明实施例适用于采用摄像机和双轴(俯仰轴与偏航轴)云台的监测场景,如:采用便携摄像机的监测场景。例如:在采用摄像机和双轴云台的监测场景中,需要对被监测人员进行违规行为的识别与报警,如电网或工地施工场景中,对工作人员进行安全帽、反光衣、玩手机、或/和抽烟等作业规范的监测,在该场景下,采用本发明实施例既可以统一监测标准,也能提升使用效率,且在部分作业人员为规避监测手动干扰云台使其朝向非作业区域时,通过本发明实施例也可以使云台恢复自动监测。
图5为本发明一实施例提供的目标监测装置的结构示意图,如图5所示,该装置主要包括:检测及控制模块51和监测计算模块52,其中:
检测及控制模块51,用于获取摄像机在静止状态下采集的第一视频流,在第一视频流中实时检测目标;若连续第一时长内未在第一视频流中检测到目标,则触发摄像机的云台开始水平全扫描,且获取摄像机在运动状态下采集的第二视频流,在第二视频流中实时检测目标,将检测到的目标信息发送给监测计算模块52;当接收到监测计算模块52发来的云台的最佳目标监测位置,将云台调整到最佳目标监测位置后保持云台静止。
监测计算模块52,用于根据检测及控制模块51发来的目标信息,确定云台的最佳目标监测位置,将云台的最佳目标监测位置发送给检测及控制模块51。
一可选实施例中,检测及控制模块51在第二视频流中实时检测目标,包括:当在第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的位置;当云台对监测场景完成水平全扫描时,将在该扫描过程中记录的每次检测到目标时的目标数和云台位置发送给监测计算模块52;
监测计算模块52根据检测及控制模块51发来的目标信息,确定云台的最佳目标监测位置,包括:根据在云台对监测场景水平全扫描过程中记录的每次检测到目标时的目标数,在记录的各目标数中选出最大目标数,根据最大目标数对应的云台位置确定云台的最佳目标监测位置。
一可选实施例中,检测及控制模块51触发摄像机的云台开始水平全扫描,且获取摄像机在运动状态下采集的第二视频流,在第二视频流中实时检测目标,包括:
A、触发云台保持当前垂直角度不变,开始沿水平方向顺时针或逆时针转动,并获取摄像机在水平运动状态下采集的水平状态第二视频流,当在水平状态第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的水平角度和垂直角度;
B、触发云台保持当前水平角度不变,并触发云台沿垂直方向扫描周围环境,并获取摄像机在垂直运动状态下采集的垂直状态第二视频流,当在垂直状态第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的水平角度和垂直角度;
C、当云台沿垂直方向扫描周围环境结束时,触发云台返回步骤B开始时云台所在的位置,然后返回步骤A,直至云台完成对监测场景的水平全扫描。
一可选实施例中,检测及控制模块51在步骤A中,当在水平状态第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的水平角度和垂直角度,包括:当在水平状态第二视频流中检测到目标时,触发云台继续沿水平方向顺时针或逆时针转动,直至当前画面中位于最右侧的目标的右边界移动到画面的最右侧或者当前画面中位于最左侧的目标的左边界移动到画面的最左侧时,触发云台停止沿水平方向转动,并对当前画面进行目标检测,记录当前画面中的目标数和当前云台的水平角度和垂直角度。
一可选实施例中,检测及控制模块51在步骤B中,触发云台沿垂直方向扫描周围环境,包括:触发云台沿垂直方向向下转动,直到当前画面上最上侧目标的上边界到达当前画面的上边界,然后触发云台沿垂直方向向上转动,直至当前画面上最下侧目标的下边界到达当前画面的下边界,且,在云台垂直转动的过程中,对摄像机采集的画面进行实时目标检测,当检测到画面中有新目标出现时,更新最近记录的当前画面中的目标数,并以当前云台的垂直角度更新最近记录的云台的垂直角度。
一可选实施例中,监测计算模块52根据最大目标数对应的云台位置确定云台的最佳目标监测位置,包括:将云台调整至最大目标数对应的云台位置,并计算当前画面中所有目标的中心点,则将画面中心与该所有目标的中心点重合时云台所在的位置作为云台的最佳目标监测位置。
一可选实施例中,监测计算模块52将云台调整至最大目标数对应的云台位置,包括:当最大目标数出现多个时,则在该多个最大目标数对应的云台位置中选择最靠近云台在开始水平全扫描前所处位置的位置,将云台调整至所选择的位置。
一可选实施例中,检测及控制模块51将云台调整到最佳目标监测位置,包括:设定一个以最佳目标监测位置为中心,以预设第一长度为宽,以预设第二长度为高的矩形,触发云台沿水平方向或/和垂直方向转动,并实时检测摄像机的画面中心,当检测到摄像机的画面中心位于该矩形内时,则确定云台已调整到最佳目标检测位置。
一可选实施例中,检测及控制模块51若连续第一时长内未在第一视频流中检测到目标之后、触发摄像机的云台开始水平全扫描之前,进一步包括:触发云台完成一次状态自检,包括:触发云台保持当前水平角度不变,沿垂直方向向上转动到顶端的机械限位点,然后沿垂直方向向下转动到底端的机械限位点,状态自检完成,触发云台返回状态自检前所在的位置。
一可选实施例中,检测及控制模块51触发摄像机的云台开始水平全扫描,包括:根据当前摄像机的倍率,确定云台的转速,触发摄像机的云台按照确定的转速开始水平全扫描,其中,摄像机的倍率与云台的转速成反比。
一可选实施例中,检测及控制模块51在第二视频流中实时检测目标之后,进一步包括:若在摄像机的云台对监测场景水平全扫描结束时,仍未在第二视频流中检测到任何目标,则触发云台返回开始水平全扫描前所处位置后保持云台静止。
本发明实施例还提供一种非瞬时计算机可读存储介质,非瞬时计算机可读存储介质存储指令,指令在由处理器执行时使得处理器执行本发明任一实施例所述的目标监测方法的步骤。
本发明实施例还提供一种电子设备,包括如上所述的非瞬时计算机可读存储介质、以及可访问非瞬时计算机可读存储介质的处理器。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本申请中。特别地,在不脱离本申请精神和教导的情况下,本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,所有这些组合和/或结合均落入本申请公开的范围。
本文中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思路,并不用于限制本申请。对于本领域的技术人员来说,可以依据本发明的思路、精神和原则,在具体实施方式及应用范围上进行改变,其所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (11)

1.一种目标监测方法,其特征在于,该方法包括:
获取摄像机在静止状态下采集的第一视频流,在第一视频流中实时检测目标;
若连续第一时长内未在第一视频流中检测到目标,则触发摄像机的云台开始水平全扫描,且获取摄像机在运动状态下采集的第二视频流,在第二视频流中实时检测目标;
根据在第二视频流中检测到的目标,确定云台的最佳目标监测位置;
将云台调整到最佳目标监测位置后保持云台静止;
所述触发摄像机的云台开始水平全扫描,且获取摄像机在运动状态下采集的第二视频流,在第二视频流中实时检测目标,包括:
A、触发云台保持当前垂直角度不变,开始沿水平方向顺时针或逆时针转动,并获取摄像机在水平运动状态下采集的水平状态第二视频流,当在水平状态第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的水平角度和垂直角度;
B、触发云台保持当前水平角度不变,并触发云台沿垂直方向扫描周围环境,垂直扫描范围为:当前画面中的所有目标对应的垂直方向范围,并获取摄像机在垂直运动状态下采集的垂直状态第二视频流,当在垂直状态第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的水平角度和垂直角度;
C、当云台沿垂直方向扫描周围环境结束时,触发云台返回步骤B开始时云台所在的位置,然后返回步骤A,直至云台完成对监测场景的水平全扫描。
2.根据权利要求1所述的方法,其特征在于,所述根据在第二视频流中检测到的目标,确定云台的最佳目标监测位置,包括:
当云台对监测场景完成水平全扫描,根据在该扫描过程中记录的每次检测到目标时的目标数,在记录的各目标数中选出最大目标数,根据最大目标数对应的云台位置确定云台的最佳目标监测位置。
3.根据权利要求1所述的方法,其特征在于,步骤A所述当在水平状态第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的水平角度和垂直角度,包括:
当在水平状态第二视频流中检测到目标时,触发云台继续沿水平方向顺时针或逆时针转动,直至当前画面中位于最右侧的目标的右边界移动到画面的最右侧或者当前画面中位于最左侧的目标的左边界移动到画面的最左侧时,触发云台停止沿水平方向转动,并对当前画面进行目标检测,记录当前画面中的目标数和当前云台的水平角度和垂直角度。
4.根据权利要求1或3所述的方法,其特征在于,步骤B所述触发云台沿垂直方向扫描周围环境,包括:
触发云台沿垂直方向向下转动,直到当前画面上最上侧目标的上边界到达当前画面的上边界,然后触发云台沿垂直方向向上转动,直至当前画面上最下侧目标的下边界到达当前画面的下边界,且,在云台垂直转动的过程中,对摄像机采集的画面进行实时目标检测,当检测到画面中有新目标出现时,更新最近记录的当前画面中的目标数,并以当前云台的垂直角度更新最近记录的云台的垂直角度。
5.根据权利要求2或3所述的方法,其特征在于,所述根据最大目标数对应的云台位置确定云台的最佳目标监测位置,包括:
将云台调整至最大目标数对应的云台位置,并计算当前画面中所有目标的中心点,则将画面中心与所述所有目标的中心点重合时云台所在的位置作为云台的最佳目标监测位置。
6.根据权利要求5所述的方法,其特征在于,所述将云台调整至最大目标数对应的云台位置,包括:
当最大目标数出现多个时,则在该多个最大目标数对应的云台位置中选择最靠近云台在开始水平全扫描前所处位置的位置,将云台调整至所选择的位置。
7.根据权利要求5所述的方法,其特征在于,所述将云台调整到最佳目标监测位置,包括:
设定一个以最佳目标监测位置为中心,以预设第一长度为宽,以预设第二长度为高的矩形,触发云台沿水平方向或/和垂直方向转动,并实时检测摄像机的画面中心,当检测到摄像机的画面中心位于该矩形内时,则确定云台已调整到最佳目标检测位置。
8.根据权利要求1所述的方法,其特征在于,所述若连续第一时长内未在第一视频流中检测到目标之后、所述触发摄像机的云台开始水平全扫描之前,进一步包括:
触发云台完成一次状态自检,包括:触发云台保持当前水平角度不变,沿垂直方向向上转动到顶端的机械限位点,然后沿垂直方向向下转动到底端的机械限位点,状态自检完成,触发云台返回状态自检前所在的位置。
9.根据权利要求1所述的方法,其特征在于,所述触发摄像机的云台开始水平全扫描,包括:
根据当前摄像机的倍率,确定云台的转速,触发摄像机的云台按照确定的转速开始水平全扫描,其中,摄像机的倍率与云台的转速成反比。
10.根据权利要求1所述的方法,其特征在于,所述在第二视频流中实时检测目标之后,进一步包括:
若摄像机的云台对监测场景水平全扫描结束时,仍未在第二视频流中检测到任何目标,则触发云台返回开始水平全扫描前所处位置后保持云台静止。
11.一种目标监测装置,其特征在于,该装置包括:
检测及控制模块,用于获取摄像机在静止状态下采集的第一视频流,在第一视频流中实时检测目标;若连续第一时长内未在第一视频流中检测到目标,则触发摄像机的云台开始水平全扫描,且获取摄像机在运动状态下采集的第二视频流,在第二视频流中实时检测目标,将检测到的目标信息发送给监测计算模块;当接收到监测计算模块发来的云台的最佳目标监测位置,将云台调整到最佳目标监测位置后保持云台静止;
监测计算模块,用于根据检测及控制模块发来的目标信息,确定云台的最佳目标监测位置,将云台的最佳目标监测位置发送给检测及控制模块;
所述检测及控制模块触发摄像机的云台开始水平全扫描,且获取摄像机在运动状态下采集的第二视频流,在第二视频流中实时检测目标,包括:
A、触发云台保持当前垂直角度不变,开始沿水平方向顺时针或逆时针转动,并获取摄像机在水平运动状态下采集的水平状态第二视频流,当在水平状态第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的水平角度和垂直角度;
B、触发云台保持当前水平角度不变,并触发云台沿垂直方向扫描周围环境,垂直扫描范围为:当前画面中的所有目标对应的垂直方向范围,并获取摄像机在垂直运动状态下采集的垂直状态第二视频流,当在垂直状态第二视频流中检测到目标时,记录当前检测到的目标数和当前云台的水平角度和垂直角度;
C、当云台沿垂直方向扫描周围环境结束时,触发云台返回步骤B开始时云台所在的位置,然后返回步骤A,直至云台完成对监测场景的水平全扫描。
CN202311561131.2A 2023-11-22 2023-11-22 目标监测方法和装置 Active CN117278858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311561131.2A CN117278858B (zh) 2023-11-22 2023-11-22 目标监测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311561131.2A CN117278858B (zh) 2023-11-22 2023-11-22 目标监测方法和装置

Publications (2)

Publication Number Publication Date
CN117278858A CN117278858A (zh) 2023-12-22
CN117278858B true CN117278858B (zh) 2024-02-09

Family

ID=89218215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311561131.2A Active CN117278858B (zh) 2023-11-22 2023-11-22 目标监测方法和装置

Country Status (1)

Country Link
CN (1) CN117278858B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860732A (zh) * 2010-06-04 2010-10-13 天津市亚安科技电子有限公司 一种控制云台摄像机自动跟踪目标的方法
CN101955130A (zh) * 2010-09-08 2011-01-26 西安理工大学 具有自动跟踪变倍功能的塔机视频监控系统及监控方法
WO2014043973A1 (zh) * 2012-09-24 2014-03-27 天津市亚安科技股份有限公司 云台摄像机自动定位角度计算方法
CN107992099A (zh) * 2017-12-13 2018-05-04 福州大学 一种基于改进帧差法的目标运动视频跟踪方法及系统
CN108549413A (zh) * 2018-04-27 2018-09-18 全球能源互联网研究院有限公司 一种云台旋转控制方法、装置及无人飞行器
CN112013810A (zh) * 2020-08-20 2020-12-01 杭州海康微影传感科技有限公司 一种测距方法、装置及设备
CN114220069A (zh) * 2021-11-08 2022-03-22 浙江大华技术股份有限公司 对象监测方法、电子设备及计算机可读存储介质
CN114938429A (zh) * 2022-05-20 2022-08-23 重庆紫光华山智安科技有限公司 一种目标跟踪方法、系统、设备及计算机可读介质
CN116017136A (zh) * 2022-12-15 2023-04-25 杭州华橙软件技术有限公司 拍摄设备的控制方法和装置、存储介质及电子装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632567B (zh) * 2017-03-16 2020-07-28 杭州海康威视数字技术股份有限公司 云台控制方法、装置及系统
CN113785299B (zh) * 2019-05-03 2023-12-19 丰田汽车欧洲股份有限公司 用于发现对象的图像获取设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860732A (zh) * 2010-06-04 2010-10-13 天津市亚安科技电子有限公司 一种控制云台摄像机自动跟踪目标的方法
CN101955130A (zh) * 2010-09-08 2011-01-26 西安理工大学 具有自动跟踪变倍功能的塔机视频监控系统及监控方法
WO2014043973A1 (zh) * 2012-09-24 2014-03-27 天津市亚安科技股份有限公司 云台摄像机自动定位角度计算方法
CN107992099A (zh) * 2017-12-13 2018-05-04 福州大学 一种基于改进帧差法的目标运动视频跟踪方法及系统
CN108549413A (zh) * 2018-04-27 2018-09-18 全球能源互联网研究院有限公司 一种云台旋转控制方法、装置及无人飞行器
CN112013810A (zh) * 2020-08-20 2020-12-01 杭州海康微影传感科技有限公司 一种测距方法、装置及设备
CN114220069A (zh) * 2021-11-08 2022-03-22 浙江大华技术股份有限公司 对象监测方法、电子设备及计算机可读存储介质
CN114938429A (zh) * 2022-05-20 2022-08-23 重庆紫光华山智安科技有限公司 一种目标跟踪方法、系统、设备及计算机可读介质
CN116017136A (zh) * 2022-12-15 2023-04-25 杭州华橙软件技术有限公司 拍摄设备的控制方法和装置、存储介质及电子装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
B. Ver Steeg ; A. Begen ; Cisco ; T. Van Caenegem ; Alcatel-Lucent ; Z. Vax ; Magnum Semiconductor ; .Unicast-Based Rapid Acquisition of Multicast RTP Sessions.IETF .2011,全文. *
基于云台的智能化运动目标跟踪监控系统设计;冯健业;赖全运;刘和顺;龙迎春;;韶关学院学报;20180915(第09期);全文 *
郭凡 ; 陈启美 ; 李勃 ; .基于云台摄像的实时车速检测算法.计算机辅助设计与图形学学报.2006,(第09期),全文. *

Also Published As

Publication number Publication date
CN117278858A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
JP4942185B2 (ja) 撮像装置及び雲台制御方法並びにプログラム及び記憶媒体
CN107404615B (zh) 图像录制方法及电子设备
JP5875453B2 (ja) 自動追尾装置
CN111314609B (zh) 一种控制云台追踪摄像的方法及装置
CN115174861B (zh) 一种云台摄像机自动跟踪移动目标方法及装置
CN111432187B (zh) 一种异动目标跟踪方法、系统及装置
JP2020522943A (ja) 対象追跡に基づくスローモーションビデオキャプチャ
CN107071347A (zh) 一种无线定位设备的调整方法以及前端设备
CN117278858B (zh) 目标监测方法和装置
CN113259592B (zh) 拍摄方法、装置、电子设备及存储介质
CN110602376B (zh) 抓拍方法及装置、摄像机
CN111800576B (zh) 一种快速定位云台摄像机拍摄画面的方法及装置
KR20140007692A (ko) 촬상 장치 및 촬상 방법
CN116017136A (zh) 拍摄设备的控制方法和装置、存储介质及电子装置
CN100523904C (zh) 监视系统
US20120075467A1 (en) Image capture device and method for tracking moving object using the same
CN114040107B (zh) 智能汽车图像拍摄系统、方法、车辆及介质
CN112305534A (zh) 目标检测方法、装置、设备及存储介质
CN112954274B (zh) 一种用于船舶的视频抓拍方法及系统
CN114040114A (zh) 一种全景摄像及补光方法、系统、设备和介质
CN111815676A (zh) 人脸跟踪方法、装置、设备及存储装置
CN114257742B (zh) 云台摄像头的控制方法、存储介质及云台摄像头
CN113038120B (zh) 一种回程差确定方法及装置
CN114612360B (zh) 基于运动模型的视频融合方法及系统
JP2003324717A (ja) モニタリングシステムおよび方法、並びにプログラムおよび記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant