CN113489948A - 一种摄像监控设备、方法、装置及存储介质 - Google Patents

一种摄像监控设备、方法、装置及存储介质 Download PDF

Info

Publication number
CN113489948A
CN113489948A CN202110685860.3A CN202110685860A CN113489948A CN 113489948 A CN113489948 A CN 113489948A CN 202110685860 A CN202110685860 A CN 202110685860A CN 113489948 A CN113489948 A CN 113489948A
Authority
CN
China
Prior art keywords
monitoring
camera module
fixed
area
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110685860.3A
Other languages
English (en)
Inventor
丁乃英
徐志永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110685860.3A priority Critical patent/CN113489948A/zh
Publication of CN113489948A publication Critical patent/CN113489948A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种摄像监控设备、方法、装置及存储介质,涉及安防技术领域,用于解决监控区域覆盖不全的问题。该监控设备包括处理器模组、固定机构、至少一个定焦摄像模组和至少一个变焦摄像模组;每个定焦摄像模组包含多个定焦摄像装置,每个变焦摄像模组包含多个变焦摄像装置,至少一个定焦摄像模组的监控区域范围不小于各个变焦摄像装置的监控子区域的总和;至少一个定焦摄像模组和至少一个变焦摄像模组均同心设置于固定机构上,且不同的摄像模组在固定机构上的高度不同。其中,当检测到至少一个定焦摄像模组的监控区域内存在移动目标时,基于移动目标所在的监控子区域,控制相应的变焦摄像装置对移动目标进行跟踪监控。

Description

一种摄像监控设备、方法、装置及存储介质
技术领域
本申请涉及安防技术领域,提供一种摄像监控设备、方法、装置及存储介质。
背景技术
在采用摄像机进行监控时,一般采用单个摄像头进行目标跟踪监控,其对于需要同时对多个目标进行跟踪监控,或者需要对较大范围进行监控的监控场景非常不适用。因此,为了适用于这些监控场景,现目前出现了采用多个摄像头来对移动目标进行跟踪监控的技术方案。
但是,目前的多摄像头监控方案,一般是采用相同镜头焦距的多个摄像头,将拍摄到的监控图像进行拼接,以实现增大水平方向或者垂直方向上的监控视场角,因此,目前的多摄像头监控方案对监控区域范围仍然存在限制,即存在监控区域覆盖不全问题。
发明内容
本申请实施例提供一种摄像监控设备、方法、装置及存储介质,用于解决监控区域覆盖不全的问题。
一方面,提供一种摄像监控设备,所述监控设备包括处理器模组、固定机构、至少一个定焦摄像模组和至少一个变焦摄像模组;每个定焦摄像模组包含多个定焦摄像装置,每个变焦摄像模组包含多个变焦摄像装置,所述至少一个定焦摄像模组的监控区域范围不小于各个变焦摄像装置的监控子区域的总和;
所述至少一个定焦摄像模组和所述至少一个变焦摄像模组均同心设置于所述固定机构上,且不同的摄像模组在所述固定机构上的高度不同;
其中,所述处理器模组对所述至少一个定焦摄像模组拍摄的监控图像进行移动目标检测,当检测到所述至少一个定焦摄像模组的监控区域内存在移动目标时,基于所述移动目标所在的监控子区域,控制相应的变焦摄像装置对所述移动目标进行跟踪监控。
可选的,所述至少一个定焦摄像模组包含第一类定焦摄像模组和第二类定焦摄像模组;
所述第一类定焦摄像模组用于进行全景监控;
所述第二类定焦摄像模组中每一个第二类定焦摄像模组用于对相应监控距离范围内的区域进行监控,不同的第二类定焦摄像模组对应的监控距离范围不同,且监控距离为与所述固定机构的中轴线在平行于地面方向上的距离。
可选的,所述至少一个变焦摄像模组包括的监控距离范围相邻的两个变焦摄像模组中,与所述固定机构的平均监控距离较小的变焦摄像模组的监控距离上限值,不小于与所述固定机构的平均监控距离较大的变焦摄像模组的监控距离下限值。
可选的,所述至少一个定焦摄像模组和至少一个变焦摄像模组中,任意两个摄像模组之间的位置关系,满足如下条件:
其中一个摄像模组未位于另一摄像模组的监控视角范围内。
可选的,所述至少一个定焦摄像模组包括第一定焦摄像模组,所述至少一个变焦摄像模组包含第一变焦摄像模组、第二变焦摄像模组以及第三变焦摄像模组;
其中,所述第一变焦摄像模组用于监控第一区域,所述第二变焦摄像模组用于监控第二区域,所述第三变焦摄像模组用于监控第三区域,所述第二区域包围所述第一区域;所述第三区域包围所述第二区域,所述第一定焦摄像模组的监控区域范围不小于所述第一区域、所述第二区域以及所述第三区域的总和;
所述第一变焦摄像模组的最大镜头焦距不大于所述第二变焦摄像模组的最大镜头焦距,所述第二变焦摄像模组的最大镜头焦距不大于所述第三变焦摄像模组的最大镜头焦距。
可选的,每个变焦摄像模组的镜头焦距的最大值是根据自身包括的图像传感器的尺寸以及相应监控子区域与所述固定机构之间的最大监控距离确定的,且采用最大镜头焦距拍摄的图像中的人脸大小满足人脸识别要求的最小值。
可选的,任一定焦摄像模组所包含的任意两个定焦摄像装置的监控距离上限值的差值不大于设定的监控距离差,且所述任意两个定焦摄像装置的监控区域范围的重叠率小于设定的第一重叠率;且,
任一变焦摄像模组所包含的任意两个变焦摄像装置的监控距离上限值的差不大于设定的监控距离差,且所述任意两个变焦摄像装置的监控区域范围的重叠率小于设定的第一重叠率。
一方面,提供一种摄像监控方法,应用于摄像监控设备中,所述监控设备包括固定机构、至少一个定焦摄像模组和至少一个变焦摄像模组;每个定焦摄像模组包含多个定焦摄像装置,每个变焦摄像模组包含多个变焦摄像装置,所述至少一个定焦摄像模组的监控区域范围不小于各个变焦摄像装置的监控子区域的总和,所述方法包括:
基于所述至少一个定焦摄像模组拍摄的监控图像,进行移动目标检测;
当检测到所述至少一个定焦摄像模组的监控区域内存在第一移动目标时,确定所述第一移动目标所在的第一监控子区域;
基于所述第一监控子区域,控制相应的第一变焦摄像装置对所述第一移动目标进行跟踪监控。
一方面,提供一种摄像监控装置,所述装置包括:
移动目标检测单元,用于基于所述至少一个定焦摄像模组拍摄的监控图像,进行移动目标检测;
监控子区域确定单元,用于当检测到所述至少一个定焦摄像模组的监控区域内存在第一移动目标时,确定所述第一移动目标所在的第一监控子区域;
移动目标跟踪单元,用于基于所述第一监控子区域,控制相应的第一变焦摄像装置对所述第一移动目标进行跟踪监控。
一方面,提供一种计算机存储介质,其上存储有计算机程序指令,该计算机程序指令被处理器执行时实现上述方面所述的方法的步骤。
本申请实施例中,摄像监控设备可以包括处理器模组、固定机构、至少一个定焦摄像模组和至少一个变焦摄像模组;每个定焦摄像模组包含多个定焦摄像装置,每个变焦摄像模组包含多个变焦摄像装置,至少一个定焦摄像模组的监控区域范围不小于各个变焦摄像装置的监控子区域的总和;至少一个定焦摄像模组和至少一个变焦摄像模组均同心设置于固定机构上,且不同的摄像模组在固定机构上的高度不同。其中,处理器模组可以对至少一个定焦摄像模组拍摄的监控图像进行移动目标检测,当检测到至少一个定焦摄像模组的监控区域内存在移动目标时,可以基于移动目标所在的监控子区域,控制相应的变焦摄像装置对移动目标进行跟踪监控。
因此,在本申请实施例中,无论是定焦摄像模组,还是变焦摄像模组,都包含有多个对应的摄像装置,每一个摄像装置又各自对应一个不同监控距离的监控区域,使得在水平方向上,具有较大的监控区域覆盖范围,又由于不同的摄像模组在固定机构上的高度不同,所以在垂直方向上,同样具有较大的监控区域覆盖范围,所以,可以大大增大摄像监控设备的监控区域覆盖范围。
此外,由于定焦摄像模组的监控区域范围大,定焦摄像模组可实现全范围的移动目标检测,变焦摄像模组对应于特定的监控区域范围,既,能够拍摄特定监控区域范围内的图像,从而能够准确实现该区域内移动目标的跟踪和识别,所以,通过定焦摄像模组与变焦摄像模组的配合,能够实现对不同的移动目标进行跟踪监控,大大降低了移动目标的漏拍概率。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种应用场景示意图;
图2为本申请实施例提供的摄像监控设备的一种结构示意图;
图3为本申请实施例提供的监控区域范围的一种俯视示意图;
图4为定焦摄像装置对应的监控区域的一种俯视示意图;
图5为变焦摄像装置对应的监控子区域的一种俯视示意图;
图6为监控视场角范围为[180°,360°)的一种俯视示意图;
图7为第一类定焦摄像模组对应监控区域范围的一种俯视示意图;
图8为第二类定焦摄像模组对应监控区域范围的一种俯视示意图;
图9为第一、第二类定焦摄像模组共同的监控区域范围的一种俯视示意图;
图10为定焦摄像模组与变焦摄像模组的一种安装示意图;
图11为本申请实施例提供的摄像监控设备的另一种结构示意图;
图12为本申请实施例提供的摄像监控方法的流程示意图;
图13为移动目标经过不同监控子区域的一种示意图;
图14为本申请实施例提供的摄像监控方法的另一种流程示意图;
图15为本申请实施例提供的摄像监控装置的一种结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
目前的多摄像头监控方案,一般是采用相同镜头焦距的多个摄像头,将拍摄到的监控图像进行拼接,以实现增大水平方向或者垂直方向上的监控视场角,因此,目前的多摄像头监控方案对监控区域范围仍然存在限制,即存在监控区域覆盖不全问题。
基于此,本申请实施例中,摄像监控设备可以包括处理器模组、固定机构、至少一个定焦摄像模组和至少一个变焦摄像模组;每个定焦摄像模组包含多个定焦摄像装置,每个变焦摄像模组包含多个变焦摄像装置,至少一个定焦摄像模组的监控区域范围不小于各个变焦摄像装置的监控子区域的总和;至少一个定焦摄像模组和至少一个变焦摄像模组均同心设置于固定机构上,且不同的摄像模组在固定机构上的高度不同。其中,处理器模组可以对至少一个定焦摄像模组拍摄的监控图像进行移动目标检测,当检测到至少一个定焦摄像模组的监控区域内存在移动目标时,可以基于移动目标所在的监控子区域,控制相应的变焦摄像装置对移动目标进行跟踪监控。
因此,在本申请实施例中,无论是定焦摄像模组,还是变焦摄像模组,都包含有多个对应的摄像装置,每一个摄像装置又各自对应一个不同监控距离的监控区域,使得在水平方向上,具有较大的监控区域覆盖范围,又由于不同的摄像模组在固定机构上的高度不同,所以在垂直方向上,同样具有较大的监控区域覆盖范围。
此外,由于定焦摄像模组的监控区域范围不小于各个变焦摄像装置的监控子区域的总和,且定焦摄像模组用于移动目标的检测,变焦摄像模组用于对移动目标进行跟踪和识别,所以在同一时刻,可以通过多个变焦摄像装置实现对不同的移动目标进行跟踪监控,大大降低了移动目标的漏拍概率。
在介绍完本申请实施例的设计思想之后,下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中,可以根据实际需要灵活地应用本申请实施例提供的技术方案。
如图1所示,为本申请实施例提供的一种应用场景示意图,其中,该摄像机监控的应用场景可以包括摄像监控设备10和服务器11。
服务器11可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器,但并不局限于此。
在本申请实施例中,摄像监控设备10会将拍摄的监控视频以及移动目标跟踪结果(例如,移动目标是人、车、动物等)传输至服务器11,服务器11对所接收的监控视频以及跟踪结果进行数据分析,用于辅助进行下游业务。
例如,服务器11可以基于监控视频以及移动目标跟踪结果确定出摄像监控设备10所在场景中的单位时间内的车流量或者人流量,若是超过设定的流量阈值(即,交通拥堵)时,则可以通过短信或者警示灯闪烁的形式通知警务人员对相应的交通情况进行处理。
当然,本申请实施例提供的方法并不限用于图1所示的应用场景中,还可以用于其他可能的应用场景,本申请实施例并不进行限制。对于图1所示的应用场景的各个装置所能实现的功能将在后续的方法实施例中一并进行描述,在此先不过多赘述。下面,将结合附图对本申请实施例的结构进行介绍。
如图2所示,为本申请实施例提供的摄像监控设备的一种结构示意图,其中,该摄像监控设备10可以包括处理器模组101、至少一个定焦摄像模组102、至少一个变焦摄像模组103和固定机构104。在实际使用时,摄像监控设备10可以通过铰链等连接绳索悬挂于交通道路旁的电线杆上,或者,其它能够用于悬挂该摄像监控设备10的支撑机构。
具体的,每个定焦摄像模组102可以包含多个定焦摄像装置,即,每个定焦摄像模组102至少具有2个定焦摄像装置,这至少2个定焦摄像装置被安装于固定机构104的同一高度上,且各个定焦摄像装置之间的相对夹角为设定的固定值,例如,定焦摄像模组102可以包括具有3个定焦摄像装置,那么这个3个定焦摄像装置在进行安装时,分别可以形成夹角1、夹角2和夹角3这3个夹角,可以将夹角1、夹角2和夹角3均设置为120°,当然,也可以将夹角1设置为180°,夹角2和夹角3均设置为90°,也就是说,各个定焦摄像装置之间的相对夹角可以根据实际监控需求,让用户自行决定具体设置。
本申请实施例中,每个摄像模组中的各个摄像装置之间的相对位置,相较于固定机构104而言是固定的。
具体的,可以将每个摄像模组中的各个摄像装置固定到一起,进而通过旋转安装的方式固定于固定机构104,那么若用户对当前各个定焦摄像装置的安装方位不满意时,可以在不改变各个定焦摄像装置之间的夹角的前提下,通过将各个定焦摄像装置相对固定机构104进行旋转,来改变各个定焦摄像装置的安装方位。当然,这个旋转的过程可以通过手动机构来实现,例如,可以通过人工将锁紧机构松开之后,手动将各个定焦摄像装置进行旋转,然后再将锁紧机构进行锁紧,以实现改变各个定焦摄像装置的安装方位的目的。或者,这个旋转的过程也可以通过带电机自动旋转机构来实现,例如,可以将各个定焦摄像装置安装于一齿轮的相应轮齿上,那么在需要改变各个定焦摄像装置的安装方位,只需要通过电机带动齿轮旋转相应的角度即可。
每个变焦摄像模组103可以包含多个变焦摄像装置,即,每个变焦摄像模组103同样至少具有2个变焦摄像装置,这至少2个变焦摄像装置被安装于固定机构104的同一高度上,且一个变焦摄像装置可以包括一个摄像镜头和一个云台,即在对移动目标进行跟踪识别时,可以随着移动目标的移动,而发生转动。
本申请实施例中,至少一个定焦摄像模组102和至少一个变焦摄像模组103均同心设置于固定机构104上,且不同的摄像模组在固定机构104上的高度不同。例如,当前具有1个定焦摄像模组102,2个变焦摄像模组103,那么,可以将定焦摄像模组102安装于固定机构104上离地面15米处的位置,将2个变焦摄像模组103分被安装于固定机构104上离地面13米和11米处的位置。当然,定焦摄像模组102也可以设置于其他高度处,例如,可以将2个变焦摄像模组103分被安装于固定机构104上离地面15米和11米处的位置,而定焦摄像模组102安装于固定机构104上离地面13米处的位置。在实际应用中,各个定焦摄像模组102和变焦摄像模组103的高度可以基于实际需求进行设定,本申请实施例对此并不进行限制。
本申请实施例中,至少一个定焦摄像模组102的监控区域范围不小于各个变焦摄像装置的监控子区域的总和。例如,参见图3所示,为本申请实施例提供的监控区域范围的一种俯视示意图,摄像监控设备具有1个定焦摄像模组102和3个变焦摄像模组103,该3个变焦摄像模组103分别为变焦摄像模组A、变焦摄像模组B和变焦摄像模组C,各个摄像模组的监控区域范围在水平方向上呈现为如图3所示的4个同心圆,其中,变焦摄像模组A的监控区域范围为半径为R1的圆形区域,其对应的监控距离范围为[0,R1],变焦摄像模组B的监控区域范围为半径为R1至R2之间的圆环区域,其对应的监控距离范围为[R1,R2],变焦摄像模组C的监控区域范围为半径为R2至R3之间的圆环区域,其对应的监控距离范围为[R2,R3],定焦摄像模组102的监控区域范围为半径为R4的圆形区域,其对应的监控距离范围为[0,R4],R1<R2<R3<R4,即,变焦摄像模组A、变焦摄像模组B和变焦摄像模组C对应的监控区域范围为定焦摄像模组102的监控区域范围中的监控子区域。
对于定焦摄像模组102中的每个定焦摄像装置来说,可以将定焦摄像模组102负责的监控区域平均划分为多个扇形监控区域,每个定焦摄像装置可以负责相应的扇形监控区域,如图4所示,为本申请实施例提供的定焦摄像装置对应的监控区域的一种俯视示意图,其中,定焦摄像模组102具有3个定焦摄像装置,该3个定焦摄像装置分别为定焦摄像装置D1、定焦摄像装置D2和定焦摄像装置D3,将监控区域平均划分为3个扇形监控区域,每个定焦摄像装置可以相应负责一个扇形监控区域。当然,定焦摄像模组102的监控区域的具体划分,可以根据实际需求进行设置。
同样的,对于变焦摄像模组103的每个变焦摄像装置来说,可以将变焦摄像模组103负责的监控区域平均划分为多个扇形监控子区域或圆弧形监控子区域,每个变焦摄像装置可以负责相应的扇形监控子区域,如图5所示,为本申请实施例提供的变焦摄像装置对应的监控子区域的一种俯视示意图,其中,变焦摄像模组C具有4个变焦摄像装置,该4个定焦摄像装置分别为变焦摄像装置C1、变焦摄像装置C2、变焦摄像装置C3和变焦摄像装置C4,由于变焦摄像模组C对应的监控区域范围为圆环形监控区域,因此,可以将监控区域平均划分为4个圆弧形监控区域,每个变焦摄像装置可以相应负责一个圆弧形监控区域。当然,变焦摄像模组103的监控区域同样也可以不按平均分配的方式进行划分,具体如何划分可以根据用户需求自行进行选择。
在一种可能的实施方式中,任一定焦摄像模组102和任一变焦摄像模组103所对应的监控视场角范围均不小于180°。
具体的,可将监控视场角范围分为2类,第一类是监控视场角范围为360°,如图3所示,可对摄像监控设备周围的任意方位都能够进行监控。第二类是监控视场角范围为[180°,360°),如图6所示,为监控视场角范围为[180°,360°)的一种俯视示意图,其监控视场角范围在俯视时,具体可呈现为扇形分布的形式,可对摄像监控设备周围的绝大部分方位都能够进行监控。
具体的,定焦摄像模组102用于实现移动目标检测,即,基于定焦摄像模组102拍摄的图像,可以检测对应的监控区域范围内是否存在移动目标,变焦摄像模组103用于实现移动目标识别和人脸识别,即基于变焦摄像模组103拍摄的图像,可以识别对应的监控区域范围内的移动目标的类别以及进行人脸识别。那么,处理器模组101可以对至少一个定焦摄像模组102拍摄的监控图像进行移动目标检测,且当检测到至少一个定焦摄像模组102的监控区域内存在移动目标时,可以基于该移动目标所在的监控子区域,去控制相应的变焦摄像装置12对该移动目标进行跟踪监控,从而通过定焦摄像模组102和变焦摄像装置12的配合,实现全范围的跟踪监控。
在本申请实施例中,确定定焦摄像模组102所拍摄的监控图像中是否包含有移动目标,是对不同时刻所拍摄的监控图像中存在的各个待检测目标进行对比分析得出,因此,在对比分析之前,必须要确定出监控图像中所存在的各个待检测目标,而确定是否存在待检测目标,则是根据监控图像中各个目标对应的像素点数来进行确定的,在目标对应的像素点数小于设定的像素点数阈值时,则需要增大移动目标在监控图像中所对应的像素点数,也就是说,可以通过进一步调用镜头焦距更大的摄像装置采集监控图像,以增大移动目标在监控图像中所对应的像素点数,从而准确确定是否存在移动目标。
一般而言,每种目标检测方法都对应着相应的像素要求,这里的像素点数阈值即是与当前监控设备所采用的目标检测方法相适配的阈值。
在采用一个定焦摄像模组102进行目标检测时,对监控距离较小的监控区域,能够采集到较为清楚的图像,因而具有较好的目标检测效果,但是,对监控距离较大的监控区域,由于拍摄的移动目标对应的像素点数较少,或,移动目标拍摄模糊,使得在监控距离较大的情况,目标检测效果非常差,所以,为了使得对监控距离较大的监控区域也能进行目标检测,在本申请中,还可以通过使用多个定焦摄像模组102的配合来达到对远距离的移动目标进行准确的目标检测的目的。
在一种可能的实施方式中,至少一个定焦摄像模组102可以包含第一类定焦摄像模组1021和第二类定焦摄像模组1022。
具体的,第一类定焦摄像模组1021可以用于进行全景监控,以监控视场角范围为360°为例,如图7所示,为第一类定焦摄像模组对应监控区域范围的一种俯视示意图,该监控区域范围具体呈现为半径为R4的圆形区域,其对应的监控距离范围为[0,R4]。
第二类定焦摄像模组1022中的每一个第二类定焦摄像模组1022可以用于对相应监控距离范围内的区域进行监控,且不同的第二类定焦摄像模组1022对应的监控距离范围不同,且监控距离为与所述固定机构104的中轴线在平行于地面方向上的距离。同样以监控视场角范围为360°为例,如图8所示,为第二类定焦摄像模组对应监控区域范围的一种俯视示意图,该监控区域范围具体呈现为多个同心圆环区域,例如,图8中的监控区域范围为半径为R6至R7之间的圆环区域,或者,监控区域范围为半径为R7至R8之间的圆环区域。
在实际使用时,若要根据定焦摄像模组102进行移动目标检测时,可以仅采用一个第一类定焦摄像模组1021,来实现对360°的全范围进行图像采集,如图4所示,每个定焦摄像装置可对应负责监控一个扇形监控区域,所有扇形监控区域共同组成如图7中的监控距离范围为[0,R4]的监控区域范围,当对第一类定焦摄像模组1021所拍摄的监控图像进行移动目标检测,并检测到[0,R4]的监控区域范围存在移动目标时,处理器模组101可向变焦摄像模组103发送控制指令,以使相应的变焦摄像装置对移动目标进行跟踪监控。
当然,也可以仅采用多个第二类定焦摄像模组1022,来实现对360°的全范围进行图像采集,即,可以采用多个第二类定焦摄像模组1022,使这多个第二类定焦摄像模组1022的监控区域范围相衔接,如图8所示,各个第二类定焦摄像模组1022的监控距离范围分别为[0,R6]、[R6,R7]、[R7,R8]以及[R8,R9],以共同构成监控距离范围为[0,R9]的全范围,进而可对全范围进行移动目标检测。具体在进行移动目标检测时,可以先将各个第二类定焦摄像模组1022各自对应的监控图像汇总拼接在一起,以构成具有全范围像素坐标信息的监控图像,进而,再根据拼接的监控图像来进行移动目标检测,并在检测到[0,R9]的监控区域范围存在移动目标时,处理器模组101可向变焦摄像模组103发送控制指令,以使相应的变焦摄像装置对移动目标进行跟踪监控。
此外,对全范围进行监控,也可以仅采用变焦摄像装置来实现,具体可将该变焦摄像装置的镜头焦距设置为进行移动目标检测时所需的镜头焦距,并采用多个变焦摄像装置,使它们各自对应的监控区域拼接在一起共同构成全范围的监控区域范围,与上述仅采用一个第一类定焦摄像模组1021的情况类似,每个变焦摄像装置可负责监控一个扇形的监控区,所有扇形监控区域共同组成如图7中的监控距离范围为[0,R4]的监控区域范围。
当然,若是采用变焦摄像装置对全范围进行监控,那么由于摄像监控设备在出厂时,其变焦摄像装置的数量就已经确定了,所以,在通过变焦摄像装置对不同监控距离范围进行移动目标检测时,可能会出现监控盲区,例如,在变焦摄像装置对[0,100]米监控距离范围进行监控时,可实现对360°的监控视场角范围,但是,在对[0,80]米监控距离范围进行监控时,可以通过增大各个变焦摄像装置对应的镜头焦距来满足这个条件,然而,增大各个变焦摄像装置对应的镜头焦距,会相应缩小各个变焦摄像装置各自的监控视场角范围,进而,使得总的监控视场角范围也会缩小,例如,原本为360°的监控视场角范围,现在缩小为330°的监控视场角范围,那么剩余30°的监控视场角范围便成为了监控盲区。
此外,还可以通过第一类定焦摄像模组1021和第二类定焦摄像模组1022共同来对全范围进行监控,如图9所示,为第一、第二类定焦摄像模组共同的监控区域范围的一种俯视示意图,其中,定焦摄像模组102具有1个第一类定焦摄像模组1021和1个第二类定焦摄像模组1022,该第一类定焦摄像模组1021的监控区域范围为半径为R4的圆形区域,其对应的监控距离范围为[0,R4],该第二类定焦摄像模组1022可以仅对一部分的监控区域范围进行监控,例如,监控区域范围为半径为R3至R5之间的圆环区域,其对应的监控距离范围为[R3,R5],如图9所示的呈现竖线阴影的圆环。
在实际对移动目标进行检测时,可以将第一类定焦摄像模组1021和第二类定焦摄像模组1022所采集的监控图像中所包含的像素坐标信息汇总在一起之后,再根据汇总的像素坐标信息进行移动目标检测。当然,为了减少工作量,也可以先对第一类定焦摄像模组1021所采集的监控图像进行移动目标检测,若是,能够检测出存在移动目标,那么则不用再对第二类定焦摄像模组1022所采集的监控图像进行移动目标检测了,否则,则需要进一步对第二类定焦摄像模组1022所采集的监控图像进行移动目标检测。为了更进一步减少工作量,由于第一类定焦摄像模组1021是对监控距离较远的地方不容易进行移动目标检测,因此,在对第二类定焦摄像模组1022所采集的监控图像进行移动目标检测时,可以先对平均监控距离较远的第二类定焦摄像模组1022所采集的监控图像进行移动目标检测,再依次对平均监控距离次远的第二类定焦摄像模组1022所采集的监控图像进行移动目标检测。
在一种可能的实施方式中,为了尽可能降低对移动目标的漏拍概率,那么变焦摄像模组103所对应的监控区域范围应该尽可能的覆盖完全。因此,至少一个变焦摄像模组103包括的监控距离范围相邻的两个变焦摄像模组103中,与固定机构104的平均监控距离较小的变焦摄像模组103的监控距离上限值,不小于与固定机构104的平均监控距离较大的变焦摄像模组103的监控距离下限值。其中,监控距离上限值为最大的监控距离,监控距离下限值为最小的监控距离,平均监控距离为监控距离范围的平均值。
如图3所示,变焦摄像模组A的监控距离范围为[0,R1],变焦摄像模组B的监控距离范围为[R1,R2],那么,变焦摄像模组A的平均监控距离就为R1/2,变焦摄像模组B的平均监控距离就为(R1+R2)/2,可见,变焦摄像模组A的平均监控距离小于变焦摄像模组B的平均监控距离,且变焦摄像模组A的监控距离的上限值R1,恰好为变焦摄像模组B的监控距离的下限值R1。
在一种可能的实施方式中,为了保证在监控区域范围内的垂直视场角(VerticalField of View,VFOV)方向不被其他层遮挡,以达到在垂直方向上的尽可能的扩大监控区域范围,那么在将至少一个定焦摄像模组102与一个变焦摄像模组103在国定杆13上进行设置时,可以按照如下方式进行设置,具体的,任意两个定焦摄像模组102中的一个定焦摄像模组不在另一定焦摄像模组的垂直监控区域范围内;且,任意两个变焦摄像模组103中的一个变焦摄像模组不在另一变焦摄像模组的垂直监控区域范围内;且,任一个定焦摄像模组不在任一变焦摄像模组的垂直监控区域范围内;且,任一个变焦摄像模组不在任一定焦摄像模组的垂直监控区域范围内。也就是说,定焦摄像模组102与变焦摄像模组103在垂直视场角方向上,两两都不在对方的垂直监控区域范围内,那么,在实际进行摄像模组设置时,若是任意2个摄像模组之间在垂直视场角方向上存在遮挡,如图10所示,为定焦摄像模组与变焦摄像模组的一种安装示意图,其中,摄像装置的镜头中心点到固定机构104的中轴线在平行于地面方向上的距离表示该摄像装置的安装半径,摄像装置在固定机构104的安装点与地面的高度表示为该摄像装置的安装高度,2个摄像模组在固定机构104上的安装高度差,表示这2个摄像模组在固定机构104上的间隔距离,那么可以通过如下的方式来使得在垂直视场角方向上互不遮挡:
(1)增大这2个摄像模组在固定机构104上的间隔距离;
(2)缩小安装高度较低的摄像模组的安装半径;
(3)增大安装高度较高的摄像模组的安装半径。
为了便于理解本申请实施例的技术方案,这里以具体的定焦摄像模组和变焦摄像模组的搭配示例进行说明。参见图11所示,为本申请实施例提供的摄像监控设备的另一种结构示意图,至少一个定焦摄像模组102包括1个定焦摄像模组102,至少一个变焦摄像模组103包含第一变焦摄像模组1031、第二变焦摄像模组1032以及第三变焦摄像模组1033。
各个摄像模组对应的具体监控区域范围可参照图3所示:
定焦摄像模组102的监控区域范围为半径为R4的圆形区域。
第一变焦摄像模组1031用于监控第一区域,即,监控区域范围为半径为R1的圆形区域;
第二变焦摄像模组1032用于监控第二区域,即,监控区域范围为半径为R1至R2之间的圆环区域;
第三变焦摄像模组1033用于监控第三区域,即,监控区域范围为半径为R2至R3之间的圆环区域。
其中,第二区域包围第一区域,第三区域包围第二区域,第一定焦摄像模组的监控区域范围不小于第一区域、第二区域以及第三区域的总和。
由于镜头焦距表示镜头光学后主点到焦点的距离,镜头焦距的大小决定着拍摄的图像中目标成像大小以及监控视场角大小,具体表现为,当镜头焦距越大时,目标成像越大(即,在图像中所占据的像素点越多),监控视场角越小。因此,当移动目标本身就距摄像装置较近时,即移动目标在所拍摄的图像中本身成像就较大时,那么采用相对较小的镜头焦距即可清楚的拍摄到移动目标,所以,在本申请实施例中,参见图11所示,第一变焦摄像模组1031的平均监控距离小于第二变焦摄像模组1032的平均监控距离,因此,第一变焦摄像模组1031的最大镜头焦距应不大于第二变焦摄像模组1032的最大镜头焦距;而第二变焦摄像模组1032的平均监控距离小于第三变焦摄像模组1033的平均监控距离,因此,第二变焦摄像模组1032的最大镜头焦距应不大于第三变焦摄像模组1033的最大镜头焦距。
在一种可能的实施方式中,每个变焦摄像模组103的镜头焦距的最大值是根据自身包括的图像传感器的尺寸以及相应监控子区域与固定机构104之间的最大监控距离确定的,且采用最大镜头焦距拍摄的图像中的人脸大小满足人脸识别要求的最小值。
具体的,每个变焦摄像模组103对应的镜头焦距的最大值f与自身负责监控的相应监控子区域的最大监控距离R值(mm)之间的关系满足如下不等式:
f≥40*R*Lp/Sr
其中,Lp为变焦摄像装置的图像传感器的像素点边长,例如,2.8英寸的图像传感器,每英寸长度上有96个像素点,那么每个像素点对应的边长就为0.263mm;Sr为人脸宽度均值,人脸宽度均值可以采用经验值,也可以通过统计数据来获得,在本申请实施例中,可以设置为130mm;其中,常数40是根据所采用的目标检测方法的目标检测能力来确定,若是所采用的目标检测方法的目标检测能力较高、计算能力较强,即所需要的目标对应的像素点较少时,可以将常数设置为40,当然,根据目前行业对目标的检测能力,也可以将常数设置为100或120。
在一种可能的实施方式中,同一安装高度上的摄像模组一般用于监控某个监控区域的各个部分,例如图3中所示,变焦摄像模组B可用于监控监控区域范围为半径为R1至R2之间的圆环区域的各个部分,因而同一安装高度上的摄像模组需满足如下条件:
(1)任一定焦摄像模组所包含的任意两个定焦摄像装置的监控距离上限值的差值不大于设定的监控距离差,且任意两个定焦摄像装置的监控区域范围的重叠率小于设定的第一重叠率。
在本申请实施例中,可以将设定的监控距离差设置为该定焦摄像模组102的各个定焦摄像装置的监控距离上限值的平均值的20%,第一重叠率可以设置为占相应的定焦摄像装置的监控区域范围的50%。由于这里讨论的是同一定焦摄像模组内的任意两个定焦摄像装置的监控区域范围的重叠率,所以第二重叠率指代的是平行于地面方向上的监控区域范围的重叠率。
(2)任一变焦摄像模组所包含的任意两个变焦摄像装置的监控距离上限值的差不大于设定的监控距离差,且任意两个变焦摄像装置的监控区域范围的重叠率小于设定的第一重叠率。
在一种可能的实施方式中,不同安装高度上的摄像模组一般用于监控不同监控区域范围,例如图3中所示,变焦摄像模组B可用于监控监控区域范围为半径为R1至R2之间的圆环区域,变焦摄像模组C可用于监控监控区域范围为半径为R2至R3之间的圆环区域,因而不同安装高度上的摄像模组需满足如下条件:
任一定焦摄像模组与任一变焦摄像模组之间的监控区域范围的重叠率小于设定的第二重叠率;任意两个定焦摄像模组之间的监控区域范围的重叠率小于设定的第二重叠率;任意两个变焦摄像模组之间的监控区域范围的重叠率小于设定的第二重叠率。
在本申请实施例中,由于不同摄像模组之间的监控视场角在垂直于地面的方向上存在相交的情况,因此,第二重叠率是指垂直于地面方向上的监控区域范围的重叠率。可以将第二重叠率设置为占相应的摄像模组的监控区域范围的50%。
在一种可能的实施方式中,由于在同一定焦摄像模组102中,各个定焦摄像装置的监控区域共同组成了定焦摄像模组102的监控区域范围,那么在任一个定焦摄像装置进行转动时,为了避免监控漏拍,剩余的定焦摄像装置会进行同样的转动,即同一定焦摄像模组102中的各个定焦摄像装置可以是联动的。
例如,定焦摄像模组102包含有3个定焦摄像装置,它们分别为定焦摄像装置1、定焦摄像装置2和定焦摄像装置3,当定焦摄像装置2将要通过云台向左转动20°时,定焦摄像装置1和定焦摄像装置3将会与定焦摄像装置2一起通过各自的云台向左转动20°。
在一种可能的实施方式中,由于通常情况下,移动目标大部分都分布于地面上,因此,进行目标检测时,也主要是对地面上的目标进行检测,且由于定焦摄像模组102采用的镜头焦距较小,监控区域范围较大,已经能够实现对较远监控距离的目标进行检测了,因此,其并不需要大幅度调整俯仰转动角度,以增大俯仰转动角度,从而对天空或者监控距离更远的目标进行检测。所以,在本申请实施例中,每个定焦摄像模组102所包含多个定焦摄像装置的俯仰转动角度范围可以不大于30°。
在一种可能的实施方式中,因为变焦摄像模组103的变焦摄像转置是由带云台的摄像头组成,所以,变焦摄像装置的监控区间视场角由摄像头的视场角和云台所对应的旋转角共同构成。例如,在水平方向上,变焦摄像装置的摄像头的视场角为90°,相应云台的旋转角为30°,那么该一变焦摄像装置在水平方向上的监控区间视场角范围为[0,120°]。
在一种可能的实施方式中,由于受摄像头的视场角的影响,摄像监控设备对应的监控区域范围内的中心处存在覆盖盲区,即监控区域范围内的中心处存在不能被摄像装置监控到的区域。例如,当采用直径为2.8英寸大小的摄像机镜头时,该镜头对应的视场角大约为53°,那么按照视场角平行于水平面的方式对多个含有该镜头的摄像装置进行安装时,这些摄像装置所形成的监控区域范围的中心势必会存在监控盲区。为了更好的提升监控效果,该监控盲区对应的最大监控距离应该不大于2m。监控盲区的大小可以通过选取不同视场角大小的摄像机镜头来实现,即当监控盲区过大时,可以采用视场角更大的摄像机镜头来缩小监控盲区。
下面,结合上述的摄像监控设备,对本申请实施例提供的摄像机监控方法进行介绍,如图12所示,为本申请实施例提供的摄像监控方法的流程示意图,该方法例如可以通过上述的处理器模组101来执行,该方法的流程介绍如下。
步骤1201:基于至少一个定焦摄像模组拍摄的监控图像,进行移动目标检测。
在本申请实施例中,至少一个定焦摄像模组102会每隔固定的时间就进行一次监控图像采集,处理器模组101根据所采集到的监控图像,可以确定各个采集时刻所对应的监控图像中是否存在大于设定的像素点数阈值的像素区域,若是存在大于设定的像素点数阈值的像素区域,那么则表明各个采集时刻所对应的监控图像中存在待检测目标,进而可以对各个采集时刻所对应的监控图像中的待检测目标进行比对分析(例如,在不同时刻对同一监控区域所采集的多张监控图像中,存在一待检测目标的像素坐标值发生了改变,那么该待检测目标即为移动目标),以进一步确定该至少一个定焦摄像模组拍摄的监控图像中是否存在移动目标。
例如,可以将像素点数阈值设置为40,至少一个定焦摄像模组102在9点10分11秒时采集了一次监控图像,在9点10分12秒时又采集了一次监控图像,那么,首先应该确定两次采集的监控图像中是否存在待检测目标,即是否存在像素点数大于40的像素区域,在确定存在像素点数大于40的像素区域时,那么该像素区域即为待检测目标,进而则会判断这两次采集的监控图像中待检测目标的像素坐标值是否发生了改变,若是,发生了改变,那么该待检测目标为移动目标,否则,这至少一个定焦摄像模组拍摄的监控图像中不存在移动目标。
由于每一定焦摄像模组包含有多个定焦摄像装置,所以在同一时刻,可以获得多张定焦摄像模组所拍摄的监控图像,具体在进行目移动标检测时,可以将多张监控图像拼接之后,再对拼接后的监控图像进行移动目标检测。当然,也可以不对这多张监控图像进行拼接,可以对这多张监控图像中的每一张监控图像都进行移动目标检测,在检测完成后,需要对这多张监控图像各自对应的检测所获得的检测数据进行整合,检测数据例如为移动目标所占的像素点坐标等,即对这多张监控图像各自对应的检测数据取并集,进而得出最终的检测结果。
步骤1202:当检测到至少一个定焦摄像模组的监控区域内存在第一移动目标时,确定第一移动目标所在的第一监控子区域。
在本申请实施例中,一个监控子区域对应一个变焦摄像装置的监控区域范围。
在本申请实施例中,由于至少一个变焦摄像模组的监控区域范围均位于至少一个定焦摄像模组的监控区域范围内,所以,可以预先设定的至少一个定焦摄像模组所采集的监控图像的像素点坐标,与至少一个变焦摄像模组的各个变焦摄像装置所对应的监控子区域之间的映射关系,那么在获知监控图像中的像素点坐标之后,即可确定第一移动目标所位于的监控子区域,进而确定该监控子区域对应的变焦摄像装置。
具体的,基于至少一个定焦摄像模组所采集的监控图像,在检测到第一移动目标移动至至少一个定焦摄像模组的监控区域范围时,可以确定出第一移动目标在监控图像中的目标像素坐标值,并可以根据预设的监控图像中各个像素坐标值与监控子区域之间的映射关系,确定出与目标像素坐标值对应的第一监控子区域,进而向该第一监控子区域对应的第一变焦摄像装置发送控制指令,以控制第一变焦摄像装置对第一移动目标进行跟踪监控。
示例性的,第一移动目标在监控图像中的目标像素坐标值可以为(40,50),其对应的第一监控子区域为变焦摄像模组B包括的变焦摄像装置1的监控子区域,那么便可以向变焦摄像装置1发送控制指令,以控制该变焦摄像装置1对第一移动目标进行跟踪监控。
步骤1203:基于第一监控子区域,控制相应的第一变焦摄像装置对第一移动目标进行跟踪监控。
在本申请实施例中,由于第一监控子区域为第一变焦摄像装置的监控区域范围,所以,在通过至少一个定焦摄像模组所采集的监控图像确定第一移动目标的第一监控子区域之后,便可以通过控制该第一变焦摄像装置来对第一移动目标进行跟踪监控,在必要时,还可以通过第一变焦摄像装置所采集的监控图像对第一移动目标进行识别,以确定去该第一移动目标具体为何种类型的目标(例如,人、车辆、动物等)。
由于移动目标是不断地在进行移动,所以在移动过程中,可能就会经过多个变焦摄像装置所对应的监控子区域,因此,在对第一移动目标进行跟踪监控的过程中,基于至少一个定焦摄像模组拍摄的监控图像,需要去确定第一移动目标是否移动至第二变焦摄像装置对应的第二监控子区域;在第一移动目标移动至第二监控子区域时,则需要向第二变焦摄像装置发送控制指令,以控制第二变焦摄像装置对第一移动目标进行跟踪监控。
例如,如图13所示,为移动目标经过不同监控子区域的一种示意图,继续沿用图3中所示的监控区域范围划分,变焦摄像模组可以分别为变焦摄像模组A、变焦摄像模组B和变焦摄像模组C,其中,变焦摄像模组C的监控区域范围为半径为R2至R3之间的圆环区域,可以将变焦摄像模组C的监控区域范围均匀的划分为4个监控子区域,每一监控子区域对应一个变焦摄像装置。
此时,第一移动目标为一个车辆,该车辆当前位于变焦摄像装置C1所对应的监控子区域中,那么在该车辆的不断行驶过程中,其会从变焦摄像装置C1所对应的监控子区域进入变焦摄像装置C2所对应的监控子区域,那么基于定焦摄像模组拍摄的监控图像,确定该车辆移动至变焦摄像装置C2对应的监控子区域时,则可以向变焦摄像装置C2发送控制指令,以控制变焦摄像装置C2对该车辆进行跟踪监控。
其中,在车辆的不断行驶过程中,由于该车辆距离固定机构的中轴线在平行于地面方向上的监控距离是不断发生改变的,因此,为了能够拍摄到识别效果较好的监控图像,变焦摄像装置C1和变焦摄像装置C2在对该车辆进行监控的过程中,其对应的镜头焦距也应该是随着监控距离的改变而不断发生改变的。
在本申请实施例中,在第一移动目标移出第一监控子区域之后,第一监控子区域所对应的第一变焦摄像装置可以根据如下策略进行运动:
具体的,基于至少一个定焦摄像模组拍摄的监控图像,可以确定是否存在第二移动目标移动至第一监控子区域;在确定不存在第二移动目标移动至该第一监控子区域时,可以控制第一变焦摄像装置切换至初始监控状态;其中,该初始监控状态可以包括云台初始转动角与变焦摄像装置的初始镜头焦距值。例如,继续沿用图13所示的例子,当车辆驶出变焦摄像装置C1的监控子区域之后,该变焦摄像装置C1的监控子区域并未出现其它的移动目标,那么,变焦摄像装置C1便会转动云台以回到初始的转动角度,且将变焦摄像装置C1的镜头焦距也切换回初始的默认镜头焦距值。
此外,在确定存在第二移动目标移动至第一监控子区域时,可以向第一变焦摄像装置发送控制指令,以控制该第一变焦摄像装置对第二移动目标进行跟踪监控。例如,继续沿用图13所示的例子,当车辆驶出变焦摄像装置C1的监控子区域之后,该变焦摄像装置C1的监控子区域出现了一位行人,那么,便可以向变焦摄像装置C1发送控制指令,以控制该变焦摄像装置C1对行人进行跟踪监控。
在另一种可能的实施方式中,在至少一个定焦摄像模组包含第一类定焦摄像模组和第二类定焦摄像模组;第一类定焦摄像模组用于进行全景监控;第二类定焦摄像模组中每一个第二类定焦摄像模组用于对相应监控距离范围内的区域进行监控,不同的第二类定焦摄像模组对应的监控距离范围不同,且监控距离为与固定机构的中轴线在平行于地面方向上的距离时,即基于第一类定焦摄像模组和第二类定焦摄像模组所采集的监控图像来共同对移动目标进行检测,如图14所示,为本申请实施例提供的摄像监控方法的另一种流程示意图,下面以至少一个定焦摄像模组的模组数为3,即,包括1个第一类定焦摄像模组和2个第二类定焦摄像模组,且2个第二类定焦摄像模组中第二类定焦摄像模组E的平均监控距离大于第二类定焦摄像模组F的平均监控距离为例进行介绍,具体流程介绍如下。
步骤1401:基于第一类定焦摄像模组拍摄的监控图像,确定各个采集时刻对应的监控图像中是否存在待检测目标。
由于第一类定焦摄像模组用于进行全景监控,所以通常情况下,为了快速确定是否存在移动目标,会首先根据第一类定焦摄像模组拍摄的监控图像来确定是否存在移动目标。且在进行目标检测时,待检测目标对应的像素点数必须要达到一定的像素点数阈值(例如,40个像素点)时,才能通过目标检测方法将待检测目标从监控图像中检测出来。
因此,基于第一类定焦摄像模组所拍摄的监控图像,会确定各个采集时刻所对应的监控图像中是否存在大于设定的像素点数阈值的像素区域,若是存在大于设定的像素点数阈值的像素区域,则表明该像素区域为待检测目标,即监控图像中存在待检测目标,否则,则不存在待检测目标。
步骤1402:在确定存在待检测目标,基于各个采集时刻对应的监控图像中的待检测目标,确定第一类定焦摄像模组拍摄的监控图像中是否存在第一移动目标。
在确定第一类定焦摄像模组拍摄的监控图像的各个采集时刻对应的监控图像中存在待检测目标时,可以对各个采集时刻所对应的监控图像中的待检测目标进行比对分析(例如,在不同时刻对同一监控区域所采集的多张监控图像中,存在一待检测目标的像素坐标值发生了改变,那么该待检测目标即为移动目标),以进一步确定该至少一个定焦摄像模组拍摄的监控图像中是否存在移动目标。
步骤1403:在确定存在第一移动目标时,确定第一移动目标所在的第一监控子区域。
在本申请实施例中,可以根据第一移动目标在第一类定焦摄像模组中的像素坐标值,通过预设的监控图像中各个像素坐标值与监控子区域之间的映射关系,确定出第一移动目标所在的第一监控子区域。否则,在确定不存在第一移动目标时,则会回到步骤1101,继续基于第一类定焦摄像模组拍摄的监控图像,以确定是否存在待检测目标。
步骤1404:在确定不存在待检测目标时,基于第二类定焦摄像模组E所拍摄的监控图像,确定各个采集时刻对应的监控图像中是否存在待检测目标。
由于第一类定焦摄像模组用于进行全景监控,所以其所采用的镜头焦距相对较小,在其所拍摄的监控图像中,移动目标所对应的像素点数也会相对较少,特别是移动目标的监控距离达到一定监控距离时,仅通过第一类定焦摄像模组所拍摄的监控图像,几乎是不能通过像素区域的像素点数来分辨是否存在待检测目标了,因此,为了进一步确定较远监控距离的监控区域范围内是否存在待检测目标,可以通过另一个镜头焦距比第一类定焦摄像模组的镜头焦距稍大的第二类定焦摄像模组来进行待检测目标的确定。
且由于监控距离越远时,所对应拍摄的监控图像就越不容易检测出是否存在待检测目标,因此,在需要通过第二类定焦摄像模组拍摄的监控图像来进行移动目标检测时,为了快速确定是否存在移动目标,会先检测平均监控距离较大的第二类定焦摄像模组E的监控图像。
具体的,确定在第一类定焦摄像模组拍摄的监控图像中,若是不存在待检测目标,即不能通过第一类定焦摄像模组拍摄的监控图像确定第一移动目标时,可以对第二类定焦摄像模组E所拍摄的监控图像,确定各个采集时刻对应的监控图像中是否存在待检测目标。
步骤1405:在确定存在待检测目标,基于各个采集时刻对应的监控图像中的待检测目标,确定第二类定焦摄像模组E所拍摄的监控图像中是否存在第一移动目标。
步骤1406:在确定存在第一移动目标时,确定第一移动目标所在的第一监控子区域。
否则,在确定第二类定焦摄像模组E所拍摄的监控图像中不存在第一移动目标时,则会回到步骤1101,继续基于第一类定焦摄像模组拍摄的监控图像,以确定是否存在待检测目标。
步骤1407:在确定不存在待检测目标时,基于第二类定焦摄像模组F所拍摄的监控图像,确定各个采集时刻对应的监控图像中是否存在待检测目标。
步骤1408:在确定存在待检测目标,基于各个采集时刻对应的监控图像中的待检测目标,确定第二类定焦摄像模组F所拍摄的监控图像中是否存在第一移动目标。
步骤1409:在确定存在第一移动目标时,确定第一移动目标所在的第一监控子区域。
否则,在确定第二类定焦摄像模组F所拍摄的监控图像中不存在第一移动目标时,则会回到步骤1401,继续基于第一类定焦摄像模组拍摄的监控图像,以确定是否存在待检测目标。
步骤14010:基于第一监控子区域,控制相应的第一变焦摄像装置对第一移动目标进行跟踪监控。
那么,在确定出目标像素坐标值对应的第一监控子区域之后,便可以向该第一监控子区域对应的第一变焦摄像装置发送控制指令,以控制第一变焦摄像装置对第一移动目标进行跟踪监控。
由于具有多个变焦摄像装置,所以即便检测到在同一时刻存在多个移动目标,同样也是能够通过这多个变焦摄像装置对相应的多个移动目标进行跟踪监控的,也就是说,本申请实施例可以适用于人流量非常多的监控场景,在该监控场景下可以实现多摄像头同时进行跟踪监控,并降低监控的漏拍概率。
综上所述,在本申请实施例中,无论是定焦摄像模组,还是变焦摄像模组,都包含有多个对应的摄像装置,每一个摄像装置又各自对应一个不同监控距离的监控区域,使得在水平方向上,具有较大的监控区域覆盖范围,又由于不同的摄像模组在固定机构上的高度不同,所以在垂直方向上,同样具有较大的监控区域覆盖范围,所以,可以大大增大摄像监控设备的监控区域覆盖范围。
此外,由于定焦摄像模组的监控区域范围大,定焦摄像模组可实现全范围的移动目标检测,变焦摄像模组对应于特定的监控区域范围,既,能够拍摄特定监控区域范围内的图像,从而能够准确实现该区域内移动目标的跟踪和识别,所以,通过定焦摄像模组与变焦摄像模组的配合,能够实现对不同的移动目标进行跟踪监控,大大降低了移动目标的漏拍概率。
如图15所示,基于同一发明构思,本申请实施例提供一摄像监控装置150,该装置包括:
移动目标检测单元1501,用于基于至少一个定焦摄像模组拍摄的监控图像,进行移动目标检测;
监控子区域确定单元1502,用于当检测到至少一个定焦摄像模组的监控区域内存在第一移动目标时,确定第一移动目标所在的第一监控子区域;
移动目标跟踪单元1503,用于基于第一监控子区域,控制相应的第一变焦摄像装置对第一移动目标进行跟踪监控。
可选的,该监控子区域确定单元1502,具体用于:
在检测到第一移动目标移动至监控区域范围时,确定第一移动目标在监控图像中的目标像素坐标值;
根据监控图像中各个像素坐标值与监控子区域之间的映射关系,确定与目标像素坐标值对应的第一监控子区域;
向第一监控子区域对应的第一变焦摄像装置发送控制指令,以控制第一变焦摄像装置对第一移动目标进行跟踪监控。
可选的,该监控子区域确定单元1502,具体还用于:
基于至少一个定焦摄像模组拍摄的监控图像,确定第一移动目标是否移动至第二变焦摄像装置对应的第二监控子区域;
在第一移动目标移动至第二监控子区域时,向第二变焦摄像装置发送控制指令,以控制第二变焦摄像装置对第一移动目标进行跟踪监控。
可选的,移动目标检测单元1501,具体还用于:
基于至少一个定焦摄像模组拍摄的监控图像,确定是否存在第二移动目标移动至第一监控子区域;
在确定不存在第二移动目标移动至第一监控子区域时,控制第一变焦摄像装置切换至初始监控状态;或者,
在确定存在第二移动目标移动至第一监控子区域时,向第一变焦摄像装置发送控制指令,以控制第一变焦摄像装置对第二移动目标进行跟踪监控。
可选的,在至少一个定焦摄像模组包含第一类定焦摄像模组和第二类定焦摄像模组;第一类定焦摄像模组用于进行全景监控;第二类定焦摄像模组中每一个第二类定焦摄像模组用于对相应监控距离范围内的区域进行监控,不同的第二类定焦摄像模组对应的监控距离范围不同,且监控距离为与固定机构的中轴线在平行于地面方向上的距离时,该移动目标检测单元1501,具体还用于:
在确定第一类定焦摄像模组拍摄的监控图像中,存在像素区域但像素区域对应的像素点数小于设定的像素点数阈值时,基于第二类定焦摄像模组中平均监控距离最大的第二类子定焦摄像模组拍摄的监控图像进行移动目标检测;
在确定平均监控距离最大的第二类子定焦摄像模组拍摄的监控图像中,像素区域对应的像素点数仍小于设定的像素点数阈值时,基于第二类定焦摄像模组中平均监控距离次大的第二类子定焦摄像模组拍摄的监控图像进行移动目标检测,检测出移动目标未为止,或者,直至所有的第二类子定焦摄像模组拍摄的监控图像均完成移动目标检测为止。
该装置可以用于执行图13~图15所示的实施例中所述的方法,因此,对于该装置的各功能模块所能够实现的功能等可参考图13~图15所示的实施例的描述,不多赘述。
在一些可能的实施方式中,本申请提供的方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在计算机设备上运行时,所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤,例如,所述计算机设备可以执行如图13~图15所示的实施例中所述的方法。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (14)

1.一种摄像监控设备,其特征在于,所述监控设备包括处理器模组、固定机构、至少一个定焦摄像模组和至少一个变焦摄像模组;每个定焦摄像模组包含多个定焦摄像装置,每个变焦摄像模组包含多个变焦摄像装置,所述至少一个定焦摄像模组的监控区域范围不小于各个变焦摄像装置的监控子区域的总和;
所述至少一个定焦摄像模组和所述至少一个变焦摄像模组均同心设置于所述固定机构上,且不同的摄像模组在所述固定机构上的高度不同;
其中,所述处理器模组对所述至少一个定焦摄像模组拍摄的监控图像进行移动目标检测,当检测到所述至少一个定焦摄像模组的监控区域内存在移动目标时,基于所述移动目标所在的监控子区域,控制相应的变焦摄像装置对所述移动目标进行跟踪监控。
2.如权利要求1所述的监控设备,其特征在于,所述至少一个定焦摄像模组包含第一类定焦摄像模组和第二类定焦摄像模组;
所述第一类定焦摄像模组用于进行全景监控;
所述第二类定焦摄像模组中每一个第二类定焦摄像模组用于对相应监控距离范围内的区域进行监控,不同的第二类定焦摄像模组对应的监控距离范围不同,且监控距离为与所述固定机构的中轴线在平行于地面方向上的距离。
3.如权利要求1所述的监控设备,其特征在于,所述至少一个变焦摄像模组包括的监控距离范围相邻的两个变焦摄像模组中,与所述固定机构的平均监控距离较小的变焦摄像模组的监控距离上限值,不小于与所述固定机构的平均监控距离较大的变焦摄像模组的监控距离下限值。
4.如权利要求1所述的监控设备,其特征在于,所述至少一个定焦摄像模组和至少一个变焦摄像模组中,任意两个摄像模组之间的位置关系,满足如下条件:
其中一个摄像模组未位于另一摄像模组的监控视角范围内。
5.如权利要求1所述的监控设备,其特征在于,所述至少一个定焦摄像模组包括第一定焦摄像模组,所述至少一个变焦摄像模组包含第一变焦摄像模组、第二变焦摄像模组以及第三变焦摄像模组;
其中,所述第一变焦摄像模组用于监控第一区域,所述第二变焦摄像模组用于监控第二区域,所述第三变焦摄像模组用于监控第三区域,所述第二区域包围所述第一区域;所述第三区域包围所述第二区域,所述第一定焦摄像模组的监控区域范围不小于所述第一区域、所述第二区域以及所述第三区域的总和;
所述第一变焦摄像模组的最大镜头焦距不大于所述第二变焦摄像模组的最大镜头焦距,所述第二变焦摄像模组的最大镜头焦距不大于所述第三变焦摄像模组的最大镜头焦距。
6.如权利要求1所述的监控设备,其特征在于,每个变焦摄像模组的镜头焦距的最大值是根据自身包括的图像传感器的尺寸以及相应监控子区域与所述固定机构之间的最大监控距离确定的,且采用最大镜头焦距拍摄的图像中的人脸大小满足人脸识别要求的最小值。
7.如权利要求1所述的监控设备,其特征在于,
任一定焦摄像模组所包含的任意两个定焦摄像装置的监控距离上限值的差值不大于设定的监控距离差,且所述任意两个定焦摄像装置的监控区域范围的重叠率小于设定的第一重叠率;且,
任一变焦摄像模组所包含的任意两个变焦摄像装置的监控距离上限值的差不大于设定的监控距离差,且所述任意两个变焦摄像装置的监控区域范围的重叠率小于设定的第一重叠率。
8.一种摄像监控方法,其特征在于,应用于摄像监控设备中,所述监控设备包括固定机构、至少一个定焦摄像模组和至少一个变焦摄像模组;每个定焦摄像模组包含多个定焦摄像装置,每个变焦摄像模组包含多个变焦摄像装置,所述至少一个定焦摄像模组的监控区域范围不小于各个变焦摄像装置的监控子区域的总和,所述方法包括:
基于所述至少一个定焦摄像模组拍摄的监控图像,进行移动目标检测;
当检测到所述至少一个定焦摄像模组的监控区域内存在第一移动目标时,确定所述第一移动目标所在的第一监控子区域;
基于所述第一监控子区域,控制相应的第一变焦摄像装置对所述第一移动目标进行跟踪监控。
9.如权利要求8所述的方法,其特征在于,当检测到所述至少一个定焦摄像模组的监控区域内存在第一移动目标时,确定所述第一移动目标所在的第一监控子区域,包括:
在检测到所述第一移动目标移动至所述监控区域范围时,确定所述第一移动目标在所述监控图像中的目标像素坐标值;
根据所述监控图像中各个像素坐标值与监控子区域之间的映射关系,确定与所述目标像素坐标值对应的第一监控子区域;
向所述第一监控子区域对应的第一变焦摄像装置发送控制指令,以控制所述第一变焦摄像装置对所述第一移动目标进行跟踪监控。
10.如权利要求9所述的方法,其特征在于,在控制所述第一变焦摄像装置对所述第一移动目标进行跟踪监控之后,所述方法还包括:
基于所述至少一个定焦摄像模组拍摄的监控图像,确定所述第一移动目标是否移动至第二变焦摄像装置对应的第二监控子区域;
在所述第一移动目标移动至所述第二监控子区域时,向所述第二变焦摄像装置发送控制指令,以控制所述第二变焦摄像装置对所述第一移动目标进行跟踪监控。
11.如权利要求10所述的方法,其特征在于,在控制所述第二变焦摄像装置对所述第一移动目标进行跟踪监控之后,所述方法还包括:
基于所述至少一个定焦摄像模组拍摄的监控图像,确定是否存在第二移动目标移动至所述第一监控子区域;
在确定不存在第二移动目标移动至所述第一监控子区域时,控制所述第一变焦摄像装置切换至初始监控状态;或者,
在确定存在第二移动目标移动至所述第一监控子区域时,向所述第一变焦摄像装置发送控制指令,以控制所述第一变焦摄像装置对所述第二移动目标进行跟踪监控。
12.如权利要求8所述的方法,其特征在于,所述至少一个定焦摄像模组包含第一类定焦摄像模组和第二类定焦摄像模组;所述第一类定焦摄像模组用于进行全景监控;所述第二类定焦摄像模组中每一个第二类定焦摄像模组用于对相应监控距离范围内的区域进行监控,不同的第二类定焦摄像模组对应的监控距离范围不同,且监控距离为与所述固定机构的中轴线在平行于地面方向上的距离;
则基于所述至少一个定焦摄像模组拍摄的监控图像,进行移动目标检测,包括:
在确定所述第一类定焦摄像模组拍摄的监控图像中,存在像素区域但所述像素区域对应的像素点数小于设定的像素点数阈值时,基于所述第二类定焦摄像模组中平均监控距离最大的第二类子定焦摄像模组拍摄的监控图像进行移动目标检测;
在确定所述平均监控距离最大的第二类子定焦摄像模组拍摄的监控图像中,所述像素区域对应的像素点数仍小于设定的像素点数阈值时,基于所述第二类定焦摄像模组中平均监控距离次大的第二类子定焦摄像模组拍摄的监控图像进行移动目标检测,检测出移动目标未为止,或者,直至所有的第二类子定焦摄像模组拍摄的监控图像均完成移动目标检测为止。
13.一种摄像监控装置,其特征在于,所述装置包括:
移动目标检测单元,用于基于所述至少一个定焦摄像模组拍摄的监控图像,进行移动目标检测;
监控子区域确定单元,用于当检测到所述至少一个定焦摄像模组的监控区域内存在第一移动目标时,确定所述第一移动目标所在的第一监控子区域;
移动目标跟踪单元,用于基于所述第一监控子区域,控制相应的第一变焦摄像装置对所述第一移动目标进行跟踪监控。
14.一种计算机存储介质,其上存储有计算机程序指令,其特征在于,
该计算机程序指令被处理器执行时实现权利要求8至12任一项所述方法的步骤。
CN202110685860.3A 2021-06-21 2021-06-21 一种摄像监控设备、方法、装置及存储介质 Pending CN113489948A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110685860.3A CN113489948A (zh) 2021-06-21 2021-06-21 一种摄像监控设备、方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110685860.3A CN113489948A (zh) 2021-06-21 2021-06-21 一种摄像监控设备、方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN113489948A true CN113489948A (zh) 2021-10-08

Family

ID=77935602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110685860.3A Pending CN113489948A (zh) 2021-06-21 2021-06-21 一种摄像监控设备、方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113489948A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923330A (zh) * 2021-10-11 2022-01-11 中国人民解放军63921部队 多目标测量系统
CN114554093A (zh) * 2022-02-25 2022-05-27 重庆紫光华山智安科技有限公司 图像采集系统及目标跟踪方法
TWI858759B (zh) 2023-06-07 2024-10-11 達標智源科技股份有限公司 全景監視裝置及監控系統

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720027A (zh) * 2009-11-27 2010-06-02 西安电子科技大学 可变焦阵列摄像机协同获取不同分辨率多目标视频方法
CN103986871A (zh) * 2014-05-23 2014-08-13 华中科技大学 一种智能变焦视频监控方法及系统
CN104639916A (zh) * 2015-03-04 2015-05-20 合肥巨清信息科技有限公司 一种大场景多目标跟踪拍摄视频监控系统及其监控方法
CN105338248A (zh) * 2015-11-20 2016-02-17 成都因纳伟盛科技股份有限公司 智能多目标主动跟踪监控方法及系统
CN107343174A (zh) * 2017-07-26 2017-11-10 浙江树人学院 远距离移动目标防伪人脸虹膜抓拍装置及方法
CN108513097A (zh) * 2017-02-27 2018-09-07 杭州海康威视数字技术股份有限公司 一种多目摄像装置和监控系统
CN110830756A (zh) * 2018-08-07 2020-02-21 华为技术有限公司 一种监控方法与装置
CN111355884A (zh) * 2019-12-23 2020-06-30 深圳市鸿合创新信息技术有限责任公司 监控方法、装置、系统、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720027A (zh) * 2009-11-27 2010-06-02 西安电子科技大学 可变焦阵列摄像机协同获取不同分辨率多目标视频方法
CN103986871A (zh) * 2014-05-23 2014-08-13 华中科技大学 一种智能变焦视频监控方法及系统
CN104639916A (zh) * 2015-03-04 2015-05-20 合肥巨清信息科技有限公司 一种大场景多目标跟踪拍摄视频监控系统及其监控方法
CN105338248A (zh) * 2015-11-20 2016-02-17 成都因纳伟盛科技股份有限公司 智能多目标主动跟踪监控方法及系统
CN108513097A (zh) * 2017-02-27 2018-09-07 杭州海康威视数字技术股份有限公司 一种多目摄像装置和监控系统
CN107343174A (zh) * 2017-07-26 2017-11-10 浙江树人学院 远距离移动目标防伪人脸虹膜抓拍装置及方法
CN110830756A (zh) * 2018-08-07 2020-02-21 华为技术有限公司 一种监控方法与装置
CN111355884A (zh) * 2019-12-23 2020-06-30 深圳市鸿合创新信息技术有限责任公司 监控方法、装置、系统、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923330A (zh) * 2021-10-11 2022-01-11 中国人民解放军63921部队 多目标测量系统
CN114554093A (zh) * 2022-02-25 2022-05-27 重庆紫光华山智安科技有限公司 图像采集系统及目标跟踪方法
TWI858759B (zh) 2023-06-07 2024-10-11 達標智源科技股份有限公司 全景監視裝置及監控系統

Similar Documents

Publication Publication Date Title
US10878584B2 (en) System for tracking object, and camera assembly therefor
CN109040709B (zh) 视频监控方法及装置、监控服务器及视频监控系统
US7889232B2 (en) Method and system for surveillance of vessels
AU2012255691B2 (en) Surveillance system
CN108983806B (zh) 区域检测、航线规划数据的生成方法和系统、飞行器
CN110718095B (zh) 一种内河航道船舶的ais监控系统及监控方法
CN113489948A (zh) 一种摄像监控设备、方法、装置及存储介质
US20100013917A1 (en) Method and system for performing surveillance
US20090102924A1 (en) Rapidly Deployable, Remotely Observable Video Monitoring System
CN103929592A (zh) 全方位智能监控设备及方法
KR101832274B1 (ko) 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법
KR101032495B1 (ko) 디지털 팬, 틸트 및 줌에 의한 영역감시, 방범 및 주정차단속 다기능 단속시스템 및 이를 이용한 단속방법
CN111914592B (zh) 多相机联合取证方法、装置及系统
KR102196086B1 (ko) 카메라의 ptz 자율 자세보정 방법 및 이를 이용한 교통정보 시스템
CN112804454A (zh) 一种广域警戒系统及其警戒方法
KR100645007B1 (ko) 영상검지 기법을 이용한 불법 주/정차 무인단속 시스템 및방법
CN113034828A (zh) 基于嵌入式计算终端实现目标检测和识别系统及布设方法
KR102347026B1 (ko) 복수의 고정 카메라로 구성된 다중 카메라를 이용한 영상 분석 장치
CN110580809B (zh) 一种高速公路救援车道占道抓拍方法
KR100871833B1 (ko) 자동 추적 카메라 장치
KR101168129B1 (ko) 반사체를 이용한 보안구역의 경보시스템
KR102610397B1 (ko) 멀티 카메라 기반 드론을 이용한 객체추적방법 및 이를 이용한 객체추적시스템
KR101023854B1 (ko) 스쿨존의 경보시스템
KR101503825B1 (ko) 다수 카메라의 제어 방법 및 그 장치
JP2008219452A (ja) カメラ監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211008