CN117676075A - 基于雷达和云台相机的联动跟踪方法、装置和计算机设备 - Google Patents
基于雷达和云台相机的联动跟踪方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN117676075A CN117676075A CN202311405251.3A CN202311405251A CN117676075A CN 117676075 A CN117676075 A CN 117676075A CN 202311405251 A CN202311405251 A CN 202311405251A CN 117676075 A CN117676075 A CN 117676075A
- Authority
- CN
- China
- Prior art keywords
- target object
- radar
- target
- tracking
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 133
- 238000012544 monitoring process Methods 0.000 claims abstract description 33
- 238000001931 thermography Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Studio Devices (AREA)
Abstract
本申请涉及一种基于雷达和云台相机的联动跟踪方法、装置和计算机设备,其中,该方法包括:通过至少一个雷达对目标对象进行跟踪,并实时监测目标对象和雷达的距离,得到监测距离;在监测距离小于预设距离时,通过云台相机对目标对象进行目标检测,并判断目标对象是否通过目标检测;通过云台相机对通过目标检测的目标对象进行跟踪。通过本申请,在雷达远距离检测到目标对象进行跟踪后,当目标对象进入预设距离后,通过云台相机对目标对象进行目标检测和跟踪,能够结合雷达高响应和跟踪范围广的特点,有效扩大了目标跟踪范围,解决了跟踪范围受到相机视场角限制的问题。
Description
技术领域
本申请涉及目标跟踪技术领域,特别是涉及一种基于雷达和云台相机的联动跟踪方法、装置和计算机设备。
背景技术
随着信息技术的迅速发展和生活质量的不断提高,人们对生活和公共环境(如铁路、森林、河道以及海上等)的安防监控需求也不断增强。
通常我们感兴趣的目标都是运动的,但由于摄像机的跟踪范围有限,单独的摄像机已经无法满足越来越复杂的监控场景。因此,多种摄像机的联动使用越来越普及,比如,枪机和球机的枪球联动方案,以及固定相机和云台相机的主从跟踪方案等,但是依然存在跟踪范围受到相机视场角限制的问题。
针对相关技术中存在跟踪范围受到相机视场角限制的问题,目前还没有提出有效的解决方案。
发明内容
基于此,有必要针对上述技术问题,提供一种能够扩大目标跟踪范围的基于雷达和云台相机的联动跟踪方法、装置和计算机设备。
第一个方面,在本实施例中提供了一种基于雷达和云台相机的联动跟踪方法,包括:
通过至少一个雷达对目标对象进行跟踪,并实时监测所述目标对象和所述雷达的距离,得到监测距离;
在所述监测距离小于预设距离时,通过云台相机对所述目标对象进行目标检测,并判断所述目标对象是否通过目标检测;
通过所述云台相机对通过目标检测的所述目标对象进行跟踪。
在其中的一些实施例中,所述通过云台相机对所述目标对象进行目标检测,并判断所述目标对象是否通过目标检测,包括:
通过所述云台相机获取所述目标对象的采集画面,并根据所述采集画面对所述目标对象进行目标检测,得到第一检测结果;
以所述第一检测结果和所述雷达获取的第二检测结果是否一致为判断条件,判断所述目标对象是否通过目标检测;
若所述第一检测结果和所述第二检测结果一致,则所述目标对象通过目标检测;
若所述第一检测结果和所述第二检测结果不一致,则所述目标对象未通过目标检测。
在其中的一些实施例中,所述方法还包括:
根据所述雷达发送的指令信息,控制所述云台相机对所述目标对象进行目标检测,并对通过目标检测的所述目标对象进行跟踪。
在其中的一些实施例中,所述方法还包括:
基于过滤规则,对所述雷达发送的指令信息进行过滤,得到有效执行指令;
根据所述有效执行指令,对所述云台相机进行相应控制。
在其中的一些实施例中,在所述监测距离小于预设距离之前,还包括:
预先控制所述云台相机进行转动,持续对准所述目标对象。
在其中的一些实施例中,所述云台相机为热成像和可见光的双通道相机;
所述云台相机对所述目标对象进行目标检测,还包括:
根据当前时间所在的预设时间段,对应获取所述目标对象的热成像图像或可见光图像进行目标检测。
在其中的一些实施例中,在所述通过所述云台相机对通过目标检测的所述目标对象进行跟踪之后,还包括:
根据所述云台相机的聚焦状态和所述目标对象在采集画面中的占比,提取目标画面并上报至平台端;
在所述平台端中,基于所述目标画面对所述目标对象进行目标检测。
第二个方面,在本实施例中提供了一种基于雷达和云台相机的联动跟踪装置,包括:雷达跟踪模块、云台目标检测模块以及云台跟踪模块;
所述雷达跟踪模块,用于通过至少一个雷达对目标对象进行跟踪,并实时监测所述目标对象和所述雷达的距离,得到监测距离;
所述云台目标检测模块,用于在所述监测距离小于预设距离时,通过云台相机对所述目标对象进行目标检测,并判断所述目标对象是否通过目标检测;
所述云台跟踪模块,用于通过所述云台相机对通过目标检测的所述目标对象进行跟踪。
第三个方面,在本实施例中提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的基于雷达和云台相机的联动跟踪方法。
第四个方面,在本实施例中提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一个方面所述的基于雷达和云台相机的联动跟踪方法。
与相关技术相比,在本实施例中提供的基于雷达和云台相机的联动跟踪方法、装置和计算机设备,通过至少一个雷达对目标对象进行跟踪,并实时监测所述目标对象和所述雷达的距离,得到监测距离;在所述监测距离小于预设距离时,通过云台相机对所述目标对象进行目标检测,并判断所述目标对象是否通过目标检测;通过所述云台相机对通过目标检测的所述目标对象进行跟踪。本申请中在雷达远距离检测到目标对象进行跟踪后,当目标对象进入预设距离后,通过云台相机对目标对象进行目标检测和跟踪,能够结合雷达高响应和跟踪范围广的特点,有效扩大了目标跟踪范围,解决了跟踪范围受到相机视场角限制的问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是一个实施例中基于雷达和云台相机的联动跟踪方法的终端的硬件结构框图;
图2是一个实施例中基于雷达和云台相机的联动跟踪方法的流程图;
图3是一个实施例中过滤指令信息的示意图;
图4是一个实施例中雷达通过指令信息对云台相机进行控制的示意图;
图5是另一个实施例中基于雷达和云台相机的联动跟踪方法的流程图;
图6是一个实施例中基于雷达和云台相机的联动跟踪装置的结构框图。
图中:102、处理器;104、存储器;106、传输设备;108、输入输出设备;10、雷达跟踪模块;20、云台目标检测模块;30、云台跟踪模块。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行,图1是本实施例的基于雷达和云台相机的联动跟踪方法的终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104,其中,处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限制。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如在本实施例中的基于雷达和云台相机的联动跟踪方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
随着信息技术的迅速发展和生活质量的不断提高,人们对生活和公共环境(如铁路、森林、河道以及海上等)的安防监控需求也不断增强。
通常我们感兴趣的目标都是运动的,但由于摄像机的跟踪范围有限,单独的摄像机已经无法满足越来越复杂的监控场景。因此,多种摄像机的联动使用越来越普及,比如,枪机和球机的枪球联动方案,以及固定相机和云台相机的主从跟踪方案等,但是依然存在跟踪范围受到相机视场角限制的问题。
在本实施例中提供了一种基于雷达和云台相机的联动跟踪方法,图2是本实施例的基于雷达和云台相机的联动跟踪方法的流程图,如图2所示,该方法包括以下步骤:
步骤S210,通过至少一个雷达对目标对象进行跟踪,并实时监测目标对象和雷达的距离,得到监测距离。
具体的,在不同监控场景中,根据实际需求可以配置至少一个雷达和至少一个云台相机,由于雷达的跟踪距离较远,通过配置至少一个雷达,可以实现较大的跟踪范围。
通过雷达的远距离检测,确定目标对象以及目标对象的检测信息,在远距离时由雷达对目标对象进行跟踪,同时开启测距功能,通过传感器实时监测目标对象和雷达的距离。其中,目标对象可以根据监控场景进行设定,比如海面上行驶船只和空中飞行物等。
步骤S220,在监测距离小于预设距离时,通过云台相机对目标对象进行目标检测,并判断目标对象是否通过目标检测。
具体的,目标对象通常是运动的,若在雷达的跟踪过程中,目标对象向雷达靠近,即雷达监测到目标对象和雷达的监测距离小于预设距离时,由雷达控制云台相机开启智能算法,对目标对象进行目标检测,得到第一检测结果。通过将云台相机的第一检测结果和雷达传递的目标对象的检测信息进行比对,判断目标对象是否通过目标检测。
对于配置多个雷达的情况,还涉及多个雷达对云台相机控制的优先级设置,当一个雷达对云台相机进行控制时,云台相机处于占用状态,需在占用状态解除后,才能由其他雷达进行控制。
其中,云台相机具有能够承载相机进行水平和垂直两个方向转动的云台装置,将相机设置在云台上能使相机从多个角度进行跟踪摄像。可选的,云台相机可以是单通道的热成像相机或可见光相机,也可以是热成像和可见光的双通道相机,以适应不同的监控场景。
步骤S230,通过云台相机对通过目标检测的目标对象进行跟踪。
具体的,对于通过目标检测的目标对象,云台相机在雷达的指令信息下进行自主跟踪,直到雷达发送跟踪结束的指令信息。对于未通过目标检测的目标对象,说明雷达检测失误,导致误跟踪,云台相机不进行跟踪。
进一步的,为了降低误跟踪的可能性,在云台相机的跟踪过程中,可以对目标对象进行二次目标检测,对通过二次目标检测的目标对象,云台相机继续跟踪,对未通过二次目标检测的目标对象,云台相机在雷达的指令信息下停止跟踪。
上述步骤在雷达远距离检测到目标对象并进行跟踪后,当目标对象进入预设距离后,通过云台相机对目标对象进行目标检测和跟踪,能够结合雷达高响应和跟踪范围广的特点,实现了雷达和云台相机的联动跟踪,有效扩大了目标跟踪范围,解决了跟踪范围受到相机视场角限制的问题。并且,在云台相机中对目标对象进行目标检测后,再对通过目标检测的目标对象进行跟踪,能够有效降低跟踪的失误率。
在其中的一些实施例中,上述步骤S220中通过云台相机对目标对象进行目标检测,并判断目标对象是否通过目标检测,可以通过以下步骤实现:
步骤S221,通过云台相机获取目标对象的采集画面,并根据采集画面对目标对象进行目标检测,得到第一检测结果。
具体的,在雷达监测到目标对象和雷达的监测距离小于预设距离时,由雷达控制云台相机开启智能算法,对目标对象进行目标检测。在云台相机接收到雷达的指令信息开启智能算法后,先对准目标对象并获取目标对象的采集画面,根据采集画面进行目标检测,得到第一检测结果。可选的,采集画面可以是热成像画面或是可见光画面,根据云台相机当前开启的可见光通道或热成像通道确定相应的目标检测算法。
步骤S222,以第一检测结果和雷达获取的第二检测结果是否一致为判断条件,判断目标对象是否通过目标检测。
具体的,通过雷达的远距离检测得到目标对象的检测信息,作为第二检测结果。将云台相机的第一检测结果和雷达传递的第二检测结果进行比对,根据第一检测结果和第二检测结果是否一致,判断目标对象是否通过目标检测。
步骤S223,若第一检测结果和第二检测结果一致,则目标对象通过目标检测。
具体的,若第一检测结果和第二检测结果一致,即通过云台相机的目标检测证明该目标对象识别正确,目标对象通过目标检测。对于通过目标检测的目标对象,云台相机在雷达的指令信息下进行自主跟踪,直到雷达发送跟踪结束的指令信息。
步骤S224,若第一检测结果和第二检测结果不一致,则目标对象未通过目标检测。
具体的,若第一检测结果和第二检测结果不一致,即通过云台相机的目标检测证明该目标对象识别错误,目标对象未通过目标检测,说明雷达的远距离检测失误,导致雷达误跟踪,则云台相机不进行跟踪。
本实施例中在雷达远距离检测确定目标对象进行跟踪之后,通过云台相机对目标对象进行目标检测,再对通过目标检测的目标对象进行跟踪,实现了雷达与云台相机联动跟踪的方法,并且通过雷达和云台相机的两次检测,能够有效降低跟踪的失误率。
在其中的一些实施例中,在监测距离小于预设距离之前,还包括:预先控制云台相机进行转动,持续对准目标对象。
具体的,在监测距离小于预设距离时,雷达将控制云台相机转动对准目标对象并获取目标对象的采集画面。为了减少云台相机获取采集画面进行对焦的时间,在监测距离小于预设距离之前,雷达对目标对象进行跟踪时可以预先将目标对象的坐标转换为云台相机的坐标,并通过指令信息发送给云台相机,以控制云台相机转动持续对准目标对象,这样当雷达控制云台相机开启智能算法进行目标检测时,可以有效减少云台相机的对焦时间。
本实施例中通过在雷达的跟踪过程中,预先联动云台相机,控制云台相机持续对准目标对象,能够有效减少云台相机变倍对焦的时间,进而降低云台相机丢失目标对象的可能性,从而提高跟踪准确性。
在以上实施例中云台相机可以是单通道的热成像相机或可见光相机,也可以是热成像和可见光的双通道相机,以适应不同的监控场景。以下给出一种云台相机为双通道相机的实施例进行说明。
在其中的一些实施例中,云台相机为热成像和可见光的双通道相机;以上实施例中云台相机对目标对象进行目标检测的步骤,可以通过以下步骤实现:
根据当前时间所在的预设时间段,对应获取目标对象的热成像图像或可见光图像进行目标检测。
具体的,考虑到单通道的可见光相机容易受到光线影响,当光线较暗时无法进行准确的目标检测和跟踪,而单通道的热成像相机具有夜视功能,不受光线影响,在夜晚等光线较暗的环境下依然能够进行目标检测和跟踪。本实施例中采用热成像和可见光双通道的云台相机,并根据监控场景的光线等因素,将全天时间划分为若干预设时间段,比如,夜晚时段和白天时段。在云台相机进行目标检测时,根据当前时间所在的预设时间段,开启可见光通道或热成像通道,获取热成像画面或可见光画面,并通过对应的目标检测算法进行目标检测。
本实施例中通过根据当前时段自动切换可见光通道和热成像通道进行目标检测,能够实现全天候的联动跟踪,而不受到环境光线等影响。
在其中的一些实施例中,根据雷达发送的指令信息,控制云台相机对目标对象进行目标检测,并对通过目标检测的目标对象进行跟踪。
具体的,雷达通过向云台相机发送指令信息实现对云台相机的控制,其中包括但不限于控制云台相机开启准备、转动对准目标对象、开启智能算法进行目标检测、进行目标跟踪、获取目标对象的采集画面以及跟踪结束。可选的,在云台相机进行跟踪时,可以屏蔽雷达发送的指令信息,但跟踪结束的指令信息具有较高优先级,不会受到屏蔽影响。
在其中的一些实施例中,雷达发送指令信息控制云台相机开启智能算法进行目标检测时,同步开启智能算法检测计时,当计时达到预设阈值时,雷达向云台相机发送跟踪结束的指令信息,云台相机收到跟踪结束命令后,关闭智能跟踪算法,雷达内部智能检测计时同步清零,以避免云台相机无限制地进行跟踪。
以下给出一种指令信息的实例:
指令信息0表示雷达检测到目标对象,云台相机要进行开启准备,属于开始命令;指令信息1表示云台相机开启目标检测和跟踪;指令信息2表示云台相机开启目标检测但不跟踪;指令信息3表示云台相机结束目标检测和跟踪,属于结束命令;指令信息4表示云台相机获取目标对象的采集画面,并上报至平台端。
为了实现云台相机转动的平滑性,雷达需要频繁发送指令信息来控制云台相机的转动,具体包含云台坐标和控制云台相机的指令信息。由于云台相机中智能检测算法开启时需要启动算法模块,具有一定的时延,频繁的开启关闭会导致云台相机卡顿。考虑到雷达发送的指令信息是有规律且重复的,因此在以下实施例中采用了一种过滤规则来对指令信息进行过滤,过滤其中重复的指令信息,进而更好地对云台相机进行控制。
在其中的一些实施例中,基于过滤规则,对雷达发送的指令信息进行过滤,得到有效执行指令;根据有效执行指令,对云台相机进行相应控制。
具体的,雷达发送的指令信息会按照固定的顺序来发送,每个命令序列包含若干指令信息,其中包含指令信息的多种组合。
将命令序列作为一个循环队列,分为若干层级,每个层级用掩码来表示,按顺序依次放入一个循环队列中。参考以上实施例中给出的指令信息的实例进行说明,每个命令序列都是以0作为开始,3作为结束。图3是本实施例中过滤指令信息的示意图,如图3所示,将命令序列作为一个循环队列,其中包含若干指令信息,具体分为指令信息0,指令信息1、2、3、4以及指令信息3的三个层级。每次接收到指令信息时,将接收到的指令信息与命令序列的顶层掩码进行比对,如果该指令信息已存在,则将顶层掩码从队列取出并放入队列末尾,同时将队列顶层的掩码更新为命令序列中下一层级的掩码,并依此规律进行比对,直到找不到相同指令信息为止,将当前接收到的指令信息作为有效执行指令,对云台相机进行相应控制。如果在接收指令信息的一开始就没有比对到相同指令信息,那证明该指令信息为重复的或者不符合命令序列规律,对该指令信息进行过滤。
图4是本实施例中雷达通过指令信息对云台相机进行控制的示意图,如图4所示,云台相机启动后等待接收雷达发送的指令信息,对接收到雷达的指令信息进行过滤,得到有效执行指令,并根据有效执行指令对云台相机进行相应控制。根据有效执行指令中的不同指令信息,云台相机可以在雷达的控制下进行相应的转动、开启目标检测和跟踪以及结束跟踪等。
在转动命令下,云台相机持续转动对准目标对象;在开启目标检测和跟踪的命令下,云台相机根据当前时间所在的预设时间段,开启热成像通道或可见光通道进行目标检测,并对通过目标检测的目标对象进行跟踪,并设置为不响应雷达的指令信息,反之,对于未通过目标检测的目标对象结束跟踪,并恢复对指令信息的响应,同时将目标对象的采集画面进行上报;在结束跟踪命令下,即使云台相机当前已设置为不响应雷达的指令信息,但依然能够响应结束跟踪的命令,停止跟踪目标对象。
本实施例中通过对雷达发送的指令信息进行过滤,过滤其中重复的指令信息,云台相机能及时响应雷达的指令信息,实现云台相机平滑控制的情况下,但是又不会因重复的指令信息造成卡顿,不影响云台相机中目标检测和跟踪的进行,进而更好地对云台相机进行控制。
在其中的一些实施例中,在上述步骤S230中通过云台相机对通过目标检测的目标对象进行跟踪之后,还包括以下步骤:
根据云台相机的聚焦状态和目标对象在采集画面中的占比,提取目标画面并上报至平台端;在平台端中,基于目标画面对目标对象进行目标检测。
具体的,为了降低误跟踪的可能性,在云台相机的跟踪过程中,可以对目标对象进行二次目标检测,对通过二次目标检测的目标对象,云台相机继续跟踪,对未通过二次目标检测的目标对象,云台相机在雷达的指令信息下停止跟踪。
由于云台相机在跟踪过程中处于运动状态,获取的目标对象的采集画面容易受到影响,导致画面质量较差,因此,本实施例中在云台相机跟踪过程中,对跟踪画面进行放大聚焦并轮询获取云台相机的聚焦状态,当聚焦状态达到预期,且目标对象在采集画面中的占比达到可信阈值时,记录当前码流中当前时刻的采集画面的帧序号,将采集画面放入缓存队列并报警通知云台相机的应用层从缓存队列中取出采集画面,通过与报警信息中的帧序号进行匹配,获取该采集画面作为目标画面并上报至平台端。在平台端对目标画面进行目标检测,实现对目标对象的二次目标检测。
本实施例中通过考虑云台相机的聚焦状态以及目标对象在采集画面中的占比,获取符合要求的采集画面作为目标画面,并对目标对象进行二次目标检测,从而有效降低误跟踪的可能性。
下面通过优选实施例对本实施例进行描述和说明。
在本优选实施例中还提供了一种基于雷达和云台相机的联动跟踪方法,图5是本实施例的另一种基于雷达和云台相机的联动跟踪方法的流程图,如图5所示,该方法包括以下步骤:
步骤S510,通过至少一个雷达对目标对象进行跟踪,并实时监测目标对象和雷达的距离,得到监测距离。
步骤S520,雷达控制云台相机持续转动对准目标对象,并在监测距离小于预设距离时,控制云台相机对目标对象进行目标检测,雷达同步开启检测计时。
步骤S530,云台相机根据当前时间所在的预设时间段,对应获取目标对象的热成像图像或可见光图像进行目标检测,对通过目标检测的目标对象进行跟踪。
步骤S540,在云台相机的跟踪过程中,根据云台相机的聚焦状态和目标对象在采集画面中的占比,提取目标画面并上报至平台端;在平台端中,基于目标画面对目标对象进行二次目标检测。
步骤S550,当雷达的检测计时达到阈值,或者目标对象未通过二次目标检测时,雷达控制云台相机结束跟踪。
本实施例中通过结合雷达高响应和跟踪范围广的特点,实现了雷达和云台相机的联动跟踪,有效扩大了目标跟踪范围,解决了跟踪范围受到相机视场角限制的问题。并且,在云台相机中对目标对象进行目标检测后,再对通过目标检测的目标对象进行跟踪,以及在云台相机的跟踪过程中进行二次目标检测,能够有效降低跟踪的失误率。
另外,本实施例中采用双通道的云台相机,能够根据当前时段自动切换可见光通道和热成像通道进行目标检测,实现全天候的联动跟踪,而不受到环境光线等影响。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中还提供了一种基于雷达和云台相机的联动跟踪装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图6是本实施例的基于雷达和云台相机的联动跟踪装置的结构框图,如图6所示,该装置包括:雷达跟踪模块10、云台目标检测模块20以及云台跟踪模块30。
雷达跟踪模块10,用于通过至少一个雷达对目标对象进行跟踪,并实时监测目标对象和雷达的距离,得到监测距离。
云台目标检测模块20,用于在监测距离小于预设距离时,通过云台相机对目标对象进行目标检测,并判断目标对象是否通过目标检测。
云台跟踪模块30,用于通过云台相机对通过目标检测的目标对象进行跟踪。
通过本实施例中提供的装置,在雷达远距离检测到目标对象并进行跟踪后,当目标对象进入预设距离后,通过云台相机对目标对象进行目标检测和跟踪,能够结合雷达高响应和跟踪范围广的特点,实现了雷达和云台相机的联动跟踪,有效扩大了目标跟踪范围,解决了跟踪范围受到相机视场角限制的问题。并且,在云台相机中对目标对象进行目标检测后,再对通过目标检测的目标对象进行跟踪,能够有效降低跟踪的失误率。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种计算机设备,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述计算机设备还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述实施例中提供的基于雷达和云台相机的联动跟踪方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种基于雷达和云台相机的联动跟踪方法。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其他实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其他实施例结合。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于雷达和云台相机的联动跟踪方法,其特征在于,包括:
通过至少一个雷达对目标对象进行跟踪,并实时监测所述目标对象和所述雷达的距离,得到监测距离;
在所述监测距离小于预设距离时,通过云台相机对所述目标对象进行目标检测,并判断所述目标对象是否通过目标检测;
通过所述云台相机对通过目标检测的所述目标对象进行跟踪。
2.根据权利要求1所述的基于雷达和云台相机的联动跟踪方法,其特征在于,所述通过云台相机对所述目标对象进行目标检测,并判断所述目标对象是否通过目标检测,包括:
通过所述云台相机获取所述目标对象的采集画面,并根据所述采集画面对所述目标对象进行目标检测,得到第一检测结果;
以所述第一检测结果和所述雷达获取的第二检测结果是否一致为判断条件,判断所述目标对象是否通过目标检测;
若所述第一检测结果和所述第二检测结果一致,则所述目标对象通过目标检测;
若所述第一检测结果和所述第二检测结果不一致,则所述目标对象未通过目标检测。
3.根据权利要求1所述的基于雷达和云台相机的联动跟踪方法,其特征在于,还包括:
根据所述雷达发送的指令信息,控制所述云台相机对所述目标对象进行目标检测,并对通过目标检测的所述目标对象进行跟踪。
4.根据权利要求1至3中任意一项所述的基于雷达和云台相机的联动跟踪方法,其特征在于,还包括:
基于过滤规则,对所述雷达发送的指令信息进行过滤,得到有效执行指令;
根据所述有效执行指令,对所述云台相机进行相应控制。
5.根据权利要求1所述的基于雷达和云台相机的联动跟踪方法,其特征在于,在所述监测距离小于预设距离之前,还包括:
预先控制所述云台相机进行转动,持续对准所述目标对象。
6.根据权利要求1至2中任意一项所述的基于雷达和云台相机的联动跟踪方法,其特征在于,所述云台相机为热成像和可见光的双通道相机;
所述云台相机对所述目标对象进行目标检测,还包括:
根据当前时间所在的预设时间段,对应获取所述目标对象的热成像图像或可见光图像进行目标检测。
7.根据权利要求1所述的基于雷达和云台相机的联动跟踪方法,其特征在于,在所述通过所述云台相机对通过目标检测的所述目标对象进行跟踪之后,还包括:
根据所述云台相机的聚焦状态和所述目标对象在采集画面中的占比,提取目标画面并上报至平台端;
在所述平台端中,基于所述目标画面对所述目标对象进行目标检测。
8.一种基于雷达和云台相机的联动跟踪装置,其特征在于,包括:雷达跟踪模块、云台目标检测模块以及云台跟踪模块;
所述雷达跟踪模块,用于通过至少一个雷达对目标对象进行跟踪,并实时监测所述目标对象和所述雷达的距离,得到监测距离;
所述云台目标检测模块,用于在所述监测距离小于预设距离时,通过云台相机对所述目标对象进行目标检测,并判断所述目标对象是否通过目标检测;
所述云台跟踪模块,用于通过所述云台相机对通过目标检测的所述目标对象进行跟踪。
9.一种计算机设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任意一项所述的基于雷达和云台相机的联动跟踪方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任意一项所述的基于雷达和云台相机的联动跟踪方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311405251.3A CN117676075A (zh) | 2023-10-27 | 2023-10-27 | 基于雷达和云台相机的联动跟踪方法、装置和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311405251.3A CN117676075A (zh) | 2023-10-27 | 2023-10-27 | 基于雷达和云台相机的联动跟踪方法、装置和计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117676075A true CN117676075A (zh) | 2024-03-08 |
Family
ID=90074199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311405251.3A Pending CN117676075A (zh) | 2023-10-27 | 2023-10-27 | 基于雷达和云台相机的联动跟踪方法、装置和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117676075A (zh) |
-
2023
- 2023-10-27 CN CN202311405251.3A patent/CN117676075A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109343050B (zh) | 一种雷达视频监测方法及装置 | |
JP6696615B2 (ja) | 監視システム、監視方法、及び監視プログラムを記憶する記録媒体 | |
US7038715B1 (en) | Digital still camera with high-quality portrait mode | |
CN110718095B (zh) | 一种内河航道船舶的ais监控系统及监控方法 | |
WO2017166725A1 (zh) | 拍摄控制方法、设备及系统 | |
CN107465856B (zh) | 摄像方法、装置及终端设备 | |
CN108733073B (zh) | 一种区域内无人机管控系统、方法及可读介质 | |
US20140198229A1 (en) | Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus | |
US11023717B2 (en) | Method, apparatus, device and system for processing commodity identification and storage medium | |
CN107343165A (zh) | 一种监控方法、设备及系统 | |
CN112399075B (zh) | 补光灯的控制方法、监控设备、电子装置和存储介质 | |
WO2022257857A1 (zh) | 一种对焦方法、对焦装置与无人飞行器 | |
CN110059578A (zh) | 一种车辆跟踪的方法及装置 | |
US20130308829A1 (en) | Still image extraction apparatus | |
KR20210041337A (ko) | 순찰 출동 관제 시스템과 관제 장치 및 이의 운용 방법 | |
CN112312068A (zh) | 目标检测方法、装置、设备及存储介质 | |
CN117676075A (zh) | 基于雷达和云台相机的联动跟踪方法、装置和计算机设备 | |
CN111263118A (zh) | 图像的获取方法、装置、存储介质及电子装置 | |
KR100656345B1 (ko) | 두 대의 카메라를 이용한 이동 물체 추적 장치 및 방법 | |
CN106162070B (zh) | 安全监控系统及其方法 | |
CN113518174A (zh) | 一种拍摄方法、装置及系统 | |
WO2022000211A1 (zh) | 拍摄系统的控制方法、设备、及可移动平台、存储介质 | |
CN113727003B (zh) | 云台位置自检方法及装置、存储介质、电子装置 | |
US11765454B2 (en) | Image control method and device, and mobile platform | |
CN115460342B (zh) | 相机设备的业务设置方法、装置和多路相机联动系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |