CN113573007A - 图像处理方法、设备、装置、系统及存储介质 - Google Patents
图像处理方法、设备、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN113573007A CN113573007A CN202010352062.4A CN202010352062A CN113573007A CN 113573007 A CN113573007 A CN 113573007A CN 202010352062 A CN202010352062 A CN 202010352062A CN 113573007 A CN113573007 A CN 113573007A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- target object
- image acquisition
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 190
- 230000033001 locomotion Effects 0.000 claims abstract description 157
- 238000000034 method Methods 0.000 claims abstract description 87
- 230000008569 process Effects 0.000 claims abstract description 52
- 230000005540 biological transmission Effects 0.000 claims description 54
- 230000000007 visual effect Effects 0.000 claims description 32
- 238000012544 monitoring process Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 15
- 230000001133 acceleration Effects 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims description 2
- 230000000977 initiatory effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 9
- 238000011144 upstream manufacturing Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000003032 molecular docking Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000010006 flight Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种图像处理方法、设备、装置、系统及存储介质。在本申请实施例中,在指定区域对目标对象进行追踪的过程中,根据目标对象的运动信息以及指定区域内的多个图像采集设备的拓扑信息,预测目标对象经过多个图像采集设备的采集视野的顺序;并按照目标对象经过多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集的图像的处理任务,而非对指定区域内所有图像采集设备采集到的图像都进行实时处理,因此有助于降低对计算资源的占用率,从而有助于节约计算资源。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法、设备、装置、系统及存储介质。
背景技术
在交通运输领域中,尤其机场、火车站、客运站、港口、码头等供往来航班、车辆或船只进行停靠的场所,往往安装有多台图像采集设备,这些图像采集设备拍摄的视频可以为监测往来航班、车辆或船只等目标对象的健康状况提供参考。
在实际应用中,为了实现对目标对象的状况的监测,需要场所内安装的多台图像采集设备,源源不断地将监控画面传输给服务器,由服务器对每个图像采集设备拍摄的监控画面进行实时处理,实现对目标对象的跨镜追踪。但是,这种目标追踪方式耗费计算资源较大。
发明内容
本申请的多个方面提供一种图像处理方法、设备、装置系统及存储介质,用以降低计算资源的使用。
本申请实施例提供一种图像处理方法,包括:
在目标对象在指定区域移动过程中,获取所述目标对象的运动信息;
根据所述目标对象的运动信息以及设置于所述指定区域内的多个图像采集设备的拓扑信息,预测所述目标对象经过所述多个图像采集设备的采集视野的顺序;
按照所述目标对象经过所述多个图像采集设备的采集视野的顺序,分批启动针对所述多个图像采集设备采集到的图像的处理任务。
本申请实施例还提供一种图像处理系统,包括:调度单元和预测单元;
其中,所述调度单元,用于在目标对象在指定区域移动过程中,获取所述目标对象的运动信息;
所述预测单元,用于根据所述目标对象的运动信息以及设置于所述指定区域内的多个图像采集设备的拓扑信息,预测所述目标对象经过所述多个图像采集设备的采集视野的顺序;
所述调度单元,还用于按照所述目标对象经过所述多个图像采集设备的采集视野的顺序,分批启动针对所述多个图像采集设备采集到的图像的处理任务。
本申请实施例还提供一种图像处理装置,包括:获取模块、预测模块和调度模块;其中,
所述获取模块,用于:在目标对象在指定区域移动过程中,获取所述目标对象的运动信息;
所述预测模块,用于:根据所述目标对象的运动信息以及设置于所述指定区域内的多个图像采集设备的拓扑信息,预测所述目标对象经过所述多个图像采集设备的采集视野的顺序;
所述调度模块,用于:按照所述目标对象经过所述多个图像采集设备的采集视野的顺序,分批启动针对所述多个图像采集设备采集到的图像的处理任务。
本申请实施例还提供一种计算机设备,包括:存储器、处理器和通信组件;
其中,所述存储器,用于存储计算机程序;
所述处理器耦合至所述存储器,用于执行所述计算机程序以用于:在目标对象在指定区域移动过程中,获取所述目标对象的运动信息;根据所述目标对象的运动信息以及设置于所述指定区域内的多个图像采集设备的拓扑信息,预测所述目标对象经过所述多个图像采集设备的采集视野的顺序;以及按照所述目标对象经过所述多个图像采集设备的采集视野的顺序,分批启动针对所述多个图像采集设备采集到的图像的处理任务。
本申请实施例还提供一种监控系统,包括:服务端设备和设置于指定区域内的多个图像采集设备;
所述服务端设备,用于:在目标对象在指定区域移动过程中,获取所述目标对象的运动信息;根据所述目标对象的运动信息以及所述多个图像采集设备的拓扑信息,预测所述目标对象经过所述多个图像采集设备的采集视野的顺序;按照所述目标对象经过所述多个图像采集设备的采集视野的顺序,分批启动针对所述多个图像采集设备采集到的图像的处理任务。
本申请实施例还提供一种机场监控系统,包括:服务端设备和设置于机场内的多个图像采集设备;
所述服务端设备,用于:在目标飞机在指定区域移动过程中,获取所述目标对象的运动信息;根据所述目标飞机的运动信息以及设置于所述指定区域内的多个图像采集设备的拓扑信息,预测所述目标飞机经过所述多个图像采集设备的采集视野的顺序;按照所述目标飞机经过所述多个图像采集设备的采集视野的顺序,分批启动针对所述多个图像采集设备采集到的图像的处理任务。
本申请实施例还提供一种存储有计算机指令的计算机可读存储介质,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器执行上述图像处理方法中的步骤。
在本申请实施例中,在指定区域对目标对象进行追踪的过程中,可根据目标对象的运动信息以及指定区域内的多个图像采集设备的拓扑信息,预测目标对象经过多个图像采集设备的采集视野的顺序;并按照目标对象经过多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集的图像的处理任务,而非对指定区域内所有图像采集设备采集到的图像都进行实时处理,因此有助于降低对计算资源的占用率,从而有助于节约计算资源。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的机场监控系统的结构示意图;
图2为本申请实施例提供的图像处理方法的流程示意图;
图3为本申请实施例提供的监控系统的结构示意图;
图4为本申请实施例提供的图像处理系统的结构示意图;
图5为本申请实施例提供的计算机设备的结构示意图;
图6为本申请实施例提供的图像处理装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
针对现有技术对目标对象进行跨镜追踪的过程中,计算资源占用较大的技术问题,在本申请一些实施例中,在对目标对象进行追踪的过程中,根据目标对象的运动信息以及指定区域内的多个图像采集设备的拓扑信息,预测目标对象经过多个图像采集设备的采集视野的顺序;并按照目标对象经过多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集的图像的处理任务,而非对指定区域内所有图像采集设备采集到的图像都进行实时处理,因此有助于降低对计算资源的占用率,从而有助于节约计算资源。
以下结合附图,详细说明本申请各实施例提供的技术方案。
应注意到:相同的标号在下面的附图以及实施例中表示同一物体,因此,一旦某一物体在一个附图或实施例中被定义,则在随后的附图和实施例中不需要对其进行进一步讨论。
图1为本申请实施例提供的一种机场监控系统的结构示意图。如图1所示,该系统包括:服务端设备10a和设置于机场内的多个图像采集设备10b。其中,多个是指2个或2个以上。图1中仅以图像采集设备10b的数量为10个进行图示,但不构成限定。其中,机场的结构、机场内图像采集设备的设置位置、数量以及图像采集设备的实现形态仅为示例性说明,并不对其构成限定。在实际应用中,如图1所示,机场内包括航站楼、摆渡车(图1中未示出)等等。
在本实施例中,图像采集设备10b可以为相机、摄像头、激光传感器或红外传感器等视觉传感器,但不限于此。
在本实施例中,服务端设备10a是指可以进行图像处理的计算机设备,一般具备承担服务并保障服务的能力。服务端设备10a可以为单一服务器设备,也可以云化的服务器阵列,或者为云化的服务器阵列中运行的虚拟机(Virtual Machine,VM)。另外,服务端设备10a也可以指具备相应服务能力的其他计算设备,例如电脑等终端设备(运行图像处理程序)等。在本申请实施例中,不限定服务端设备10a与机场的相对位置关系,服务端设备10a可设置于机场内,也可设置于机场外。服务端设备10a可以为一个或多个。多个是指2个或2个以上。
在本实施例中,服务端设备10a可对图像采集设备10b采集的图像进行在线处理,也可进行离线处理。可选地,服务端设备10a和各图像采集设备10b之间可以是无线连接。可选地,服务端设备10a可以通过移动网络和图像采集设备10b通信连接,相应地,移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、5G、WiMax等中的任意一种。可选地,服务端设备10a也可以通过蓝牙、WiFi、红外线等方式和各图像采集设备10b通信连接。
在实际应用中,多个图像采集设备10b可部署于机场的各个角落,例如,部署于机场跑道A、滑行道B1和B2、停机坪C各处等,实现对机场的监控。多个图像采集设备10b可采集机场内的图像,实现对机场的监控。图像采集设备10b可不间断的进行图像采集,并对采集到的图像进行存储。但是,图像采集设备10b采集到的图像不一定都包括待追踪的目标对象的图像。其中,目标对象可为目标飞机、人、接驳车辆、清洁车辆等等。
在现有技术中,为了实现对目标对象在机场内的追踪,服务端设备10a对多个图像采集设备10b采集的所有图像都进行处理,提取目标对象的移动轨迹,实现目标对象的跨镜追踪。但是,这样会占用服务端设备10a大量的计算资源。其中,跨镜是指跨图像采集设备10b的镜头,也可理解为跨图像采集设备10b追踪。
为了解决上述问题,在本实施例中,采用动态任务调度的方式,实现对目标对象的跨镜追踪,具体实施方式如下:
如图1所示,机场一般有一条或多条跑道、一条或多条滑行道以及一个或多个停机坪等,这些跑道、滑行道以及停机坪C等,构成机场的路网信息。多条是指2条或2条以上。图1中仅以跑道为1条(跑道A)、滑行道为2条(滑行道B1和B2)以及1个停机坪(停机坪C)为例进行示出,但不构成限定。
其中,路网信息是指机场的路网分布情况,可包括:跑道、滑行道以及停机坪在预设的坐标系下的坐标范围、所占区域大小等。预设的坐标系可为以任何基准点和基准平面建立的坐标系,例如预设坐标系可以为以机场的中心为原点、以地面上任意垂直的两条线为x轴和y轴、以垂直于地面的方向为z轴方向建立的坐标系;或者,预设坐标系也可为世界坐标系,等等,但不限于此。
多个图像采集设备10b可部署于机场的各个角落,例如,部署于机场跑道、滑行道、停机坪等各处,实现对机场的监控。其中,每个图像采集设备10b的部署位置不同,采集视野不同。其中,位于图像采集设备10b的采集视野内的区域为该图像采集设备10b的监控区域。图像采集设备10b的采集视野,可由图像采集设备10b的内部参数和外部参数决定。其中,图像采集设备10b的内部参数可包括:图像采集设备10b的视场角、焦距等,图像采集设备10b的视场角决定了图像采集设备10b的视野范围。图像采集设备10b的外部参数包括:图像采集设备10b的位置、姿态、旋转方向等,这些外部参数又可称为图像采集设备10b的位姿。进而,图像采集设备10b的位姿和视野范围决定了其采集视野。
在实际应用中,天气状况对图像采集设备10b的采集视野也有所影响。天气能见度越高,图像采集设备10b的采集视野越大。基于此,可根据天气能见度,设定不同的采集视野等级。不同采集视野等级对应不同的采集视野。在实际应用中,可根据当天的天气状况,确定图像采集设备10b的目标采集视野等级,并将目标采集视野等级对应的采集视野,作为图像采集设备10b的采集视野。
进一步,根据机场内的路网信息以及图像采集设备10b的外部参数信息,可确定机场内的多个图像采集设备10b的拓扑信息。其中,多个图像采集设备10b的拓扑信息可包括:多个图像采集设备10b的外部参数信息和/或各图像采集设备10b的上下游图像采集设备的标识信息。其中,图像采集设备10b的标识信息可为唯一标识一台图像采集设备的信息。例如,图像采集设备10b的标识信息可为图像采集设备10b的编号、物理地址(MAC地址)以及网络地址(IP地址)中的一种或多种,但不限于于此。
在本实施例中,图像采集设备10b的上游图像采集设备和下游图像采集设备是根据目标对象在机场内的移动路线决定的。
例如,如图1所示,对于一架飞机而言,其从降落到停靠在停机坪C内需要在机场内移动,其移动路线如图1中虚线所示,一般为从降落的跑道A移动至滑行道,再从滑行道移动到停机坪C内对应的停机位上。则,对于编号为3图像采集设备来说,目标对象在经过该图像采集设备(编号3)之前先经过的编号为2的图像采集设备,则编号2的图像采集设备为编号3的图像采集设备的上游图像采集设备。进一步,经过编号为3的图像采集设备之后,再经过编号为4的图像采集设备,则编号为4的图像采集设备为编号为3的图像采集设备的下游图像采集设备。
当然,飞机从停机坪C候机至起飞的过程也需要在机场内移动,其移动路线一般为从停机坪C移动至滑行道,再从滑行道移动至跑道A起飞等等。则,对于编号为3的图像采集设备来说,目标对象在经过该图像采集设备(编号3)之前先经过编号4的图像采集设备,则编号4的图像采集设备为编号3的图像采集设备的上游图像采集设备。目标对象经过编号3的图像采集设备之后,再经过编号2的图像采集设备,则编号2的图像采集设备为编号3的图像采集设备的下游图像采集设备。以上只是对飞机在机场内的移动路线进行示例性说明,并不说明飞机在机场内活动时只经过跑道A、滑行道B1、停机坪C这几个区域。
在本实施例中,多个图像采集设备10b可采集机场内各个飞机的图像,这些图像中包括目标对象在机场内移动时的图像。在本实施例中,目标对象不同,但是对目标对象在机场内移动所采集到的图像的处理过程相同或相似。下面重点以目标对象为目标飞机为例,对本申请实施例提供的基于动态任务调度实现图像处理的过程进行重点说明。
在实际应用中,为了实现对目标飞机在机场内的追踪,服务端设备10a可对指定位置处的图像采集设备采集到的图像进行实时处理,来确定目标事件是否发生,并在确定目标事件发生时,启动动态任务调度程序。其中,目标事件是指触发对目标飞机在机场内进行追踪的事件,可为目标飞机在机场内开始移动的起点对应的事件。例如,目标飞机处于降落滑行阶段,目标事件可为目标飞机降落到跑道A的入口。又例如,目标飞机处于起飞滑行阶段,目标事件可为目标飞机从停机坪C处开始移动。为了便于描述,将设置在跑道A的入口的图像采集设备和采集视野覆盖目标飞机在停车坪停靠的机位的图像采集设备,统一定义为基准图像采集设备。其中,若飞机处于降落滑行阶段,基准图像采集设备是指设置于机场跑道A的入口的图像采集设备;若飞机处于起飞滑行阶段,基准图像采集设备为采集视野覆盖目标飞机在停车坪停靠的机位的图像采集设备。进一步,为了便于描述和区分将,设置于机场跑道A的入口的基准图像采集设备,定义为第一基准图像采集设备;将采集视野覆盖目标飞机在停车坪停靠的机位的图像采集设备定义为第二基准图像采集设备。
对于基准图像采集设备采集到的图像,服务端设备10a可实时获取并处理,来判断目标事件是否发生。下面结合几种可选实施方式进行示例性说明。
实施方式1:在一些应用场景中,目标飞机出现在基准图像采集设备的采集视野内,则说明目标事件发生。例如,目标飞机在降落滑行阶段处理,目标飞机出现在部署在目标飞机降落的跑道A的入口处的第一基准图像采集设备的采集视野内,则说明目标事件发生。基于此,对于部署在目标飞机降落的跑道A的入口处的第一基准图像采集设备,服务端设备10a可实时获取第一基准图像采集设备采集到的图像,并根据目标飞机的图像特征,识别这些图像中是否包含目标对象的图像;进一步,若在这些图像中识别出目标飞机,则确定发生目标事件。其中,目标事件是指目标飞机降落在跑道A的入口。进一步,根据首次识别出目标飞机的图像的时间戳,可确定目标飞机降落在跑道A的入口的时间。
实施方式2:在一些应用场景中,目标飞机不仅需要出现在基准图像采集设备的采集视野内,还需要目标飞机的姿态为指定姿态,才说明目标事件发生。例如,目标飞机在降落滑行阶段,目标飞机出现在部署在目标飞机降落的跑道A的入口处的第一基准图像采集设备的采集视野内,且目标飞机的姿态为降落姿态,则说明目标事件发生。又例如,目标飞机在起飞滑行阶段,目标飞机在第二基准图像采集设备的采集视野内,且目标飞机的姿态为起飞滑行姿态,则说明目标事件发生。其中,第二基准图像采集设备为采集视野覆盖目标飞机在停车坪停靠的机位的图像采集设备。
在这种应用场景下,服务端设备10a可实时获取基准图像采集设备采集的图像;根据目标飞机的图像特征,识别基准图像采集设备采集的图像中是否包含目标飞机的图像;若在第一图像中识别出目标对象,则确定目标对象在基准图像采集设备采集的图像中的姿态;若目标对象在第一图像中的姿态为指定姿态,则确定发生目标事件。
可选地,若基准图像采集设备为跑道A的入口处的图像采集设备,则指定姿态为降落姿态,目标事件为目标飞机降落在跑道A的入口。可选地,服务端设备10a可获取基准图像采集设备采集的多张包含目标飞机的图像。在本申请各实施例中,多张是指2张或2张以上。进一步,服务端设备10a可根据基准图像采集设备的位姿,将目标飞机在多张图像中像素坐标转换为目标飞机在预设的坐标系下的坐标,之后,根据多张图像的时间戳和目标飞机在预设的坐标系下的坐标,计算目标飞机的运动信息。其中,目标飞机的运动信息包括:目标飞机的运动速度、行进方向、加速度中的至少一种。进一步,根据目标飞机的行进方向和/或加速度,可确定目标对象的姿态。可选地,若目标飞机的行进方向朝向跑道A与滑行道的连接处,则目标飞机处于降落状态,即目标飞机入岗;若目标飞机的行进方向背向跑道A与滑行道的连接处,则目标飞机处于起飞状态,即目标飞机即将离岗。
若基准图像采集设备为采集视野覆盖目标飞机在停车坪停靠的机位的图像采集设备,则指定姿态为起飞滑行姿态,目标事件为目标飞机从停机位开始移动。可选地,服务端设备10a可获取基准图像采集设备采集的多张包含目标飞机的图像,可根据基准图像采集设备的位姿,将目标飞机在多张图像中像素坐标转换为目标飞机在预设的坐标系下的坐标,之后,根据多张图像的时间戳和目标飞机在预设的坐标系下的坐标,计算目标飞机的运动信息。若目标飞机的运动信息不为0,则确定目标飞机在移动。进一步,服务端设备10a根据目标飞机的行进方向和/或加速度,可确定目标对象的姿态。可选地,若目标飞机的行进方向朝向停机坪C与滑行道的连接处,则目标飞机处于起飞滑行状态,即目标飞机即将离岗;若目标飞机的行进方向背向停机坪C与滑行道的连接处,则目标飞机处于即将停机状态。
实施方式3:在实际应用中,若目标飞机在降落滑行阶段,空管部门会通知服务端设备10a目标飞机的标识信息、目标飞机的降落时刻以及降落的跑道A。其中,目标飞机的标识信息包括:目标飞机的机号、航班号等,但不限于此。基于此,目标事件可为目标飞机的降落时刻到达。相应地,服务端设备10a在目标飞机的降落时刻到达时,确定目标事件发生。
可选地,目标事件还可为目标飞机的降落时刻到达,且目标飞机降落在跑道A的入口。相应地,服务端设备10a可获取第一基准图像采集设备在目标飞机的降落时刻之后采集的图像,并根据目标飞机的图像特征,确定获取的图像中是否包含目标飞机的图像。若获取的图像中包含目标飞机的图像,则确定目标事件发生。
实施方式4:在实际应用中,目标飞机在降落在跑道A之前,目标飞机上的广播式自动相关监视(Automatic dependent surveillance broadcast,ADS-B)设备也可向服务端设备10a发送目标飞机的标识信息以及目标飞机在降落在跑道A之前的运动信息以及目标飞机的地理信息系统(Geographic Information System,GIS)信息。基于此,目标飞机在降落在跑道A之前的运动信息包括:目标飞机在降落在跑道A之前的运动速度、行进方向、加速度中的至少一种。服务端设备10a便可根据目标飞机在降落在跑道A之前的运动信息以及GIS信息,计算目标飞机降落在跑道A入口处的时间。进一步,服务端设备10a可根据目标飞机降落在跑道A入口的时间以及目标飞机的图像特征,确定目标事件是否发生。具体确定过程可参见上述实施方式3中的相关内容,在此不再赘述。
实施方式5:在实际应用中,若飞机处于起飞滑行阶段,空管部门会通知服务端设备10a目标飞机的标识信息、目标飞机在停车坪停靠的机位以及目标飞机的起飞时间。基于此,服务端设备10a可根据目标飞机在停车坪停靠的机位的位置,确定采集视野覆盖目标飞机在停车坪停靠的机位的第二基准图像采集设备。进一步,服务端设备10a可获取第二基准图像采集设备在目标飞机的起飞时间之后采集到的多张图像。之后,根据多张图像的时间戳以及目标飞机的图像特征,判断目标事件是否发生。其中,具体判断方式可参见上述实施方式2中的相关内容,在此不再赘述。
在本申请实施例中,服务端设备10a对上述两处较为特殊的位置处的图像采集设备(第一基准图像采集设备和第二基准图像采集设备)采集的图像进行实时处理,来监测目标事件是否发生。对于除基准图像采集设备之外的其它图像采集设备采集到的图像,则采用动态任务调度的方式进行处理。具体实施方式为:在目标飞机在机场内移动过程中,服务端设备10a可获取目标飞机的运动信息;并根据目标飞机的运动信息以及多个图像采集设备的拓扑信息,预测目标飞机经过多个图像采集设备的采集视野的顺序;进一步,服务端设备10a可按照目标飞机经过多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集到的图像的处理任务。服务端设备10a每批处理M个图像采集设备采集到的图像,其中,M为正整数,且小于多个图像采集设备10b的总数量。
在本实施例中,服务端设备10a可按照目标飞机经过多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集到的图像的处理任务,而非对指定区域内所有图像采集设备采集到的图像都进行实时处理,因此有助于降低对计算资源的占用率,从而有助于节约计算资源。
在本申请实施例中,不限定服务端设备10a分批启动针对多个图像采集设备采集到的图像的处理任务的具体实施方式。在一些实施例中,服务端设备10a可在服务端设备10a可在目标飞机移动至哪个图像采集设备的采集视野内的情况下,就启动针对该图像采集设备以及该图像采集设备之后的N个图像采集设备采集到的图像的处理任务。其中,N为自然数,且N小于多个图像采集设备10b的总数量。
优选地,服务端设备10a可在目标飞机移动到哪个图像采集设备的采集视野内,就启动针对哪个图像采集设备采集到的图像的处理任务。优选地,服务端设备10a可在目标飞机移动至目标图像采集设备的采集视野内的情况下,启动针对目标图像采集设备在目标飞机在其采集视野内移动过程中采集到的图像。为了便于描述和区分,将目标图像采集设备在目标飞机在其采集视野内移动过程中采集到的图像,定义为目标图像。
可选地,服务端设备10a可在目标飞机移动至目标图像采集设备的采集视野内的情况下,获取目标图像采集设备在目标飞机在其采集视野内移动时采集到的目标图像,并开始对目标图像进行处理。
可选地,服务端设备10a可在目标飞机移动至目标图像采集设备的采集视野内的情况下,向目标图像采集设备发送图像传输指令。该图像传输指令可指示目标图像采集设备开始传输采集到的图像。目标图像采集设备可接收图像传输指令,并将在接收到图像传输指令之后采集到的图像提供给服务端设备10a。相应地,服务端设备10a接收目标图像采集设备提供的其在接收到图像传输指令之后采集到的图像,作为目标图像。在该实施方式中,图像采集设备10b可在服务端设备10a指示其传输采集到的图像时,才开始传输图像,无需不间断地向服务端设备10a传输其采集到的图像。相应地,服务端设备10a也就无需不间断地接收各图像采集设备10b提供的图像。因此,这种实施方式有助于降低对图像采集设备10b和服务端设备10a的带宽需求,进而有助于降低监控系统的硬件成本,可满足低带宽需求的用户的使用需求。
为了更清楚地说明针对多个图像采集设备10b采集到的图像进行动态任务调度的具体实施方式,下面以多个图像采集设备中除基准图像采集设备之外的任一图像采集设备为例,对动态任务调度方式进行示例性说明。
在本实施例中,服务端设备10a可在目标飞机在第一图像采集设备10b1的采集视野内移动的过程中,获取第一图像采集设备10b1采集到的多张图像。多张是指2张或2张以上。其中,第一图像采集设备10b1为多个图像采集设备10b中,采集视野覆盖目标飞机的当前移动到的位置的图像采集设备,即当前可拍摄到目标飞机的图像采集设备。第一图像采集设备10b1可为多个图像采集设备10b中的任一图像采集设备。图1仅以第一图像采集设备10b1为编号为4的图像采集设备为例进行图示。为了便于描述和区分,将第一图像采集设备10b1采集的图像,定义为第一图像,第一图像为多张。
进一步,服务端设备10a可根据多张第一图像,确定目标飞机的运动信息。可选地,服务端设备10a可根据第一图像采集设备10b1的位姿,将目标飞机在多张图像中像素坐标转换为目标飞机在预设的坐标系下的坐标,之后,根据多张图像的时间戳和目标飞机在预设的坐标系下的坐标,计算目标飞机的运动信息。其中,目标飞机的运动信息包括:目标飞机的运动速度、行进方向和加速度中的至少一种。
进一步,服务端设备10a可根据目标飞机的运动信息和多个图像采集设备10b的拓扑信息,预测下一时刻可拍摄到目标飞机的图像采集设备,即预测目标飞机在下一时刻将移动到哪个图像采集设备的采集视野内。其中,目标飞机在下一时刻移动到哪个图像采集设备的采集视野内,哪个图像采集设备就为当前时刻对应的目标图像采集设备。在图1中,仅以目标图像采集设备10b2为编号5的图像采集设备进行图示。
可选地,服务端设备10a可根据目标飞机的运动信息,计算目标飞机在下一时刻移动到的位置;进一步,可根据多个图像采集设备10b的位姿,从多个图像采集设备10b中,确定采集视野包括目标飞机在下一时刻移动到的位置的图像采集设备,作为目标图像采集设备10b2。
进一步,服务端设备10a可启动针对目标图像采集设备10b2在下一时刻之后采集的图像的处理任务。在本申请实施例中,为了便于描述和区分,将目标图像采集设备10b2在下一时刻之后采集的图像,定义为目标图像。目标图像的数量可以为1张或多张。之后,服务端设备10a开始对目标图像采集设备10b2在下一时刻之后采集到的目标图像进行处理。这样,服务端设备10a可在目标飞机移动到哪个图像采集设备的采集视野内时,开启针对哪个图像采集设备在目标飞机在其采集视野内移动过程中采集到的图像的处理任务,而非对机场内所有的图像采集设备采集到的图像都进行实时处理,因此有助于降低对计算资源的占用率,从而有助于节约计算资源。
可选地,如图1所示,服务端设备10a可获取目标图像采集设备10b2在上述下一时刻之后采集到的图像,作为目标图像。也就是说,服务端设备10a可获取目标图像采集设备10b2在预测出下一时刻可拍摄到目标飞机的目标图像采集设备10b2之后采集到的图像,作为目标图像。
可选地,服务端设备10a获取目标图像的具体实施方式可为:服务端设备10a可在预测出下一时刻可拍摄到目标飞机的目标图像采集设备10b2之后,向目标图像采集设备10b2发送图像传输指令。相应地,目标图像采集设备10b2接收该图像传输指令,并将接收到该图像传输指令之后采集到的图像发送给服务端设备10a。进一步,服务端设备10a接收目标图像采集设备10b2发送的在接收到图像传输指令之后采集到的图像,作为目标图像。
进一步,服务端设备10a可对目标图像进行图像处理,生成目标飞机在目标图像采集设备10b2的采集视野内的移动轨迹,实现目标飞机在目标图像采集设备10b2的采集视野内的追踪。
可选地,服务端设备10a可根据目标飞机的图像特征,从目标图像中识别出目标飞机;并根据目标图像采集设备10b2的位姿,将目标飞机在目标图像中的像素坐标转换为目标飞机在预设坐标系下的坐标;之后,可根据目标图像的时间戳和目标飞机在预设坐标系下的坐标,生成目标飞机在目标图像采集设备10b2的采集视野内的移动轨迹。其中,目标飞机在目标图像采集设备10b2的采集视野内的移动轨迹的中的各轨迹点由时间戳信息和位置信息组成,时间戳信息为该轨迹点对应的目标图像的时间戳,位置信息为目标飞机在预设坐标系下的坐标。
进一步,服务端设备10a可将目标飞机在目标图像采集设备10b2的采集视野内的移动轨迹以及目标飞机的历史移动轨迹进行轨迹串联,从而生成目标飞机从目标事件发生,至在目标图像采集设备10b2的采集视野内的移动轨迹。其中,历史移动轨迹是指目标飞机从目标事件发生,至移动到目标图像采集设备10b2的采集视野之前的移动轨迹。其中,移动到目标图像采集设备10b2的采集视野的时刻为上述根据目标飞机运动信息和多个图像采集设备的拓扑信息,预测下一时刻可拍摄到目标对象的目标图像采集设备10b2中所述的下一时刻。
进一步,在目标飞机移动出目标图像采集设备10b2的采集视野时,服务端设备10a还可停止针对目标图像采集设备10b2采集到的目标图像的处理任务,并释放对目标图像进行处理所占用的计算资源。这样,有助于进一步降低对计算资源的占用量。
可选地,服务端设备10a可在启动针对目标图像采集设备10b2在下一时刻之后采集到的目标图像的处理任务之后,实时获取目标图像采集设备10b2采集的目标图像,并根据实时获取的目标图像和目标飞机的图像特征,判断目标飞机是否移动出目标图像采集设备10b2的采集视野。可选地,服务端设备10a可根据目标飞机的图像特征,判断当前获取的目标图像是否包含目标飞机的图像。若判断结果为否,则确定目标飞机已移动出目标图像采集设备10b2的采集视野。进一步,服务端设备10a可停止对目标图像采集设备10b2在后续时刻采集到的图像进行处理。其中,此处后续时刻是指确定出目标飞机移动出目标图像采集设备10b2的采集视野之后的时刻。
可选地,服务端设备10a可向目标图像采集设备10b2发送停止图像传输指令。相应地,目标图像采集设备10b2接收停止图像传输指令,并停止向服务端设备10a提供其在后续时刻采集到的图像。进一步,服务端设备10a还可释放针对目标图像采集设备10b2采集的目标图像进行处理所占用的计算资源。这样,可进一步减少对服务端设备10a的计算资源的占用。
当然,若第一图像采集设备10b1为除基准图像采集设备之外的其它图像采集设备,服务端设备10a也可在目标飞机移动出第一图像采集设备10b1的采集视野时,则可停止针对第一图像采集设备10b1在后续时刻采集到的图像的处理任务。其中,此处的后续时刻是指在确定出目标飞机移动出第一图像采集设备10b1的采集视野之后的时刻。其中,关于如何停止针对第一图像采集设备10b1在后续时刻采集到的图像的处理任务的实施方式,可参见上述在确定目标飞机移动出目标图像采集设备10b2的采集视野时,如何停止并释放对针对第一图像采集设备10b1在后续时刻采集到的图像的处理任务的相关内容,在此不再赘述。进一步,服务端设备10a还可释放第一图像采集设备10b1采集到的第一图像进行处理所占用的计算资源。
本实施例提供的机场监控系统,服务端设备可在目标飞机移动到哪个图像采集设备的采集视野内时,开启针对哪个图像采集设备在目标飞机在其采集视野内移动过程中采集到的图像的处理任务,而非对机场内所有的图像采集设备采集到的图像都进行实时处理,因此有助于降低对计算资源的占用率,从而有助于节约计算资源。
除了本申请实施例提供的机场监控系统实施例之外,本申请实施例还提供图像处理方法,下面从服务端设备的角度,对本申请实施例提供的图像处理方法进行示例性说明。
图2为本申请实施例提供的一种图像处理方法的流程示意图。该方法适用于服务端设备。如图2所示,该方法包括:
201、在目标对象在指定区域内移动过程中,获取目标对象的运动信息。
202、根据目标对象的运动信息以及设置于指定区域内的多个图像采集设备的拓扑信息,预测目标对象经过所述多个图像采集设备的采集视野的顺序。
203、按照目标对象经过所述多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集到的图像的处理任务。
在本实施例中,指定区域可以为任何部署多个图像采集设备来采集移动对象的图像的物理场所。例如,指定区域可以为火车站、客运站、港口、码头、停车场、仓库等,也可为银行、金库、实验室等重点区域。其中,图像采集设备可以为摄像头、激光传感器或红外传感器等视觉传感器,但不限于此。
在本实施例中,多个图像采集设备可采集指定区域内的图像。在本实施例中,主要针对图像采集设备采集的出现在指定区域内的移动对象的图像进行处理,因此,下面重点以多个图像采集设备采集到的指定区域内的各移动对象的图像的处理过程进行重点说明。
在本实施例中,多个图像采集设备可采集指定区域内各移动对象的图像,这些图像中包括各移动对象在指定区域内移动时的图像。在本申请实施例中,为了便于描述和区分,将被关注的移动对象定义为目标对象。其中,应用场景不同,目标对象不同。例如,在上述机场应用场景中,目标对象为目标飞机;目标对象的标识信息可为目标飞机的机号、航班号等,但不限于此。对于客运站、公交车站和停车场的应用场景,目标对象为目标车辆等等。对于码头、港口的应用场景,目标对象为目标船只。对于银行金库等应用场景中,目标对象可为进入银行金库中的目标人物等,但不限于此。
在实际应用中,多个图像采集设备可部署于指定区域的各个角落,实现对指定区域的监控。图像采集设备可不间断的进行图像采集,并对采集到的图像进行存储。但是,图像采集设备采集到的图像不一定都包括待追踪的目标对象的图像。
在现有技术中,为了实现对目标对象在指定区域内的追踪,可对多个图像采集设备采集的所有图像都进行处理,提取目标对象的移动轨迹,实现目标对象的跨镜追踪。但是,这样会占用服务端设备大量的计算资源。其中,跨镜是指跨图像采集设备的镜头,也可理解为跨图像采集设备追踪。
为了解决上述问题,在本实施例中,采用动态任务调度的方式,实现对目标对象的跨镜追踪,具体实施方式如下:
指定区域中具有一条或多条道路,构成指定区域的路网信息。多条是指2条或2条以上。其中,路网信息是指指定区域的路网分布情况,可包括:指定区域内的道路在预设的坐标系下的坐标范围、所占区域大小等。其中,关于预设的坐标系的描述可参见上述实施例的相关内容,在此不再赘述。
多个图像采集设备可部署于指定区域的各个角落,实现对指定区域的监控。其中,每个图像采集设备的部署位置不同,采集视野不同。其中,位于图像采集设备的采集视野内的区域为该图像采集设备的监控区域。其中,关于图像采集设备的采集视野的描述,可参见上述实施例的相关内容,在此不再赘述。
进一步,根据指定区域内的路网信息以及图像采集设备的外部参数信息,可确定指定区域内的多个图像采集设备的拓扑结构。其中,多个图像采集设备的拓扑信息可包括:多个图像采集设备的外部参数信息和/或各图像采集设备的上下游图像采集设备。其中,图像采集设备的标识信息以及图像采集设备的上下游图像采集设备的描述,可参见上述实施例的相关内容,在此不再赘述。
在本实施例中,多个图像采集设备可采集指定区域内各个对象的图像,这些图像中包括目标对象在指定区域内移动时的图像。在实际应用中,为了实现对目标对象在指定区域内的追踪,可对指定位置处的图像采集设备采集到的图像进行实时处理,来确定目标事件是否发生,并在确定目标事件发生时,启动动态任务调度程序。其中,目标事件是指触发对目标对象在指定区域内进行追踪的事件,可为目标对象在指定区域内开始移动的起点对应的事件。例如,在交通运输场景中,目标事件可为目标对象驶入指定区域的入口;或者,目标对象从停靠区域移动等等。又例如,在银行、金库等重点区域的场景中,目标事件可为目标对象进入指定区域的入口;等等。
为了便于描述,将设置在指定位置处的图像采集设备定义为基准图像采集设备。基准图像采集设备可为设置于指定区域的入口的图像采集设备,和/或,采集视野覆盖目标对象的停靠区域的图像采集设备。
对于基准图像采集设备采集到的图像,可实时获取并处理,来判断目标事件是否发生。下面结合几种可选实施方式进行示例性说明。
实施方式1:在一些应用场景中,目标对象出现在基准图像采集设备的采集视野内,则说明目标事件发生。基于此,对于部署在指定区域的入口处的第一基准图像采集设备,服务端设备可实时获取第一基准图像采集设备采集到的图像,并根据目标对象的图像特征,识别这些图像中是否包含目标对象的图像;进一步,若在这些图像中识别出目标对象,则确定发生目标事件。其中,目标事件是指目标对象驶入指定区域的入口。进一步,根据首次识别出目标对象的图像的时间戳,可确定目标对象驶入指定区域入口的时间。
实施方式2:在一些应用场景中,目标对象不仅需要出现在基准图像采集设备的采集视野内,还需要目标对象的姿态为指定姿态,才说明目标事件发生。
在这种应用场景下,服务端设备可实时获取基准图像采集设备采集的图像;根据目标对象的图像特征,识别基准图像采集设备采集的图像中是否包含目标对象的图像;若在第一图像中识别出目标对象,则确定目标对象在基准图像采集设备采集的图像中的姿态;若目标对象在第一图像中的姿态为指定姿态,则确定发生目标事件。其中,关于确定目标对象在基准图像采集设备采集的图像中的姿态的具体实施方式,可参见上述系统实施例的相关内容,在此不再赘述。
当然,还可采用其它方式确定目标事件是否发生,具体可参见上述系统实施例的实施方式3-5的相关内容,在此不再赘述。
在本申请实施例中,服务端设备对上述基准图像采集设备集的图像进行实时处理,来监测目标事件是否发生。对于除基准图像采集设备之外的其它图像采集设备采集到的图像,则采用动态任务调度的方式进行处理。具体实施方式为:在目标对象在指定区域内移动过程中,服务端设备可获取目标对象的运动信息;并根据目标对象的运动信息以及多个图像采集设备的拓扑信息,预测目标对象经过多个图像采集设备的采集视野的顺序;进一步,可按照目标对象经过多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集到的图像的处理任务。服务端设备每批处理M个图像采集设备采集到的图像,其中,M为正整数,且小于多个图像采集设备的总数量。
在本实施例中,服务端设备可按照目标对象经过多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集到的图像的处理任务,而非对指定区域内所有图像采集设备采集到的图像都进行实时处理,因此有助于降低对计算资源的占用率,从而有助于节约计算资源。
在本申请实施例中,不限定分批启动针对多个图像采集设备采集到的图像的处理任务的具体实施方式。在一些实施例中,可按照目标对象对安全的要求,设置不同的分批处理方式。例如,在目标对象对安全等级要求较高的应用场景中,可在目标对象移动到哪个图像采集设备的采集视野内,就启动针对哪个图像采集设备采集到的图像的处理任务,以实现对目标对象的连续性跟踪。又例如,在目标对象对安全等级要求较低的应用场景中,可在目标对象每经过Q个图像采集设备的采集视野内,就启动针对这Q个图像采集设备中目标对象最后一个经过的图像采集设备采集到的图像的处理任务,其中,Q≥2,且为整数。即可每间隔Q个图像采集设备,启动1个图像采集设备采集到的图像的处理任务。
在另一些实施例中,可在目标对象移动至哪个图像采集设备的采集视野内的情况下,就启动针对该图像采集设备以及该图像采集设备之后的N个图像采集设备采集到的图像的处理任务。其中,N为自然数,且N小于多个图像采集设备的总数量。
优选地,可在目标对象移动到哪个图像采集设备的采集视野内,就启动针对哪个图像采集设备采集到的图像的处理任务。优选地,可在目标对象移动至目标图像采集设备的采集视野内的情况下,启动针对目标图像采集设备在目标对象在其采集视野内移动过程中采集到的图像。为了便于描述和区分,将目标图像采集设备在目标对象在其采集视野内移动过程中采集到的图像,定义为目标图像。
可选地,可在目标对象移动至目标图像采集设备的采集视野内的情况下,获取目标图像采集设备采集到的目标图像,并开始对目标图像进行处理。
可选地,可在目标对象移动至目标图像采集设备的采集视野内的情况下,向目标图像采集设备发送图像传输指令。该图像传输指令可指示目标图像采集设备开始传输采集到的图像。目标图像采集设备可接收图像传输指令,并将在接收到图像传输指令之后采集到的图像提供给服务端设备。相应地,服务端设备可接收目标图像采集设备提供的其在接收到图像传输指令之后采集到的图像,作为目标图像。
为了更清楚地说明针对多个图像采集设备采集到的图像进行动态任务调度的具体实施方式,下面以多个图像采集设备中除基准图像采集设备之外的任一图像采集设备为例,对动态任务调度方式进行示例性说明。
在本实施例中,可在目标对象在第一图像采集设备的采集视野内移动的过程中,获取第一图像采集设备采集到的多张图像。多张是指2张或2张以上。其中,第一图像采集设备为多个图像采集设备中,采集视野覆盖目标对象的当前移动到的位置的图像采集设备,即当前可拍摄到目标对象的图像采集设备。第一图像采集设备可为多个图像采集设备中的任一图像采集设备。为了便于描述和区分,将第一图像采集设备采集的图像,定义为第一图像,第一图像为多张。
进一步,可根据多张第一图像,确定目标对象的运动信息。可选地,可根据第一图像采集设备的位姿,将目标对象在多张图像中像素坐标转换为目标对象在预设的坐标系下的坐标,之后,根据多张图像的时间戳和目标对象在预设的坐标系下的坐标,计算目标对象的运动信息。其中,目标对象的运动信息包括:目标对象的运动速度、行进方向和加速度中的至少一种。
进一步,可根据目标对象的运动信息和多个图像采集设备的拓扑信息,预测下一时刻可拍摄到目标对象的图像采集设备,即预测目标对象在下一时刻将移动到哪个图像采集设备的采集视野内。为了便于描述和区分,将在下一时刻可拍摄到目标对象的图像采集设备,定义为目标图像采集设备。
可选地,可根据目标对象的运动信息,计算目标对象在下一时刻移动到的位置;进一步,可根据多个图像采集设备的拓扑结构信息,从多个图像采集设备中确定采集视野包括目标对象在下一时刻移动到的位置的图像采集设备,作为目标图像采集设备。
进一步,可启动针对目标图像采集设备在下一时刻之后采集的图像的处理任务。在本申请实施例中,为了便于描述和区分,将目标图像采集设备在下一时刻之后采集的图像,定义为目标图像。目标图像的数量可以为1张或多张。之后,服务端设备开始对目标图像采集设备在下一时刻之后采集到的目标图像进行处理。这样,可在目标对象移动到哪个图像采集设备的采集视野内时,开启针对哪个图像采集设备在目标对象在其采集视野内移动过程中采集到的图像的处理任务,而非对指定区域内所有的图像采集设备采集到的图像都进行实时处理,因此有助于降低对计算资源的占用率,从而有助于节约计算资源。
对象可选地,可获取目标图像采集设备在上述下一时刻之后采集到的图像,作为目标图像。也就是说,可获取目标图像采集设备在预测出下一时刻可拍摄到目标对象的目标图像采集设备之后采集到的图像,作为目标图像。
其中,获取目标图像的具体实施方式可为:可在预测出下一时刻可拍摄到目标对象的目标图像采集设备之后,向目标图像采集设备发送图像传输指令。相应地,目标图像采集设备接收该图像传输指令,并将接收到该图像传输指令之后采集到的图像发送给服务端设备。进一步,服务端设备接收目标图像采集设备发送的在接收到图像传输指令之后采集到的图像,作为目标图像。
进一步,可对目标图像进行图像处理,生成目标对象在目标图像采集设备的采集视野内的移动轨迹,实现目标对象在目标图像采集设备的采集视野内的追踪。
可选地,可根据目标对象的图像特征,从目标图像中识别出目标对象;并根据目标图像采集设备的位姿,将目标对象在目标图像中的像素坐标转换为目标对象在预设坐标系下的坐标;之后,可根据目标图像的时间戳和目标对象在预设坐标系下的坐标,生成目标对象在目标图像采集设备的采集视野内的移动轨迹。其中,目标对象在目标图像采集设备的采集视野内的移动轨迹的中的各轨迹点由时间戳信息和位置信息组成,时间戳信息为该轨迹点对应的目标图像的时间戳,位置信息为目标对象在预设坐标系下的坐标。
进一步,可将目标对象在目标图像采集设备的采集视野内的移动轨迹以及目标对象的历史移动轨迹进行轨迹串联,从而生成目标对象从目标事件发生至在目标图像采集设备的采集视野内的移动轨迹。其中,历史移动轨迹是指目标对象从目标事件发生至移动到目标图像采集设备的采集视野之前的移动轨迹。其中,移动到目标图像采集设备的采集视野的时刻为上述根据目标对象运动信息和多个图像采集设备的拓扑结构信息,预测下一时刻可拍摄到目标对象的目标图像采集设备中所述的下一时刻。
进一步,在目标对象移动出目标图像采集设备的采集视野时,还可停止针对目标图像采集设备采集到的目标图像的处理任务,并释放对目标图像进行处理所占用的计算资源。这样,有助于进一步降低对计算资源的占用量。
可选地,可在启动针对目标图像采集设备在下一时刻之后采集到的目标图像的处理任务之后,实时获取目标图像采集设备采集的目标图像,并根据实时获取的目标图像和目标飞机的图像特征,判断目标飞机是否移动出目标图像采集设备的采集视野。可选地,可根据目标飞机的图像特征,判断当前获取的目标图像是否包含目标飞机的图像。若判断结果为否,则确定目标飞机已移动出目标图像采集设备的采集视野。进一步,可停止对目标图像采集设备在后续时刻采集到的图像进行处理。其中,此处后续时刻是指确定出目标飞机移动出目标图像采集设备的采集视野之后的时刻。
可选地,可向目标图像采集设备发送停止图像传输指令。相应地,目标图像采集设备接收停止图像传输指令,并停止向服务端设备提供其在后续时刻采集到的图像。进一步,服务端设备还可释放针对目标图像采集设备采集的目标图像进行处理所占用的计算资源。这样,可进一步减少对服务端设备的计算资源的占用。
当然,若第一图像采集设备为除基准图像采集设备之外的其它图像采集设备,服务端设备也可在目标飞机移动出第一图像采集设备的采集视野时,则可停止针对第一图像采集设备在后续时刻采集到的图像的处理任务。其中,此处的后续时刻是指在确定出目标飞机移动出第一图像采集设备的采集视野之后的时刻。其中,关于如何停止针对第一图像采集设备在后续时刻采集到的图像的处理任务的实施方式,可参见上述在确定目标飞机移动出目标图像采集设备的采集视野时,如何停止并释放对针对第一图像采集设备在后续时刻采集到的图像的处理任务的相关内容,在此不再赘述。进一步,服务端设备还可释放第一图像采集设备采集到的第一图像进行处理所占用的计算资源。
需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤201和202的执行主体可以为设备A;又比如,步骤201的执行主体可以为设备A,步骤202的执行主体可以为设备B;等等。
另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如201、202等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。
相应地,本申请实施例还提供一种存储有计算机指令的计算机可读存储介质,当计算机指令被一个或多个处理器执行时,致使一个或多个处理器执行上述图像处理方法中的步骤。
本申请实施例提供的图像处理方法不仅适用于上述机场场景实施例,还适用于其它任何对移动对象在移动过程中的图像进行采集的场景,例如,火车站、客运站、港口、码头等,利用这些场所内的图像采集设备,对往来车辆或船只进行监测。又例如,在银行的金库中,可利用金库内的多个摄像头对进入金库的目标人物进行监测。又例如,在物流场景中,可利用仓库内的多个摄像头,对仓库内的物流车辆进行监测。又例如,在大型活动场景中,可利用活动场地内的摄像头,对活动场地内的目标人物进行监测等等。
基于此,本申请实施例还提供一种监控系统,该监控系统用于对出现在指定区域内的移动对象进行监测。其中,指定区域可以为任何部署多个图像采集设备来采集移动对象的图像的物理场所。例如,指定区域可以为火车站、客运站、港口、码头、停车场、仓库、银行金库、大型活动场所等,其中,图像采集设备可以为摄像头、激光传感器或红外传感器等视觉传感器,但不限于此。下面对本申请实施例提供的适用于任何部署多个图像采集设备来采集移动对象的图像的物理场所的监控系统进行示例性说明。
图3为本申请实施例提供的一种监控系统的结构示意图。如图3所示,该系统包括:服务端设备30a和设置于指定区域内的多个图像采集设备30b。多个是指2个或2个以上。图3仅以图像采集设备30b的数量为7个进行示例,即编号1-7所示的图像采集设备,但不构成限定。其中,指定区域的结构、指定区域内图像采集设备的设置位置、数量以及图像采集设备的实现形态仅为示例性说明,并不对其构成限定。其中,服务端设备30a和图像采集设备30b的实现形态以及二者之间的通信方式可参见上述机场监控系统的相关内容,在此不再赘述。
在本实施例中,在实际应用中,多个图像采集设备30b可部署于指定区域的各个角落,实现对指定区域的监控。多个图像采集设备30b可采集指定区域内的图像,实现对指定区域的监控。图像采集设备30b可不间断的进行图像采集,并对采集到的图像进行存储。但是,图像采集设备30b采集到的图像不一定都包括待追踪的目标对象的图像。
在现有技术中,为了实现对目标对象在指定区域内的追踪,服务端设备30a对多个图像采集设备30b采集的所有图像都进行处理,提取目标对象的移动轨迹,实现目标对象的跨镜追踪。但是,这样会占用服务端设备30a大量的计算资源。其中,跨镜是指跨图像采集设备30b的镜头,也可理解为跨图像采集设备30b追踪。
为了解决上述问题,在本实施例中,采用动态任务调度的方式,实现对目标对象的跨镜追踪,具体实施方式如下:
如图3所示,指定区域具有一条或多条道路,这些道路构成指定区域的路网信息。其中,路网信息是指指定区域的路网分布情况,可包括:指定区域内的道路在预设的坐标系下的坐标范围、所占区域大小等。其中,关于预测的坐标系的描述,可参见上述实施例的相关内容,在此不再赘述。
多个图像采集设备30b可部署于指定区域的各个角落,实现对指定区域的监控。其中,每个图像采集设备30b的部署位置不同,采集视野不同。其中,位于图像采集设备30b的采集视野内的区域为该图像采集设备30b的监控区域。图像采集设备30b的采集视野的描述,可参见上述实施例的相关内容,在此不再赘述。
进一步,根据指定区域内的路网信息以及图像采集设备30b的外部参数信息,可确定指定区域内的多个图像采集设备30b的拓扑结构。其中,多个图像采集设备30b的拓扑信息可包括:多个图像采集设备30b的外部参数信息以及各图像采集设备30b的上游图像采集设备和下游图像采集设备的标识信息。其中,图像采集设备30b的标识信息可为唯一标识一台图像采集设备的信息。例如,图像采集设备30b的标识信息可为图像采集设备30b的编号、物理地址(MAC地址)以及网络地址(IP地址)中的一种或多种,但不限于于此。
在本实施例中,图像采集设备30b的上游图像采集设备和下游图像采集设备是根据目标对象在指定区域内的移动路线决定的,具体描述可参见上述实施例的相关内容,在此不再赘述。
在本实施例中,多个图像采集设备30b可采集指定区域的图像,这些图像中包括目标对象在指定区域内移动时的图像。下面重点以目标对象为移动对象为例,对本申请实施例提供的基于动态任务调度实现图像处理的过程进行重点说明。
在实际应用中,为了实现对目标对象在指定区域内的追踪,服务端设备30a可对指定位置处的图像采集设备采集到的图像进行实时处理,来确定目标事件是否发生,并在确定目标事件发生时,启动动态任务调度程序。其中,目标事件是指触发对目标对象在指定区域内进行追踪的事件,可为目标对象在指定区域内开始移动的起点对应的事件。例如,在交通运输场景中,目标事件可为目标对象驶入指定区域的入口;或者,目标对象从停靠区域移动等等。又例如,在银行、金库等重点区域的场景中,目标事件可为目标对象进入指定区域的入口;等等。
为了便于描述,将设置在指定位置处的图像采集设备定义为基准图像采集设备。基准图像采集设备可为设置于指定区域的入口的图像采集设备,和/或,采集视野覆盖目标对象的停靠区域的图像采集设备。
对于基准图像采集设备采集到的图像,服务端设备30a可实时获取并处理,来判断目标事件是否发生。下面结合几种可选实施方式进行示例性说明。
实施方式1:在一些应用场景中,目标对象出现在基准图像采集设备的采集视野内,则说明目标事件发生。基于此,对于部署在目标对象降落的跑道A入口处的第一基准图像采集设备,服务端设备30a可实时获取第一基准图像采集设备采集到的图像,并根据目标对象的图像特征,识别这些图像中是否包含目标对象的图像;进一步,若在这些图像中识别出目标对象,则确定发生目标事件。其中,目标事件是指目标对象出现在指定区域的入口。进一步,根据首次识别出目标对象的图像的时间戳,可确定目标对象出现在指定区域的入口的时间。
实施方式2:在一些应用场景中,目标对象不仅需要出现在基准图像采集设备的采集视野内,还需要目标对象的姿态为指定姿态,才说明目标事件发生。
在这种应用场景下,服务端设备30a可实时获取基准图像采集设备采集的图像;根据目标对象的图像特征,识别基准图像采集设备采集的图像中是否包含目标对象的图像;若在第一图像中识别出目标对象,则确定目标对象在基准图像采集设备采集的图像中的姿态;若目标对象在第一图像中的姿态为指定姿态,则确定发生目标事件。
实施方式3:在实际应用中,若目标对象在驶入指定区域阶段,指定区域的管理部门会通知服务端设备30a目标对象的标识信息、目标对象的到达指定区域的时刻以及目标对象驶入的入口。基于此,目标事件可为目标对象的降落时刻到达。相应地,服务端设备30a在到达指定区域的时刻到达时,确定目标事件发生。
可选地,目标事件还可为目标对象到达指定区域的时刻到达,且目标对象出现在指定区域的入口。相应地,服务端设备30a可获取基准图像采集设备在目标对象的到达指定区域的时刻之后采集的图像,并根据目标对象的图像特征,确定获取的图像中是否包含目标对象的图像。若获取的图像中包含目标对象的图像,则确定目标事件发生。
当然,还可采用其它方式确定目标事件是否发生,具体可参见上述机场监控系统实施例的实施方式4和5的相关内容,在此不再赘述。
在本申请实施例中,服务端设备30a对上述两处较为特殊的位置处的图像采集设备(第一基准图像采集设备和第二基准图像采集设备)采集的图像进行实时处理,来监测目标事件是否发生。对于除基准图像采集设备之外的其它图像采集设备采集到的图像,则采用动态任务调度的方式进行处理。具体实施方式为:在目标对象在指定区域内移动过程中,服务端设备30a可获取目标对象的运动信息;并根据目标对象的运动信息以及多个图像采集设备的拓扑信息,预测目标对象经过多个图像采集设备的采集视野的顺序;进一步,可按照目标对象经过多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集到的图像的处理任务。服务端设备每批处理M个图像采集设备采集到的图像,其中,M为正整数,且小于多个图像采集设备的总数量。
在本实施例中,服务端设备可按照目标对象经过多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集到的图像的处理任务,而非对指定区域内所有图像采集设备采集到的图像都进行实时处理,因此有助于降低对计算资源的占用率,从而有助于节约计算资源。
在本申请实施例中,不限定分批启动针对多个图像采集设备采集到的图像的处理任务的具体实施方式。在一些实施例中,可按照目标对象对安全的要求,设置不同的分批处理方式。例如,在目标对象对安全等级要求较高的应用场景中,可在目标对象移动到哪个图像采集设备的采集视野内,就启动针对哪个图像采集设备采集到的图像的处理任务,以实现对目标对象的连续性跟踪。又例如,在目标对象对安全等级要求较低的应用场景中,可在目标对象每经过Q个图像采集设备的采集视野内,就启动针对这Q个图像采集设备中目标对象最后一个经过的图像采集设备采集到的图像的处理任务,其中,Q≥2,且为整数。即可每间隔Q个图像采集设备,启动1个图像采集设备采集到的图像的处理任务。
在另一些实施例中,服务端设备30a可在目标对象移动至哪个图像采集设备的采集视野内的情况下,就启动针对该图像采集设备以及该图像采集设备之后的N个图像采集设备采集到的图像的处理任务。其中,N为自然数,且N小于多个图像采集设备的总数量。
优选地,服务端设备30a可在目标对象移动到哪个图像采集设备的采集视野内,就启动针对哪个图像采集设备采集到的图像的处理任务。优选地,服务端设备30a可在目标对象移动至目标图像采集设备的采集视野内的情况下,启动针对目标图像采集设备在目标对象在其采集视野内移动过程中采集到的图像。为了便于描述和区分,将目标图像采集设备在目标对象在其采集视野内移动过程中采集到的图像,定义为目标图像。
可选地,服务端设备30a可在目标对象移动至目标图像采集设备的采集视野内的情况下,获取目标图像采集设备采集到的目标图像,并开始对目标图像进行处理。
可选地,服务端设备30a可在目标对象移动至目标图像采集设备的采集视野内的情况下,向目标图像采集设备发送图像传输指令。该图像传输指令可指示目标图像采集设备传输采集到的图像。目标图像采集设备可接收图像传输指令,并将在接收到图像传输指令之后采集到的图像提供给服务端设备。相应地,服务端设备30a可接收目标图像采集设备提供的其在接收到图像传输指令之后采集到的图像,作为目标图像。
为了更清楚地说明针对多个图像采集设备采集到的图像进行动态任务调度的具体实施方式,下面以多个图像采集设备中除基准图像采集设备之外的任一图像采集设备为例,对动态任务调度方式进行示例性说明。
在本实施例中,服务端设备30a可在目标对象在第一图像采集设备30b1的采集视野内移动的过程中,获取第一图像采集设备30b1采集到的多张图像。多张是指2张或2张以上。其中,第一图像采集设备30b1为多个图像采集设备30b中,采集视野覆盖目标对象的当前移动到的位置的图像采集设备,即当前可拍摄到目标对象的图像采集设备。第一图像采集设备30b1可为多个图像采集设备30b中的任一图像采集设备。图3中仅以第一图像采集设备30b1为编号为3的图像采集设备进行图示。为了便于描述和区分,将第一图像采集设备30b1采集的图像,定义为第一图像,第一图像为多张。
进一步,服务端设备30a可根据多张第一图像,确定目标对象的运动信息。可选地,服务端设备30a可根据第一图像采集设备30b1的位姿,将目标对象在多张图像中像素坐标转换为目标对象在预设的坐标系下的坐标,之后,根据多张图像的时间戳和目标对象在预设的坐标系下的坐标,计算目标对象的运动信息。其中,目标对象的运动信息包括:目标对象的运动速度、行进方向和加速度中的至少一种。
进一步,服务端设备30a可根据目标对象的运动信息和多个图像采集设备30b的拓扑结构信息,预测下一时刻可拍摄到目标对象的图像采集设备,即预测目标对象在下一时刻将移动到哪个图像采集设备的采集视野内。为了便于描述和区分,将在下一时刻可拍摄到目标对象的图像采集设备,定义为目标图像采集设备30b2。
可选地,服务端设备30a可根据目标对象的运动信息,计算目标对象在下一时刻移动到的位置;进一步,可根据多个图像采集设备30b的拓扑结构信息,从多个图像采集设备30b中确定采集视野包括目标对象在下一时刻移动到的位置的图像采集设备,作为目标图像采集设备30b2。
进一步,服务端设备30a可启动针对目标图像采集设备30b2在下一时刻之后采集的图像的处理任务。在本申请实施例中,为了便于描述和区分,将目标图像采集设备30b2在下一时刻之后采集的图像,定义为目标图像。目标图像的数量可以为3张或多张。之后,服务端设备30a开始对目标图像采集设备30b2在下一时刻之后采集到的目标图像进行处理。这样,服务端设备30a可在目标对象移动到哪个图像采集设备的采集视野内时,开启针对哪个图像采集设备在目标对象在其采集视野内移动过程中采集到的图像的处理任务,而非对指定区域内所有的图像采集设备采集到的图像都进行实时处理,因此有助于降低对计算资源的占用率,从而有助于节约计算资源。
可选地,服务端设备30a可获取目标图像采集设备30b2在上述下一时刻之后采集到的图像,作为目标图像。也就是说,服务端设备30a可获取目标图像采集设备30b2在预测出下一时刻可拍摄到目标对象的目标图像采集设备30b2之后采集到的图像,作为目标图像。
可选地,服务端设备30a获取目标图像的具体实施方式可为:服务端设备30a可在预测出下一时刻可拍摄到目标对象的目标图像采集设备30b2之后,向目标图像采集设备30b2发送图像传输指令。相应地,目标图像采集设备30b2接收该图像传输指令,并将接收到该图像传输指令之后采集到的图像发送给服务端设备30a。进一步,服务端设备30a接收目标图像采集设备30b2发送的在接收到图像传输指令之后采集到的图像,作为目标图像。
进一步,服务端设备30a可对目标图像进行图像处理,生成目标对象在目标图像采集设备30b2的采集视野内的移动轨迹,实现目标对象在目标图像采集设备30b2的采集视野内的追踪。
可选地,服务端设备30a可根据目标对象的图像特征,从目标图像中识别出目标对象;并根据目标图像采集设备30b2的位姿,将目标对象在目标图像中的像素坐标转换为目标对象在预设坐标系下的坐标;之后,可根据目标图像的时间戳和目标对象在预设坐标系下的坐标,生成目标对象在目标图像采集设备30b2的采集视野内的移动轨迹。其中,目标对象在目标图像采集设备30b2的采集视野内的移动轨迹的中的各轨迹点由时间戳信息和位置信息组成,时间戳信息为该轨迹点对应的目标图像的时间戳,位置信息为目标对象在预设坐标系下的坐标。
进一步,服务端设备30a可将目标对象在目标图像采集设备30b2的采集视野内的移动轨迹以及目标对象的历史移动轨迹进行轨迹串联,从而生成目标对象从目标事件发生至在目标图像采集设备30b2的采集视野内的移动轨迹。其中,历史移动轨迹是指目标对象从目标事件发生至移动到目标图像采集设备30b2的采集视野的移动轨迹。其中,移动到目标图像采集设备30b2的采集视野的时刻为上述根据目标对象运动信息和多个图像采集设备的拓扑信息,预测下一时刻可拍摄到目标对象的目标图像采集设备30b2中所述的下一时刻。
进一步,在目标对象移动出目标图像采集设备30b2的采集视野时,服务端设备30a还可停止针对目标图像采集设备30b2采集到的目标图像的处理任务,并释放对目标图像进行处理所占用的计算资源。这样,有助于进一步降低对计算资源的占用量。
可选地,服务端设备30a可在启动针对目标图像采集设备30b2在下一时刻之后采集到的目标图像的处理任务之后,实时获取目标图像采集设备30b2采集的目标图像,并根据实时获取的目标图像和目标对象的图像特征,判断目标对象是否移动出目标图像采集设备30b2的采集视野。可选地,服务端设备30a可根据目标对象的图像特征,判断当前获取的目标图像是否包含目标对象的图像。若判断结果为否,则确定目标对象已移动出目标图像采集设备30b2的采集视野。进一步,服务端设备30a可停止对目标图像采集设备30b2在后续时刻采集到的图像进行处理。其中,此处后续时刻是指确定出目标对象移动出目标图像采集设备30b2的采集视野之后的时刻。
可选地,服务端设备30a可向目标图像采集设备30b2发送停止图像传输指令。相应地,目标图像采集设备30b2接收停止图像传输指令,并停止向服务端设备30a提供其在后续时刻采集到的图像。进一步,服务端设备30a还可释放针对目标图像采集设备30b2采集的目标图像进行处理所占用的计算资源。这样,可进一步减少对服务端设备30a的计算资源的占用。
当然,若第一图像采集设备30b1为除基准图像采集设备之外的其它图像采集设备,服务端设备30a也可在目标对象移动出第一图像采集设备30b1的采集视野时,则可停止针对第一图像采集设备30b1在后续时刻采集到的图像的处理任务。其中,此处的后续时刻是指在确定出目标对象移动出第一图像采集设备30b1的采集视野之后的时刻。其中,关于如何停止针对第一图像采集设备30b1在后续时刻采集到的图像的处理任务的实施方式,可参见上述在确定目标对象移动出目标图像采集设备30b2的采集视野时,如何停止并释放对针对第一图像采集设备30b1在后续时刻采集到的图像的处理任务的相关内容,在此不再赘述。进一步,服务端设备30a还可释放第一图像采集设备30b1采集到的第一图像进行处理所占用的计算资源。
本实施例提供的监控系统,服务端设备可根据目标对象的运动信息以及指定区域内的多个图像采集设备的拓扑信息,预测目标对象经过多个图像采集设备的采集视野的顺序;并按照目标对象经过多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集的图像的处理任务,而非对指定区域内所有的图像采集设备采集到的图像都进行实时处理,因此有助于降低对计算资源的占用率,从而有助于节约计算资源。
图4为本申请实施例提供的一种图像处理系统的结构示意图。如图4所示,该图像处理系统包括:调度单元40a和预测单元40b。
在本实施例中,调度单元40a与预测单元40b均为软件模块,可部署于同一物理机,也可部署于不同的物理机上。其中,物理机可为服务端设备,也可为终端设备。其中,关于服务端设备的描述可参见上述实施例的相关内容,在此不再赘述。
在本实施例中,调度单元40a,用于在目标对象在指定区域移动过程中,获取目标对象的运动信息。
预测单元40b,用于根据目标对象的运动信息以及设置于指定区域内的多个图像采集设备的拓扑信息,预测目标对象经过多个图像采集设备的采集视野的顺序。
调度单元40a,还用于按照目标对象经过多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集到的图像的处理任务。
在一些实施例中,调度单元40a,用于在目标对象移动至目标图像采集设备的采集视野内的情况下,启动针对目标图像采集设备采集到的目标图像的处理任务;目标图像是指目标图像采集设备在目标对象在其采集视野内移动过程中,目标图像采集设备采集到的图像。
可选地,如图4所示,图像处理系统还包括:计算单元40c。其中,计算单元40c与调度单元40a以及预测单元40b可部署于同一物理机,也可部署于不同的物理机。相应地,调度单元40a用于在目标对象移动至目标图像采集设备的采集视野内的情况下,启动计算单元40c中,启动针对目标图像采集设备采集到的目标图像的处理任务。
可选地,调度单元40a可向计算单元40c下发任务启动指令,该任务启动指令包括目标图像采集设备的标识。
相应地,计算单元40c获取目标图像,并开始对目标图像进行处理。
可选地,计算单元40c可向目标图像采集设备发送图像传输指令,以指示目标图像采集设备提供接收到图像传输指令之后采集到的图像;接收目标图像采集设备提供在图像传输指令之后采集到的图像,作为目标图像。
在另一些实施例中,预测单元40b在获取目标对象的运动信息时,具体用于:在目标对象在第一图像采集设备的采集视野内移动的过程中,获取第一图像采集设备采集到的多张第一图像。
其中,第一图像采集设备可为多个图像采集设备中的任一图像采集设备,即可为基准图像采集设备,也可为联动图像采集设备。其中,联动图像采集设备是指除基准图像采集设备之外的其它图像采集设备。基准图像采集设备为:设置于指定区域的入口的图像采集设备,和/或,采集视野覆盖目标对象在指定区域的停靠区域的图像采集设备。关于基准图像采集设备的描述,可参见上述实施例的相关内容,在此不再赘述。
可选地,调度单元40a可将多张第一图像提供给预测单元40b。可选地,调度单元40a可将多张第一图像透传给预测单元40b。
预测单元40b,用于根据多张第一图像,确定目标对象的运动信息;根据目标对象的运动信息和多个图像采集设备的拓扑信息,预测下一时刻可拍摄到目标对象的目标图像采集设备。
可选地,预测单元40b可根据目标对象的图像特征,从多张第一图像中识别出目标对象;并根据第一图像采集设备的位姿,将目标对象在多张第一图像中的像素坐标转换为目标对象在预设坐标系下的坐标;以及根据多张第一图像的时间戳和目标对象在预设坐标系下的坐标,计算目标对象的运动信息。
可选地,目标对象的运动信息包括:目标对象的运动速度、行进方向和加速度中的至少一种。
相应地,预测单元40b在预测在下一时刻可拍摄到目标对象的目标图像采集设备时,具体用于:根据目标对象的运动信息,计算目标对象在下一时刻移动到的位置;根据多个图像采集设备的拓扑信息,从多个图像采集设备中,确定采集视野包括目标对象在上述下一时刻移动到的位置的图像采集设备,作为目标图像采集设备。
进一步,预测单元40b可将目标图像采集设备的标识信息作为预测结果,发送给调度单元40a。
相应地,调度单元40a用于启动针对目标图像采集设备在下一时刻之后采集的目标图像的处理任务。
进一步,调度单元40a用于启动计算单元40c中,针对目标图像采集设备在下一时刻之后采集的目标图像的处理任务。
可选地,调度单元40a可向计算单元40c下发任务启动指令,该任务启动指令包括目标图像采集设备的标识。
相应地,计算单元40c可获取目标图像采集设备在上述下一时刻之后采集到的图像,作为目标图像;并对目标图像进行图像处理,以生成目标对象在目标图像采集设备的采集视野内的第一移动轨迹。
进一步,计算单元40c在获取目标图像采集设备在下一时刻之后采集到的图像时,具体用于:在预测出下一时刻可拍摄到目标对象的目标图像采集设备之后,向目标图像采集设备发送图像传输指令,以供目标图像采集设备提供接收到图像传输指令之后采集到的图像;接收目标图像采集设备在接收到图像传输指令之后采集到的图像,作为目标图像。
可选地,计算单元40c在对目标图像进行图像处理时,具体用于:根据目标对象的图像特征,从目标图像中识别出目标对象;根据目标图像采集设备的位姿,将目标对象在目标图像中的像素坐标转换为目标对象在预设坐标系下的坐标;根据目标图像的时间戳和目标对象在预设坐标系下的坐标,生成第一移动轨迹。
可选地,计算单元40c还用于:在生成目标对象在目标图像采集设备的采集视野内的第一移动轨迹之后,将第一移动轨迹和目标对象的历史移动轨迹进行轨迹串联,以生成目标对象从目标事件发生,至在目标图像采集设备的采集视野内的移动轨迹;其中,历史移动轨迹是指目标对象从目标事件发生,至目标对象移动至目标图像采集设备的采集视野之前的移动轨迹;目标事件是指触发在指定区域内对目标对象进行追踪的事件。
在本申请实施例中,调度单元40a还用于:在目标对象移动出目标图像采集设备的采集视野的情况下,停止针对目标图像采集设备在后续时刻采集到的图像的处理任务。
可选地,调度单元40a可在启动针对目标图像采集设备在下一时刻之后采集到的目标图像的处理任务之后,实时获取目标图像采集设备采集的目标图像,并将实时获取的目标图像提供给预测单元40b。相应地,预测单元40b用于:根据目标对象的图像特征和当前获取的目标图像,判断目标对象是否移动出目标图像采集设备的采集视野;若判断结果为是,则将目标对象将移动出其采集视野的目标图像采集设备的标识信息发送给调度单元40b。
相应地,调度单元40b停止计算单元40c针对目标图像采集设备在后续时刻采集到的图像的处理任务。可选地,调度单元40a可向计算单元40c下发任务停止指令,该任务停止指令包括目标图像采集设备的标识。
相应地,计算单元40c响应任务停止指令,停止对目标图像采集设备采集的图像进行处理。
可选地,计算单元40c向目标图像采集设备发送停止图像传输指令,以供目标图像采集设备停止提供其在后续时刻采集到的图像;并释放对目标图像采集设备采集到的目标图像进行处理所占用的计算资源。
可选地,如图4所示,调度单元40b也可向目标图像采集设备发送停止图像传输指令,以供目标图像采集设备停止提供其在后续时刻采集到的图像。
可选地,预测单元40b在判断目标对象是否移动出目标图像采集设备的采集视野时,具体用于:根据目标对象的图像特征,判断当前获取的目标图像是否包含目标对象的图像;若判断结果为否,则确定目标对象已移动出目标图像采集设备的采集视野。
在一些实施例中,第一图像采集设备为基准图像采集设备。相应地,调度单元40a可实时获取第一图像采集设备采集的第一图像,并将第一图像提供给预测单元40b。相应地,预测单元40b可根据目标对象的图像特征,识别第一图像中是否包含目标对象的图像;若在第一图像中识别出目标对象,则确定发生目标事件。
或者,调度单元40a可实时获取第一图像采集设备采集的第一图像,并将第一图像提供给预测单元40b。相应地,预测单元40b可根据目标对象的图像特征,识别第一图像中是否包含目标对象的图像;若在第一图像中识别出目标对象,则确定目标对象在第一图像中的姿态;若目标对象在第一图像中的姿态为指定姿态,则确定发生目标事件。
在另一些实施例中,第一图像采集设备为除基准图像采集设备之外的其它联动图像采集设备,则调度单元40a还用于:在目标对象移动出第一图像采集设备的采集视野时,停止计算单元40c针对第一图像采集设备在后续时刻采集的图像的处理任务。
值得说明的是,上述调度单元40a和预测单元40b的功能仅为示例性说明,并不构成限定。其中,预测单元40b执行的部分步骤,也可由调度单元40a完成。
例如,调度单元40a也可根据目标对象的图像特征,从多张第一图像中识别出目标对象;并根据第一图像采集设备的位姿,将目标对象在多张第一图像中的像素坐标转换为目标对象在预设坐标系下的坐标;并将多张第一图像的时间戳和目标对象在预测坐标系下的坐标提供给预测单元40b。可选地,调度单元40a可将多张第一图像的时间戳和目标对象在预测坐标系下的坐标透传给预测单元40b。多张第一图像的时间戳和目标对象在预测坐标系下的坐标也可称为结构化信息。
之后,预测单元40b可根据多张第一图像的时间戳和目标对象在预设坐标系下的坐标,计算目标对象的运动信息;以及根据运动信息和多个图像采集设备的拓扑信息,预测下一时刻可拍摄到目标对象的目标图像采集设备;并将目标图像采集设备的标识信息提供给调度单元40a。
又例如,调度单元40a也可根据目标对象的图像特征,从多张第一图像中识别出目标对象,并确定目标对象分别在多张第一图像中的像素坐标。之后,调度单元40a可目标对象分别在多张第一图像中的像素坐标提供给预测单元40b。可选地,调度单元40a可将目标对象分别在多张第一图像中的像素坐标透传给预测单元40b。目标对象分别在多张第一图像中的像素坐标也可称为结构化信息。
进一步,预测单元40b可根据第一图像采集设备的位姿,将目标对象在多张第一图像中的像素坐标转换为目标对象在预设坐标系下的坐标;并根据多张第一图像的时间戳和目标对象在预设坐标系下的坐标,计算目标对象的运动信息;以及根据运动信息和多个图像采集设备的拓扑结构信息,预测下一时刻可拍摄到目标对象的目标图像采集设备;并将目标图像采集设备的标识信息提供给调度单元40a;等等。
本实施例提供的图像处理系统,在指定区域对目标对象进行追踪的过程中,可根据目标对象的运动信息以及指定区域内的多个图像采集设备的拓扑信息,预测目标对象经过多个图像采集设备的采集视野的顺序;并按照目标对象经过多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集的图像的处理任务,而非对指定区域内所有图像采集设备采集到的图像都进行实时处理,因此有助于降低对计算资源的占用率,从而有助于节约计算资源。
图5为本申请实施例提供的一种计算机设备的结构示意图。如图5所示,该计算机设备包括:存储器50a和处理器50b。
在本实施例中,存储器50a,用于存储计算机程序;
处理器50b耦合至存储器50a,用于执行计算机程序以用于:在目标对象在指定区域内移动过程中,获取目标对象的运动信息;根据目标对象的运动信息以及设置于指定区域内的多个图像采集设备的拓扑信息,预测目标对象经过多个图像采集设备的采集视野的顺序;按照目标对象经过多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集到的图像的处理任务。
可选地,指定区域为机场;目标对象为目标飞机。
在一些实施例中,处理器50b在分批启动针对多个图像采集设备采集到的图像的处理任务时,具体用于:在目标对象移动至目标图像采集设备的采集视野内的情况下,启动针对目标图像采集设备采集到的目标图像的处理任务;目标图像是指目标图像采集设备在目标对象在其采集视野内移动过程中采集到的图像。
进一步,处理器50b在启动针对目标图像采集设备采集到的目标图像的处理任务时,具体用于:在目标对象移动至目标图像采集设备的采集视野内的情况下,获取目标图像,并开始对目标图像进行处理。
可选地,在一些实施例中,计算机设备还包括:通信组件50c。处理器50b在开始获取目标图像时,具体用于:向目标图像采集设备发送图像传输指令,以指示目标图像采集设备提供接收到图像传输指令之后采集到的图像;接收目标图像采集设备提供的接收到图像传输指令之后采集到的图像,作为目标图像。
在另一些实施例中,处理器50b在目标对象在第一图像采集设备的采集视野内移动的过程中,通过通信组件50c获取第一图像采集设备采集到的多张第一图像;在目标对象在第一图像采集设备的采集视野内移动的过程中,获取第一图像采集设备采集到的多张第一图像;第一图像采集设备为多个图像采集设备中的任一图像采集设备;根据多张第一图像,获取目标对象的运动信息。
在一些实施例中,处理器50b在确定目标对象的运动信息时,具体用于:根据目标对象的图像特征,从多张第一图像中识别出目标对象;根据第一图像采集设备的位姿,将目标对象在多张第一图像中的像素坐标转换为目标对象在预设坐标系下的坐标;以及根据多张第一图像的时间戳和目标对象在预设坐标系下的坐标,计算目标对象的运动信息。
进一步,处理器50b在获取目标对象的运动信息时,具体用于:根据目标对象的图像特征,从多张第一图像中识别出目标对象;根据第一图像采集设备的位姿,将目标对象在多张第一图像中的像素坐标转换为目标对象在预设坐标系下的坐标;根据多张第一图像的时间戳和目标对象在预设坐标系下的坐标,计算目标对象的运动信息。
可选地,目标对象的运动信息包括:目标对象的运动速度、行进方向和加速度中的至少一种。
相应地,处理器50b在确定目标对象经过多个图像采集设备的采集视野的顺序时,具体用于:根据目标对象的运动信息和多个图像采集设备的拓扑信息,预测在下一时刻可拍摄到目标对象的图像采集设备,作为目标图像采集设备;其中,目标对象经过多个图像采集设备的采集视野的顺序包括:先经过第一图像采集设备的采集视野,再经过图像采集设备的采集视野。
可选地,处理器50b在预测在下一时刻可拍摄到目标对象的图像采集设备时,具体用于:根据目标对象的运动信息,计算目标对象在下一时刻移动到的位置;根据多个图像采集设备的拓扑信息,从多个图像采集设备中确定采集视野包括目标对象在下一时刻移动到的位置的图像采集设备,作为在下一时刻可拍摄到目标对象的图像采集设备。
进一步,处理器50b在对目标图像进行处理时,具体用于:根据目标对象的图像特征,从目标图像中识别出目标对象;根据目标图像采集设备的位姿,将目标对象在目标图像中的像素坐标转换为目标对象在预设坐标系下的坐标;根据目标图像的时间戳和目标对象在预设坐标系下的坐标,生成目标对象在目标图像采集设备的采集视野内的第一移动轨迹。
在另一些实施例中,处理器50b还用于:在生成目标对象在目标图像采集设备的采集视野内的第一移动轨迹之后,将第一移动轨迹和目标对象的历史移动轨迹进行轨迹串联,以生成目标对象从目标事件发生至在目标图像采集设备的采集视野内的移动轨迹;其中,历史移动轨迹是指目标对象从目标事件发生,至目标对象移动至目标图像采集设备的采集视野之前的移动轨迹;目标事件是指触发在指定区域内对目标对象进行追踪的事件。
在又一些实施例中,处理器50b还用于:在目标对象移动出目标图像采集设备的采集视野的情况下,停止针对目标图像采集设备在后续时刻采集到的图像的处理任务。
可选地,处理器50b还用于:在启动针对目标图像采集设备在前述下一时刻之后采集到的目标图像的处理任务之后,实时获取目标图像采集设备采集的目标图像;根据目标对象的图像特征和当前获取的目标图像,判断目标对象是否移动出目标图像采集设备的采集视野。
进一步,处理器50b在判断目标对象是否移动出目标图像采集设备的采集视野时,具体用于:根据目标对象的图像特征,判断当前获取的目标图像是否包含目标对象的图像;若判断结果为否,则确定目标对象已移动出目标图像采集设备的采集视野。
可选地,处理器50b在停止针对目标图像采集设备在后续时刻采集到的图像的处理任务时,具体用于:通过通信组件50c向目标图像采集设备发送停止图像传输指令,以供目标图像采集设备停止提供其在后续时刻采集到的图像;并释放对目标图像采集设备采集到的目标图像进行处理所占用的计算资源。
可选地,处理器50b还用于:若第一图像采集设备为基准图像采集设备,实时获取第一图像采集设备采集的第一图像;根据目标对象的图像特征,识别第一图像中是否包含目标对象的图像;若在第一图像中识别出目标对象,则确定发生目标事件。
或者,处理器50b还用于:若第一图像采集设备为基准图像采集设备,实时获取第一图像采集设备采集的第一图像;根据目标对象的图像特征,识别第一图像中是否包含目标对象的图像;若在第一图像中识别出目标对象,则确定目标对象在第一图像中的姿态;若目标对象在第一图像中的姿态为指定姿态,则确定发生目标事件。
可选地,基准图像采集设备为:设置于指定区域的入口的图像采集设备,和/或,采集视野覆盖目标对象在指定区域的停靠区域的图像采集设备。
相应地,若第一图像采集设备为除基准图像采集设备之外的其它图像采集设备,则处理器50b还用于:在目标对象移动出第一图像采集设备的采集视野时,停止针对第一图像采集设备在后续时刻采集的图像的处理任务。
在一些可选实施方式中,如图5所示,该计算机设备还可以包括:电源组件50d等组件。若计算机设备为电脑、智能手机等终端设备,还可包括:显示屏50e和音频组件50f等可选组件。图5中仅示意性给出部分组件,并不意味着计算机设备必须包含图5所示的全部组件,也不意味着计算机设备只能包括图5所示组件。
在本申请实施例中,存储器用于存储计算机程序,并可被配置为存储其它各种数据以支持在其所在设备上的操作。其中,处理器可执行存储器中存储的计算机程序,以实现相应控制逻辑。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
在本申请实施例中,处理器可以为任意可执行上述方法逻辑的硬件处理设备。可选地,处理器可以为中央处理器(Central Processing Unit,CPU)、图形处理器(GraphicsProcessing Unit,GPU)或微控制单元(Microcontroller Unit,MCU);也可以为现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程阵列逻辑器件(ProgrammableArray Logic,PAL)、通用阵列逻辑器件(General Array Logic,GAL)、复杂可编程逻辑器件(Complex Programmable Logic Device,CPLD)等可编程器件;或者为先进精简指令集(RISC)处理器(Advanced RISC Machines,ARM)或系统芯片(System on Chip SOC)等等,但不限于此。
在本申请实施例中,通信组件被配置为便于其所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,4G,5G或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件还可基于近场通信(NFC)技术、射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术或其他技术来实现。
在本申请实施例中,显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板,显示屏可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。
在本申请实施例中,电源组件被配置为其所在设备的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
在本申请实施例中,音频组件可被配置为输出和/或输入音频信号。例如,音频组件包括一个麦克风(MIC),当音频组件所在设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中,音频组件还包括一个扬声器,用于输出音频信号。例如,对于具有语言交互功能的设备,可通过音频组件实现与用户的语音交互等。
本实施例提供的计算机设备,在指定区域对目标对象进行追踪的过程中,可根据目标对象的运动信息以及指定区域内的多个图像采集设备的拓扑信息,预测目标对象经过多个图像采集设备的采集视野的顺序;并按照目标对象经过多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集的图像的处理任务,而非对指定区域内所有图像采集设备采集到的图像都进行实时处理,因此有助于降低对计算资源的占用率,从而有助于节约计算资源。
图6为本申请实施例提供的图像处理装置的结构示意图。如图6所示,该图像处理装置包括:获取模块60a、预测模块60b和调度模块60c。
在本实施例中,获取模块60a,用于:在目标对象在指定区域内移动过程中,获取目标对象的运动信息。
预测模块60c,用于根据目标对象的运动信息以及设置于指定区域内的多个图像采集设备的拓扑信息,预测目标对象经过多个图像采集设备的采集视野的顺序。
调度模块60c,用于按照目标对象经过多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集到的图像的处理任务。
可选地,指定区域为机场;目标对象为目标飞机。
在一些实施例中,调度模块60c在分批启动针对多个图像采集设备采集到的图像的处理任务时,具体用于:在目标对象移动至目标图像采集设备的采集视野内的情况下,启动针对目标图像采集设备采集到的目标图像的处理任务;目标图像是指目标图像采集设备在目标对象在其采集视野内移动过程中采集到的图像。
进一步,图像处理装置还包括:处理模块60d。调度模块60c在启动针对目标图像采集设备采集到的目标图像的处理任务时,具体用于:在目标对象移动至目标图像采集设备的采集视野内的情况下,指示获取模块60a获取目标图像,并指示处理模块60d开始对目标图像进行处理。
可选地,获取模块60a在开始获取目标图像时,具体用于:向目标图像采集设备发送图像传输指令,以指示目标图像采集设备提供接收到图像传输指令之后采集到的图像;接收目标图像采集设备在接收到图像传输指令之后采集到的图像,作为目标图像。
在另一些实施例中,获取模块60a在获取目标对象的运动信息时,具体用于:在目标对象在第一图像采集设备的采集视野内移动的过程中,通获取第一图像采集设备采集到的多张第一图像;在目标对象在第一图像采集设备的采集视野内移动的过程中,获取第一图像采集设备采集到的多张第一图像;第一图像采集设备为多个图像采集设备中的任一图像采集设备;根据多张第一图像,获取目标对象的运动信息。
在一些实施例中,获取模块60a在获取目标对象的运动信息时,具体用于:根据目标对象的图像特征,从多张第一图像中识别出目标对象;根据第一图像采集设备的位姿,将目标对象在多张第一图像中的像素坐标转换为目标对象在预设坐标系下的坐标;以及根据多张第一图像的时间戳和目标对象在预设坐标系下的坐标,计算目标对象的运动信息。
进一步,获取模块60a在获取目标对象的运动信息时,具体用于:根据目标对象的图像特征,从多张第一图像中识别出目标对象;根据第一图像采集设备的位姿,将目标对象在多张第一图像中的像素坐标转换为目标对象在预设坐标系下的坐标;根据多张第一图像的时间戳和目标对象在预设坐标系下的坐标,计算目标对象的运动信息。
可选地,目标对象的运动信息包括:目标对象的运动速度、行进方向和加速度中的至少一种。
相应地,预测模块60b在预测目标对象经过多个图像采集设备的采集视野的顺序时,具体用于:根据目标对象的运动信息和多个图像采集设备的拓扑信息,预测在下一时刻可拍摄到目标对象的图像采集设备,作为目标图像采集设备;其中,目标对象经过多个图像采集设备的采集视野的顺序包括:先经过第一图像采集设备的采集视野再经过图像采集设备的采集视野。
相应地,处理模块60d在对目标图像进行处理时,具体用于:根据目标对象的图像特征,从目标图像中识别出目标对象;根据目标图像采集设备的位姿,将目标对象在目标图像中的像素坐标转换为目标对象在预设坐标系下的坐标;根据目标图像的时间戳和目标对象在预设坐标系下的坐标,生成目标对象在目标图像采集设备的采集视野内的第一移动轨迹。
在另一些实施例中,处理模块60d还用于:在生成目标对象在目标图像采集设备的采集视野内的第一移动轨迹之后,将第一移动轨迹和目标对象的历史移动轨迹进行轨迹串联,以生成目标对象从目标事件发生至在目标图像采集设备的采集视野内的移动轨迹;其中,历史移动轨迹是指目标对象从目标事件发生,至目标对象移动至目标图像采集设备的采集视野之前的移动轨迹;目标事件是指触发在指定区域内对目标对象进行追踪的事件。
在又一些实施例中,调度模块60c还用于:在目标对象移动出目标图像采集设备的采集视野的情况下,指示处理模块60d停止针对目标图像采集设备在后续时刻采集到的图像的处理任务。
可选地,预测模块60b还用于:在启动针对目标图像采集设备在下一时刻之后采集到的目标图像的处理任务之后,指示获取模块60a实时获取目标图像采集设备采集的目标图像;根据目标对象的图像特征和当前获取的目标图像,判断目标对象是否移动出目标图像采集设备的采集视野。
进一步,预测模块60b在判断目标对象是否移动出目标图像采集设备的采集视野时,具体用于:根据目标对象的图像特征,判断当前获取的目标图像是否包含目标对象的图像;若判断结果为否,则确定目标对象已移动出目标图像采集设备的采集视野。
可选地,调度模块60c在停止针对目标图像采集设备在后续时刻采集到的图像的处理任务时,具体用于:指示获取模块60a向目标图像采集设备发送停止图像传输指令,以供目标图像采集设备停止提供其在后续时刻采集到的图像;并指示处理模块60d释放对目标图像采集设备采集到的目标图像进行处理所占用的计算资源。
可选地,若第一图像采集设备为基准图像采集设备,处理模块60d还用于:实时获取第一图像采集设备采集的第一图像;根据目标对象的图像特征,识别第一图像中是否包含目标对象的图像;若在第一图像中识别出目标对象,则确定发生目标事件。
或者,若第一图像采集设备为基准图像采集设备,处理模块60d还用于:实时获取第一图像采集设备采集的第一图像;根据目标对象的图像特征,识别第一图像中是否包含目标对象的图像;若在第一图像中识别出目标对象,则确定目标对象在第一图像中的姿态;若目标对象在第一图像中的姿态为指定姿态,则确定发生目标事件。
可选地,基准图像采集设备为:设置于指定区域的入口的图像采集设备,和/或,采集视野覆盖目标对象在指定区域的停靠区域的图像采集设备。
相应地,若第一图像采集设备为除基准图像采集设备之外的其它图像采集设备,则调度模块60c还用于:在目标对象移动出第一图像采集设备的采集视野时,指示处理模块60d停止针对第一图像采集设备在后续时刻采集的图像的处理任务。
本实施例提供的图像处理装置,在指定区域对目标对象进行追踪的过程中,根据目标对象的运动信息以及指定区域内的多个图像采集设备的拓扑信息,预测目标对象经过多个图像采集设备的采集视野的顺序;并按照目标对象经过多个图像采集设备的采集视野的顺序,分批启动针对多个图像采集设备采集的图像的处理任务,而非对指定区域内所有图像采集设备采集到的图像都进行实时处理,因此有助于降低对计算资源的占用率,从而有助于节约计算资源。
需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (26)
1.一种图像处理方法,其特征在于,包括:
在目标对象在指定区域内移动过程中,获取所述目标对象的运动信息;
根据所述目标对象的运动信息以及设置于所述指定区域内的多个图像采集设备的拓扑信息,预测所述目标对象经过所述多个图像采集设备的采集视野的顺序;
按照所述目标对象经过所述多个图像采集设备的采集视野的顺序,分批启动针对所述多个图像采集设备采集到的图像的处理任务。
2.根据权利要求1所述的方法,其特征在于,所述按照所述目标对象经过所述多个图像采集设备的采集视野的顺序,分批启动针对所述多个图像采集设备采集到的图像的处理任务,包括:
在所述目标对象移动至目标图像采集设备的采集视野内的情况下,启动针对所述目标图像采集设备采集到的目标图像的处理任务;
所述目标图像是指所述目标图像采集设备在所述目标对象在其采集视野内移动过程中采集到的图像。
3.根据权利要求2所述的方法,其特征在于,所述启动针对所述目标图像采集设备采集到的目标图像的处理任务,包括:
在所述目标对象移动至目标图像采集设备的采集视野内的情况下,获取所述目标图像,并开始对所述目标图像进行处理。
4.根据权利要求3所述的方法,其特征在于,所述获取所述目标图像,包括:
向所述目标图像采集设备发送图像传输指令,以指示所述目标图像采集设备提供接收到所述图像传输指令之后采集到的图像;
接收所述目标图像采集设备在接收到所述图像传输指令之后采集到的图像,作为所述目标图像。
5.根据权利要求3所述的方法,其特征在于,所述获取所述目标对象的运动信息,包括:
在所述目标对象在第一图像采集设备的采集视野内移动的过程中,获取所述第一图像采集设备采集到的多张第一图像;所述第一图像采集设备为所述多个图像采集设备中的任一图像采集设备;
根据所述多张第一图像,获取所述目标对象的运动信息。
6.根据权利要求5所述的方法,其特征在于,所述根据所述多张第一图像,获取所述目标对象的运动信息,包括:
根据所述目标对象的图像特征,从所述多张第一图像中识别出所述目标对象;
根据所述第一图像采集设备的位姿,将所述目标对象在所述多张第一图像中的像素坐标转换为所述目标对象在预设坐标系下的坐标;
根据所述多张第一图像的时间戳和所述目标对象在预设坐标系下的坐标,计算所述目标对象的运动信息。
7.根据权利要求5所述的方法,其特征在于,所述根据所述目标对象的运动信息以及设置于所述指定区域内的多个图像采集设备的拓扑信息,预测所述目标对象经过所述多个图像采集设备的采集视野的顺序,包括:
根据所述目标对象的运动信息和所述多个图像采集设备的拓扑信息,预测在下一时刻可拍摄到所述目标对象的图像采集设备,作为所述目标图像采集设备;
其中,所述目标对象经过所述多个图像采集设备的采集视野的顺序包括:先经过所述第一图像采集设备的采集视野,再经过所述目标图像采集设备的采集视野。
8.根据权利要求7所述的方法,其特征在于,所述根据所述目标对象的运动信息和所述多个图像采集设备的拓扑信息,预测在下一时刻可拍摄到所述目标对象的图像采集设备,包括:
根据所述目标对象的运动信息,计算所述目标对象在所述下一时刻移动到的位置;
根据所述多个图像采集设备的拓扑信息,从所述多个图像采集设备中,确定采集视野包括所述目标对象在所述下一时刻移动到的位置的图像采集设备,作为所述在下一时刻可拍摄到所述目标对象的图像采集设备。
9.根据权利要求7所述的方法,其特征在于,所述目标对象的运动信息包括:所述目标对象的运动速度、行进方向和加速度中的至少一种。
10.根据权利要求5所述的方法,其特征在于,所述对所述目标图像进行处理,包括:
根据所述目标对象的图像特征,从所述目标图像中识别出所述目标对象;
根据所述目标图像采集设备的位姿,将所述目标对象在所述目标图像中的像素坐标转换为所述目标对象在预设坐标系下的坐标;
根据所述目标图像的时间戳和所述目标对象在预设坐标系下的坐标,生成所述目标对象在所述目标图像采集设备的采集视野内的第一移动轨迹。
11.根据权利要求10所述的方法,其特征在于,在生成所述目标对象在所述目标图像采集设备的采集视野内的第一移动轨迹之后,还包括:
将所述第一移动轨迹和所述目标对象的历史移动轨迹进行轨迹串联,以生成所述目标对象从目标事件发生,至在所述目标图像采集设备的采集视野内的移动轨迹;
其中,所述历史移动轨迹是指所述目标对象从所述目标事件发生,至所述目标对象移动至所述目标图像采集设备的采集视野之前的移动轨迹;所述目标事件是指触发在所述指定区域内对所述目标对象进行追踪的事件。
12.根据权利要求2所述的方法,其特征在于,还包括:
在所述目标对象移动出所述目标图像采集设备的采集视野的情况下,停止针对所述目标图像采集设备在后续时刻采集到的图像的处理任务。
13.根据权利要求12所述的方法,其特征在于,还包括:
在启动针对所述目标图像采集设备采集到的目标图像的处理任务之后,实时获取所述目标图像采集设备采集的目标图像;
根据所述目标对象的图像特征和当前获取的目标图像,判断所述目标对象是否移动出所述目标图像采集设备的采集视野。
14.根据权利要求13所述的方法,其特征在于,所述根据所述目标对象的图像特征和当前获取的目标图像,判断所述目标对象是否移动出所述目标图像采集设备的采集视野,包括:
根据所述目标对象的图像特征,判断当前获取的目标图像是否包含目标对象的图像;
若判断结果为否,则确定所述目标对象已移动出所述目标图像采集设备的采集视野。
15.根据权利要求12所述的方法,其特征在于,所述停止针对所述目标图像采集设备在后续时刻采集到的图像的处理任务,包括:
向所述目标图像采集设备发送停止图像传输指令,以供所述目标图像采集设备停止提供其在后续时刻采集到的图像;
释放对所述目标图像采集设备采集到的图像进行处理所占用的计算资源。
16.根据权利要求5所述的方法,其特征在于,还包括:
若所述第一图像采集设备为除基准图像采集设备之外的其它图像采集设备,则在所述目标对象移动出所述第一图像采集设备的采集视野时,停止针对所述第一图像采集设备在后续时刻采集的图像的处理任务。
17.根据权利要求11所述的方法,其特征在于,若所述第一图像采集设备为基准图像采集设备,所述方法还包括:
实时获取所述第一图像采集设备采集的第一图像;
根据所述目标对象的图像特征,识别所述第一图像中是否包含所述目标对象的图像;
若在所述第一图像中识别出所述目标对象,则确定发生所述目标事件。
18.根据权利要求11所述的方法,其特征在于,若所述第一图像采集设备为基准图像采集设备,所述方法还包括:
实时获取所述第一图像采集设备采集的第一图像;
根据所述目标对象的图像特征,识别所述第一图像中是否包含所述目标对象的图像;
若在所述第一图像中识别出所述目标对象,则确定所述目标对象在所述第一图像中的姿态;
若所述目标对象在所述第一图像中的姿态为指定姿态,则确定发生所述目标事件。
19.根据权利要求16-18任一项所述的方法,其特征在于,所述基准图像采集设备为:设置于所述指定区域的入口的图像采集设备,和/或,采集视野覆盖所述目标对象在所述指定区域的停靠区域的图像采集设备。
20.根据权利要求1-18任一项所述的方法,其特征在于,所述指定区域为机场;所述目标对象为目标飞机。
21.一种图像处理系统,其特征在于,包括:调度单元和预测单元;
其中,所述调度单元,用于在目标对象在指定区域移动过程中,获取所述目标对象的运动信息;
所述预测单元,用于根据所述目标对象的运动信息以及设置于所述指定区域内的多个图像采集设备的拓扑信息,预测所述目标对象经过所述多个图像采集设备的采集视野的顺序;
所述调度单元,还用于按照所述目标对象经过所述多个图像采集设备的采集视野的顺序,分批启动针对所述多个图像采集设备采集到的图像的处理任务。
22.一种图像处理装置,其特征在于,包括:获取模块、预测模块和调度模块;其中,
所述获取模块,用于:在目标对象在指定区域移动过程中,获取所述目标对象的运动信息;
所述预测模块,用于:根据所述目标对象的运动信息以及设置于所述指定区域内的多个图像采集设备的拓扑信息,预测所述目标对象经过所述多个图像采集设备的采集视野的顺序;
所述调度模块,用于:按照所述目标对象经过所述多个图像采集设备的采集视野的顺序,分批启动针对所述多个图像采集设备采集到的图像的处理任务。
23.一种计算机设备,其特征在于,包括:存储器和处理器;
其中,所述存储器,用于存储计算机程序;
所述处理器耦合至所述存储器,用于执行所述计算机程序以用于:在目标对象在指定区域移动过程中,获取所述目标对象的运动信息;根据所述目标对象的运动信息以及设置于所述指定区域内的多个图像采集设备的拓扑信息,预测所述目标对象经过所述多个图像采集设备的采集视野的顺序;以及按照所述目标对象经过所述多个图像采集设备的采集视野的顺序,分批启动针对所述多个图像采集设备采集到的图像的处理任务。
24.一种监控系统,其特征在于,包括:服务端设备和设置于指定区域内的多个图像采集设备;
所述服务端设备,用于:在目标对象在指定区域移动过程中,获取所述目标对象的运动信息;根据所述目标对象的运动信息以及所述多个图像采集设备的拓扑信息,预测所述目标对象经过所述多个图像采集设备的采集视野的顺序;按照所述目标对象经过所述多个图像采集设备的采集视野的顺序,分批启动针对所述多个图像采集设备采集到的图像的处理任务。
25.一种机场监控系统,其特征在于,包括:服务端设备和设置于机场内的多个图像采集设备;
所述服务端设备,用于:在目标飞机在指定区域移动过程中,获取所述目标对象的运动信息;根据所述目标飞机的运动信息以及设置于所述指定区域内的多个图像采集设备的拓扑信息,预测所述目标飞机经过所述多个图像采集设备的采集视野的顺序;按照所述目标飞机经过所述多个图像采集设备的采集视野的顺序,分批启动针对所述多个图像采集设备采集到的图像的处理任务。
26.一种存储有计算机指令的计算机可读存储介质,其特征在于,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器执行权利要求1-20任一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010352062.4A CN113573007A (zh) | 2020-04-28 | 2020-04-28 | 图像处理方法、设备、装置、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010352062.4A CN113573007A (zh) | 2020-04-28 | 2020-04-28 | 图像处理方法、设备、装置、系统及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113573007A true CN113573007A (zh) | 2021-10-29 |
Family
ID=78158285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010352062.4A Pending CN113573007A (zh) | 2020-04-28 | 2020-04-28 | 图像处理方法、设备、装置、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113573007A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104038729A (zh) * | 2014-05-05 | 2014-09-10 | 重庆大学 | 级联式多摄像机接力跟踪方法及系统 |
CN105141824A (zh) * | 2015-06-17 | 2015-12-09 | 广州杰赛科技股份有限公司 | 图像采集方法及装置 |
CN107529665A (zh) * | 2017-07-06 | 2018-01-02 | 新华三技术有限公司 | 车辆追踪方法及装置 |
CN107820008A (zh) * | 2017-11-14 | 2018-03-20 | 国网黑龙江省电力有限公司信息通信公司 | 一种机房监控系统及方法 |
US20180160081A1 (en) * | 2016-03-31 | 2018-06-07 | Ninebot (Beijing) Tech Co., Ltd. | Information processing method, electronic device and computer storage medium |
CN108521557A (zh) * | 2018-04-10 | 2018-09-11 | 陕西工业职业技术学院 | 一种适用于大型物流仓库摄像头的监控方法及监控系统 |
-
2020
- 2020-04-28 CN CN202010352062.4A patent/CN113573007A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104038729A (zh) * | 2014-05-05 | 2014-09-10 | 重庆大学 | 级联式多摄像机接力跟踪方法及系统 |
CN105141824A (zh) * | 2015-06-17 | 2015-12-09 | 广州杰赛科技股份有限公司 | 图像采集方法及装置 |
US20180160081A1 (en) * | 2016-03-31 | 2018-06-07 | Ninebot (Beijing) Tech Co., Ltd. | Information processing method, electronic device and computer storage medium |
CN107529665A (zh) * | 2017-07-06 | 2018-01-02 | 新华三技术有限公司 | 车辆追踪方法及装置 |
CN107820008A (zh) * | 2017-11-14 | 2018-03-20 | 国网黑龙江省电力有限公司信息通信公司 | 一种机房监控系统及方法 |
CN108521557A (zh) * | 2018-04-10 | 2018-09-11 | 陕西工业职业技术学院 | 一种适用于大型物流仓库摄像头的监控方法及监控系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10824863B2 (en) | Systems for searching for persons using autonomous vehicles | |
CN102654940B (zh) | 基于无人驾驶飞机的交通信息采集系统的信息处理方法 | |
CN102110369B (zh) | 闯红灯抓拍方法及装置 | |
Niu et al. | A UAV-based traffic monitoring system-invited paper | |
CN114489122B (zh) | 一种基于uav及配套机场的高速公路自动巡检方法及系统 | |
CN111079525B (zh) | 图像处理方法、设备、系统及存储介质 | |
CN113286081B (zh) | 机场全景视频的目标识别方法、装置、设备及介质 | |
US11535376B2 (en) | Traffic information processing equipment, system and method | |
CN115661965B (zh) | 一种融合自动机场的公路无人机智能巡检系统 | |
CN112162565A (zh) | 一种基于多机协同作业的不间断自主杆塔巡检方法 | |
CN110203395A (zh) | 一种无人机母机运载智能子设备侦查方法及系统 | |
CN111413999A (zh) | 一种基于无人机的安全巡检方法 | |
CN103576691A (zh) | 3g警务无人机管控系统 | |
WO2022262558A1 (zh) | 一种无人机调度方法、系统及相关设备 | |
KR20180017335A (ko) | 무인항공기를 이용한 고속도로 순찰 운용 방법 | |
CN115550860A (zh) | 一种无人机组网通信系统及方法 | |
CN113568427B (zh) | 无人机自主着陆移动平台的方法及系统 | |
AU2020102304A4 (en) | I-Drone: INTELLIGENT DRONE TO DETECT THE HUMAN AND PROVIDE HELP | |
CN113573007A (zh) | 图像处理方法、设备、装置、系统及存储介质 | |
CN112180353A (zh) | 目标对象的确认方法及系统、存储介质 | |
CN109561409A (zh) | 一种用于无人驾驶汽车的控制系统 | |
CN116823604A (zh) | 一种机场禁飞区黑飞处理方法和系统 | |
CN114512005B (zh) | 一种道路自巡检方法、装置、无人机及存储介质 | |
CN112185175B (zh) | 电子进程单的处理方法及装置 | |
CN113110584A (zh) | 多旋翼飞行器云后台网络系统及其控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211029 |
|
RJ01 | Rejection of invention patent application after publication |