CN113158813A - 流动目标实时统计方法及装置 - Google Patents
流动目标实时统计方法及装置 Download PDFInfo
- Publication number
- CN113158813A CN113158813A CN202110327924.2A CN202110327924A CN113158813A CN 113158813 A CN113158813 A CN 113158813A CN 202110327924 A CN202110327924 A CN 202110327924A CN 113158813 A CN113158813 A CN 113158813A
- Authority
- CN
- China
- Prior art keywords
- target
- image frame
- flowing
- counting
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007619 statistical method Methods 0.000 title description 7
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000012544 monitoring process Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 8
- 238000012423 maintenance Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000003245 coal Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种流动目标实时统计方法及装置,该方法包括:获取监控区域的监控视频;根据端到端的多目标跟踪模型,对监控视频的图像帧进行流动目标跟踪;该端到端的多目标跟踪模型基于无标签的有监督训练方法,采用领域知识作为训练时的监督信息训练得到;统计经过预设统计位置的流动目标的数量。本发明实施例采用端到端的多目标跟踪模型对欲统计目标进行跟踪,利用监控视频对目标跟踪器进行无标签的有监督训练,提高了对任意种类目标进行统计的可行性,以及兼顾跟踪速度和精度;复用监控视频,无需额外视频采集终端,在成本和维护等方面有很大的优势。
Description
技术领域
本发明涉及智能监控技术领域,具体而言,涉及一种流动目标实时统计方法及装置。
背景技术
随着经济社会的发展和工业技术的进步,针对各类流动目标的实时统计,呈现越来越明显的刚性需求。流动目标实时统计,能够为各类场景的资源分配、运维管理和人员服务等方面,提供及时准确且有效的数据支撑。例如,商场实时人流统计:通过实时人流统计数据分析,可以及时调整各类资源分配,保障体系的高效运转,以及优化店铺管理,找出最适合店铺的经营模式;还可以根据客户逛店路径分析热点区域,调整主打产品陈列。流动目标实时统计,有利于从宏观到细节的各类优化,达到利益最大化,有很迫切的实际需求和很重要的现实意义。
现有流动目标实时统计方式常采用基于多目标跟踪(Multiple ObjectTracking,MOT)的目标统计,其无法兼顾速度和精度,且针对不同场景需要分别进行数据标注及训练,而目标跟踪的数据标注工作繁重导致成本较高。
发明内容
本发明解决的是现有流动目标实时统计方式的速度和精度无法兼顾、成本较高的问题。
为解决上述问题,本发明提供一种流动目标实时统计方法,所述方法包括:获取监控区域的监控视频;根据端到端的多目标跟踪模型,对所述监控视频的图像帧进行流动目标跟踪;所述端到端的多目标跟踪模型基于无标签的有监督训练方法,采用领域知识作为训练时的监督信息训练得到;统计经过预设统计位置的所述流动目标的数量。
可选地,所述根据端到端的多目标跟踪模型,对所述监控视频的图像帧进行流动目标跟踪,包括:对所述监控视频的第二图像帧进行目标检测,得到所述第二图像帧中目标的检测结果以及所述第二图像帧中目标在第一图像帧中的位置信息;所述第二图像帧为与所述第一图像帧相邻的下一帧;通过贪婪算法将所述第二图像帧中目标关联至所述第一图像帧中的目标,或为所述第二图像帧中目标新建轨迹。
可选地,所述通过贪婪算法将所述第二图像帧中目标关联至所述第一图像帧中的目标,或为所述第二图像帧中目标新建轨迹,包括:根据所述第二图像帧中第一目标在所述第一图像帧中的位置信息,确定所述第一图像帧中与所述位置信息最接近且未被关联的第二目标,以及将所述第一目标与所述第二目标关联;若在所述第一图像帧中不存在未被关联的第二目标,则为所述第二图像帧中第一目标新建轨迹;所述第二目标与所述第一目标的距离小于距离超参数。
可选地,所述端到端的多目标跟踪模型的目标函数如下:
其中,f表示目标函数,F表示假设空间,xi表示输入的训练样例,R表示正则项,g表示领域相关的约束函数,具体如下:
g(x)=||(A(ATA)-1AT-I)*f(x)||1+γ1*h1(x)+γ2*h2(x)
h1(x)=-std(f(x))
h2(x)=max(ReLU(f(x)-10))+max(ReLU(0-f(x)))
其中,A表示关于时间差Δt的矩阵,T表示A的转置矩阵,I表示单位矩阵,γ1、γ2表示权值超参数,h1、h2表示正则项。
可选地,所述端到端的多目标跟踪模型设置有预测所述第二图像帧中目标在所述第一图像帧中的位置信息的损失函数,所述损失函数采用最小均方法确定。
可选地,所述端到端的多目标跟踪模型包括深度神经网络,所述深度神经网络增加了多个输入通道以及输出通道;所述输入通道包括所述第一图像帧及所述第一图像帧的目标的位置信息;所述输出通道包括所述第二图像帧的目标在所述第一图像帧中的位置信息。
可选地,所述统计经过预设统计位置的所述流动目标的数量,包括:所述预设统计位置设置有进线及出线;所述进线与所述出线间隔相对设置;若所述流动目标经过所述进线且经过所述出线,则将所述流动目标的数量加一。
可选地,所述统计经过预设统计位置的所述流动目标的数量,包括:在所述预设统计位置对应的统计区域一侧的所述流动目标的状态为第一状态,在所述统计区域另一侧的所述流动目标的状态为第二状态;若所述流动目标的状态由所述第一状态变更为所述第二状态,或由所述第二状态变更为所述第一状态,则将对应计数器的数量加一。
本发明提供一种流动目标实时统计装置,所述装置包括:获取模块,用于获取监控区域的监控视频;跟踪模块,用于根据端到端的多目标跟踪模型,对所述监控视频的图像帧进行流动目标跟踪;所述端到端的多目标跟踪模型基于无标签的有监督训练方法,采用领域知识作为训练时的监督信息训练得到;计数模块,用于统计经过预设统计位置的所述流动目标的数量。
可选地,所述跟踪模块,具体用于:对所述监控视频的第二图像帧进行目标检测,得到所述第二图像帧中目标的检测结果以及所述第二图像帧中目标在第一图像帧中的位置信息;所述第二图像帧为与所述第一图像帧相邻的下一帧;通过贪婪算法将所述第二图像帧中目标关联至所述第一图像帧中的目标,或为所述第二图像帧中目标新建轨迹。
本发明提供的流动目标实时统计方法及装置,采用端到端的多目标跟踪模型对欲统计目标进行跟踪,利用监控视频对目标跟踪器进行无标签的有监督训练,提高了对任意种类目标进行统计的可行性,以及兼顾跟踪速度和精度;复用监控视频,无需额外视频采集终端,在成本和维护等方面有很大的优势。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明的一个实施例中一种流动目标实时统计方法的示意性流程图;
图2为本发明的一个实施例中流动目标统计示意图;
图3为本发明的一个实施例中端到端的多目标跟踪模型的结构示意图;
图4为本发明的一个实施例中一种流动目标实时统计装置的结构示意图。
附图标记说明:
401-获取模块;402-跟踪模块;403-计数模块。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
现有部分高效的MOT方法,使用卡尔曼滤波和匈牙利算法,直接基于目标的运动特征进行关联匹配,会出现很频繁的标识交换(IDswitch),准确度较低。为解决上述问题,后继的一些算法常结合运动特征和外观特征进行关联匹配,可以在很大程度上提高跟踪的准确度,但其引入了计算密集的重识别(Re-Identification,ReID)模型来提取嵌入特征(Embedding),同时也增加了关联匹配的复杂度,导致此方法效率很低,很难满足实时性要求。
其次,对于特殊或复杂的场景,上述方法可用性严重降低。现有的目标跟踪公开数据集,都只对一些常见的物体例如人体进行标注。但实际应用场景中(例如煤矿)则需要对多种类目标(例如运煤车、矿车等)进行跟踪因此需要针对不同应用场景进行数据标注。而目标跟踪的数据标注工作是十分繁重的,针对每个应用场景都进行数据标注是十分昂贵的。
本发明实施例提供了一种流动目标实时统计方法,可以实现各类场景中对流动人员或流动物体的实时统计,其基于公共场所的监控设备采集的监控视频,无需安装其他特殊设备,采用一种端到端的多目标跟踪算法,可以同时兼顾统计速度和精确度。对于多目标跟踪采用一种无标签(label-free)的有监督训练方法训练多目标跟踪器,采用领域(domain)知识作为训练时的监督信息。进一步,可以采用一种双统计线或统计区域的方法,解决了统计目标徘徊导致重复统计的问题。
图1是本发明的一个实施例中一种流动目标实时统计方法的示意性流程图,该方法包括以下步骤:
S102,获取监控区域的监控视频。
监控视频的来源为待监控区域预先安装的监控设备,无需额外增加硬件装置。通过对现有的待监控区域监控视频的复用,无需额外花费视频采集成本。
S104,根据端到端的多目标跟踪模型,对监控视频的图像帧进行流动目标跟踪。
其中,该端到端的多目标跟踪模型基于无标签的有监督训练方法,采用领域知识作为训练时的监督信息训练得到。
上述无标签的有监督训练方法,无需对监控视频图像中欲统计的目标进繁琐的标注,可以直接对原始视频基于领域知识进行训练,以获得多目标跟踪模型。其中,label-free的有监督训练的工作原理如下:
对于传统的有监督方法,欲学习到的目标函数可表示为:
其中,f表示目标函数,F表示假设空间,xi表示输入的训练样例,yi表示xi的lable信息,l表示损失函数。
对于label-free的有监督方法,欲学习到的目标函数可表示为:
其中,f表示目标函数,F表示假设空间,xi表示输入的训练样例,R表示正则项,这里的正则项主要的目的是为了避免函数f是一个平凡解,g表示领域相关的约束函数,通过这样一种约束,达到监督学习的目的,具体如下:
g(x)=||(A(ATA)-1AT-I)*f(x)||1+γ1*h1(x)+γ2*h2(x)
为了避免平凡解,可在约束中加入正则项,如下:
h1(x)=-std(f(x))
h2(x)=max(ReLU(f(x)-10))+max(ReLU(0-f(x)))
其中,A表示关于时间差Δt的矩阵,T表示A的转置矩阵,I表示单位矩阵,γ1、γ2表示权值超参数,h1、h2表示正则项,h1(x)目的是为了使得f(x)的方差尽可能大,避免平凡解,h2(x)目的是为了避免f(x)的方差过大,而约束0<f(x)<10。
端到端的多目标跟踪模型对监控视频的图像帧进行流动目标跟踪的工作原理如下:
在时间t,给定当前帧It及其上一帧It-1,以及上一帧跟踪到的所有目标通过模型输出当前帧的所有目标及预测所有目标在上一帧的位置T′t-1=(b′0 t-1,b′1 t-1,...,b′i t-1);然后通过一个简单的贪婪算法,把当前帧中的目标关联到上一帧已有的路径上。
具体地,目标跟踪的目的是确定当前帧的目标和上一帧目标之间的关联。传统的目标关联一般采用匈牙利算法,计算比较复杂。本实施例的上述算法可以直接预测输出当前帧的目标在上一帧的位置,因此不需要很复杂的关联过程,可通过简单的贪婪算法实现。例如可以设置一个阈值ε,把T′t-1的每个元素和Tt-1中的在该阈值内且距离最近的目标关联即可,在该阈值内如果无法找到可关联的目标,则表示其为新出现的目标。
S106,统计经过预设统计位置的流动目标的数量。
例如,设置两条不重合的进线和出线,或设置一个统计区域,若流动目标经过上述进线及出线、统计区域则进行数量统计,可以避免目标徘徊重复统计的问题。
可选地,在预设统计位置设置有进线及出线,该进线与出线间隔相对设置;若流动目标经过进线且经过出线,则将流动目标的数量加一。
可选地,在预设统计位置对应的统计区域一侧的流动目标的状态为第一状态,在统计区域另一侧的流动目标的状态为第二状态;若流动目标的状态由第一状态变更为第二状态,或由第二状态变更为第一状态,则将对应计数器的数量加一。
参见图2所示的流动目标统计示意图,在图中示出了进线L1、出线L2,在进线L1、出线L2之间的区域为统计区域,在进线L1左侧的流动目标的状态为“内”,在出线L2右侧的流动目标的状态为“外”。
如图2所示,目标从初始位置A移动到位置B,仅经过进线L1而未经过出线L2,或者其状态为“内>内”,即状态未改变,则不计数;人员从初始位置A移动到位置C,既经过进线L1且经过出线L2,其状态改变为“内>外”,则出计数器加一。可选地,当目标状态为外并穿过进线时,进计数器加一;当目标状态为内并穿过出线时,出计数器加一。上述统计方法中设置了进线和出线,且进线和出线之间间隔一段距离,在目标既经过进线又经过出线的情况下计数,可以避免目标徘徊重复统计的问题,只要目标的徘徊范围不跨越出线入线、统计区域,就不会出现重复计数。
本发明实施例提供的流动目标实时统计方法,采用端到端的多目标跟踪模型对欲统计目标进行跟踪,利用监控视频对目标跟踪器进行无标签的有监督训练,提高了对任意种类目标进行统计的可行性,以及兼顾跟踪速度和精度;复用监控视频,无需额外视频采集终端,在成本和维护等方面有很大的优势。
作为一种实施方式,上述步骤S104可按照以下步骤执行:
(1)对监控视频的第二图像帧进行目标检测,得到第二图像帧中目标的检测结果以及第二图像帧中目标在第一图像帧中的位置信息。该第二图像帧为与第一图像帧相邻的下一帧。
本实施例中的端到端的多目标跟踪模型,不需要单独的ReID模型和复杂的关联策略,且保证了跟踪的准确度。该模型是在现有的目标检测器上进行改进,通过在一个图像帧对(前一帧和当前帧)上执行检测,并结合前一帧的目标检测结果,来估计当前帧的目标运动情况。该模型的具体结构如下:
参见图3所示的端到端的多目标跟踪模型的结构示意图,该模型包括深度神经网络,深度神经网络增加了多个输入通道以及输出通道。输入通道包括第一图像帧及第一图像帧的目标的位置信息;输出通道包括第二图像帧的目标在第一图像帧中的位置信息
其在传统的目标检测器上增加4个输入通道(channel)和4个输出通道。4个输入通道:前一帧的图像It-1(3个通道)和前一帧的检测结果(1个通道);4个输出通道:当前帧的目标在前一帧的定位T′t-1=(b′0 t-1,b′1 t-1,...,b′i t-1)。对三个输入通道,分别进行卷积,然后将三者的卷积结果相加,基层(base_layer)的输出尺寸与原始网络一致。
对于4个额外的输出通道,用于预测当前帧的对象在上一帧的位置。端到端的多目标跟踪模型设置有预测第二图像帧中目标在第一图像帧中的位置信息的损失函数,该损失函数采用最小均方法确定。上述模型增加了4个通道的输出,实质上可以看作多任务学习,此损失函数即新增任务(即输出当前帧的目标在上一帧中的位置)的损失,最终多任务损失可以采取手工加权组合,或者自动损失平衡进行融合。设模型输出为真实值(groundtrue)为N为模型输出的数量,可直接使用简单的最小均方法,设计损失函数如下:
(2)通过贪婪算法将第二图像帧中目标关联至第一图像帧中的目标,或为第二图像帧中目标新建轨迹。具体地,根据第二图像帧中第一目标在第一图像帧中的位置信息,确定第一图像帧中与该位置信息最接近且未被关联的第一图像帧中的第二目标,以及将第一目标与第二目标关联;若在预测边界框中不存在未被关联的第一图像帧中的第二目标,则为第二图像帧中第一目标新建轨迹。其中,第二目标与第一目标的距离小于距离超参数。
对于关联匹配算法,模型使用了一个简单的贪婪算法代替传统的复杂关联匹配算法。首先设置超参数阈值ε,将ε定义为距离的阈值;然后对于在位置p的每个检测,贪婪地将其与在位置p的最接近的没有被匹配的先前检测框相关联,位置p与上述先前检测框的最近距离需小于ε,若该最近距离大于ε则不匹配。如果在ε内没有未被匹配的先前检测框,则将其设置为新的轨迹。该贪婪算法通过一个直接的定位预测就足以跨时间链接对象,不需要复杂的距离度量或图形匹配。采用贪婪算法进行关联匹配,可以在不影响模型精度的情况下,提高跟踪模型的速度。
通过将传统的多目标跟踪中的目标检测、ReID、数据关联统一到一个端到端的多目标跟踪模型中,同时还将前一帧的结果作为输入,从而帮助模型恢复被遮挡和中断的目标,很好地兼顾了多目标跟踪的速度和精确度。
本发明实施例提供的流动目标实时统计方法,利用监控视频对目标跟踪器进行label-free的有监督训练,提高了系统对任意目标进行统计的可行性;利用一种简单的贪婪算法进行关联匹配,在不影响模型精度的情况下,提高了跟踪模型的速度;利用一种双统计线或统计区域的方法,解决了统计目标徘徊导致重复统计的问题;复用监控视频,无需额外的专门视频采集终端,在成本和维护等方面有很大的优势。本发明实施例提供的上述方案基于计算机视觉方法,速度快,精度高,能够实现实时精准的流动目标统计,且能够简单地移植到不同场景,具有很高的可用性。
图4是本发明的一个实施例中一种流动目标实时统计装置的结构示意图,该装置包括:
获取模块401,用于获取监控区域的监控视频;
跟踪模块402,用于根据端到端的多目标跟踪模型,对所述监控视频的图像帧进行流动目标跟踪;所述端到端的多目标跟踪模型基于无标签的有监督训练方法,采用领域知识作为训练时的监督信息训练得到;
计数模块403,用于统计经过预设统计位置的所述流动目标的数量。
本发明实施例提供的流动目标实时统计装置,采用端到端的多目标跟踪模型对欲统计目标进行跟踪,利用监控视频对目标跟踪器进行无标签的有监督训练,提高了对任意种类目标进行统计的可行性,以及兼顾跟踪速度和精度;复用监控视频,无需额外视频采集终端,在成本和维护等方面有很大的优势。
可选地,作为一个实施例,所述跟踪模块,具体用于:对所述监控视频的第二图像帧进行目标检测,得到所述第二图像帧中目标的检测结果以及所述第二图像帧中目标在第一图像帧中的位置信息;所述第二图像帧为与所述第一图像帧相邻的下一帧;通过贪婪算法将所述第二图像帧中目标关联至所述第一图像帧中的目标,或为所述第二图像帧中目标新建轨迹。
可选地,作为一个实施例,所述跟踪模块,具体用于:根据所述第二图像帧中第一目标在所述第一图像帧中的位置信息,确定所述第一图像帧中与所述位置信息最接近且未被关联的第二目标,以及将所述第一目标与所述第二目标关联;若在所述第一图像帧中不存在未被关联的第二目标,则为所述第二图像帧中第一目标新建轨迹;所述第二目标与所述第一目标的距离小于距离超参数。
可选地,作为一个实施例,所述端到端的多目标跟踪模型的目标函数如下:
其中,f表示目标函数,F表示假设空间,xi表示输入的训练样例,R表示正则项,g表示领域相关的约束函数,具体如下:
g(x)=||(A(ATA)-1AT-I)*f(x)||1+γ1*h1(x)+γ2*h2(x)
h1(x)=-std(f(x))
h2(x)=max(ReLU(f(x)-10))+max(ReLU(0-f(x)))
其中,A表示关于时间差Δt的矩阵,T表示A的转置矩阵,I表示单位矩阵,γ1、γ2表示权值超参数,h1、h2表示正则项。
可选地,作为一个实施例,所述端到端的多目标跟踪模型设置有预测所述第二图像帧中目标在所述第一图像帧中的位置信息的损失函数,所述损失函数采用最小均方法确定。
可选地,作为一个实施例,所述端到端的多目标跟踪模型包括深度神经网络,所述深度神经网络增加了多个输入通道以及输出通道;所述输入通道包括所述第一图像帧及所述第一图像帧的目标的位置信息;所述输出通道包括所述第二图像帧的目标在所述第一图像帧中的位置信息。
可选地,作为一个实施例,所述计数模块具体用于:所述预设统计位置设置有进线及出线;所述进线与所述出线间隔相对设置;若所述流动目标经过所述进线且经过所述出线,则将所述流动目标的数量加一。
可选地,作为一个实施例,所述计数模块具体用于:在所述预设统计位置对应的统计区域一侧的所述流动目标的状态为第一状态,在所述统计区域另一侧的所述流动目标的状态为第二状态;若所述流动目标的状态由所述第一状态变更为所述第二状态,或由所述第二状态变更为所述第一状态,则将对应计数器的数量加一。
上述实施例提供的流动目标实时统计装置能够实现上述流动目标实时统计方法的实施例中的各个过程,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述流动目标实时统计方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random AccessMemory,简称RAM)、磁碟或者光盘等。
当然,本领域技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令控制装置来完成,所述的程序可存储于一计算机可读取的存储介质中,所述程序在执行时可包括如上述各方法实施例的流程,其中所述的存储介质可为存储器、磁盘、光盘等。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种流动目标实时统计方法,其特征在于,所述方法包括:
获取监控区域的监控视频;
根据端到端的多目标跟踪模型,对所述监控视频的图像帧进行流动目标跟踪;所述端到端的多目标跟踪模型基于无标签的有监督训练方法,采用领域知识作为训练时的监督信息训练得到;
统计经过预设统计位置的所述流动目标的数量。
2.根据权利要求1所述方法,其特征在于,所述根据端到端的多目标跟踪模型,对所述监控视频的图像帧进行流动目标跟踪,包括:
对所述监控视频的第二图像帧进行目标检测,得到所述第二图像帧中目标的检测结果以及所述第二图像帧中目标在第一图像帧中的位置信息;所述第二图像帧为与所述第一图像帧相邻的下一帧;
通过贪婪算法将所述第二图像帧中目标关联至所述第一图像帧中的目标,或为所述第二图像帧中目标新建轨迹。
3.根据权利要求2所述方法,其特征在于,所述通过贪婪算法将所述第二图像帧中目标关联至所述第一图像帧中的目标,或为所述第二图像帧中目标新建轨迹,包括:
根据所述第二图像帧中第一目标在所述第一图像帧中的位置信息,确定所述第一图像帧中与所述位置信息最接近且未被关联的第二目标,以及将所述第一目标与所述第二目标关联;
若在所述第一图像帧中不存在未被关联的第二目标,则为所述第二图像帧中第一目标新建轨迹;
所述第二目标与所述第一目标的距离小于距离超参数。
5.根据权利要求1所述方法,其特征在于,所述端到端的多目标跟踪模型设置有预测所述第二图像帧中目标在所述第一图像帧中的位置信息的损失函数,所述损失函数采用最小均方法确定。
6.根据权利要求1所述方法,其特征在于,所述端到端的多目标跟踪模型包括深度神经网络,所述深度神经网络增加了多个输入通道以及输出通道;
所述输入通道包括所述第一图像帧及所述第一图像帧的目标的位置信息;
所述输出通道包括所述第二图像帧的目标在所述第一图像帧中的位置信息。
7.根据权利要求1所述方法,其特征在于,所述统计经过预设统计位置的所述流动目标的数量,包括:
所述预设统计位置设置有进线及出线;所述进线与所述出线间隔相对设置;
若所述流动目标经过所述进线且经过所述出线,则将所述流动目标的数量加一。
8.根据权利要求1-7任一项所述方法,其特征在于,所述统计经过预设统计位置的所述流动目标的数量,包括:
在所述预设统计位置对应的统计区域一侧的所述流动目标的状态为第一状态,在所述统计区域另一侧的所述流动目标的状态为第二状态;
若所述流动目标的状态由所述第一状态变更为所述第二状态,或由所述第二状态变更为所述第一状态,则将对应计数器的数量加一。
9.一种流动目标实时统计装置,其特征在于,所述装置包括:
获取模块,用于获取监控区域的监控视频;
跟踪模块,用于根据端到端的多目标跟踪模型,对所述监控视频的图像帧进行流动目标跟踪;所述端到端的多目标跟踪模型基于无标签的有监督训练方法,采用领域知识作为训练时的监督信息训练得到;
计数模块,用于统计经过预设统计位置的所述流动目标的数量。
10.根据权利要求9所述装置,其特征在于,所述跟踪模块,具体用于:
对所述监控视频的第二图像帧进行目标检测,得到所述第二图像帧中目标的检测结果以及所述第二图像帧中目标在第一图像帧中的位置信息;所述第二图像帧为与所述第一图像帧相邻的下一帧;
通过贪婪算法将所述第二图像帧中目标关联至所述第一图像帧中的目标,或为所述第二图像帧中目标新建轨迹。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110327924.2A CN113158813A (zh) | 2021-03-26 | 2021-03-26 | 流动目标实时统计方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110327924.2A CN113158813A (zh) | 2021-03-26 | 2021-03-26 | 流动目标实时统计方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113158813A true CN113158813A (zh) | 2021-07-23 |
Family
ID=76885009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110327924.2A Pending CN113158813A (zh) | 2021-03-26 | 2021-03-26 | 流动目标实时统计方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113158813A (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2259221A1 (en) * | 2009-06-03 | 2010-12-08 | ETH Zurich | Computer system and method for tracking objects in video data |
CN106600631A (zh) * | 2016-11-30 | 2017-04-26 | 郑州金惠计算机系统工程有限公司 | 基于多目标跟踪的客流统计方法 |
CN106934332A (zh) * | 2015-12-31 | 2017-07-07 | 中国科学院深圳先进技术研究院 | 一种多目标跟踪的方法 |
CN107545582A (zh) * | 2017-07-04 | 2018-01-05 | 深圳大学 | 基于模糊逻辑的视频多目标跟踪方法及装置 |
CN109271942A (zh) * | 2018-09-26 | 2019-01-25 | 上海七牛信息技术有限公司 | 一种人流统计方法以及系统 |
CN109522854A (zh) * | 2018-11-22 | 2019-03-26 | 广州众聚智能科技有限公司 | 一种基于深度学习和多目标跟踪的行人流量统计方法 |
CN109934849A (zh) * | 2019-03-08 | 2019-06-25 | 西北工业大学 | 基于轨迹度量学习的在线多目标跟踪方法 |
CN110349187A (zh) * | 2019-07-18 | 2019-10-18 | 深圳大学 | 基于tsk模糊分类器的目标跟踪方法、装置及存储介质 |
CN110363165A (zh) * | 2019-07-18 | 2019-10-22 | 深圳大学 | 基于tsk模糊系统的多目标跟踪方法、装置及存储介质 |
CN111860282A (zh) * | 2020-07-15 | 2020-10-30 | 中国电子科技集团公司第三十八研究所 | 地铁断面客流量统计和行人逆行检测方法及系统 |
CN111931654A (zh) * | 2020-08-11 | 2020-11-13 | 精英数智科技股份有限公司 | 一种人员跟踪智能监测方法、系统和装置 |
CN112183412A (zh) * | 2020-10-06 | 2021-01-05 | 精英数智科技股份有限公司 | 人员身份识别方法、装置、电子设备及存储介质 |
CN112241974A (zh) * | 2020-05-29 | 2021-01-19 | 北京新能源汽车技术创新中心有限公司 | 交通事故检测方法及处理方法、系统、存储介质 |
CN112528966A (zh) * | 2021-02-05 | 2021-03-19 | 华东交通大学 | 一种取款人周边环境智能监控识别方法、装置及介质 |
-
2021
- 2021-03-26 CN CN202110327924.2A patent/CN113158813A/zh active Pending
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2259221A1 (en) * | 2009-06-03 | 2010-12-08 | ETH Zurich | Computer system and method for tracking objects in video data |
CN106934332A (zh) * | 2015-12-31 | 2017-07-07 | 中国科学院深圳先进技术研究院 | 一种多目标跟踪的方法 |
CN106600631A (zh) * | 2016-11-30 | 2017-04-26 | 郑州金惠计算机系统工程有限公司 | 基于多目标跟踪的客流统计方法 |
CN107545582A (zh) * | 2017-07-04 | 2018-01-05 | 深圳大学 | 基于模糊逻辑的视频多目标跟踪方法及装置 |
CN109271942A (zh) * | 2018-09-26 | 2019-01-25 | 上海七牛信息技术有限公司 | 一种人流统计方法以及系统 |
CN109522854A (zh) * | 2018-11-22 | 2019-03-26 | 广州众聚智能科技有限公司 | 一种基于深度学习和多目标跟踪的行人流量统计方法 |
CN109934849A (zh) * | 2019-03-08 | 2019-06-25 | 西北工业大学 | 基于轨迹度量学习的在线多目标跟踪方法 |
CN110349187A (zh) * | 2019-07-18 | 2019-10-18 | 深圳大学 | 基于tsk模糊分类器的目标跟踪方法、装置及存储介质 |
CN110363165A (zh) * | 2019-07-18 | 2019-10-22 | 深圳大学 | 基于tsk模糊系统的多目标跟踪方法、装置及存储介质 |
WO2021007984A1 (zh) * | 2019-07-18 | 2021-01-21 | 深圳大学 | 基于tsk模糊分类器的目标跟踪方法、装置及存储介质 |
CN112241974A (zh) * | 2020-05-29 | 2021-01-19 | 北京新能源汽车技术创新中心有限公司 | 交通事故检测方法及处理方法、系统、存储介质 |
CN111860282A (zh) * | 2020-07-15 | 2020-10-30 | 中国电子科技集团公司第三十八研究所 | 地铁断面客流量统计和行人逆行检测方法及系统 |
CN111931654A (zh) * | 2020-08-11 | 2020-11-13 | 精英数智科技股份有限公司 | 一种人员跟踪智能监测方法、系统和装置 |
CN112183412A (zh) * | 2020-10-06 | 2021-01-05 | 精英数智科技股份有限公司 | 人员身份识别方法、装置、电子设备及存储介质 |
CN112528966A (zh) * | 2021-02-05 | 2021-03-19 | 华东交通大学 | 一种取款人周边环境智能监控识别方法、装置及介质 |
Non-Patent Citations (4)
Title |
---|
RUSSELL STEWART等: "Label-free supervision of neural networks with physics and domain knowledge", PROCEEDINGS OF THE THIRTY-FIRST AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE, 4 February 2017 (2017-02-04), pages 2577 - 2579 * |
XINGYI ZHOU 等: "Tracking Objects as Points", COMPUTER VISION-ECCV 2020, 29 October 2020 (2020-10-29), pages 3 - 4 * |
唐春晖;陈启军;: "一种俯视行人的多目标检测和跟踪方法", 系统仿真学报, no. 10, 8 October 2013 (2013-10-08) * |
李鹏飞等: "基于参数学习和运动预测的在线多目标跟踪算法", 计算机与现代化, 31 October 2017 (2017-10-31), pages 1 - 6 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tang et al. | Multi-person tracking by multicut and deep matching | |
CN108320510B (zh) | 一种基于无人机航拍视频交通信息统计方法及系统 | |
Zhao et al. | Crossing-line crowd counting with two-phase deep neural networks | |
Kumar et al. | Multiple object tracking by efficient graph partitioning | |
Luo et al. | Real-time people counting for indoor scenes | |
Kumaran et al. | Queuing theory guided intelligent traffic scheduling through video analysis using Dirichlet process mixture model | |
Patel et al. | Motion-compensated online object tracking for activity detection and crowd behavior analysis | |
Bui et al. | Video-based traffic flow analysis for turning volume estimation at signalized intersections | |
Martani et al. | Pedestrian monitoring techniques for crowd-flow prediction | |
Pini et al. | Video synthesis from intensity and event frames | |
Massa et al. | LRCN-RetailNet: A recurrent neural network architecture for accurate people counting | |
Shao et al. | Computer vision-enabled smart traffic monitoring for sustainable transportation management | |
He et al. | A double-region learning algorithm for counting the number of pedestrians in subway surveillance videos | |
Kumar et al. | An approach for traffic congestion detection and traffic control system | |
Reddy et al. | Alternative approach to traffic state analysis on Indian roads using image processing | |
CN113158813A (zh) | 流动目标实时统计方法及装置 | |
Khan et al. | Facing needs and requirements of crowd modelling: Towards a dedicated computer vision toolset | |
Prathilothamai et al. | Timely prediction of road traffic congestion using ontology | |
CN113822367B (zh) | 一种基于人脸的区域行为分析方法、系统及介质 | |
Delavarian et al. | Multi‐camera multiple vehicle tracking in urban intersections based on multilayer graphs | |
Sreekumar et al. | TPCAM: Real-time traffic pattern collection and analysis model based on deep learning | |
Yang et al. | Anomalous behavior detection in crowded scenes using clustering and spatio-temporal features | |
Khan et al. | Segmentation of crowd into multiple constituents using modified mask R-CNN based on mutual positioning of human | |
Jahantighy et al. | Multiple targets video tracking based on extended kalman filter in combination with particle swarm optimization for intelligent applications | |
Wang et al. | Real-time traffic monitoring and status detection with a multi-vehicle tracking system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |