CN107507225B - 运动目标检测方法、装置、介质及计算设备 - Google Patents
运动目标检测方法、装置、介质及计算设备 Download PDFInfo
- Publication number
- CN107507225B CN107507225B CN201710789917.8A CN201710789917A CN107507225B CN 107507225 B CN107507225 B CN 107507225B CN 201710789917 A CN201710789917 A CN 201710789917A CN 107507225 B CN107507225 B CN 107507225B
- Authority
- CN
- China
- Prior art keywords
- saliency map
- motion
- current frame
- frame image
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 230000003287 optical effect Effects 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 11
- 150000003839 salts Chemical class 0.000 claims description 9
- 230000005284 excitation Effects 0.000 claims description 6
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 101100202589 Drosophila melanogaster scrib gene Proteins 0.000 claims description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 3
- 239000010931 gold Substances 0.000 claims description 3
- 229910052737 gold Inorganic materials 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000003068 static effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及图像处理技术领域，尤其涉及运动目标检测方法、装置、介质及设备。本申请实施例中用于生成显著图的特征包括了静态特征和动态特征，其中静态特征如灰度特征和方向特征，运动特征如光流特征和帧间差分特征。由于引入了运动特征，使得显著图中包含了更多的运动信息，故而生成的显著图更加合理，基于这样的显著图检测的运动目标更加准确。此外，本申请实施例中，融合了空间显著图和运动显著图得到时空显著图，进一步使得显著图的提取能够包含运动信息，使得运动目标的检测更加合理。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及运动目标检测方法、装置、介质及计算设备。
背景技术
运动目标检测的目的在于检测出在连续帧图像中位置改变的物体。该技术是高级辅助驾驶技术和智能车技术的一项核心技术。通过检测图像中的运动目标，可以警告提醒驾驶人员危险环境的出现，这可以有效的减少驾驶人员驾车发生碰撞和行人被撞的危险。
采用显著图来检测运动目标是运动目标检测的一种常用方法。该方法中通过对图像的强度、颜色、方向等特征进行分析得到显著图。但是，这些信息仅是图像的底层信息，得到的显著图信息缺乏，检测的效果不够理想。故此，需要一种新的运动目标检测方法。
发明内容
本申请实施例提供运动目标检测方法、装置、介质及计算设备，用以解决现有技术中基于显著图的运动目标检测的效果不够理想等的问题。
本申请实施例提供了一种运动目标检测方法，包括：
提取当前帧图像的灰度特征、方向特征、光流特征和当前帧图像在指定图像集合中的帧间差分特征，其中，指定图像集合为包含当前帧图像的连续帧图像构成的图像集合，帧间差分特征是指对连续的两帧或多帧图像中对应的像素点的灰度值做差，以得出帧间差分特征；
获取灰度特征、方向特征、光流特征以及帧间差分特征各种对应的权值；
采用加权求和的方式，计算当前帧图像的灰度特征、方向特征、光流特征以及帧间差分特征的加权和值作为当前帧图像的融合特征；
基于当前帧图像的融合特征，生成显著图；
基于生成的显著图，检测运动目标。
申请另一实施例还提供一种运动目标检测装置，该装置包括：
特征提取模块，用于提取当前帧图像的灰度特征、方向特征、光流特征和当前帧图像在指定图像集合中的帧间差分特征，其中，指定图像集合为包含当前帧图像的连续帧图像构成的图像集合，帧间差分特征是指对连续的两帧或多帧图像中对应的像素点的灰度值做差，以得出帧间差分特征；
特征权重获取模块，用于获取灰度特征、方向特征、光流特征以及帧间差分特征各种对应的权值；
特征融合模块，用于采用加权求和的方式，计算当前帧图像的灰度特征、方向特征、光流特征以及帧间差分特征的加权和值作为当前帧图像的融合特征；
显著图生成模块，用于基于当前帧图像的融合特征，生成显著图；
检测模块，用于基于生成的显著图，检测运动目标。
本申请另一实施例还提供了一种计算设备，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序指令执行本申请实施例中的任一运动目标检测方法。
本申请另一实施例还提供了一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行本申请实施例中的任一运动目标检测方法。
本申请实施例中用于生成显著图的特征包括了静态特征和动态特征，其中静态特征如灰度特征和方向特征，运动特征如光流特征和帧间差分特征。由于引入了运动特征，使得显著图中包含了更多的运动信息，故而生成的显著图更加合理，基于这样的显著图检测的运动目标更加准确。
此外，本申请实施例中，还融合了空间显著图和运动显著图得到时空显著图，进一步使得显著图的提取能够包含运动信息，使得运动目标的检测更加合理。
附图说明
图1为本申请实施例一提供的运动目标检测方法流程示意图；
图2为本申请实施例二提供的运动目标检测装置的结构示意图；
图3为本申请实施例三提供的计算设备的结构示意图。
具体实施方式
下面结合说明书附图对本申请实施例作进一步详细描述。
实施例一
参照图1，为本申请实施例一提供的运动目标检测方法的流程示意图，该方法包括以下步骤：
步骤101：提取当前帧图像的灰度特征、方向特征、光流特征和当前帧图像在指定图像集合中的帧间差分特征，其中，指定图像集合为包含当前帧图像的连续帧图像构成的图像集合。
其中，在一个实施例中，可用根据以下方法提取灰度特征、方向特征、光流特征和帧间差分特征：
(1)灰度特征：
假设当前帧图像的红绿蓝3个通道分别为r(t)、g(t)、b(t)；则图像的灰度特征可以表示为如公式(1)所示：
I(t)＝(r(t)+g(t)+b(t))/3 (1)
其中I(t)代表图像的灰度信息。
(2)方向特征：
可用采用Gabor获取方向特征，具体的：
Gabor由实部和虚部组成，二者相互正交。
实部部分如公式(2)所示：
虚部部分如公式(3)所示：
在公式(2)、(3)中：
x'＝xcosθ+ysinθ
y'＝-xsinθ+ycosθ
波长λ：它的值以像素为单位指定，通常大于等于2，切不大于当前帧图像尺寸的五分之一；
方向θ：指定Gabor函数并行条纹的方向，取值范围为0到360度；
相位偏移
：取值范围为-180度到180度，其中0和180分别对应中心对称的center-on函数和center-off函数。而-90度和90度对应反对称函数；
长宽比γ：空间纵横比，决定了Gabor函数形状，当γ＝1时，形状是圆的，当γ<1时，形状随着平行条纹方向而拉长，通常可取值为0.5。
带宽b：Gabor滤波器的半响应空间频率带宽b和σ/λ的比率有关，其中σ表示Gabor函数的高斯因子的标准差，σ的值随着带宽变化。
需要说明的是，还可以采用其它现有技术方法提取方向特征，均适用于本申请实施例。
(3)光流特征：
具体实施时，可以采用以下方法提取光流特征：
假设在当前帧图像为t时刻的图像，t时刻点(x,y)的灰度值为I(x,y,t)。利用松弛迭代方程可以求得公式(4)：
其中的u，v分别为x和y方向上的光流矢量。Ix和Iy和It为图像在x，y和t方向的偏导。k表示在图像金字塔的层数。
(4)帧间差分特征
差分运动是指对连续的两帧或多帧图像中对应的像素点的灰度值做差，这样就可以得出帧间差分特征。帧间差分特征可以表示为如公式(5)所示：
M＝|I(t)-I(t-τ)| (5)
式(5)中I(t)表示t时刻图像的灰度值，I(t-τ)表示经过时间τ后图像的灰度值，在求得帧间差分特征值时，可以取τ＝1。
步骤102：获取灰度特征、方向特征、光流特征以及帧间差分特征各种对应的权值。
步骤103：采用加权求和的方式，计算当前帧图像的灰度特征、方向特征、光流特征以及帧间差分特征的加权和值作为当前帧图像的融合特征。
由于在不同的场景中提取的每种特征所占据的比例并不一样，为了更合理的分配每种特征，采用加权融合的方式对提取的特征进行处理。假设图像灰度特征为I(t)，方向特征为G(t)，光流特征为F(t)，帧间差分特征为M(t)，则加权融合后的图像表示为如公式(6)所示：
f(t)＝x1I(t)+x2G(t)+x3F(t)+x4M(t) (6)
公式(6)中，t表示当前帧图像；f(t)表示当前帧图像的融合特征；x1-x4代表各个特征的权值。具体实施时，各特征的权重可以根据场景的不同而设定。
步骤104：基于当前帧图像的融合特征，生成显著图。
步骤105：基于生成的显著图，检测运动目标。
具体实施时可用采用现有技术方法生成显著图。本申请实施例中，为了提高提取的显著图的合理性以便于最终检测出更加准确的运动目标，本申请实施例中，提取的显著图为空间显著图和运动显著图的融合，具体的：
步骤104，可执行为步骤A1-步骤A3：
步骤A1：基于当前帧图像的融合特征，生成当前帧图像的空间显著图以及运动显著图。
1)、生成空间显著图可具体包括：
由于高斯差分函数具有中央自激励，领域范围内抑制的结构，能促成相邻显著点之间的局部竞争，所以局部迭代法采用高斯差分函数对融合特征图进行卷积。具体实施时，基于当前帧图像的融合特征和预设迭代终止条件，根据以下迭代公式(7)确定当前帧图像的空间显著图：
f‘(t)＝f(t)+f(t)*DOG-c (7)
其中，f(t)表示上一次迭代的融合特征；f‘(t)表示本次迭代后的融合特征；r表示距离中心像素点的距离；*表示卷积，DOG是高斯差分函数；
和
是兴奋和抑制带宽；
和
是兴奋和抑制常数；常数c为一个偏置。
2)运动显著图的生成：
序列图像中各显著区可能存在全局运动、局部运动和相对运动。背景和静态物体作全局运动，动态目标与景物作相对运动。动态目标与背景存在的运动差异是动态目标区别于景物的显著特征之一。自然景物的相对运动接近于零，而动态目标的相对运动较大，可突出动态目标和抑制背景。
故此，本申请实施例中可采用以下步骤B1-步骤B3提取运动显著图：
步骤B1：采用金子塔多分辨率策略匹配当前帧图像和当前帧图像的下一帧图像的各显著区；
步骤B2：针对各显著区，提取该显著区的全局运动量和局部运动量，并计算该显著区的全局运动量与局部运动量的差值作为该显著区的相对运动量；
步骤B3：根据以下公式(8)确定各显著区的运动显著图；
其中：
Γmedian是Vrelative(s)的中间值；
其中，SalT(s)表示显著区s的运动显著图；Vrelative(s)表示显著区s的相对运动量。
步骤A2：获取预先确定的空间显著图的权值、以及预先确定的运动显著图的权值；其中，若空间显著图的运动特征高于预设运动特征，则运动显著图权值高于空间显著图的权值；若空间显著图的运动特征低于或等于预设运动特征，则运动显著图权值低于空间显著图的权值。
具体实施时，为了能够方便快速的确定空间显著图和运动显著图权值的大小，可以根据以下方法确定空间显著图的运动特征是否高于预设运动特征，包括步骤C1-步骤C4：
步骤C1：计算空间显著图中点的值确大于预设值的点的总数。
步骤C2：计算该总数与空间显著图中总点数的比值。
步骤C3：若该比值大于预设比值，则确定空间显著图的运动特征高于预设运动特征。
步骤C4：若该比值小于或等于预设比值，则确定空间显著图的运动特征低于或等于预设运动特征。
为了能够得到空间显著图和运动显著图的动态权值，以提高权值确定的合理性，本申请实施例中可以根据以下方法确定空间显著图的权值、以及运动显著图的权值，如公式(9)所示；
其中:VarT＝max(SalT(s))-median(SalT(s))；Const表示常量，由全局运动量确定，且随着全局运动量增加而增加；kT表示显著区s的运动显著图的权值；ks表示显著区s的空间显著图的权值。
步骤A3：采用加权求和的方式，计算空间显著图和运动显著图的加权和值作为时空显著图。
生成时空显著图后，步骤105可以执行为基于生成的时空显著图，检测运动目标，具体的可以采用二值化的方法检测运动目标，包括以下步骤D1-步骤D：
步骤D1：针对时空显著图中每一个点，确定该点的时空显著图的值是否大于或等于预设阈值。
步骤D2：若是，则确定该点的值为1；若否，则确定该点的值为0；
步骤D3：将确定值为1的点的集合确定为检测到的运动目标。
具体的，可采用公式(10)进行二值化：
其中，Td表示预设阈值，在二值化处理过程中合理的设置阈值将减少背景噪声的干扰以及背景抖动带来的影响。SM(x,y)表示(x,y)处的时空显著图的值。
综上所述，本申请实施例中用于生成显著图的特征包括了静态特征和动态特征，其中静态特征如灰度特征和方向特征，运动特征如光流特征和帧间差分特征。由于引入了运动特征，使得显著图中包含了更多的运动信息，故而生成的显著图更加合理，基于这样的显著图检测的运动目标更加准确。
此外，本申请实施例中，还融合了空间显著图和运动显著图得到时空显著图，进一步使得显著图的提取能够包含运动信息，使得运动目标的检测更加合理。
实施例二
基于相同的发明构思，本申请实施例还提供一种运动目标检测装置，该装置的原理和有益效果与上述方法实施例中所述的类似，在此不再赘述。
如图2所示，为该装置的结构示意图，包括：
特征提取模块201，用于提取当前帧图像的灰度特征、方向特征、光流特征和当前帧图像在指定图像集合中的帧间差分特征，其中，指定图像集合为包含当前帧图像的连续帧图像构成的图像集合；
特征权重获取模块202，用于获取灰度特征、方向特征、光流特征以及帧间差分特征各种对应的权值；
特征融合模块203，用于采用加权求和的方式，计算当前帧图像的灰度特征、方向特征、光流特征以及帧间差分特征的加权和值作为当前帧图像的融合特征；
显著图生成模块204，用于基于当前帧图像的融合特征，生成显著图；
检测模块205，用于基于生成的显著图，检测运动目标。
其中，在一个实施例中，显著图生成模块，具体包括：
显著图生成单元，用于基于当前帧图像的融合特征，生成当前帧图像的空间显著图以及运动显著图；
显著图权值获取单元，用于获取预先确定的空间显著图的权值、以及预先确定的运动显著图的权值；其中，若空间显著图的运动特征高于预设运动特征，则运动显著图权值高于空间显著图的权值；若空间显著图的运动特征低于或等于预设运动特征，则运动显著图权值低于空间显著图的权值；
显著图融合单元，用于采用加权求和的方式，计算空间显著图和运动显著图的加权和值作为时空显著图；
检测模块，具体用于基于生成的时空显著图，检测运动目标。
其中，在一个实施例中，显著图生成单元，具体用于基于当前帧图像的融合特征和预设迭代终止条件，根据以下迭代公式确定当前帧图像的空间显著图：
f‘(t)＝f(t)+f(t)*DOG-c
其中，f(t)表示上一次迭代的融合特征；f‘(t)表示本次迭代后的融合特征；r表示距离中心像素点的距离；*表示卷积，DOG是高斯差分函数；δex和δinh是兴奋和抑制带宽；
和
是兴奋和抑制常数；常数c为一个偏置。
其中，在一个实施例中，显著图生成单元，采用金子塔多分辨率策略匹配当前帧图像和当前帧图像的下一帧图像的各显著区；
针对各显著区，提取该显著区的全局运动量和局部运动量，并计算该显著区的全局运动量与局部运动量的差值作为该显著区的相对运动量；
根据以下公式确定各显著区的运动显著图；
其中：
Γmedian是Vrelative(s)的中间值；
其中，SalT(s)表示显著区s的运动显著图；Vrelative(s)表示显著区s的相对运动量。
其中，在一个实施例中，所述装置还包括：
显著图权值确定模块，用于根据以下公式确定空间显著图的权值、以及运动显著图的权值；
其中:VarT＝max(SalT(s))-median(SalT(s))；Const表示常量，由全局运动量确定，且随着全局运动量增加而增加；kT表示显著区s的运动显著图的权值；ks表示显著区s的空间显著图的权值。
其中，在一个实施例中，所述装置还包括：
运动特征显著性确定模块，用于根据以下方法确定空间显著图的运动特征是否高于预设运动特征；
计算空间显著图中点的值确大于预设值的点的总数；
计算该总数与空间显著图中总点数的比值；
若该比值大于预设比值，则确定空间显著图的运动特征高于预设运动特征；
若该比值小于或等于预设比值，则确定空间显著图的运动特征低于或等于预设运动特征。
其中，在一个实施例中，检测模块，具体用于针对时空显著图中每一个点，确定该点的时空显著图的值是否大于或等于预设阈值；
若是，则确定该点的值为1；若否，则确定该点的值为0；
将确定值为1的点的集合确定为检测到的运动目标。
实施例三
本申请实施例三还提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。如图3所示，该计算设备可以包括中央处理器(Center Processing Unit，CPU)301、存储器302、输入设备303，输出设备304等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode RayTube，CRT)等。
存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储运动目标检测方法的程序指令。
处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行：提取当前帧图像的灰度特征、方向特征、光流特征和当前帧图像在指定图像集合中的帧间差分特征，其中，指定图像集合为包含当前帧图像的连续帧图像构成的图像集合；
获取灰度特征、方向特征、光流特征以及帧间差分特征各种对应的权值；
采用加权求和的方式，计算当前帧图像的灰度特征、方向特征、光流特征以及帧间差分特征的加权和值作为当前帧图像的融合特征；
基于当前帧图像的融合特征，生成显著图；
基于生成的显著图，检测运动目标。
实施例四
本申请实施例四提供了一种计算机存储介质，用于储存为上述计算设备所用的计算机程序指令，其包含用于执行上述运动目标检测方法的程序。
所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种运动目标检测方法，其特征在于，所述方法包括：
提取当前帧图像的灰度特征、方向特征、光流特征和当前帧图像在指定图像集合中的帧间差分特征，其中，指定图像集合为包含当前帧图像的连续帧图像构成的图像集合，帧间差分特征是指对连续的两帧或多帧图像中对应的像素点的灰度值做差，以得出帧间差分特征；
获取灰度特征、方向特征、光流特征以及帧间差分特征各种对应的权值；
采用加权求和的方式，计算当前帧图像的灰度特征、方向特征、光流特征以及帧间差分特征的加权和值作为当前帧图像的融合特征；
基于当前帧图像的融合特征，生成显著图；
基于生成的显著图，检测运动目标。
2.根据权利要求1所述的方法，其特征在于，基于当前帧图像的融合特征，生成显著图，具体包括：
基于当前帧图像的融合特征，生成当前帧图像的空间显著图以及运动显著图；
获取预先确定的空间显著图的权值、以及预先确定的运动显著图的权值；其中，若空间显著图的运动特征高于预设运动特征，则运动显著图权值高于空间显著图的权值；若空间显著图的运动特征低于或等于预设运动特征，则运动显著图权值低于空间显著图的权值；
采用加权求和的方式，计算空间显著图和运动显著图的加权和值作为时空显著图；
基于生成的显著图，检测运动目标，具体包括：
基于生成的时空显著图，检测运动目标。
3.根据权利要求2所述的方法，其特征在于，基于当前帧图像的融合特征，生成当前帧图像的空间显著图，具体包括：
基于当前帧图像的融合特征和预设迭代终止条件，根据以下迭代公式确定当前帧图像的空间显著图：
f‘(t)＝f(t)+f(t)*DOG-c
其中，f(t)表示上一次迭代的融合特征；f‘(t)表示本次迭代后的融合特征；r表示距离中心像素点的距离；*表示卷积，DOG是高斯差分函数；
和
是兴奋和抑制带宽；
和
是兴奋和抑制常数；常数c为一个偏置。
4.根据权利要求2所述的方法，其特征在于，基于当前帧图像的融合特征，生成运动显著图，具体包括：
采用金子塔多分辨率策略匹配当前帧图像和当前帧图像的下一帧图像的各显著区；
针对各显著区，提取该显著区的全局运动量和局部运动量，并计算该显著区的全局运动量与局部运动量的差值作为该显著区的相对运动量；
根据以下公式确定各显著区的运动显著图；
其中：
Γmedian是Vrelative(s)的中间值；
其中，SalT(s)表示显著区s的运动显著图；Vrelative(s)表示显著区s的相对运动量。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据以下公式确定空间显著图的权值、以及运动显著图的权值；
其中:VarT＝max(SalT(s))-median(SalT(s))；Const表示常量，由全局运动量确定，且随着全局运动量增加而增加；kT表示显著区s的运动显著图的权值；ks表示显著区s的空间显著图的权值。
6.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据以下方法确定空间显著图的运动特征是否高于预设运动特征；
计算空间显著图中点的值大于预设值的点的总数；
计算该总数与空间显著图中总点数的比值；
若该比值大于预设比值，则确定空间显著图的运动特征高于预设运动特征；
若该比值小于或等于预设比值，则确定空间显著图的运动特征低于或等于预设运动特征。
7.根据权利要求2所述的方法，其特征在于，基于生成的时空显著图，检测运动目标，具体包括：
针对时空显著图中每一个点，确定该点的时空显著图的值是否大于或等于预设阈值；
若是，则确定该点的值为1；若否，则确定该点的值为0；
将确定值为1的点的集合确定为检测到的运动目标。
8.一种运动目标检测装置，其特征在于，所述装置包括：
特征提取模块，用于提取当前帧图像的灰度特征、方向特征、光流特征和当前帧图像在指定图像集合中的帧间差分特征，其中，指定图像集合为包含当前帧图像的连续帧图像构成的图像集合，帧间差分特征是指对连续的两帧或多帧图像中对应的像素点的灰度值做差，以得出帧间差分特征；
特征权重获取模块，用于获取灰度特征、方向特征、光流特征以及帧间差分特征各种对应的权值；
特征融合模块，用于采用加权求和的方式，计算当前帧图像的灰度特征、方向特征、光流特征以及帧间差分特征的加权和值作为当前帧图像的融合特征；
显著图生成模块，用于基于当前帧图像的融合特征，生成显著图；
检测模块，用于基于生成的显著图，检测运动目标。
9.一种计算设备，其特征在于，包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如权利要求1～7任一所述的运动目标检测方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行如权利要求1～7任一所述的运动目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710789917.8A CN107507225B (zh) | 2017-09-05 | 2017-09-05 | 运动目标检测方法、装置、介质及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710789917.8A CN107507225B (zh) | 2017-09-05 | 2017-09-05 | 运动目标检测方法、装置、介质及计算设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107507225A CN107507225A (zh) | 2017-12-22 |
| CN107507225B true CN107507225B (zh) | 2020-10-27 |
Family
ID=60695495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710789917.8A Active CN107507225B (zh) | 2017-09-05 | 2017-09-05 | 运动目标检测方法、装置、介质及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107507225B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063630B (zh) * | 2018-07-27 | 2022-04-26 | 以萨技术股份有限公司 | 一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法 |
| CN109271854B (zh) * | 2018-08-07 | 2021-02-02 | 北京市商汤科技开发有限公司 | 基于视频处理方法及装置、视频设备及存储介质 |
| CN110162664B (zh) * | 2018-12-17 | 2021-05-25 | 腾讯科技（深圳）有限公司 | 视频推荐方法、装置、计算机设备及存储介质 |
| CN111382629B (zh) * | 2018-12-28 | 2021-03-05 | 中国科学院半导体研究所 | 基于卷积神经网络的足迹识别及信息挖掘方法及系统 |
| CN109886130B (zh) * | 2019-01-24 | 2021-05-28 | 上海媒智科技有限公司 | 目标对象的确定方法、装置、存储介质和处理器 |
| CN110751068B (zh) * | 2019-10-08 | 2022-08-23 | 浙江大学 | 基于自适应时空融合的远距离弱小目标视觉检测方法 |
| WO2021168755A1 (zh) * | 2020-02-27 | 2021-09-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置及设备 |
| CN112598695B (zh) * | 2020-12-22 | 2022-09-30 | 中船重工(武汉)凌久高科有限公司 | 基于光流和动量法的化工运动目标监控方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101022505A (zh) * | 2007-03-23 | 2007-08-22 | 中国科学院光电技术研究所 | 复杂背景下运动目标自动检测方法和装置 |
| CN101141633A (zh) * | 2007-08-28 | 2008-03-12 | 湖南大学 | 一种复杂场景中的运动目标检测与跟踪方法 |
| CN101286237A (zh) * | 2008-05-22 | 2008-10-15 | 重庆大学 | 基于视觉仿生的运动目标检测方法 |
| CN101520892A (zh) * | 2009-03-17 | 2009-09-02 | 西北工业大学 | 可见光图像中弱小目标的检测方法 |
| CN103020992A (zh) * | 2012-11-12 | 2013-04-03 | 华中科技大学 | 一种基于运动颜色关联的视频图像显著性检测方法 |
| CN103065326A (zh) * | 2012-12-26 | 2013-04-24 | 西安理工大学 | 基于时-空多尺度运动注意力分析的目标检测方法 |
| CN103325258A (zh) * | 2013-06-24 | 2013-09-25 | 武汉烽火众智数字技术有限责任公司 | 基于视频处理的闯红灯检测装置及其方法 |
| CN103514608A (zh) * | 2013-06-24 | 2014-01-15 | 西安理工大学 | 基于运动注意力融合模型的运动目标检测与提取方法 |
| CN104835175A (zh) * | 2015-05-26 | 2015-08-12 | 西南科技大学 | 一种基于视觉注意机制的核环境中目标检测方法 |
| CN105427292A (zh) * | 2015-11-11 | 2016-03-23 | 南京邮电大学 | 一种基于视频的显著目标检测方法 |
| CN105488812A (zh) * | 2015-11-24 | 2016-04-13 | 江南大学 | 一种融合运动特征的时空显著性检测方法 |
| CN105631898A (zh) * | 2015-12-28 | 2016-06-01 | 西北工业大学 | 基于空时显著性融合的红外运动目标检测方法 |
| CN105825238A (zh) * | 2016-03-30 | 2016-08-03 | 江苏大学 | 一种视觉显著性目标的检测方法 |
| CN106951870A (zh) * | 2017-02-15 | 2017-07-14 | 重庆警察学院 | 主动视觉注意的监控视频显著事件智能检测预警方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200490A (zh) * | 2014-08-14 | 2014-12-10 | 华南理工大学 | 一种复杂环境下的快速逆行检测跟踪监控方法 |
-
2017
- 2017-09-05 CN CN201710789917.8A patent/CN107507225B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101022505A (zh) * | 2007-03-23 | 2007-08-22 | 中国科学院光电技术研究所 | 复杂背景下运动目标自动检测方法和装置 |
| CN101141633A (zh) * | 2007-08-28 | 2008-03-12 | 湖南大学 | 一种复杂场景中的运动目标检测与跟踪方法 |
| CN101286237A (zh) * | 2008-05-22 | 2008-10-15 | 重庆大学 | 基于视觉仿生的运动目标检测方法 |
| CN101520892A (zh) * | 2009-03-17 | 2009-09-02 | 西北工业大学 | 可见光图像中弱小目标的检测方法 |
| CN103020992A (zh) * | 2012-11-12 | 2013-04-03 | 华中科技大学 | 一种基于运动颜色关联的视频图像显著性检测方法 |
| CN103065326A (zh) * | 2012-12-26 | 2013-04-24 | 西安理工大学 | 基于时-空多尺度运动注意力分析的目标检测方法 |
| CN103325258A (zh) * | 2013-06-24 | 2013-09-25 | 武汉烽火众智数字技术有限责任公司 | 基于视频处理的闯红灯检测装置及其方法 |
| CN103514608A (zh) * | 2013-06-24 | 2014-01-15 | 西安理工大学 | 基于运动注意力融合模型的运动目标检测与提取方法 |
| CN104835175A (zh) * | 2015-05-26 | 2015-08-12 | 西南科技大学 | 一种基于视觉注意机制的核环境中目标检测方法 |
| CN105427292A (zh) * | 2015-11-11 | 2016-03-23 | 南京邮电大学 | 一种基于视频的显著目标检测方法 |
| CN105488812A (zh) * | 2015-11-24 | 2016-04-13 | 江南大学 | 一种融合运动特征的时空显著性检测方法 |
| CN105631898A (zh) * | 2015-12-28 | 2016-06-01 | 西北工业大学 | 基于空时显著性融合的红外运动目标检测方法 |
| CN105825238A (zh) * | 2016-03-30 | 2016-08-03 | 江苏大学 | 一种视觉显著性目标的检测方法 |
| CN106951870A (zh) * | 2017-02-15 | 2017-07-14 | 重庆警察学院 | 主动视觉注意的监控视频显著事件智能检测预警方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于空时显著性感知的运动目标检测方法》;李正周等;《计算机应用研究》;20100630;第27卷(第6期);第2391页右栏第3段，第2392页右栏第2段、第5-6段、第8段，第2393页左栏第7段 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107507225A (zh) | 2017-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107507225B (zh) | 运动目标检测方法、装置、介质及计算设备 | |
| Liu et al. | Object motion detection using information theoretic spatio-temporal saliency | |
| US10229504B2 (en) | Method and apparatus for motion estimation | |
| CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| US20120328161A1 (en) | Method and multi-scale attention system for spatiotemporal change determination and object detection | |
| US10614736B2 (en) | Foreground and background detection method | |
| CN111091123A (zh) | 文本区域检测方法及设备 | |
| US9367920B2 (en) | Method and apparatus for processing images | |
| US10062195B2 (en) | Method and device for processing a picture | |
| Kim et al. | Rear obstacle detection system with fisheye stereo camera using HCT | |
| US8442327B2 (en) | Application of classifiers to sub-sampled integral images for detecting faces in images | |
| CN112947419B (zh) | 避障方法、装置及设备 | |
| CN111612822B (zh) | 对象跟踪方法、装置、计算机设备和存储介质 | |
| CN113822352B (zh) | 基于多特征融合的红外弱小目标检测方法 | |
| CN111310759B (zh) | 双模式协作的目标检测抑制优化方法及设备 | |
| CN103460705A (zh) | 利用立体对应性的实时深度提取 | |
| KR20210074163A (ko) | 공동 검출 및 기술 시스템 및 방법 | |
| CN111160140A (zh) | 一种图像检测方法及装置 | |
| CN114937050A (zh) | 绿幕抠图方法、装置及电子设备 | |
| CN106875396B (zh) | 基于运动特性的视频显著区的提取方法和装置 | |
| CN113689373B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| US20190251695A1 (en) | Foreground and background detection method | |
| CN116310832A (zh) | 遥感图像处理方法、装置、设备、介质及产品 | |
| CN109949337A (zh) | 基于高斯混合背景模型的运动目标检测方法及装置 | |
| US20220058452A1 (en) | Spatiotemporal recycling network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Moving object detection methods, devices, media, and computing equipment Granted publication date: 20201027 Pledgee: Xiamen Huli Sub branch of Agricultural Bank of China Co.,Ltd. Pledgor: MINGJIAN (XIAMEN) TECHNOLOGY CO.,LTD. Registration number: Y2024980009494 |