CN109697725A - 一种背景过滤方法、装置及计算机可读存储介质 - Google Patents

一种背景过滤方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN109697725A
CN109697725A CN201811464365.4A CN201811464365A CN109697725A CN 109697725 A CN109697725 A CN 109697725A CN 201811464365 A CN201811464365 A CN 201811464365A CN 109697725 A CN109697725 A CN 109697725A
Authority
CN
China
Prior art keywords
frame
image
background
target
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811464365.4A
Other languages
English (en)
Other versions
CN109697725B (zh
Inventor
李乾坤
郭晴
卢维
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201811464365.4A priority Critical patent/CN109697725B/zh
Publication of CN109697725A publication Critical patent/CN109697725A/zh
Priority to EP19894330.0A priority patent/EP3867873A4/en
Priority to PCT/CN2019/099748 priority patent/WO2020113989A1/en
Application granted granted Critical
Publication of CN109697725B publication Critical patent/CN109697725B/zh
Priority to US17/336,348 priority patent/US20210295529A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种背景过滤方法、装置及计算机可读存储介质，用于解决现有技术中背景过滤方法存在准确性差的技术问题。方法包括：对获得的场景图像进行目标检测，判断所述场景图像是否包含有待检测目标；若为是，则使用背景图对所述场景图像进行背景过滤，并对无目标帧数值X置0；其中，所述无目标帧数值X为累计的不包含有所述待检测目标的场景图像的帧数；否则，使无目标帧数值X加1；在确定X超过预设值Y时，将不包含所述待检测目标的Y帧场景图像中的一帧图像作为下一次进行背景过滤时使用的背景图。

Description

一种背景过滤方法、装置及计算机可读存储介质
技术领域
本发明涉及图像处理领域，特别涉及一种背景过滤方法、装置及计算机可读存储介质。
背景技术
在目标检测中，需要将待检测的目标从场景图像中提取出来，而背景过滤是一种常用的提取目标的方法。背景过滤是指利用已有的视频或者图像序列，得到一个背景模型，使用该背景模型与当前帧进行某些操作如差分即可得到运动的目标，从而将目标从视频或图像序列中的背景图像中分割提取出来。
在现有技术中，在更新背景过滤所使用的背景模型时，均未考虑到目标在场景中可能长时间逗留的情景，从而使得长时间静止的目标也被当作背景，导致无法将目标从视频或图像序列中的背景图像中准确完整地分割提取出来。可见，现有技术中背景过滤方法存在准确性差的技术问题。
发明内容
本发明实施例提供一种背景过滤方法、装置及计算机可读存储介质，用于解决现有技术中背景过滤方法存在准确性差的技术问题。
第一方面，本发明实施例提供一种背景过滤方法，包括：
对获得的场景图像进行目标检测，判断所述场景图像是否包含有待检测目标；
若为是，则使用背景图对所述场景图像进行背景过滤，并对无目标帧数值X置0；其中，所述无目标帧数值X为累计的不包含有所述待检测目标的场景图像的帧数；
否则，使无目标帧数值X加1；在确定X超过预设值Y时，将不包含所述待检测目标的Y帧场景图像中的一帧图像作为下一次进行背景过滤时使用的背景图。
在上述方案中，当检测到场景图像不包含有待检测目标时，并不是直接基于该场景图像对背景图进行更新，而是对不包含有检测目标的场景图像的帧数进行累计，只有在无目标帧数值X超过预设值Y，即至少连续Y帧场景图像都不包含有待检测目标时，才使用该Y帧场景图像中的一帧图像进行背景更新，作为下一次进行背景过滤时使用的背景图。本方案进行背景更新时考虑到了目标在场景中可能长时间逗留的情景，解决了较长时间逗留的真实目标被当做背景过滤掉的问题，提高了背景过滤的准确性。
可选的，所述Y＝2N，N为正整数；
将不包含所述待检测目标的Y帧场景图像中的一帧图像作为下一次进行背景过滤时使用的背景图，具体为：
将不包含所述待检测目标的2N帧场景图像中的第N帧图像作为下一次进行背景过滤时使用的背景图。
本实施方式将不包含所述待检测目标的2N帧场景图像中的第N帧图像作为下一次进行背景过滤时使用的背景图，即使用前后帧都没有目标的中间帧进行背景更新，从而使得长时间静止的目标不会被当作背景而过滤掉，更好地保证了背景更新的准确性，避免真实目标被过滤的问题。
可选的，所述背景图包括彩色图和深度图；
所述使用背景图对所述场景图像进行背景过滤，包括：
结合所述彩色图和所述深度图对所述场景图像进行背景过滤。
本实施方式结合所述彩色图和所述深度图对所述场景图像进行背景过滤，提高了背景过滤的准确性。
可选的，结合所述彩色图和所述深度图对所述场景图像进行背景过滤，包括：
判断所述场景图像中任一目标框内深度值有效的像素的占比是否超过第一阈值；
若为是，则在深度图上计算所述任一目标框内像素的深度值均值d，以及在彩色图上计算表征所述任一目标框内图像纹理丰富程度的特征值T；判断所述d是否小于第二阈值以及所述T是否大于第三阈值；在确定所述d小于所述第二阈值且所述T大于所述第三阈值时，使用所述深度图对所述任一目标框内的图像进行背景过滤，否则使用所述彩色图对所述任一目标框内的图像进行背景过滤；
若为否，使用所述彩色图对所述任一目标框内的图像进行背景过滤。
本实施方式，在场景图像中任一目标框内深度值有效的像素的占比不超过第一阈值时，采用彩色图进行背景建模，避免了现有技术中采用固定权值结合无效的深度值和像素值得到异常值导致背景建模失败的问题；在场景图像中任一目标框内深度值有效的像素的占比超过第一阈值时，进一步对该任一目标框内像素的深度值均值和图像纹理丰富程度进行判断，在目标距离比较近且纹理丰富时使用深度图进行背景建模，而在距离较远或无纹理区域(即表示深度信息不可靠时)，用彩色图进行背景建模，进而可排除目标的倒影或者目标颜色和背景颜色接近导致的目标误检，提高了背景过滤的准确性。
可选的，在彩色图上计算表征所述任一目标框内图像纹理丰富程度的特征值T，包括：
在彩色图像上通过sobel算子提取所述任一目标框内各个像素的灰度梯度值；
统计所述任一目标框内灰度梯度值超过第四阈值的像素的占比，将所述任一目标框内灰度梯度值超过第四阈值的像素的占比作为表征所述任一目标框内图像纹理丰富程度的特征值T。
本实施方式使用任一目标框内灰度梯度值超过第四阈值的像素的占比表征该任一目标框内图像纹理丰富程度，提高了背景过滤方法的可靠性。
第二方面，本发明实施例提供一种背景过滤装置，包括：
检测单元，用于对获得的场景图像进行目标检测，判断所述场景图像是否包含有待检测目标；
处理单元，用于在所述场景图像包含有待检测目标时，使用背景图对所述场景图像进行背景过滤，并对无目标帧数值X置0；在所述场景图像不包含有待检测目标时，使无目标帧数值X加1，并在确定X超过预设值Y时，将不包含所述待检测目标的Y帧场景图像中的一帧图像作为下一次进行背景过滤时使用的背景图；其中，所述无目标帧数值X为累计的不包含有所述待检测目标的场景图像的帧数。
可选的，所述Y＝2N，N为正整数；
所述处理单元具体用于：将不包含所述待检测目标的2N帧场景图像中的第N帧图像作为下一次进行背景过滤时使用的背景图。
可选的，所述背景图包括彩色图和深度图；
所述处理单元具体用于：结合所述彩色图和所述深度图对所述场景图像进行背景过滤。
可选的，所述处理单元具体用于：
判断所述场景图像中任一目标框内深度值有效的像素的占比是否超过第一阈值；
若为是，则在深度图上计算所述任一目标框内像素的深度值均值d，以及在彩色图上计算表征所述任一目标框内图像纹理丰富程度的特征值T；判断所述d是否小于第二阈值以及所述T是否大于第三阈值；在确定所述d小于所述第二阈值且所述T大于所述第三阈值时，使用所述深度图对所述任一目标框内的图像进行背景过滤，否则使用所述彩色图对所述任一目标框内的图像进行背景过滤；
若为否，使用所述彩色图对所述任一目标框内的图像进行背景过滤。
可选的，所述处理单元具体用于：
在彩色图像上通过sobel算子提取所述任一目标框内各个像素的灰度梯度值；
统计所述任一目标框内灰度梯度值超过第四阈值的像素的占比，将所述任一目标框内灰度梯度值超过第四阈值的像素的占比作为表征所述任一目标框内图像纹理丰富程度的特征值T。
第三方面，本发明实施例提供一种背景过滤装置，包括：
至少一个处理器，以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令执行本发明实施例第一方面或者第一方面的任一种可选的实施方式所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行本发明实施例第一方面或者第一方面的任一种可选的实施方式所述的方法。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本发明实施例在检测到场景图像不包含有待检测目标时，并不是直接基于该场景图像对背景图进行更新，而是对不包含有检测目标的场景图像的帧数进行累计，只有在无目标帧数值X超过预设值Y，即至少连续Y帧场景图像都不包含有待检测目标时，才使用该Y帧场景图像中的一帧图像进行背景更新，作为下一次进行背景过滤时使用的背景图。本发明实施例进行背景更新时考虑到了目标在场景中可能长时间逗留的情景，解决了较长时间逗留的真实目标被当做背景过滤掉的问题，提高了背景过滤的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中背景过滤方法的流程示意图；
图2为本发明实施例中背景过滤方法的流程示意图；
图3为本发明实施例中背景过滤装置的结构示意图；
图4为本发明实施例中背景过滤装置的结构示意图。
具体实施方式
下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。在本发明实施例的描述中“多个”，是指两个或两个以上。
本发明实施例中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
目前，现有技术中背景过滤方法存在准确性差的技术问题，其主要有以下两方面的原因：
第一方面，现有技术在更新背景过滤所使用的背景模型时，未考虑到目标在场景中可能长时间逗留的情景，从而使得长时间静止的目标也被当作背景，导致无法将目标从视频或图像序列中的背景图像中准确完整地分割提取出来；
第二方面，现有技术一般采用固定权值的方式结合像素值和深度值进行背景建模，而在实际应用中，双目相机获取的深度图并不一定是稠密的，可能存在一些像素的深度值无效的情形，如果采用固定权值结合无效的深度值和像素值，会得到异常值，导致背景建模失败；并且，对于目标存在倒影的情形，如果采用固定权值的方式结合无效的深度值和像素值也会导致背景建模失败，因为影子按照常理应该是背景，而这种处理方法会使得影子被误识别为目标。
为了解决现有技术中背景过滤方法确性差的技术问题，本发明实施例提供一种背景过滤方法、装置及计算机可读存储介质。参照图1，该方法包括：
S101：对获得的场景图像进行目标检测，判断所述场景图像是否包含有待检测目标；若为是，则执行步骤S102；否则执行步骤S103；
在步骤S101中，对于不同的目标可能采用的检测方法可以不同，本发明实施例不做具体限制。
S102：使用背景图对所述场景图像进行背景过滤，并对无目标帧数值X置0；其中，所述无目标帧数值X为累计的不包含有所述待检测目标的场景图像的帧数；
在步骤S102中，本发明实施例使用背景图对场景图像进行背景过滤的方法与利用深度图或彩色图进行过滤的原理类似，即：用待处理的当前帧场景图像减去背景帧图像，得到帧差图；判断该当前帧场景图上任一目标框内每个像素帧差是否大于阈值，比如彩色图上每个通道的帧差阈值可以设置为25个灰阶，深度图帧差阈值可设置为30cm，这两个阈值可根据不同场景做调整，本发明实施例不做具体限制；确定帧差大于给定的帧差阈值的像素属于前景，否则为背景；最后判断属于前景的像素占比是否超过预设值，超过则确定该任一目标框内的图像属于前景图像(确定为目标)，否则属于背景图像，将其过滤。
其中，一个所述目标框具体是指对场景图像进行背景过滤处理的一个单位识别区域，在具体实施过程中一帧场景图像上可以同时包括多个目标框，并且可以对不同目标框内的图像执行同步背景过滤处理。
S103：使无目标帧数值X加1；在确定X超过预设值Y时，将不包含所述待检测目标的Y帧场景图像中的一帧图像作为下一次进行背景过滤时使用的背景图。
在执行步骤S103的过程中，当判断出正在处理的当前帧场景图像不包含待检测目标时，可以先将该当前帧图像进行存储，使得在确定X超过预设值Y时，将不包含所述待检测目标的Y帧场景图像中的一帧图像作为下一次进行背景过滤时使用的背景图。
在上述方案中，当检测到场景图像不包含有待检测目标时，并不是直接基于该场景图像对背景图进行更新，而是对不包含有检测目标的场景图像的帧数进行累计，只有在无目标帧数值X超过预设值Y，即至少连续Y帧场景图像都不包含有待检测目标时，才使用该Y帧场景图像中的一帧图像进行背景更新，作为下一次进行背景过滤时使用的背景图。本方案进行背景更新时考虑到了目标在场景中可能长时间逗留的情景，解决了较长时间逗留的真实目标被当做背景过滤掉的问题，提高了背景过滤的准确性。
可选的，所述预设值Y＝2N，N为正整数；所述将不包含所述待检测目标的Y帧场景图像中的一帧图像作为下一次进行背景过滤时使用的背景图，具体为：将不包含所述待检测目标的2N帧场景图像中的第N帧图像作为下一次进行背景过滤时使用的背景图。
本实施方式将不包含所述待检测目标的2N帧场景图像中的第N帧图像作为下一次进行背景过滤时使用的背景图，即使用前后帧都没有目标的中间帧进行背景更新，从而使得长时间静止的目标不会被当作背景而过滤掉，更好地保证了背景更新的准确性，避免真实目标被过滤的问题。
可选的，所述背景图包括彩色图和深度图；所述使用背景图对所述场景图像进行背景过滤，包括：结合所述彩色图和所述深度图对所述场景图像进行背景过滤。
参照图2，结合所述彩色图和所述深度图对所述场景图像进行背景过滤具体实施方式包括：
S201：判断所述场景图像中任一目标框内深度值有效的像素的占比是否超过第一阈值，若为是，转至步骤S202，否则转至步骤S206；
其中，任一目标框内深度值有效的像素的占比是指该任一目标框内深度值有效的像素的数量与该任一目标框内总像素数量的比值。
S202：在深度图上计算所述任一目标框内像素的深度值均值d，以及在彩色图上计算表征所述任一目标框内图像纹理丰富程度的特征值T；
在本发明实施例中，所述任一目标框内像素的深度值均值d的具体计算方法为将该任一目标框内所有像素的深度值的总和除以该任一目标框内深度值有效的像素的数量。
在本发明实施例中，图像纹理指图像像素点的灰度差异，纹理越丰富则图像像素之间的灰度值差异越大，而图像的灰度梯度可以反映像素之间灰度值差异大小，因此可以用图像梯度来表示图像纹理丰富程度。因此，特征值T的具体计算方法可以为：在彩色图像上通过sobel算子提取该任一目标框内各个像素的灰度梯度值；统计该任一目标框内灰度梯度值超过第四阈值的像素的占比，将该任一目标框内灰度梯度值超过第四阈值的像素的占比作为表征该任一目标框内图像纹理丰富程度的特征值T。T越大，任一目标框内的图像纹理越丰富，表示该任一目标框内的深度信息越可靠，因为深度信息是通过立体匹配算法获取，纹理越丰富，匹配越准确，深度也越准。
S203：判断所述d是否小于第二阈值，若为是，转至步骤S204，否则转至步骤S206；
S204：判断所述T是否大于第三阈值，若为是，转至步骤S205，否则转至步骤S206；
在具体实施过程中，可以先执行步骤S203后执行步骤S204，也可以先执行步骤S204后执行步骤S203，还可以同时执行步骤S203和步骤S204，本发明实施例不做具体限制。
S205：使用所述深度图对所述任一目标框内的图像进行背景过滤；
S206：使用所述彩色图对所述任一目标框内的图像进行背景过滤。
本实施方式，在场景图像中任一目标框内深度值有效的像素的占比不超过第一阈值时，采用彩色图进行背景建模，避免了现有技术中采用固定权值结合无效的深度值和像素值得到异常值导致背景建模失败的问题；在场景图像中任一目标框内深度值有效的像素的占比超过第一阈值时，进一步对该任一目标框内像素的深度值均值和图像纹理丰富程度进行判断，在目标距离比较近且纹理丰富时使用深度图进行背景建模，而在距离较远或无纹理区域(即表示深度信息不可靠时)，用彩色图进行背景建模，进而可排除目标的倒影或者目标颜色和背景颜色接近导致的目标误检，提高了背景过滤的准确性。
参照图3，基于同一发明构思，本发明实施例还提供一种背景过滤装置，包括：
检测单元301，用于对获得的场景图像进行目标检测，判断所述场景图像是否包含有待检测目标；
处理单元302，用于在所述场景图像包含有待检测目标时，使用背景图对所述场景图像进行背景过滤，并对无目标帧数值X置0；在所述场景图像不包含有待检测目标时，使无目标帧数值X加1，并在确定X超过预设值Y时，将不包含所述待检测目标的Y帧场景图像中的一帧图像作为下一次进行背景过滤时使用的背景图；其中，所述无目标帧数值X为累计的不包含有所述待检测目标的场景图像的帧数。
可选的，所述Y＝2N，N为正整数；
所述处理单元302具体用于：将不包含所述待检测目标的2N帧场景图像中的第N帧图像作为下一次进行背景过滤时使用的背景图。
可选的，所述背景图包括彩色图和深度图；
所述处理单元302具体用于：结合所述彩色图和所述深度图对所述场景图像进行背景过滤。
可选的，所述处理单元302具体用于：
判断所述场景图像中任一目标框内深度值有效的像素的占比是否超过第一阈值；
若为是，则在深度图上计算所述任一目标框内像素的深度值均值d，以及在彩色图上计算表征所述任一目标框内图像纹理丰富程度的特征值T；判断所述d是否小于第二阈值以及所述T是否大于第三阈值；在确定所述d小于所述第二阈值且所述T大于所述第三阈值时，使用所述深度图对所述任一目标框内的图像进行背景过滤，否则使用所述彩色图对所述任一目标框内的图像进行背景过滤；
若为否，使用所述彩色图对所述任一目标框内的图像进行背景过滤。
可选的，所述处理单元302具体用于：
在彩色图像上通过sobel算子提取所述任一目标框内各个像素的灰度梯度值；
统计所述任一目标框内灰度梯度值超过第四阈值的像素的占比，将所述任一目标框内灰度梯度值超过第四阈值的像素的占比作为表征所述任一目标框内图像纹理丰富程度的特征值T。
本发明所述方法和装置基于同一发明构思，由于方法及装置解决问题的原理相似，以上各单元所执行操作的具体实现方式可以参照本发明实施例上述背景过滤方法中对应的步骤，因此装置与方法的实施可以相互参见，重复之处不再赘述。
请参见图4，基于同一发明构思，本发明实施例提供了一种背景过滤装置，包括：
至少一个处理器401，以及与所述至少一个处理器连接的存储器402；
其中，所述存储器402存储有可被所述至少一个处理器401执行的指令，所述至少一个处理器401通过执行所述存储器402存储的指令，执行如上述方法实施例中所述的背景过滤方法的步骤。
可选的，处理器401具体可以包括中央处理器(central processing unit，CPU)、特定应用集成电路(application specific integrated circuit，ASIC)，可以是一个或多个用于控制程序执行的集成电路，可以是使用现场可编程门阵列(field programmablegate array，FPGA)开发的硬件电路，可以是基带处理器。
可选的，处理器401可以包括至少一个处理核心。
可选的，该装置还包括存储器402，存储器402可以包括只读存储器(read onlymemory，ROM)、随机存取存储器(random access memory，RAM)和磁盘存储器。存储器402用于存储处理器401运行时所需的数据。
基于同一发明构思，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如上述方法实施例中所述的背景过滤方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种背景过滤方法，其特征在于，包括：
对获得的场景图像进行目标检测，判断所述场景图像是否包含有待检测目标；
若为是，则使用背景图对所述场景图像进行背景过滤，并对无目标帧数值X置0；其中，所述无目标帧数值X为累计的不包含有所述待检测目标的场景图像的帧数；
否则，使无目标帧数值X加1；在确定X超过预设值Y时，将不包含所述待检测目标的Y帧场景图像中的一帧图像作为下一次进行背景过滤时使用的背景图。
2.如权利要求1所述的方法，其特征在于，所述Y＝2N，N为正整数；
将不包含所述待检测目标的Y帧场景图像中的一帧图像作为下一次进行背景过滤时使用的背景图，具体为：
将不包含所述待检测目标的2N帧场景图像中的第N帧图像作为下一次进行背景过滤时使用的背景图。
3.如权利要求1或2所述的方法，其特征在于，所述背景图包括彩色图和深度图；
所述使用背景图对所述场景图像进行背景过滤，包括：
结合所述彩色图和所述深度图对所述场景图像进行背景过滤。
4.如权利要求3所述的方法，其特征在于，结合所述彩色图和所述深度图对所述场景图像进行背景过滤，包括：
判断所述场景图像中任一目标框内深度值有效的像素的占比是否超过第一阈值；
若为是，则在深度图上计算所述任一目标框内像素的深度值均值d，以及在彩色图上计算表征所述任一目标框内图像纹理丰富程度的特征值T；判断所述d是否小于第二阈值以及所述T是否大于第三阈值；在确定所述d小于所述第二阈值且所述T大于所述第三阈值时，使用所述深度图对所述任一目标框内的图像进行背景过滤，否则使用所述彩色图对所述任一目标框内的图像进行背景过滤；
若为否，使用所述彩色图对所述任一目标框内的图像进行背景过滤。
5.如权利要求4所述的方法，其特征在于，在彩色图上计算表征所述任一目标框内图像纹理丰富程度的特征值T，包括：
在彩色图像上通过sobel算子提取所述任一目标框内各个像素的灰度梯度值；
统计所述任一目标框内灰度梯度值超过第四阈值的像素的占比，将所述任一目标框内灰度梯度值超过第四阈值的像素的占比作为表征所述任一目标框内图像纹理丰富程度的特征值T。
6.一种背景过滤装置，其特征在于，包括：
检测单元，用于对获得的场景图像进行目标检测，判断所述场景图像是否包含有待检测目标；
处理单元，用于在所述场景图像包含有待检测目标时，使用背景图对所述场景图像进行背景过滤，并对无目标帧数值X置0；在所述场景图像不包含有待检测目标时，使无目标帧数值X加1，并在确定X超过预设值Y时，将不包含所述待检测目标的Y帧场景图像中的一帧图像作为下一次进行背景过滤时使用的背景图；其中，所述无目标帧数值X为累计的不包含有所述待检测目标的场景图像的帧数。
7.如权利要求6所述的装置，其特征在于，所述Y＝2N，N为正整数；
所述处理单元具体用于：将不包含所述待检测目标的2N帧场景图像中的第N帧图像作为下一次进行背景过滤时使用的背景图。
8.如权利要求6或7所述的装置，其特征在于，所述背景图包括彩色图和深度图；
所述处理单元具体用于：结合所述彩色图和所述深度图对所述场景图像进行背景过滤。
9.如权利要求8所述的装置，其特征在于，所述处理单元具体用于：
判断所述场景图像中任一目标框内深度值有效的像素的占比是否超过第一阈值；
若为是，则在深度图上计算所述任一目标框内像素的深度值均值d，以及在彩色图上计算表征所述任一目标框内图像纹理丰富程度的特征值T；判断所述d是否小于第二阈值以及所述T是否大于第三阈值；在确定所述d小于所述第二阈值且所述T大于所述第三阈值时，使用所述深度图对所述任一目标框内的图像进行背景过滤，否则使用所述彩色图对所述任一目标框内的图像进行背景过滤；
若为否，使用所述彩色图对所述任一目标框内的图像进行背景过滤。
10.如权利要求9所述的装置，其特征在于，所述处理单元具体用于：
在彩色图像上通过sobel算子提取所述任一目标框内各个像素的灰度梯度值；
统计所述任一目标框内灰度梯度值超过第四阈值的像素的占比，将所述任一目标框内灰度梯度值超过第四阈值的像素的占比作为表征所述任一目标框内图像纹理丰富程度的特征值T。
11.一种背景过滤装置，其特征在于，包括：
至少一个处理器，以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令执行权利要求1-5中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行权利要求1-5中任一项所述的方法。
CN201811464365.4A 2018-12-03 2018-12-03 一种背景过滤方法、装置及计算机可读存储介质 Active CN109697725B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811464365.4A CN109697725B (zh) 2018-12-03 2018-12-03 一种背景过滤方法、装置及计算机可读存储介质
EP19894330.0A EP3867873A4 (en) 2018-12-03 2019-08-08 IMAGE PROCESSING METHOD AND SYSTEM
PCT/CN2019/099748 WO2020113989A1 (en) 2018-12-03 2019-08-08 Method and system for image processing
US17/336,348 US20210295529A1 (en) 2018-12-03 2021-06-02 Method and system for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811464365.4A CN109697725B (zh) 2018-12-03 2018-12-03 一种背景过滤方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109697725A true CN109697725A (zh) 2019-04-30
CN109697725B CN109697725B (zh) 2020-10-02

Family

ID=66230305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811464365.4A Active CN109697725B (zh) 2018-12-03 2018-12-03 一种背景过滤方法、装置及计算机可读存储介质

Country Status (4)

Country Link
US (1) US20210295529A1 (zh)
EP (1) EP3867873A4 (zh)
CN (1) CN109697725B (zh)
WO (1) WO2020113989A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020113989A1 (en) * 2018-12-03 2020-06-11 Zhejiang Dahua Technology Co., Ltd. Method and system for image processing
CN112634247A (zh) * 2020-12-29 2021-04-09 浙江德源智能科技股份有限公司 基于图像分离的搬运对象识别方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11973608B2 (en) 2022-08-10 2024-04-30 Capital One Services, Llc Automatic image generator using meeting content
US11937015B2 (en) * 2022-08-10 2024-03-19 Capital One Services, Llc Automatic image generator using meeting content

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101640809A (zh) * 2009-08-17 2010-02-03 浙江大学 一种融合运动信息与几何信息的深度提取方法
CN103209321A (zh) * 2013-04-03 2013-07-17 南京邮电大学 一种视频背景快速更新方法
CN103369342A (zh) * 2013-08-05 2013-10-23 重庆大学 一种dibr目标图像空洞填充修复处理方法
CN104700405A (zh) * 2015-03-05 2015-06-10 苏州科达科技股份有限公司 一种前景检测方法和系统
CN105608479A (zh) * 2016-03-01 2016-05-25 北京正安维视科技股份有限公司 结合深度数据的异常行为检测方法及系统
US20180077376A1 (en) * 2016-09-14 2018-03-15 Canon Kabushiki Kaisha Devices, systems, and methods for generating multi-modal images of a synthetic scene
CN108280842A (zh) * 2017-12-29 2018-07-13 广州海昇计算机科技有限公司 一种克服光照突变的前景分割方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
EP2408192A3 (en) * 2004-04-16 2014-01-01 James A. Aman Multiple view compositing and object tracking system
WO2007076894A1 (en) * 2005-12-30 2007-07-12 Telecom Italia S.P.A. Contour finding in segmentation of video sequences
CN101320427A (zh) * 2008-07-01 2008-12-10 北京中星微电子有限公司 一种具有对目标的辅助监测功能的视频监控方法及系统
TWI382360B (zh) * 2008-08-01 2013-01-11 Univ Nat Taiwan Science Tech 物件偵測方法及其裝置
JP2011211628A (ja) * 2010-03-30 2011-10-20 Sony Corp 画像処理装置および方法、並びにプログラム
CN103177456A (zh) * 2013-03-29 2013-06-26 上海理工大学 视频图像的运动目标检测方法
US9390511B2 (en) * 2013-08-23 2016-07-12 Futurewei Technologies, Inc. Temporally coherent segmentation of RGBt volumes with aid of noisy or incomplete auxiliary data
CN105225217B (zh) * 2014-06-23 2018-04-10 株式会社理光 基于深度的背景模型更新方法和系统
JP6602009B2 (ja) * 2014-12-16 2019-11-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US9965865B1 (en) * 2017-03-29 2018-05-08 Amazon Technologies, Inc. Image data segmentation using depth data
CN109697725B (zh) * 2018-12-03 2020-10-02 浙江大华技术股份有限公司 一种背景过滤方法、装置及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101640809A (zh) * 2009-08-17 2010-02-03 浙江大学 一种融合运动信息与几何信息的深度提取方法
CN103209321A (zh) * 2013-04-03 2013-07-17 南京邮电大学 一种视频背景快速更新方法
CN103369342A (zh) * 2013-08-05 2013-10-23 重庆大学 一种dibr目标图像空洞填充修复处理方法
CN104700405A (zh) * 2015-03-05 2015-06-10 苏州科达科技股份有限公司 一种前景检测方法和系统
CN105608479A (zh) * 2016-03-01 2016-05-25 北京正安维视科技股份有限公司 结合深度数据的异常行为检测方法及系统
US20180077376A1 (en) * 2016-09-14 2018-03-15 Canon Kabushiki Kaisha Devices, systems, and methods for generating multi-modal images of a synthetic scene
CN108280842A (zh) * 2017-12-29 2018-07-13 广州海昇计算机科技有限公司 一种克服光照突变的前景分割方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020113989A1 (en) * 2018-12-03 2020-06-11 Zhejiang Dahua Technology Co., Ltd. Method and system for image processing
CN112634247A (zh) * 2020-12-29 2021-04-09 浙江德源智能科技股份有限公司 基于图像分离的搬运对象识别方法及装置

Also Published As

Publication number Publication date
CN109697725B (zh) 2020-10-02
EP3867873A1 (en) 2021-08-25
WO2020113989A1 (en) 2020-06-11
US20210295529A1 (en) 2021-09-23
EP3867873A4 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
CN109697725A (zh) 一种背景过滤方法、装置及计算机可读存储介质
EP2858008B1 (en) Target detecting method and system
CN109074085B (zh) 一种自主定位和地图建立方法、装置和机器人
CN104392468B (zh) 基于改进视觉背景提取的运动目标检测方法
CN105404888B (zh) 结合颜色和深度信息的显著性目标检测方法
JP5603403B2 (ja) 対象物計数方法、対象物計数装置および対象物計数プログラム
EP2811423A1 (en) Method and apparatus for detecting target
EP2738517B1 (en) System and methods for feature selection and matching
CN110956646B (zh) 目标跟踪方法、装置、设备及存储介质
US20130121562A1 (en) Method, System and Computer Program Product for Identifying Locations of Detected Objects
CN103093198B (zh) 一种人群密度监测方法及装置
CN104517095B (zh) 一种基于深度图像的人头分割方法
CN108224895B (zh) 基于深度学习的物品信息录入方法、装置、冰箱和介质
CN112270272B (zh) 高精度地图制作中道路路口提取方法及系统
CN106612385B (zh) 视频检测方法和视频检测装置
CN106373199B (zh) 一种倾斜摄影建筑物模型快速提取方法
CN106295557B (zh) 一种人群密度估计的方法及装置
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN113223064B (zh) 一种视觉惯性里程计尺度的估计方法和装置
CN114248778A (zh) 移动设备的定位方法和定位装置
CN112149471B (zh) 一种基于语义点云的回环检测方法及装置
CN105335934B (zh) 视差图计算方法和装置
CN108874269B (zh) 一种目标跟踪方法、装置及系统
CN112233149A (zh) 场景流的确定方法及装置、存储介质、电子装置
CN105844671B (zh) 一种变光照条件下的快速背景减除法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant