CN110428394B - 用于目标移动侦测的方法、装置及计算机存储介质 - Google Patents

用于目标移动侦测的方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN110428394B
CN110428394B CN201910516879.8A CN201910516879A CN110428394B CN 110428394 B CN110428394 B CN 110428394B CN 201910516879 A CN201910516879 A CN 201910516879A CN 110428394 B CN110428394 B CN 110428394B
Authority
CN
China
Prior art keywords
pixel
frame image
probability value
background
key frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910516879.8A
Other languages
English (en)
Other versions
CN110428394A (zh
Inventor
崔佳勋
胡晨
周舒畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aixin Yuanzhi Semiconductor Co ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201910516879.8A priority Critical patent/CN110428394B/zh
Publication of CN110428394A publication Critical patent/CN110428394A/zh
Application granted granted Critical
Publication of CN110428394B publication Critical patent/CN110428394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种用于目标移动侦测的方法、装置及计算机存储介质。所述方法包括：获取关键帧图像；通过全卷积检测网络，得到所述关键帧图像中的像素为目标像素点的概率值；判断所述概率值是否满足背景条件；如果所述概率值满足所述背景条件，则将所述像素标记为背景，否则标记为前景。如此可见，本发明实施例中，可以通过判断像素为目标像素点的概率值是否满足背景条件，进而确定像素是否为背景，能够快速地实现移动目标侦测，缩短侦测所需的时间，提高移动侦测的速度。

Description

用于目标移动侦测的方法、装置及计算机存储介质
技术领域
本发明涉及图像处理领域，更具体地涉及一种用于目标移动侦测的方法、装置及计算机存储介质。
背景技术
目标检测(Object Detection)的任务是找出图像中所有感兴趣的目标(物体)并确定这些目标的位置和大小，是机器视觉领域的核心问题之一。由于不同的物体一般具有不同的外观、形状、姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是机器视觉领域最具有挑战性的问题。基于视频的移动目标检测实现起来则难度更大，需要更长的时间和更大的空间。
发明内容
本发明提供了一种用于目标移动侦测的方法、装置及计算机存储介质，能够缩短检测的时间，提高检测的速度。
根据本发明的一方面，提供了一种用于目标移动侦测的方法，所述方法包括：
获取关键帧图像；
通过全卷积检测网络，得到所述关键帧图像中的像素为目标像素点的概率值；
判断所述概率值是否满足背景条件；
如果所述概率值满足所述背景条件，则将所述像素标记为背景，否则标记为前景。
作为一种实现方式，所述背景条件为：所述概率值小于预设阈值，或者，所述概率值与N个样本概率值之差的N个绝对值中，至少有M个绝对值小于差值阈值，其中，M和N为正整数，且M<N。
此处首先通过与预设阈值进行比较，能够首先将部分背景确定出来，这样，无需再判断这些像素是否移动，能够减小计算量，缩短计算所需的时间和空间成本。即使这些像素存在移动也不会被作为移动目标，这样，能够有效地抑制背景噪声的影响；而抑制环境噪声影响，能够确保将关注的移动目标保持在感兴趣的对象上。
作为一种实现方式，在获取关键帧图像之前，构建所述N个样本概率值。其中，构建所述N个样本概率值，包括：获取初始帧图像；通过全卷积检测网络，得到所述初始帧图像中的像素为目标像素点的概率值；对每个所述像素所在的预定大小的邻域内的所有概率值进行N次随机采样，得到所述N个样本概率值。
作为一种实现方式，还包括：如果所述概率值满足所述背景条件，则使用所述关键帧图像中的像素的邻域像素为目标像素点的概率值，替换所述N个样本概率值的其中一个。
这样，按照替换概率对一部分样本进行替换，使得样本随着时间动态更新，从而使得检测更加准确，另一方面由于样本的更新，使得样本的数量可以不用那么多，如此能够缩短所需的时间，提高移动侦测的速度，减少所需的空间，降低了对物理空间的需求。
作为一种实现方式，所述替换包括：按照预设的概率进行替换。
作为一种实现方式，所述预设阈值等于0.8，所述差值阈值等于0.2，M＝2。
作为一种实现方式，通过全卷积检测网络，得到所述关键帧图像中的像素为目标像素点的概率值，包括：通过全卷积检测网络，得到所述关键帧图像的热力图，所述热力图中的每个像素表示所述关键帧图像中的对应像素为目标像素点的概率值，其中，所述热力图与所述关键帧图像的大小相等。
作为一种实现方式，将所述像素标记为背景，包括：在输出中将所述像素标记为0，表示背景；将所述像素标记为前景，包括：在输出中将所述像素标记为1，表示前景。
根据本发明的另一方面，提供了一种用于目标移动侦测的装置，所述装置用于实现前述方面或任一实现方式所述方法的步骤，所述装置包括：
获取模块，用于获取关键帧图像；
计算模块，用于通过全卷积检测网络，得到所述关键帧图像中的像素为目标像素点的概率值；
判断模块，用于判断所述概率值是否满足背景条件；
确定模块，用于如果所述概率值满足所述背景条件，则将所述像素标记为背景，否则标记为前景。
根据本发明的又一方面，提供了一种用于目标移动侦测的装置，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述方面或任一实现方式所述的用于目标移动侦测的方法的步骤。
根据本发明的再一方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方面或任一实现方式所述的用于目标移动侦测的方法的步骤。
如此可见，本发明实施例中，可以通过判断像素为目标像素点的概率值是否满足背景条件，进而确定像素是否为背景，能够快速地实现移动目标侦测，缩短侦测所需的时间，提高移动侦测的速度。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本发明实施例的电子设备的一个示意性框图；
图2是本发明实施例的用于目标移动侦测的方法的一个示意性流程图；
图3是本发明实施例的进行判断的一个示意性流程图；
图4是本发明实施例的用于目标移动侦测的装置的一个示意性框图；
图5是本发明实施例的用于目标移动侦测的装置的另一个示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
本发明实施例可以应用于电子设备，图1所示为本发明实施例的电子设备的一个示意性框图。图1所示的电子设备10包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108、图像传感器110以及一个或多个非图像传感器114，这些组件通过总线系统112和/或其它形式互连。应当注意，图1所示的电子设备10的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以包括中央处理单元(Central Processing Unit，CPU)1021和图形处理单元(Graphics Processing Unit，GPU)1022或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，例如现场可编程门阵列(Field－Programmable GateArray，FPGA)或进阶精简指令集机器(Advanced RISC(Reduced Instruction SetComputer)Machine，ARM)等，并且处理器102可以控制所述电子设备10中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器1041和/或非易失性存储器1042。所述易失性存储器1041例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器1042例如可以包括只读存储器(Read-Only Memory，ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现各种期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
当注意，图1所示的电子设备10的组件和结构只是示例性的，尽管图1示出的电子设备10包括多个不同的装置，但是根据需要，其中的一些装置可以不是必须的，其中的一些装置的数量可以更多等等，本发明对此不限定。
视频中移动目标检测的方法可以包括基于像素的移动目标检测、基于区域的移动目标检测以及其他等。例如，关键帧差分法可以取某一关键帧作为背景图，通过对一段时间间隔外的另一关键帧逐像素差分，从而得到像素的变化图。这种方法在速度上占优，但是对噪声干扰敏感，也无法对感兴趣的目标进行移动侦测。再例如，ViBE方法先对背景建模学习，再分割前景(移动物体)及背景。其优势在于前后景的分割稳定，抗噪声干扰强，对抗闪光等不重要信息强，但是仍然无法对感兴趣目标进行侦测。也就是说，一般的关键帧差分法或ViBE方法是直接对RGB像素值进行操作，失去了移动目标的语义特征，并受到环境噪声或明暗变化的干扰。
图2是本发明实施例的用于目标移动侦测的方法的一个示意性流程图。图2所示的方法包括：
S110，获取关键帧图像；
S120，通过全卷积检测网络，得到所述关键帧图像中的像素为目标像素点的概率值；
S130，判断所述概率值是否满足背景条件；
S140，如果所述概率值满足所述背景条件，则将所述像素标记为背景，否则标记为前景。
示例性地，背景条件可以为：所述概率值小于预设阈值，或者，所述概率值与N个样本概率值之差的N个绝对值中，至少有M个绝对值小于差值阈值。其中，M和N为正整数，且M<N。
可理解，可以在S110之前构建所述N个样本概率值。具体地，可以通过以下步骤构建N个样本概率值：获取初始帧图像；通过全卷积检测网络，得到所述初始帧图像中的像素为目标像素点的概率值；对每个所述像素所在的预定大小的邻域内的所有概率值进行N次随机采样，得到所述N个样本概率值。
示例性地，可以构建样本集，该样本集包括N个样本，每个样本包括所有像素点的一个样本概率值。
具体地，可以选取初始帧图像(表示为f0)，示例性地可以将视频的某一帧作为初始帧图像，例如可以是视频的t0时刻的图像。随后可以得到该初始帧图像的热力图，该热力图表示初始帧图像中的每个像素是目标像素点的概率。
可以对初始帧图像进行目标检测，从而得到初始帧图像的热力图。其中，可以使用基于全卷积网络方法的检测网络进行目标检测，例如，可以是Densebox网络。可理解，本发明实施例中进行目标检测所使用的神经网络可以是已经在产品中使用的量化网络模型，算法可以是带Feature Pyramid的Densebox，当然该神经网络也可以是能够实现相同功能的类似的其他网络，这里不再一一罗列。
该检测网络所输出的初始帧图像的热力图可以是与初始帧图像大小相同的目标概率热力图(表示为h0)。例如，假设初始帧图像为256*256(即水平方向包括256个像素，竖直方向也包括256个像素)的，则初始帧图像的热力图也是256*256的。并且，初始帧图像的热力图可以是矩阵的形式，其某个元素表示初始帧图像中对应位置处的像素为目标像素点的概率值；例如在矩阵的第i行第j列的元素p(i,j)表示初始帧图像中第i行第j列的像素为目标像素点的概率值。可理解，该概率值的范围为0至1，数值越大，说明为目标像素点的概率越大。
在此之后，可以采用随机采样等方式建立包括N个样本的样本集。在初始帧图像的热力图中，对一个像素的邻域内的概率值进行随机采样，将采样后的值填入对应位置得到一个样本，通过N次采样得到这个像素的N个样本。通过对每个像素都在各自的邻域内进行N次随机采样，可以得到所有像素中每个像素的N个样本。
为了描述该采样过程，假设初始帧图像的热力图为矩阵的形式，且以该矩阵的元素p(i,j)为例进行详细描述。从元素p(i,j)所在的预定大小的邻域中随机选择其中一个元素，随机选择N次，从而得到N个样本(矩阵形式)的第i行第j列的元素值。其中，预定大小的邻域例如可以为5×5，即可以从25个中进行随机采样。本领域技术人员可以理解，领域的大小可以更大或更小，本发明对此不限定。
另外，随机采样的方式可以为(a)从邻域中随机选择其中一个；(b)从邻域中随机选择其中若干个再进行加权求和；或者(c)其他随机采样方式。可选地，邻域中的每个位置均被等概率地采样。另外，N次采样的两两之间可以是相互独立的。
本发明实施例中，N的取值可以不是非常大，N的量级可以是10，而不是100或1000等，如此能够缩减所需的时间和空间等。作为一例，N＝20。
示例性地，S110中，可以获取视频的t时刻的图像作为关键帧图像，表示为ft。其中，t时刻的图像可以是位于初始帧图像之后的图像，例如，t＝t0+1或其他。也就是说，在进行目标移动侦测时，可以先将视频中的某一帧作为初始帧，基于上述的过程得到样本集(包括N个样本)；然后在对视频中的后续帧执行如图2所示的方法的步骤。
示例性地，S120中，可以对关键帧图像进行目标检测，从而得到关键帧图像的热力图。该关键帧图像的热力图表示关键帧图像中的每个像素是目标像素点的概率。
其中，可以使用基于全卷积网络方法的检测网络进行目标检测，例如，可以是Densebox网络。可理解，本发明实施例中进行目标检测所使用的神经网络可以是已经在产品中使用的量化网络模型，算法可以是带Feature Pyramid的Densebox，当然该神经网络也可以是能够实现相同功能的类似的其他网络，这里不再一一罗列。在S120中，可以将关键帧图像作为检测网络的输入，得到检测网络的输出。
该检测网络所输出的关键帧图像的热力图可以是与关键帧图像大小相同的目标概率热力图(表示为ht)。例如，关键帧图像的热力图可以是矩阵的形式，其某个元素表示关键帧图像中对应位置处的像素为目标像素点的概率值；例如在矩阵的第i行第j列的元素p(i,j)表示关键帧图像中第i行第j列的像素为目标像素点的概率值。可理解，该概率值的范围为0至1，数值越大，说明为目标像素点的概率越大。
可理解，S120中的过程与上述得到初始帧图像的热力图的过程类似，这里不再赘述。
示例性地，在S130中，针对关键帧图像逐像素地进行判断。下面将关于一个像素进行详细描述。针对关键帧图像中的某个像素，在S120中已经得到了其为目标像素点的概率值，假设为pt。在S130中进行如下的判断，参见图3。
判断该概率值pt是否小于预设阈值(检测阈值detection_threshold，表示为deth)。如果经判断确定该概率值pt小于预设阈值，即pt<deth，则在S140中将该像素标记为背景。
其中，预设阈值可以根据场景需要、网络精确度等进行预先设定，例如deth＝0.8或deth＝0.85或其他等。例如，如果关注的移动目标是人脸、车辆，则通过S120得到的人脸、车辆对应的像素的概率值一般大于该预设阈值。
这样，此处首先通过与预设阈值进行比较，能够首先将部分背景确定出来，这样，无需再判断这些像素是否移动，能够减小计算量，缩短计算所需的时间和空间成本。即使这些像素存在移动也不会被作为移动目标，这样，能够有效地抑制背景噪声的影响；而抑制环境噪声影响，能够确保将关注的移动目标保持在感兴趣的对象上。
如果经判断确定该概率值pt大于或等于预设阈值，则判断该概率值pt与对应的N个样本概率值之差的N个绝对值中，是否至少有M个绝对值小于差值阈值(threshold，表示为th)。
从上述包括N个样本的样本集中可以获取与该像素相同位置处的像素的N个样本概率值，表示为p0i(i＝1,2,…N)。判断是否满足下式：
Figure BDA0002095317130000081
如果是，则在S140中将该像素标记为背景。否则，标记为前景。其中，IF函数的含义为IF(logical_test,value_if_true,value_if_false)：若logical_test为真，则IF函数值为value_if_true；若logical_test为假，则IF函数值为value_if_false。
其中，差值阈值可以根据场景需要等进行设定，例如，th＝0.2或th＝0.25或其他值等。这样，如果比较了N次，且N次中存在至少M个满足|pt-p0i|<th，说明这个像素在从t0帧到t帧未发生大的变化，即没有产生目标的移动，因此可以将其定义为背景像素点。其中，M的值可以根据N个场景需要进行设定，例如N＝20时，M＝2或M＝5或其他小于N的值等。
在S130中经过如图3所示的判断过程，能够确定某个像素点为背景或前景。类似地，可以完成对所有像素点的判断和确定。
示例性地，在S140中，可以在输出中通过二元数值标记背景和前景。例如，标记为0表示背景，标记为1表示前景。或者，标记为1表示背景，标记为0表示前景。
可选地，作为一种实现方式，本发明实施例的方法还可以包括：如果所述概率值满足所述背景条件，则使用所述关键帧图像中的像素的邻域像素为目标像素点的概率值，替换所述N个样本概率值的其中一个。
针对某个像素点，如果在S130中或如图3所示的过程确定该像素点为背景，则可以对样本数据集中的某个样本的对应位置处进行更新。
具体地，可以随机选择N个样本中的一个样本，用关键帧图像的热力图中该像素的邻域中的任一值(可以从邻域中随机选取一个值)替换掉该一个样本中相同位置处的值。例如，这里的邻域大小可以是3×3或者更大或更小，本发明对此不限定。
该替换的过程是可选的，例如一个像素a为背景，其将某个样本中的对应值进行替换。另一个像素b为背景，其不将任何样本中的对应值进行替换。本发明实施例可以设定一个替换概率。如果确定某个像素为背景，则可以按照预设的概率对某个样本中的对应值进行替换。例如，预设的替换概率可以为1/8、1/16或其他值等。
这样，本发明实施例中在目标移动检测时，按照替换概率对一部分样本进行替换，使得样本随着时间动态更新，从而使得检测更加准确，另一方面由于样本的更新，使得样本的数量可以不用那么多，例如，样本的量级可以为十，而不再需要百或千量级的样本，如此能够缩短所需的时间，提高移动侦测的速度，减少所需的空间，降低了对物理空间的需求。
在图2所示的方法之后，可以依据被标记为前景的像素，得出移动目标的区域，例如可以用矩形框等标注出移动目标。
如此可见，本发明实施例中，可以通过判断像素为目标像素点的概率值是否满足背景条件，进而确定像素是否为背景，能够快速地实现移动目标侦测，缩短侦测所需的时间，提高移动侦测的速度。
图4是本发明实施例的用于目标移动侦测的装置的一个示意性框图。图4所示的装置40可以包括获取模块410、计算模块420、判断模块430和确定模块440。
获取模块410，用于获取关键帧图像；
计算模块420，用于通过全卷积检测网络，得到所述关键帧图像中的像素为目标像素点的概率值；
判断模块430，用于判断所述概率值是否满足背景条件；
确定模块440，用于如果所述概率值满足所述背景条件，则将所述像素标记为背景，否则标记为前景。
示例性地，所述背景条件可以为：所述概率值小于预设阈值，或者，所述概率值与N个样本概率值之差的N个绝对值中，至少有M个绝对值小于差值阈值。其中，M和N为正整数，且M<N。
示例性地，装置40还可以包括构建模块，用于构建所述N个样本概率值。其中，构建模块，具体用于：获取初始帧图像；通过全卷积检测网络，得到所述初始帧图像中的像素为目标像素点的概率值；对每个所述像素所在的预定大小的邻域内的所有概率值进行N次随机采样，得到所述N个样本概率值。
示例性地，装置40还可以包括更新模块，可以用于：如果所述概率值满足所述背景条件，则使用所述关键帧图像中的像素的邻域像素为目标像素点的概率值，替换所述N个样本概率值的其中一个。例如，可以按照预设的概率进行替换。
可选地，所述预设阈值等于0.8，所述差值阈值等于0.2，M＝2。
示例性地，计算模块420可以具体用于：通过全卷积检测网络，得到所述关键帧图像的热力图，所述热力图中的每个像素表示所述关键帧图像中的对应像素为目标像素点的概率值，其中，所述热力图与所述关键帧图像的大小相等。可选地，全卷积检测网络可以是Densebox。
示例性地，确定模块440还用于：在输出中将像素标记为0，表示背景；在输出中将像素标记为1，表示前景。
如此可见，本发明实施例中，可以通过判断像素为目标像素点的概率值是否满足背景条件，进而确定像素是否为背景，能够快速地实现移动目标侦测，缩短侦测所需的时间，提高移动侦测的速度。
图4所示的装置40能够实现前述图2至图3所示的用于目标移动侦测的方法，为避免重复，这里不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
另外，本发明实施例还提供了另一种用于目标移动侦测的装置，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，处理器执行所述程序时实现前述图2所示的用于目标移动侦测的方法的步骤。
如图5所示，该装置50可以包括存储器510和处理器520。存储器510存储用于实现根据本发明实施例的用于目标移动侦测的方法中的相应步骤的计算机程序代码。处理器520用于运行存储器510中存储的计算机程序代码，以执行根据本发明实施例的用于目标移动侦测的方法的相应步骤，并且用于实现根据本发明实施例的图4所述的装置中的各个模块。
示例性地，在所述计算机程序代码被处理器520运行时执行以下步骤：获取关键帧图像；通过全卷积检测网络，得到所述关键帧图像中的像素为目标像素点的概率值；判断所述概率值是否满足背景条件；如果所述概率值满足所述背景条件，则将所述像素标记为背景，否则标记为前景。
示例性地，所述背景条件可以为：所述概率值小于预设阈值，或者，所述概率值与N个样本概率值之差的N个绝对值中，至少有M个绝对值小于差值阈值。其中，M和N为正整数，且M<N。
示例性地，在所述计算机程序代码被处理器520运行时，使得处理器520：在获取关键帧图像之前，构建所述N个样本概率值。其中，构建所述N个样本概率值，包括：获取初始帧图像；通过全卷积检测网络，得到所述初始帧图像中的像素为目标像素点的概率值；对每个所述像素所在的预定大小的邻域内的所有概率值进行N次随机采样，得到所述N个样本概率值。
示例性地，在所述计算机程序代码被处理器520运行时，使得处理器520：如果所述概率值满足所述背景条件，则使用所述关键帧图像中的像素的邻域像素为目标像素点的概率值，替换所述N个样本概率值的其中一个。例如，可以按照预设的概率进行替换。
可选地，所述预设阈值等于0.8，所述差值阈值等于0.2，M＝2。
示例性地，在所述计算机程序代码被处理器520运行时，使得处理器520：通过全卷积检测网络，得到所述关键帧图像的热力图，所述热力图中的每个像素表示所述关键帧图像中的对应像素为目标像素点的概率值，其中，所述热力图与所述关键帧图像的大小相等。可选地，全卷积检测网络可以是Densebox。
示例性地，在所述计算机程序代码被处理器520运行时，使得处理器520：在输出中将像素标记为0，表示背景；在输出中将像素标记为1，表示前景。
如此可见，本发明实施例中，可以通过判断像素为目标像素点的概率值是否满足背景条件，进而确定像素是否为背景，能够快速地实现移动目标侦测，缩短侦测所需的时间，提高移动侦测的速度。
另外，本发明实施例还提供了一种电子设备，该电子设备可以包括图4所示的装置40。该电子设备可以实现前述图2或图3所示的用于目标移动侦测的方法。作为一例，该电子设备40可以为前述如图1所示的电子设备。
另外，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序。当所述计算机程序由处理器执行时，可以实现前述图2所示的用于目标移动侦测的方法的步骤。例如，该计算机存储介质为计算机可读存储介质。
计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于目标移动侦测的计算机可读的程序代码，另一个计算机可读存储介质包含用于目标移动侦测的计算机可读的程序代码。
如此可见，本发明实施例中，可以通过判断像素为目标像素点的概率值是否满足背景条件，进而确定像素是否为背景，能够快速地实现移动目标侦测，缩短侦测所需的时间，提高移动侦测的速度。其中，在进行判断时，首先通过与预设阈值进行比较，能够首先将部分背景确定出来，这样，无需再判断这些像素是否移动，能够减小计算量，缩短计算所需的时间和空间成本。即使这些像素存在移动也不会被作为移动目标，这样，能够有效地抑制背景噪声的影响；而抑制环境噪声影响，能够确保将关注的移动目标保持在感兴趣的对象上。随后，还可以按照替换概率对一部分样本进行替换，使得样本随着时间动态更新，从而使得检测更加准确，另一方面由于样本的更新，使得样本的数量可以不用那么多，例如，样本的量级可以为十，而不再需要百或千量级的样本，如此能够缩短所需的时间，提高移动侦测的速度，减少所需的空间，降低了对物理空间的需求。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(Digital Signal Processing，DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种用于目标移动侦测的方法，其特征在于，所述方法包括：
获取关键帧图像；
通过全卷积检测网络，得到所述关键帧图像中的像素为目标像素点的概率值；
判断所述概率值是否满足背景条件；
如果所述概率值满足所述背景条件，则将所述像素标记为背景，否则标记为前景；
依据被标注为前景的像素，得出移动目标的区域；
所述背景条件为：
所述概率值与N个样本概率值之差的N个绝对值中，至少有M个绝对值小于差值阈值，
其中，M和N为正整数，且M<N。
2.根据权利要求1所述的方法，其特征在于，还包括：在获取关键帧图像之前，构建所述N个样本概率值，
其中，构建所述N个样本概率值，包括：
获取初始帧图像；
通过全卷积检测网络，得到所述初始帧图像中的像素为目标像素点的概率值；
对每个所述像素所在的预定大小的邻域内的所有概率值进行N次随机采样，得到所述N个样本概率值。
3.根据权利要求2所述的方法，其特征在于，还包括：
如果所述概率值满足所述背景条件，则使用所述关键帧图像中的像素的邻域像素为目标像素点的概率值，替换所述N个样本概率值的其中一个。
4.根据权利要求3所述的方法，其特征在于，所述替换包括：按照预设的概率进行替换。
5.根据权利要求1所述的方法，其特征在于，所述差值阈值等于0.2，M＝2。
6.根据权利要求1所述的方法，其特征在于，通过全卷积检测网络，得到所述关键帧图像中的像素为目标像素点的概率值，包括：
通过全卷积检测网络，得到所述关键帧图像的热力图，所述热力图中的每个像素表示所述关键帧图像中的对应像素为目标像素点的概率值，其中，所述热力图与所述关键帧图像的大小相等。
7.根据权利要求1至6中任一项所述的方法，其特征在于，
将所述像素标记为背景，包括：在输出中将所述像素标记为0，表示背景；
将所述像素标记为前景，包括：在输出中将所述像素标记为1，表示前景。
8.一种用于目标移动侦测的装置，其特征在于，所述装置包括：
获取模块，用于获取关键帧图像；
计算模块，用于通过全卷积检测网络，得到所述关键帧图像中的像素为目标像素点的概率值；
判断模块，用于判断所述概率值是否满足背景条件；所述背景条件为：
所述概率值与N个样本概率值之差的N个绝对值中，至少有M个绝对值小于差值阈值，其中，M和N为正整数，且M<N
确定模块，用于如果所述概率值满足所述背景条件，则将所述像素标记为背景，否则标记为前景；依据被标注为前景的像素，得出移动目标的区域。
9.一种用于目标移动侦测的装置，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN201910516879.8A 2019-06-14 2019-06-14 用于目标移动侦测的方法、装置及计算机存储介质 Active CN110428394B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910516879.8A CN110428394B (zh) 2019-06-14 2019-06-14 用于目标移动侦测的方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910516879.8A CN110428394B (zh) 2019-06-14 2019-06-14 用于目标移动侦测的方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN110428394A CN110428394A (zh) 2019-11-08
CN110428394B true CN110428394B (zh) 2022-04-26

Family

ID=68407706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910516879.8A Active CN110428394B (zh) 2019-06-14 2019-06-14 用于目标移动侦测的方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN110428394B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126147B (zh) * 2019-11-22 2023-10-24 天津极豪科技有限公司 图像处理方法、装置和电子系统
CN111383293A (zh) * 2020-02-26 2020-07-07 北京京东叁佰陆拾度电子商务有限公司 一种图像要素矢量化的方法和装置
CN114119675B (zh) * 2021-11-10 2023-07-18 爱芯元智半导体(上海)有限公司 像素点的偏移获取方法、装置、电子设备及存储介质
CN113822879B (zh) * 2021-11-18 2022-06-21 南京智谱科技有限公司 一种图像分割的方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971386A (zh) * 2014-05-30 2014-08-06 南京大学 一种动态背景场景下的前景检测方法
CN104050679A (zh) * 2014-07-03 2014-09-17 杭州藏愚科技有限公司 一种违法停车的自动取证方法
CN104063885A (zh) * 2014-07-23 2014-09-24 山东建筑大学 一种改进的运动目标检测与跟踪方法
CN104392468A (zh) * 2014-11-21 2015-03-04 南京理工大学 基于改进视觉背景提取的运动目标检测方法
CN104751484A (zh) * 2015-03-20 2015-07-01 西安理工大学 一种运动目标检测方法及实现运动目标检测方法的检测系统
CN105741319A (zh) * 2016-01-22 2016-07-06 浙江工业大学 基于盲目更新策略和前景模型的改进视觉背景提取方法
CN106023259A (zh) * 2016-05-26 2016-10-12 史方 一种运动目标频率检测方法及装置
CN106251338A (zh) * 2016-07-20 2016-12-21 北京旷视科技有限公司 目标完整性检测方法及装置
CN106650662A (zh) * 2016-12-21 2017-05-10 北京旷视科技有限公司 目标对象遮挡检测方法及装置
CN107301655A (zh) * 2017-06-16 2017-10-27 上海远洲核信软件科技股份有限公司 一种基于背景建模的视频移动目标侦测方法
CN108537821A (zh) * 2018-04-18 2018-09-14 电子科技大学 一种基于视频的运动目标检测方法
CN109146924A (zh) * 2018-07-18 2019-01-04 北京飞搜科技有限公司 一种基于热力图的目标跟踪方法及装置
CN109325385A (zh) * 2017-07-31 2019-02-12 株式会社理光 目标检测和区域分割方法、装置和计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354862B (zh) * 2015-09-30 2018-12-25 深圳大学 一种监控视频中运动目标的阴影检测方法、系统
GB2554633B (en) * 2016-06-24 2020-01-22 Imperial College Sci Tech & Medicine Detecting objects in video data
CN106709453B (zh) * 2016-12-24 2020-04-17 北京工业大学 一种基于深度学习的体育视频关键姿态提取方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971386A (zh) * 2014-05-30 2014-08-06 南京大学 一种动态背景场景下的前景检测方法
CN104050679A (zh) * 2014-07-03 2014-09-17 杭州藏愚科技有限公司 一种违法停车的自动取证方法
CN104063885A (zh) * 2014-07-23 2014-09-24 山东建筑大学 一种改进的运动目标检测与跟踪方法
CN104392468A (zh) * 2014-11-21 2015-03-04 南京理工大学 基于改进视觉背景提取的运动目标检测方法
CN104751484A (zh) * 2015-03-20 2015-07-01 西安理工大学 一种运动目标检测方法及实现运动目标检测方法的检测系统
CN105741319A (zh) * 2016-01-22 2016-07-06 浙江工业大学 基于盲目更新策略和前景模型的改进视觉背景提取方法
CN106023259A (zh) * 2016-05-26 2016-10-12 史方 一种运动目标频率检测方法及装置
CN106251338A (zh) * 2016-07-20 2016-12-21 北京旷视科技有限公司 目标完整性检测方法及装置
CN106650662A (zh) * 2016-12-21 2017-05-10 北京旷视科技有限公司 目标对象遮挡检测方法及装置
CN107301655A (zh) * 2017-06-16 2017-10-27 上海远洲核信软件科技股份有限公司 一种基于背景建模的视频移动目标侦测方法
CN109325385A (zh) * 2017-07-31 2019-02-12 株式会社理光 目标检测和区域分割方法、装置和计算机可读存储介质
CN108537821A (zh) * 2018-04-18 2018-09-14 电子科技大学 一种基于视频的运动目标检测方法
CN109146924A (zh) * 2018-07-18 2019-01-04 北京飞搜科技有限公司 一种基于热力图的目标跟踪方法及装置

Also Published As

Publication number Publication date
CN110428394A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN110428394B (zh) 用于目标移动侦测的方法、装置及计算机存储介质
CN108875766B (zh) 图像处理的方法、装置、系统及计算机存储介质
CN109376667B (zh) 目标检测方法、装置及电子设备
CN106650662B (zh) 目标对象遮挡检测方法及装置
CN111178183B (zh) 人脸检测方法及相关装置
CN108875511B (zh) 图像生成的方法、装置、系统及计算机存储介质
CN108875723B (zh) 对象检测方法、装置和系统及存储介质
CN108229673B (zh) 卷积神经网络的处理方法、装置和电子设备
CN110070551B (zh) 视频图像的渲染方法、装置和电子设备
CN108875531B (zh) 人脸检测方法、装置、系统及计算机存储介质
CN109241888B (zh) 神经网络训练与对象识别方法、装置和系统及存储介质
CN108875519B (zh) 对象检测方法、装置和系统及存储介质
CN110210480B (zh) 文字识别方法、装置、电子设备和计算机可读存储介质
CN111209774A (zh) 目标行为识别及显示方法、装置、设备、可读介质
CN111723634B (zh) 一种图像检测方法、装置、电子设备及存储介质
CN110909712A (zh) 运动目标检测方法、装置、电子设备及存储介质
CN113516113A (zh) 一种图像内容识别方法、装置、设备及存储介质
CN110505397B (zh) 相机选择的方法、装置及计算机存储介质
CN112101386A (zh) 文本检测方法、装置、计算机设备和存储介质
CN108875901B (zh) 神经网络训练方法以及通用物体检测方法、装置和系统
CN110796130A (zh) 用于文字识别的方法、装置及计算机存储介质
CN108875501B (zh) 人体属性识别方法、装置、系统及存储介质
CN113052019A (zh) 目标跟踪方法及装置、智能设备和计算机存储介质
CN110728172B (zh) 基于点云的人脸关键点检测方法、装置、系统及存储介质
CN110827194A (zh) 图像处理的方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230816

Address after: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province, 315201

Patentee after: Aixin Yuanzhi Semiconductor (Ningbo) Co.,Ltd.

Address before: 316-318, block a, Rongke Information Center, No.2, South Road, Academy of Sciences, Haidian District, Beijing, 100190

Patentee before: MEGVII (BEIJING) TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Ningbo City, Zhejiang Province, 315201

Patentee after: Aixin Yuanzhi Semiconductor Co.,Ltd.

Country or region after: China

Address before: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province, 315201

Patentee before: Aixin Yuanzhi Semiconductor (Ningbo) Co.,Ltd.

Country or region before: China