CN107430694A - 基于运动模糊的移动对象检测 - Google Patents

基于运动模糊的移动对象检测 Download PDF

Info

Publication number
CN107430694A
CN107430694A CN201580077754.XA CN201580077754A CN107430694A CN 107430694 A CN107430694 A CN 107430694A CN 201580077754 A CN201580077754 A CN 201580077754A CN 107430694 A CN107430694 A CN 107430694A
Authority
CN
China
Prior art keywords
pixel
variance
fuzzy
mrow
designator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580077754.XA
Other languages
English (en)
Inventor
李晓丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN107430694A publication Critical patent/CN107430694A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及基于运动模糊的移动对象检测。在一个实施例中，基于图像中的像素的梯度来确定针对频率集合的该像素的方差。然后，基于像素的方差来获得针对频率集合的在像素和模糊核的集合之间的匹配度，模糊核中的每一个表征导致图像中的模糊的运动类型。像素被基于匹配度分类为运动模糊的像素或非运动模糊的像素。

Description

基于运动模糊的移动对象检测
技术领域
本公开大体上涉及视频处理，并且更具体地，涉及图像或视频中的移动对象检测。
背景技术
在诸如智能视频监控、交通监控、车辆导航、和人机交互的视频分析中，检测视频中的移动对象，诸如人物、汽车等，发挥着重要作用。在视频分析过程中，移动对象检测的结果可以被输入到用于对象识别、对象跟踪、行为分析、或任何其它进一步处理的模块中。准确的移动对象检测是成功的视频分析的关键。
为了检测视频中的移动对象，传统方法通常依赖于相邻图像/帧之间的差异或变化。然而，帧间差异不一定是由对象的运动引起的。例如，动态背景(例如，水波纹和摇动的树)、照明变化、和噪声也可能导致帧之间的差异。因此，某些背景可能被错误地分类为移动对象，并且前景的部分可能被误分类为背景。
发明内容
大体上，本发明的实施例提供基于运动模糊的移动对象检测的解决方案。
在一个方面中，提供了计算机实现的方法。该方法包括：基于图像中的像素的梯度，确定针对频率集合的该像素的方差；基于所述像素的方差来针对频率集合计算在所述像素和所述模糊核的集合之间的匹配度，所述模糊核中的每一个模糊核表征导致所述图像中的模糊的运动类型；并且基于匹配度将像素分类为运动模糊的像素或非运动模糊的像素。
在另一方面中，提供了计算机实现的方法。该方法包括：对于视频中的多个帧中的每一个帧，根据如上所述的权利要求，将帧中的每个像素分类为运动模糊的像素或非运动模糊的像素，并且基于分类，生成针对帧的前景指示符，该前景指示符指示运动模糊的像素；基于针对所述多个帧的前景指示符来生成针对所述视频的前景指示符；以及基于针对视频的前景指示符来检测该视频中的移动对象。
在另一方面中，提供了装置。该装置包括：像素方差确定单元，被配置为基于图像中的像素的梯度确定针对频率集合的该像素的方差；匹配单元，被配置为基于所述像素的方差来针对所述频率集合计算在所述像素和所述模糊核的集合之间的匹配度，所述模糊核中的每一个模糊核表征导致所述图像中的模糊的运动类型；以及像素分类单元，被配置为基于匹配度来将像素分类为运动模糊的像素或非运动模糊的像素
在又一方面中，提供了装置。该装置包括：如上所述的装置，被配置为将视频中的多个帧中的每一个帧中的每个像素分类为运动模糊的像素或非运动模糊的像素；帧级指示符生成单元，被配置为基于所述分类来生成针对所述多个帧的前景指示符，所述前景指示符中的每一个前景指示符指示相应帧中的运动模糊的像素；视频级指示符生成单元，被配置为基于针对所述多个帧的前景指示符来生成针对所述视频的前景指示符；以及移动对象检测单元，被配置为基于针对所述视频的前景指示器来检测视频中的移动对象。
通过下面对本发明的示例实施例的详细描述将理解其它特征和益处。
附图说明
图1示出了根据本发明的示例实施例的基于运动模糊对图像像素进行分类的方法的流程图；
图2示出了根据本发明的示例实施例的基于运动模糊来检测视频中的移动对象的方法的流程图；
图3示出了根据本发明的示例实施例的用于基于运动模糊来对图像像素进行分类的装置的框图；
图4示出了根据本发明的示例实施例的用于基于运动模糊来检测视频中的运动对象的装置的框图；以及
图5示出了适于实现本发明的示例实施例的示例计算机系统的框图。
在整个附图中，相同或相应的附图标记指代相同或相应的部分。
具体实施方式
现在将参考几个示例实施方式来讨论本发明的示例实施例。应当理解，这些实施方式仅为了使本领域技术人员能够更好地理解并因此实施本发明的实施例来讨论的，而不是对本发明的范围暗示任何限制。
如本文所使用的术语“包括”及其变体将被视为开放的术语，意思是“包括，但不限于”。术语“基于”将被读为“至少部分地基于”。术语“一个实施例”和“实施例”被视为“至少一个实施例”。术语“另一实施例”将被看作“至少一个另外的实施例”。术语“第一”、“第二”、“第三”等可以用于指代不同或相同的对象。其他显式和隐含的定义可能被包括在下面。
传统上，高斯混合模型可用于表征图像或视频的背景。偏离模型多的像素被认为是前景。在这种方案中，相邻像素之间的相关性未被充分考虑。一些其他传统解决方案依赖于线性模型来描述背景。由于诸如水波纹和摇动的树的动态背景、照明变化、相机运动、和其他噪声的动态背景，可能会发生像素的误分类。
发明人已经发现，属于移动对象的图像像素由于运动至少会在一定程度上被模糊化。因此，根据本发明的实施例，模糊运动被用于检测图像或视频中的移动对象。更具体地，可以检测每个图像中的运动模糊区域。然后，这些运动模糊区域可以被组合以准确和鲁棒地检测移动对象。
在所提出的方案中，给定图像，有必要找到图像中被对象的运动模糊的像素。在本发明的上下文中，这些像素被称为“运动模糊的像素”。另一方面，未被运动模糊的那些像素被称为“非运动模糊的像素”。根据本发明的实施例，运动模糊像素可以被认为属于移动对象，并且因此被分类为前景像素。另一方面，非运动模糊的像素可以被分类为背景像素。为了讨论的目的，术语“前景”和“移动对象”可以互换使用。
图1示出了根据本发明的示例实施例的将像素分类为运动模糊的像素或非运动模糊的像素的方法的流程图。输入图像z可以是视频中的单个图像或帧。方法100可以被应用于图像中的一个或多个像素。对于每个像素，方法100的输出指示该像素是否被图像中的移动对象的运动所模糊。为了讨论的目的，下面将参考图像中的目标像素n描述方法100。
如图所示，方法100在步骤110处进入，其中针对预定义频率集合的目标像素n的方差。已知图像可以包括不同频率的信号，并且频率指示图像中的像素的灰度的方差或分布。例如，可以通过将图像变换成频域来提取不同频率的信号。作为示例，短时傅里叶变换及其变体或实施方式可以应用于图像，使得图像被变换到频域。
在实施方式中，给定包括一个或多个预定义频率的频率集合，能够定义滤波器集合，该滤波器集合中的每个滤波器对应于预定义的频率之一。假设该频率集合包括r个不同的频率，其中r是预定义的自然数。在一个实施例中，例如，r的值可以被设置为15。当然，任何其他合适的值也是可能的。在一个实施例中，该滤波器集合可以被定义为：
fi[n]＝W[n]exp(-j<ωi,n>) (1)
其中i＝1,...,r，W表示窗函数，ωi表示采样频率，<,>表示内积运算符。具体地，在一个实施例中，滤波器可以彼此正交。也就是说，滤波器满足以下约束：
<fi,fj>＝0,i≠j (2)
根据本发明的实施例，在步骤110中，可以基于像素的梯度来确定像素n关于预定义频率中的每一个预定义频率的方差。在一个实施例中，能够仅使用目标像素n的梯度。替代地，可以考虑目标像素n周围的像素的梯度，使得更准确地估计方差。在这样的实施例中，可以计算输入图像z内的像素的梯度。这些梯度一起形成图像z的梯度图像，表示为X。
在梯度图像X内，可以提取目标像素n周围的局部区域。所提取的局部区域可以是任何尺寸和形状。仅作为示例，在一个实施例中，局部区域可以是正方形。局部区域中像素的梯度可以表示为向量x。在一些实施例中，通过用对应的滤波器对局部区域进行滤波来计算针对任何给定预定义频率的、目标像素n的方差。
更具体地，在这样的实施例中，所提取的局部区域被对应于一个或多个预定义频率的滤波器集合滤波，如下：
其中i＝1,...,r。然后，在一个实施例中，可以如下确定针对该频率集合的、目标像素n的方差：
其中E(·)表示期望运算符，并且表示卷积运算符。应当理解，由等式(4)给出的方差仅仅是为了说明的目的而讨论的，并不暗示对本发明的范围的任何限制。给定滤波结果yi[n]，可以以任何其它合适的方式获得针对频率的、目标像素的方差。
仍然参考图1，方法100进行到步骤120，其中计算针对该频率集合的目标像素和模糊核集合之间的匹配度。如本文所使用的术语“模糊”是指由对象运动引起的图像劣化。众所周知，模糊可以通过“模糊核”来表征。模糊核表征导致相关像素被模糊的某种类型的运动。例如，模糊核可以描述运动的方向、量和/或任何其他相关方面。在一个实施例中，能够定义一个或多个模糊核，模糊核中的每一个被假设为在各个方向上的对象运动的可能候选的离散集合之一。例如，每个模糊核可以由某个长度的滤波器表示。
仅作为示例，假设定义了模糊核的集合K＝{k1,..,km}，包括表征水平对象运动和垂直对象运动的核。在该集合内，模糊核ki可以是长度为l的水平矩形滤波器，其中长度对应于对象移动的像素数目。形式上，模糊核ki可以例如被表示如下：
其中nx和ny分别表示像素n的水平和垂直坐标。其他模糊核可以针对感兴趣的各种长度被类似地定义。应当理解，如上定义的模糊核仅是为了说明的目的而讨论的，并不暗示对本发明的范围的任何限制。模糊核的其他定义也是可能的。
根据本发明的实施例，目标像素和模糊核的集合之间的匹配度指示模糊核在目标像素处的影响程度。在一个实施例中，在步骤120中，可以至少部分地基于如在步骤110中计算的目标像素的方差来确定匹配度。例如，在一些实施例中，模糊核关于预定义频率的集合的方差可以被确定。为此，可以将与频率对应的滤波器fi应用于预定义的模糊核：
然后，可以基于目标像素的方差和针对预定义频率集合的模糊核的方差来确定目标像素与一个或多个模糊核之间的匹配度。例如，在一个实施例中，方差和之间的比率和/或差异可以用于测量匹配度。
替代地，在一些实施例中，可以使用更复杂的度量来测量像素和模糊核之间的匹配。例如，在一个实施例中，可以对模糊核的方差进行归一化。归一化可以例如如下进行：
其中Δ表示归一化系数。作为示例，在一个实施例中，归一化系数可以以下列方式确定：
在步骤120中，可以将目标像素和模糊核之间的匹配度计算为下面给出的置信度值：
应当理解，由等式(9)给出的匹配度仅为了说明的目的讨论，而没有暗示对本发明的范围的任何限制。可以基于目标像素的方差以任何合适的替代方式来计算匹配度。
方法100进行到步骤130，其中基于在步骤120中确定的匹配度，像素作为运动模糊的像素或非运动模糊的像素。通常，可以通过将其与模糊核的匹配度与预定阈值进行比较来对像素进行分类。如果匹配度超过阈值，则像素被分类为运动模糊的“前景”。如果匹配度低于阈值，则像素被分类为非运动模糊的“背景”。
具体地，在根据等式(9)计算匹配度的上述实施例中，阈值可以被设置为零。也就是说，如果P(n)超过零，则将像素分类为运动模糊的像素；否则，其为非运动模糊的像素。形式上，发明人已经证明，如果图像像素I(i,j)被模糊核k模糊，则P(i,j)不小于零：
否则，对于非运动模糊的像素，P(i,j)小于零：
在这两个不等式(10)和(11)中，假设x[n]表示在中心位于位置(i,j)的小区域中的非模糊的版本的梯度I(i,j)，并且yt[n]表示通过将x[n]与对应的局部正交滤波器ft进行卷积的特征映射之一。也就是说，如果图像像素I(i,j)被模糊核kn模糊，则该模糊核kn在以像素为中心的小局部区域中空间不变。另一方面，如果图像像素I(i,j)未被模糊，在这种情况下，模糊核可以被认为是狄拉克(Dirac)函数，则如上所述，在一些实施例中，滤波器ft可以根据等式(1)定义。在一个实施例中，窗函数W[n]可以具有与以像素I(i,j)为中心的局部区域相同的支撑区域。
已经证明在这方面，可以参考2010年IEEE计算机视觉和模式识别国际会议(IEEE International Conference on ComputerVision and Pattern Recognition)论文集中Ayan Chakrabarti、Todd Zickler和William T.Freeman的“AnalyzingSpatially-varying Blur”。因此，模糊指示函数可以定义如下：
其中并且因此，如果以下不等式被证明，则可以证明不等式(10)
因为(13)的双侧均为非负，相当于要证明以下不等式：
即
不等式(15)可以通过应用Cauchy-Schwarz不等式来证明。众所周知，根据Cauchy-Schwarz不等式，对于内积空间的所有向量x和y，以下成立
令
且
将(17)和(18)代入(16)可以得到(15)，从而证明不等式(10)。
不等式(11)可以以类似的方式证明。更具体地，因为当没有模糊时，因此，模糊指示符函数变为：
问题等同于证明
这等同于
不等式(21)与不等式(15)完全相同，不等式(15)已经通过使用Cauchy-Schwarz不等式被证明。这完成了不等式(11)的证明。
利用方法100，能够确定图像中的给定像素是运动模糊的前景像素还是非运动模糊的背景像素。通过将该方法应用于图像中的每个像素，可以检测移动对象。例如，包含预定义数量或比率的前景像素的区域可以被识别为移动对象。
具体地，在一些实施例中，可以从视频剪辑检测移动对象。图2示出了根据本发明的实施例的视频剪辑中的移动对象检测的这种方法的流程图。
方法200在步骤210处进入，其中来自视频中的多个帧[xt-T,xt-T-1,...,xt-2,xt-1,xt]中的帧中的像素被分类为运动模糊的像素或非运动模糊的像素。在步骤210中，通过应用如上所述的方法100对像素进行分类。
然后，方法200进行到步骤220以确定在当前帧中是否存在更多要分类的像素。如果是，则方法200返回到步骤210以对当前帧中的下一个像素进行分类。否则，如果在步骤220中确定当前帧中的所有像素均已被分类，则方法200进行到步骤230，以生成该帧的前景指示符。
在一些实施例中，帧级前景指示符可以被实现为指示运动模糊的像素的前景指示符向量。例如，对应于运动模糊的像素的前景指示符向量中的元素可以被设置为“1”，而对应于非运动模糊的像素的元素可以被设置为“0”。
然后，在步骤240中，确定视频中是否存在更多的帧要被处理。如果是，则重复步骤210至230以处理另一帧。另一方面，如果已经处理了所有帧，则方法200进行到步骤250。在步骤250中，基于针对多个帧的前景指示符来生成针对视频的前景指示符。在一些实施例中，该视频级前景指示符可以被实现为前景指示符向量，其可以通过组合针对帧的前景指示符向量来形成。
一般来说，根据本发明的实施例，前景指示符向量s的第i个元素si等于零或一，如下所示：
为了构建视频级前景指示符向量s，可以以各种方式组合帧级前景指示符向量。例如，在一个实施例中，如果在预定数目的帧级前景指示符向量中，针对像素i的元素为1(即，在这些帧中，像素i被确定为运动模糊的)，则视频级前景指示符向量的元素s(i)被设置为1。。应当理解，这种方案仅仅是为了说明的目的而给出的，而没有暗示对本发明的范围的任何限制。也可以使用任何其他合适的算法用于组合帧级前景指示符向量。
接下来，方法200进行到步骤260，其中可以基于在步骤250中生成的针对视频的前景指示符来从视频中检测移动对象。更具体地，前景的像素值可以根据针对视频的前景指示符来确定：
其中ps代表前景提取运算符。背景的像素值也可以根据前景指示向量来确定：
其中ps代表背景提取运算符。
与将相邻图像之间的差异视为移动对象的传统解决方案相反，本发明的实施例利用这种模糊线索用于检测移动对象。以这种方式，能够避免可能引起诸如照明变化、动态背景和噪声的帧间差异的因素的负面影响。基于直接和完全对应于移动对象的运动模糊信息，本发明的实施例更加鲁棒，实现更少的假警报和高检测率。
图3示出了根据本发明的示例实施例的装置的框图。如图所示，装置300包括：像素方差确定单元310，被配置为基于像素的梯度来确定针对频率集合的、图像中的像素的方差；匹配单元320，被配置为基于像素的方差来计算针对频率集合的、像素和模糊核的集合之间的匹配度，模糊核中的每一个模糊核表征导致图像中的模糊的运动类型；以及像素分类单元330，被配置为基于匹配度将像素分类为运动模糊的像素或非运动模糊的像素。
在一些实施例中，像素方差确定单元310包括被配置为生成图像的梯度图像的梯度图像生成单元；区域提取单元，被配置为从所述梯度图像中提取所述像素周围的区域；以及区域滤波单元，被配置为用与频率集合相对应的滤波器集合对该区域进行滤波以获得像素的方差。
在一些实施例中，匹配单元320包括：核心方差确定单元，被配置为针对频率集合确定模糊核的方差。在那些实施例中，匹配度是基于像素的方差和模糊核的方差来计算的。例如，匹配度可以根据等式(9)来计算。
在一些实施例中，像素分类单元330被配置为：如果匹配度超过预定义的值则将像素分类为运动模糊的像素；并且如果匹配度低于预定义的值，则将像素分类为非运动模糊的像素。
图4示出了根据本发明的示例实施例的装置的框图。如图所示，装置400包括如上参考图3所讨论的像素分类装置300。装置300被配置为：将视频中的多个帧中的每一个中的每个像素分类为运动模糊的像素或非运动模糊的像素。装置400还包括：帧级指示符生成单元410，被配置为基于分类来生成针对多个帧的前景指示符，前景指示符中的每一个指示相应帧中的运动模糊的像素；视频级指示符生成单元420，被配置为基于多个帧的前景指示符来生成针对视频的前景指示符；以及移动对象检测单元430，被配置为基于针对视频的前景指示符来检测视频中的移动对象。
图5示出了适于实现本发明的示例实施例的示例计算机系统500的框图。计算机系统500可以是诸如台式个人计算机(PC)、服务器、大型机等的固定型机器。替代地，计算机系统500可以是移动型机器，诸如移动电话、平板电脑、膝上型计算机、智能电话、个人数字助理(PDA)等。
如图所示，计算机系统500包括诸如中央处理单元(CPU)501的处理器，其能够根据存储在只读存储器(ROM)502中的程序或从存储单元508加载到随机存取存储器(RAM)503的程序来执行各种处理。在RAM503中，还根据需要存储CPU 501执行各种处理等时所需的数据。CPU 501、ROM 502和RAM 503经由总线504彼此连接。输入/输出(I/O)接口505也连接到总线504。
以下组件连接到I/O接口505：包括键盘、鼠标等的输入单元506；包括诸如阴极射线管(CRT)的显示器、液晶显示器(LCD)等的显示器和扬声器等的输出单元507；包括硬盘等的存储单元508；以及包括诸如LAN卡、调制解调器等网络接口卡的通信单元509。通信单元509经由诸如互联网的网络执行通信处理。驱动器510也根据需要连接到I/O接口505。诸如磁盘、光盘、磁光盘、半导体存储器等的可移除介质511根据需要安装在驱动器510上，从而从其读取的计算机程序根据需要被安装到存储单元508中。
具体地，根据本发明的示例实施例，上面参考图1和图2描述的过程可以通过计算机程序来实现。例如，本发明的实施例包括计算机程序产品，计算机程序产品包括有形地体现在机器可读介质上的计算机程序，所述计算机程序包括用于执行方法100和/或方法200的程序代码。在这样的实施例中，计算机程序可以经由通信单元509从网络下载和安装，和/或从可移除介质511安装。
本文功能描述的功能可以至少部分地由一个或多个硬件逻辑组件来执行。例如但非限制，可以使用的示意性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统系统(SOC)、复杂可编程逻辑器件(CPLD)等。
本发明的各种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。一些方面可以在硬件中实现，而其他方面可以在可由控制器、微处理器或其他计算设备执行的固件或软件中实现。虽然本发明的实施例的各个方面被示出和描述为框图、流程图或使用一些其他图形表示，但是将理解的是，本文描述的框、装置、系统、技术或方法可以作为非限制性示例被以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备、或其某种组合来实现。
作为示例，本发明的实施例可以在机器可执行指令的一般上下文中描述，该机器可执行指令诸如在目标实际处理器或虚拟处理器上的设备中执行的在程序模块中包括的那些指令。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。程序模块的功能可以如在各种实现中所期望的在程序模块之间组合或分开。用于程序模块的机器可执行指令可以在本地或分布式设备中执行。在分布式设备中，程序模块可以位于本地和远程存储介质中。
用于执行本发明的方法的程序代码可以以一种或多种编程语言的任何组合来编写。这些程序代码可以被提供给通用计算机、专用计算机、或其他可编程数据处理装置的处理器或控制器，使得程序代码在由处理器或控制器执行时，使在流程图和/或框图中指定的功能/操作被实现。程序代码可以完全在机器上执行、部分地在机器上、作为独立的软件包、部分地在机器上部分地在远程机器上、或者完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是可以包含或存储由指令执行系统、装置或设备使用或与其结合使用的程序的任何有形介质。机器可读介质可以是机器可读信号介质或机器可读存储介质。机器可读介质可以包括但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备、或前述内容的任何合适的组合。机器可读存储介质的更具体示例将包括具有一根或多根线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或上述的任何合适的组合。
此外，虽然操作被以特定顺序描绘，但是这不应被理解为要求这些操作以所示的特定顺序或按顺序执行，或者所有所示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。同样地，虽然上述讨论中包含若干具体的实现细节，但是这些不应被解释为对本发明的范围的限制，而是作为对具体实现特定的特征的描述。在单独的实现的上下文中描述的某些特征也可以在单个实现中组合地实现。相反，在单个实现的上下文中描述的各种特征也可以分开地或以任何合适的子组合在多个实现中实现。
虽然已经以结构特征和/或方法动作特定的语言描述了本发明，但是应当理解，在所附权利要求中限定的本发明不一定限于上述具体特征或动作。相反，上述具体特征和动作作为实施权利要求的示例形式被公开。

Claims (16)

1.一种计算机实现的方法，包括：
基于图像中的像素的梯度来确定针对频率集合的、所述像素的方差；
基于所述像素的所述方差来针对所述频率集合计算所述像素和模糊核的集合之间的匹配度，所述模糊核中的每一个模糊核表征导致所述图像中的模糊的运动类型；以及
基于所述匹配度将所述像素分类为运动模糊的像素或非运动模糊的像素。
2.根据权利要求1所述的方法，其中确定针对所述频率集合的、所述像素的所述方差包括：
生成所述图像的梯度图像；
从所述梯度图像中提取所述像素周围的区域；以及
通过用与所述频率集合相对应的滤波器集合对所述区域进行滤波来确定所述像素的所述方差。
3.根据权利要求1所述的方法，其中计算所述像素和所述模糊核的集合之间的所述匹配度包括：
针对所述频率集合确定所述模糊核的方差；以及
基于所述像素的所述方差和所述模糊核的所述方差来计算所述匹配度。
4.根据权利要求3所述的方法，其中基于所述像素的所述方差和所述模糊核的所述方差来计算所述匹配度包括：
针对所述频率集合对所述模糊核的所述方差归一化；以及
将所述匹配度计算为
其中r表示所述频率的数目，wt表示针对所述频率集合的、所述模糊核的经归一化的所述方差，并且表示针对所述频率集合中的第t个频率的、所述像素的所述方差。
5.根据权利要求4所述的方法，其中针对所述频率集合对所述模糊核的所述方差归一化包括：
针对所述频率集合的、所述模糊核的经归一化的所述方差生成为
<mrow> <msub> <mi>w</mi> <mi>t</mi> </msub> <mo>=</mo> <mfrac> <msubsup> <mi>&amp;sigma;</mi> <mrow> <mi>k</mi> <mi>t</mi> </mrow> <mn>2</mn> </msubsup> <mi>&amp;Delta;</mi> </mfrac> <mo>,</mo> </mrow>
其中表示针对所述频率集合中的所述第t个频率的、所述模糊核的所述方差。
6.根据权利要求1至5中任一项所述的方法，其中对所述像素进行分类包括：
如果所述匹配度超过预定义的值，则将所述像素分类为运动模糊的像素；以及
如果所述匹配度低于所述预定义的值，则将所述像素分类为非运动模糊的像素。
7.一种计算机实现的方法，包括：
对于视频中的多个帧中的每一个帧，
根据权利要求1至5中任一项将所述帧中的每个像素分类为运动模糊的像素或非运动模糊的像素；以及
基于所述分类来生成针对所述帧的前景指示符，所述前景指示符指示所述运动模糊的像素；
基于针对所述多个帧的所述前景指示符来生成针对所述视频的前景指示符；以及
基于针对所述视频的所述前景指示符来检测所述视频中的移动对象。
8.一种装置，包括：
像素方差确定单元，被配置为基于图像中的像素的梯度来确定针对所述频率集合的、所述像素的方差；
匹配单元，被配置为基于所述像素的所述方差来针对所述频率集合计算所述像素和模糊核的集合之间的匹配度，所述模糊核中的每一个模糊核表征导致所述图像中的模糊的运动类型；以及
像素分类单元，被配置为基于所述匹配度来将所述像素分类为运动模糊的像素或非运动模糊的像素。
9.根据权利要求8所述的装置，其中所述像素方差确定单元包括：
梯度图像生成单元，被配置为生成所述图像的梯度图像；
区域提取单元，被配置为从所述梯度图像中提取所述像素周围的区域；以及
区域滤波单元，被配置为用与所述频率集合相对应的滤波器集合来对所述区域进行滤波，以确定所述像素的所述方差。
10.根据权利要求8所述的装置，其中所述匹配单元包括：
核方差确定单元，被配置为针对所述频率集合确定所述模糊核的方差，
其中所述匹配度是基于所述像素的所述方差和所述模糊核的所述方差来计算的。
11.根据权利要求10所述的装置，其中所述匹配度被计算为
<mrow> <mi>P</mi> <mo>=</mo> <mrow> <mo>(</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>t</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>r</mi> </munderover> <msub> <mi>w</mi> <mi>t</mi> </msub> <msubsup> <mi>&amp;sigma;</mi> <mrow> <mi>y</mi> <mi>t</mi> </mrow> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mrow> <mo>(</mo> <mfrac> <mn>1</mn> <msqrt> <mi>r</mi> </msqrt> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>t</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>r</mi> </munderover> <msubsup> <mi>&amp;sigma;</mi> <mrow> <mi>y</mi> <mi>t</mi> </mrow> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
其中r表示所述频率的数目，wt表示通过针对所述频率集合对所述模糊核的所述方差归一化而获得的针对所述频率集合的、所述模糊核的经归一化的方差，并且表示针对所述频率集合中的第t个频率的、所述像素的所述方差。
12.根据权利要求11所述的装置，其中所述模糊核的所述经归一化的方差被生成为
<mrow> <msub> <mi>w</mi> <mi>t</mi> </msub> <mo>=</mo> <mfrac> <msubsup> <mi>&amp;sigma;</mi> <mrow> <mi>k</mi> <mi>t</mi> </mrow> <mn>2</mn> </msubsup> <mi>&amp;Delta;</mi> </mfrac> <mo>,</mo> </mrow>
其中表示针对所述频率集合中的所述第t个频率的、所述模糊核的所述方差。
13.根据权利要求7至12中任一项所述的装置，其中所述像素分类单元被配置为：
如果所述匹配度超过预定义的值，则将所述像素分类为运动模糊的像素；以及
如果所述匹配度低于所述预定义的值，则将所述像素分类为非运动模糊的像素。
14.一种装置，包括：
根据权利要求8至13中任一项所述的装置，被配置为将视频中的多个帧中的每一个帧中的每个像素分类为运动模糊的像素或非运动模糊的像素；
帧级指示符生成单元，被配置为基于所述分类来生成针对所述多个帧的前景指示符，所述前景指示符中的每一个前景指示符指示相应的所述帧中的所述运动模糊的像素；
视频级指示符生成单元，被配置为基于针对所述多个帧的所述前景指示符来生成针对所述视频的前景指示符；以及
移动对象检测单元，被配置为基于针对所述视频的所述前景指示符来检测所述视频中的移动对象。
15.一种设备，包括：
处理器；以及
包括计算机可执行指令的存储器，当由所述处理器执行时，所述指令使所述设备执行根据权利要求1至7中任一项所述的方法。
16.一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬时性计算机可读介质上并包括机器可执行指令，所述机器可执行指令在被执行时使所述机器执行根据权利要求1至7中任一项所述的方法的步骤。
CN201580077754.XA 2015-03-16 2015-03-16 基于运动模糊的移动对象检测 Pending CN107430694A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/074281 WO2016145591A1 (en) 2015-03-16 2015-03-16 Moving object detection based on motion blur

Publications (1)

Publication Number Publication Date
CN107430694A true CN107430694A (zh) 2017-12-01

Family

ID=56918388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580077754.XA Pending CN107430694A (zh) 2015-03-16 2015-03-16 基于运动模糊的移动对象检测

Country Status (4)

Country Link
US (1) US20180089839A1 (zh)
EP (1) EP3271871A4 (zh)
CN (1) CN107430694A (zh)
WO (1) WO2016145591A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223245A (zh) * 2019-05-16 2019-09-10 华南理工大学 基于深度神经网络的模糊图片清晰化处理方法及系统
CN111368813A (zh) * 2020-05-27 2020-07-03 支付宝(杭州)信息技术有限公司 运动模糊图像的识别方法、装置、电子设备和支付设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102551759B1 (ko) * 2017-04-17 2023-07-06 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치, 수신 방법, 기록 장치 및 기록 방법
CN107290700B (zh) * 2017-08-08 2020-12-04 上海联影医疗科技股份有限公司 一种相位校正方法、装置及磁共振系统
US10776671B2 (en) * 2018-05-25 2020-09-15 Adobe Inc. Joint blur map estimation and blur desirability classification from an image
CN112102147B (zh) * 2019-06-18 2022-03-08 腾讯科技（深圳）有限公司 背景虚化识别方法、装置、设备及存储介质
CN111145151B (zh) * 2019-12-23 2023-05-26 维沃移动通信有限公司 一种运动区域确定方法及电子设备
CN113111730B (zh) * 2021-03-23 2024-02-02 北京海鑫智圣技术有限公司 快速高精度的图像模糊检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100001989A1 (en) * 2008-07-02 2010-01-07 Sony Corporation Coefficient generating device and method, image generating device and method, and program therefor
CN102246440A (zh) * 2008-12-10 2011-11-16 慧视科技有限公司 用于处理视频帧的方法和设备
US20130071028A1 (en) * 2011-09-16 2013-03-21 Stepen N. Schiller System and Method for Estimating Spatially Varying Defocus Blur in a Digital Image

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100485594B1 (ko) * 2004-08-26 2005-04-27 (주) 넥스트칩 영상에서의 잡음을 제거하기 위한 잡음 처리 방법 및 그시스템
KR100769195B1 (ko) * 2006-02-09 2007-10-23 엘지.필립스 엘시디 주식회사 액정 표시장치의 구동장치 및 구동방법
US20090161756A1 (en) * 2007-12-19 2009-06-25 Micron Technology, Inc. Method and apparatus for motion adaptive pre-filtering
US8508606B2 (en) * 2009-11-20 2013-08-13 Hon Hai Precision Industry Co., Ltd. System and method for deblurring motion blurred images
US8731072B2 (en) * 2010-06-07 2014-05-20 Stmicroelectronics International N.V. Adaptive filter for video signal processing for decoder that selects rate of switching between 2D and 3D filters for separation of chroma and luma signals
US8503801B2 (en) * 2010-09-21 2013-08-06 Adobe Systems Incorporated System and method for classifying the blur state of digital image pixels
CN102254325B (zh) * 2011-07-21 2012-12-05 清华大学 一种运动模糊场景的分割及前景提取方法和系统
US9123137B2 (en) * 2011-10-27 2015-09-01 Toshiba Alpine Automotive Technology Corporation Motion vector computing device and motion vector computing method
US8681270B2 (en) * 2012-07-25 2014-03-25 Vixs Systems, Inc. Motion adaptive deinterlacer and methods for use therewith
US8995718B2 (en) * 2012-10-11 2015-03-31 Ittiam Systems (P) Ltd. System and method for low complexity change detection in a sequence of images through background estimation
US9165345B2 (en) * 2013-03-14 2015-10-20 Drs Network & Imaging Systems, Llc Method and system for noise reduction in video systems
US9943289B2 (en) * 2013-05-29 2018-04-17 B-K Medical Aps Color flow ultrasound imaging
CN103489201B (zh) * 2013-09-11 2016-10-05 华南理工大学 基于运动模糊信息的目标跟踪方法
US9232119B2 (en) * 2013-10-08 2016-01-05 Raytheon Company Integrating image frames
US9729784B2 (en) * 2014-05-21 2017-08-08 Google Technology Holdings LLC Enhanced image capture
JP6548367B2 (ja) * 2014-07-16 2019-07-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6699898B2 (ja) * 2016-11-11 2020-05-27 株式会社東芝 処理装置、撮像装置、及び自動制御システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100001989A1 (en) * 2008-07-02 2010-01-07 Sony Corporation Coefficient generating device and method, image generating device and method, and program therefor
CN102246440A (zh) * 2008-12-10 2011-11-16 慧视科技有限公司 用于处理视频帧的方法和设备
US20130071028A1 (en) * 2011-09-16 2013-03-21 Stepen N. Schiller System and Method for Estimating Spatially Varying Defocus Blur in a Digital Image

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223245A (zh) * 2019-05-16 2019-09-10 华南理工大学 基于深度神经网络的模糊图片清晰化处理方法及系统
CN111368813A (zh) * 2020-05-27 2020-07-03 支付宝(杭州)信息技术有限公司 运动模糊图像的识别方法、装置、电子设备和支付设备

Also Published As

Publication number Publication date
EP3271871A1 (en) 2018-01-24
US20180089839A1 (en) 2018-03-29
EP3271871A4 (en) 2018-10-17
WO2016145591A1 (en) 2016-09-22

Similar Documents

Publication Publication Date Title
CN107430694A (zh) 基于运动模糊的移动对象检测
US11205098B1 (en) Single-stage small-sample-object detection method based on decoupled metric
CN110020592B (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
CN106557778B (zh) 通用物体检测方法和装置、数据处理装置和终端设备
CN108229303B (zh) 检测识别和检测识别网络的训练方法及装置、设备、介质
US10984266B2 (en) Vehicle lamp detection methods and apparatuses, methods and apparatuses for implementing intelligent driving, media and devices
CN108230357B (zh) 关键点检测方法、装置、存储介质和电子设备
US20140064558A1 (en) Object tracking apparatus and method and camera
Pang et al. Motion blur detection with an indicator function for surveillance machines
CN111079638A (zh) 基于卷积神经网络的目标检测模型训练方法、设备和介质
CN110910445B (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN113378712B (zh) 物体检测模型的训练方法、图像检测方法及其装置
CN110349138B (zh) 基于实例分割框架的目标物体的检测方法及装置
Meus et al. Embedded vision system for pedestrian detection based on HOG+ SVM and use of motion information implemented in Zynq heterogeneous device
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN114219936A (zh) 目标检测方法、电子设备、存储介质和计算机程序产品
Balmik et al. A robust object recognition using modified YOLOv5 neural network
CN114663980B (zh) 行为识别方法、深度学习模型的训练方法及装置
CN110728229A (zh) 图像处理方法、装置、设备和存储介质
CN115861809A (zh) 杆状物检测及其模型的训练方法、装置、电子设备、介质
CN113936158A (zh) 一种标签匹配方法及装置
WO2016106595A1 (en) Moving object detection in videos
CN113642493A (zh) 一种手势识别方法、装置、设备及介质
CN113963322B (zh) 一种检测模型训练方法、装置及电子设备
CN111144438A (zh) 一种广告单中商品检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171201