CN111832349A - 遗留物错误检测的识别方法、装置及图像处理设备 - Google Patents

遗留物错误检测的识别方法、装置及图像处理设备 Download PDF

Info

Publication number
CN111832349A
CN111832349A CN201910311887.9A CN201910311887A CN111832349A CN 111832349 A CN111832349 A CN 111832349A CN 201910311887 A CN201910311887 A CN 201910311887A CN 111832349 A CN111832349 A CN 111832349A
Authority
CN
China
Prior art keywords
image
foreground
detection
over
carry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910311887.9A
Other languages
English (en)
Inventor
张楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201910311887.9A priority Critical patent/CN111832349A/zh
Priority to JP2020006672A priority patent/JP7392488B2/ja
Priority to EP20153100.1A priority patent/EP3726421A3/en
Priority to US16/776,956 priority patent/US11250269B2/en
Publication of CN111832349A publication Critical patent/CN111832349A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Abstract

本发明实施例提供了一种遗留物错误检测的识别方法、装置及图像处理设备，该方法包括：对当前帧图像进行前景检测，得到当前帧图像的前景图像，所述前景图像包括遗留前景图像；将所述遗留前景图像中的轮廓聚类成组，作为遗留物的候选区域；将所述遗留物的候选区域与参考背景图像进行比较，判断所述遗留物的候选区域与所述参考背景图像是否匹配，如果匹配，则认为上述遗留物为错误检测。通过将检测到的被视为遗留物的候选区域(blob)与缓存背景(参考背景图像)进行比较，如果匹配，则认为该候选区域(blob)不是遗留物，判定为检测错误。通过将判定结果反馈到前景检测模块，通过前景检测模块进行相应处理，在一定程度上消除了遗留物的错误检测。

Description

遗留物错误检测的识别方法、装置及图像处理设备
技术领域
本发明涉及图像处理技术领域，特别涉及一种遗留物错误检测的识别方法、装置及图像处理设备。
背景技术
在视频监控领域，遗留物检测(abandoned object detection)是非法停车检测、落物检测、道路侵入检测等应用的基础。大多数遗留物检测的算法都是基于不同的背景模块。背景模块根据每个像素的历史信息进行更新。如果某些像素与背景模块不同，则会被判断为前景。如果前景保持很长时间，则会被判断为遗留区域(abandoned region)。然而，真实的环境变化会导致错误的检测，特别是在一些复杂的场景中，例如，如果光线持续变化，会产生遗留物的错误检测。
应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
发明人发现，为了解决上述问题，现有技术中提出了使用分类器的方法，大多数的物体检测系统都可以使用分类器来判断检测到的前景是目标物体还是错误检测。一个好的分类器可以避免错误检测，但它不适合遗留物检测系统，因为遗留物不局限于特定的类型，它可能是盒子，掉落的货物或一些危险的液体。
为了解决上述问题的至少一个，本发明实施例提供一种遗留物错误检测的识别方法、装置及图像处理设备，以识别遗留物的错误检测，消除因遗留物的错误检测对物体检测系统的检测精度带来的影响。
根据本发明实施例的第一方面，提供了一种遗留物错误检测的识别方法，其中，所述方法包括：
对当前帧图像进行前景检测，得到当前帧图像的前景图像，所述前景图像包括遗留前景图像；
将所述遗留前景图像中的轮廓聚类成组，作为遗留物的候选区域；
将所述遗留物的候选区域与参考背景图像进行比较，判断所述遗留物的候选区域与所述参考背景图像是否匹配，如果匹配，则认为上述遗留物为错误检测。
根据本发明实施例的第二方面，提供了一种遗留物错误检测的识别装置，其中，所述装置包括：
前景检测单元，其对当前帧图像进行前景检测，得到当前帧图像的前景图像，所述前景图像包括遗留前景图像；
聚类单元，其将所述遗留前景图像中的轮廓聚类成组，作为遗留物的候选区域；
匹配单元，其将所述遗留物的候选区域与参考背景图像进行比较，判断所述遗留物的候选区域与所述参考背景图像是否匹配，如果匹配，则认为上述遗留物为错误检测。
根据本发明实施例的第三方面，提供了一种图像处理设备，其中，所述图像处理设备包括前述第二方面所述的识别装置。
根据本发明实施例的第四方面，提供了一种计算机可读程序，其中当在识别装置或图像处理设备中执行所述程序时，所述程序使得所述识别装置或图像处理设备执行本发明实施例的第一方面所述的识别方法。
根据本发明实施例的第五方面，提供了一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得识别装置或图像处理设备执行本发明实施例的第一方面所述的识别方法。
本发明实施例的有益效果在于：通过将检测到的被视为遗留物的候选区域(blob)与缓存背景(参考背景图像)进行比较，如果匹配，则认为该候选区域(blob)不是遗留物，判定为检测错误。通过将判定结果反馈到前景检测模块，通过前景检测模块进行相应处理，在一定程度上消除了遗留物的错误检测。
参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的条款的范围内，本发明的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
在本发明实施例的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。此外，在附图中，类似的标号表示几个附图中对应的部件，并可用于指示多于一种实施方式中使用的对应部件。
所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是实施例1的遗留物错误检测的识别方法的一个实施方式的示意图；
图2是某一帧图像的输入图像、前景掩膜和ROI掩膜的示意图；
图3是对参考背景图像进行更新的示意图；
图4是不对参考背景图像进行更新的示意图；
图5是图1的方法中判断遗留物的候选区域与参考背景图像是否匹配的示意图；
图6是遗留物检测的一个示意图；
图7是遗留物检测的另一个示意图；
图8是实施例2的遗留物错误检测的识别装置的示意图；
图9是实施例2的遗留物错误检测的识别装置中判断单元的示意图；
图10是实施例3的图像处理设备的示意图。
具体实施方式
参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。
在本发明实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
在本发明实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“所述”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”，术语“基于”应理解为“至少部分基于……”，除非上下文另外明确指出。
下面结合附图对本发明实施例的各种实施方式进行说明。这些实施方式只是示例性的，不是对本发明的限制。
实施例1
本实施例提供了一种遗留物错误检测的识别方法，图1是本发明实施例1的遗留物错误检测的识别方法的一个实施方式的示意图。请参照图1，该方法包括：
步骤101：对当前帧图像进行前景检测，得到当前帧图像的前景图像，所述前景图像包括遗留前景图像；
步骤102：将所述遗留前景图像中的轮廓聚类成组，作为遗留物的候选区域；
步骤103：将所述遗留物的候选区域与参考背景图像进行比较，判断所述遗留物的候选区域与所述参考背景图像是否匹配，如果匹配，则认为上述遗留物为错误检测。
在本实施例中，通过将检测到的被视为遗留物的候选区域(blob)与缓存背景(参考背景图像)进行比较，确定两者是否匹配，如果匹配，则认为该候选区域(blob)不是遗留物，判定为检测错误。由此可以对遗留物检测是否正确进行识别，在遗留物检测错误的情况下，也即针对遗留物出现了误检的情况下，可以将该判定结果反馈到前景检测模块，通过前景检测模块进行相应处理，在一定程度上消除了遗留物的错误检测。
在本实施例的步骤101中，当前帧图像可以是视频监控系统获取到的视频监控图像，通过将该当前帧图像输入到前景检测模块，可以对该当前帧图像进行前景检测。本实施例对前景检测方法不作限制，可以使用任意的前景检测方法，例如高斯背景模型方法、Vibe算法、帧差法等。通过对当前帧图像进行前景检测，可以得到该当前帧图像的前景图像，在该前景图像中，包含了移动前景和遗留前景，也即检测到了遗留物，通过本实施例的方法，对该遗留物检测是否正确进行识别。
在本实施例的步骤102中，针对遗留前景，本实施例通过一个二进制图像来代表该遗留前景，并找到该二进制图像中的轮廓，将这些轮廓聚类成组作为遗留物的候选区域(blob)，每个组作为一个候选对象，也即候选区域。本实施例对具体的聚类方法以及从上述二进制图像中寻找轮廓的方法不作限制，可以参考现有技术。
在本实施例的步骤103中，通过将遗留物的候选区域与参考背景图像进行比较，来判断该遗留物的候选区域与该参考背景图像是否匹配，如果匹配，则说明该检测到的遗留物并非真正的遗留物而是背景，也即，对该遗留物的检测为错误检测。
在本实施例中，参考背景图像可以从视频监控系统获得的图像中获得，例如，视频监控系统可以获得每一帧图像，当某一帧图像上没有目标(object)时，将其灰度图像作为参考背景图像，也可以称为缓存背景。关于每一帧图像上的目标检测方法，本实施例不作限制，可以采用现有的任意方法来实现，以确定当前帧图像上有没有目标。
在本实施例中，可以根据从当前帧图像中检测到的上述前景图像的占用率来对该参考背景图像进行更新。这里，前景图像的占用率是指该前景图像占当前帧图像上的感兴趣区域(ROI)的比率。
在本实施例的一个实施方式中，可以先计算一个ROI中每一行的占用率，然后将平均占用率作为当前帧图像的前景图像的占用率。图2是某一帧图像的输入图像(a)、前景掩膜(b)和ROI掩膜(c)的示意图，如图2所示，前景图像的占用率可以通过下面的公式计算获得：
Figure BDA0002031777760000051
在这个公式中，Ny是第y行前景像素的像素数，
Figure BDA0002031777760000052
Ly是第y行ROI的像素数，
Figure BDA0002031777760000053
Iy是第y行上的像素，fgmask是前景掩膜，包含了移动前景和遗留前景，roimask是ROI掩膜。y、yu以及yd表示行。
上述计算前景图像的占用率的公式只是举例说明，根据本实施例的实施原理以及该公式，还可以变形出其他公式，例如：
Figure BDA0002031777760000061
在本实施例的另一个实施方式中，也可以将整个ROI的前景像素数除以整个ROI的像素数作为前景图像的占用率，公式如下：
Figure BDA0002031777760000062
以上实施方式只是举例说明，本实施例并不以上述三个公式作为限制。
在本实施例中，如果前景图像的占用率(occ)小于预先设定的第一阈值，则认为当前帧图像不存在遗留物对象，将当前帧图像更新为参考背景图像；如果前景图像的占用率不小于该预先设定的第一阈值，则认为当前帧图像存在遗留物对象，对参考背景图像不做更新。本实施例对第一阈值的设定方式和设定依据不作限制，可以根据经验设定，也可以在参考了环境的前提下设定。由于参考背景图像是用于进行遗留物匹配的，可以将该第一阈值设定为较小的值。也就是说，当occ非常低时(小于第一阈值)，意味着没有移动或遗留物，当前帧的灰度图像将被更新为参考背景图像。在一个实施方式中，第一阈值可以设定为0.03。
图3是对参考背景图像进行更新的示意图，如图3所示，在这个例子中，前景图像的占用率为0，低于0.03，也就是说，在该车辆进入ROI之前，ROI内并不存在目标，如左边所示，此时，可以将参考背景图像更新为当前帧图像对应的灰度图像，如右边所示。
图4是不对参考背景图像进行更新的示意图，如图4所示，在这个例子中，前景图像的占用率为0.21，高于0.03，也就是说，车辆进入了ROI，ROI内存在新的目标，如左边所示，此时，不对参考背景图像进行更新，仍使用车辆到来之前的灰度图像作为参考背景图像，如右边所示。
在以上的说明中，以灰度图像作为参考背景图像为例进行了说明，本实施例对此不作限制，也可以采用当前帧图像的其他形式的图像作为参考背景图像，只要可以用于与遗留物的候选区域进行对比即可。
在本实施例的步骤103中，可以将遗留物的每个候选区域与参考背景图像进行比较，如果该候选区域与该参考背景图像匹配，则认为该遗留物为错误检测，也即，该遗留物并非真正的遗留物，例如其可能是背景。
图5是本实施例的步骤103的一个实施方式的示意图，如图5所示，该方法包括：
步骤501：确定所述参考背景图像上对应所述遗留物的候选区域的匹配范围；
步骤502：计算所述遗留物的候选区域与所述匹配范围的匹配度；
步骤503：如果所述匹配度大于预先设定的第二阈值，则所述遗留物的候选区域与所述匹配范围相互匹配，认为所述遗留物为错误检测；否则认为所述遗留物为正确检测。
在本实施方式的步骤501中，可以根据该遗留物的候选区域的大小确定该参考背景图像上对应的匹配范围。例如，将候选blob的大小作为窗口大小，使用匹配函数在参考背景图像中滑动以找到相应的匹配范围。并且，上述匹配范围的尺寸可以大于遗留物的候选区域的尺寸，原因是，从参考背景图像到当前帧图像视频监控系统的摄像机可能会移动，通过设定大于遗留物的候选区域的尺寸的匹配范围，可以减小摄像机移动带来的影响。在本实施方式中，该匹配范围可以是候选区域的预定倍数，例如0.2倍，但本实施例对此不作限制，根据经验该预定倍数也可以设定为其他值。
图6是遗留物检测的一个示意图，图6的(a)示出了当前帧图像，在当前帧图像上检测到了遗留物601，图6的(b)示出了遗留前景图像602，图6的(c)示出了遗留前景图像602的候选区域603以及参考背景图像上的匹配范围604。
在本实施方式的步骤502中，得到了遗留物的候选区域与相应的参考背景图像上的匹配范围之后，即可计算两者之间的匹配度。本实施例对匹配度的计算方式不作限制，下面通过一个例子进行说明。
在这个例子中，假设匹配范围为W×H，候选区域为w×h。
首先，将每个候选区域的灰度图像作为模板，使用匹配函数在W×H的参考背景图像中滑动，比较w×h的重叠斑块，将比较结果保存在一个矩阵(mat)中，得到的mat的大小为：(W-w+1)×(H-h+1)。
然后，使用归一化相关系数法进行模板匹配，如下面的公式所示。I代表原图像(匹配范围内的参考背景图像)，T是模板图像(候选区域中的灰度图像)，R是匹配结果，也即匹配度。
Figure BDA0002031777760000081
Figure BDA0002031777760000082
R(x,y)＝∑x′，y′(T′(x′,y′)·I′(x+x′,y+y′))
(x∈[0,W-w],y∈[0,H-h],x′∈[0,w-1],y′∈[0,h-1],x″∈[0,w-1],y″∈[0,h-1])
其中，T(x′,y′)表示模板图像(x′,y′)位置的像素值；I(x+x″,y+y″)表示模板图像(x+x″,y+y″)位置的像素值；T′(x′,y′)是模板图像在(x′,y′)位置的归一化相关性系数；I′(x+x′,y+y′)是原图像在(x+x′,y+y′)位置的归一化相关性系数；R(x,y)表示(x,y)位置的匹配结果。
在本实施方式中，在计算原图像I和模板图像T的相似性(匹配度)之前可以进行归一化处理，该操作可以避免由光照变化引起的误差。结果矩阵R值在-1到1的范围内，1表示原图像I与模板图像T相同，-1表示原图像I与模板图像T相反，0表示原图像I与模板图像T没有线性关系。
在本实施方式中，可以通过在结果矩阵R中查找最大值的方式，找到模板图像T在原图像I上的最佳匹配位置，例如，由于结果矩阵R中每个像素位置(x,y)存放了匹配范围中以(x,y)为起点计算的匹配度，结果矩阵R中匹配度最高的像素位置即为对应的匹配范围内的最佳匹配位置。
上述计算匹配度的方法只是举例说明，现有的任何计算匹配度的方法都可以应用于本申请。
在本实施方式的步骤503中，设置了匹配阈值(称为第二阈值)，在匹配度大于该匹配阈值的情况下，认为两者匹配，也即，该遗留物并非真正的遗留物，而可能是背景，当前对遗留物的检测属于错误检测；相反，在匹配度小于该匹配阈值的情况下，认为两者不匹配，也即，该遗留物可能是真正的遗留物，当前对遗留物的检测是正确的。
以上述计算匹配度的方法为例，可以将上述匹配度的计算结果中的最大值作为最终匹配度(match_degree)。match_degree越高，原图像I和模板图像T的匹配程度就越高。通过上述第二阈值可以来区分真实的遗留物和错误检测。也就是说，如果match_degree大于第二阈值，则该遗留物的候选区域与参考背景图像匹配，将其判断为错误检测。
本实施例对第二阈值的设定方式和设定依据不作限制，由于该第二阈值是用于判定上述候选区域与匹配范围是否匹配，因此，该第二阈值可以根据需要设定，例如，当对匹配的精度要求高时，可以将其设置为较大的值，当对匹配的精度要求不高时，可以将其设置为较小的值。在一个实施方式中，第二阈值可以设定为0.8。
在图6的例子中，匹配度为0.1093，小于0.8，则认为原图像I与模板图像T不匹配，这种情况下，根据本实施例的方法，不会判断为错误检测，也就是说，图6中的遗留物601是真正的遗留物。
图7是遗留物检测的另一个示意图，图7的(a)示出了当前帧图像，在当前帧图像上检测到了遗留物701，图7的(b)示出了遗留前景图像702，图7的(c)示出了遗留前景图像702的候选区域703以及参考背景图像上的匹配范围704。
如图7所示，在这个例子中，匹配度为0.969，大于0.8，这意味着原图像I与模板图像T匹配，这种情况下，根据本实施例的方法，判断为错误检测，也就是说，图7中的遗留物701并未真正的遗留物，而是背景的一部分。这种错误检测可能是光照变化引起的，也可能是其他原因引起的。
通过本实施例的方法得到错误检测的判断结果之后，即可将错误检测的信息反馈给前景检测模块，并调整背景模型，由此可以在一定程度上消除遗留物的错误检测。本实施例对前景检测模块在接收到该信息后的处理方式不作限制，其可以根据该信息进行任何可行的处理，并且，本实施例对背景模型的调整方式不作限制。
本实施例通过将检测到的被视为遗留物的候选区域(blob)与缓存背景(参考背景图像)进行比较，如果匹配，则认为该候选区域(blob)不是遗留物，判定为检测错误。通过将判定结果反馈到前景检测模块，通过前景检测模块进行相应处理，在一定程度上消除了遗留物的错误检测。
实施例2
本实施例提供了一种遗留物错误检测的识别装置，由于该装置解决问题的原理与实施例1的方法类似，因此其具体的实施可以参考实施例1的方法的实施，内容相同之处不再重复说明。
图8是本实施例的遗留物错误检测的识别装置800的示意图，如图8所示，该遗留物错误检测的识别装置800包括：前景检测单元801、聚类单元802以及判断单元803，该前景检测单元801对当前帧图像进行前景检测，得到当前帧图像的前景图像，所述前景图像包括遗留前景图像，该聚类单元802将所述遗留前景图像中的轮廓聚类成组，作为遗留物的候选区域；该判断单元803将所述遗留物的候选区域与参考背景图像进行比较，判断所述遗留物的候选区域与所述参考背景图像是否匹配，如果匹配，则认为上述遗留物为错误检测。
在本实施例中，当前帧图像可以是视频监控图像。但本实施例对此不作限制。
在本实施例中，如图8所示，该遗留物错误检测的识别装置800还可以包括：
更新单元804，其根据所述前景图像的占用率更新所述参考背景图像，所述前景图像的占用率为所述前景图像占所述当前帧图像上的感兴趣区域(ROI)的比率。
在本实施例中，该更新单元804可以在前景图像的占用率小于预先设定的第一阈值的情况下，认为当前帧图像不存在遗留物对象，将当前帧图像更新为参考背景图像；更新单元804还可以在前景图像的占用率不小于预先设定的第一阈值的情况下，认为当前帧图像存在遗留物对象，对参考背景图像不做更新。
在一个实施方式中，更新单元804可以通过以下公式计算前景图像的占用率：
Figure BDA0002031777760000101
其中，Ny是第y行前景像素的像素数，
Figure BDA0002031777760000102
Ly是第y行ROI的像素数，
Figure BDA0002031777760000103
Iy是第y行上的像素，fgmask是前景掩膜，roimask是ROI掩膜。
图9是本实施例的判断单元803的一个实施方式的示意图，如图9所示，该判断单元803可以包括：确定单元901、计算单元902以及决定单元903，该确定单元901可以确定参考背景图像上对应遗留物的候选区域的匹配范围，该计算单元902可以计算遗留物的候选区域与匹配范围的匹配度，该决定单元903可以在匹配度大于预先设定的第二阈值的情况下，确定为遗留物的候选区域与匹配范围相互匹配，遗留物为错误检测；否则确定为遗留物为正确检测。
在本实施方式中，上述匹配范围的尺寸可以大于遗留物的候选区域的尺寸。
在本实施例中，如图8所示，该遗留物错误检测的识别装置800还可以包括：
反馈单元805，其将错误检测的信息反馈给前景检测模块，并调整背景模型。
本实施例通过将检测到的被视为遗留物的候选区域(blob)与缓存背景(参考背景图像)进行比较，如果匹配，则认为该候选区域(blob)不是遗留物，判定为检测错误。通过将判定结果反馈到前景检测模块，通过前景检测模块进行相应处理，在一定程度上消除了遗留物的错误检测。
实施例3
本实施例提供一种图像处理设备，该图像处理设备包括如实施例2所述的遗留物错误检测的识别装置。
图10是本实施例的图像处理设备的示意图。如图10所示，图像处理设备1000可以包括：中央处理器(CPU)1001和存储器1002；存储器1002耦合到中央处理器1001。其中该存储器1002可存储各种数据；此外还存储信息处理的程序，并且在中央处理器1001的控制下执行该程序。
在一个实施方式中，遗留物错误检测的识别装置800的功能可以被集成到中央处理器1001中。其中，中央处理器1001可以被配置为实现如实施例1所述的遗留物错误检测的识别方法。
在另一个实施方式中，遗留物错误检测的识别装置800可以与中央处理器1001分开配置，例如可以将遗留物错误检测的识别装置800配置为与中央处理器1001连接的芯片，通过中央处理器1001的控制来实现遗留物错误检测的识别装置800的功能。
在本实施例中，中央处理器1001可以被配置为进行如下的控制：对当前帧图像进行前景检测，得到当前帧图像的前景图像，所述前景图像包括遗留前景图像；将所述遗留前景图像中的轮廓聚类成组，作为放弃物的候选区域；将所述放弃物的候选区域与参考背景图像进行比较，判断所述放弃物的候选区域与所述参考背景图像是否匹配，如果匹配，则认为上述放弃物为错误检测。
此外，如图10所示，图像处理设备1000还可以包括：输入输出(I/O)设备1003和显示器1004等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，图像处理设备1000也并不是必须要包括图10中所示的所有部件；此外，图像处理设备1000还可以包括图10中没有示出的部件，可以参考现有技术。
本发明实施例提供一种计算机可读程序，其中当在遗留物错误检测的识别装置或图像处理设备中执行所述程序时，所述程序使得所述遗留物错误检测的识别装置或图像处理设备执行如实施例1所述的方法。
本发明实施例提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得遗留物错误检测的识别装置或图像处理设备执行如实施例1所述的方法。
本发明以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。
结合本发明实施例描述的方法/装置可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图8中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合(例如，前景检测单元、聚类单元和判断单元等)，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图1所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，若设备(如移动终端)采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对附图中描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，可以实现为用于执行本发明所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。针对附图描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。

Claims (10)

1.一种遗留物错误检测的识别装置，其中，所述装置包括：
前景检测单元，其对当前帧图像进行前景检测，得到当前帧图像的前景图像，所述前景图像包括遗留前景图像；
聚类单元，其将所述遗留前景图像中的轮廓聚类成组，作为遗留物的候选区域；
判断单元，其将所述遗留物的候选区域与参考背景图像进行比较，判断所述遗留物的候选区域与所述参考背景图像是否匹配，如果匹配，则认为上述遗留物为错误检测。
2.根据权利要求1所述的识别装置，其中，所述当前帧图像为视频监控图像。
3.根据权利要求1所述的识别装置，其中，所述装置还包括：
更新单元，其根据所述前景图像的占用率更新所述参考背景图像，所述前景图像的占用率为所述前景图像占所述当前帧图像上的感兴趣区域的比率。
4.根据权利要求3所述的识别装置，其中，所述更新单元在所述前景图像的占用率小于预先设定的第一阈值的情况，认为当前帧图像不存在遗留物对象，将当前帧图像更新为参考背景图像；
所述更新单元在所述前景图像的占用率不小于所述预先设定的第一阈值的情况下，认为当前帧图像存在遗留物对象，对参考背景图像不做更新。
5.根据权利要求3所述的识别装置，其中，所述更新单元通过以下公式计算所述前景图像的占用率：
Figure FDA0002031777750000011
其中，Ny是第y行前景像素的像素数，
Figure FDA0002031777750000012
Ly是第y行感兴趣区域的像素数，
Figure FDA0002031777750000013
Iy是第y行上的像素，fgmask是前景掩膜，roimask是感兴趣区域掩膜。
6.根据权利要求1所述的识别装置，其中，所述判断单元包括：
确定单元，其确定所述参考背景图像上对应所述遗留物的候选区域的匹配范围；
计算单元，计算所述遗留物的候选区域与所述匹配范围的匹配度；
决定单元，其在所述匹配度大于预先设定的第二阈值的情况下，确定为所述遗留物的候选区域与所述匹配范围相互匹配，所述遗留物为错误检测；否则确定为所述遗留物为正确检测。
7.根据权利要求6所述的识别装置，其中，所述匹配范围的尺寸大于所述遗留物的候选区域的尺寸。
8.根据权利要求1所述的识别装置，其中，所述装置还包括：
反馈单元，其将错误检测的信息反馈给前景检测模块，并调整背景模型。
9.一种图像处理设备，其中，所述图像处理设备包括权利要求1-8任一项所述的识别装置。
10.一种放弃物错误检测的识别方法，其中，所述方法包括：
对当前帧图像进行前景检测，得到当前帧图像的前景图像，所述前景图像包括遗留前景图像；
将所述遗留前景图像中的轮廓聚类成组，作为放弃物的候选区域；
将所述放弃物的候选区域与参考背景图像进行比较，判断所述放弃物的候选区域与所述参考背景图像是否匹配，如果匹配，则认为上述放弃物为错误检测。
CN201910311887.9A 2019-04-18 2019-04-18 遗留物错误检测的识别方法、装置及图像处理设备 Pending CN111832349A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910311887.9A CN111832349A (zh) 2019-04-18 2019-04-18 遗留物错误检测的识别方法、装置及图像处理设备
JP2020006672A JP7392488B2 (ja) 2019-04-18 2020-01-20 遺留物誤検出の認識方法、装置及び画像処理装置
EP20153100.1A EP3726421A3 (en) 2019-04-18 2020-01-22 Recognition method and apparatus for false detection of an abandoned object and image processing device
US16/776,956 US11250269B2 (en) 2019-04-18 2020-01-30 Recognition method and apparatus for false detection of an abandoned object and image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910311887.9A CN111832349A (zh) 2019-04-18 2019-04-18 遗留物错误检测的识别方法、装置及图像处理设备

Publications (1)

Publication Number Publication Date
CN111832349A true CN111832349A (zh) 2020-10-27

Family

ID=69187646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910311887.9A Pending CN111832349A (zh) 2019-04-18 2019-04-18 遗留物错误检测的识别方法、装置及图像处理设备

Country Status (4)

Country Link
US (1) US11250269B2 (zh)
EP (1) EP3726421A3 (zh)
JP (1) JP7392488B2 (zh)
CN (1) CN111832349A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113821042A (zh) * 2021-11-23 2021-12-21 南京冈尔信息技术有限公司 一种基于机器视觉的货物运送障碍识别系统及方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220147749A1 (en) * 2020-11-12 2022-05-12 Objectvideo Labs, Llc Adversarial masks for scene-customized false detection removal
KR102604527B1 (ko) * 2023-06-30 2023-11-22 주식회사 티오씨 드론 방제시스템의 유류유출 모니터링 및 방제방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346156A (ja) * 2002-05-23 2003-12-05 Nippon Telegr & Teleph Corp <Ntt> 物体検出装置、物体検出方法、プログラムおよび記録媒体
US20100060732A1 (en) * 2008-09-05 2010-03-11 Fujitsu Limited Apparatus and method for extracting object image
CN102411703A (zh) * 2010-09-21 2012-04-11 索尼公司 检测图像序列中的特定对象的装置、方法和视频摄像设备
WO2018056355A1 (ja) * 2016-09-23 2018-03-29 株式会社日立国際電気 監視装置
CN109643488A (zh) * 2016-10-14 2019-04-16 富士通株式会社 交通异常事件检测装置及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201001338A (en) * 2008-06-16 2010-01-01 Huper Lab Co Ltd Method of detecting moving objects
JP5236592B2 (ja) 2009-08-06 2013-07-17 セコム株式会社 不審物検知装置
JP5635389B2 (ja) 2010-12-21 2014-12-03 株式会社日立メディコ 画像処理装置、画像処理プログラム、及びｘ線画像診断装置
JP5142416B2 (ja) 2011-07-07 2013-02-13 株式会社メガチップス 物体検出装置
JP2013030129A (ja) 2011-07-29 2013-02-07 Sumitomo Electric Ind Ltd 移動体検出装置、移動体検出システム、コンピュータプログラム及び移動体検出方法
US8675917B2 (en) * 2011-10-31 2014-03-18 International Business Machines Corporation Abandoned object recognition using pedestrian detection
CN102902960B (zh) 2012-09-25 2015-04-22 武汉烽火众智数字技术有限责任公司 基于高斯建模与目标轮廓的遗留物检测方法
US9237316B2 (en) 2013-03-04 2016-01-12 Sensormatic Electronics, LLC Method and system to characterize video background changes as abandoned or removed objects
CN104881643B (zh) 2015-05-22 2018-06-12 深圳市赛为智能股份有限公司 一种快速的遗留物检测方法及系统
CN106408554B (zh) 2015-07-31 2019-07-09 富士通株式会社 遗留物检测装置、方法和系统
CN106600955A (zh) 2015-10-14 2017-04-26 富士通株式会社 检测交通状态的方法、装置和电子设备
CN105488542B (zh) 2015-12-24 2019-04-23 福建星网物联信息系统有限公司 一种前景物体检测方法和设备
CN106204640A (zh) 2016-06-29 2016-12-07 长沙慧联智能科技有限公司 一种运动目标检测系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346156A (ja) * 2002-05-23 2003-12-05 Nippon Telegr & Teleph Corp <Ntt> 物体検出装置、物体検出方法、プログラムおよび記録媒体
US20100060732A1 (en) * 2008-09-05 2010-03-11 Fujitsu Limited Apparatus and method for extracting object image
CN102411703A (zh) * 2010-09-21 2012-04-11 索尼公司 检测图像序列中的特定对象的装置、方法和视频摄像设备
WO2018056355A1 (ja) * 2016-09-23 2018-03-29 株式会社日立国際電気 監視装置
CN109643488A (zh) * 2016-10-14 2019-04-16 富士通株式会社 交通异常事件检测装置及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113821042A (zh) * 2021-11-23 2021-12-21 南京冈尔信息技术有限公司 一种基于机器视觉的货物运送障碍识别系统及方法

Also Published As

Publication number Publication date
JP7392488B2 (ja) 2023-12-06
EP3726421A3 (en) 2020-10-28
US11250269B2 (en) 2022-02-15
JP2020177648A (ja) 2020-10-29
US20200334471A1 (en) 2020-10-22
EP3726421A2 (en) 2020-10-21

Similar Documents

Publication Publication Date Title
Marzougui et al. A lane tracking method based on progressive probabilistic Hough transform
US10192107B2 (en) Object detection method and object detection apparatus
Rezaei et al. Robust vehicle detection and distance estimation under challenging lighting conditions
US9514366B2 (en) Vehicle detection method and system including irrelevant window elimination and/or window score degradation
US11709282B2 (en) Asset tracking systems
US8902053B2 (en) Method and system for lane departure warning
KR101596299B1 (ko) 교통 표지판 인식 방법 및 장치
Mu et al. Multiple Vehicle Detection and Tracking in Highway Traffic Surveillance Video Based on SIFT Feature Matching.
US11321945B2 (en) Video blocking region selection method and apparatus, electronic device, and system
CN109977776A (zh) 一种车道线检测方法、装置及车载设备
US11250269B2 (en) Recognition method and apparatus for false detection of an abandoned object and image processing device
CN111783573B (zh) 一种远光灯检测方法、装置及设备
US11145046B2 (en) Detection of near-field occlusions in images
CN112287918B (zh) 一种人脸识别方法、装置及电子设备
CN112633255B (zh) 目标检测方法、装置及设备
JP2014164601A (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
JP7185419B2 (ja) 車両のための、対象物を分類するための方法および装置
CN112087593B (zh) 视频配置的更新装置、方法以及电子设备
Sun et al. Vehicle type recognition combining global and local features via two-stage classification
CN111382606A (zh) 摔倒检测方法、摔倒检测装置和电子设备
CN110619255A (zh) 一种目标检测方法及其装置
US20240127567A1 (en) Detection-frame position-accuracy improving system and detection-frame position correction method
CN113762027A (zh) 一种异常行为的识别方法、装置、设备及存储介质
CN112669277A (zh) 一种车辆关联方法，计算机设备以及装置
Das et al. Vehicle boundary improvement and passing vehicle detection in driver assistance by flow distribution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination