CN110782409A - 一种去除多运动物体阴影的方法 - Google Patents

一种去除多运动物体阴影的方法 Download PDF

Info

Publication number
CN110782409A
CN110782409A CN201911002521.XA CN201911002521A CN110782409A CN 110782409 A CN110782409 A CN 110782409A CN 201911002521 A CN201911002521 A CN 201911002521A CN 110782409 A CN110782409 A CN 110782409A
Authority
CN
China
Prior art keywords
shadow
image
background
stage
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911002521.XA
Other languages
English (en)
Other versions
CN110782409B (zh
Inventor
王芳
杨佳鑫
谢涛
刘伟
郭融
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN201911002521.XA priority Critical patent/CN110782409B/zh
Publication of CN110782409A publication Critical patent/CN110782409A/zh
Application granted granted Critical
Publication of CN110782409B publication Critical patent/CN110782409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种去除多运动物体阴影的方法,本方法包括视频图像预处理阶段、提取多运动物体前景阶段、视频图像后处理阶段和去除阴影阶段。本方法主要应用于智能监控下运动的行人和车辆检测,检测方法为:先通过预处理将视频图像压缩和灰度化,然后由视频图像像素点建立背景模型并与当前帧比较获取前景目标,再将灰度图中的目标前景映射到改进连通域标记过的视频图像中,最后将映射的每一个目标连通区域分别通过基于聚类分割法去除阴影。本方法能够有效去除智能视频监控中行人和车辆的阴影,同时满足实时性和准确性的要求。

Description

一种去除多运动物体阴影的方法
技术领域
本发明涉及一种去除多运动物体阴影的方法,尤指在智能交通监控领域观测行人与车辆行为规范时,去除多运动目标图像阴影的方法。
背景技术
近些年私家车激增,交通事故频发,其中很重要的一个原因是行人和车辆不注意自己的行为规范,比如无视红绿灯、不按规定走自己的车道等。为解决此类问题,智能交通监控的研究日渐成熟。
在具体的研究行人和车辆是否按规定道路行走和驾驶时,智能交通监控可以很好地跟踪运动目标的轨迹。但是有时候在评价行为规范时也会存在误判,例如当行人没有走在斑马线上而阴影投射到斑马线时,会造成误判(认为此时行人遵守了交通规则)。基于此类情况多运动目标在跟踪时去除其阴影非常有必要。目前常用的阴影检测和去除的方法有三种:
(1)基于颜色的阴影去除。利用阴影颜色和亮度的特性,通常在RGB、HSV、HIS的空间进行转换和组合来检测和去除阴影。但是颜色特性对光照较为敏感,容易产生误判。
(2)基于纹理的阴影去除。利用阴影和运动目标纹理特征不同的特性来检测和去除阴影。但是有些纹理特性不明显,不能达到区分运动目标和阴影的目的。
(3)基于模型的阴影去除。利用阴影的特性,建立阴影模型,但是模型建立比较困难且计算复杂,不能达到智能交通检测的实时性。
综上来看,上述三种方法对阴影的处理效果都有一定的局限性,尤其在解决智能交通监控检测行人和车辆行为是否规范问题上效果不是很好,所以去除阴影仍然是一个难点,值得研究。
发明内容
为解决上述存在的问题,本发明提供了一种基于聚类分割的多运动物体分别去除阴影的方法。
为了实现在智能交通监控中去除行人和车辆阴影的效果,本发明提供的一种去除多运动物体阴影的方法,包括视频图像预处理阶段、提取运动物体前景阶段、视频图像后处理阶段和去除阴影阶段。
其中视频图像预处理阶段包括如下步骤:
(1)输入一段运动视频,将视频按帧分割为单帧图像;
(2)对单帧图像进行灰度化处理;
提取运动物体前景阶段包括如下步骤:
(1)对灰度化后的单帧图像逐一进行提取,对单帧图像中的每个像素点建立背景模型,不同单帧图像中同样位置的每一个像素点采用相同的背景模型,像素点的背景模型是由N个样本值组成的样本集合M,这N个样本值均已判为背景点;
(2)通过从样本集合M中随机选取m个采样点作为样点,计算当前像素点x与样点间的距离ρ;
(3)统计ρ<R的采样点个数K,若K大于等于某一阈值,该像素点属于背景点,否则不是背景点,这样获取运动目标前景并转为二值图像,R为设定的距离;
视频图像后处理阶段包括如下步骤:
(1)对包含噪声以及运动物体阴影的二值图像进行形态学处理,去除噪声;
(2)将形态学处理过的二值图像用连通域标记的方法确定运动物体的位置;
(3)把视频图像预处理阶段中灰度化单帧图像运动目标前景映射到连通域处理后的二值图像中;
去阴影阶段包括如下步骤:
(1)将获得映射的二值图像分离为单独的一个个连通域;
(2)将单独的连通域通过基于聚类分割法去除阴影;
(3)将去除阴影后的单独一个个连通域重组,构成去除阴影的多运动目标前景二值图。
进一步的,在视频图像预处理阶段,单帧图像进行灰度化处理前,对单帧图像尺寸进行判断,设置单帧图像尺寸大于一定值时对图像进行压缩,压缩后的单帧图像再进行灰度化处理,保证图像处理的实时性。
进一步的,在提取运动物体前景阶段,当像素点被判别为背景点时,它就有
Figure BDA0002241772000000021
的概率去更新自身的模型样本集中的样本点,利用更新后的模型样本集去对下一帧图像进行提取。更新模板可以去除首帧存在目标时出现的鬼影,而且可以保证判断背景点的准确性。
进一步的,在更新模型样本集中的样本点时采用窗口法进行更新,先去除样本集合M中最开始的背景样本点。
进一步的,在视频图像后处理阶段中确定运动物体的位置时采用改进的连通域标记的方法,改进的连通域标记中加入了对不符合行人和车辆大小的物体的去除。
进一步的,单独的连通域通过基于聚类分割法去除阴影时对每个连通域进行灰度直方图统计,当绝大部分像素灰度值小于30时,认为此目标行人穿着黑衣服或车辆为黑色,需要在基于聚类分割后进行单独的二值反转;当绝大部分灰度值大于等于30时,可直接通过聚类分割去除阴影。
本发明与现有技术相比:
(1)和基于颜色和纹理的阴影去除相比,本发明提高了阴影去除的准确率;和基于模型的阴影去除相比,本发明降低了实现的复杂性,减少了运算量;
(2)本发明达到了多运动物体分离同时处理其阴影的效果。
附图说明
图1为本发明去除多运动物体阴影的方法的程序框图。
具体实施方式
下面结合附图,通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
本实施例提供一种去除多运动物体阴影的方法,如图1所示,包括视频图像预处理阶段、提取运动物体前景阶段、视频图像后处理阶段和去除阴影阶段,具体包括如下步骤:
1〉视频图像预处理阶段
(1)输入一段运动视频,将视频按帧分割为单帧图像;
(2)由于本方法包含像素级背景建模,输入单帧图像尺寸过大会影响算法的实时性,所以设置单帧图像尺寸大于400×300时对图像进行压缩;
(3)对压缩后的单帧图像进行灰度化处理。
2〉提取运动物体前景阶段
(4)对灰度化后的单帧图像逐一进行提取,对单帧图像中的每个像素点建立背景模型,不同单帧图像中同样位置的每一个像素点采用相同的背景模型,像素点的背景模型是由N个样本值Vi组成的样本集合M,这N个样本值均已判为背景点。记样本集合为M(x)={V1,V2,…,VN-1,VN},x为像素点。记V(x)为当前点在x处的像素值。
(5)通过从样本集合M中随机选取m个采样点作为样点,通过(式1)计算当前像素点x与样点间的距离;
(6)
Figure BDA0002241772000000041
(7)统计ρ<R的采样点个数K,若K大于等于某一阈值,该点属于背景点,否则不是背景点,这样运动目标前景被提取出来并转为二值图像。判定背景定义如(式2)所示:
(8)
Figure BDA0002241772000000042
(9)当该像素点被判别为背景点时,它就有的概率去更新自身的模型样本集中的样本点。在更新模型样本集中的样本点时采用窗口法进行更新,先去除样本集合M中最开始的背景样本点。
3〉视频图像后处理阶段
(10)对包含噪声以及运动物体阴影的二值图像进行形态学处理,去除噪声;
(11)将形态学处理过的二值图像用改进连通域标记的方法确定每个运动物体的位置,改进的连通域标记中加入了对不符合行人和车辆大小的物体的去除,如飘动的树叶;
(12)把(3)中灰度化运动目标前景映射到经改进连通域处理后的二值图中。
4〉去阴影阶段
(13)将获得映射的二值图分离为单独的一个个连通域;
(14)对每个连通域进行灰度直方图统计,当绝大部分像素灰度值小于30时,认为此目标行人穿着黑衣服或车辆为黑色,需要在基于聚类分割后进行单独的二值反转;当绝大部分灰度值大于等于30时,可直接通过聚类分割去除阴影;
(15)将去除阴影后的单独一个个连通域重组,构成去除阴影的多运动目标前景二值图。

Claims (6)

1.一种去除多运动物体阴影的方法,其特征在于包括视频图像预处理阶段、提取运动物体前景阶段、视频图像后处理阶段和去除阴影阶段,
其中视频图像预处理阶段包括如下步骤:
(1)输入一段运动视频,将视频按帧分割为单帧图像;
(2)对单帧图像进行灰度化处理;
提取运动物体前景阶段包括如下步骤:
(1)对灰度化后的单帧图像逐一进行提取,对单帧图像中的每个像素点建立背景模型,不同单帧图像中同样位置的每一个像素点采用相同的背景模型,像素点的背景模型是由N个样本值组成的样本集合M,这N个样本值均已判为背景点;
(2)通过从样本集合M中随机选取m个采样点作为样点,计算当前像素点x与样点间的距离ρ;
(3)统计ρ<R的采样点个数K,若K大于等于某一阈值,该像素点属于背景点,否则不是背景点,这样获取运动目标前景并转为二值图像,R为设定的距离;
视频图像后处理阶段包括如下步骤:
(1)对包含噪声以及运动物体阴影的二值图像进行形态学处理,去除噪声;
(2)将形态学处理过的二值图像用连通域标记的方法确定运动物体的位置;
(3)把视频图像预处理阶段中灰度化单帧图像运动目标前景映射到连通域处理后的二值图像中;
去阴影阶段包括如下步骤:
(1)将获得映射的二值图像分离为单独的一个个连通域;
(2)将单独的连通域通过基于聚类分割法去除阴影;
(3)将去除阴影后的单独一个个连通域重组,构成去除阴影的多运动目标前景二值图。
2.根据权利要求1所述的一种去除多运动物体阴影的方法,其特征在于在视频图像预处理阶段,单帧图像进行灰度化处理前,对单帧图像尺寸进行判断,设置单帧图像尺寸大于一定值时对图像进行压缩,压缩后的单帧图像再进行灰度化处理。
3.根据权利要求2所述的一种去除多运动物体阴影的方法,其特征在于在提取运动物体前景阶段,当像素点被判别为背景点时,它就有
Figure FDA0002241771990000021
的概率去更新自身的模型样本集中的样本点,利用更新后的模型样本集去对下一帧图像进行提取。
4.根据权利要求3所述的一种去除多运动物体阴影的方法,其特征在于在更新模型样本集中的样本点时采用窗口法进行更新,先去除样本集合M中最开始的背景样本点。
5.根据权利要求1或2所述的一种去除多运动物体阴影的方法,其特征在于在视频图像后处理阶段中确定运动物体的位置时采用改进的连通域标记的方法,改进的连通域标记中加入了对不符合行人和车辆大小的物体的去除。
6.根据权利要求1或2所述的一种去除多运动物体阴影的方法,其特征在于单独的连通域通过基于聚类分割法去除阴影时对每个连通域进行灰度直方图统计,当绝大部分像素灰度值小于30时,认为此目标行人或车辆穿着黑衣服或者为黑色,需要在基于聚类分割后进行单独的二值反转;当绝大部分灰度值大于等于30时,可直接通过聚类分割去除阴影。
CN201911002521.XA 2019-10-21 2019-10-21 一种去除多运动物体阴影的方法 Active CN110782409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911002521.XA CN110782409B (zh) 2019-10-21 2019-10-21 一种去除多运动物体阴影的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911002521.XA CN110782409B (zh) 2019-10-21 2019-10-21 一种去除多运动物体阴影的方法

Publications (2)

Publication Number Publication Date
CN110782409A true CN110782409A (zh) 2020-02-11
CN110782409B CN110782409B (zh) 2023-05-09

Family

ID=69386208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911002521.XA Active CN110782409B (zh) 2019-10-21 2019-10-21 一种去除多运动物体阴影的方法

Country Status (1)

Country Link
CN (1) CN110782409B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667420A (zh) * 2020-05-21 2020-09-15 维沃移动通信有限公司 图像处理方法及装置
CN112651377A (zh) * 2021-01-05 2021-04-13 河北建筑工程学院 一种冰雪运动事故检测方法、装置及终端设备
CN113727095A (zh) * 2021-08-27 2021-11-30 杭州萤石软件有限公司 摄像头移动的检测方法、装置、设备、系统及存储介质
CN117809052A (zh) * 2024-03-01 2024-04-02 海豚乐智科技(成都)有限责任公司 一种块状目标检测及特征提取方法、装置及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1756313A (zh) * 2004-09-30 2006-04-05 中国科学院计算技术研究所 运动视频的全景图合成方法
US20070036432A1 (en) * 2003-11-12 2007-02-15 Li-Qun Xu Object detection in images
CN101236606A (zh) * 2008-03-07 2008-08-06 北京中星微电子有限公司 视频监控中的阴影消除方法及系统
US20090003725A1 (en) * 2007-06-26 2009-01-01 Marcel Merkel Image processing device for detecting and suppressing shadows, method, and computer program
CN102117479A (zh) * 2009-12-30 2011-07-06 中国人民解放军国防科学技术大学 面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法
JP2011237931A (ja) * 2010-05-07 2011-11-24 Sumitomo Electric Ind Ltd 移動体識別装置、コンピュータプログラム及び移動体識別方法
CN102332157A (zh) * 2011-06-15 2012-01-25 夏东 一种消除阴影的方法
CN104537695A (zh) * 2015-01-23 2015-04-22 贵州现代物流工程技术研究有限责任公司 一种抗阴影和遮挡的多运动目标检测和跟踪方法
CN104537633A (zh) * 2014-12-18 2015-04-22 河南师范大学 一种利用图像融合技术消除图像反影的方法
CN106815587A (zh) * 2015-11-30 2017-06-09 浙江宇视科技有限公司 图像处理方法及装置
CN107230188A (zh) * 2017-04-19 2017-10-03 湖北工业大学 一种视频运动阴影消除的方法
KR101841966B1 (ko) * 2017-02-21 2018-03-26 주식회사 에스원 영상에서 이동 객체 그림자 제거 방법 및 장치

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070036432A1 (en) * 2003-11-12 2007-02-15 Li-Qun Xu Object detection in images
CN1756313A (zh) * 2004-09-30 2006-04-05 中国科学院计算技术研究所 运动视频的全景图合成方法
US20090003725A1 (en) * 2007-06-26 2009-01-01 Marcel Merkel Image processing device for detecting and suppressing shadows, method, and computer program
CN101236606A (zh) * 2008-03-07 2008-08-06 北京中星微电子有限公司 视频监控中的阴影消除方法及系统
CN102117479A (zh) * 2009-12-30 2011-07-06 中国人民解放军国防科学技术大学 面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法
JP2011237931A (ja) * 2010-05-07 2011-11-24 Sumitomo Electric Ind Ltd 移動体識別装置、コンピュータプログラム及び移動体識別方法
CN102332157A (zh) * 2011-06-15 2012-01-25 夏东 一种消除阴影的方法
CN104537633A (zh) * 2014-12-18 2015-04-22 河南师范大学 一种利用图像融合技术消除图像反影的方法
CN104537695A (zh) * 2015-01-23 2015-04-22 贵州现代物流工程技术研究有限责任公司 一种抗阴影和遮挡的多运动目标检测和跟踪方法
CN106815587A (zh) * 2015-11-30 2017-06-09 浙江宇视科技有限公司 图像处理方法及装置
KR101841966B1 (ko) * 2017-02-21 2018-03-26 주식회사 에스원 영상에서 이동 객체 그림자 제거 방법 및 장치
CN107230188A (zh) * 2017-04-19 2017-10-03 湖北工业大学 一种视频运动阴影消除的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DAN LI: ""Research on Moving Object Detecting and Shadow Removal"" *
YONG QUAN: ""A New Technique for Ray Tracing Point-Based Geometry"" *
朱世松: ""一种基于交通视频车辆阴影去除算法的研究"" *
金圣韬: "\"基于团块模型的行人阴影抑制算法\"" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667420A (zh) * 2020-05-21 2020-09-15 维沃移动通信有限公司 图像处理方法及装置
CN111667420B (zh) * 2020-05-21 2023-10-24 维沃移动通信有限公司 图像处理方法及装置
CN112651377A (zh) * 2021-01-05 2021-04-13 河北建筑工程学院 一种冰雪运动事故检测方法、装置及终端设备
CN113727095A (zh) * 2021-08-27 2021-11-30 杭州萤石软件有限公司 摄像头移动的检测方法、装置、设备、系统及存储介质
CN117809052A (zh) * 2024-03-01 2024-04-02 海豚乐智科技(成都)有限责任公司 一种块状目标检测及特征提取方法、装置及存储介质
CN117809052B (zh) * 2024-03-01 2024-05-14 海豚乐智科技(成都)有限责任公司 一种块状目标检测及特征提取方法、装置及存储介质

Also Published As

Publication number Publication date
CN110782409B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN109829403B (zh) 一种基于深度学习的车辆防碰撞预警方法及系统
CN112036254B (zh) 基于视频图像的运动车辆前景检测方法
CN112800860B (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
Kaur et al. An efficient approach for number plate extraction from vehicles image under image processing
CN110782409B (zh) 一种去除多运动物体阴影的方法
CN111723644A (zh) 一种监控视频遮挡检测方法及系统
Khalifa et al. Malaysian Vehicle License Plate Recognition.
CN107578048B (zh) 一种基于车型粗分类的远视场景车辆检测方法
CN111027475A (zh) 一种基于视觉的实时交通信号灯识别方法
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
Jagannathan et al. License plate character segmentation using horizontal and vertical projection with dynamic thresholding
CN105046218A (zh) 一种基于串并行处理的多特征交通视频烟雾检测方法
Du et al. Research on an efficient method of license plate location
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
CN116052090A (zh) 图像质量评估方法、模型训练方法、装置、设备及介质
Xie et al. Robust vehicles extraction in a video-based intelligent transportation systems
CN111695374B (zh) 监控视角中斑马线区域的分割方法、系统、介质及设备
CN114841874B (zh) 一种图像处理方法、装置、设备及存储介质
Taha et al. Moving shadow removal for multi-objects tracking in outdoor environments
Davix et al. License plate localization by sobel vertical edge detection method
CN110633705A (zh) 一种低照度成像车牌识别方法及装置
Muniruzzaman et al. Deterministic algorithm for traffic detection in free-flow and congestion using video sensor
Ghosh et al. A vehicle number plate recognition system using region-of-interest based filtering method
Kaur et al. An Efficient Method of Number Plate Extraction from Indian Vehicles Image
CN112801963B (zh) 一种视频图像遮挡检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant