CN111882576A - 一种视频图像前景像素深度信息分类与前景分割方法和装置 - Google Patents

一种视频图像前景像素深度信息分类与前景分割方法和装置 Download PDF

Info

Publication number
CN111882576A
CN111882576A CN202010786958.3A CN202010786958A CN111882576A CN 111882576 A CN111882576 A CN 111882576A CN 202010786958 A CN202010786958 A CN 202010786958A CN 111882576 A CN111882576 A CN 111882576A
Authority
CN
China
Prior art keywords
pixels
foreground
image
pixel
uncertain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010786958.3A
Other languages
English (en)
Inventor
智慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhu Lingshang Information Technology Co ltd
Original Assignee
Wuhu Lingshang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhu Lingshang Information Technology Co ltd filed Critical Wuhu Lingshang Information Technology Co ltd
Priority to CN202010786958.3A priority Critical patent/CN111882576A/zh
Publication of CN111882576A publication Critical patent/CN111882576A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理领域，尤其涉及一种视频图像前景像素深度信息分类与前景分割方法和装置，获取待分割图像和其深度信息；对图像进行预处理；对图像进行初始分割，将图像像素分为三种：前景像素、背景像素、不确定像素；利用不同的图像信息，对前景像素、背景像素、不确定像素进行重分类；对重分类后的图像进行二值化处理和形态学处理，得到前景图像区域模板，将该模板与所述待分割图像进行匹配，进行前景分割。本发明提出的方法充分利用视频图像所能提供的用于前景分割的信息，通过简单的计算，实现较高的分割准确性。

Description

一种视频图像前景像素深度信息分类与前景分割方法和装置
本申请为申请号201810341818.8、申请日2018年04月17日、发明名称“一种视频图像前景分割方法和装置”的分案申请。
技术领域
本发明涉及图像处理领域，尤其涉及一种视频图像前景像素深度信息分类与前景分割方法和装置。
背景技术
目前，前景检测是机器视觉及图像处理的基本预处理，通过将待检测的图像与背景模型进行比较来检测前景是一种普遍使用并且有效的方法，在这一检测方法中，背景模型的准确程度将会直接影响到前景的检测结果，而环境光照等的变化，使得需要不断更新背景模型，背景模型更新的质量也严重影响到分割效果；而深度信息对图像光照变化不敏感，将深度信息应用到前景检测可获得较好的分割结果，例如对深度图进行k均值聚类及形态学操作；
但是目前的前景检测技术利用的图像信息单一，其分割精度受视频特点的影响，无法适应所有的视频图像的前景检测；而为了获得较高的分割准确性，往往设计了计算复杂度高的算法，交互繁琐。
发明内容
本发明提出一种视频图像前景像素深度信息分类与前景分割方法和装置，用于解决上述现有技术中存在的问题。
一种视频图像前景分割方法：
步骤1：获取待分割图像和其深度信息；
步骤2：对图像进行预处理；
步骤3：对图像进行初始分割，将图像像素分为三种：前景像素、背景像素、不确定像素；
步骤4：利用不同的图像信息，对前景像素、背景像素、不确定像素进行重分类；
步骤5：对步骤4获得的图像进行二值化处理和形态学处理，得到前景图像区域模板，将该模板与所述待分割图像进行匹配，进行前景分割。
所述步骤4具体包括：
步骤4-1：对于前景像素：进一步获取前景像素对应的深度信息，根据深度信息对前景像素进行分类，此时，部分前景像素被归为背景像素或不确定像素，并记录类别改变的前景像素数目；
步骤4-2：对于背景像素：进一步获取背景像素的颜色信息，根据颜色信息对背景像素进行分类，此时，部分背景像素被归为不确定像素，并记录类别改变的背景像素数目；
步骤4-3：对于不确定像素：计算不确定像素的运动信息，与设定运动阈值进行比较，将运动信息大于设定运动阈值的像素重新分类为前景像素；
步骤4-4：重复步骤4-1---4-3，直至满足预设条件。
一种视频图像前景分割装置，包括以下模块：
信息获取模块：用于获取待分割图像和其深度信息；
预处理模块：用于对图像进行预处理；
初始分割模块：用于对图像进行初始分割，将图像像素分为三种：前景像素、背景像素、不确定像素；
重分类模块：用于利用不同的图像信息，对前景像素、背景像素、不确定像素进行重分类；
分割模块：用于对重分类模块获得的图像进行二值化处理和形态学处理，得到前景图像区域模板，将该模板与所述待分割图像进行匹配，进行前景分割。
其中重分类模块包括前景像素处理子模块、背景像素处理子模块、不确定像素处理子模块和判断子模块；
前景像素处理子模块：用于对前景像素：进一步获取前景像素对应的深度信息，根据深度信息对前景像素进行分类，此时，部分前景像素被归为背景像素或不确定像素，并记录类别改变的前景像素数目；
背景像素处理子模块：用于对背景像素：进一步获取背景像素的颜色信息，根据颜色信息对背景像素进行分类，此时，部分背景像素被归为不确定像素，并记录类别改变的背景像素数目；
不确定像素处理子模块：用于对不确定像素：计算不确定像素的运动信息，与设定运动阈值进行比较，将运动信息大于设定运动阈值的像素重新分类为前景像素；
判断子模块：用于判断是否满足预设条件，若否，则返回前景像素处理模块进行处理；
本发明提出的方法充分利用视频图像所能提供的用于前景分割的信息，通过简单的计算，实现较高的分割准确性。
附图说明
图1是本发明的方法流程图。
图2是本发明的装置结构图。
具体实施方式
下面结合附图，对实施例作详细说明。
如图1所示的本发明的方法流程图：
步骤1：获取待分割图像和其深度信息；
待分割图像可以使视频监控设备获得的图像信息，可以利用双目成像原理，获取图像的深度信息；待分割图像也可以是有kinect直接获得彩色和深度图像。
步骤2：对图像进行预处理；
对图像的预处理可以包括对图像进行滤波平滑，去除图像噪声。
步骤3：对图像进行初始分割，将图像像素分为三种：前景像素、背景像素、不确定像素；
初始分割可以采用本领域公知的各种分割方法，如基于背景模型的分割、基于光流的分割等。
步骤4：利用不同的图像信息，对前景像素、背景像素、不确定像素进行重分类；具体的重分类过程为：
步骤4-1：对于前景像素：进一步获取前景像素对应的深度信息，根据深度信息对前景像素进行分类，此时，部分前景像素被归为背景像素或不确定像素，并记录类别改变的前景像素数目；
优选的方式为：获取前景像素对应的深度信息，获取深度信息均值，并计算前景像素深度信息与均值的差值大小，按照深度差值大小将深度信息分为三类，将差值较小的一类仍划分为前景像素，将差值较大的一类重分类为背景像素，剩余的前景像素重分类为不确定像素。
步骤4-2：对于背景像素：进一步获取背景像素的颜色信息，根据颜色信息对背景像素进行分类，此时，部分背景像素被归为不确定像素，并记录类别改变的背景像素数目；
优选的方式为：获取待处理图像背景像素颜色信息和前一帧图像对应像素处的颜色信息，当某像素的两种颜色信息的差值大于预设颜色阈值时，将该像素重分类为不确定像素。
步骤4-3：对于不确定像素：计算不确定像素的运动信息，与设定运动阈值进行比较，将运动信息大于设定运动阈值的像素重新分类为前景像素；
步骤4-4：重复步骤4-1---4-3，直至满足预设条件。是否满足预设条件可以采用下列方式进行判断：
获取类别改变的前景像素数目与对应的分类前的前景像素数目之比；
获取类别改变的背景像素数目与对应的分类前的背景像素数目之比；
获取获取类别改变的不确定像素数目与对应的分类前的不确定像素数目之比；
将三种比值求平均值，将该平均值与预设比值阈值进行比较，如果小于设定比值阈值，则满足预设条件；如果大于设定比值阈值，进一步判断迭代次数是否达到上限。
步骤5：对步骤4获得的图像进行二值化处理和形态学处理，得到前景图像区域模板，将该模板与所述待分割图像进行匹配，进行前景分割。
如图2所示的本发明的装置结构图，该装置包括信息获取模块、预处理模块、初始分割模块、重分类模块和分割模块。
信息获取模块：用于获取待分割图像和其深度信息；
预处理模块：用于对图像进行预处理；
初始分割模块：用于对图像进行初始分割，将图像像素分为三种：前景像素、背景像素、不确定像素；
重分类模块：用于利用不同的图像信息，对前景像素、背景像素、不确定像素进行重分类；
分割模块：用于对重分类模块获得的图像进行二值化处理和形态学处理，得到前景图像区域模板，将该模板与所述待分割图像进行匹配，进行前景分割。
其中重分类模块进一步包括前景像素处理子模块、背景像素处理子模块、不确定像素处理子模块和判断子模块；
前景像素处理子模块：用于对前景像素：进一步获取前景像素对应的深度信息，根据深度信息对前景像素进行分类，此时，部分前景像素被归为背景像素或不确定像素，并记录类别改变的前景像素数目；
优选地，前景像素处理子模块采用如下方式进行处理：获取前景像素对应的深度信息，获取深度信息均值，并计算前景像素深度信息与均值的差值大小，按照深度差值大小将深度信息分为三类，将差值较小的一类仍划分为前景像素，将差值较大的一类重分类为背景像素，剩余的前景像素重分类为不确定像素。
背景像素处理子模块：用于对背景像素：进一步获取背景像素的颜色信息，根据颜色信息对背景像素进行分类，此时，部分背景像素被归为不确定像素，并记录类别改变的背景像素数目；
优选地，背景像素处理子模块采用如下方式进行处理：获取待处理图像背景像素颜色信息和前一帧图像对应像素处的颜色信息，当某像素的两种颜色信息的差值大于预设颜色阈值时，将该像素重分类为不确定像素。
不确定像素处理子模块：用于对不确定像素：计算不确定像素的运动信息，与设定运动阈值进行比较，将运动信息大于设定运动阈值的像素重新分类为前景像素；
判断子模块：用于判断是否满足预设条件，若否，则返回前景像素处理模块进行处理；
优选地，所述判断子模块采用如下方式进行判断：
获取类别改变的前景像素数目与对应的分类前的前景像素数目之比；
获取类别改变的背景像素数目与对应的分类前的背景像素数目之比；
获取获取类别改变的不确定像素数目与对应的分类前的不确定像素数目之比；
将三种比值求平均值，将该平均值与预设比值阈值进行比较，如果小于设定比值阈值，则满足预设条件；
如果大于设定比值阈值，进一步判断迭代次数是否达到上限。
上述实施例仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种视频图像前景像素深度信息分类与前景分割方法，其特征在于包括以下步骤：
步骤1：获取待分割图像和其深度信息；
步骤2：对图像进行预处理；
步骤3：对图像进行初始分割，将图像像素分为三种：前景像素、背景像素、不确定像素；
步骤4：利用不同的图像信息，对前景像素、背景像素、不确定像素进行重分类；
步骤5：对步骤4获得的图像进行二值化处理和形态学处理，得到前景图像区域模板，将该模板与所述待分割图像进行匹配，进行前景分割；
其中，步骤4具体包括：
步骤4-1：对于前景像素：进一步获取前景像素对应的深度信息，根据深度信息对前景像素进行分类，此时，部分前景像素被归为背景像素或不确定像素，并记录类别改变的前景像素数目；
步骤4-2：对于背景像素：进一步获取背景像素的颜色信息，根据颜色信息对背景像素进行分类，此时，部分背景像素被归为不确定像素，并记录类别改变的背景像素数目；
步骤4-3：对于不确定像素：计算不确定像素的运动信息，与设定运动阈值进行比较，将运动信息大于设定运动阈值的像素重新分类为前景像素；
步骤4-4：重复步骤4-1---4-3，直至满足预设条件；
所述步骤4-1进一步包括：获取前景像素对应的深度信息，获取深度信息均值，并计算前景像素深度信息与均值的差值大小，按照深度差值大小将深度信息分为三类，将差值较小的一类仍划分为前景像素，将差值较大的一类重分类为背景像素，剩余的前景像素重分类为不确定像素。
2.如权利要求1所述的方法，其特征在于，其中，所述步骤4-4采用如下方式进行判断：
获取类别改变的前景像素数目与对应的分类前的前景像素数目之比；
获取类别改变的背景像素数目与对应的分类前的背景像素数目之比；
获取获取类别改变的不确定像素数目与对应的分类前的不确定像素数目之比；
将三种比值求平均值，将该平均值与预设比值阈值进行比较，如果小于设定比值阈值，则满足预设条件；
如果大于设定比值阈值，进一步判断迭代次数是否达到上限。
3.如权利要求2所述的方法，其特征在于，所述步骤4-2进一步包括：获取待处理图像背景像素颜色信息和前一帧图像对应像素处的颜色信息，当某像素的两种颜色信息的差值大于预设颜色阈值时，将该像素重分类为不确定像素。
4.一种视频图像前景像素深度信息分类与前景分割装置，其特征在于包括以下模块：
信息获取模块：用于获取待分割图像和其深度信息；
预处理模块：用于对图像进行预处理；
初始分割模块：用于对图像进行初始分割，将图像像素分为三种：前景像素、背景像素、不确定像素；
重分类模块：用于利用不同的图像信息，对前景像素、背景像素、不确定像素进行重分类；
分割模块：用于对重分类模块获得的图像进行二值化处理和形态学处理，得到前景图像区域模板，将该模板与所述待分割图像进行匹配，进行前景分割；
其中重分类模块包括前景像素处理子模块、背景像素处理子模块、不确定像素处理子模块和判断子模块；
前景像素处理子模块：用于对前景像素：进一步获取前景像素对应的深度信息，根据深度信息对前景像素进行分类，此时，部分前景像素被归为背景像素或不确定像素，并记录类别改变的前景像素数目；
背景像素处理子模块：用于对背景像素：进一步获取背景像素的颜色信息，根据颜色信息对背景像素进行分类，此时，部分背景像素被归为不确定像素，并记录类别改变的背景像素数目；
不确定像素处理子模块：用于对不确定像素：计算不确定像素的运动信息，与设定运动阈值进行比较，将运动信息大于设定运动阈值的像素重新分类为前景像素；
判断子模块：用于判断是否满足预设条件，若否，则返回前景像素处理模块进行处理；
所述前景像素处理子模块进一步包括：获取前景像素对应的深度信息，获取深度信息均值，并计算前景像素深度信息与均值的差值大小，按照深度差值大小将深度信息分为三类，将差值较小的一类仍划分为前景像素，将差值较大的一类重分类为背景像素，剩余的前景像素重分类为不确定像素。
5.如权利要求4所述的装置，其特征在于，其中，所述判断子模块采用如下方式进行判断：
获取类别改变的前景像素数目与对应的分类前的前景像素数目之比；
获取类别改变的背景像素数目与对应的分类前的背景像素数目之比；
获取获取类别改变的不确定像素数目与对应的分类前的不确定像素数目之比；
将三种比值求平均值，将该平均值与预设比值阈值进行比较，如果小于设定比值阈值，则满足预设条件；
如果大于设定比值阈值，进一步判断迭代次数是否达到上限。
6.如权利要求5所述的装置，其特征在于，所述背景像素处理子模块进一步包括：获取待处理图像背景像素颜色信息和前一帧图像对应像素处的颜色信息，当某像素的两种颜色信息的差值大于预设颜色阈值时，将该像素重分类为不确定像素。
CN202010786958.3A 2018-04-17 2018-04-17 一种视频图像前景像素深度信息分类与前景分割方法和装置 Withdrawn CN111882576A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010786958.3A CN111882576A (zh) 2018-04-17 2018-04-17 一种视频图像前景像素深度信息分类与前景分割方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010786958.3A CN111882576A (zh) 2018-04-17 2018-04-17 一种视频图像前景像素深度信息分类与前景分割方法和装置
CN201810341818.8A CN108537815B (zh) 2018-04-17 2018-04-17 一种视频图像前景分割方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810341818.8A Division CN108537815B (zh) 2018-04-17 2018-04-17 一种视频图像前景分割方法和装置

Publications (1)

Publication Number Publication Date
CN111882576A true CN111882576A (zh) 2020-11-03

Family

ID=63480786

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202010786784.0A Withdrawn CN111882574A (zh) 2018-04-17 2018-04-17 一种视频监控设备获得图像的前景分割方法和装置
CN202010786958.3A Withdrawn CN111882576A (zh) 2018-04-17 2018-04-17 一种视频图像前景像素深度信息分类与前景分割方法和装置
CN201810341818.8A Active CN108537815B (zh) 2018-04-17 2018-04-17 一种视频图像前景分割方法和装置
CN202010786789.3A Withdrawn CN111882575A (zh) 2018-04-17 2018-04-17 一种视频图像去噪和前景分割方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010786784.0A Withdrawn CN111882574A (zh) 2018-04-17 2018-04-17 一种视频监控设备获得图像的前景分割方法和装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201810341818.8A Active CN108537815B (zh) 2018-04-17 2018-04-17 一种视频图像前景分割方法和装置
CN202010786789.3A Withdrawn CN111882575A (zh) 2018-04-17 2018-04-17 一种视频图像去噪和前景分割方法和装置

Country Status (1)

Country Link
CN (4) CN111882574A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033463B (zh) * 2019-04-12 2021-06-04 腾讯科技（深圳）有限公司 一种前景数据生成及其应用方法、相关装置和系统
CN110378276B (zh) * 2019-07-16 2021-11-30 顺丰科技有限公司 车辆状态获取方法、装置、设备、及存储介质
CN115965734A (zh) * 2021-10-13 2023-04-14 北京字节跳动网络技术有限公司 图像处理方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101042735B (zh) * 2006-03-23 2010-11-17 株式会社理光 图像二值化方法和装置
CN101686338B (zh) * 2008-09-26 2013-12-25 索尼株式会社 分割视频中的前景和背景的系统和方法
CN105590309B (zh) * 2014-10-23 2018-06-15 株式会社理光 前景图像分割方法和装置
CN105590312B (zh) * 2014-11-12 2018-05-18 株式会社理光 前景图像分割方法和装置
CN104935832B (zh) * 2015-03-31 2019-07-12 浙江工商大学 针对带深度信息的视频抠像方法
WO2017167381A1 (en) * 2016-03-31 2017-10-05 Softkinetic Software Method for foreground and background determination in an image

Also Published As

Publication number Publication date
CN108537815A (zh) 2018-09-14
CN108537815B (zh) 2020-10-30
CN111882574A (zh) 2020-11-03
CN111882575A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN110334706B (zh) 一种图像目标识别方法及装置
CN113724231B (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
US9275289B2 (en) Feature- and classifier-based vehicle headlight/shadow removal in video
US10592754B2 (en) Shadow removing method for color image and application
US8902053B2 (en) Method and system for lane departure warning
CN109918971B (zh) 监控视频中人数检测方法及装置
CN104899554A (zh) 一种基于单目视觉的车辆测距方法
CN106651872A (zh) 基于Prewitt算子的路面裂缝识别方法及系统
CN111814686A (zh) 一种基于视觉的输电线路识别及异物入侵在线检测方法
CN104597057B (zh) 一种基于机器视觉的柱状二极管表面缺陷检测装置
CN108537815B (zh) 一种视频图像前景分割方法和装置
CN113449606B (zh) 一种目标对象识别方法、装置、计算机设备及存储介质
CN110706235A (zh) 一种基于双级级联分割的远红外行人检测方法
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN114004858B (zh) 基于机器视觉识别航空线缆表面编码的方法及装置
Daniel et al. Automatic road distress detection and analysis
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
CN108921857A (zh) 一种面向监视场景的视频图像焦点区域分割方法
CN111476804A (zh) 托辊图像高效分割方法、装置、设备及存储介质
CN111754525B (zh) 一种基于非精确切分的工业字符检测流程
CN107301421A (zh) 车辆颜色的识别方法及装置
CN116311212B (zh) 基于高速摄像机实现运动状态下的船号识别方法及装置
JP6377214B2 (ja) テキスト検出方法および装置
Sanap et al. License plate recognition system for Indian vehicles
CN113284158A (zh) 一种基于结构约束聚类的图像边缘提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201103