CN111161307B - 图像分割方法、装置、电子设备及存储介质 - Google Patents

图像分割方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111161307B
CN111161307B CN202010182923.9A CN202010182923A CN111161307B CN 111161307 B CN111161307 B CN 111161307B CN 202010182923 A CN202010182923 A CN 202010182923A CN 111161307 B CN111161307 B CN 111161307B
Authority
CN
China
Prior art keywords
image
segmented
foreground
pixel point
normal distributions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010182923.9A
Other languages
English (en)
Other versions
CN111161307A (zh
Inventor
丁旭
胡文泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Publication of CN111161307A publication Critical patent/CN111161307A/zh
Application granted granted Critical
Publication of CN111161307B publication Critical patent/CN111161307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种图像分割方法、装置、电子设备及存储介质，所述方法包括：获取待处理视频中每一帧的光流信息；将所述光流信息添加到对应的帧图像中进行融合，得到待分割图像，所述待分割图像包括光流通道以及颜色通道；对所述待分割图像进行动态背景建模，并提取动态背景建模过程中的前景图像作为目标分割图像进行输出。通过对待处理视频中待分割图像进行动态背景建模，使得到待分割图像中的背景图像与前景图像分离，从而得到目标分割图像，不依赖于标注数据；另外，由于待分割图像中添加了光流信息，使得到分离出的前景图像更准确。

Description

图像分割方法、装置、电子设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种图像分割方法、装置、电子设备及存储介质。
背景技术
人工智能在安防领域中广泛应用，通过在各个需求场景中部署摄像头对该需求场景进行视频监控，比如对交通场景的智能监控，用来监测道路中行驶车辆的行驶信息，比如对商超场景的智能监控，用来监测商超中行人的运动信息。在监测的过程中，需要对监测的目标进行目标图像分割，以提取出对应的目标图像，现有的目标分割主要是基于CNN(中文名称：卷积神经网络，英文名称：Convolutional Neural Network，简称CNN)，但是由于CNN需要大量的标注数据，标注数据包含样本数据以及对样本的标注，样本数据难以收集，标注过程工作量大。因此，现有图像分割技术依赖高度标注数据，存在目标分割受标注数据影响较大的问题。
发明内容
本发明实施例提供一种图像分割方法，能够不依赖标注数据进行图像分割。
第一方面，本发明实施例提供一种图像分割方法，包括：
获取待处理视频中每一帧的光流信息；
将所述光流信息添加到对应的帧图像中进行融合，得到待分割图像，所述待分割图像包括光流通道以及颜色通道；
对所述待分割图像进行动态背景建模，并提取动态背景建模过程中的前景图像作为目标分割图像进行输出。
可选的，所述对所述待分割图像进行动态背景建模，包括：
获取所述待处理视频中的连续帧图像，其中，所述连续帧图像中每个像素点对应K个正态分布，K大于1，所述正态分布包括均值参数、方差参数以及权重参数；
根据当前待分割图像的的光流通道以及颜色通道，提取每个像素点对应的融合向量，所述融合向量融合有对应像素点的颜色维度以及光流维度；
将所述融合向量与对应的K个正态分布进行匹配，判断所述每个像素点是否匹配到满足预设条件的正态分布；
若存在融合向量匹配到满足预设条件的M个正态分布的像素点，则将所述M个正态分布进行第一参数更新，并保持其余K-M个正态分布的参数不变，其中，M大于等于1，且M小于等于K；
若存在融合向量匹配不到满足预设条件的正态分布的像素点，则在所述像素点对应的K个正态分布中选取均值距离最大的正态分布进行权重赋值，基于所述权重赋值对所述K个正态分布进行第二参数更新，所述均值距离为像素点的融合向量与正态分布中均值参数的距离值；
基于所述正态分布的方差参数和/或权重参数，选取N个正态分布，并根据所述N个正态分布判断对应像素点是否属于背景像素点，其中，N大于等于1，且N小于等于K；
基于所述背景像素点，构建所述当前待分割图像的帧背景。
可选的，所述提取动态背景建模过程中的前景图像，包括：
将当前待分割图像的每个像素点的融合向量与对应的N个正态分布进行匹配，判断所述每个像素点是否匹配到满足预设条件的正态分布；
若存在像素点匹配不到满足预设条件的正态分布，则判断所述匹配不到满足预设条件的正态分布的像素点为前景像素点；
基于所述前景像素点，构建所述当前待分割图像的帧前景，并将所述帧图像的帧前景更新为所述监测场景的前景图像。
可选的，所述获取待处理视频中每一帧的光流信息，包括：
将待处理视频按帧图像序列输入到预先训练好的神经网络中进行光流信息提取，得到相邻两帧图像中后一帧图像的光流信息。
可选的，所述待处理视频为目标监控场景的监测视频，所述提取动态背景建模过程中的前景图像作为目标分割图像进行输出，包括：
提取动态背景建模过程中的前景图像；
通过图像分类网络对所述前景图像进行分类识别，并判断所述前景图像是否为目标分类图像；
若所述前景图像为目标分类图像，则将所述目标分类图像作为目标分割图像进行输出。
可选的，所述目标监控场景为车辆行驶道路，所述目标分类图像包括车辆图像，所述若所述前景图像为目标分类图像，则将所述目标分类图像作为目标分割图像进行输出，包括：
若所述前景图像为车辆图像，则将所述车辆图像作为目标分割图像进行输出。
第二方面，本发明实施例提供一种图像分割装置，包括：
获取模块，用于获取待处理视频中每一帧的光流信息；
融合模块，用于将所述光流信息添加到对应的帧图像中进行融合，得到待分割图像，所述待分割图像包括光流通道以及颜色通道；
提取模块，用于对所述待分割图像进行动态背景建模，并提取动态背景建模过程中的前景图像作为目标分割图像进行输出。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的图像分割方法中的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的图像分割方法中的步骤。
本发明实施例中，获取待处理视频中每一帧的光流信息；将所述光流信息添加到对应的帧图像中进行融合，得到待分割图像，所述待分割图像包括光流通道以及颜色通道；对所述待分割图像进行动态背景建模，并提取动态背景建模过程中的前景图像作为目标分割图像进行输出。通过对待处理视频中待分割图像进行动态背景建模，使得到待分割图像中的背景图像与前景图像分离，从而得到目标分割图像，不依赖于标注数据；另外，由于待分割图像中添加了光流信息，使得到分离出的前景图像更准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像分割方法的流程图；
图2是本发明实施例提供的一种动态背景建模方法的流程图；
图3是本发明实施例提供的一种图像分割装置的结构示意图；
图4是本发明实施例提供的另一种图像分割装置的结构示意图；
图5是本发明实施例提供的另一种图像分割装置的结构示意图；
图6是本发明实施例提供的另一种图像分割装置的结构示意图；
图7是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种图像分割方法的流程图，如图1所示，包括以下步骤：
101、获取待处理视频中每一帧的光流信息。
其中，上述的待处理视频可以是目标监控场景的监测视频，上述的待处理视频可以通过用户在用户端上进行上传，也可以是通过部署在目标监控场景的摄像头拍摄的实时监测视频。上述的目标监控场景可以对运动目标进行监测的场景，比如道路、人行道、商超、河流等需要对运动目标进行监测。比如，当目标监控场景为道路时，上述运动目标可以是车辆，当目标监控场景为人行道或商超时，上述的运动目标可以是行走人员，当上述目标监控场景为河流时，上述的运动目标可以是船只，等等。在一种可能的实施例中，上述的目标监控场景也还可以是限制人员进出的场景，比如需要保密的场景、存在较高危险的场景等，此时，上述的运动目标可以是人员。
上述的光流信息可以理解为视频图像中各个像素点随时间的运动信息，上述的待处理视频中每一帧的光流信息可以通过预先训练好的卷积神经网络进行提取，比如flownet或flownet2等卷积神经网络进行提取，当然，上述光流信息也可以通过其他的方式进行提取，比如基于变分能量模型的优化算法或基于块匹配的启发式算法等方式进行提取。在本发明实施例中，上述的光流信息为待处理视频中相邻两帧图像的光流信息。
具体的，上述光流信息包括各个像素点在相邻两帧图像中，由前一帧图像位移到后一帧图像的运动信息，上述运动信息包括像素点在位移过程中的X轴偏移量、Y轴偏移量及位移路程，上述的位移路程也可以称为位移长度。
102、将光流信息添加到对应的帧图像中进行融合，得到待分割图像。
在该步骤中，由于在帧图像中添加了光流信息，使得上述待分割图像包括光流通道以及颜色通道。
上述的光流信息包括各个像素点的X轴偏移量、Y轴偏移量及位移路程中的一项或多项。
在本发明的一个实施例中，当前待分割图像的光流信息包括各个像素点的X轴偏移量、Y轴偏移量及位移路程，将上述的各个像素点的包括各个像素点的X轴偏移量、Y轴偏移量及位移路程分别添加到当前待分割图像中，形成对应的三个光流通道。上述的颜色通道可以是R、G、B三种颜色的通道，也可以是灰度值通道。本发明实施例优选为R、G、B三种颜色的通道，R、G、B三种颜色分别对应R、G、B三个通道，即本发明实施例中通过将各个像素点的X轴偏移量、Y轴偏移量及位移路程融合到当前待分割图像中，得到六个通道的待分割图像。上述待分割图像中，包括R、G、B三个通道以及X轴偏移量、Y轴偏移量及位移路程三个通道，使得上述待分割图像的每个像素点被六个通道维度的信息所表达，丰富了待分割图像的表达信息，提高了图像分割的准确性。
在本发明的另一个实施例中，通过确定运动目标的运动方向，以及设置摄像头的拍摄位置，使得添加光流信息中包括的信息减少。比如，将摄像头设置在与道路路面平齐的位置用于拍摄车辆侧身，那么该摄像头拍摄到的道路在帧图像中的表征则是直线的，此时，在拍摄到的监测视频中，车辆为从左到右直线行驶，或从右到左直线行驶，此时，只需要在当前待分割图像中融合X轴偏移量信息即可，即待分割图像中包括R、G、B三个通道以及X轴偏移量通道。这样，可以根据摄像头的合理拍摄，在减少待分割图像中光流信息的通道数量，也可以保证图像分割的精度。
103、对待分割图像进行动态背景建模，并提取动态背景建模过程中的前景图像作为目标分割图像进行输出。
上述的动态背景建模指的是根据不同当前待分割图像建立不同的背景图像，即每一帧图像都对应一个背景图像。上述的背景图像在连续图像序列中的体现为：连续图像序列中，作为背景图像的像素点的像素值不变或像素值变化在一定范围内。上述的动态背景建模依赖于连续图像序列中像素点在不同帧图像之间的关联，可以理解为在连续图像序列中一个像素点作为背景像素点的像素值变化是服从正态分布的，该背景像素点的像素值在变化过程中，该背景像素点的像素值分布在一个范围内，该范围以该背景像素点的像素值的变化均值进行确定，可以认为背景像素点的像素值变化分布在该变化均值的两侧。
具体的，请参见图2，图2是本发明实施例提供的一种动态背景建模方法的流程图，如图2所示，上述动态背景建模的方法包括以下步骤：
201、获取待处理视频中的连续待分割图像。
其中，上述的连续待分割图像指是在时间序列上的连续图像，该连续图像中包括光流信息以及颜色信息。其中，上述光流信息通过X轴偏移量、Y轴偏移量及位移路程三个通道进行表征，上述颜色信息通过R、G、B三个通道来表征。
202、根据当前待分割图像的的光流通道以及颜色通道，提取每个像素点对应的融合向量。
通过添加光流通道，使得融合向量融合有对应像素点的颜色维度以及光流维度。假设当前待分割图像对应待处理视频中第t帧图像，则对于该当前待分割图像中一个像素点j，其通过R、G、B、X轴偏移量、Y轴偏移量及位移路程总共六个通道的通道值进行表示，设当前待分割图像中R、G、B、X轴偏移量、Y轴偏移量及位移路程的通道值分别为R、G、B、X、Y、S，则第t帧待分割图像中像素点j的融合向量xj,t可以表征为：(Rj，t，Gj，t，Bj，t，Xj，t，Yj，t，Xj，t)。当然，该融合向量的维度与待分割图像的通道数相关。
203、构建连续待分割图像中每个像素点对应K个正态分布。
其中，K大于1，上述正态分布包括均值参数、方差参数以及权重参数。其中，上述的均值参数可以是与融合向量对应的均值向量，上述方差参数可以是与与融合向量对应的协方差矩阵，上述的权重参数为一个标量系数。需要说明的是，上述正态分布的均值参数与方差参数也融合了光流信息，使得到该正态分布同时融合了像素点颜色变化与光流变化的分布情况。
在该步骤中，可以先对第一帧图像的每个像素点对应的K个正态分布进行初始化，使该K个正态分布中，其中，该K个正态分布可以通过下列式子进行表达：
Figure BDA0002413184280000071
其中，上述的P(xj)表示第j个像素点的正态分布模型，该正态分布模型中包括该第j个像素点的K个正态分布，xj,t表示该第j个像素点的像素值，上述的ωi,t表示第t帧图像中第j个像素点的第i个正态分布的权重参数，上述的
Figure BDA0002413184280000072
表示第t帧图像中第j个像素点的第i个正态分布的均值参数，上述的
Figure BDA0002413184280000073
表示第t帧图像中第j个像素点的第i个正态分布的方差参数，上述的η为正态分布的密度函数，上述的σ为标准差，由
Figure BDA0002413184280000074
得到。其中，上述的
Figure BDA0002413184280000075
可以通过协方差矩阵进行表示，具体如下：
Figure BDA0002413184280000076
通过该协方差矩阵，使得到密度函数中，每个方差只影响融合向量中的对应通道维度的值。
在对第一帧图像的每个像素点对应的K个正态分布进行初始化过程中，可以将该第一帧图像的每个像素点中一个正态分布进行初始化，上述的初始化可以是将该个正态分布中的均值参数赋值为对应像素点的融合向量，将权重参数赋值为1，此时方差为0，除该个正态分布的其余正态分布的均值参数和权重参数都赋值为0。比如，一个像素点有5个正态分布，即K＝5，在这5个正态分布中，选取一个正态分布的均值参数和权重参数进行赋值，其余的4个正态分布的均值参数和权重参数都赋值为0。由于第一帧图像中各个像素点没有在前序列的依赖，所以需要对该第一帧图像中各个像素点的正态分布进行初始化。
当然，在一种可能的实施例中，可以采用随机初始化的方式对第一帧图像中每个像素点的所有正态分布进行随机赋值，需要说明的是，该随机赋值过程中，所有正态分布的权重参数的赋值之和需要等于1。
204、将当前待分割图像的每个像素点的像素值与对应的K个正态分布进行匹配。
其中，上述的当前待分割图像的不为第一帧待分割图像。
以当前待分割图像中的一个像素点j来举例进行说明，假设当前待分割图像为第t帧待分割图像，可以理解的是，在之前的第一帧待分割图像到第t－1帧待分割图像中，每个像素点对应像素值的均值与方差都是求已知的，比如，截至第t－1帧待分割图像，在像素点j的K个正态分布中，均值参数为第一帧待分割图像到第t－1帧待分割图像中像素点j所有像素值之和，再除以帧待分割图像的数据，即是除以t－1，得到该均值参数为
Figure BDA0002413184280000081
像素点j的方差参数为第t－1帧待分割图像中像素点j对应的像素值减去该均值参数
Figure BDA0002413184280000082
再求平方得到该方差参数为
Figure BDA0002413184280000083
由此可得第t－1帧待分割图像中像素点j的K个正态分布：
Figure BDA0002413184280000084
在当前的第t帧待分割图像中，如果像素点j为背景像素点，则像素点j的像素值xj满足上述k个正态分布中的一个或多个。这是由于在监测场景中，背景像素点对应的像素值通常是不变的或变化很小的，也就是说，背景像素点对应的像素值分布，在一定的像素值范围内是可被预测的，由于长时间对背景像素点对应的像素值进行采样处理，使得背景像素点对应的像素值数据量足够大，进而使得背景像素点对应的像素值服从正态分布，即数据集中在均值参数的附近，遵从正态分布的随机变量，为均值参数附近的值的概率大，为远离均值参数的值的概率小。举例来说，将第t帧待分割图像中像素点j的像素值xj,t看作随机变量，如果像素点j为背景像素点，则xj,t是在
Figure BDA0002413184280000091
近取值。因此，可以通过xj,t与
Figure BDA0002413184280000092
的关系来对像素点j对应的K个正态分布进行匹配。
205、判断各个像素点是否匹配到满足预设条件的正态分布。
若存在像素值匹配到满足预设条件的M个正态分布的像素点，则转入步骤206，若存在像素值匹配不到满足预设条件的正态分布的像素点，则转入步骤207。
上述的预设条件可以是xj,t与
Figure BDA0002413184280000093
的距离值满足预先设置的距离值阈值，上述预先设置的距离值阈值可以是根据xj,t-1的正态分布中的标准差进行确定，该标准差由
Figure BDA0002413184280000094
得到。具体的，可以判断xj,t与
Figure BDA0002413184280000095
的距离值是否小于该标准差长度的系数倍，比如判断xj,t与
Figure BDA0002413184280000096
的距离值是否小于1.5倍、2.5倍等标准差长度。
若xj,t与
Figure BDA0002413184280000097
的距离值是否小于该标准差长度的系数倍，则说明该第t帧中像素点j服从该正态分布，即匹配到满足预设条件的正态分布。遍历判断是否服从该个像素点的K个正态分布，从而判断该第t帧中像素点j服从K个正态分布的个数。遍历第t帧中每个像素点，从而判断各个像素点匹配的正态分布情况。
206、将M个正态分布进行第一参数更新，并保持其余K-M个正态分布的参数不变。
其中，M大于等于1，且M小于等于K。
在该步骤中，对满足预设条件的M个正态分布进行更新，上述的第一参数更新指的是对正态分布中的均值参数以及方差参数进行更新，比如，将
Figure BDA0002413184280000098
更新为新均值
Figure BDA0002413184280000099
将
Figure BDA00024131842800000910
更新为新均值
Figure BDA00024131842800000911
即可得到第t帧中像素点j的当前正态分布。对于一个像素点，只以满足预设条件的M个正态分布进行更新，保持剩余K-M个正态分布的参数不变。
207、在像素点对应的K个正态分布中选取均值距离最大的正态分布进行权重赋值，基于权重赋值对K个正态分布进行第二参数更新。
上述均值距离为像素点的像素值与正态分布中均值参数的欧几里德距离值。
在该步骤中，对于一个像素点匹配不到对应的K个正态分布中的任意一个时，则选取xj,t与
Figure BDA00024131842800000912
的距离值最大的一个正态分布进行第二参数更新，剩余的K－1个正态分布保持不变。
上述的第二参数更新指的是对正态分布中的权重参数进行更新，比如，将ωi,t-1更新为新均值ωi,t，具体的，在更新后，再次判断该个像素点是否与新的正态分布匹配。可以通过下述公式对正态分布中的权重参数进行更新：
ωi,t＝(1-a)·ωi,t-1+a·Mi,t
其中，上述的a为算法的学习速率，上述的Mi,t为更新后的匹配结果，若更新权重后该个像素点能够匹配新的正态分布，则Mi,t取值为1，若更新权重后该个像素点仍然不能够匹配新的正态分布，则Mi,t取值为0。
由于背景像素点是服从正态分布的，所以，上述该个像素点若能够匹配新的正态分布，则说明该个像素点为背景点，若不能够匹配新的正态分布分布，则说明该个像素点为前景点。具体的，根据上述权重参数更新式子可以知道，若该个像素点能够匹配新的正态分布，则最终的正态分布中权重参数是增大的，若该个像素点不能够匹配新的正态分布，则最终的正态分布中权重参数是减小的。
208、基于正态分布的方差参数和/或权重参数，选取N个正态分布，并根据N个正态分布判断对应像素点是否属于背景像素点。
其中，N为K个正态分布中权重参数与方差参数比值最大于N个正态分布，N大于等于1，且N小于等于K。
上述的方差参数表征了数据分布的离散程度，方差越大，离散程度越大，方差越小，离散程度越小。离散程度越小，说明数据集中在一个小范围，特征也就越明显。因此，一个背景像素点可以选取K个正态分布中方差参数最小的N个正态分布作为该背景的最佳描述。
上述的权重参数表征了各个正态分布的数据支持程度，当背景持续不改变时，该背景中的背景像素点对应的分布数据会持续累积，所支持的正态分布权重比例就越高，落入该正态分布的概率就越高。因此，一个背景像素点可以选取K个正态分布中权重参数最大的N个正态分布作为该背景的最佳描述。需要说明的是，在一个像素点对应的K个正态分布中，K个权重参数之和为1。
作为本发明的一个实施例，也可以是根据权重参数与方差参数的比值来进行选取，一个背景像素点可以选取K个破碎分布中权重参数与方差参数比值最大的N个正态分布作为该背景的最佳描述。
在确定各个像素点对应的N个正态分布后，将当前的第t帧待分割图像中各个像素点与对应的N个正态分布再次进行匹配，匹配到至少一个正态分布时，则说明该个像素点为背景像素点，转入步骤209。若匹配不到任意一个正态分布时，则说明该个像素点为前景像素点，转入步骤210。
209、基于背景像素点，构建当前待分割图像的帧背景，并将当前待分割图像的帧背景更新为监测场景的背景图像。
在确定像素点为当前待分割图像的背景像素点时，则可以对当前待分割图像的背景像素点进行掩码，以区别于前景部分，得到对应当前待分割图像的帧背景，将该帧背景更新到待处理视频中对应的帧待分割图像，从而得到监测场景的每一帧背景图像。
在本发明实施例中，通过正态分布对背景图像的背景像素点进行判断，可以一个像素点以往的光流数据分布以及颜色数据分布来预测该像素点是否为背景像素点，提高动态背景建模的准确度。
在该步骤中，将当前待分割图像的每个像素点的像素值与对应的N个正态分布进行匹配，判断每个像素点是否匹配到满足预设条件的正态分布；若存在像素点匹配不到满足预设条件的正态分布，则说明该像素点不服从背景像素点的正态分布，进而判断匹配不到满足预设条件的正态分布的像素点为前景像素点。
210、基于前景像素点，构建当前待分割图像的帧前景，并将帧待分割图像的帧前景更新为监测场景的前景图像。
在该步骤中，将当前待分割图像的每个像素点的像素值与对应的N个正态分布进行匹配，判断每个像素点是否匹配到满足预设条件的正态分布；若存在像素点匹配不到满足预设条件的正态分布，则判断匹配不到满足预设条件的正态分布的像素点为前景像素点；基于前景像素点，构建当前待分割图像的帧前景，并将帧待分割图像的帧前景更新为所述监测场景的前景图像。同理，在确定像素点为前景像素点时，可以对当前待分割图像的前景像素点进行掩码，以区别于背景部分，得到对应当前待分割图像的帧前景，并将该帧前景更新到待处理视频中对应的帧待分割图像，从而得到监测场景的每一帧前景图像。
本发明实施例中的动态背景建模通过正态分布对每待处理视频中的每一帧待分割图像进行建模，在建模过程中，融合了光流信息与颜色信息，同时对每一帧待分割图像中各个像素点运动变化和颜色变化的分布进行预测，可以更精确地判断该个像素点是否为背景像素点，从而更加精确地得到前景图像。
在得到前景图像后，可以提取该前景图像作为目标分割图像进行输出。
在本发明实施例中，获取待处理视频中每一帧的光流信息；将所述光流信息添加到对应的帧待分割图像中进行融合，得到待分割图像，所述待分割图像包括光流通道以及颜色通道；对所述待分割图像进行动态背景建模，并提取动态背景建模过程中的前景图像作为目标分割图像进行输出。通过对待处理视频中待分割图像进行动态背景建模，使得到待分割图像中的背景图像与前景图像分离，从而得到目标分割图像，不依赖于标注数据；另外，由于待分割图像中添加了光流信息，使得到分离出的前景图像更准确。
可选的，在提取动态背景建模过程中的前景图像后，可以通过图像分类网络对该提取到的前景图像进行分类识别，并判断该提取到的前景图像是否为目标分类图像，若为目标分类图像，则将该提取到前景图像作为目标分割图像进行输出。比如，当目标分类图像为车辆图像时，若识别前景图像为车辆图像，则将该车辆图像作为目标分割图像进行输出。
上述的目标分类图像与目标监控场景相关，比如，当目标监控场景为道路时，上述目标分类图像可以是车辆，当目标监控场景为人行道或商超时，上述的目标分类图像可以是人员，当上述目标监控场景为河流时，上述的目标分类图像可以是船只，等等。需要说明的是，上述的目标分类图像可以是一个或多个，比如，若目标监控场景只监测人员，则只对识别为人员的前景图像进行输出，若目标监控场景只监测车辆，则只对识别为车辆的前景图像进行输出，或者，目标监控场景同时监测人员和车辆，则只对识别为人员或车辆的前景图像进行输出。
需要说明的是，本发明实施例提供的图像分割方法可以应用于需要对运动目标进行分割处理的手机、监控器、计算机、服务器等设备。
请参见图3，图3是本发明实施例提供的一种图像分割装置的结构示意图，如图3所示，所述装置包括：
获取模块301，用于获取待处理视频中每一帧的光流信息；
融合模块302，用于将所述光流信息添加到对应的帧图像中进行融合，得到待分割图像，所述待分割图像包括光流通道以及颜色通道；
提取模块303，用于对所述待分割图像进行动态背景建模，并提取动态背景建模过程中的前景图像作为目标分割图像进行输出。
可选的，如图4所示，所述提取模块303，包括：
获取单元3031，用于获取所述待处理视频中的连续帧图像，其中，所述连续帧图像中每个像素点对应K个正态分布，K大于1，所述正态分布包括均值参数、方差参数以及权重参数；
提取单元3032，用于根据当前待分割图像的的光流通道以及颜色通道，提取每个像素点对应的融合向量，所述融合向量融合有对应像素点的颜色维度以及光流维度；
第一判断单元3033，用于将所述融合向量与对应的K个正态分布进行匹配，判断所述每个像素点是否匹配到满足预设条件的正态分布；
第一更新单元3034，用于若存在融合向量匹配到满足预设条件的M个正态分布的像素点，则将所述M个正态分布进行第一参数更新，并保持其余K-M个正态分布的参数不变，其中，M大于等于1，且M小于等于K；
第二更新单元3035，用于若存在融合向量匹配不到满足预设条件的正态分布的像素点，则在所述像素点对应的K个正态分布中选取均值距离最大的正态分布进行权重赋值，基于所述权重赋值对所述K个正态分布进行第二参数更新，所述均值距离为像素点的融合向量与正态分布中均值参数的欧几里德距离值；
第二判断单元3036，用于基于所述正态分布的方差参数和/或权重参数，选取N个正态分布，并根据所述N个正态分布判断对应像素点是否属于背景像素点，其中，N大于等于1，且N小于等于K；
第一构建单元3037，用于基于所述背景像素点，构建所述当前待分割图像的帧背景。
可选的，如图5所示，所述提取模块303，还包括：
第二判断单元3038，用于将当前待分割图像的每个像素点的融合向量与对应的N个正态分布进行匹配，判断所述每个像素点是否匹配到满足预设条件的正态分布；
第四判断单元3039，用于若存在像素点匹配不到满足预设条件的正态分布，则判断所述匹配不到满足预设条件的正态分布的像素点为前景像素点；
第二构建单元30310，用于基于所述前景像素点，构建所述当前待分割图像的帧前景，并将所述帧图像的帧前景更新为所述监测场景的前景图像。
可选的，所述获取模块301还用于将待处理视频按帧图像序列输入到预先训练好的神经网络中进行光流信息提取，得到相邻两帧图像中后一帧图像的光流信息。
可选的，如图6所示，所述待处理视频为目标监控场景的监测视频，所述提取模块303，包括：
提取单元30311，用于提取动态背景建模过程中的前景图像；
分类单元30312，用于通过图像分类网络对所述前景图像进行分类识别，并判断所述前景图像是否为目标分类图像；
输出单元30313，用于若所述前景图像为目标分类图像，则将所述目标分类图像作为目标分割图像进行输出。
可选的，所述目标监控场景为车辆行驶道路，所述目标分类图像包括车辆图像，所述输出单元30313还用于若所述前景图像为车辆图像，则将所述车辆图像作为目标分割图像进行输出。
需要说明的是，本发明实施例提供的图像分割方法可以应用于需要对运动目标进行分割处理的手机、监控器、计算机、服务器等设备。
本发明实施例提供的图像分割装置能够实现上述方法实施例中图像分割方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
参见图7，图7是本发明实施例提供的一种电子设备的结构示意图，如图7所示，包括：存储器702、处理器701及存储在所述存储器702上并可在所述处理器701上运行的计算机程序，其中：
处理器701用于调用存储器702存储的计算机程序，执行如下步骤：
获取待处理视频中每一帧的光流信息；
将所述光流信息添加到对应的帧图像中进行融合，得到待分割图像，所述待分割图像包括光流通道以及颜色通道；
对所述待分割图像进行动态背景建模，并提取动态背景建模过程中的前景图像作为目标分割图像进行输出。
可选的，处理器701执行的所述对所述待分割图像进行动态背景建模，包括：
获取所述待处理视频中的连续待分割图像，其中，所述连续待分割图像中每个像素点对应K个正态分布，K大于1，所述正态分布包括均值参数、方差参数以及权重参数；
根据当前待分割图像的的光流通道以及颜色通道，提取每个像素点对应的融合向量，所述融合向量融合有对应像素点的颜色维度以及光流维度；
将所述融合向量与对应的K个正态分布进行匹配，判断所述每个像素点是否匹配到满足预设条件的正态分布；
若存在融合向量匹配到满足预设条件的M个正态分布的像素点，则将所述M个正态分布进行第一参数更新，并保持其余K-M个正态分布的参数不变，其中，M大于等于1，且M小于等于K；
若存在融合向量匹配不到满足预设条件的正态分布的像素点，则在所述像素点对应的K个正态分布中选取均值距离最大的正态分布进行权重赋值，基于所述权重赋值对所述K个正态分布进行第二参数更新，所述均值距离为像素点的融合向量与正态分布中均值参数的欧几里德距离值；
基于所述正态分布的方差参数和/或权重参数，选取N个正态分布，并根据所述N个正态分布判断对应像素点是否属于背景像素点，其中，N大于等于1，且N小于等于K；
基于所述背景像素点，构建所述当前待分割图像的帧背景。
可选的，处理器701执行的所述提取动态背景建模过程中的前景图像，包括：
将当前待分割图像的每个像素点的融合向量与对应的N个正态分布进行匹配，判断所述每个像素点是否匹配到满足预设条件的正态分布；
若存在像素点匹配不到满足预设条件的正态分布，则判断所述匹配不到满足预设条件的正态分布的像素点为前景像素点；
基于所述前景像素点，构建所述当前待分割图像的帧前景，并将所述帧图像的帧前景更新为所述监测场景的前景图像。
可选的，处理器701执行的所述获取待处理视频中每一帧的光流信息，包括：
将待处理视频按帧图像序列输入到预先训练好的神经网络中进行光流信息提取，得到相邻两帧图像中后一帧图像的光流信息。
可选的，所述待处理视频为目标监控场景的监测视频，处理器701执行的所述提取动态背景建模过程中的前景图像作为目标分割图像进行输出，包括：
提取动态背景建模过程中的前景图像；
通过图像分类网络对所述前景图像进行分类识别，并判断所述前景图像是否为目标分类图像；
若所述前景图像为目标分类图像，则将所述目标分类图像作为目标分割图像进行输出。
可选的，所述目标监控场景为车辆行驶道路，所述目标分类图像包括车辆图像，处理器701执行的所述若所述前景图像为目标分类图像，则将所述目标分类图像作为目标分割图像进行输出，包括：
若所述前景图像为车辆图像，则将所述车辆图像作为目标分割图像进行输出。
需要说明的是，上述电子设备可以应用于需要对运动目标进行分割处理的手机、监控器、计算机、服务器等设备。
本发明实施例提供的电子设备能够实现上述方法实施例中图像分割方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的图像分割方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (7)

1.一种图像分割方法，其特征在于，包括以下步骤：
获取待处理视频中每一帧的光流信息；
将所述光流信息添加到对应的帧图像中进行融合，得到待分割图像，所述待分割图像包括光流通道以及颜色通道；
获取所述待处理视频中的连续待分割图像；
根据当前待分割图像的光流通道以及颜色通道，提取每个像素点对应的融合向量，所述融合向量融合有对应像素点的颜色维度以及光流维度；
构建所述连续待分割图像中每个像素点对应的K个正态分布，所述正态分布包括均值参数、方差参数以及权重参数，所述正态分布的均值参数为所述融合向量的均值向量，所述正态分布的方差参数为所述融合向量的协方差矩阵；
将当前待分割图像的每个像素点的融合向量与对应的K个正态分布进行匹配；
若存在融合向量匹配到满足预设条件的M个所述正态分布的像素点，则将M个所述正态分布进行第一参数更新，并保持其余K－M个所述正态分布的参数不变，其中，M大于或等于1，且M小于或等于K；
若存在融合向量匹配不到满足预设条件的正态分布的像素点，则在像素点对应的K个所述正态分布中选取均值距离最大的正态分布进行权重赋值，基于权重赋值对K个所述正态分布进行第二参数更新；
基于正态分布的方差参数和/或权重参数，选取N个正态分布，并根据N个正态分布判断对应像素点是否属于背景像素点，其中，N大于或等于1，且N小于或等于K；
若对应像素点不属于背景像素点，则确定对应像素点为前景像素点；
基于所述前景像素点，构建所述当前待分割图像的帧前景，将帧图像的帧前景更新为监测场景的前景图像，并将所述前景图像作为目标分割图像进行输出。
2.如权利要求1所述的方法，其特征在于，所述获取待处理视频中每一帧的光流信息，包括：
将待处理视频按帧图像序列输入到预先训练好的神经网络中进行光流信息提取，得到相邻两帧图像中后一帧图像的光流信息。
3.如权利要求1或2中任一项所述的方法，其特征在于，所述待处理视频为目标监控场景的监测视频，所述将前景图像作为目标分割图像进行输出，包括：
通过图像分类网络对所述前景图像进行分类识别，并判断所述前景图像是否为目标分类图像；
若所述前景图像为目标分类图像，则将所述目标分类图像作为目标分割图像进行输出。
4.如权利要求3所述的方法，其特征在于，所述目标监控场景为车辆行驶道路，所述目标分类图像包括车辆图像，所述若所述前景图像为目标分类图像，则将所述目标分类图像作为目标分割图像进行输出，包括：
若所述前景图像为车辆图像，则将所述车辆图像作为目标分割图像进行输出。
5.一种图像分割装置，其特征在于，所述装置包括：
获取模块，用于获取待处理视频中每一帧的光流信息；
融合模块，用于将所述光流信息添加到对应的帧图像中进行融合，得到待分割图像，所述待分割图像包括光流通道以及颜色通道；
提取模块，用于获取所述待处理视频中的连续待分割图像；根据当前待分割图像的光流通道以及颜色通道，提取每个像素点对应的融合向量，所述融合向量融合有对应像素点的颜色维度以及光流维度；构建所述连续待分割图像中每个像素点对应的K个正态分布，所述正态分布包括均值参数、方差参数以及权重参数，所述正态分布的均值参数为所述融合向量的均值向量，所述正态分布的方差参数为所述融合向量的协方差矩阵；将当前待分割图像的每个像素点的融合向量与对应的K个正态分布进行匹配；若存在融合向量匹配到满足预设条件的M个所述正态分布的像素点，则将M个所述正态分布进行第一参数更新，并保持其余K－M个所述正态分布的参数不变，其中，M大于或等于1，且M小于或等于K；若存在融合向量匹配不到满足预设条件的正态分布的像素点，则在像素点对应的K个所述正态分布中选取均值距离最大的正态分布进行权重赋值，基于权重赋值对K个所述正态分布进行第二参数更新；基于正态分布的方差参数和/或权重参数，选取N个正态分布，并根据N个正态分布判断对应像素点是否属于背景像素点，其中，N大于或等于1，且N小于或等于K；若对应像素点不属于背景像素点，则确定对应像素点为前景像素点；基于所述前景像素点，构建所述当前待分割图像的帧前景，将帧图像的帧前景更新为监测场景的前景图像，并将所述前景图像作为目标分割图像进行输出。
6.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的图像分割方法中的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的图像分割方法中的步骤。
CN202010182923.9A 2019-12-19 2020-03-16 图像分割方法、装置、电子设备及存储介质 Active CN111161307B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019113183709 2019-12-19
CN201911318370 2019-12-19

Publications (2)

Publication Number Publication Date
CN111161307A CN111161307A (zh) 2020-05-15
CN111161307B true CN111161307B (zh) 2023-04-18

Family

ID=70567601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010182923.9A Active CN111161307B (zh) 2019-12-19 2020-03-16 图像分割方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111161307B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347899B (zh) * 2020-11-03 2023-09-19 广州杰赛科技股份有限公司 一种运动目标图像提取方法、装置、设备及存储介质
CN112365519A (zh) * 2020-11-25 2021-02-12 广州杰赛科技股份有限公司 一种前景图像提取方法
CN112652021B (zh) * 2020-12-30 2024-04-02 深圳云天励飞技术股份有限公司 相机偏移检测方法、装置、电子设备及存储介质
CN112669294B (zh) * 2020-12-30 2024-04-02 深圳云天励飞技术股份有限公司 相机遮挡检测方法、装置、电子设备及存储介质
CN112734791B (zh) * 2021-01-18 2022-11-29 烟台南山学院 一种基于正则误差建模的在线视频前景背景分离方法
CN112862671B (zh) * 2021-02-09 2024-07-19 清华大学 视频图像编辑、修复的方法、装置及存储介质
CN113505737B (zh) * 2021-07-26 2024-07-02 浙江大华技术股份有限公司 前景图像的确定方法及装置、存储介质、电子装置
CN118038310B (zh) * 2024-01-12 2024-10-11 广东机电职业技术学院 一种视频背景消除方法、系统、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686338A (zh) * 2008-09-26 2010-03-31 索尼株式会社 分割视频中的前景和背景的系统和方法
CN102800091A (zh) * 2012-07-10 2012-11-28 深圳市捷顺科技实业股份有限公司 一种运动目标分割方法、装置和系统
CN102903124A (zh) * 2012-09-13 2013-01-30 苏州大学 一种运动目标检测方法
CN103473789A (zh) * 2013-08-07 2013-12-25 宁波大学 一种融合多线索的人体视频分割方法
CN107657625A (zh) * 2017-09-11 2018-02-02 南京信息工程大学 融合时空多特征表示的无监督视频分割方法
CN109255790A (zh) * 2018-07-27 2019-01-22 北京工业大学 一种弱监督语义分割的自动图像标注方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10719727B2 (en) * 2014-10-01 2020-07-21 Apple Inc. Method and system for determining at least one property related to at least part of a real environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686338A (zh) * 2008-09-26 2010-03-31 索尼株式会社 分割视频中的前景和背景的系统和方法
CN102800091A (zh) * 2012-07-10 2012-11-28 深圳市捷顺科技实业股份有限公司 一种运动目标分割方法、装置和系统
CN102903124A (zh) * 2012-09-13 2013-01-30 苏州大学 一种运动目标检测方法
CN103473789A (zh) * 2013-08-07 2013-12-25 宁波大学 一种融合多线索的人体视频分割方法
CN107657625A (zh) * 2017-09-11 2018-02-02 南京信息工程大学 融合时空多特征表示的无监督视频分割方法
CN109255790A (zh) * 2018-07-27 2019-01-22 北京工业大学 一种弱监督语义分割的自动图像标注方法

Also Published As

Publication number Publication date
CN111161307A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111161307B (zh) 图像分割方法、装置、电子设备及存储介质
CN112132004B (zh) 一种基于多视角特征融合的细粒度图像识别方法
CN106845621B (zh) 基于深度卷积神经网络的密集人群人数计数方法及系统
CN112417953B (zh) 道路状况检测和地图数据更新方法、装置、系统及设备
CN110059581A (zh) 基于场景深度信息的人群计数方法
US9159137B2 (en) Probabilistic neural network based moving object detection method and an apparatus using the same
US7224852B2 (en) Video segmentation using statistical pixel modeling
CN111209810A (zh) 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
CN110378259A (zh) 一种面向监控视频的多目标行为识别方法及系统
Huang et al. Automatic moving object extraction through a real-world variable-bandwidth network for traffic monitoring systems
CN107909548A (zh) 一种基于噪声建模的视频去雨方法
CN111666860A (zh) 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
US9286690B2 (en) Method and apparatus for moving object detection using fisher's linear discriminant based radial basis function network
CN110969642B (zh) 视频过滤方法、装置、电子设备及存储介质
CN110889360A (zh) 一种基于切换卷积网络的人群计数方法及系统
CN118013234B (zh) 基于多源异构大数据的重点车辆驾驶员画像智能生成系统
CN113947732B (zh) 基于强化学习图像亮度调节的空中视角人群计数方法
CN110222772B (zh) 一种基于块级别主动学习的医疗图像标注推荐方法
CN113408550B (zh) 基于图像处理的智能称重管理系统
CN114937248A (zh) 用于跨相机的车辆跟踪方法、装置、电子设备、存储介质
CN111950507B (zh) 数据处理和模型训练方法、装置、设备及介质
CN106650814B (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
CN107341456B (zh) 一种基于单幅户外彩色图像的天气晴阴分类方法
CN115496966A (zh) 一种跨模态生成视频对抗样本的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant