CN111798481B - 图像序列分割方法及装置 - Google Patents
图像序列分割方法及装置 Download PDFInfo
- Publication number
- CN111798481B CN111798481B CN201910280074.8A CN201910280074A CN111798481B CN 111798481 B CN111798481 B CN 111798481B CN 201910280074 A CN201910280074 A CN 201910280074A CN 111798481 B CN111798481 B CN 111798481B
- Authority
- CN
- China
- Prior art keywords
- region
- frame image
- area
- foreground
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000004891 communication Methods 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 23
- 238000005260 corrosion Methods 0.000 claims description 18
- 230000007797 corrosion Effects 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 17
- 238000002372 labelling Methods 0.000 claims description 14
- 238000000638 solvent extraction Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 23
- 230000008859 change Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 11
- 230000015654 memory Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Abstract
本发明公开了一种图像序列分割方法及装置，属于图像处理领域。所述方法包括：获取待分割的图像序列；对于所述图像序列中的当前帧图像，根据所述当前帧图像之前分割的目标帧图像中的前景区域和背景区域，对所述当前帧图像进行分割，得到所述当前帧图像中的前景区域和背景区域；其中，所述目标帧图像与所述当前帧图像的帧间隔小于目标阈值。本发明在对图像序列中的当前帧图像进行分割时，根据与当前帧图像的帧间隔小于目标阈值的图像的分割结果，引导当前帧图像进行分割，考虑了帧间隔不大的两帧图像之间的关联性，相比于现有技术中各帧独立分割的方式，可以提高分割效率和分割结果的可靠性。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种图像序列分割方法及装置。
背景技术
图像序列分割是指从一段图像序列的各帧图像中分割出我们感兴趣的目标，如从商品图像中分割出商品，图像序列分割在目标检索、目标识别和目标三维重建等领域具有广泛应用。
目前，传统的分割方法如GrabCut和DenseCut算法，在对一段图像序列进行分割时，对于该图像序列中的各帧图像，均是利用该帧图像中的颜色信息，分割出图像中的不同区域。
上述技术在对图像序列进行分割时，对图像序列中各帧图像独立进行分割，分别得到各帧图像的分割结果，当图像序列中的图像数量较多时，分割速度慢，分割效率低。
发明内容
本发明实施例提供了一种图像序列分割方法及装置，可以解决相关技术分割效率低的问题。所述技术方案如下：
第一方面，提供了一种图像序列分割方法，所述方法包括：
获取待分割的图像序列；
对于所述图像序列中的当前帧图像，根据所述当前帧图像之前分割的目标帧图像中的前景区域和背景区域，对所述当前帧图像进行分割，得到所述当前帧图像中的前景区域和背景区域；
其中，所述目标帧图像与所述当前帧图像的帧间隔小于目标阈值。
在一种可能实现方式中，所述根据所述当前帧图像之前分割的目标帧图像中的前景区域和背景区域，对所述当前帧图像进行分割，得到所述当前帧图像中的前景区域和背景区域，包括：
根据所述目标帧图像中的前景区域，获取所述当前帧图像中的第一前景区域；
根据所述目标帧图像中的背景区域，获取所述当前帧图像中的第一背景区域；
根据所述第一前景区域和所述第一背景区域，获取所述当前帧图像中的待分割区域，所述待分割区域为所述当前帧图像中除所述第一前景区域和所述第一背景区域以外的区域；
对所述待分割区域进行分割，得到所述当前帧图像中的第二前景区域和第二背景区域；
将所述第一前景区域和所述第二前景区域作为所述当前帧图像中的前景区域，将所述第一背景区域和所述第二背景区域作为所述当前帧图像中的背景区域。
在一种可能实现方式中，所述根据所述目标帧图像中的前景区域，获取所述当前帧图像中的第一前景区域，包括：
根据所述目标帧图像中的前景区域的位置，获取所述当前帧图像中对应位置的第一区域；
对所述第一区域进行腐蚀处理，得到第二区域；
将所述第二区域作为所述第一前景区域；或，
根据第一区域生长算法，对所述第二区域进行处理，得到所述第一前景区域。
在一种可能实现方式中，所述根据第一区域生长算法，对所述第二区域进行处理，得到所述第一前景区域，包括：
提取所述第二区域的多个边缘点；
根据所述第二区域的多个边缘点，获取第一连通区域，所述第一连通区域为所述当前帧图像中与所述第二区域连通的区域；
将所述第二区域和所述第一连通区域作为所述第一前景区域。
在一种可能实现方式中，所述根据所述第二区域的多个边缘点，获取第一连通区域，包括：
从所述第二区域的多个边缘点组成的数组中取出一个边缘点；
获取所述一个边缘点的多个邻域点；
当所述多个邻域点中存在目标邻域点时，将所述目标邻域点的像素值修改为目标像素值，将所述目标邻域点存入所述数组，所述目标邻域点位于所述第二区域外，且所述目标邻域点和所述一个边缘点的颜色相似度小于预设阈值，所述目标像素值为所述第二区域内像素点的像素值；
继续执行上述取出一个边缘点、获取多个邻域点和存入数组的过程，直至所述数组为空时，得到所述第一连通区域，所述第一连通区域由所述第二区域外像素值为所述目标像素值的像素点组成。
在一种可能实现方式中，所述根据所述目标帧图像中的背景区域，获取所述当前帧图像中的第一背景区域，包括：
根据所述目标帧图像中的背景区域的位置，获取所述当前帧图像中对应位置的第三区域；
对所述第三区域进行腐蚀处理，得到第四区域；
将所述第四区域作为所述第一背景区域；或，
根据第二区域生长算法，对所述第四区域进行处理，得到所述第一背景区域。
在一种可能实现方式中，所述根据第二区域生长算法，对所述第四区域进行处理，得到所述第一背景区域，包括：
提取所述当前帧图像的边缘图；
对所述边缘图进行膨胀处理，得到膨胀后的边缘图；
提取所述第四区域的多个边缘点；
根据所述第四区域的多个边缘点、所述膨胀后的边缘图和漫水填充算法，获取第二连通区域，所述第二连通区域为所述当前帧图像中与所述第四区域连通的区域；
将所述第四区域和所述第二连通区域作为所述第一背景区域。
在一种可能实现方式中，所述对所述待分割区域进行分割，得到所述当前帧图像中的第二前景区域和第二背景区域，包括：
根据所述第一前景区域、所述第一背景区域和所述待分割区域，调用预设分割算法对所述待分割区域进行分割，得到所述当前帧图像中的第二前景区域和第二背景区域。
在一种可能实现方式中，所述当前帧图像为所述图像序列中除第一帧图像以外的任一帧图像，所述获取待分割的图像序列之后，所述方法还包括：
对所述图像序列中的第一帧图像进行分割，得到所述第一帧图像中的前景区域和背景区域；
执行对所述图像序列中的当前帧图像进行分割的步骤。
在一种可能实现方式中，所述对所述图像序列中的第一帧图像进行分割，得到所述第一帧图像中的前景区域和背景区域，包括：
获取对所述第一帧图像的前景区域标注信息；
根据所述前景区域标注信息，对所述第一帧图像进行分割，得到所述第一帧图像中的前景区域；
将所述第一帧图像中除所述第一帧图像中的前景区域以外的区域作为所述第一帧图像中的背景区域。
在一种可能实现方式中，所述对所述图像序列中的第一帧图像进行分割，得到所述第一帧图像中的前景区域和背景区域，包括：
采用预设分割算法，对所述第一帧图像进行分割，得到所述第一帧图像中的初始前景区域和初始背景区域；
获取前景区域修正信息；
根据所述前景区域修正信息，对所述初始前景区域进行修正，将修正得到的区域作为所述第一帧图像中的前景区域；
将所述第一帧图像中除所述第一帧图像中的前景区域以外的区域作为所述第一帧图像中的背景区域。
第二方面，提供了一种图像序列分割装置，所述装置包括：
获取模块，用于获取待分割的图像序列；
分割模块，用于对于所述图像序列中的当前帧图像，根据所述当前帧图像之前分割的目标帧图像中的前景区域和背景区域，对所述当前帧图像进行分割，得到所述当前帧图像中的前景区域和背景区域；
其中，所述目标帧图像与所述当前帧图像的帧间隔小于目标阈值。
在一种可能实现方式中，所述分割模块用于：
根据所述目标帧图像中的前景区域，获取所述当前帧图像中的第一前景区域；根据所述目标帧图像中的背景区域，获取所述当前帧图像中的第一背景区域；
根据所述第一前景区域和所述第一背景区域，获取所述当前帧图像中的待分割区域，所述待分割区域为所述当前帧图像中除所述第一前景区域和所述第一背景区域以外的区域；
对所述待分割区域进行分割，得到所述当前帧图像中的第二前景区域和第二背景区域；
将所述第一前景区域和所述第二前景区域作为所述当前帧图像中的前景区域，将所述第一背景区域和所述第二背景区域作为所述当前帧图像中的背景区域。
在一种可能实现方式中，所述分割模块用于：
根据所述目标帧图像中的前景区域的位置，获取所述当前帧图像中对应位置的第一区域；
对所述第一区域进行腐蚀处理，得到第二区域；
将所述第二区域作为所述第一前景区域；或，
根据第一区域生长算法，对所述第二区域进行处理，得到所述第一前景区域。
在一种可能实现方式中，所述分割模块用于：
提取所述第二区域的多个边缘点；
根据所述第二区域的多个边缘点，获取第一连通区域，所述第一连通区域为所述当前帧图像中与所述第二区域连通的区域；
将所述第二区域和所述第一连通区域作为所述第一前景区域。
在一种可能实现方式中，所述分割模块用于：
从所述第二区域的多个边缘点组成的数组中取出一个边缘点；
获取所述一个边缘点的多个邻域点；
当所述多个邻域点中存在目标邻域点时，将所述目标邻域点的像素值修改为目标像素值，将所述目标邻域点存入所述数组，所述目标邻域点位于所述第二区域外，且所述目标邻域点和所述一个边缘点的颜色相似度小于预设阈值，所述目标像素值为所述第二区域内像素点的像素值；
继续执行上述取出一个边缘点、获取多个邻域点和存入数组的过程，直至所述数组为空时，得到所述第一连通区域，所述第一连通区域由所述第二区域外像素值为所述目标像素值的像素点组成。
在一种可能实现方式中，所述分割模块用于：
根据所述目标帧图像中的背景区域的位置，获取所述当前帧图像中对应位置的第三区域；
对所述第三区域进行腐蚀处理，得到第四区域；
将所述第四区域作为所述第一背景区域；或，
根据第二区域生长算法，对所述第四区域进行处理，得到所述第一背景区域。
在一种可能实现方式中，所述分割模块用于：
提取所述当前帧图像的边缘图；
对所述边缘图进行膨胀处理，得到膨胀后的边缘图；
提取所述第四区域的多个边缘点；
根据所述第四区域的多个边缘点、所述膨胀后的边缘图和漫水填充算法，获取第二连通区域，所述第二连通区域为所述当前帧图像中与所述第四区域连通的区域；
将所述第四区域和所述第二连通区域作为所述第一背景区域。
在一种可能实现方式中，所述分割模块用于：
根据所述第一前景区域、所述第一背景区域和所述待分割区域，调用预设分割算法对所述待分割区域进行分割，得到所述当前帧图像中的第二前景区域和第二背景区域。
在一种可能实现方式中，所述当前帧图像为所述图像序列中除第一帧图像以外的任一帧图像，
所述分割模块用于：
对所述图像序列中的第一帧图像进行分割，得到所述第一帧图像中的前景区域和背景区域；
执行对所述图像序列中的当前帧图像进行分割的步骤。
在一种可能实现方式中，所述分割模块用于：
获取对所述第一帧图像的前景区域标注信息；
根据所述前景区域标注信息，对所述第一帧图像进行分割，得到所述第一帧图像中的前景区域；
将所述第一帧图像中除所述前景区域以外的区域作为所述第一帧图像中的背景区域。
在一种可能实现方式中，所述分割模块用于：
采用预设分割算法，对所述第一帧图像进行分割，得到所述第一帧图像中的初始前景区域和初始背景区域；
获取前景区域修正信息；
根据所述前景区域修正信息，对所述初始前景区域进行修正，将修正得到的区域作为所述第一帧图像中的前景区域；
将所述第一帧图像中除所述前景区域以外的区域作为所述第一帧图像中的背景区域。
第三方面，提供了一种电子设备，包括一个或多个处理器和一个或多个存储器；所述一个或多个存储器，用于存放至少一条指令；所述一个或多个处理器，用于执行所述一个或多个存储器上所存放的至少一条指令，实现第一方面任一种实现方式所述的方法步骤。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有至少一条指令，所述至少一条指令被处理器执行时实现第一方面任一种实现方式所述的方法步骤。
本发明实施例提供的技术方案带来的有益效果至少包括：
在对图像序列中的当前帧图像进行分割时，可以根据当前帧图像之前分割的目标帧图像中的前景区域和背景区域，对当前帧图像进行分割，从而获取到当前帧图像中的前景区域和背景区域，上述方案根据与当前帧图像的帧间隔小于目标阈值的图像的分割结果，引导当前帧图像进行分割，考虑了帧间隔不大的两帧图像之间的关联性，相比于现有技术中各帧独立分割的方式，可以提高分割效率和分割结果的可靠性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像序列分割方法的流程图；
图2是本发明实施例提供的一种图像序列分割方法的流程图；
图3是本发明实施例提供的一种采集图像序列的示意图；
图4是本发明实施例提供的一种图像序列的示意图；
图5是本发明实施例提供的一种第一帧图像的分割效果图；
图6是本发明实施例提供的一种获取第一前景区域的示意图；
图7是本发明实施例提供的一种获取第一前景区域的示意图；
图8是本发明实施例提供的一种区域生长流程的示意图；
图9是本发明实施例提供的一种获取第一背景区域的示意图；
图10是本发明实施例提供的一种边缘提取的效果图；
图11是本发明实施例提供的一种获取第一背景区域的示意图；
图12是本发明实施例提供的一种分割结果的示意图；
图13是本发明实施例提供的一种图像序列分割方法的流程图；
图14是本发明实施例提供的一种图像序列分割装置的结构示意图；
图15是本发明实施例提供的一种电子设备1500的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种图像序列分割方法的流程图。参见图1，该方法包括：
101、获取待分割的图像序列。
102、对于该图像序列中的当前帧图像，根据该当前帧图像之前分割的目标帧图像中的前景区域和背景区域，对该当前帧图像进行分割，得到该当前帧图像中的前景区域和背景区域。
其中，该目标帧图像与该当前帧图像的帧间隔小于目标阈值。
本发明实施例提供的方法，在对图像序列中的当前帧图像进行分割时，可以根据当前帧图像之前分割的目标帧图像中的前景区域和背景区域，对当前帧图像进行分割，从而获取到当前帧图像中的前景区域和背景区域，上述方案根据与当前帧图像的帧间隔小于目标阈值的图像的分割结果，引导当前帧图像进行分割，考虑了帧间隔不大的两帧图像之间的关联性，相比于现有技术中各帧独立分割的方式，可以提高分割效率和分割结果的可靠性。
在一种可能实现方式中，该根据该当前帧图像之前分割的目标帧图像中的前景区域和背景区域，对该当前帧图像进行分割，得到该当前帧图像中的前景区域和背景区域，包括：
根据该目标帧图像中的前景区域，获取该当前帧图像中的第一前景区域；
根据该目标帧图像中的背景区域，获取该当前帧图像中的第一背景区域；
根据该第一前景区域和该第一背景区域，获取该当前帧图像中的待分割区域，该待分割区域为该当前帧图像中除该第一前景区域和该第一背景区域以外的区域；
对该待分割区域进行分割，得到该当前帧图像中的第二前景区域和第二背景区域；
将该第一前景区域和该第二前景区域作为该当前帧图像中的前景区域，将该第一背景区域和该第二背景区域作为该当前帧图像中的背景区域。
在一种可能实现方式中，该根据该目标帧图像中的前景区域，获取该当前帧图像中的第一前景区域，包括：
根据该目标帧图像中的前景区域的位置，获取该当前帧图像中对应位置的第一区域；
对该第一区域进行腐蚀处理，得到第二区域；
将该第二区域作为该第一前景区域；或，
根据第一区域生长算法，对该第二区域进行处理，得到该第一前景区域。
在一种可能实现方式中，该根据第一区域生长算法，对该第二区域进行处理，得到该第一前景区域，包括：
提取该第二区域的多个边缘点；
根据该第二区域的多个边缘点，获取第一连通区域，该第一连通区域为该当前帧图像中与该第二区域连通的区域；
将该第二区域和该第一连通区域作为该第一前景区域。
在一种可能实现方式中，该根据该第二区域的多个边缘点，获取第一连通区域，包括：
从该第二区域的多个边缘点组成的数组中取出一个边缘点；
获取该一个边缘点的多个邻域点；
当该多个邻域点中存在目标邻域点时，将该目标邻域点的像素值修改为目标像素值，将该目标邻域点存入该数组，该目标邻域点位于该第二区域外，且该目标邻域点和该一个边缘点的颜色相似度小于预设阈值，该目标像素值为该第二区域内像素点的像素值；
继续执行上述取出一个边缘点、获取多个邻域点和存入数组的过程，直至该数组为空时，得到该第一连通区域，该第一连通区域由该第二区域外像素值为该目标像素值的像素点组成。
在一种可能实现方式中，该根据该目标帧图像中的背景区域，获取该当前帧图像中的第一背景区域，包括：
根据该目标帧图像中的背景区域的位置，获取该当前帧图像中对应位置的第三区域；
对该第三区域进行腐蚀处理，得到第四区域；
将该第四区域作为该第一背景区域；或，
根据第二区域生长算法，对该第四区域进行处理，得到该第一背景区域。
在一种可能实现方式中，该根据第二区域生长算法，对该第四区域进行处理，得到该第一背景区域，包括：
提取该当前帧图像的边缘图；
对该边缘图进行膨胀处理，得到膨胀后的边缘图；
提取该第四区域的多个边缘点；
根据该第四区域的多个边缘点、该膨胀后的边缘图和漫水填充算法，获取第二连通区域，该第二连通区域为该当前帧图像中与该第四区域连通的区域；
将该第四区域和该第二连通区域作为该第一背景区域。
在一种可能实现方式中，该对该待分割区域进行分割，得到该当前帧图像中的第二前景区域和第二背景区域，包括：
根据该第一前景区域、该第一背景区域和该待分割区域，调用预设分割算法对该待分割区域进行分割，得到该当前帧图像中的第二前景区域和第二背景区域。
在一种可能实现方式中，该当前帧图像为该图像序列中除第一帧图像以外的任一帧图像，该获取待分割的图像序列之后，该方法还包括：
对该图像序列中的第一帧图像进行分割，得到该第一帧图像中的前景区域和背景区域；
执行对该图像序列中的当前帧图像进行分割的步骤。
在一种可能实现方式中，该对该图像序列中的第一帧图像进行分割，得到该第一帧图像中的前景区域和背景区域，包括：
获取对该第一帧图像的前景区域标注信息；
根据该前景区域标注信息，对该第一帧图像进行分割，得到该第一帧图像中的前景区域；
将该第一帧图像中除该前景区域以外的区域作为该第一帧图像中的背景区域。
在一种可能实现方式中，该对该图像序列中的第一帧图像进行分割，得到该第一帧图像中的前景区域和背景区域，包括：
采用预设分割算法，对该第一帧图像进行分割，得到该第一帧图像中的初始前景区域和初始背景区域；
获取前景区域修正信息；
根据该前景区域修正信息，对该初始前景区域进行修正，将修正得到的区域作为该第一帧图像中的前景区域；
将该第一帧图像中除该前景区域以外的区域作为该第一帧图像中的背景区域。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
图2是本发明实施例提供的一种图像序列分割方法的流程图。该方法由电子设备执行，参见图2，该方法包括：
201、获取待分割的图像序列。
其中，图像序列包含多帧图像，目标物在图像序列的相邻两帧图像之间的位移小于预设阈值。
本发明实施例中，电子设备可以从本地存储中获得该图像序列，例如，电子设备可以预先将该图像序列存储在本地，在需要对该图像序列进行分割时，如接收到对该图像序列的分割指令时，再从本地存储中获得该图像序列。
当然，电子设备也可以接收其他设备发送的该图像序列，例如，该图像序列可以由图像采集设备对同一场景中的目标物进行图像采集得到后，将其发送给电子设备。在一种可能实现方式中，该图像序列可以由图像采集设备以预设帧率和预设曝光时间，对放置于承载平台上的目标物进行图像采集得到，该目标物的中轴线和该承载平台的中轴线重合，该承载平台以预设转速旋转。
参见图3，提供了一种采集图像序列的示意图，如图3所示，承载平台是一个转台，转台的中心可以放置有一个支撑物，目标物(如商品)可以放置在支撑物上，支撑物的中轴线和目标物的中轴线均与转台的中轴线重合。其中，支撑物用于在转台的转动过程中起到固定目标物的作用，当然，该目标物也可以通过其他固定方式放置在转台上。在转台的一侧，架设有图像采集设备，如相机，相机的高度、距离转盘的距离以及架设角度可以根据实际需求进行调整。在转台以转速w旋转的过程中，相机以帧率f和曝光时间m进行图像采集，得到图像序列。参见图4，提供了一种采集图像序列的示意图，如图4所示，目标物为一个装水的瓶子，由于瓶子随着转台转动，瓶子出现在图像中的部分内容会发生变化。
其中，转台的预设转速w、相机的帧率f和曝光时间m可以根据实际需求进行选择，保证在转速w和曝光时间m下，相机采集到的图像不出现拖影，在转速w和帧率f下，目标物在相邻两帧图像中的位置变化不大。当支撑物的中轴线和目标物的中轴线与转台的中轴线基本重合时，可以实现在转速w和帧率f下，目标物在相邻两帧图像中的位置变化不大。
需要说明的是，本发明实施例是该图像序列通过图像采集得到为例进行说，可以理解的是，该图像序列还可以通过对视频序列进行解码得到，本发明实施例对图像序列的获取方式不做限定。
202、对该图像序列中的第一帧图像进行分割，得到该第一帧图像中的前景区域和背景区域。
其中，该第一帧图像可以是图像序列中时间戳最早的一帧图像，也即是，图像序列的初始帧。前景区域为图像中目标物对应的区域，也即是，目标物在图像中成像的区域，该背景区域为图像中背景环境对应的区域，也即是，背景环境在图像中成像的区域。
在一种可能方式中，该步骤202包括：采用预设分割算法，对第一帧图像进行分割，得到第一帧图像中的初始前景区域和初始背景区域；获取前景区域修正信息；根据该前景区域修正信息，对该初始前景区域进行修正，将修正得到的区域作为该第一帧图像中的前景区域；将该第一帧图像中除该第一帧图像中的前景区域以外的区域作为该第一帧图像中的背景区域。
其中，预设分割算法包括但不限于GrabCut算法、DenseCut算法和Shared Matting算法等。电子设备在使用分割算法得到第一帧图像初步的分割结果，也即是初始前景区域和初始背景区域后，可以通过人工修正的方式，得到最终准确的前景区域和背景区域。例如，电子设备可以显示第一帧图像中的初始前景区域和初始背景区域，用户可以根据自己的观察，对第一帧图像中的前景区域进行修正操作，电子设备可以根据用户的修正操作，对初始前景区域进行修正，得到准确的前景区域，将第一帧图像中除准确的前景区域以外的区域作为准确的背景区域。
在另一种可能方式中，该步骤202包括：获取对该第一帧图像的前景区域标注信息；根据该前景区域标注信息，对该第一帧图像进行分割，得到该第一帧图像中的前景区域；将该第一帧图像中除该第一帧图像中的前景区域以外的区域作为该第一帧图像中的背景区域。
电子设备可以显示第一帧图像，用户可以根据自己的观察在第一帧图像上标注出前景区域，电子设备可以获取前景区域标注信息，对第一帧图像进行分割，得到准确的前景区域。例如，电子设备可以在图像处理应用的界面上显示第一帧图像，用户可以基于该图像处理应用，手工抠取到准确的前景区域。参见图5，提供了一种第一帧图像的分割效果图，如图5所示，图5中的(a)图为第一帧图像的原始图像，图5中的(b)图为对第一帧图像进行分割，得到的前景区域，用白色部分表示。
需要说明的是，该步骤202为可选步骤，也即是，电子设备也可以不执行该步骤202，例如，电子设备在获取图像序列时，同时获取到了第一帧图像中的前景区域和背景区域，如其他设备在向电子设备发送该图像序列时，可以同时将第一帧图像中的前景区域和背景区域告知电子设备的情况。
203、对于该图像序列中的当前帧图像，根据该当前帧图像之前分割的目标帧图像中的前景区域，获取当前帧图像中的第一前景区域。
其中，当前帧图像是指当前处理的图像，该当前帧图像可以为该图像序列中除第一帧图像以外的任一帧图像。该目标帧图像与该当前帧图像的帧间隔小于目标阈值，例如，目标阈值为1帧时，目标帧图像可以为当前帧图像的上一帧图像，目标阈值为2帧时，目标帧图像可以为当前帧图像的上上一帧图像。
本发明实施例中，电子设备在得到第一帧图像的分割结果后，可以通过第一帧图像的分割结果引导第二帧图像进行分割，得到第二帧图像的分割结果后，再通过第一帧图像或第二帧图像的分割结果引导第三帧图像进行分割，以此类推，得到图像序列中每帧图像的分割结果。也即是，电子设备在处理当前帧图像时，可以根据当前帧图像之前分割的目标帧图像的分割结果，对当前帧图像进行分割。
在一种可能实现方式中，第一前景区域的获取过可以包括下述步骤a1至a3：
步骤a1、根据目标帧图像中的前景区域的位置，获取当前帧图像中对应位置的第一区域。
对于连续的图像序列，目标物在相邻两帧图像中的位置变化不大，也即是，相邻两帧图像之间前景区域的位置变化不大，因此，电子设备可以根据目标帧图像中的前景区域，初步确定当前帧图像中的前景区域，该初步确定的前景区域称为第一区域。具体地，电子设备可以根据目标帧图像中前景区域的位置，将当前帧图像中相同位置的区域确定为第一区域。
步骤a2、对该第一区域进行腐蚀处理，得到第二区域。
考虑到虽然相邻两帧图像中前景区域的位置变化较小，但仍存在差异，也即是步骤a1得到的第一区域可能未覆盖到当前帧图像中的一部分前景区域，而超出了当前帧图像中的另一部分前景区域。为了保证准确性，电子设备可以对第一区域进行腐蚀处理，将第一区域收缩一点，得到第一区域的内部区域，也即是第二区域。其中，腐蚀处理的程度可以根据相邻两帧图像中前景区域的位置变化大小进行调整，相邻两帧图像中前景区域的位置变化越小，腐蚀处理的程度越小。
步骤a3、将该第二区域作为该第一前景区域；或，根据第一区域生长算法，对该第二区域进行处理，得到该第一前景区域。
由于相邻两帧图像中前景区域的位置变化较小，电子设备可以直接将第二区域作为当前帧图像中准确的前景区域，也即是第一前景区域。考虑到目标物表面一般都具有大量的纯色区域，可以对第二区域进行区域生长来扩大前景区域，得到更准确的第一前景区域，以提高后续图像分割的精度。
参见图6，提供了一种获取第一前景区域的示意图，如图6所示，图6中的(a)图示出了当前帧图像的原始图像，(b)图示出了目标帧图像中的前景区域在当前帧图像中的位置区域，也即是第一区域，(c)图示出了当前帧图像中准确的前景区域，也即是第二区域，(d)图示出了区域生长后当前帧图像中的前景区域，也即是第一前景区域。其中，第一区域、第二区域和第一前景区域分别是(b)图、(c)图和(d)图中瓶子所在的区域。
在一种可能实现方式中，该根据第一区域生长算法，对该第二区域进行处理，得到该第一前景区域，包括：提取该第二区域的多个边缘点；根据该第二区域的多个边缘点，获取第一连通区域，该第一连通区域为该当前帧图像中与该第二区域连通的区域；将该第二区域和该第一连通区域作为该第一前景区域。
参见图7，提供了一种获取第一前景区域的示意图，图7中(a)图示出了当前帧图像的原始图像，(b)图示出了当前帧图像中准确的前景区域，也即是第二区域(白色部分)，(c)图示出了当前帧图像中准确的前景区域的边缘(白线)，多个边缘点可以是该边缘上的各个像素点，(d)图示出了区域生长后当前帧图像中的前景区域，也即是第一前景区域(白色部分)。
为了便于描述，将当前帧图像的原始图像记为I，如图7中的(a)图所示，I可以为RGB彩色图像，也可以为灰度图像。当前帧图像中准确的前景区域记为M，如图7中的(b)图所示，M可以为灰度图像，前景区域内像素点的像素值为255，背景区域内像素点的像素值为0。电子设备可以提取M的边缘点作为生长的种子点，如图7中(c)图所示，然后从M的边缘，按照颜色相似度设定一定的阈值，寻找与M所有连通的区域，也即是第一连通区域，最终得到经过区域生长后的前景区域，也即是第一前景区域，如图7中(d)图所示。
在一种可能实现方式中，第一连通区域的获取过程可以包括：从该第二区域的多个边缘点组成的数组中取出一个边缘点；获取该一个边缘点的多个邻域点；当该多个邻域点中存在目标邻域点时，将该目标邻域点的像素值修改为目标像素值，将该目标邻域点存入该数组，该目标邻域点位于该第二区域外，且该目标邻域点和该一个边缘点的颜色相似度小于预设阈值，该目标像素值为该第二区域内像素点的像素值；继续执行上述取出一个边缘点、获取多个邻域点和存入数组的过程，直至该数组为空时，得到该第一连通区域，该第一连通区域由该第二区域外像素值为该目标像素值的像素点组成。
其中，一个边缘点的多个邻域点是与该边缘点之间的距离小于预设阈值的像素点。例如，以一个边缘点的像素坐标为(x，y)，则该边缘点的多个邻域点可以是像素坐标为(x-1，y)、(x，y-1)、(x，y+1)和(x+1，y)等。目标邻域点位于第二区域外，也即是，目标邻域点在M中的像素值等于0，目标邻域点和边缘点的颜色相似度小于预设阈值，也即是，目标邻域点和边缘点在I中的像素值之差(RGB向量差)的模小于阈值。通过将第二区域外与第二区域的边缘点颜色相似的像素点的像素值，修改为第二区域内像素点的像素值，最终这些修改像素值后的像素点组成的区域即为第一连通区域，第一连通区域和第二区域组成的区域即为第一前景区域。
参见图8，提供了一种区域生长流程的示意图，如图8所示，算法输入为I和M，提取第二区域(当前帧图像中准确的前景区域)的所有边缘点，记为S数组。取出S数组中的一个点p(x，y)，找到p(x，y)的四个邻域点pi(i＝1,2,3,4)，判断M(pi)是否等于0且I(pi)与I(p)的RGB向量差的模小于预设阈值，如果否，则再从S数组中取出一个点，执行后续流程，如果是，则将M(pi)修改为255，并将点pi存入S数组，此时，判断S数组是否为空，如果S数组不为空，则再从S数组中取出一个点，执行后续流程，如果S数组为空，则输出M，此时的M包括第二区域以及第一连通区域。其中，M(pi)是指点pi在M中的像素值，I(pi)是指点pi在I中的像素值，I(p)是指点P在I中的像素值。
204、根据该当前帧图像之前分割的目标帧图像中的背景区域，获取当前帧图像中的第一背景区域。
在一种可能实现方式中，第一背景区域的获取过程可以包括下述步骤b1至b3：
步骤b1、根据该目标帧图像中的背景区域的位置，获取该当前帧图像中对应位置的第三区域。
对于连续的图像序列，相邻两帧图像之间背景区域的位置变化较小，因此，电子设备可以根据目标帧图像中的背景区域，初步确定当前帧图像中的背景区域，该初步确定的背景区域称为第三区域。具体地，电子设备可以根据目标帧图像中背景区域的位置，将当前帧图像中相同位置的区域确定为第三区域。
步骤b2、对该第三区域进行腐蚀处理，得到第四区域。
考虑到虽然相邻两帧图像中背景区域的位置变化较小，但仍存在差异，也即是步骤b1得到的第三区域可能未覆盖到当前帧图像中的一部分背景区域，而超出了当前帧图像中的另一部分背景区域。为了保证准确性，电子设备可以对第三区域进行腐蚀处理，将第三区域收缩一点，得到第三区域的内部区域，也即是第四区域。其中，腐蚀处理的程度可以根据相邻两帧图像中背景区域的位置变化大小进行调整，相邻两帧图像中背景区域的位置变化越小，腐蚀处理的程度越小。
步骤b3、将该第四区域作为该第一背景区域；或，根据第二区域生长算法，对该第四区域进行处理，得到该第一背景区域。
由于相邻两帧图像中背景区域的位置变化较小，电子设备可以直接将第四区域作为当前帧图像中准确的背景区域，也即是第一背景区域。电子设备也可以对第四区域进行区域生长来扩大背景区域，得到第一背景区域。
参见图9，提供了一种获取第一背景区域的示意图，图9中(a)图示出了当前帧图像的原始图像，(b)图示出了目标帧图像中的背景区域在当前帧图像中的位置区域，也即是第三区域，(c)图示出了当前帧图像中准确的背景区域，也即是第四区域，(d)图示出了区域生长后当前帧图像中的背景区域，也即是第一背景区域。其中，第三区域、第四区域和第一背景区域均是图中瓶子以外的区域。
在一种可能实现方式中，该根据第二区域生长算法，对该第四区域进行处理，得到该第一背景区域，包括：提取该当前帧图像的边缘图；对该边缘图进行膨胀处理，得到膨胀后的边缘图；提取该第四区域的多个边缘点；根据该第四区域的多个边缘点、该膨胀后的边缘图和漫水填充算法，获取第二连通区域，该第二连通区域为该当前帧图像中与该第四区域连通的区域；将该第四区域和该第二连通区域作为该第一背景区域。
参见图10，提供了一种边缘提取的效果图，图10中(a)图示出了当前帧图像的原始图像，(b)图示出了当前帧图像提取的边缘图，(c)图示出了对边缘图膨胀后的效果图。
电子设备可以使用边缘提取算子，如canny算子，提取当前帧图像的边缘图，该边缘图中包括当前帧图像中的所有边缘，如图10中的(b)图所示，为了避免图像中前景与背景边缘梯度较小以至于某些区域无法提取边缘，电子设备可以对边缘图进行形态学处理中的膨胀处理，处理效果如图10中的(c)图所示。
参见图11，提供了一种获取第一背景区域的示意图，图11中(a)图示出了边缘图膨胀后的效果图，(b)图示出了当前帧图像中准确的背景区域，也即是第四区域(白色部分)，(c)图示出了当前帧图像中准确的背景区域的边缘(白线)，(d)图示出了区域生长后当前帧图像中的背景区域，也即是第一背景区域(白色部分)。
电子设备可以对图9中(c)图，也即是图11中的(b)图所示的当前帧图像中准确的背景区域提取边缘点，得到当前帧图像中准确的背景区域的边缘，如图11中的(c)图所示，然后电子设备可以从每个边缘点出发，在图11的(a)图中采用漫水填充算法(Flood fill)寻找与第四区域连通的点，这些连通的点组成的区域即为第二连通区域，第二连通区域和第四区域组成的区域即为第一背景区域，也即是，将这些连通的点更新到第四区域内，得到图11的(d)图所示的第一背景区域。
需要说明的是，本发明实施例是以电子设备根据第一区域生长算法，对该第二区域进行处理，得到该第一前景区域，根据第二区域生长算法，对该第四区域进行处理，得到该第一背景区域为例进行说明，可以理解的是，针对第一前景区域的获取，电子设备也可以根据第二区域生长算法，对该第二区域进行处理，得到该第一前景区域，具体过程与根据第二区域生长算法获取第一背景区域同理。针对第一背景区域的获取，电子设备也可以根据第一区域生长算法，对第四区域进行处理，得到第一背景区域，具体过程与根据第一区域生长算法获取第一前景区域同理。
需要说明的是，本发明实施例仅以获取第一前景区域为步骤203，获取第一背景区域为步骤204为例进行说明，步骤203和步骤步骤204并不代表明确的先后顺序，也即是，电子设备可以先执行步骤203，后执行步骤204，也可以先执行步骤204，再执行步骤203。
205、根据该第一前景区域和该第一背景区域，获取该当前帧图像中的待分割区域，该待分割区域为该当前帧图像中除该第一前景区域和该第一背景区域以外的区域。
本发明实施例中，第一前景区域和第一背景区域根据目标帧图像中的前景区域和背景区域获取得到，当前帧图像中除了该第一前景区域和第一背景区域以外，还可能存在剩余区域，电子设备可以将该剩余区域作为待分割区域。
206、对该待分割区域进行分割，得到该当前帧图像中的第二前景区域和第二背景区域。
本发明实施例中，电子设备可以将待分割区域分割为第二前景区域和第二背景区域。在一种可能实现方式中，该步骤206可以包括：根据该第一前景区域、该第一背景区域和该待分割区域，调用预设分割算法对该待分割区域进行分割，得到该当前帧图像中的第二前景区域和第二背景区域。
其中，预设分割算法可以为基于图论的分割算法，如GrabCut算法和DenseCut算法，电子设备可以将第一前景区域、该第一背景区域和该待分割区域作为输入，调用预设分割算法对当前帧图像中的待分割区域进行分割，得到待分割区域的分割结果，也即是第二前景区域和第二背景区域。
207、将该第一前景区域和该第二前景区域作为该当前帧图像中的前景区域，将该第一背景区域和该第二背景区域作为该当前帧图像中的背景区域。
本发明实施例中，电子设备对该待分割区域进行分割后，可以将分割结果中的第二前景区域并入第一前景区域，得到当前帧图像中的前景区域，将分割结果中的第二背景区域并入第一背景区域，得到当前帧图像中的背景区域。
相比于相关技术中直接使用GrabCut算法或DenseCut算法对整帧图像进行分割，本发明根据当前帧图像之前分割的目标帧图像的分割结果作为先验知识，引导当前帧图像进行分割，得到当前帧图像中准确的背景区域和前景区域后，再使用GrabCut算法或DenseCut算法对剩余区域进行分割，可以保证分割结果的准确性。
参见图12，提供了一种分割结果的示意图，图12中(a)图示出了当前帧图像的原始图像，(b)图示出了使用GrabCut算法对当前帧图像进行分割得到的分割结果，(c)图示出了使用DenseCut算法对当前帧图像进行分割得到的分割结果，(d)图示出了使用本发明提供的方法对当前帧图像进行分割得到的分割结果。
需要说明的是，上述步骤203至步骤207是对于该图像序列中的当前帧图像，根据该当前帧图像之前分割的目标帧图像中的前景区域和背景区域，对该当前帧图像进行分割，得到该当前帧图像中的前景区域和背景区域的一种可能实现方式。也即是，第一帧图像之后的每帧图像均可以通过上述步骤203至步骤207，得到各自的分割结果。
参见图13，提供了一种图像序列分割方法的流程图，如图13所示，先采集目标物(如商品)的图像序列，然后对图像序列的第一帧图像进行分割，对于第一帧图像之后的每帧图像，基于该图像之前分割的目标帧图像的分割结果，获取当前帧图像中准确的前景区域、准确的背景区域和待分割区域，然后使用基于图论的分割方法分割待分割区域，最终得到图像序列的分割结果。
通过采集目标物的图像序列(或者视频序列解码成图像序列)，然后对图像序列的第一帧图像进行分割，根据目标物位置在图片序列中的前后关联性，通过之前分割的目标帧图像的分割结果引导当前帧图像进行分割，最后输出每帧图像中的前景区域和背景区域。
本发明实施例中，针对图像序列的采集，通过将目标物放置在转台上，图像采集设备固定在转台的一侧，转台带动目标物旋转一圈，图像采集设备可以采集到目标物一圈的图像序列，在该种采集环境下采集得到的图像序列，目标物位置在相邻两帧图像之间的变化不大。针对第一帧图像的分割，通过使用人工交互的方式对第一帧图像进行分割，得到第一帧图像中的前景区域，可以保证第一帧图像的分割结果的准确性。针对第一帧图像之后的每帧图像，根据图像序列中相邻两帧图像之间目标物的位置变化较小，利用前景区域和背景区域在图像序列中的前后关联性，使用之前分割的目标帧图像中前景区域的内部区域作为当前帧图像中准确的前景区域，使用之前分割的目标帧图像中背景区域的内部区域作为当前帧图像中准确的背景区域，同时可以使用区域生长算法对准确的前景区域和背景区域进行区域生长，获取更多准确的区域，最后使用基于图论的分割方法对剩余区域进行分割，能够取得较好的分割效果。
相比于现有技术中基于深度学习的分割方法需要大量标注的训练样本，而训练样本的好坏直接影响分割结果，由于目标物(如商品)的种类繁多且更新速度快，不可能为每一个目标物都采集训练样本，对于未训练过的样本分割效果较差。另外，大多数深度学习的分割方法都属于语义分割,主要的作用是将目标物识别出来并将其大致区域划分出来，分割出的区域边缘较为平滑，对于一些对分割边缘精度要求较高的应用(如商品三维重建)就无法满足要求，本发明可以避免需要大量训练样本的缺点，获得较高精度的分割结果。
相比于直接使用传统的图像处理技术进行分割时需要前景与背景的颜色有较为显著的差异，当颜色相近时容易导致误分割，分割精度低，本发明可以提高分割精度，得到更加准确和稳定的分割效果，并且不会增加算法耗时。
上述技术方案可以获取图像序列中每帧图像的分割结果，可以应用于目标检索、目标识别和目标三维重建领域。当图像序列中的每帧图像为商品图像时，可以生成每张商品图像对应的商品区域，可以应用于商品检索、商品识别和商品三维重建领域。例如，通过本发明实施例提供的图像序列分割方法，得到每张图像的商品区域后，可以修改图像中商品的背景，用于合成虚拟训练样本，还可以利用每张图像的商品区域进行商品三维模型重建，或者进行模型去噪。
本发明实施例提供的方法，在对图像序列中的当前帧图像进行分割时，可以根据当前帧图像之前分割的目标帧图像中的前景区域和背景区域，对当前帧图像进行分割，从而获取到当前帧图像中的前景区域和背景区域，上述方案根据与当前帧图像的帧间隔小于目标阈值的图像的分割结果，引导当前帧图像进行分割，考虑了帧间隔不大的两帧图像之间的关联性，相比于现有技术中各帧独立分割的方式，可以提高分割效率和分割结果的可靠性。
图14是本发明实施例提供的一种图像序列分割装置的结构示意图。参照图14，该装置包括：
获取模块1401，用于获取待分割的图像序列；
分割模块1402，用于对于该图像序列中的当前帧图像，根据该当前帧图像之前分割的目标帧图像中的前景区域和背景区域，对该当前帧图像进行分割，得到该当前帧图像中的前景区域和背景区域；
其中，该目标帧图像与该当前帧图像的帧间隔小于目标阈值。
在一种可能实现方式中，该分割模块1402用于：
根据该目标帧图像中的前景区域，获取该当前帧图像中的第一前景区域；根据该目标帧图像中的背景区域，获取该当前帧图像中的第一背景区域；
根据该第一前景区域和该第一背景区域，获取该当前帧图像中的待分割区域，该待分割区域为该当前帧图像中除该第一前景区域和该第一背景区域以外的区域；
对该待分割区域进行分割，得到该当前帧图像中的第二前景区域和第二背景区域；
将该第一前景区域和该第二前景区域作为该当前帧图像中的前景区域，将该第一背景区域和该第二背景区域作为该当前帧图像中的背景区域。
在一种可能实现方式中，该分割模块1402用于：
根据该目标帧图像中的前景区域的位置，获取该当前帧图像中对应位置的第一区域；
对该第一区域进行腐蚀处理，得到第二区域；
将该第二区域作为该第一前景区域；或，
根据第一区域生长算法，对该第二区域进行处理，得到该第一前景区域。
在一种可能实现方式中，该分割模块1402用于：
提取该第二区域的多个边缘点；
根据该第二区域的多个边缘点，获取第一连通区域，该第一连通区域为该当前帧图像中与该第二区域连通的区域；
将该第二区域和该第一连通区域作为该第一前景区域。
在一种可能实现方式中，该分割模块1402用于：
从该第二区域的多个边缘点组成的数组中取出一个边缘点；
获取该一个边缘点的多个邻域点；
当该多个邻域点中存在目标邻域点时，将该目标邻域点的像素值修改为目标像素值，将该目标邻域点存入该数组，该目标邻域点位于该第二区域外，且该目标邻域点和该一个边缘点的颜色相似度小于预设阈值，该目标像素值为该第二区域内像素点的像素值；
继续执行上述取出一个边缘点、获取多个邻域点和存入数组的过程，直至该数组为空时，得到该第一连通区域，该第一连通区域由该第二区域外像素值为该目标像素值的像素点组成。
在一种可能实现方式中，该分割模块1402用于：
根据该目标帧图像中的背景区域的位置，获取该当前帧图像中对应位置的第三区域；
对该第三区域进行腐蚀处理，得到第四区域；
将该第四区域作为该第一背景区域；或，
根据第二区域生长算法，对该第四区域进行处理，得到该第一背景区域。
在一种可能实现方式中，该分割模块1402用于：
提取该当前帧图像的边缘图；
对该边缘图进行膨胀处理，得到膨胀后的边缘图；
提取该第四区域的多个边缘点；
根据该第四区域的多个边缘点、该膨胀后的边缘图和漫水填充算法，获取第二连通区域，该第二连通区域为该当前帧图像中与该第四区域连通的区域；
将该第四区域和该第二连通区域作为该第一背景区域。
在一种可能实现方式中，该分割模块1402用于：
根据该第一前景区域、该第一背景区域和该待分割区域，调用预设分割算法对该待分割区域进行分割，得到该当前帧图像中的第二前景区域和第二背景区域。
在一种可能实现方式中，该当前帧图像为该图像序列中除第一帧图像以外的任一帧图像，
该分割模块用于：
对该图像序列中的第一帧图像进行分割，得到该第一帧图像中的前景区域和背景区域；
执行对该图像序列中的当前帧图像进行分割的步骤。
在一种可能实现方式中，该分割模块用于：
获取对该第一帧图像的前景区域标注信息；
根据该前景区域标注信息，对该第一帧图像进行分割，得到该第一帧图像中的前景区域；
将该第一帧图像中除该前景区域以外的区域作为该第一帧图像中的背景区域。
在一种可能实现方式中，该分割模块1402用于：
采用预设分割算法，对该第一帧图像进行分割，得到该第一帧图像中的初始前景区域和初始背景区域；
获取前景区域修正信息；
根据该前景区域修正信息，对该初始前景区域进行修正，将修正得到的区域作为该第一帧图像中的前景区域；
将该第一帧图像中除该前景区域以外的区域作为该第一帧图像中的背景区域。
本发明实施例提供的装置，在对图像序列中的当前帧图像进行分割时，可以根据当前帧图像之前分割的目标帧图像中的前景区域和背景区域，对当前帧图像进行分割，从而获取到当前帧图像中的前景区域和背景区域，上述方案根据与当前帧图像的帧间隔小于目标阈值的图像的分割结果，引导当前帧图像进行分割，考虑了帧间隔不大的两帧图像之间的关联性，相比于现有技术中各帧独立分割的方式，可以提高分割效率和分割结果的可靠性。
需要说明的是：上述实施例提供的图像序列分割装置在图像序列分割时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像序列分割装置与图像序列分割方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图15是本发明实施例提供的一种电子设备1500的结构示意图，该电子设备1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(CentralProcessing Units，CPU)1501和一个或一个以上的存储器1502，其中，该存储器1502中存储有至少一条指令，该至少一条指令由该处理器1501加载并执行以实现上述各个方法实施例提供的图像序列分割方法。当然，该电子设备1500还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该电子设备1500还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种存储有至少一条指令的计算机可读存储介质，例如存储有至少一条指令的存储器，上述至少一条指令被处理器执行时实现上述实施例中的图像序列分割方法。例如，该计算机可读存储介质可以是只读内存(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-OnlyMemory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，上述程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种图像序列分割方法，其特征在于，所述方法包括：
获取待分割的图像序列；
对于所述图像序列中的当前帧图像，根据目标帧图像中的前景区域的位置，获取所述当前帧图像中对应位置的第一区域；对所述第一区域进行腐蚀处理，得到第二区域；提取所述第二区域的多个边缘点；从所述第二区域的多个边缘点组成的数组中取出一个边缘点；获取所述一个边缘点的多个邻域点；当所述多个邻域点中存在目标邻域点时，将所述目标邻域点的像素值修改为目标像素值，将所述目标邻域点存入所述数组，所述目标邻域点位于所述第二区域外，且所述目标邻域点和所述一个边缘点的颜色相似度小于预设阈值，所述目标像素值为所述第二区域内像素点的像素值；继续执行上述取出一个边缘点、获取多个邻域点和存入数组的过程，直至所述数组为空时，得到第一连通区域，所述第一连通区域由所述第二区域外像素值为所述目标像素值的像素点组成，所述第一连通区域为所述当前帧图像中与所述第二区域连通的区域；将所述第二区域和所述第一连通区域作为第一前景区域；
根据所述目标帧图像中的背景区域，获取所述当前帧图像中的第一背景区域；
根据所述第一前景区域和所述第一背景区域，获取所述当前帧图像中的待分割区域，所述待分割区域为所述当前帧图像中除所述第一前景区域和所述第一背景区域以外的区域；
对所述待分割区域进行分割，得到所述当前帧图像中的第二前景区域和第二背景区域；
将所述第一前景区域和所述第二前景区域作为所述当前帧图像中的前景区域，将所述第一背景区域和所述第二背景区域作为所述当前帧图像中的背景区域；
其中，所述目标帧图像与所述当前帧图像的帧间隔小于目标阈值。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标帧图像中的背景区域，获取所述当前帧图像中的第一背景区域，包括：
根据所述目标帧图像中的背景区域的位置，获取所述当前帧图像中对应位置的第三区域；
对所述第三区域进行腐蚀处理，得到第四区域；
将所述第四区域作为所述第一背景区域；或，
根据第二区域生长算法，对所述第四区域进行处理，得到所述第一背景区域。
3.根据权利要求2所述的方法，其特征在于，所述根据第二区域生长算法，对所述第四区域进行处理，得到所述第一背景区域，包括：
提取所述当前帧图像的边缘图；
对所述边缘图进行膨胀处理，得到膨胀后的边缘图；
提取所述第四区域的多个边缘点；
根据所述第四区域的多个边缘点、所述膨胀后的边缘图和漫水填充算法，获取第二连通区域，所述第二连通区域为所述当前帧图像中与所述第四区域连通的区域；
将所述第四区域和所述第二连通区域作为所述第一背景区域。
4.根据权利要求1所述的方法，其特征在于，所述对所述待分割区域进行分割，得到所述当前帧图像中的第二前景区域和第二背景区域，包括：
根据所述第一前景区域、所述第一背景区域和所述待分割区域，调用预设分割算法对所述待分割区域进行分割，得到所述当前帧图像中的第二前景区域和第二背景区域。
5.根据权利要求1所述的方法，其特征在于，所述当前帧图像为所述图像序列中除第一帧图像以外的任一帧图像，
所述获取待分割的图像序列之后，所述方法还包括：
对所述图像序列中的第一帧图像进行分割，得到所述第一帧图像中的前景区域和背景区域；
执行对所述图像序列中的当前帧图像进行分割的步骤。
6.根据权利要求5所述的方法，其特征在于，所述对所述图像序列中的第一帧图像进行分割，得到所述第一帧图像中的前景区域和背景区域，包括：
获取对所述第一帧图像的前景区域标注信息；
根据所述前景区域标注信息，对所述第一帧图像进行分割，得到所述第一帧图像中的前景区域；
将所述第一帧图像中除所述第一帧图像中的前景区域以外的区域作为所述第一帧图像中的背景区域。
7.根据权利要求5所述的方法，其特征在于，所述对所述图像序列中的第一帧图像进行分割，得到所述第一帧图像中的前景区域和背景区域，包括：
采用预设分割算法，对所述第一帧图像进行分割，得到所述第一帧图像中的初始前景区域和初始背景区域；
获取前景区域修正信息；
根据所述前景区域修正信息，对所述初始前景区域进行修正，将修正得到的区域作为所述第一帧图像中的前景区域；
将所述第一帧图像中除所述第一帧图像中的前景区域以外的区域作为所述第一帧图像中的背景区域。
8.一种图像序列分割装置，其特征在于，所述装置包括：
获取模块，用于获取待分割的图像序列；
分割模块，用于对于所述图像序列中的当前帧图像，根据目标帧图像中的前景区域的位置，获取所述当前帧图像中对应位置的第一区域；对所述第一区域进行腐蚀处理，得到第二区域；提取所述第二区域的多个边缘点；从所述第二区域的多个边缘点组成的数组中取出一个边缘点；获取所述一个边缘点的多个邻域点；当所述多个邻域点中存在目标邻域点时，将所述目标邻域点的像素值修改为目标像素值，将所述目标邻域点存入所述数组，所述目标邻域点位于所述第二区域外，且所述目标邻域点和所述一个边缘点的颜色相似度小于预设阈值，所述目标像素值为所述第二区域内像素点的像素值；继续执行上述取出一个边缘点、获取多个邻域点和存入数组的过程，直至所述数组为空时，得到第一连通区域，所述第一连通区域由所述第二区域外像素值为所述目标像素值的像素点组成，所述第一连通区域为所述当前帧图像中与所述第二区域连通的区域；将所述第二区域和所述第一连通区域作为第一前景区域；
根据所述目标帧图像中的背景区域，获取所述当前帧图像中的第一背景区域；
根据所述第一前景区域和所述第一背景区域，获取所述当前帧图像中的待分割区域，所述待分割区域为所述当前帧图像中除所述第一前景区域和所述第一背景区域以外的区域；
对所述待分割区域进行分割，得到所述当前帧图像中的第二前景区域和第二背景区域；
将所述第一前景区域和所述第二前景区域作为所述当前帧图像中的前景区域，将所述第一背景区域和所述第二背景区域作为所述当前帧图像中的背景区域；
其中，所述目标帧图像与所述当前帧图像的帧间隔小于目标阈值。
9.根据权利要求8所述的装置，其特征在于，所述分割模块用于：
根据所述目标帧图像中的背景区域的位置，获取所述当前帧图像中对应位置的第三区域；
对所述第三区域进行腐蚀处理，得到第四区域；
将所述第四区域作为所述第一背景区域；或，
根据第二区域生长算法，对所述第四区域进行处理，得到所述第一背景区域。
10.根据权利要求9所述的装置，其特征在于，所述分割模块用于：
提取所述当前帧图像的边缘图；
对所述边缘图进行膨胀处理，得到膨胀后的边缘图；
提取所述第四区域的多个边缘点；
根据所述第四区域的多个边缘点、所述膨胀后的边缘图和漫水填充算法，获取第二连通区域，所述第二连通区域为所述当前帧图像中与所述第四区域连通的区域；
将所述第四区域和所述第二连通区域作为所述第一背景区域。
11.根据权利要求8所述的装置，其特征在于，所述分割模块用于：
根据所述第一前景区域、所述第一背景区域和所述待分割区域，调用预设分割算法对所述待分割区域进行分割，得到所述当前帧图像中的第二前景区域和第二背景区域。
12.根据权利要求8所述的装置，其特征在于，所述当前帧图像为所述图像序列中除第一帧图像以外的任一帧图像，
所述分割模块用于：
对所述图像序列中的第一帧图像进行分割，得到所述第一帧图像中的前景区域和背景区域；
执行对所述图像序列中的当前帧图像进行分割的步骤。
13.根据权利要求12所述的装置，其特征在于，所述分割模块用于：
获取对所述第一帧图像的前景区域标注信息；
根据所述前景区域标注信息，对所述第一帧图像进行分割，得到所述第一帧图像中的前景区域；
将所述第一帧图像中除所述第一帧图像中的前景区域以外的区域作为所述第一帧图像中的背景区域。
14.根据权利要求12所述的装置，其特征在于，所述分割模块用于：
采用预设分割算法，对所述第一帧图像进行分割，得到所述第一帧图像中的初始前景区域和初始背景区域；
获取前景区域修正信息；
根据所述前景区域修正信息，对所述初始前景区域进行修正，将修正得到的区域作为所述第一帧图像中的前景区域；
将所述第一帧图像中除所述第一帧图像中的前景区域以外的区域作为所述第一帧图像中的背景区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910280074.8A CN111798481B (zh) | 2019-04-09 | 2019-04-09 | 图像序列分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910280074.8A CN111798481B (zh) | 2019-04-09 | 2019-04-09 | 图像序列分割方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111798481A CN111798481A (zh) | 2020-10-20 |
| CN111798481B true CN111798481B (zh) | 2023-10-20 |
Family
ID=72804856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910280074.8A Active CN111798481B (zh) | 2019-04-09 | 2019-04-09 | 图像序列分割方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111798481B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112866797B (zh) * | 2020-12-31 | 2023-03-24 | 上海商汤智能科技有限公司 | 一种视频处理方法、装置、电子设备及存储介质 |
| CN112800850A (zh) * | 2020-12-31 | 2021-05-14 | 上海商汤智能科技有限公司 | 一种视频处理方法、装置、电子设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0568245A (ja) * | 1991-09-09 | 1993-03-19 | Nippon Telegr & Teleph Corp <Ntt> | 動物体検出および追跡処理方式 |
| AU2002951473A0 (en) * | 2002-09-18 | 2002-10-03 | Canon Kabushiki Kaisha | Method for tracking facial features in video sequence |
| CN101325690A (zh) * | 2007-06-12 | 2008-12-17 | 上海正电科技发展有限公司 | 监控视频流中人流分析与人群聚集过程的检测方法及系统 |
| CN102833464A (zh) * | 2012-07-24 | 2012-12-19 | 常州泰宇信息科技有限公司 | 智能视频监控用结构化背景重建方法 |
| CN104008547A (zh) * | 2014-05-28 | 2014-08-27 | 大连理工大学 | 一种基于骨架角点的可视化人体切片图像序列化分割方法 |
| CN104680482A (zh) * | 2015-03-09 | 2015-06-03 | 华为技术有限公司 | 一种图像处理的方法和装置 |
| CN105096259A (zh) * | 2014-05-09 | 2015-11-25 | 株式会社理光 | 深度图像的深度值恢复方法和系统 |
| CN106203447A (zh) * | 2016-07-06 | 2016-12-07 | 华东理工大学 | 一种基于像素遗传的前景目标提取方法 |
| CN107169972A (zh) * | 2017-06-07 | 2017-09-15 | 上海航天控制技术研究所 | 一种非合作目标快速轮廓跟踪方法 |
| CN108596940A (zh) * | 2018-04-12 | 2018-09-28 | 北京京东尚科信息技术有限公司 | 一种视频分割方法和装置 |
| CN108986109A (zh) * | 2018-06-27 | 2018-12-11 | 大连理工大学 | 一种序列化可视人体切片图像自动分割方法 |
| CN109087330A (zh) * | 2018-06-08 | 2018-12-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于由粗到精图像分割的运动目标检测方法 |
| CN112866797A (zh) * | 2020-12-31 | 2021-05-28 | 上海商汤智能科技有限公司 | 一种视频处理方法、装置、电子设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101587586B (zh) * | 2008-05-20 | 2013-07-24 | 株式会社理光 | 一种图像处理装置及图像处理方法 |
| EP3029631A1 (en) * | 2014-12-04 | 2016-06-08 | Thomson Licensing | A method and apparatus for assisted object selection in video sequences |
-
2019
- 2019-04-09 CN CN201910280074.8A patent/CN111798481B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0568245A (ja) * | 1991-09-09 | 1993-03-19 | Nippon Telegr & Teleph Corp <Ntt> | 動物体検出および追跡処理方式 |
| AU2002951473A0 (en) * | 2002-09-18 | 2002-10-03 | Canon Kabushiki Kaisha | Method for tracking facial features in video sequence |
| CN101325690A (zh) * | 2007-06-12 | 2008-12-17 | 上海正电科技发展有限公司 | 监控视频流中人流分析与人群聚集过程的检测方法及系统 |
| CN102833464A (zh) * | 2012-07-24 | 2012-12-19 | 常州泰宇信息科技有限公司 | 智能视频监控用结构化背景重建方法 |
| CN105096259A (zh) * | 2014-05-09 | 2015-11-25 | 株式会社理光 | 深度图像的深度值恢复方法和系统 |
| CN104008547A (zh) * | 2014-05-28 | 2014-08-27 | 大连理工大学 | 一种基于骨架角点的可视化人体切片图像序列化分割方法 |
| CN104680482A (zh) * | 2015-03-09 | 2015-06-03 | 华为技术有限公司 | 一种图像处理的方法和装置 |
| CN106203447A (zh) * | 2016-07-06 | 2016-12-07 | 华东理工大学 | 一种基于像素遗传的前景目标提取方法 |
| CN107169972A (zh) * | 2017-06-07 | 2017-09-15 | 上海航天控制技术研究所 | 一种非合作目标快速轮廓跟踪方法 |
| CN108596940A (zh) * | 2018-04-12 | 2018-09-28 | 北京京东尚科信息技术有限公司 | 一种视频分割方法和装置 |
| CN109087330A (zh) * | 2018-06-08 | 2018-12-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于由粗到精图像分割的运动目标检测方法 |
| CN108986109A (zh) * | 2018-06-27 | 2018-12-11 | 大连理工大学 | 一种序列化可视人体切片图像自动分割方法 |
| CN112866797A (zh) * | 2020-12-31 | 2021-05-28 | 上海商汤智能科技有限公司 | 一种视频处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Video Segmentation Using fast Marching and Region Growing Algorithms;Eftychis Sifakis 等;《Springer》;378-388 * |
| 视频分割算法综述;夏侯建兵 等;《软件导刊》;第第13卷卷(第第4期期);31-34 * |
| 视频图像中人体运动目标检测与跟踪算法研究;李伟;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-783 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111798481A (zh) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110874594B (zh) | 基于语义分割网络的人体外表损伤检测方法及相关设备 | |
| CN112633277A (zh) | 基于深度学习的航道船牌检测、定位及识别方法 | |
| CN104680558B (zh) | 使用GPU硬件加速的Struck目标跟踪方法 | |
| CN108010082B (zh) | 一种几何匹配的方法 | |
| CN107085726A (zh) | 基于多方法去噪和连通区域分析的甲骨拓片单字定位方法 | |
| CN111223065B (zh) | 图像矫正方法、不规则文本识别方法、装置、存储介质和设备 | |
| CN112418216A (zh) | 一种复杂自然场景图像中的文字检测方法 | |
| CN110796038A (zh) | 结合快速区域生长超像素分割的高光谱遥感图像分类方法 | |
| CN111798481B (zh) | 图像序列分割方法及装置 | |
| US10699156B2 (en) | Method and a device for image matching | |
| CN110570435A (zh) | 用于对车辆损伤图像进行损伤分割的方法及装置 | |
| US11954857B2 (en) | Method for detection and pathological classification of polyps via colonoscopy based on anchor-free technique | |
| CN113706562B (zh) | 图像分割方法、装置、系统及细胞分割方法 | |
| CN111027538A (zh) | 一种基于实例分割模型的集装箱检测方法 | |
| CN112102929A (zh) | 医学图像标注方法、装置、存储介质及电子设备 | |
| CN111415364A (zh) | 一种计算机视觉中图像分割样本的转换方法、系统及存储介质 | |
| CN106056575B (zh) | 一种基于似物性推荐算法的图像匹配方法 | |
| US11699303B2 (en) | System and method of acquiring coordinates of pupil center point | |
| JP2002117409A (ja) | 画像処理方法及びその装置 | |
| CN111860173B (zh) | 一种基于弱监督的遥感图像地物要素提取方法及系统 | |
| CN111191580B (zh) | 合成渲染方法、装置、电子设备及介质 | |
| CN113011327A (zh) | 一种三维图形识别方法、装置、设备及存储介质 | |
| CN112330660A (zh) | 一种基于神经网络的精子尾部检测方法及其系统 | |
| CN111508045A (zh) | 一种图片合成的方法及装置 | |
| CN112819841B (zh) | 人脸区域分割方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |