CN113516672A - 图像分割方法、装置、电子设备及可读存储介质 - Google Patents

图像分割方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113516672A
CN113516672A CN202111042037.7A CN202111042037A CN113516672A CN 113516672 A CN113516672 A CN 113516672A CN 202111042037 A CN202111042037 A CN 202111042037A CN 113516672 A CN113516672 A CN 113516672A
Authority
CN
China
Prior art keywords
frame image
current frame
image
target object
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111042037.7A
Other languages
English (en)
Other versions
CN113516672B (zh
Inventor
李博贤
周朋
陶颖
郑鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Meishe Network Technology Co ltd
Original Assignee
Beijing Meishe Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Meishe Network Technology Co ltd filed Critical Beijing Meishe Network Technology Co ltd
Priority to CN202111042037.7A priority Critical patent/CN113516672B/zh
Publication of CN113516672A publication Critical patent/CN113516672A/zh
Application granted granted Critical
Publication of CN113516672B publication Critical patent/CN113516672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像分割方法、装置、电子设备及可读存储介质。所述方法包括：以视频流中的每一帧图像为当前帧图像，确定当前帧图像是检测帧图像还是跟踪帧图像；在当前帧图像是跟踪帧图像的情况下，根据为当前帧图像预先存储的参考裁剪区域和用于框选当前帧图像的前一帧图像中目标物的外接矩形，确定当前帧图像的裁剪区域；根据当前帧图像的裁剪区域，对当前帧图像进行裁剪，得到当前帧图像的局部图像；将当前帧图像的局部图像输入目标物分割模型，得到当前帧图像的局部图像对应的掩膜并从当前帧图像中分割出目标物。通过本申请的方法，可通过逐帧跟踪增大有效目标物在输入模型的图像中的占比来提升精度，以实现图像分割速度与精度的兼得。

Description

图像分割方法、装置、电子设备及可读存储介质
技术领域
本申请实施例涉及图像处理领域，尤其涉及一种图像分割方法、装置、电子设备及可读存储介质。
背景技术
在当前快节奏生活的影响下，随着技术的发展，短视频与直播内容的量越来越多，涉及到的领域也越来越广泛，基于视频的目标物分割需求也愈来愈多。目标物分割任务通常用于目标物抠图、直播背景替换、智能摄像等领域。对于视频分割任务，对图像处理的稳定性和处理速度都有很高的要求，而当前传统的图像分割方法无法同时兼顾速度与精度。
发明内容
本申请提供一种图像分割方法、装置、电子设备及可读存储介质，通过逐帧跟踪增大有效目标物在输入模型的图像中的占比来提升精度，从而实现图像分割速度与精度的兼得。
本申请实施例第一方面提供了一种图像分割方法，所述方法包括：
以视频流中的每一帧图像为当前帧图像，确定所述当前帧图像是检测帧图像还是跟踪帧图像；
在所述当前帧图像是跟踪帧图像的情况下，根据为所述当前帧图像预先存储的参考裁剪区域和用于框选所述当前帧图像的前一帧图像中目标物的外接矩形，确定所述当前帧图像的裁剪区域；其中，所述为所述当前帧图像预先存储的参考裁剪区域是所述当前帧图像的前一帧图像的裁剪区域；
根据所述当前帧图像的裁剪区域，对所述当前帧图像进行裁剪，得到所述当前帧图像的局部图像；
将所述当前帧图像的局部图像输入目标物分割模型，得到所述当前帧图像的局部图像对应的掩膜；
根据所述当前帧图像的局部图像对应的掩膜，从所述当前帧图像中分割出所述目标物。
可选的，所述方法还包括：
在所述当前帧图像是视频流中的第一帧图像的情况下，或，在所述当前帧图像及所述当前帧图像的前一帧图像均为检测帧图像的情况下，
将所述当前帧图像输入所述目标物分割模型，得到所述当前帧图像对应的掩膜；
根据所述当前帧图像中目标物所在的区域，生成用于框选所述当前帧图像中目标物的外接矩形；
根据所述用于框选所述当前帧图像中目标物的外接矩形，得到所述当前帧图像的裁剪区域；
存储所述当前帧图像的裁剪区域，以作为所述当前帧图像的下一帧图像的参考裁剪区域。
可选的，所述方法还包括：
在所述当前帧图像为检测帧图像，且所述当前帧图像的前一帧图像为跟踪帧图像情况下，
将所述当前帧图像输入所述目标物分割模型，得到所述当前帧图像对应的掩膜；
根据所述当前帧图像对应的掩膜，确定所述当前帧图像中目标物所在的区域；
将所述当前帧图像的前一帧图像中目标物所在的区域的有效像素的数量与所述当前帧图像中目标物所在的区域的有效像素的数量进行对比，确定是否满足滞留条件；
在满足滞留条件的情况下，将所述当前帧图像的前一帧图像的裁剪区域内的掩膜作为所述当前帧图像的参考裁剪区域内的掩膜，且所述当前帧图像的参考裁剪区域外仍保留基于所述目标物分割模型而得到的掩膜，从而生成所述当前帧图像的最终掩膜；
根据所述当前帧图像的最终掩膜，生成用于框选所述当前帧图像中目标物的外接矩形；
根据所述用于框选所述当前帧图像中目标物的外接矩形，得到所述当前帧图像的裁剪区域；
存储所述当前帧图像的裁剪区域，以作为所述当前帧图像的下一帧图像的参考裁剪区域。
可选的，在确定所述当前帧图像的裁剪区域之后，所述方法还包括：
存储所述当前帧图像的裁剪区域，以作为所述当前帧图像的下一帧图像的参考裁剪区域。
可选的，所述确定所述当前帧图像是检测帧图像还是跟踪帧图像，包括：
在所述当前帧图像是视频流的第一帧图像的情况下，确定所述当前帧图像为检测帧图像；
在所述当前帧图像是所述视频流的第n帧图像或第n的倍数帧图像的情况下，确定所述当前帧图像为检测帧图像，其中，n为预先指定的整数；
在所述当前帧图像的前一帧图像中目标物的外接矩形的面积占所述当前帧图像的前一帧图像的面积的比例超出预设比例范围的情况下，确定所述当前帧图像为检测帧图像；
在所述当前帧图像不是检测帧图像的情况下，确定所述当前帧图像为跟踪帧图像。
可选的，所述根据为所述当前帧图像预先存储的参考裁剪区域和用于框选所述当前帧图像的前一帧图像中目标物的外接矩形，确定所述当前帧图像的裁剪区域，包括：
将所述当前帧图像的前一帧图像的裁剪区域由内而外划分为三个互不重叠的区域，作为所述当前帧图像的稳定区、回弹区以及延展区；
根据所述前一帧图像中的目标物的外接矩形与所述当前帧图像的稳定区、回弹区以及延展区之间的位置关系，确定所述当前帧图像的裁剪区域。
可选的，所述根据所述前一帧图像中的目标物的外接矩形与所述当前帧图像的稳定区、回弹区以及延展区之间的位置关系，确定所述当前帧图像的裁剪区域，包括：
针对所述前一帧图像中的目标物的外接矩形中的落入所述当前帧图像的延展区的边，根据所述前一帧图像的裁剪区域的坐标信息、所述前一帧图像中的目标物的外接矩形的坐标信息、以及所述当前帧图像的稳定区的坐标信息，得到构成所述当前帧图像的裁剪区域的相应边；
针对所述前一帧图像中的目标物的外接矩形中的落入所述当前帧图像的回弹区的边，根据所述前一帧图像的裁剪区域的坐标信息、所述前一帧图像中的目标物的外接矩形的坐标信息、以及所述当前帧图像的回弹区的坐标信息，得到所述当前帧图像的裁剪区域的相应边；
针对所述前一帧图像中的目标物的外接矩形中的落入所述当前帧图像的稳定区的边，将所述前一帧图像的裁剪区域的相应边确定为所述当前帧图像的裁剪区域的相应边。
本申请实施例第二方面提供一种图像分割装置，所述装置包括：
判断模块，用于以视频流中的每一帧图像为当前帧图像，确定所述当前帧图像是检测帧图像还是跟踪帧图像；
裁剪区域确定模块，用于在所述当前帧图像是跟踪帧图像的情况下，根据为所述当前帧图像预先存储的参考裁剪区域和用于框选所述当前帧图像的前一帧图像中目标物的外接矩形，确定所述当前帧图像的裁剪区域；其中，所述为所述当前帧图像预先存储的参考裁剪区域是所述当前帧图像的前一帧图像的裁剪区域；
裁剪模块，用于根据所述当前帧图像的裁剪区域，对所述当前帧图像进行裁剪，得到所述当前帧图像的局部图像；
局部掩膜确定模块，用于将所述当前帧图像的局部图像输入目标物分割模型，得到所述当前帧图像的局部图像对应的掩膜；
分割模块，用于根据所述当前帧图像的局部图像对应的掩膜，从所述当前帧图像中分割出所述目标物。
本申请实施例第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面所述的图像分割方法中的步骤。
本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请第一方面所述的图像分割方法的步骤。
采用本申请实施例提供的图像分割方法，以视频流中的每一帧图像为当前帧图像，确定当前帧图像是检测帧图像还是跟踪帧图像；在当前帧图像是跟踪帧图像的情况下，根据为当前帧图像预先存储的参考裁剪区域和用于框选当前帧图像的前一帧图像中目标物的外接矩形，确定当前帧图像的裁剪区域；根据当前帧图像的裁剪区域，对当前帧图像进行裁剪，得到当前帧图像的局部图像；将当前帧图像的局部图像输入目标物分割模型，得到当前帧图像的局部图像对应的掩膜；根据当前帧图像的局部图像对应的掩膜，从当前帧图像中分割出所述目标物。通过本申请的图像分割方法，不仅利用神经网络深度学习的方法通过轻量化的目标物分割模型实现快速分割图像，还结合对视频图像进行分割和跟踪的组合策略，将视频中的局部有效图像输入模型进行分割，这样不仅可以提升了图像的目标物占比，还可以减少背景带来的噪声，在同样计算量的情况下可以有效地提升图像分割的精度，以实现满足实时推理需求（实时展现图像效果）下的较高精度人像分割。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例示出的一种图像分割方法的流程图；
图2是本申请一实施例示出的一种稳定区、回弹区以及延展区的示意图；
图3是本申请一实施例提供的图像分割装置的结构框图；
图4是本申请一实施例示出的一种电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在当前快节奏生活的影响下，随着技术的发展，短视频与直播内容的量越来越多，涉及到的领域也越来越广泛，基于视频的目标物（如人物、动物、植物等）分割需求也愈来愈多。目标物分割任务通常用于目标物抠图、直播背景替换、智能摄像等领域。但对于视频分割任务，对图像处理的稳定性和处理速度都有很高的要求，稳定性主要在于需要将目标物的各部分于复杂的背景中分离开，尤其是对于细节部分都有较高的分割要求，图像的分割处理速度主要在于推理速度要在移动端做到30ms以内才有可能实现实时的图像效果展现，而当前传统的目标物分割方法无法同时兼顾速度与精度。
传统的目标物分割方法：一部分为传统图像算法利用频域或图像边缘等信息进行目标物（如人物、动物、植物等）分割，速度慢且精度低；一部分为通过模型网络对视频进行逐帧的全图分割，但这种方法只能保证处理速度，无法保证处理精度。
为了同时兼顾速度与精度，本申请提出了一种图像分割方法，该方法利用神经网络深度学习的方法，结合分割和跟踪的组合策略，对视频中的局部有效图像进行分割，来实现满足实时推理需求（实时展现图像效果）下的较高精度的目标物分割。
在本申请中，目标物是指视频图像中的目标物体，包括但不限于：人像、动物、植物、建筑物等等，本申请对目标物的类型不作具体限制。本申请的图像分割方法可以为用于移动端的实时图像分割跟踪方法，下面将以从图像中分割人像为例对本申请的图像分割方法进行说明：
参考图1，图1是本申请一实施例示出的一种图像分割方法的流程图。如图1所示，本实施例的图像处理方法可以包括以下步骤：
步骤S11：以视频流中的每一帧图像为当前帧图像，确定所述当前帧图像是检测帧图像还是跟踪帧图像。
本实施例中，是对视频进行目标物的分割，因此需要获取视频流，本申请的视频流可以是需要进行目标物分割任务的视频。获取视频流后，按预设规律依次从视频流中抽取图像帧，由于一般移动端的摄像大概为30帧/s，因此，本实施例可以是在20-30ms之间就从视频流中抽取一帧图像，并对抽取出的每一帧图像进行目标物分割处理，从而实现实时跟踪。
在获取到视频流中的每一帧图像后，以视频流中的每一帧图像为当前帧图像，并判断当前帧图像是检测帧图像还是跟踪帧图像，以对每一帧图像分别进行图像分割处理。本实施例中，检测帧图像为主要进行目标物检测的图像帧，跟踪帧图像为主要对前一帧图像检测到的目标物进行跟踪的图像帧。
步骤S12：在所述当前帧图像是跟踪帧图像的情况下，根据为所述当前帧图像预先存储的参考裁剪区域和用于框选所述当前帧图像的前一帧图像中目标物的外接矩形，确定所述当前帧图像的裁剪区域；其中，所述为所述当前帧图像预先存储的参考裁剪区域是所述当前帧图像的前一帧图像的裁剪区域。
本实施例中，在当前帧图像是跟踪帧图像的情况下，跟踪帧图像一定会有前一帧图像，在实际业务中，目标物（如人像）通常不会占满整个屏幕，且在视频帧与帧之间目标物（如人物）的数量和位置不会发生较大的波动和突变，因此，本实施例提供的图像分割方法中，可利用前一帧图像中目标物的相关信息，来确定当前跟踪帧图像的裁剪信息，以实现目标物跟踪的目的。具体的，可利用为当前帧图像预先存储的参考裁剪区域，和用于框选当前帧图像的前一帧图像中目标物的外接矩形，确定当前帧图像的裁剪区域。其中，为当前帧图像预先存储的参考裁剪区域，即为当前帧图像的前一帧图像的裁剪区域。
步骤S13：根据所述当前帧图像的裁剪区域，对所述当前帧图像进行裁剪，得到所述当前帧图像的局部图像。
本实施例中，在得到当前帧图像的裁剪区域后，可将当前帧图像按照该裁剪区域进行相应的裁剪，从而得到当前帧图像的局部图像。本实施例中的当前帧图像的局部图像即可被认为是包含目标物的有效的图像，通过对经裁剪后的局部有效图像进行分割处理，可以增大目标物（如人像）在待分割图像中的占比，从而增加分割精度。
步骤S14：将所述当前帧图像的局部图像输入目标物分割模型，得到所述当前帧图像的局部图像对应的掩膜。
本实施例中，得到裁剪后的当前帧图像的局部图像后，可先对该局部图像进行预处理，再将预处理后的局部图像输入至预先训练好的目标物分割模型，从而得到当前帧图像的局部图像所对应的掩膜。
其中，本实施例中，对局部图像进行预处理的方法可以为：若图像为BGR格式则先将图像转为RGB格式，将图像直接缩放至192x192像素大小（图像的长和宽），在对缩放后的图像进行归一化操作。其中需要说明的是，图像读入计算机后的得到维度为（H,W,3）的矩阵，因此本申请中的大小泛指H,W，即为图像的长和宽，单位对应图像就是像素。
本申请的目标物分割模型为预先基于神经网络训练得到的轻量推理模型，该模型采用ShuffleNet2作为分割网络的编码模块，整个编码模块对输入图像做16倍下采样，结合浅层粗解码器和深层精解码器提取图像语义信息，最终将下采样后的特征图解码还原，上采样得到输入图片目标物的掩膜。该模型结构简单，参数量小，计算量小，训练时通过将输出结果与真实目标物和大模型输出结果共同计算损失loss，最终蒸馏得到轻量化的目标物分割模型。本申请的目标物分割模型是基于有监督的训练方式得到的，其训练标签为包含0和1的、与原图大小相等的掩膜，因此，本申请的目标物分割模型可以预测出输入图像所对应的掩膜。其中，本申请中的掩膜（Mask）为与对应图像相同大小，且每个像素所对应的浮点数的数值均在0到1之间的灰度图。
步骤S15：根据所述当前帧图像的局部图像对应的掩膜，从所述当前帧图像中分割出所述目标物。
本实施例中，在得到当前帧图像的局部图像对应的掩膜后，由于掩膜中像素所对应的浮点数即为目标物分割模型预测该像素点属于目标物的置信度。本实施例中，则可以通过设置常数阈值以判断目标物（如人像）分割边界，以掩膜中所有浮点数大于常数阈值所对应的像素点的集合为目标物区域，从而根据当前帧图像的局部图像对应的掩膜，从当前帧图像中分割出目标物。
具体地，可将掩膜转换为0和1的矩阵，浮点数大于常数阈值，则转换成矩阵时为1，浮点数小于常数阈值，则转换成矩阵时为0，则以转换后的矩阵中所有1所对应的像素点的集合为目标物区域。而在本实施例中，常数阈值是根据经验自定义的可以调整的参数，例如常数阈值可以为0.5，本申请对常数阈值的具体数值不作具体限制。
通过本实施例的图像分割方法，不仅利用神经网络深度学习的方法通过轻量化的目标物分割模型实现快速分割图像，还结合对视频图像进行分割和跟踪的组合策略，将视频中的局部有效图像输入模型进行分割，这样不仅可以提升了图像的目标物占比（如人像占比），还可以减少背景带来的噪声，在同样计算量的情况下可以有效地提升图像分割的精度，以实现满足实时推理需求（实时展现图像效果）下的较高精度人像分割。
结合以上实施例，在一种实施方式中，本申请还提供了一种图像帧判别方法，具体地，该方法包括：
步骤S21：在所述当前帧图像是视频流的第一帧图像的情况下，确定所述当前帧图像为检测帧图像。
本实施例中，视频流的第一帧图像为检测帧图像，其目的在于确定视频中最开始出现的目标物的情况，为后续的图像分割与跟踪提供基础。
步骤S22：在所述当前帧图像是所述视频流的第n帧图像或第n的倍数帧图像的情况下，确定所述当前帧图像为检测帧图像，其中，n为预先指定的整数。
本实施例中，需要设定固定的全图检测间隔，以设定视频流中的固定间隔帧均为检测帧，检测帧主要用于查看是否有新的目标物进入图像中裁剪区域外的范围。本实施例可设定n为预先指定的整数，当视频流的第n帧图像或第n的倍数帧图像的情况下，确定当前帧图像为检测帧图像。例如n可以为10，10是本实施例所设定的固定全图检测间隔，需要说明的是，本申请对预先指定的整数n（固定全图检测间隔）的具体数值不作具体限制。
本实施例将视频流中的固定间隔帧设定为检测帧，从而防止当前帧图像进行目标物预测时由于前一帧图像目标物预测效果偏差而导致的误差积累，与此同时，也可以避免当前帧图像突然进入新的目标物部分（如人像部分），但由于没有进入裁剪区域而检测不到的情况。
步骤S23：在所述当前帧图像的前一帧图像中目标物的外接矩形的面积占所述当前帧图像的前一帧图像的面积的比例超出预设比例范围的情况下，确定所述当前帧图像为检测帧图像。
本实施例中，在当前帧图像的前一帧图像中目标物的外接矩形的面积占当前帧图像的前一帧图像的面积的比例超出预设比例范围的情况下，则当前帧图像为检测帧。其中，本实施例中的预设比例范围为事先根据经验所设定的，例如预设比例范围可以为（
Figure 185726DEST_PATH_IMAGE001
，
Figure 696342DEST_PATH_IMAGE002
）。也就是说，当前一帧图像中目标物的外接矩形的面积占前一帧图像的面积的比例小于
Figure 210500DEST_PATH_IMAGE001
或大于
Figure 74551DEST_PATH_IMAGE002
时，则当前帧图像为检测帧，其中，
Figure 747978DEST_PATH_IMAGE001
和
Figure 304861DEST_PATH_IMAGE002
分别为最小占比阈值和最大占比阈值，如
Figure 306315DEST_PATH_IMAGE001
可以为0.01、
Figure 98691DEST_PATH_IMAGE002
可以为0.6，本申请对最小占比阈值和最大占比阈值的具体数值不作具体限制。
在本实施例中，考虑到当前一帧图像分割出的目标物区域占比过小时，如继续跟踪会导致裁剪区域过小容易丢失图像信息，而当前一帧图像分割出的目标区域占比过大时，则裁剪后的推理结果与全图推理结果已相差不大，基于稳定性和实时性的考虑，上述这两种情况都不做裁剪，均设定为检测帧，从而直接对全图进行推理。此外，需要说明的是，本申请中的推理结果指的是进行模型预测后的目标物掩膜结果。
步骤S24：在所述当前帧图像不是检测帧图像的情况下，确定所述当前帧图像为跟踪帧图像。
本实施例中，视频流中的各个图像帧不是检测帧图像，就是跟踪帧图像。因此，当不满足上述三个检测帧条件时，则认为当前帧图像为跟踪帧图像，也即，在当前帧图像不是检测帧图像的情况下，确定当前帧图像为跟踪帧图像。
在本实施例中，将视频流中的各图像帧分为检测帧和跟踪帧，从而可以充分利用视频连续帧的特点，对前一帧图像检测到的目标物进行跟踪的情况下，预设间隔制定检测帧对全图进行推理及补充，以避免检测到视频中突然新出现的目标物或避免旧目标物高速运动出裁剪边界的情况。
结合以上实施例，在一种实施方式中，本申请还提供了一种图像分割方法，具体地，该方法还包括：
步骤S31：在所述当前帧图像是视频流中的第一帧图像的情况下，或，在所述当前帧图像及所述当前帧图像的前一帧图像均为检测帧图像的情况下，将所述当前帧图像输入所述目标物分割模型，得到所述当前帧图像对应的掩膜。
本实施例中，在当前帧图像是视频流中的第一帧图像，或，当前帧图像及当前帧图像的前一帧图像均为检测帧图像的情况下，则说明当前检测帧图像的前一帧图像不是跟踪帧图像，此时可直接将当前帧图像进行预处理。本实施例中对当前帧图像进行预处理的方法与上述步骤S14中对局部图像进行预处理的方法相同。
在对当前帧图像进行预处理后，将预处理后的当前帧图像输入至预先训练好的目标物分割模型，得到当前帧图像对应的掩膜。本实施例中将当前帧图像输入目标物分割模型，得到当前帧图像对应的掩膜，与上述步骤S14中将局部图像输入目标物分割模型，得到局部图像对应的掩膜的实质相同，均为将图像输入至目标物分割模型得到图像对应的掩膜。
步骤S32：根据所述当前帧图像中目标物所在的区域，生成用于框选所述当前帧图像中目标物的外接矩形。
本实施例中，得到目标物分割模型输出的当前帧图像对应的掩膜后，可根据当前帧图像对应的掩膜确定出当前帧图像中目标物所在的区域，具体与上述步骤S15中根据当前帧图像的局部图像对应的掩膜，确定局部图像中目标物类似。
在确定出当前帧图像中目标物所在的区域后，即可根据当前帧图像中目标物所在的区域，生成用于框选当前帧图像中目标物的外接矩形。具体地，生成当前帧图像中目标物的外接矩形的方法可为：
Figure 501990DEST_PATH_IMAGE004
本申请建立的计算机图像坐标系为：图像对应的坐标系原点位于左上角，向下为y轴正方向，向右为x轴正方向。其中，公式1中的
Figure 964195DEST_PATH_IMAGE005
、
Figure 79044DEST_PATH_IMAGE006
和
Figure 550477DEST_PATH_IMAGE007
、
Figure 808283DEST_PATH_IMAGE008
分别为当前图像帧中目标物的外接矩形的左上角坐标和右下角坐标，
Figure 831602DEST_PATH_IMAGE009
为当前图像帧中目标物区域横坐标集合，
Figure 807649DEST_PATH_IMAGE010
为当前图像帧中目标物区域纵坐标集合。
步骤S33：根据所述用于框选所述当前帧图像中目标物的外接矩形，得到所述当前帧图像的裁剪区域。
本实施例中，得到用于框选当前帧图像中目标物的外接矩形后，可基于当前帧图像中目标物的外接矩形，向外进行扩张，得到当前帧图像的裁剪区域。具体地，生成当前帧图像的裁剪区域的方法可为：
Figure 551614DEST_PATH_IMAGE012
其中，公式2中的
Figure 54139DEST_PATH_IMAGE013
、
Figure 123726DEST_PATH_IMAGE014
和
Figure 587069DEST_PATH_IMAGE015
、
Figure 400304DEST_PATH_IMAGE016
分别为当前帧图像的裁剪区域的左上角坐标和右下角坐标，均做向下取整；W、H为图像的宽和高；
Figure 491757DEST_PATH_IMAGE005
、
Figure 997825DEST_PATH_IMAGE006
和
Figure 682884DEST_PATH_IMAGE007
、
Figure 657400DEST_PATH_IMAGE008
分别为当前图像帧中目标物的外接矩形的左上角坐标和右下角坐标；pad为0到1之间的扩充系数，本实施例中的pad是一个可以动态调整的参数，通常可根据经验或具体业务的不同而调整。例如，本实施例中的pad可根据当前预测目标区域面积占图像面积比例阈值而定，如可根据经验设定面积比例阈值为0.3，当面积比大于0.3时，pad可以取0.05；当面积比小于0.3时，pad可以取0.1。本申请对制定扩充系数pad的面积比例阈值的具体数值不作具体限制。
步骤S34：存储所述当前帧图像的裁剪区域，以作为所述当前帧图像的下一帧图像的参考裁剪区域。
本实施例中，将当前帧图像的裁剪区域存储起来，保留至下一帧处理流程，用于下一帧图像的裁剪，从而可以最大限度利用视频连续帧的特点，用前一帧图像的先验信息（其中，先验信息本质上为前一帧图像所得到的掩膜结果，即0-1之间的灰度图，其隐含了目标物出现的位置和范围信息）为当前帧图像缩小分割范围，增大目标物（如人像）在待分割图像中的占比，从而增加分割精度。
在本实施例中，通过对当前帧图像的前一帧图像不是跟踪帧图像的检测帧图像全图处理，将当前检测帧图像预处理后直接输入模型得到图像对应的掩膜，将模型输出的图像对应的掩膜直接确定为当前帧的最终掩膜，确定出图像中的目标物，以实现从当前检测帧图像中快速分割出目标物。
结合以上实施例，在一种实施方式中，本申请还提供了一种图像分割方法，具体地，该方法还包括：
步骤S41：在所述当前帧图像为检测帧图像，且所述当前帧图像的前一帧图像为跟踪帧图像情况下，将所述当前帧图像输入所述目标物分割模型，得到所述当前帧图像对应的掩膜。
本实施例中，在当前帧图像为检测帧图像，且当前帧图像的前一帧图像为跟踪帧图像情况下，此时可直接将当前帧图像进行预处理。本实施例中对当前帧图像进行预处理的方法与上述步骤S14中对局部图像进行预处理的方法相同。
在对当前帧图像进行预处理后，将预处理后的当前帧图像输入至预先训练好的目标物分割模型，得到当前帧图像对应的掩膜。本实施例中将当前帧图像输入目标物分割模型，得到当前帧图像对应的掩膜，与上述步骤S14中将局部图像输入目标物分割模型，得到局部图像对应的掩膜的实质相同，均为将图像输入至目标物分割模型得到图像对应的掩膜。
步骤S42：根据所述当前帧图像对应的掩膜，确定所述当前帧图像中目标物所在的区域。
本实施例中，可根据当前帧图像对应的掩膜确定出当前帧图像中目标物所在的区域，具体与上述步骤S15中根据当前帧图像的局部图像对应的掩膜，确定局部图像中目标物类似。
步骤S43：将所述当前帧图像的前一帧图像中目标物所在的区域的有效像素的数量与所述当前帧图像中目标物所在的区域的有效像素的数量进行对比，确定是否满足滞留条件。
本实施例中，当前帧图像的前一帧图像为跟踪帧，由于直接对全图进行推理的效果肯定没有裁剪之后进行推理的效果好，针对检测帧进行全图推理会导致检测帧的输出结果与跟踪帧结果不同，且通常误差更大。因此在得到当前帧图像中目标物所在的区域后，需要将当前帧图像的前一帧图像目标物所在的区域的有效像素的数量与当前帧图像中目标物所在的区域的有效像素的数量进行对比，也可理解为进行前一帧图像与当前帧图像的目标物面积的对比，确定是否满足滞留条件，即确定两者目标物面积是否相差较大，以为当前检测帧图像的推理结果是否需要专门调误差做依据。
步骤S44：在满足滞留条件的情况下，将所述当前帧图像的前一帧图像的裁剪区域内的掩膜作为所述当前帧图像的参考裁剪区域内的掩膜，且所述当前帧图像的参考裁剪区域外仍保留基于所述目标物分割模型而得到的掩膜，从而生成所述当前帧图像的最终掩膜。
本实施例中，滞留条件判定方法具体如下：
Figure 744304DEST_PATH_IMAGE018
其中，公式3中的pts1和pts2分别为当前帧图像的前一帧图像目标物所在的区域的有效像素的数量，当前帧图像中目标物所在的区域的有效像素的数量，t为固定阈值。如果两者目标物所在的区域的有效像素的数量差占两者目标物所在的区域的平均有效像素的数量的比例大于该固定阈值时，则滞留条件成立，表征两者目标物的面积相差较大，此时需对当前检测帧图像的推理结果（即模型输出的掩膜）进行调误差。需要说明的是，本实施例中的固定阈值t是实现根据经验设定的，例如t可以为0.1，本申请对固定阈值t的具体数值不做具体限定。
本实施例中，在满足滞留条件的情况下，将当前帧图像的前一帧图像的裁剪区域内的掩膜作为当前帧图像的参考裁剪区域内的掩膜，其中，当前帧图像的前一帧图像的裁剪区域内的掩膜即为当前帧图像的前一跟踪帧进行裁剪后输入至模型所得到的当前帧图像的前一跟踪帧的局部图像对应的掩膜，并将该局部图像对应的掩膜替换掉当前帧图像的参考裁剪区域内的掩膜。实际上，当前帧图像的参考裁剪区域即为当前帧图像的前一帧图像进行裁剪的裁剪区域，当前帧图像的前一帧图像的裁剪区域保留到了当前帧图像，作为当前帧图像的参考裁剪区域，因此可以直接进行两个区域（当前帧图像的前一帧图像的裁剪区域与当前帧图像的参考裁剪区域）内的掩膜替换。此外，当前帧图像的参考裁剪区域外仍保留当前帧图像基于目标物分割模型而得到的掩膜，以引入新进入图像的目标物或原目标物出裁剪区域的部分，从而生成当前帧图像的最终掩膜。
本实施例中，因为满足滞留条件的话，表征全图推理的精度要比跟踪得到的结果的精度差很多，因此得到的目标物掩膜通常要带更多的误差即噪音；而如果不做滞留条件的判断和替代，在实时的效果就是在检测帧图像中的目标物附近突然出现持续一帧的噪音（如白边白色块）然后马上到跟踪帧图像又消失，从视觉上看就是每隔一段时间目标物周边会闪烁一下，影响实时目标物分离效果的稳定性。
步骤S45：根据所述当前帧图像的最终掩膜，生成用于框选所述当前帧图像中目标物的外接矩形。
本实施例中，在得到当前帧图像的最终掩膜后，根据当前帧图像对应的掩膜确定出当前帧图像中目标物所在的区域，具体与上述步骤S15中根据当前帧图像的局部图像对应的掩膜，确定局部图像中目标物类似。
在确定出当前帧图像中目标物所在的区域后，即可根据当前帧图像中目标物所在的区域，生成用于框选当前帧图像中目标物的外接矩形。具体地，生成当前帧图像中目标物的外接矩形的方法与上述步骤S32的方法相同。
步骤S45：根据所述用于框选所述当前帧图像中目标物的外接矩形，得到所述当前帧图像的裁剪区域。
本实施例中，得到用于框选当前帧图像中目标物的外接矩形后，可基于当前帧图像中目标物的外接矩形，向外进行扩张，得到当前帧图像的裁剪区域。具体地，生成当前帧图像的裁剪区域的方法与上述步骤S33的方法相同。
步骤S46：存储所述当前帧图像的裁剪区域，以作为所述当前帧图像的下一帧图像的参考裁剪区域。
本实施例中，将根据当前帧图像的最终掩膜生成的当前帧图像的裁剪区域存储起来，保留至下一帧处理流程，用于下一帧图像的裁剪，从而可以最大限度利用视频连续帧的特点，用前一帧图像的先验信息（其中，先验信息本质上为前一帧图像所得到的掩膜结果，即0-1之间的灰度图，其隐含了目标物出现的位置和范围信息）为当前帧图像缩小分割范围，增大目标物（如人像）在待分割图像中的占比，从而增加分割精度。
本实施例中，通过对当前帧图像的前一帧图像为跟踪帧图像的检测帧所推测的目标物掩膜做相应滞留条件的判断，从而可有效解决固定帧检测时的噪音闪烁问题，使实时显示的目标物分离效果更稳定。
结合以上实施例，在一种实施方式中，本申请还提供了一种图像分割方法，具体地，该方法可以包括：
步骤S51：在确定所述当前帧图像的裁剪区域之后，存储所述当前帧图像的裁剪区域，以作为所述当前帧图像的下一帧图像的参考裁剪区域。
本实施例中，在确定出当前帧图像的裁剪区域后，还会将当前帧图像的裁剪区域存储起来，保留至下一帧处理流程，以作为当前帧图像的下一帧图像的参考裁剪区域，用于下一帧图像的裁剪。
此外，在本实施例中，在得到当前帧图像的局部图像所对应的掩膜后，可从当前帧图像的局部图像所对应的掩膜中确定出当前帧图像中目标物所在的区域，从而根据当前帧图像中目标物所在的区域生成用于框选当前帧图像中目标物的外接矩形，具体与上述步骤S32中确定外接矩形的方法类似。
在确定出当前帧图像中目标物的外接矩形后，还会将当前帧图像中目标物的外接矩形存储起来，保留至下一帧处理流程，以用于下一帧图像中裁剪区域的确定。以此对于下一帧图像来说，通过前一帧图像的实际预测结果判断前一帧图像的裁剪区域是否合理，进而判断当前帧图像（即前一帧图像的下一帧图像）在生成新的裁剪区域时应做哪种补偿。
在本实施例中，将当前帧图像的裁剪区域存储起来，保留至下一帧处理流程，用于下一帧图像的裁剪，从而可以最大限度利用视频连续帧的特点，用前一帧图像的先验信息（其中，先验信息本质上为前一帧图像所得到的掩膜结果，即0-1之间的灰度图，其隐含了目标物出现的位置和范围信息）为当前帧图像缩小分割范围，增大目标物（如人像）在待分割图像中的占比，从而增加分割精度。并且，每一跟踪帧图像均会用到前一帧图像的裁剪信息数据，通过实时更新的方式，可以有效节约内存使用；同时，对每一跟踪帧图像的裁剪区域的确定均会以前一帧图像的裁剪区域为参考，减少了设备算力的占用。
结合以上实施例，在一种实施方式中，本申请还提供了一种跟踪帧的裁剪区域确定方法，具体地，该方法可以包括：
步骤S61：将所述当前帧图像的前一帧图像的裁剪区域由内而外划分为三个互不重叠的区域，作为所述当前帧图像的稳定区、回弹区以及延展区。
本实施例中，可以根据当前帧图像的前一帧图像的裁剪区域信息，将当前帧图像的前一帧图像的裁剪区域由内而外划分为三个互不重叠的区域，作为当前帧图像的稳定区、回弹区以及延展区。
具体地，根据前一帧所保留的裁剪信息（当前帧图像的前一帧图像的裁剪区域信息）生成当前帧图像的稳定区的方法如下：
Figure 421273DEST_PATH_IMAGE020
其中，上述公式4中的
Figure 718262DEST_PATH_IMAGE021
、
Figure 607721DEST_PATH_IMAGE022
为当前帧图像的稳定区的左上角的横、纵坐标，
Figure 814712DEST_PATH_IMAGE023
、
Figure 787216DEST_PATH_IMAGE024
为当前帧图像的稳定区的右下角的横、纵坐标，结果均向下取整；
Figure 446867DEST_PATH_IMAGE013
、
Figure 140017DEST_PATH_IMAGE014
和
Figure 60568DEST_PATH_IMAGE015
、
Figure 813760DEST_PATH_IMAGE016
分别为当前帧图像的前一帧图像的裁剪区域的左上角坐标和右下角坐标，其与上述步骤S33中的
Figure 960708DEST_PATH_IMAGE013
、
Figure 349226DEST_PATH_IMAGE014
和
Figure 265230DEST_PATH_IMAGE015
、
Figure 189323DEST_PATH_IMAGE016
相同。步骤S33中的当前帧图像的裁剪区域的左上角坐标和右下角坐标即可以理解为本步骤S61中的当前帧图像的前一帧图像的裁剪区域的左上角坐标和右下角坐标。
根据前一帧所保留的裁剪信息（当前帧图像的前一帧图像的裁剪区域信息）生成当前帧图像的回弹区的方法如下：
Figure 682622DEST_PATH_IMAGE026
其中，上述公式5中的
Figure 983153DEST_PATH_IMAGE027
、
Figure 753663DEST_PATH_IMAGE028
为当前帧图像的回弹区的左上角的横、纵坐标，
Figure 973292DEST_PATH_IMAGE029
、
Figure 94831DEST_PATH_IMAGE030
为当前帧图像的回弹区的右下角的横、纵坐标，结果均向下取整；
Figure 199054DEST_PATH_IMAGE013
、
Figure 683124DEST_PATH_IMAGE014
和
Figure 214600DEST_PATH_IMAGE015
、
Figure 557857DEST_PATH_IMAGE016
分别为当前帧图像的前一帧图像的裁剪区域的左上角坐标和右下角坐标，与上述步骤S33中的
Figure 465770DEST_PATH_IMAGE013
、
Figure 568462DEST_PATH_IMAGE014
和
Figure 270838DEST_PATH_IMAGE015
、
Figure 101391DEST_PATH_IMAGE016
相同。pad为0到1之间的扩充系数，本实施例中的pad是一个可以动态调整的参数，通常可根据经验或具体业务的不同而调整。例如，本实施例中的pad可根据当前预测目标区域面积占图像面积比例阈值而定，如可根据经验设定面积比例阈值为0.3，当面积比大于0.3时，pad可以取0.05；当面积比小于0.3时，pad可以取0.1。本申请对制定扩充系数pad的面积比例阈值的具体数值不作具体限制。
在本实施例中，确定裁剪区域时的pad（如公式2所示的pad），确定稳定区时的pad（如公式4所示的pad）以及确定回弹区的pad（如公式5所示的pad）可以取值相同，也可以取值不同，本申请对此不作具体限制。优选的，本实施例中的pad可以均为相同取值，以保证上述几个区域（如裁剪区域、稳定区以及回弹区）无交集。此外，即使本实施例中的pad取值不同，在改变其中一个pad值的情况下，另外的pad取值也需随之相应变化，以保证裁剪区域、稳定区以及回弹区彼此之间无交集。
本实施例中，当前帧图像的延展区在当前图像的稳定区和当前帧图像的前一帧图像的裁剪区域之间，因此，当前帧图像的延展区不用单独算坐标，进入延展区的本质其实就是出稳定区。示例的，可参见图2，图2是本申请一实施例示出的一种以人像为例的稳定区、回弹区以及延展区的示意图。
步骤S62：根据所述前一帧图像中的目标物的外接矩形与所述当前帧图像的稳定区、回弹区以及延展区之间的位置关系，确定所述当前帧图像的裁剪区域。
本实施例中，在得到当前帧图像的稳定区、回弹区以及延展区后，可根据当前帧图像的前一帧图像中的目标物的外接矩形的四条边分别与当前帧图像的稳定区、回弹区以及延展区之间的位置关系，确定出当前帧图像的裁剪区域。
在本实施例中，通过结合前一帧图像所保留的裁剪区域信息与前一帧图像中的目标物的外接矩形信息，判断两者之间的位置关系，共同决策生成当前跟踪帧的裁剪区域，以实现逐帧跟踪前一帧图像的裁剪区域，增大有效目标物在输入模型的图像中的占比来提升精度，从而实现速度与精度的兼得。
结合以上实施例，在一种实施方式中，本申请还提供了一种跟踪帧的裁剪区域确定方法，具体地，该方法可以包括：
步骤S71：针对所述前一帧图像中的目标物的外接矩形中的落入所述当前帧图像的延展区的边，根据所述前一帧图像的裁剪区域的坐标信息、所述前一帧图像中的目标物的外接矩形的坐标信息、以及所述当前帧图像的稳定区的坐标信息，得到构成所述当前帧图像的裁剪区域的相应边。
本实施例中，在得到上述各区域坐标后，即可对比前一帧图像中目标物区域外接矩形与上述各个区域的相对位置，制定当前帧图像的裁剪策略，且需对四条边分别独立进行判断。
针对当前帧图像的前一帧图像中的目标物的外接矩形中的落入当前帧图像的延展区的边，需根据前一帧图像的裁剪区域的坐标信息、前一帧图像中的目标物的外接矩形的坐标信息、以及当前帧图像的稳定区的坐标信息，得到构成当前帧图像的裁剪区域的相应边的相关坐标，从而得到构成当前帧图像的裁剪区域的相应边。
具体地，当某条边进入延展区时，当前帧图像的裁剪区域的相应边的相关坐标，可为：
Figure 406471DEST_PATH_IMAGE032
其中，在公式6中，
Figure 6079DEST_PATH_IMAGE005
、
Figure 879357DEST_PATH_IMAGE006
和
Figure 56261DEST_PATH_IMAGE007
、
Figure 40397DEST_PATH_IMAGE008
为前一帧图像中的目标物的外接矩形的左上角坐标和右下角坐标，其与上述步骤S33中的
Figure 760091DEST_PATH_IMAGE005
、
Figure 663325DEST_PATH_IMAGE006
和
Figure 468470DEST_PATH_IMAGE007
、
Figure 256298DEST_PATH_IMAGE008
相同。步骤S33中的当前图像帧中目标物的外接矩形的左上角坐标和右下角坐标即可以理解为本步骤S71中的当前帧图像的前一帧图像中的目标物的外接矩形的左上角坐标和右下角坐标。
Figure 456597DEST_PATH_IMAGE033
、
Figure 406099DEST_PATH_IMAGE034
和
Figure 432961DEST_PATH_IMAGE035
、
Figure 149113DEST_PATH_IMAGE036
为当前帧图像的待生成裁剪区域的左上角坐标和右下角坐标，结果向下取整。
Figure 312241DEST_PATH_IMAGE021
、
Figure 698223DEST_PATH_IMAGE022
和
Figure 602594DEST_PATH_IMAGE023
、
Figure 466645DEST_PATH_IMAGE024
分别为当前帧图像的稳定区的左上角坐标和右下角坐标；W、H为视频图像帧的宽和高。
在本实施例中，在前一帧图像的裁剪区域内的目标物部分接近区域边缘时（如人像的手向右伸接近右边界），为了避免这一帧图像的目标物的部分出边界导致裁剪后识别不到，则可将在进入延展区的方向再往外扩张一些留出余量（如将裁剪区域在右边再扩张一些，希望使人像的手不出裁剪区域）。
步骤S72：针对所述前一帧图像中的目标物的外接矩形中的落入所述当前帧图像的回弹区的边，根据所述前一帧图像的裁剪区域的坐标信息、所述前一帧图像中的目标物的外接矩形的坐标信息、以及所述当前帧图像的回弹区的坐标信息，得到所述当前帧图像的裁剪区域的相应边。
本实施例中，判断某条边是否进入回弹区，与上述进入延展区判断类似，针对当前帧图像的前一帧图像中的目标物的外接矩形中的落入当前帧图像的回弹区的边，需根据前一帧图像的裁剪区域的坐标信息、前一帧图像中的目标物的外接矩形的坐标信息、以及当前帧图像的回弹区的坐标信息，得到构成当前帧图像的裁剪区域的相应边的相关坐标，从而得到构成当前帧图像的裁剪区域的相应边。
具体地，当某条边进入回弹区时，当前帧图像的裁剪区域的相应边的相关坐标，可为：
Figure 749858DEST_PATH_IMAGE038
其中，在公式7中，
Figure 696955DEST_PATH_IMAGE005
、
Figure 698409DEST_PATH_IMAGE006
和
Figure 366150DEST_PATH_IMAGE007
、
Figure 150477DEST_PATH_IMAGE008
为前一帧图像中的目标物的外接矩形的左上角坐标和右下角坐标，其与上述步骤S33中的
Figure 143841DEST_PATH_IMAGE005
、
Figure 632591DEST_PATH_IMAGE006
和
Figure 963078DEST_PATH_IMAGE007
、
Figure 220884DEST_PATH_IMAGE008
相同。步骤S33中的当前图像帧中目标物的外接矩形的左上角坐标和右下角坐标即可以理解为本步骤S72中的当前帧图像的前一帧图像中的目标物的外接矩形的左上角坐标和右下角坐标。
Figure 385149DEST_PATH_IMAGE033
、
Figure 954671DEST_PATH_IMAGE034
和
Figure 229795DEST_PATH_IMAGE035
、
Figure 607686DEST_PATH_IMAGE036
为当前帧图像的待生成裁剪区域的左上角坐标和右下角坐标，结果向下取整。
Figure 536328DEST_PATH_IMAGE027
、
Figure 999670DEST_PATH_IMAGE028
和
Figure 812906DEST_PATH_IMAGE029
、
Figure 45304DEST_PATH_IMAGE030
分别为当前帧图像的回弹区的左上角坐标和右下角坐标。
在本实施例中，回弹区其实和延展区是正好相反的，还是以人像的手为例，当伸出去的手缩回来时，如果没有设置回弹区，那么裁剪区域会仍保持不变，这样就造成了目标物占比变小的现象，失去了图像跟踪的意义。本申请加入回弹区可以使手在缩回来时根据进入回弹区的距离将对应方向上的裁剪区域往回拉，希望保证当前帧图像的手仍在裁剪区域内的同时，目标物占比尽可能的大，从而提升分割精度。
步骤S73：针对所述前一帧图像中的目标物的外接矩形中的落入所述当前帧图像的稳定区的边，将所述前一帧图像的裁剪区域的相应边确定为所述当前帧图像的裁剪区域的相应边。
本实施例中，当某条边进入稳定区时，此时直接使用前一帧图像中的目标物的外接矩形的相应边作为当前帧图像的裁剪区域的相应边，即针对前一帧图像中的目标物的外接矩形中的落入所述当前帧图像的稳定区的边，将前一帧图像的裁剪区域的相应边确定为所述当前帧图像的裁剪区域的相应边。可以理解的是，当其四条边都在稳定区域内时，此时直接使用前一帧图像的裁剪区域作为当前帧图像的裁剪区域，不论前一帧图像是检测帧图像还是跟踪帧图像。
在本实施例中，通过设置延展区和回弹区限制裁剪区域大小，动态的控制目标物分割区域在裁剪区域中的占比，使其始终处于合适的推理比例。其中，延展区主要用于目标物肢体（如人像肢体）延展所导致的目标物形状变化（人像形状变化），扩充裁剪区域；而回弹区域适用于在目标物延展后肢体回缩时，可以及时的回弹裁剪区域，以避免目标物在其内占比变小导致的目标物分割推理精度下降。
结合以上实施例，在一种实施方式中，本申请还提供了一种图像分割方法，具体地，该方法可以包括：
步骤S81：将所述当前帧图像的局部图像对应的掩模进行扩充，得到用于分割人像的完整掩模；具体包括：预先构建一个与所述当前帧图像大小相等，全部用黑色像素填充的背景图像，将所述当前帧图像的局部图像对应的掩模按照所述当前帧图像的裁剪区域替换所述背景图像对应的区域，得到所述当前帧图像的全图对应的掩模。
本实施例中，在得到当前帧图像的局部图像对应的掩膜后，由于所得到的为局部图像的目标物分割掩膜，因此需预先构建一个与当前帧图像大小相等，全部用黑色像素填充的背景图像。再将当前帧图像的局部图像对应的掩模按照当前帧图像的裁剪区域替换背景图像中相对应的区域，从而得到当前跟踪帧的全图的掩膜。
结合以上实施例，在一种实施方式中，本申请还提供了一种图像分割方法，具体地，该方法可以包括：
步骤S91：将所述视频流中的每一帧图像所得到的最终的掩膜作为权重矩阵，将所述权重矩阵与所述每一帧图像的原始像素值相乘后进行取整，得到视频流中的每一帧图像的目标物分离的图像并显示。
本实施例中，针对视频流中的每一帧图像均得到了相应的最终的掩膜：针对跟踪帧图像来说，其相对应的最终的掩膜即为局部图像对应的掩膜进行扩充后的掩膜；针对视频流中的第一帧图像，以及当前帧图像及所述当前帧图像的前一帧图像均为检测帧图像的当前检测帧图像来说，其相对应的最终的掩膜即为目标物分割模型所输出的掩膜；而针对当前帧图像的前一帧图像为跟踪帧图像的当前检测帧图像来说，其相对应的最终的掩膜即为与当前帧图像的前一帧图像的裁剪区域内的掩膜进行替换后所得到的最终掩膜。
得到视频流中的每一帧图像所得到的最终的掩膜，实质上均为一个像素值对应的浮点数为0-1之间，大小与视频帧图像相同的图像矩阵。因此，在得到视频流中的每一帧图像所得到的最终的掩膜后，可将视频流中的每一帧图像所得到的最终的掩膜作为权重矩阵，将该权重矩阵与每一帧图像的原始像素值相乘后，并将结果进行取整，即可将目标物以外的区域变为趋近于0的像素值，即黑色区域，从而得到目标物分离的图像并显示。由于此方法在移动端速度在30ms以内，故可将每一帧图像得到的结果在下一帧图像到来前输出，从而实现实时目标物分割跟踪的效果。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
基于同一发明构思，本申请一实施例提供了一种图像分割装置300。参考图3，图3是本申请一实施例提供的图像分割装置的结构框图。如图3所示，该装置300包括：
判断模块301，用于以视频流中的每一帧图像为当前帧图像，确定所述当前帧图像是检测帧图像还是跟踪帧图像；
裁剪区域确定模块302，用于在所述当前帧图像是跟踪帧图像的情况下，根据为所述当前帧图像预先存储的参考裁剪区域和用于框选所述当前帧图像的前一帧图像中目标物的外接矩形，确定所述当前帧图像的裁剪区域；其中，所述为所述当前帧图像预先存储的参考裁剪区域是所述当前帧图像的前一帧图像的裁剪区域；
裁剪模块303，用于根据所述当前帧图像的裁剪区域，对所述当前帧图像进行裁剪，得到所述当前帧图像的局部图像；
局部掩膜确定模块304，用于将所述当前帧图像的局部图像输入目标物分割模型，得到所述当前帧图像的局部图像对应的掩膜；
分割模块305，用于根据所述当前帧图像的局部图像对应的掩膜，从所述当前帧图像中分割出所述目标物。
可选的，所述装置300还包括：
第一掩膜确定模块：用于在所述当前帧图像是视频流中的第一帧图像的情况下，或，在所述当前帧图像及所述当前帧图像的前一帧图像均为检测帧图像的情况下，将所述当前帧图像输入所述目标物分割模型，得到所述当前帧图像对应的掩膜；
第一外接矩形确定模块，用于根据所述当前帧图像中目标物所在的区域，生成用于框选所述当前帧图像中目标物的外接矩形；
第一裁剪区域确定模块，用于根据所述用于框选所述当前帧图像中目标物的外接矩形，得到所述当前帧图像的裁剪区域；
第一存储模块，用于存储所述当前帧图像的裁剪区域，以作为所述当前帧图像的下一帧图像的参考裁剪区域。
可选的，所述装置300还包括：
第二掩膜确定模块：用于在所述当前帧图像为检测帧图像，且所述当前帧图像的前一帧图像为跟踪帧图像情况下，将所述当前帧图像输入所述目标物分割模型，得到所述当前帧图像对应的掩膜；
第二目标物确定模块，用于根据所述当前帧图像对应的掩膜，确定所述当前帧图像中目标物所在的区域；
第二判断模块，用于将所述当前帧图像的前一帧图像中目标物所在的区域的有效像素的数量与所述当前帧图像中目标物所在的区域的有效像素的数量进行对比，确定是否满足滞留条件；
第三掩膜确定模块，用于在满足滞留条件的情况下，将所述当前帧图像的前一帧图像的裁剪区域内的掩膜作为所述当前帧图像的参考裁剪区域内的掩膜，且所述当前帧图像的参考裁剪区域外仍保留基于所述目标物分割模型而得到的掩膜，从而生成所述当前帧图像的最终掩膜；
第二外接矩形确定模块，用于根据所述当前帧图像的最终掩膜，生成用于框选所述当前帧图像中目标物的外接矩形；
第二裁剪区域确定模块，用于根据所述用于框选所述当前帧图像中目标物的外接矩形，得到所述当前帧图像的裁剪区域；
第二存储模块，用于存储所述当前帧图像的裁剪区域，以作为所述当前帧图像的下一帧图像的参考裁剪区域。
可选的，装置300还包括：
第三存储模块，用于存储所述当前帧图像的裁剪区域，以作为所述当前帧图像的下一帧图像的参考裁剪区域。
可选的，所述判断模块301包括：
第一判断子模块，用于在所述当前帧图像是视频流的第一帧图像的情况下，确定所述当前帧图像为检测帧图像；
第二判断子模块，用于在所述当前帧图像是所述视频流的第n帧图像或第n的倍数帧图像的情况下，确定所述当前帧图像为检测帧图像，其中，n为预先指定的整数；
第三判断子模块，用于在所述当前帧图像的前一帧图像中目标物的外接矩形的面积占所述当前帧图像的前一帧图像的面积的比例超出预设比例范围的情况下，确定所述当前帧图像为检测帧图像；
第四判断子模块，用于在所述当前帧图像不是检测帧图像的情况下，确定所述当前帧图像为跟踪帧图像。
可选的，所述裁剪区域确定模块302包括：
区域确定模块，用于将所述当前帧图像的前一帧图像的裁剪区域由内而外划分为三个互不重叠的区域，作为所述当前帧图像的稳定区、回弹区以及延展区；
第一裁剪区域确定子模块，用于根据所述前一帧图像中的目标物的外接矩形与所述当前帧图像的稳定区、回弹区以及延展区之间的位置关系，确定所述当前帧图像的裁剪区域。
可选的，所述第一裁剪区域确定子模块包括：
延展区确定模块，用于针对所述前一帧图像中的目标物的外接矩形中的落入所述当前帧图像的延展区的边，根据所述前一帧图像的裁剪区域的坐标信息、所述前一帧图像中的目标物的外接矩形的坐标信息、以及所述当前帧图像的稳定区的坐标信息，得到构成所述当前帧图像的裁剪区域的相应边；
回弹区确定模块，用于针对所述前一帧图像中的目标物的外接矩形中的落入所述当前帧图像的回弹区的边，根据所述前一帧图像的裁剪区域的坐标信息、所述前一帧图像中的目标物的外接矩形的坐标信息、以及所述当前帧图像的回弹区的坐标信息，得到所述当前帧图像的裁剪区域的相应边；
稳定区确定模块，用于针对所述前一帧图像中的目标物的外接矩形中的落入所述当前帧图像的稳定区的边，将所述前一帧图像的裁剪区域的相应边确定为所述当前帧图像的裁剪区域的相应边。
基于同一发明构思，本申请另一实施例提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的图像分割方法中的步骤。
基于同一发明构思，本申请另一实施例提供一种电子设备400，如图4所示。图4是本申请一实施例示出的一种电子设备的示意图。该电子设备包括存储器402、处理器401及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的图像分割方法中的步骤。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种图像分割方法、装置、电子设备及可读存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像分割方法，其特征在于，所述方法包括：
以视频流中的每一帧图像为当前帧图像，确定所述当前帧图像是检测帧图像还是跟踪帧图像；
在所述当前帧图像是跟踪帧图像的情况下，根据为所述当前帧图像预先存储的参考裁剪区域和用于框选所述当前帧图像的前一帧图像中目标物的外接矩形，确定所述当前帧图像的裁剪区域；其中，所述为所述当前帧图像预先存储的参考裁剪区域是所述当前帧图像的前一帧图像的裁剪区域；
根据所述当前帧图像的裁剪区域，对所述当前帧图像进行裁剪，得到所述当前帧图像的局部图像；
将所述当前帧图像的局部图像输入目标物分割模型，得到所述当前帧图像的局部图像对应的掩膜；
根据所述当前帧图像的局部图像对应的掩膜，从所述当前帧图像中分割出所述目标物。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述当前帧图像是视频流中的第一帧图像的情况下，或，在所述当前帧图像及所述当前帧图像的前一帧图像均为检测帧图像的情况下，
将所述当前帧图像输入所述目标物分割模型，得到所述当前帧图像对应的掩膜；
根据所述当前帧图像中目标物所在的区域，生成用于框选所述当前帧图像中目标物的外接矩形；
根据所述用于框选所述当前帧图像中目标物的外接矩形，得到所述当前帧图像的裁剪区域；
存储所述当前帧图像的裁剪区域，以作为所述当前帧图像的下一帧图像的参考裁剪区域。
3.根据权利要求1所述的方法，其特征在于，在确定所述当前帧图像的裁剪区域之后，所述方法还包括：
存储所述当前帧图像的裁剪区域，以作为所述当前帧图像的下一帧图像的参考裁剪区域。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在所述当前帧图像为检测帧图像，且所述当前帧图像的前一帧图像为跟踪帧图像情况下，
将所述当前帧图像输入所述目标物分割模型，得到所述当前帧图像对应的掩膜；
根据所述当前帧图像对应的掩膜，确定所述当前帧图像中目标物所在的区域；
将所述当前帧图像的前一帧图像中目标物所在的区域的有效像素的数量与所述当前帧图像中目标物所在的区域的有效像素的数量进行对比，确定是否满足滞留条件；
在满足滞留条件的情况下，将所述当前帧图像的前一帧图像的裁剪区域内的掩膜作为所述当前帧图像的参考裁剪区域内的掩膜，且所述当前帧图像的参考裁剪区域外仍保留基于所述目标物分割模型而得到的掩膜，从而生成所述当前帧图像的最终掩膜；
根据所述当前帧图像的最终掩膜，生成用于框选所述当前帧图像中目标物的外接矩形；
根据所述用于框选所述当前帧图像中目标物的外接矩形，得到所述当前帧图像的裁剪区域；
存储所述当前帧图像的裁剪区域，以作为所述当前帧图像的下一帧图像的参考裁剪区域。
5.根据权利要求1所述的方法，其特征在于，所述确定所述当前帧图像是检测帧图像还是跟踪帧图像，包括：
在所述当前帧图像是视频流的第一帧图像的情况下，确定所述当前帧图像为检测帧图像；
在所述当前帧图像是所述视频流的第n帧图像或第n的倍数帧图像的情况下，确定所述当前帧图像为检测帧图像，其中，n为预先指定的整数；
在所述当前帧图像的前一帧图像中目标物的外接矩形的面积占所述当前帧图像的前一帧图像的面积的比例超出预设比例范围的情况下，确定所述当前帧图像为检测帧图像；
在所述当前帧图像不是检测帧图像的情况下，确定所述当前帧图像为跟踪帧图像。
6.根据权利要求1所述的方法，其特征在于，所述根据为所述当前帧图像预先存储的参考裁剪区域和用于框选所述当前帧图像的前一帧图像中目标物的外接矩形，确定所述当前帧图像的裁剪区域，包括：
将所述当前帧图像的前一帧图像的裁剪区域由内而外划分为三个互不重叠的区域，作为所述当前帧图像的稳定区、回弹区以及延展区；
根据所述前一帧图像中的目标物的外接矩形与所述当前帧图像的稳定区、回弹区以及延展区之间的位置关系，确定所述当前帧图像的裁剪区域。
7.根据权利要求6所述的方法，其特征在于，所述根据所述前一帧图像中的目标物的外接矩形与所述当前帧图像的稳定区、回弹区以及延展区之间的位置关系，确定所述当前帧图像的裁剪区域，包括：
针对所述前一帧图像中的目标物的外接矩形中的落入所述当前帧图像的延展区的边，根据所述前一帧图像的裁剪区域的坐标信息、所述前一帧图像中的目标物的外接矩形的坐标信息、以及所述当前帧图像的稳定区的坐标信息，得到构成所述当前帧图像的裁剪区域的相应边；
针对所述前一帧图像中的目标物的外接矩形中的落入所述当前帧图像的回弹区的边，根据所述前一帧图像的裁剪区域的坐标信息、所述前一帧图像中的目标物的外接矩形的坐标信息、以及所述当前帧图像的回弹区的坐标信息，得到所述当前帧图像的裁剪区域的相应边；
针对所述前一帧图像中的目标物的外接矩形中的落入所述当前帧图像的稳定区的边，将所述前一帧图像的裁剪区域的相应边确定为所述当前帧图像的裁剪区域的相应边。
8.一种图像分割装置，其特征在于，所述装置包括：
判断模块，用于以视频流中的每一帧图像为当前帧图像，确定所述当前帧图像是检测帧图像还是跟踪帧图像；
裁剪区域确定模块，用于在所述当前帧图像是跟踪帧图像的情况下，根据为所述当前帧图像预先存储的参考裁剪区域和用于框选所述当前帧图像的前一帧图像中目标物的外接矩形，确定所述当前帧图像的裁剪区域；其中，所述为所述当前帧图像预先存储的参考裁剪区域是所述当前帧图像的前一帧图像的裁剪区域；
裁剪模块，用于根据所述当前帧图像的裁剪区域，对所述当前帧图像进行裁剪，得到所述当前帧图像的局部图像；
局部掩膜确定模块，用于将所述当前帧图像的局部图像输入目标物分割模型，得到所述当前帧图像的局部图像对应的掩膜；
分割模块，用于根据所述当前帧图像的局部图像对应的掩膜，从所述当前帧图像中分割出所述目标物。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行时实现如权利要求1-7任一所述的方法的步骤。
CN202111042037.7A 2021-09-07 2021-09-07 图像分割方法、装置、电子设备及可读存储介质 Active CN113516672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111042037.7A CN113516672B (zh) 2021-09-07 2021-09-07 图像分割方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111042037.7A CN113516672B (zh) 2021-09-07 2021-09-07 图像分割方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113516672A true CN113516672A (zh) 2021-10-19
CN113516672B CN113516672B (zh) 2022-02-25

Family

ID=78062831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111042037.7A Active CN113516672B (zh) 2021-09-07 2021-09-07 图像分割方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113516672B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125462A (zh) * 2021-11-30 2022-03-01 北京达佳互联信息技术有限公司 视频处理方法及装置
CN115018704A (zh) * 2022-05-27 2022-09-06 浙江大华技术股份有限公司 一种图像处理方法、装置、电子设备和存储介质
CN115601375A (zh) * 2022-12-15 2023-01-13 深圳思谋信息科技有限公司（Cn） 视频帧的处理方法、装置、设备以及计算机可读介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004013614A (ja) * 2002-06-07 2004-01-15 Matsushita Electric Ind Co Ltd 物体追跡装置、物体追跡装置制御方法、および画像認識システム
WO2017213923A1 (en) * 2016-06-09 2017-12-14 Lytro, Inc. Multi-view scene segmentation and propagation
CN109493350A (zh) * 2018-11-09 2019-03-19 重庆中科云丛科技有限公司 人像分割方法及装置
WO2019143722A1 (en) * 2018-01-18 2019-07-25 GumGum, Inc. Augmenting detected regions in image or video data
CN110650291A (zh) * 2019-10-23 2020-01-03 Oppo广东移动通信有限公司 目标追焦方法和装置、电子设备、计算机可读存储介质
CN111414860A (zh) * 2020-03-20 2020-07-14 杭州趣维科技有限公司 一种实时的人像跟踪分割方法
CN111598902A (zh) * 2020-05-20 2020-08-28 北京字节跳动网络技术有限公司 图像分割方法、装置、电子设备及计算机可读介质
CN111931654A (zh) * 2020-08-11 2020-11-13 精英数智科技股份有限公司 一种人员跟踪智能监测方法、系统和装置
US20210042928A1 (en) * 2019-08-05 2021-02-11 Sony Corporation Of America Image mask generation using a deep neural network
CN112767295A (zh) * 2021-01-14 2021-05-07 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN112949401A (zh) * 2021-02-01 2021-06-11 浙江大华技术股份有限公司 图像分析方法、装置、设备及计算机存储介质
CN113066092A (zh) * 2021-03-30 2021-07-02 联想(北京)有限公司 视频对象分割方法、装置及计算机设备
CN113205011A (zh) * 2021-04-19 2021-08-03 Oppo广东移动通信有限公司 图像掩膜确定方法及装置、存储介质和电子设备
CN113223023A (zh) * 2021-05-31 2021-08-06 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备、存储介质
CN113240679A (zh) * 2021-05-17 2021-08-10 广州华多网络科技有限公司 图像处理方法、装置、计算机设备及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004013614A (ja) * 2002-06-07 2004-01-15 Matsushita Electric Ind Co Ltd 物体追跡装置、物体追跡装置制御方法、および画像認識システム
WO2017213923A1 (en) * 2016-06-09 2017-12-14 Lytro, Inc. Multi-view scene segmentation and propagation
WO2019143722A1 (en) * 2018-01-18 2019-07-25 GumGum, Inc. Augmenting detected regions in image or video data
CN109493350A (zh) * 2018-11-09 2019-03-19 重庆中科云丛科技有限公司 人像分割方法及装置
US20210042928A1 (en) * 2019-08-05 2021-02-11 Sony Corporation Of America Image mask generation using a deep neural network
CN110650291A (zh) * 2019-10-23 2020-01-03 Oppo广东移动通信有限公司 目标追焦方法和装置、电子设备、计算机可读存储介质
CN111414860A (zh) * 2020-03-20 2020-07-14 杭州趣维科技有限公司 一种实时的人像跟踪分割方法
CN111598902A (zh) * 2020-05-20 2020-08-28 北京字节跳动网络技术有限公司 图像分割方法、装置、电子设备及计算机可读介质
CN111931654A (zh) * 2020-08-11 2020-11-13 精英数智科技股份有限公司 一种人员跟踪智能监测方法、系统和装置
CN112767295A (zh) * 2021-01-14 2021-05-07 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN112949401A (zh) * 2021-02-01 2021-06-11 浙江大华技术股份有限公司 图像分析方法、装置、设备及计算机存储介质
CN113066092A (zh) * 2021-03-30 2021-07-02 联想(北京)有限公司 视频对象分割方法、装置及计算机设备
CN113205011A (zh) * 2021-04-19 2021-08-03 Oppo广东移动通信有限公司 图像掩膜确定方法及装置、存储介质和电子设备
CN113240679A (zh) * 2021-05-17 2021-08-10 广州华多网络科技有限公司 图像处理方法、装置、计算机设备及存储介质
CN113223023A (zh) * 2021-05-31 2021-08-06 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备、存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J. CHENG等: ""Fast and Accurate Online Video Object Segmentation via Tracking Parts"", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
王荣本等: ""基于边界提取和跟踪的石块检测方法研究"", 《计算机应用》 *
肖国宴: ""基于视频的车辆检测与分割算法研究"", 《中国优秀博硕士学位论文全文数据库(硕士)·工程科技Ⅱ辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125462A (zh) * 2021-11-30 2022-03-01 北京达佳互联信息技术有限公司 视频处理方法及装置
CN114125462B (zh) * 2021-11-30 2024-03-12 北京达佳互联信息技术有限公司 视频处理方法及装置
CN115018704A (zh) * 2022-05-27 2022-09-06 浙江大华技术股份有限公司 一种图像处理方法、装置、电子设备和存储介质
CN115601375A (zh) * 2022-12-15 2023-01-13 深圳思谋信息科技有限公司（Cn） 视频帧的处理方法、装置、设备以及计算机可读介质

Also Published As

Publication number Publication date
CN113516672B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN113516672B (zh) 图像分割方法、装置、电子设备及可读存储介质
US11468660B2 (en) Pixel-level based micro-feature extraction
CN109871760B (zh) 一种人脸定位方法、装置、终端设备及存储介质
US10037610B1 (en) Method for tracking and segmenting a target object in an image using Markov Chain, and device using the same
EP3745339A1 (en) Method for implanting advertisements in video, and computer device
CN112016614B (zh) 光学图像目标检测模型的构建方法、目标检测方法及装置
US8280165B2 (en) System and method for segmenting foreground and background in a video
CN104517110B (zh) 一种二维码图像的二值化方法及系统
CN109147368A (zh) 基于车道线的智能驾驶控制方法装置与电子设备
US20130163868A1 (en) Parameters interpolation for high dynamic range video tone mapping
WO2014074139A1 (en) System and method for processing visual information for event detection
CN104182718A (zh) 一种人脸特征点定位方法及装置
JP7215390B2 (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN112489020B (zh) 一种图像筛选方法、装置、电子设备及存储介质
JP2002271788A (ja) 画像符号化方法と装置および画像復号方法および装置
CN110807392A (zh) 编码控制方法以及相关装置
CN114037938B (zh) 一种基于NFL-Net的低照度目标检测方法
CN110969642B (zh) 视频过滤方法、装置、电子设备及存储介质
CN112270691A (zh) 一种基于动态滤波器网络的单目视频结构和运动预测方法
JP2000048211A (ja) 移動物体追跡装置
US20220335572A1 (en) Semantically accurate super-resolution generative adversarial networks
Chen et al. Counter-propagation artificial neural network-based motion detection algorithm for static-camera surveillance scenarios
CN114913471A (zh) 一种图像处理方法、装置和可读存储介质
CN114332163A (zh) 一种基于语义分割的高空抛物检测方法及系统
CN111242120B (zh) 文字检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant