CN111415358A - 图像分割方法、装置、电子设备及存储介质 - Google Patents
图像分割方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111415358A CN111415358A CN202010203368.3A CN202010203368A CN111415358A CN 111415358 A CN111415358 A CN 111415358A CN 202010203368 A CN202010203368 A CN 202010203368A CN 111415358 A CN111415358 A CN 111415358A
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- image segmentation
- network
- segmentation model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 248
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 claims description 79
- 230000006870 function Effects 0.000 claims description 30
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 9
- 238000003702 image correction Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本申请公开了一种图像分割方法、装置、电子设备及存储介质，该图像分割方法包括：获取待处理图像；将所述待处理图像输入已训练的图像分割模型，所述图像分割模型被预先训练，以根据待处理图像输出所述待处理图像中目标对象的掩膜图像以及所述目标对象对应的矩形区域；根据所述图像分割模型输出的矩形区域，对所述图像分割模型输出的掩膜图像进行修正，获得所述目标对象对应的对象掩膜图像。本方法可以提升图像分割的准确度。
Description
技术领域
本申请涉及图像处理技术领域，更具体地，涉及一种图像分割方法、装置、电子设备及存储介质。
背景技术
图像分割技术在电子设备上有广泛的应用，如背景虚化、换背景等，高精度的图像分割可以带来更好的用户体验。图像分割是指依据图像的灰度、纹理和形状等特征，把图像划分成若干的互相没有重合的区域，主要应用于对人像、动物以及自然场景以及各种带有明显语义信息的对象的分割。在一些复杂的背景下，分割对象的外部通常会存在杂乱的噪声，使得分割效果受到影响。
发明内容
鉴于上述问题，本申请提出了一种图像分割方法、装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种图像分割方法，所述方法包括：获取待处理图像；将所述待处理图像输入已训练的图像分割模型，所述图像分割模型被预先训练，以根据待处理图像输出所述待处理图像中目标对象的掩膜图像以及所述目标对象对应的矩形区域；根据所述图像分割模型输出的矩形区域，对所述图像分割模型输出的掩膜图像进行修正，获得所述目标对象对应的对象掩膜图像。
第二方面，本申请实施例提供了一种图像分割装置，所述装置包括：图像获取模块、图像输入模块以及图像修正模块，其中，所述图像获取模块用于获取待处理图像；所述图像输入模块用于将所述待处理图像输入已训练的图像分割模型，所述图像分割模型被预先训练，以根据待处理图像输出所述待处理图像中目标对象的掩膜图像以及所述目标对象对应的矩形区域；所述图像修正模块用于根据所述图像分割模型输出的矩形区域，对所述图像分割模型输出的掩膜图像进行修正，获得所述目标对象对应的对象掩膜图像。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的图像分割方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的图像分割方法。
本申请提供的方案，通过获取待处理图像，将待处理图像输入已训练的图像分割模型，该图像分割模型被预先训练，以根据待处理图像输出待处理图像中目标对象的掩膜图像以及该目标对象对应的矩形区域，然后根据该图像分割模型输出的矩形区域，对该图像分割模型输出的掩膜图像进行修正，获得目标对象对应的对象掩膜图像，从而实现根据以上图像分割模型，分割出待处理图像中目标对象的掩膜图像以及对应的矩形区域，然后根据矩形区域对掩膜图像进行修正，避免掩膜图像中目标对象以外的区域被误分割为目标对象对应的区域，提升了掩膜图像中目标对象对应的区域的准确性，进而提升了图像分割的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本申请一个实施例的图像分割方法流程图。
图2示出了根据本申请另一个实施例的图像分割方法流程图。
图3示出了本申请另一个实施例提供的传统的deeplabv3+语义图像分割模型的示意图。
图4示出了本申请实施例提供的图像分割网络的示意图。
图5示出了本申请另一个实施例提供的图像分割方法中步骤S230的流程图。
图6示出了根据本申请又一个实施例的图像分割方法流程图。
图7示出了根据本申请一个实施例的图像分割装置的一种框图。
图8是本申请实施例的用于执行根据本申请实施例的图像分割方法的移动终端的框图。
图9是本申请实施例的用于保存或者携带实现根据本申请实施例的图像分割方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
随着科技水平的迅猛发展，电子设备可以实现的功能越来越多。其中，电子设备中可以实现图像分割，以将图像中相应的对象分割为互不重合的区域。例如，实现人脸图像的分割时，将人脸区域和背景区域进行分割，以进行背景虚化、换背景等。
传统的图像分割方法一般采用编解码网络的方法来实现，采用单个模型，一般有两类分割目标，即待分割对象的区域和背景区域，来实现待分割对象的分割的目的。但是在对图像进行图像分割时，图像中待分割对象的外部通常会存在杂乱的噪声，从而使得分割效果不太理想。
针对上述问题，发明人经过长时间的研究，并提出了本申请实施例提供的图像分割方法、装置、电子设备以及存储介质，可以避免掩膜图像中目标对象以外的区域被误分割为目标对象对应的区域，提升了掩膜图像中目标对象对应的区域的准确性，进而提升了图像分割的准确性。其中，具体的图像分割方法在后续的实施例中进行详细的说明。
请参阅图1，图1示出了本申请一个实施例提供的图像分割方法的流程示意图。在具体的实施例中，所述图像分割方法应用于如图7所示的图像分割装置400以及配置有所述图像分割装置400的电子设备100(图8)。下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、智能手表等，在此不做限定。下面将针对图1所示的流程进行详细的阐述，所述图像分割方法具体可以包括以下步骤：
步骤S110：获取待处理图像。
在本申请实施例中，电子设备可以获取待处理图像，待处理图像可以为包括目标对象的图像。其中，目标对象可以为需要从待处理图像中进行分割的对象，例如，目标对象可以为人像，可以为动物等，在此不做限定。
在一些实施方式中，电子设备可以通过摄像头对目标对象进行图像采集，从而获得待处理图像。作为一种实施方式，电子设备可以通过前置摄像头对目标对象进行图像采集，例如，目标对象为人脸时，通过前置摄像头可以采集用户的人脸的图像，从而获得待处理的人脸图像。作为又一种实施方式，电子设备也可以通过后置摄像头对目标对象进行图像采集，例如，目标对象为宠物时，可以通过电子设备的后置摄像头对宠物进行图像采集，从而获得待处理的宠物图像。当然，上述方式仅为本实施例的列举，电子设备还可以通过其他方式采集图像，从而获得待处理图像，在此不做限定。
在一些实施方式中，电子设备可以从本地获取待处理图像，也就是说，电子设备可以从本地存储的文件中获取待处理图像。例如，电子设备可以从相册获取待处理图像，即电子设备预先通过摄像头采集待处理图像后存储在本地相册，或者预先从网络下载待处理图像后存储在本地相册等，然后在需要对待处理图像进行图像分割时，从相册中读取待处理图像。
在一些实施方式中，电子设备也可以从网络下载待处理图像。例如，电子设备可以通过无线网络、数据网络等从相应的服务器下载需求的待处理图像，以进行待处理图像中目标对象的分割。
当然，电子设备具体获取待处理图像的方式可以不作为限定。
步骤S120：将所述待处理图像输入已训练的图像分割模型，所述图像分割模型被预先训练，以根据待处理图像输出所述待处理图像中目标对象的掩膜图像以及所述目标对象对应的矩形区域。
在本申请实施例中，电子设备在获取到待处理图像之后，可以将待处理图像输入已训练的图像分割模型，以获得图像分割模型输出的待处理图像中目标对象的掩膜图像以及该目标对象对应的矩形区域。
在本申请实施例中，图像分割模型为预先训练得到的，具体地，图像分割模型可以为预先通过机器学习获得。在一些实施方式中，可采集训练数据集，其中，训练数据集中的一类数据的属性或特征区别于另一类数据，然后通过将采集的训练数据集按照预设的算法对初始模型进行训练建模，从而基于该训练数据集总结出规律，得到已训练的图像分割模型。其中，初始模型可以为神经网络、语义图像分割模型等。于本实施例中，初始模型可以被设置为具有两个输出分支，其中一个输出分支用于输出图像中目标对象的掩膜图像，另一个输出分支用于输出图像中目标对象对应的矩形区域。
在一些实施方式中，用于训练图像分割模型的训练数据集可以是多张图像、每张图像中目标对象的掩膜图像以及目标对象对应的矩形区域，初始模型可以为语义图像分割模型(例如deeplabv3+分割模型)等，在此不做限定。
在一些实施方式中，该已训练的图像风格模型可以预先训练完成后存储在与电子设备通信连接的服务器。基于此，电子设备在获取到待处理图像后，可以通过网络发送指令至存储在服务器的已训练的图像分割模型，以指示该已训练的图像分割模型通过网络读取电子设备获取的待处理图像，或者电子设备可以通过网络将待处理图像发送至存储在服务器的已训练的图像分割模型，然后电子设备在接收服务器返回的对待处理图像进行分割的图像分割结果，即待处理图像输入图像分割模型后获得的掩膜图像以及矩形区域，从而通过将已训练的图像分割模型存储在服务器的方式，减少对电子设备的存储空间的占用，降低对电子设备正常运行的影响。
在一些实施方式中，该已训练的图像分割模型也可以预先训练完成后存储在电子设备本地。基于此，电子设备获取待处理图像后，可以直接在本地调用该已训练的图像分割模型，例如，电子设备可以将该待处理图像输入存储在本地的已训练的图像分割模型，从而有效避免由于网络因素的影响降低获取图像分割模型输出的结果的速度，提升用户体验。
在一些实施方式中，该已训练的图像分割模型可以是基于deeplabv3+分割模型，对deeplabv3+分割模型的ASPP结构的输出加入另一条输出分支，其中，deeplabv3+分割模型原本有一条输出分支用于输出掩膜图像，因此，为了使训练后的模型也能够输出目标对象对应的矩形区域，因此在ASPP结构的输出加入另一条用于输出目标对象对应的矩形区域的分支，加入的分支可以为神经网络等，在此不做限定。
在一些实施方式中，图像分割模型输出的掩膜图像可以为二值图像，其中，目标对象所对应的区域可以为第一像素值，除目标对象所对应的区域以外的其他区域可以为第二像素值。例如，第一像素值可以为0，第二像素值可以为255；又例如，第一像素值可以为255，第二像素值可以为0，在此不做限定。
在一些实施方式中，图像分割模型输出的矩形区域可以为矩形区域的位置坐标。目标对象对应的矩形区域为待处理图像中能够将目标对象框起来的最小矩形构成的区域。作为一种方式，矩形区域的位置坐标可以为矩形区域所有像素点的像素点的像素坐标；作为另一种方式，矩形区域的位置坐标也可以为矩形区域的边缘位置的像素点的像素坐标，在此不做限定。可以理解的，矩形区域的位置坐标可以表征矩形区域在掩膜图像中的位置，以便用于对掩膜图像进行修正。当然，图像分割模型输出的矩形区域也可以为待处理图像中标定出来的矩形区域，图像分割模型输出的矩形区域的形式在此不做限定。
步骤S130：根据所述图像分割模型输出的矩形区域，对所述图像分割模型输出的掩膜图像进行修正，获得所述目标对象对应的对象掩膜图像。
在本申请实施例中，在将待处理图像输入以上图像分割模型之后，可以获得图像分割模型输出的待处理图像中目标对象的掩膜图像以及目标对象对应的矩形区域。电子设备在获得目标对象的掩膜图像以及目标对象对应的矩形区域之后，则可以根据目标对象对应的矩形区域，对目标对象的掩膜图像进行修正，以避免待处理图像中目标对象的外部的噪声影响，而使得获得的掩膜图像中背景区域被误分为目标对象对应的区域，而影响图像分割的准确性。
在一些实施方式中，电子设备可以根据获得的目标对象对应的矩形区域，判断掩膜图像中目标对象对应的区域是否有超出该矩形区域，如果目标对象对应的区域超出该矩形区域，则表示背景区域中有被误分为目标对象的区域，因此可以将目标对象对应的区域中超出矩形区域以外的区域修正为背景区域，从而实现对掩膜图像的修正。如果目标对象对应的区域没有超出该矩形区域，则可以直接将获得的掩膜图像作为最终得到的掩膜图像，即目标对象对应的对象掩膜图像，也就实现了对待处理图像中目标对象的分割。
本申请实施例提供的图像分割方法，通过获取待处理图像，将待处理图像输入已训练的图像分割模型，该图像分割模型被预先训练，以根据待处理图像输出待处理图像中目标对象的掩膜图像以及该目标对象对应的矩形区域，然后根据该图像分割模型输出的矩形区域，对该图像分割模型输出的掩膜图像进行修正，获得目标对象对应的对象掩膜图像，从而实现根据以上图像分割模型，分割出待处理图像中目标对象的掩膜图像以及对应的矩形区域，然后根据矩形区域对掩膜图像进行修正，避免掩膜图像中目标对象以外的区域被误分割为目标对象对应的区域，提升了掩膜图像中目标对象对应的区域的准确性，进而提升了图像分割的准确性。
请参阅图2，图2示出了本申请另一个实施例提供的图像分割方法的流程示意图。该图像分割方法应用于上述电子设备，下面将针对图2所示的流程进行详细的阐述，所述图像分割方法具体可以包括以下步骤：
步骤S210：获取训练数据集合，所述训练数据集合包括多张输入图像、每张输入图像中所述目标对象的掩膜图像以及每张输入图像中所述目标对象的矩形区域。
在本申请实施例中，针对前述实施例中的图像分割模型，本申请实施例中还包括对该图像分割模型的训练方法，值得说明的是，图像分割模型的训练可以是根据获取的训练数据集合预先进行的，后续在每次需要进行图像分割时，则可以利用图像分割模型进行，而无需每次进行目标对象的图像分割时对图像分割模型进行训练。
在一些实施方式中，训练数据集合可以包括多张输入图像、每张输入图像中目标对象的掩膜图像以及每张输入图像中目标对象的矩形区域。其中，输入图像可以为包含有目标对象的图像，例如，可以为人物图像、动物图像、景物图像等，在此不做限定。
在一些实施方式中，输入图像的数量可以不作为限定。作为一种可选的实施方式，输入图像的数量可以为多张，并对每张输入图像标注其对应的掩膜图像，以及每张输入图像对应的目标对象的矩形区域，可以分别根据每张输入图像以及对每张输入图像标注的掩膜图像、矩形区域，对初始模型进行训练，以提升训练后得到的图像分割模型的准确性。
在本申请实施例中，输入图像可以来源于包括大量图片的数据集，例如COCODataest数据集，IMAGECLEF数据集等，在此不做限定。
步骤S220：获取图像分割网络，所述图像分割网络包括第一子网络以及第二子网络，所述第一子网络用于输出图像中目标对象的掩膜图像，所述第二子网络用于输出图像中目标对象对应的矩形区域。
在本申请实施例中，在训练获得图像分割模型时，可以构建图像分割网络，该图像分割网络中可以包括有用于输出图像中目标对象的掩膜图像的第一子网络，以及用于输出图像中目标对象对应的矩形区域的第二子网络。
在一些实施方式中，图像分割网络可以根据deeplabv3+语义图像分割模型进行构建。其中，deeplabv3+语义图像分割模型是用于图像语义分割的深度学习模型，其目标是将语义标签(如人、狗、猫等)分配给输入图像的每个像素，以实现图像中目标对象的分割。deeplabv3+语义图像分割模型的ASPP结构的输出通常具有一个输出分支，该输出分值用于输出掩膜图像，如图3所示，图3示出了传统的deeplabv3+语义图像分割模型的示意图，通过输入图像至Enconder网络后，Enconder网络将输出图像信息至Decoder网络，最后由Decoder网络输出掩膜图像。其中，Encoder网络用于对图像中的物体信息进行解析，Decoder网络主要是将解析后的信息对应成最终的图像形式，即每个像素都用对应其物体信息来表示，从而输出掩膜图像。
在根据deeplabv3+语义图像分割模型对图像分割网络进行构建时，可以在原有的deeplabv3+网络的ASPP结构的输出引出另外一条输出分支，即在Encoder网络之后引出第二子网络，第二子网络可以为CNN神经网络，而原有的输出分支作为第一子网络，从而可以完成图像分割模型的构建。如图4所示，图4示出了本申请实施例提供的图像分割网络的示意图，通过输入图像至Enconder网络后，Enconder网络将输出图像信息至Decoder网络以及CNN网络，最后由Decoder网络输出目标对象的掩膜图像，由添加的CNN网络输出目标对象对应的矩形区域。
在一些实施方式中，deeplabv3+语义图像分割模型中的Encoder网络通常具有ASPP空洞卷积的结构，以提取图像中的物体信息，并输出至Decoder网络。因此，可以在ASPP空洞卷积的结构的输出引出以上第二子网络，第二自网络可以为CNN神经网络，以根据ASPP结构输出的信息，输出目标对象的矩形区域。
在一些实施方式中，在基于deeplabv3+语义图像分割模型构建图像分割网络时，考虑到deeplabv3+语义图像分割模型的体积和运行时的运算量较大，在应用到手机等移动终端上时可能会造成运行时的卡顿，因此，可以将deeplabv3+语义图像分割模型中的backbone网络部分替换成mobilenetv2网络。其中，mobilenetv2网络是主要应用在移动端的轻量级CNN网络，它包含一个depthwise卷积和1x1卷积的pointwise卷积，这种结构将空间相关性和通道相关性分离，从而比传统的卷积相比，计算量和参数大幅降低，从而可以使得构建的图像分割网络中是基于mobilenetv2网络的，后续训练得到的图像分割模型在移动终端上运行时，可以避免运行时的卡顿。
需要说明的是，获取训练数据集合与获取图像分割网络的执行顺序，在图像分割模型的训练方法中可以不进行限定，获取训练数据集合可以在获取图像分割网络之前执行，获取训练数据集合可以在获取图像分割网络之后执行。
步骤S230：根据所述训练数据集合，对所述图像分割网络进行训练，获得所述图像分割模型。
在本申请实施例中，电子设备可以利用获取的训练数据集合，对图像分割网络进行训练，以训练得到可以实现根据输入图像而输出输入图像中目标对象的掩膜图像以及目标对象对应的矩形区域的图像分割模型。其中，电子设备可以根据构建的总损失函数，再根据训练数据集合，并利用总损失函数对图像分割网络进行迭代训练，最终训练得到图像分割模型。
其中，上述迭代训练过程中，图像分割网络的结构的参数不断发生变化，最后迭代训练完成后的图像分割网络可以输出总损失函数值较小的结果，此时得到的图像分割网络的参数则可以实现根据输入图像而输出输入图像中目标对象的掩膜图像以及目标对象对应的矩形区域。
在一些实施方式中，请参阅图5，所述根据所述训练数据集合，对所述图像分割网络进行训练，获得所述图像分割模型，可以包括：
步骤S231：获取所述图像分割网络的损失函数，所述损失函数包括用于表征所述第一子网络的交叉熵损失以及所述第二子网络的回归损失。
在该实施方式中，图像分割网络的损失函数可以如下：
Total_loss＝Segmentation_loss+Detection_loss
其中，Segmentation_loss表示第一子网络的交叉熵损失，Detection_loss表示第二子网络的回归损失，Total_loss表示整个图像分割网络的总损失。
步骤S232：根据所述损失函数以及述训练数据集合，并利用反向传播算法对所述图像分割网络进行训练，直至所述图像分割网络收敛，获得所述图像分割模型。
在一些实施方式中，电子设备在获取到图像分割网络输出的结果的总损失函数之后，则可以根据总损失函数以及训练数据结合，在tensorflow训练框架下，执行训练，训练后的图像分割模型能够根据输入图像而输出输入图像中目标对象的掩膜图像以及目标对象对应的矩形区域。
在tensorflow训练框架下，可以利用反向传播算法来训练模型参数，在所有参数上用梯度下降，使图像分割网络在训练数据上的损失函数的值最小。可以理解的，反复的进行迭代训练，使最终训练得到的图像分割模型能够根据训练数据集合中的输入图像，输出的结果(掩膜图像和矩形区域)，与标注的输入图像的标签(掩膜图像和矩形区域)之间的差距最小。
作为一种实施方式，可以使用Adam优化器对图像分割网络进行迭代训练，直至图像分割网络收敛，并将收敛后的图像分割网络进行保存，得到训练后的图像分割模型。Adam优化器，结合AdaGra(Adaptive Gradient，自适应梯度)和RMSProp两种优化算法的优点。对梯度的一阶矩估计(First Moment Estimation，即梯度的均值)和二阶矩估计(SecondMoment Estimation，即梯度的未中心化的方差)进行综合考虑，计算出更新步长。
在一些实施方式中，图像分割网络收敛(即迭代训练的终止条件)可以包括：迭代训练的次数达到目标次数；或者图像分割网络输出的结果对应的总损失函数的值满足设定条件。
在一种具体实施方式中，收敛条件是让损失函数尽可能小，使用初始学习率1e-3，学习率随步数余弦衰减，batch_size＝8，训练16个epoch后，即可认为收敛完成。其中，batch_size可以理解为批处理参数，它的极限值为训练集样本总数，epoch指使用训练集中的全部样本训练的次数,通俗的讲epoch的值就是整个数据集被轮几次，1个epoch等于使用训练集中的全部样本训练1次。
在另一种具体实施方式中，总损失函数的值满足设定条件可以包括：总损失函数的值小于设定阈值。当然，具体设定条件可以不作为限定。
在一些实施方式中，训练得到的图像分割模型可以存储于移动终端本地，该训练得到的图像分割模型也可以在与电子设备通信连接的服务器，将图像分割模型存储在服务器的方式，可以减少占用电子设备的存储空间，提升电子设备运行效率。
在一些实施方式中，图像分割模型还可以周期性的或者不定期的获取新的训练数据，对该图像分割模型进行训练和更新。
步骤S240：获取待处理图像。
步骤S250：将所述待处理图像输入已训练的图像分割模型，所述图像分割模型被预先训练，以根据待处理图像输出所述待处理图像中目标对象的掩膜图像以及所述目标对象对应的矩形区域。
步骤S260：根据所述图像分割模型输出的矩形区域，对所述图像分割模型输出的掩膜图像进行修正，获得所述目标对象对应的对象掩膜图像。
在本申请实施例中，步骤S240-步骤S260可以参阅前述实施例的内容，在此不再赘述。
在一些实施方式中，获得的掩膜图像可以用于将目标对象对应的区域单独取出，对背景进行替换，或者进行背景虚化等。例如，在美颜应用中，目标对象为人像，可以进行服装的替换等。
本申请实施例提供的图像分割方法，提供了图像分割模型的方法，通过获取训练数据集合，构建了具有第一子网络以及第二子网络的输出分支，使图像分割网络能够根据输入图像同时输出输入图像中目标对象的掩膜图像和目标对象对应的矩形区域，再构建图像分割网络的输出结果对应的总损失函数，然后根据总损失函数对图像分割网络进行迭代训练，直至图像分割网络收敛，最后得到本申请实施例中的图像分割模型。从而可以根据图像分割模型，对待处理图像进行图像处理，获得待处理图像中目标对象的掩膜图像以及目标对象对应的矩形区域，然后根据矩形区域对掩膜图像进行修正，避免掩膜图像中目标对象以外的区域被误分割为目标对象对应的区域，提升了掩膜图像中目标对象对应的区域的准确性，进而提升了图像分割的准确性。
请参阅图6，图6示出了本申请又一个实施例提供的图像分割方法的流程示意图。该图像分割方法应用于上述电子设备，下面将针对图6所示的流程进行详细的阐述，所述图像分割方法具体可以包括以下步骤：
步骤S310：获取待处理图像。
步骤S320：将所述待处理图像输入已训练的图像分割模型，所述图像分割模型被预先训练，以根据待处理图像输出所述待处理图像中目标对象的掩膜图像以及所述目标对象对应的矩形区域。
在本申请实施例中，步骤S310以及步骤S320可以参阅前述实施例的内容，在此不再赘述。
步骤S330：判断所述目标对象在所述掩膜图像所占的区域中是否存在所述矩形区域以外的目标区域。
在一些实施方式中，掩膜图像可以为二值图像，掩膜图像中目标对象所占的区域的像素值为第一像素值，掩膜图像中背景区域的像素值为第二像素值。例如，第一像素值可以为0，第二像素值可以为255；又例如，第一像素值可以为255，第二像素值可以为0。
作为一种具体的实施方式，电子设备可以确定掩膜图像中矩形区域以外的其他区域，然后判断该其他区域中是否存在第一像素值的像素点，如果该其他区域中存在第一像素值的像素点，则掩膜图像所占的区域中存在矩形区域以外的目标区域，并将该其他区域中所有第一像素值的像素点构成的区域作为目标区域；如果该其他区域中不存在第一像素值的像素点，则确定掩膜图像所占的区域中不存在矩形区域以外的目标区域。
步骤S340：如果存在所述目标区域，将所述掩膜图像中的所述目标区域修正为背景区域，获得所述目标对象对应的对象掩膜图像。
在本申请实施例中，如果目标对象在掩膜图像所占的区域中存在以上目标区域，则表示背景区域中有被误分为目标对象的区域，因此可以将掩膜图像中的以上目标区域修正为背景区域，从而实现对掩膜图像的修正，并获得最终的目标对象对应的对象掩膜图像。
在一些实施方式中，目标对象可以为人像，也就是图像分割方法用于进行人像的分割。在目标对象为人像时，人像为对称的，考虑到图像分割模型输出的矩形区域可能不准确的情况，因此可以以人像的该特点，来确定是否对掩膜图像进行修正。具体地，如果目标对象在掩膜图像所占的区域中存在以上目标区域，且目标区域包括多个子区域时，电子设备可以判断多个子区域是否相对矩形区域的中心线对称，如果多个子区域未相对矩形区域的中心线对称，则表示图像分割模型输出的矩形区域是无误的，而是掩膜图像中人像区域有误，因此将掩膜图像中的该目标区域修正为背景区域，获得目标对象对应的对象掩膜图像。如果多个子区域相对矩形区域的中心线对称，则表示此时图像分割模型输出的矩形区域有误，即矩形区域的大小刚好相对人像区域较小，掩膜图像中的人像区域超出矩形区域的部分刚好可能处于矩形区域的两侧，因此会相对矩形区域的中心线对称，例如，人像中两边的耳朵区域刚好超出矩形区域，该情况下，可以不对掩膜图像进行修正，而直接将图像分割模型输出的掩膜图像作为目标对象对应的对象掩膜图像。
当然，除了由于人像具有对称的特点，可以采用以上方式进行修正以外，目标对象为其他具有对称的特点的对象，例如，猫、狗等，也可以考虑采用以上方式对掩膜图像进行修正。
在另一些实施方式中，目标对象为人像，如果目标对象在掩膜图像所占的区域中存在以上目标区域，电子设备也可以判断目标区域是否处于矩形区域周围的中部；如果目标区域未处于矩形区域周围的中部，表示人像区域中不是头部或者颈部等部位超出了矩形区域，而是其他的部位超出了矩形区域，而根据人像的特点是不会出现不规则的情况的，因此该情况下，表示掩膜图像有误，可以将掩膜图像中的目标区域修正为背景区域，获得目标对象对应的对象掩膜图像。如果目标区域处于矩形区域周围的中部，表示人像区域中可能刚好头部或者颈部等部位超出了矩形区域，此时可能只是图像分割模型输出的矩形区域有误，而掩膜图像是无误的，因此可以不对掩膜图像进行修正，而直接将图像分割模型输出的掩膜图像作为目标对象对应的对象掩膜图像。
在本申请实施例中，在如果存在目标区域，将掩膜图像中的目标区域修正为背景区域，获得目标对象对应的对象掩膜图像之后，该图像分割方法还可以包括：将待处理图像、对象掩膜图像以及矩形区域作为训练数据，对图像分割模型进行校正训练。可以理解的，如果对掩膜图像进行了修正，则表示图像分割模型输出的掩膜图像有误，因此可以将该待处理图像、最终获得的对象掩膜图像以及获得的矩形区域，对图像分割模型进行训练，从而使图像分割模型能够得到校正，保证后续图像分割模型能够输出更为准确的结果。
步骤S350：如果不存在所述目标区域，将所述掩膜图像作为所述目标对象对应的对象掩膜图像。
在本申请实施例中，如果目标对象在掩膜图像所占的区域中不存在以上目标区域，则可以直接将获得的掩膜图像作为最终得到的掩膜图像，即目标对象对应的对象掩膜图像，也就实现了对待处理图像中目标对象的分割。
本申请实施例提供的图像分割方法，通过获取待处理图像，将待处理图像输入已训练的图像分割模型，该图像分割模型被预先训练，以根据待处理图像输出待处理图像中目标对象的掩膜图像以及该目标对象对应的矩形区域，然后根据该图像分割模型输出的矩形区域，判断目标对象在掩膜图像所占的区域中是否存在矩形区域以外的目标区域，如果存在目标区域，将掩膜图像中的目标区域修正为背景区域，获得目标对象对应的对象掩膜图像，如果不存在目标区域，将掩膜图像作为目标对象对应的对象掩膜图像。从而实现根据以上图像分割模型，分割出待处理图像中目标对象的掩膜图像以及对应的矩形区域，然后根据矩形区域对掩膜图像进行修正，避免掩膜图像中目标对象以外的区域被误分割为目标对象对应的区域，提升了掩膜图像中目标对象对应的区域的准确性，进而提升了图像分割的准确性。
请参阅图7，其示出了本申请实施例提供的一种图像分割装置400的结构框图。该图像分割装置400应用上述的电子设备，该图像分割装置400包括：图像获取模块410、图像输入模块420以及图像修正模块430。其中，所述图像获取模块410用于获取待处理图像；所述图像输入模块420用于将所述待处理图像输入已训练的图像分割模型，所述图像分割模型被预先训练，以根据待处理图像输出所述待处理图像中目标对象的掩膜图像以及所述目标对象对应的矩形区域；所述图像修正模块430用于根据所述图像分割模型输出的矩形区域，对所述图像分割模型输出的掩膜图像进行修正，获得所述目标对象对应的对象掩膜图像。
在一些实施方式中，图像修正模块430可以包括：区域判断单元、第一执行单元以及第二执行单元。其中，区域判断单元用于判断所述目标对象在所述掩膜图像所占的区域中是否存在所述矩形区域以外的目标区域；第一执行单元用于如果存在所述目标区域，将所述掩膜图像中的所述目标区域修正为背景区域，获得所述目标对象对应的对象掩膜图像；第二执行单元用于如果不存在所述目标区域，将所述掩膜图像作为所述目标对象对应的对象掩膜图像。
作为一种实施方式，目标对象可以为人像，所述目标区域包括多个子区域。第一执行单元可以具体用于：如果存在所述目标区域，判断所述多个子区域是否相对所述矩形区域的中心线对称；如果所述多个子区域未相对所述矩形区域的中心线对称，将所述掩膜图像中的所述目标区域修正为背景区域，获得所述目标对象对应的对象掩膜图像。
作为另一种实施方式，所述目标对象为人像。第一执行单元可以具体用于：如果存在所述目标区域，判断所述目标区域是否处于所述矩形区域周围的中部；如果所述目标区域未处于所述矩形区域周围的中部，将所述掩膜图像中的所述目标区域修正为背景区域，获得所述目标对象对应的对象掩膜图像。
在一些实施方式中，该图像分割装置400还可以包括：模型校正模块。模型校正模块可以用于在如果存在所述目标区域，将所述掩膜图像中的所述目标区域修正为背景区域，获得所述目标对象对应的对象掩膜图像之后，将所述待处理图像、所述对象掩膜图像以及所述矩形区域作为训练数据，对所述图像分割模型进行校正训练。
在一些实施方式中，该图像分割装置400还可以包括：训练数据获取模块、分割网络获取模块以及模型训练模块。其中，训练数据获取模块用于获取训练数据集合，所述训练数据集合包括多张输入图像、每张输入图像中所述目标对象的掩膜图像以及每张输入图像中所述目标对象的矩形区域；分割网络获取模块用于获取图像分割网络，所述图像分割网络包括第一子网络以及第二子网络，所述第一子网络用于输出图像中目标对象的掩膜图像，所述第二子网络用于输出图像中目标对象对应的矩形区域；模型训练模块用于根据所述训练数据集合，对所述图像分割网络进行训练，获得所述图像分割模型。
在该实施方式中，所述图像分割网络为基于mobilenetv2网络的deeplabv3+语义图像分割模型，其中，所述语义图像分割模型中的ASPP结构的输出包括所述第一子网络以及所述第二子网络。
在该实施方式中，训练模块可以包括：函数获取单元以及训练执行单元。其中，函数获取单元用于获取所述图像分割网络的损失函数，所述损失函数包括用于表征所述第一子网络的交叉熵损失以及所述第二子网络的回归损失；训练执行单元用于根据所述损失函数以及述训练数据集合，并利用反向传播算法对所述图像分割网络进行训练，直至所述图像分割网络收敛，获得所述图像分割模型。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上所述，本申请提供的方案，通过获取待处理图像，将待处理图像输入已训练的图像分割模型，该图像分割模型被预先训练，以根据待处理图像输出待处理图像中目标对象的掩膜图像以及该目标对象对应的矩形区域，然后根据该图像分割模型输出的矩形区域，对该图像分割模型输出的掩膜图像进行修正，获得目标对象对应的对象掩膜图像，从而实现根据以上图像分割模型，分割出待处理图像中目标对象的掩膜图像以及对应的矩形区域，然后根据矩形区域对掩膜图像进行修正，避免掩膜图像中目标对象以外的区域被误分割为目标对象对应的区域，提升了掩膜图像中目标对象对应的区域的准确性，进而提升了图像分割的准确性。
请参考图8，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、智能手表、PC电脑等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图9，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (11)
1.一种图像分割方法，其特征在于，所述方法包括：
获取待处理图像；
将所述待处理图像输入已训练的图像分割模型，所述图像分割模型被预先训练，以根据待处理图像输出所述待处理图像中目标对象的掩膜图像以及所述目标对象对应的矩形区域；
根据所述图像分割模型输出的矩形区域，对所述图像分割模型输出的掩膜图像进行修正，获得所述目标对象对应的对象掩膜图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述图像分割模型输出的矩形区域，对所述图像分割模型输出的掩膜图像进行修正，获得所述目标对象对应的对象掩膜图像，包括：
判断所述目标对象在所述掩膜图像所占的区域中是否存在所述矩形区域以外的目标区域；
如果存在所述目标区域，将所述掩膜图像中的所述目标区域修正为背景区域，获得所述目标对象对应的对象掩膜图像；
如果不存在所述目标区域，将所述掩膜图像作为所述目标对象对应的对象掩膜图像。
3.根据权利要求2所述的方法，其特征在于，所述目标对象为人像，所述目标区域包括多个子区域，所述如果存在所述目标区域，将所述掩膜图像中的所述目标区域修正为背景区域，获得所述目标对象对应的对象掩膜图像，包括：
如果存在所述目标区域，判断所述多个子区域是否相对所述矩形区域的中心线对称；
如果所述多个子区域未相对所述矩形区域的中心线对称，将所述掩膜图像中的所述目标区域修正为背景区域，获得所述目标对象对应的对象掩膜图像。
4.根据权利要求2所述的方法，其特征在于，所述目标对象为人像，所述如果存在所述目标区域，将所述掩膜图像中的所述目标区域修正为背景区域，获得所述目标对象对应的对象掩膜图像，包括：
如果存在所述目标区域，判断所述目标区域是否处于所述矩形区域周围的中部；
如果所述目标区域未处于所述矩形区域周围的中部，将所述掩膜图像中的所述目标区域修正为背景区域，获得所述目标对象对应的对象掩膜图像。
5.根据权利要求2-4任一项所述的方法，其特征在于，在如果存在所述目标区域，将所述掩膜图像中的所述目标区域修正为背景区域，获得所述目标对象对应的对象掩膜图像之后，所述方法还包括：
将所述待处理图像、所述对象掩膜图像以及所述矩形区域作为训练数据，对所述图像分割模型进行校正训练。
6.根据权利要求1所述的方法，其特征在于，在所述将所述待处理图像输入已训练的图像分割模型之前，所述方法还包括：
获取训练数据集合，所述训练数据集合包括多张输入图像、每张输入图像中所述目标对象的掩膜图像以及每张输入图像中所述目标对象的矩形区域；
获取图像分割网络，所述图像分割网络包括第一子网络以及第二子网络，所述第一子网络用于输出图像中目标对象的掩膜图像，所述第二子网络用于输出图像中目标对象对应的矩形区域；
根据所述训练数据集合，对所述图像分割网络进行训练，获得所述图像分割模型。
7.根据权利要求6所述的方法，其特征在于，所述图像分割网络为基于mobilenetv2网络的deeplabv3+语义图像分割模型，其中，所述语义图像分割模型中的ASPP结构的输出包括所述第一子网络以及所述第二子网络。
8.根据权利要求6所述的方法，其特征在于，所述根据所述训练数据集合，对所述图像分割网络进行训练，获得所述图像分割模型，包括：
获取所述图像分割网络的损失函数，所述损失函数包括用于表征所述第一子网络的交叉熵损失以及所述第二子网络的回归损失；
根据所述损失函数以及述训练数据集合，并利用反向传播算法对所述图像分割网络进行训练，直至所述图像分割网络收敛，获得所述图像分割模型。
9.一种图像分割装置，其特征在于，所述装置包括：图像获取模块、图像输入模块以及图像修正模块，其中，
所述图像获取模块用于获取待处理图像；
所述图像输入模块用于将所述待处理图像输入已训练的图像分割模型，所述图像分割模型被预先训练，以根据待处理图像输出所述待处理图像中目标对象的掩膜图像以及所述目标对象对应的矩形区域；
所述图像修正模块用于根据所述图像分割模型输出的矩形区域，对所述图像分割模型输出的掩膜图像进行修正，获得所述目标对象对应的对象掩膜图像。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-8任一项所述的方法。
11.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-8任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010203368.3A CN111415358B (zh) | 2020-03-20 | 2020-03-20 | 图像分割方法、装置、电子设备及存储介质 |
| PCT/CN2021/074177 WO2021184972A1 (zh) | 2020-03-20 | 2021-01-28 | 图像分割方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010203368.3A CN111415358B (zh) | 2020-03-20 | 2020-03-20 | 图像分割方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111415358A true CN111415358A (zh) | 2020-07-14 |
| CN111415358B CN111415358B (zh) | 2024-03-12 |
Family
ID=71494472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010203368.3A Active CN111415358B (zh) | 2020-03-20 | 2020-03-20 | 图像分割方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111415358B (zh) |
| WO (1) | WO2021184972A1 (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112016469A (zh) * | 2020-08-28 | 2020-12-01 | Oppo广东移动通信有限公司 | 图像处理方法及装置、终端及可读存储介质 |
| CN112233092A (zh) * | 2020-10-16 | 2021-01-15 | 广东技术师范大学 | 一种用于无人机电力巡检智能缺陷检测的深度学习方法 |
| CN112508974A (zh) * | 2020-12-14 | 2021-03-16 | 北京达佳互联信息技术有限公司 | 图像分割模型的训练方法、装置、电子设备和存储介质 |
| CN113205011A (zh) * | 2021-04-19 | 2021-08-03 | Oppo广东移动通信有限公司 | 图像掩膜确定方法及装置、存储介质和电子设备 |
| CN113223023A (zh) * | 2021-05-31 | 2021-08-06 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| WO2021184972A1 (zh) * | 2020-03-20 | 2021-09-23 | Oppo广东移动通信有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| WO2022198866A1 (zh) * | 2021-03-22 | 2022-09-29 | 腾讯云计算（北京）有限责任公司 | 图像处理方法、装置、计算机设备及介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114037740A (zh) * | 2021-11-09 | 2022-02-11 | 北京字节跳动网络技术有限公司 | 图像数据流的处理方法、装置及电子设备 |
| CN115861132B (zh) * | 2023-02-07 | 2023-05-12 | 乐普（北京）医疗器械股份有限公司 | 一种血管图像校正方法、装置、介质及设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015036719A (ja) * | 2013-08-12 | 2015-02-23 | 株式会社ホロン | 超高速レビュー装置および超高速レビュー方法 |
| CN108898618A (zh) * | 2018-06-06 | 2018-11-27 | 上海交通大学 | 一种弱监督视频物体分割方法及装置 |
| CN109215037A (zh) * | 2018-09-18 | 2019-01-15 | Oppo广东移动通信有限公司 | 目标图像分割方法、装置及终端设备 |
| CN109858436A (zh) * | 2019-01-29 | 2019-06-07 | 中国科学院自动化研究所 | 基于视频动态前景掩膜的目标类别修正方法、检测方法 |
| CN110163866A (zh) * | 2019-04-01 | 2019-08-23 | 上海卫莎网络科技有限公司 | 一种图像处理方法、电子设备及计算机可读存储介质 |
| CN110188817A (zh) * | 2019-05-28 | 2019-08-30 | 厦门大学 | 一种基于深度学习的实时高性能街景图像语义分割方法 |
| CN110276344A (zh) * | 2019-06-04 | 2019-09-24 | 腾讯科技（深圳）有限公司 | 一种图像分割的方法、图像识别的方法以及相关装置 |
| CN110660066A (zh) * | 2019-09-29 | 2020-01-07 | Oppo广东移动通信有限公司 | 网络的训练方法、图像处理方法、网络、终端设备及介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10679351B2 (en) * | 2017-08-18 | 2020-06-09 | Samsung Electronics Co., Ltd. | System and method for semantic segmentation of images |
| US10997727B2 (en) * | 2017-11-07 | 2021-05-04 | Align Technology, Inc. | Deep learning for tooth detection and evaluation |
| CN111415358B (zh) * | 2020-03-20 | 2024-03-12 | Oppo广东移动通信有限公司 | 图像分割方法、装置、电子设备及存储介质 |
-
2020
- 2020-03-20 CN CN202010203368.3A patent/CN111415358B/zh active Active
-
2021
- 2021-01-28 WO PCT/CN2021/074177 patent/WO2021184972A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015036719A (ja) * | 2013-08-12 | 2015-02-23 | 株式会社ホロン | 超高速レビュー装置および超高速レビュー方法 |
| CN108898618A (zh) * | 2018-06-06 | 2018-11-27 | 上海交通大学 | 一种弱监督视频物体分割方法及装置 |
| CN109215037A (zh) * | 2018-09-18 | 2019-01-15 | Oppo广东移动通信有限公司 | 目标图像分割方法、装置及终端设备 |
| CN109858436A (zh) * | 2019-01-29 | 2019-06-07 | 中国科学院自动化研究所 | 基于视频动态前景掩膜的目标类别修正方法、检测方法 |
| CN110163866A (zh) * | 2019-04-01 | 2019-08-23 | 上海卫莎网络科技有限公司 | 一种图像处理方法、电子设备及计算机可读存储介质 |
| CN110188817A (zh) * | 2019-05-28 | 2019-08-30 | 厦门大学 | 一种基于深度学习的实时高性能街景图像语义分割方法 |
| CN110276344A (zh) * | 2019-06-04 | 2019-09-24 | 腾讯科技（深圳）有限公司 | 一种图像分割的方法、图像识别的方法以及相关装置 |
| CN110660066A (zh) * | 2019-09-29 | 2020-01-07 | Oppo广东移动通信有限公司 | 网络的训练方法、图像处理方法、网络、终端设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王浩: "基于视觉的行人检测技术研究" * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021184972A1 (zh) * | 2020-03-20 | 2021-09-23 | Oppo广东移动通信有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| CN112016469A (zh) * | 2020-08-28 | 2020-12-01 | Oppo广东移动通信有限公司 | 图像处理方法及装置、终端及可读存储介质 |
| CN112233092A (zh) * | 2020-10-16 | 2021-01-15 | 广东技术师范大学 | 一种用于无人机电力巡检智能缺陷检测的深度学习方法 |
| CN112508974A (zh) * | 2020-12-14 | 2021-03-16 | 北京达佳互联信息技术有限公司 | 图像分割模型的训练方法、装置、电子设备和存储介质 |
| WO2022198866A1 (zh) * | 2021-03-22 | 2022-09-29 | 腾讯云计算（北京）有限责任公司 | 图像处理方法、装置、计算机设备及介质 |
| CN113205011A (zh) * | 2021-04-19 | 2021-08-03 | Oppo广东移动通信有限公司 | 图像掩膜确定方法及装置、存储介质和电子设备 |
| CN113223023A (zh) * | 2021-05-31 | 2021-08-06 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111415358B (zh) | 2024-03-12 |
| WO2021184972A1 (zh) | 2021-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111415358B (zh) | 图像分割方法、装置、电子设备及存储介质 | |
| WO2021169723A1 (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| JP7236545B2 (ja) | ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム | |
| CN111476709B (zh) | 人脸图像处理方法、装置及电子设备 | |
| CN110598781A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110008961B (zh) | 文字实时识别方法、装置、计算机设备及存储介质 | |
| CN112308866B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| WO2021027325A1 (zh) | 视频相似度获取方法、装置、计算机设备及存储介质 | |
| CN111273953B (zh) | 模型处理方法、装置、终端及存储介质 | |
| CN112418327A (zh) | 图像分类模型的训练方法、装置、电子设备以及存储介质 | |
| CN112767294B (zh) | 深度图像的增强方法、装置、电子设备以及存储介质 | |
| CN112102364A (zh) | 目标物跟踪方法、装置、电子设备及存储介质 | |
| CN113888431A (zh) | 图像修复模型的训练方法、装置、计算机设备及存储介质 | |
| CN114612728A (zh) | 模型训练方法、装置、计算机设备及存储介质 | |
| CN111461070B (zh) | 文本识别方法、装置、电子设备及存储介质 | |
| CN111814749A (zh) | 人体特征点的筛选方法、装置、电子设备以及存储介质 | |
| CN112101386A (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
| US10212291B2 (en) | System, method, and non-transitory computer readable storage medium for image recognition based on convolutional neural networks | |
| CN111182332A (zh) | 视频处理方法、装置、服务器及存储介质 | |
| CN110533020B (zh) | 一种文字信息的识别方法、装置及存储介质 | |
| CN110928889A (zh) | 训练模型更新方法、设备以及计算机存储介质 | |
| CN108734712B (zh) | 背景分割的方法、装置及计算机存储介质 | |
| CN113658196A (zh) | 红外图像中船舶的检测方法、装置、电子设备和介质 | |
| CN110503042B (zh) | 图像处理方法、装置以及电子设备 | |
| CN113221718B (zh) | 公式识别方法、装置、存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |