CN117237397A - 基于特征融合的人像分割方法、系统、设备及存储介质 - Google Patents

基于特征融合的人像分割方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN117237397A
CN117237397A CN202310861592.5A CN202310861592A CN117237397A CN 117237397 A CN117237397 A CN 117237397A CN 202310861592 A CN202310861592 A CN 202310861592A CN 117237397 A CN117237397 A CN 117237397A
Authority
CN
China
Prior art keywords
target image
information
human body
segmentation
portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310861592.5A
Other languages
English (en)
Other versions
CN117237397B (zh
Inventor
张子荷
肖冠正
甘心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iMusic Culture and Technology Co Ltd
Original Assignee
iMusic Culture and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iMusic Culture and Technology Co Ltd filed Critical iMusic Culture and Technology Co Ltd
Priority to CN202310861592.5A priority Critical patent/CN117237397B/zh
Priority claimed from CN202310861592.5A external-priority patent/CN117237397B/zh
Publication of CN117237397A publication Critical patent/CN117237397A/zh
Application granted granted Critical
Publication of CN117237397B publication Critical patent/CN117237397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Analysis (AREA)

Abstract

本申请公开了一种基于特征融合的人像分割方法、系统、设备及存储介质,获取待处理的目标图像;对目标图像进行关键点检测,得到目标图像对应的关键点信息;通过边缘提取算子提取目标图像的第一边缘信息,并使用人体分割模型对目标图像进行处理,得到人体粗分割掩膜;根据人体粗分割掩膜和第一边缘信息,确定目标图像中人像边缘区域的细节纹理信息;对关键点信息、人体粗分割掩膜和细节纹理信息进行特征融合,得到第一特征;将目标图像和第一特征输入到U‑NET模型中,通过U‑NET模型得到目标图像对应的人像分割结果。该方法能够提高人像分割的准确度和使用效率。本申请可广泛应用于人工智能技术领域内。

Description

基于特征融合的人像分割方法、系统、设备及存储介质
技术领域
本申请涉及人工智能技术领域,尤其是一种基于特征融合的人像分割方法、系统、设备及存储介质。
背景技术
当前,随着信息技术、人工智能技术的普及和高速发展,相关应用已经逐步融入到人们的生活中,为人们提供了各式各样的服务。例如,在图像处理领域内,存在有基于人工智能技术实现人像分割处理的应用。人像分割是指将图像中的人物主体从背景中分离出来的一项计算机视觉任务,它的目标是通过像素级别的分类,将图像中的人物轮廓准确地提取出来,形成一个二值掩膜。
相关领域内,传统的人像分割处理,往往采用边缘提取算法,如阈值法、基于灰度值边缘检测、区域分割合并法、分水岭法、活动轮廓模型、小波变换等,或者采用相关的AI模型来实现。但是,在实际应用中,发现传统的边缘提取算法对噪声敏感,分割精度较差;AI模型则需要较多的先验知识,依赖特征工程,难以达到理想的应用效果。
因此,现有技术存在的问题还亟需解决和优化。
发明内容
本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一。
为此,本申请实施例的一个目的在于提供一种基于特征融合的人像分割方法、系统、设备及存储介质,能够提高人像分割的准确度和使用效率。
为了达到上述技术目的,本申请实施例所采取的技术方案包括:
一方面,本申请实施例提供了一种基于特征融合的人像分割方法,所述方法包括:
获取待处理的目标图像;
对所述目标图像进行关键点检测,得到所述目标图像对应的关键点信息;
通过边缘提取算子提取所述目标图像的第一边缘信息,并使用人体分割模型对所述目标图像进行处理,得到人体粗分割掩膜;
根据所述人体粗分割掩膜和所述第一边缘信息,确定所述目标图像中人像边缘区域的细节纹理信息;
对所述关键点信息、所述人体粗分割掩膜和所述细节纹理信息进行特征融合,得到第一特征;
将所述目标图像和所述第一特征输入到U-NET模型中,通过所述U-NET模型得到所述目标图像对应的人像分割结果。
另外,根据本申请上述实施例的一种基于特征融合的人像分割系统,还可以具有以下附加的技术特征:
进一步地,在本申请的一个实施例中,所述对所述目标图像进行关键点检测,包括:
判断所述目标图像中是否包含人像内容;
若所述目标图像中不包含人像内容,反馈提示信息;所述提示信息用于告知用户所述目标图像中不包含人像信息。
进一步地,在本申请的一个实施例中,所述对所述目标图像进行关键点检测,得到所述目标图像对应的关键点信息,包括:
若所述目标图像中包含人像内容,通过人体骨骼点检测算法对所述目标图像进行关键点检测,得到人体关键点信息;
判断所述目标图像中是否包含手部内容;
若所述目标图像中不包含手部内容,将所述人体关键点信息确定为所述目标图像对应的关键点信息;或者,若所述目标图像中包含手部内容,通过手部关键点检测算法对所述目标图像进行关键点检测,得到手部关键点信息,将所述人体关键点信息和所述手部关键点信息确定为所述目标图像对应的关键点信息。
进一步地,在本申请的一个实施例中,所述根据所述人体粗分割掩膜和所述第一边缘信息,确定所述目标图像中人像边缘区域的细节纹理信息,包括:
对所述人体粗分割掩膜进行膨胀操作,得到膨胀掩膜;
对所述人体粗分割掩膜进行腐蚀操作,得到腐蚀掩膜;
根据所述膨胀掩膜和所述腐蚀掩膜,得到第二边缘信息;
根据所述第一边缘信息和所述第二边缘信息,得到细节纹理信息。
进一步地,在本申请的一个实施例中,所述根据所述第一边缘信息和所述第二边缘信息,得到细节纹理信息,包括:
对所述第一边缘信息和所述第二边缘信息进行矩阵点乘运算,得到细节纹理信息。
进一步地,在本申请的一个实施例中,所述对所述关键点信息、所述人体粗分割掩膜和所述细节纹理信息进行特征融合,得到第一特征,包括:
根据所述关键点信息,生成指定规格的热图数据;
对所述热图数据、所述人体粗分割掩膜和所述细节纹理信息进行通道拼接操作,得到所述第一特征。
进一步地,在本申请的一个实施例中,所述将所述目标图像和所述第一特征输入到U-NET模型中,包括:
对所述第一特征进行多次下采样,得到多个图像尺度不同的第二特征;
将所述目标图像和各个所述第二特征输入到U-NET模型中不同的编码器中。
另一方面,本申请实施例提供了一种基于特征融合的人像分割系统,所述系统包括:
获取单元,用于获取待处理的目标图像;
检测单元,用于对所述目标图像进行关键点检测,得到所述目标图像对应的关键点信息;
处理单元,用于通过边缘提取算子提取所述目标图像的第一边缘信息,并使用人体分割模型对所述目标图像进行处理,得到人体粗分割掩膜;
确定单元,用于根据所述人体粗分割掩膜和所述第一边缘信息,确定所述目标图像中人像边缘区域的细节纹理信息;
融合单元,用于对所述关键点信息、所述人体粗分割掩膜和所述细节纹理信息进行特征融合,得到第一特征;
优化单元,用于将所述目标图像和所述第一特征输入到U-NET模型中,通过所述U-NET模型得到所述目标图像对应的人像分割结果。
另一方面,本申请实施例提供一种计算机设备,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行时,使得所述至少一个处理器实现上述的基于特征融合的人像分割方法。
另一方面,本申请实施例还提供了一种计算机可读存储介质,其中存储有处理器可执行的程序,上述处理器可执行的程序在由处理器执行时用于实现上述的基于特征融合的人像分割方法。
本申请的优点和有益效果将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到:
本申请实施例公开的一种基于特征融合的人像分割方法:获取待处理的目标图像;对所述目标图像进行关键点检测,得到所述目标图像对应的关键点信息;通过边缘提取算子提取所述目标图像的第一边缘信息,并使用人体分割模型对所述目标图像进行处理,得到人体粗分割掩膜;根据所述人体粗分割掩膜和所述第一边缘信息,确定所述目标图像中人像边缘区域的细节纹理信息;对所述关键点信息、所述人体粗分割掩膜和所述细节纹理信息进行特征融合,得到第一特征;将所述目标图像和所述第一特征输入到U-NET模型中,通过所述U-NET模型得到所述目标图像对应的人像分割结果。该方法能够提高人像分割的准确度和使用效率。
附图说明
为了更清楚地说明本申请实施例或者现有技术中的技术方案,下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍,应当理解的是,下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例,对于本领域的技术人员来说,在无需付出创造性劳动的前提下,还可以根据这些附图获取到其他附图。
图1为本申请实施例中提供的一种基于特征融合的人像分割方法的实施环境示意图;
图2为本申请实施例中提供的一种基于特征融合的人像分割方法的流程示意图;
图3为本申请实施例中提供的另一种基于特征融合的人像分割方法的流程示意图;
图4为本申请实施例中提供的一种将目标图像和第一特征输入到U-NET模型中的示意图;
图5为本申请实施例中提供的一种基于特征融合的人像分割系统的结构示意图;
图6为本申请实施例中提供的一种计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请实施例相一致的所有实施方式,它们仅是与如所附权利要求书中所详述的、本申请实施例的一些方面相一致的装置和方法的例子。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。例如,在不脱离本申请实施例范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“若”、“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”等,至少一个包括一个、两个或两个以上,多个包括两个或两个以上,每个是指对应的多个中的每一个,任一是指多个中的任意一个。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
1)人工智能技术,人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。其中,人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术;人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
2)人像分割是指将图像中的人物主体从背景中分离出来的一项计算机视觉任务。它的目标是通过像素级别的分类,将图像中的人物轮廓准确地提取出来,形成一个二值掩膜。
当前,随着信息技术、人工智能技术的普及和高速发展,相关应用已经逐步融入到人们的生活中,为人们提供了各式各样的服务。例如,在图像处理领域内,存在有基于人工智能技术实现人像分割处理的应用。人像分割是指将图像中的人物主体从背景中分离出来的一项计算机视觉任务,它的目标是通过像素级别的分类,将图像中的人物轮廓准确地提取出来,形成一个二值掩膜。
相关领域内,传统的人像分割处理,往往采用边缘提取算法,如阈值法、基于灰度值边缘检测、区域分割合并法、分水岭法、活动轮廓模型、小波变换等,或者采用相关的AI模型来实现。但是,在实际应用中,发现传统的边缘提取算法对噪声敏感,分割精度较差;AI模型则需要较多的先验知识,依赖特征工程,难以达到理想的应用效果。
有鉴于此,本申请实施例中提供一种基于特征融合的人像分割方法,该方法获取待处理的目标图像;对所述目标图像进行关键点检测,得到所述目标图像对应的关键点信息;通过边缘提取算子提取所述目标图像的第一边缘信息,并使用人体分割模型对所述目标图像进行处理,得到人体粗分割掩膜;根据所述人体粗分割掩膜和所述第一边缘信息,确定所述目标图像中人像边缘区域的细节纹理信息;对所述关键点信息、所述人体粗分割掩膜和所述细节纹理信息进行特征融合,得到第一特征;将所述目标图像和所述第一特征输入到U-NET模型中,通过所述U-NET模型得到所述目标图像对应的人像分割结果。本申请实施例中提供的下面,首先介绍本申请实施例中提供的基于特征融合的人像分割方法所涉及的实施环境。参照图1,图1给出了一种基于特征融合的人像分割方法的实施环境示意图,在图1中,包括有用户终端101和后台服务器102,用户终端101和后台服务器102之间通信连接,本申请实施例中提供的基于特征融合的人像分割方法,可以在用户终端101执行,也可以在后台服务器102执行,或者基于用户终端101和后台服务器102之间的交互来实现。
示例性地,比如说,在一些实施例中,用户终端101侧可以安装相应的应用程序,该应用程序可以对输入的目标图像进行人像分割作业,后台服务器102可以是应用程序的后台服务器,用户输入的目标图像,将发送到后台服务器102进行处理,并且返回对应的人像分割结果到用户终端101。
具体地,本申请实施例中,用户终端101可以是智能手机、平板电脑、笔记本电脑、台式计算机、PDA设备、智能穿戴设备中的至少一种;后台服务器102可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
用户终端101和后台服务器102之间可以通过无线网络或有线网络建立通信连接。该无线网络或有线网络使用标准通信技术和/或协议,网络可以设置为因特网,也可以是其它任何网络,例如包括但不限于局域网(Local Area Network,LAN)、城域网(MetropolitanArea Network,MAN)、广域网(Wide Area Network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。并且,上述的这些软硬件主体之间,既可以采用相同的通信连接方式,也可以采用不同的通信连接方式,本申请对此不作具体限制。
请参照图2,图2是本申请实施例提供的一种基于特征融合的人像分割方法的流程示意图,参照图2,本申请提供的一种基于特征融合的人像分割方法包括但不限于:
步骤110、获取待处理的目标图像;
本步骤中,在进行人像分割处理时,首先,可以获取需要处理的图像,将其记为目标图像。本申请实施例中,对于目标图像的大小不作限制,其可以根据需要灵活设定。在一些实施例中,获取到目标图像后,可以对目标图像进行一些预处理操作,比如说滤波降噪、尺度归一化处理等等。
本申请实施例中,在获取目标图像时,对于具体的获取渠道不作限制。示例性地,在一些实施例中,目标图像可以是通过用户终端采集到的,也可以是通过通信传输从其他终端设备处获取的。
步骤120、对所述目标图像进行关键点检测,得到所述目标图像对应的关键点信息;
本步骤中,在得到目标图像后,可以对目标图像进行关键点检测,得到目标图像对应的关键点信息。此处,关键点检测是计算机视觉中的一项关键任务,旨在自动检测图像中的重要点或特征点,这些特征点可以用于各种应用,如人脸识别、人体姿态估计、物体识别等。本申请实施例中,对于采用的关键点检测算法不作限制,示例性地,在一些实施例中,可以采用特征点描述符方法,该方法通过提取图像中的局部特征,并计算描述符来表示它们。常见的特征点描述符算法包括SIFT(尺度不变特征变换)、SURF(加速稳健特征)和ORB(Oriented FAST and Rotated BRIEF)等。在一些实施例中,可以基于卷积神经网络(CNN)的方法,随着深度学习的发展,CNN在关键点检测中取得了显著的成果。通过在卷积神经网络中引入特定的关键点回归层,可以直接从图像中学习关键点的位置。例如,OpenPose就是基于CNN的关键点检测算法,可以同时检测人体的多个关键点。在一些实施例中,可以采用基于兴趣点(Interest Point)的方法,通过寻找图像中的局部最大值或极值点来检测关键点,常见的兴趣点检测算法包括Harris角点检测、FAST(Features from AcceleratedSegment Test)角点检测以及DoG(Difference of Gaussians)等。
当然,可以理解的是,以上仅用于对本申请实施例中进行关键点检测的实施方式进行示例性的描述,并不意味着对本申请的具体实现形成限制。在实际应用中选择的算法可以取决于具体的应用需求,例如对速度要求、准确性要求和图像质量要求等。
在一些实施例中,所述对所述目标图像进行关键点检测,包括:
判断所述目标图像中是否包含人像内容;
若所述目标图像中不包含人像内容,反馈提示信息;所述提示信息用于告知用户所述目标图像中不包含人像信息。
参照图3,图3示出了本申请实施例中的另一种基于特征融合的人像分割方法的流程图。在图3中,本申请实施例在进行人体关键词的检测时,首先,可以先判断目标图像中是否包含人像内容,如果目标图像中不包含人像内容,可以反馈一个提示信息,告知用户目标图像中不包含人像内容,无法正常分割,请重新上传新的目标图像。
在一些实施例中,所述对所述目标图像进行关键点检测,得到所述目标图像对应的关键点信息,包括:
若所述目标图像中包含人像内容,通过人体骨骼点检测算法对所述目标图像进行关键点检测,得到人体关键点信息;
判断所述目标图像中是否包含手部内容;
若所述目标图像中不包含手部内容,将所述人体关键点信息确定为所述目标图像对应的关键点信息;或者,若所述目标图像中包含手部内容,通过手部关键点检测算法对所述目标图像进行关键点检测,得到手部关键点信息,将所述人体关键点信息和所述手部关键点信息确定为所述目标图像对应的关键点信息。
本申请实施例中,如果目标图像中包含有人像内容,则可以通过人体骨骼点检测算法对目标图像进行关键点检测,得到人体关键点信息。然后,可以进一步判断目标图像中是否包含有手部内容,如果不包含手部内容,则可以将检测得到的人体关键点信息确定为目标图像对应的关键点信息。反之,如果包含有手部内容,则可以继续进行提取,通过手部关键点检测算法对目标图像进行关键点检测,得到手部关键点信息,然后将人体关键点信息和手部关键点信息确定为目标图像对应的关键点信息。
步骤130、通过边缘提取算子提取所述目标图像的第一边缘信息,并使用人体分割模型对所述目标图像进行处理,得到人体粗分割掩膜;
本步骤中,对于目标图像,可以通过边缘提取算子提取边缘信息,记为第一边缘信息。这里,边缘提取是图像处理中常用的一种方法,可以用于检测图像中的边缘或轮廓,通过提取边缘信息,可以帮助我们理解图像的结构和形状,并为后续的图像分割和特征提取任务提供基础。常用的边缘提取算子可包括Roberts算子、Sobel算子、Prewitt算子、Canny算子等,本申请对具体的类型不作限制。
本申请实施例中,可以使用人体分割模型对目标图像进行处理,得到人体粗分割掩膜。人体分割是计算机视觉中的重要任务,旨在将图像中的人体部分从背景中分割出来。常见的人体分割模型包括Mask R-CNN、U-Net和DeepLab等。这些模型通常是基于卷积神经网络(CNN)的架构,通过对图像进行像素级别的分类,实现对人体和背景的分割,本申请实施例中,可以使用RVM算法实现。本申请实施例中,使用的人体分割模型为现有技术,可以用于对目标图像中的人体和背景进行初步的分离,得到的结果可能不够精确,但可以提供人体的大致轮廓,方便后续进行进一步的细分割。
步骤140、根据所述人体粗分割掩膜和所述第一边缘信息,确定所述目标图像中人像边缘区域的细节纹理信息。
本步骤中,在得到人体粗分割掩膜和第一边缘信息后,可以根据这些信息确定目标图像中人像边缘区域的细节纹理信息。具体地,在一些实施例中,所述根据所述人体粗分割掩膜和所述第一边缘信息,确定所述目标图像中人像边缘区域的细节纹理信息,包括:
对所述人体粗分割掩膜进行膨胀操作,得到膨胀掩膜;
对所述人体粗分割掩膜进行腐蚀操作,得到腐蚀掩膜;
根据所述膨胀掩膜和所述腐蚀掩膜,得到第二边缘信息;
根据所述第一边缘信息和所述第二边缘信息,得到细节纹理信息。
本申请实施例中,在确定人像边缘区域的细节纹理信息时,可以使用膨胀和腐蚀两大形态学操作,对人体粗分割掩膜进行处理,得到对应的膨胀掩膜和腐蚀掩膜。具体地,本申请实施例中,使用的膨胀公式可以表示如下:
使用的腐蚀公式可以表示如下:
其中,Xmask表示人体粗分割掩膜,Sdilate表示膨胀结构元素,Serode表示腐蚀结构元素。
根据膨胀掩膜和腐蚀掩膜,可以得到第二边缘信息,如可以比较膨胀掩膜相对于腐蚀掩膜多出来的部分,得到第二边缘信息。然后,结合第一边缘信息和第二边缘信息,可以得到人像边缘区域的细节纹理,表示如下:
Xedge=X′edge⊙(Xdilate-Xerode)
其中,⊙表示矩阵点乘运算,X′edge表示使用边缘提取算子得到的第一边缘信息,Xdilate表示膨胀掩膜,Xerode表示腐蚀掩膜。
步骤150、对所述关键点信息、所述人体粗分割掩膜和所述细节纹理信息进行特征融合,得到第一特征;
本步骤中,在得到关键点信息、人体粗分割掩膜和细节纹理信息后,可以对它们进行特征融合,从而得到融合后的特征,记为第一特征。具体地,本申请实施例中,可以根据关键点信息,生成指定规格的热图数据,然后对热图数据、人体粗分割掩膜和细节纹理信息进行通道拼接操作,得到第一特征,该过程通过公式可以表示为:
其中,Xfeat表示第一特征,表示通道拼接操作,Xheatmap表示热图数据。
步骤160、将所述目标图像和所述第一特征输入到U-NET模型中,通过所述U-NET模型得到所述目标图像对应的人像分割结果。
本步骤中,得到第一特征后,可以将目标图像和第一特征输入到U-NET模型中,通过U-NET模型进行细分割,得到目标图像对应的人像分割结果。具体地,参照图3和图4,本申请实施例中,使用的U-NET模型在训练过程的损失函数中,添加人像特征约束,使得模型更快收敛、在边缘细节上具有更高的效率,损失函数具体如下:
L=LDice+Lf
其中,LDice表示Dice系数,Lf表示粗分割特征损失,分别表示为:
Lf=‖Mf-MB2
其中,A表示真实掩膜,B表示预测掩膜,Mf表示人体粗分割掩膜,MB表示第一特征。
具体地,本申请实施例中,参照图4,在将目标图像和第一特征输入到U-NET模型中时,输入可以为3通道RGB图像,对第一特征进行多次下采样,可以得到多个图像尺度不同的第二特征。图4中的编码器包含了4次下采样,故而可以得到四层第二特征,然后可以将第二特征分别输入到不同的编码器中,从而指导精细分割,得到最终的分割结果,即更为精细的人像分割掩膜。
可以理解的是,本申请实施例中提供的基于特征融合的人像分割方法,对关键点信息、人体粗分割掩膜和细节纹理信息进行融合,然后采用特征注入的方式,将通过下采样得到的特征注入到U-NET模型中不同图像尺度的编码器内,能有效地加速网络收敛、提高训练效率,同时使用人体粗分割掩膜结合第一边缘信息指导分割,可以实现更为精细的分割性能,有利于提高人像分割的准确度。
下面参照附图描述根据本申请实施例提出的基于特征融合的人像分割系统。
参照图5,本申请实施例中提出的基于特征融合的人像分割系统,包括:
获取单元201,用于获取待处理的目标图像;
检测单元202,用于对所述目标图像进行关键点检测,得到所述目标图像对应的关键点信息;
处理单元203,用于通过边缘提取算子提取所述目标图像的第一边缘信息,并使用人体分割模型对所述目标图像进行处理,得到人体粗分割掩膜;
确定单元204,用于根据所述人体粗分割掩膜和所述第一边缘信息,确定所述目标图像中人像边缘区域的细节纹理信息;
融合单元205,用于对所述关键点信息、所述人体粗分割掩膜和所述细节纹理信息进行特征融合,得到第一特征;
优化单元206,用于将所述目标图像和所述第一特征输入到U-NET模型中,通过所述U-NET模型得到所述目标图像对应的人像分割结果。
可以理解的是,上述方法实施例中的内容均适用于本系统实施例中,本系统实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
参照图6,本申请实施例提供了一种计算机设备,包括:
至少一个处理器301;
至少一个存储器302,用于存储至少一个程序;
当至少一个程序被至少一个处理器301执行时,使得至少一个处理器301实现图2所示的一种基于特征融合的人像分割方法。
同理,上述方法实施例中的内容均适用于本计算机设备实施例中,本计算机设备实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本申请实施例还提供了一种计算机可读存储介质,其中存储有处理器301可执行的程序,处理器301可执行的程序在由处理器301执行时用于执行上述的基于特征融合的人像分割方法。
本申请实施例还公开了一种计算机可读存储介质,其中存储有处理器可执行的程序,处理器可执行的程序在由处理器执行时用于实现如图2所示的一种基于特征融合的人像分割方法实施例。
可以理解的是,如图2所示的一种基于特征融合的人像分割方法实施例中的内容均适用于本计算机可读存储介质实施例中,本计算机可读存储介质实施例所具体实现的功能与如图2所示的一种基于特征融合的人像分割方法实施例相同,并且达到的有益效果与如图2所示的一种基于特征融合的人像分割方法实施例所达到的有益效果也相同。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外,在本申请的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本申请,但应当理解的是,除非另有相反说明,功能和/或特征中的一个或多个可以被集成在单个物理系统和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理系统或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说,考虑到在本文中公开的系统中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本申请的范围,本申请的范围由所附权利要求书及其等同方案的全部范围来决定。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、系统或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、系统或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、系统或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、系统或设备或结合这些指令执行系统、系统或设备而使用的系统。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子系统),便携式计算机盘盒(磁系统),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤系统,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的上述描述中,参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明,但本申请并不限于实施例,熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内
在本说明书的描述中,参考术语“一个实施方式”、“另一实施方式”或“某些实施方式”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于特征融合的人像分割方法,其特征在于,所述方法包括:
获取待处理的目标图像;
对所述目标图像进行关键点检测,得到所述目标图像对应的关键点信息;
通过边缘提取算子提取所述目标图像的第一边缘信息,并使用人体分割模型对所述目标图像进行处理,得到人体粗分割掩膜;
根据所述人体粗分割掩膜和所述第一边缘信息,确定所述目标图像中人像边缘区域的细节纹理信息;
对所述关键点信息、所述人体粗分割掩膜和所述细节纹理信息进行特征融合,得到第一特征;
将所述目标图像和所述第一特征输入到U-NET模型中,通过所述U-NET模型得到所述目标图像对应的人像分割结果。
2.根据权利要求1所述的一种基于特征融合的人像分割方法,其特征在于,所述对所述目标图像进行关键点检测,包括:
判断所述目标图像中是否包含人像内容;
若所述目标图像中不包含人像内容,反馈提示信息;所述提示信息用于告知用户所述目标图像中不包含人像信息。
3.根据权利要求2所述的一种基于特征融合的人像分割方法,其特征在于,所述对所述目标图像进行关键点检测,得到所述目标图像对应的关键点信息,包括:
若所述目标图像中包含人像内容,通过人体骨骼点检测算法对所述目标图像进行关键点检测,得到人体关键点信息;
判断所述目标图像中是否包含手部内容;
若所述目标图像中不包含手部内容,将所述人体关键点信息确定为所述目标图像对应的关键点信息;或者,若所述目标图像中包含手部内容,通过手部关键点检测算法对所述目标图像进行关键点检测,得到手部关键点信息,将所述人体关键点信息和所述手部关键点信息确定为所述目标图像对应的关键点信息。
4.根据权利要求1所述的一种基于特征融合的人像分割方法,其特征在于,所述根据所述人体粗分割掩膜和所述第一边缘信息,确定所述目标图像中人像边缘区域的细节纹理信息,包括:
对所述人体粗分割掩膜进行膨胀操作,得到膨胀掩膜;
对所述人体粗分割掩膜进行腐蚀操作,得到腐蚀掩膜;
根据所述膨胀掩膜和所述腐蚀掩膜,得到第二边缘信息;
根据所述第一边缘信息和所述第二边缘信息,得到细节纹理信息。
5.根据权利要求3所述的一种基于特征融合的人像分割方法,其特征在于,所述根据所述第一边缘信息和所述第二边缘信息,得到细节纹理信息,包括:
对所述第一边缘信息和所述第二边缘信息进行矩阵点乘运算,得到细节纹理信息。
6.根据权利要求1所述的一种基于特征融合的人像分割方法,其特征在于,所述对所述关键点信息、所述人体粗分割掩膜和所述细节纹理信息进行特征融合,得到第一特征,包括:
根据所述关键点信息,生成指定规格的热图数据;
对所述热图数据、所述人体粗分割掩膜和所述细节纹理信息进行通道拼接操作,得到所述第一特征。
7.根据权利要求1-6中任一项所述的一种基于特征融合的人像分割方法,其特征在于,所述将所述目标图像和所述第一特征输入到U-NET模型中,包括:
对所述第一特征进行多次下采样,得到多个图像尺度不同的第二特征;
将所述目标图像和各个所述第二特征输入到U-NET模型中不同的编码器中。
8.一种基于特征融合的人像分割系统,其特征在于,所述系统包括:
获取单元,用于获取待处理的目标图像;
检测单元,用于对所述目标图像进行关键点检测,得到所述目标图像对应的关键点信息;
处理单元,用于通过边缘提取算子提取所述目标图像的第一边缘信息,并使用人体分割模型对所述目标图像进行处理,得到人体粗分割掩膜;
确定单元,用于根据所述人体粗分割掩膜和所述第一边缘信息,确定所述目标图像中人像边缘区域的细节纹理信息;
融合单元,用于对所述关键点信息、所述人体粗分割掩膜和所述细节纹理信息进行特征融合,得到第一特征;
优化单元,用于将所述目标图像和所述第一特征输入到U-NET模型中,通过所述U-NET模型得到所述目标图像对应的人像分割结果。
9.一种计算机设备,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1-7中任一项所述的一种基于特征融合的人像分割方法。
10.一种计算机可读存储介质,其中存储有处理器可执行的程序,其特征在于:所述处理器可执行的程序在由处理器执行时用于实现如权利要求1-7中任一项所述的一种基于特征融合的人像分割方法。
CN202310861592.5A 2023-07-13 基于特征融合的人像分割方法、系统、设备及存储介质 Active CN117237397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310861592.5A CN117237397B (zh) 2023-07-13 基于特征融合的人像分割方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310861592.5A CN117237397B (zh) 2023-07-13 基于特征融合的人像分割方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117237397A true CN117237397A (zh) 2023-12-15
CN117237397B CN117237397B (zh) 2024-05-28

Family

ID=

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899562A (zh) * 2015-05-29 2015-09-09 河南理工大学 基于纹理分割融合的雷达遥感影像人工建筑识别算法
CN110660066A (zh) * 2019-09-29 2020-01-07 Oppo广东移动通信有限公司 网络的训练方法、图像处理方法、网络、终端设备及介质
CN111507994A (zh) * 2020-04-24 2020-08-07 Oppo广东移动通信有限公司 一种人像提取方法、人像提取装置及移动终端
CN111598903A (zh) * 2020-05-21 2020-08-28 Oppo广东移动通信有限公司 人像分割方法、装置、存储介质和电子设备
CN112802037A (zh) * 2021-01-20 2021-05-14 北京百度网讯科技有限公司 人像提取方法、装置、电子设备及存储介质
WO2021139625A1 (zh) * 2020-01-07 2021-07-15 广州虎牙科技有限公司 图像处理方法、图像分割模型训练方法及相关装置
WO2022033513A1 (zh) * 2020-08-11 2022-02-17 影石创新科技股份有限公司 目标分割方法、装置、计算机可读存储介质及计算机设备
US20220108454A1 (en) * 2020-10-05 2022-04-07 Qualcomm Incorporated Segmentation for image effects
CN114445430A (zh) * 2022-04-08 2022-05-06 暨南大学 轻量级多尺度特征融合的实时图像语义分割方法及系统
CN114549574A (zh) * 2022-03-01 2022-05-27 杭州电子科技大学 一种基于掩膜传播网络的交互式视频抠图系统
WO2022110877A1 (zh) * 2020-11-24 2022-06-02 深圳市商汤科技有限公司 深度检测方法、装置、电子设备、存储介质及程序
WO2022134382A1 (zh) * 2020-12-22 2022-06-30 深圳市慧鲤科技有限公司 图像分割方法及装置、电子设备和存储介质、计算机程序
WO2022133627A1 (zh) * 2020-12-21 2022-06-30 广州视源电子科技股份有限公司 图像分割方法、装置、设备及存储介质
CN114972380A (zh) * 2022-05-26 2022-08-30 北京百度网讯科技有限公司 边缘分割方法和装置
CN115131297A (zh) * 2022-06-10 2022-09-30 青岛海信医疗设备股份有限公司 一种髋关节检测方法、设备及装置
CN115272146A (zh) * 2022-07-27 2022-11-01 天翼爱音乐文化科技有限公司 一种风格化图像生成方法、系统、设备及介质
WO2022257456A1 (zh) * 2021-06-10 2022-12-15 平安科技(深圳)有限公司 头发信息识别方法、装置、设备及存储介质
WO2022261828A1 (zh) * 2021-06-15 2022-12-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN115565011A (zh) * 2022-10-19 2023-01-03 河南理工大学 基于特征融合的钢丝绳表面缺陷识别方法
CN116030080A (zh) * 2023-02-03 2023-04-28 北京博睿恩智能科技有限公司 遥感图像实例分割方法及装置
US20230133218A1 (en) * 2022-02-28 2023-05-04 Beijing Baidu Netcom Science Technology Co., Ltd. Image segmentation method, device and medium

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899562A (zh) * 2015-05-29 2015-09-09 河南理工大学 基于纹理分割融合的雷达遥感影像人工建筑识别算法
CN110660066A (zh) * 2019-09-29 2020-01-07 Oppo广东移动通信有限公司 网络的训练方法、图像处理方法、网络、终端设备及介质
WO2021139625A1 (zh) * 2020-01-07 2021-07-15 广州虎牙科技有限公司 图像处理方法、图像分割模型训练方法及相关装置
CN111507994A (zh) * 2020-04-24 2020-08-07 Oppo广东移动通信有限公司 一种人像提取方法、人像提取装置及移动终端
CN111598903A (zh) * 2020-05-21 2020-08-28 Oppo广东移动通信有限公司 人像分割方法、装置、存储介质和电子设备
WO2022033513A1 (zh) * 2020-08-11 2022-02-17 影石创新科技股份有限公司 目标分割方法、装置、计算机可读存储介质及计算机设备
US20220108454A1 (en) * 2020-10-05 2022-04-07 Qualcomm Incorporated Segmentation for image effects
WO2022110877A1 (zh) * 2020-11-24 2022-06-02 深圳市商汤科技有限公司 深度检测方法、装置、电子设备、存储介质及程序
WO2022133627A1 (zh) * 2020-12-21 2022-06-30 广州视源电子科技股份有限公司 图像分割方法、装置、设备及存储介质
WO2022134382A1 (zh) * 2020-12-22 2022-06-30 深圳市慧鲤科技有限公司 图像分割方法及装置、电子设备和存储介质、计算机程序
CN112802037A (zh) * 2021-01-20 2021-05-14 北京百度网讯科技有限公司 人像提取方法、装置、电子设备及存储介质
WO2022257456A1 (zh) * 2021-06-10 2022-12-15 平安科技(深圳)有限公司 头发信息识别方法、装置、设备及存储介质
WO2022261828A1 (zh) * 2021-06-15 2022-12-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
US20230133218A1 (en) * 2022-02-28 2023-05-04 Beijing Baidu Netcom Science Technology Co., Ltd. Image segmentation method, device and medium
CN114549574A (zh) * 2022-03-01 2022-05-27 杭州电子科技大学 一种基于掩膜传播网络的交互式视频抠图系统
CN114445430A (zh) * 2022-04-08 2022-05-06 暨南大学 轻量级多尺度特征融合的实时图像语义分割方法及系统
CN114972380A (zh) * 2022-05-26 2022-08-30 北京百度网讯科技有限公司 边缘分割方法和装置
CN115131297A (zh) * 2022-06-10 2022-09-30 青岛海信医疗设备股份有限公司 一种髋关节检测方法、设备及装置
CN115272146A (zh) * 2022-07-27 2022-11-01 天翼爱音乐文化科技有限公司 一种风格化图像生成方法、系统、设备及介质
CN115565011A (zh) * 2022-10-19 2023-01-03 河南理工大学 基于特征融合的钢丝绳表面缺陷识别方法
CN116030080A (zh) * 2023-02-03 2023-04-28 北京博睿恩智能科技有限公司 遥感图像实例分割方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张仲瑜;焦淑红;: "多特征融合的红外舰船目标检测方法", 红外与激光工程, no. 1, 25 December 2015 (2015-12-25) *
李宗民;徐希云;刘玉杰;李华;: "条件随机场像素建模与深度特征融合的目标区域分割算法", 计算机辅助设计与图形学学报, no. 06, 15 June 2018 (2018-06-15) *
王佳欣;魏涛;: "基于图像融合技术的运动目标图像识别研究", 微电子学与计算机, no. 08, 5 August 2016 (2016-08-05) *
邹亚君;李翌昕;马尽文;: "基于深度学习的酒标分割研究", 信号处理, no. 04, 25 April 2019 (2019-04-25) *

Similar Documents

Publication Publication Date Title
Dino et al. Facial expression recognition based on hybrid feature extraction techniques with different classifiers
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN108009472B (zh) 一种基于卷积神经网络和贝叶斯分类器的指背关节纹识别方法
Al_Azrak et al. An efficient method for image forgery detection based on trigonometric transforms and deep learning
CN111444826B (zh) 视频检测方法、装置、存储介质及计算机设备
CN110765857A (zh) 指纹识别方法、芯片及电子装置
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN112529040A (zh) 模型生成的方法、装置、电子设备及介质
Habibi et al. Splicing image forgery detection and localization based on color edge inconsistency using statistical dispersion measures
Zhu et al. Automatic object detection and segmentation from underwater images via saliency-based region merging
CN112507897A (zh) 跨模态人脸识别方法、装置、设备及存储介质
Fatima et al. FAST, BRIEF and SIFT based image copy-move forgery detection technique
Han et al. Segmenting images with complex textures by using hybrid algorithm
Meena et al. Image splicing forgery detection using noise level estimation
CN112750071B (zh) 一种用户自定义的表情制作方法及系统
CN113139544A (zh) 一种基于多尺度特征动态融合的显著性目标检测方法
Gani et al. Copy move forgery detection using DCT, PatchMatch and cellular automata
CN117237397B (zh) 基于特征融合的人像分割方法、系统、设备及存储介质
CN117237397A (zh) 基于特征融合的人像分割方法、系统、设备及存储介质
Kumar et al. ResUNet: an automated deep learning model for image splicing localization
CN112733670A (zh) 指纹特征提取方法、装置、电子设备及存储介质
Kumari et al. An Image Copy-Move Forgery Detection based on SURF and Fourier-Mellin Transforms
Abir et al. An automatic enhanced filters with frequency-based copy-move forgery detection for social media images
Lin et al. Background subtraction based on codebook model and texture feature
Sekhar et al. An object-based splicing forgery detection using multiple noise features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant