CN117809027A - 基于人体骨架的服装先验概率掩码图生成方法及相关装置 - Google Patents

基于人体骨架的服装先验概率掩码图生成方法及相关装置 Download PDF

Info

Publication number
CN117809027A
CN117809027A CN202311551637.5A CN202311551637A CN117809027A CN 117809027 A CN117809027 A CN 117809027A CN 202311551637 A CN202311551637 A CN 202311551637A CN 117809027 A CN117809027 A CN 117809027A
Authority
CN
China
Prior art keywords
clothing
mask map
prior probability
mask
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311551637.5A
Other languages
English (en)
Other versions
CN117809027B (zh
Inventor
胡新荣
余俊杰
梁金星
王帮超
罗瑞奇
李敏
陈佳
余锋
彭涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Textile University
Original Assignee
Wuhan Textile University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Textile University filed Critical Wuhan Textile University
Priority to CN202311551637.5A priority Critical patent/CN117809027B/zh
Publication of CN117809027A publication Critical patent/CN117809027A/zh
Application granted granted Critical
Publication of CN117809027B publication Critical patent/CN117809027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于人体骨架的服装先验概率掩码图生成方法及相关装置，该方法包括：基于预设服装数据集获取不同类别服装关键点在人体骨架上的相对位置信息；参考相对位置信息，获取目标人体服装图像的服装关键点信息；根据各类别服装相应的所有服装关键点信息分别映射相应的关键点至空白掩码图，在空白掩码图上对关键点进行外部轮廓连线及内部填充处理，得到中间掩码图；基于各类别服装相应的所有中间掩码图，生成优化后的相应类别服装的先验概率掩码图。通过本申请方案的实施，针对每个类别的服装生成先验概率掩码图，可以为服装位置定位和语义信息解析提供额外的引导信息，为语义分割算法的分割结果准确性提供了有力支撑。

Description

基于人体骨架的服装先验概率掩码图生成方法及相关装置
技术领域
本申请涉及图像处理技术领域，可应用于服装语义分割场景。更具体的，本申请公开了一种基于人体骨架的服装先验概率掩码图生成方法及相关装置。
背景技术
服装识别是一项AI在时尚领域的最基本挑战之一，其中对于服装语义分割是很多应用的基本问题。目前的服装语义分割方式大多为使用深度神经网络同时实现像素级别的前景背景分割，以及对于像素级别的语义的分割，在这个过程中网络对于服装的语义的理解和学习来自于数据集图片本身输入后提取的特征，这种方式在进行服装语义分割时所使用的引导信息较为有限，对于复杂场景图像的服装对象难以保证分割结果的准确性。
值得注意的是，在此部分中描述的技术不一定是之前已经设想到或采用的技术。除非另有指明，否则不应假定此部分中描述的任何技术仅因其包括在此部分中就被认为为现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本申请实施例提供了一种基于人体骨架的服装先验概率掩码图生成方法及相关装置，至少能够解决相关技术中所提供的服装语义分割方式所使用的引导信息较为有限，对于复杂场景图像的服装对象难以保证分割结果的准确性的问题。
本申请实施例第一方面提供了一种基于人体骨架的服装先验概率掩码图生成方法，包括：
基于预设服装数据集获取不同类别服装关键点在人体骨架上的相对位置信息；
参考所述相对位置信息，获取目标人体服装图像的服装关键点信息；
根据各类别服装相应的所有所述服装关键点信息分别映射相应的关键点至空白掩码图，在所述空白掩码图上对所述关键点进行外部轮廓连线及内部填充处理，得到中间掩码图；
基于各类别服装相应的所有所述中间掩码图，生成优化后的相应类别服装的所述先验概率掩码图。
本申请实施例第二方面提供了一种基于人体骨架的服装先验概率掩码图生成装置，包括：
第一获取模块，用于基于预设服装数据集获取不同类别服装关键点在人体骨架上的相对位置信息；
第二获取模块，用于参考所述相对位置信息，获取目标人体服装图像的服装关键点信息；
处理模块，用于根据各类别服装相应的所有所述服装关键点信息分别映射相应的关键点至空白掩码图，在所述空白掩码图上对所述关键点进行外部轮廓连线及内部填充处理，得到中间掩码图；
生成模块，用于基于各类别服装相应的所有所述中间掩码图，生成优化后的相应类别服装的所述先验概率掩码图。
本申请实施例第三方面提供了一种电子设备，包括：存储器及处理器，其中，处理器用于执行存储在存储器上的计算机程序，处理器执行计算机程序时，实现上述本申请实施例第一方面提供的服装先验概率掩码图生成方法中的各步骤。
本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述本申请实施例第一方面提供的服装先验概率掩码图生成方法中的各步骤。
由上可见，根据本申请方案所提供的基于人体骨架的服装先验概率掩码图生成方法及相关装置，基于预设服装数据集获取不同类别服装关键点在人体骨架上的相对位置信息；参考相对位置信息，获取目标人体服装图像的服装关键点信息；根据各类别服装相应的所有服装关键点信息分别映射相应的关键点至空白掩码图，在空白掩码图上对关键点进行外部轮廓连线及内部填充处理，得到中间掩码图；基于各类别服装相应的所有中间掩码图，生成优化后的相应类别服装的先验概率掩码图。通过本申请方案的实施，针对每个类别的服装生成先验概率掩码图，可以为服装位置定位和语义信息解析提供额外的引导信息，为语义分割算法的分割结果准确性提供了有力支撑。
应当理解，本部分所描述的内容并非旨在标识本申请的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述共同用于解释实施例的示例性实施方式。所示出的附图仅出于示例性目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1为本申请第一实施例提供的服装先验概率掩码图生成方法的基本流程示意图；
图2为本申请第一实施例提供的一种服装关键点相对于骨骼线的投影示意图。
图3为本申请第二实施例提供的服装先验概率掩码图生成方法的细化流程示意图；
图4为本申请第三实施例提供的一种服装先验概率掩码图生成装置的功能模块示意图；
图5为本申请第三实施例提供的电子设备的结构示意图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
相关技术中已经存在大量对人体服装进行语义分割的研究，然而这些服装语义分割算法目前存在以下的问题：1)是对算法对图像中服装区域进行像素级别的语义精准分离的基础研究尚且不足，对于复杂场景下图像中服装对象的分割算法较弱；2)由于服装类别的多样性与复杂性，通常在一个数据集当中会包含多个类的实例，所以对于服装语义的判别会不准确；3)当服装图像中存在复杂的变形和边缘时，它们的分割结果会变得不准确。
为了解决相关技术中所提供的服装语义分割方式所使用的引导信息较为有限，对于复杂场景图像的服装对象难以保证分割结果的准确性的问题，本申请第一实施例提供了一种基于人体骨架的服装先验概率掩码图生成方法，如图1为本实施例提供的服装先验概率掩码图生成方法的基本流程图，该服装先验概率掩码图生成方法包括以下的步骤：
步骤101、基于预设服装数据集获取不同类别服装关键点在人体骨架上的相对位置信息。
具体的，在本实施例中，服装数据集内包括多个不同类别服装的训练集图像，各训练集图像上对服装标注有关键点，服装关键点标注信息以坐标形式存在，坐标所处的坐标系为像素坐标系。
在本实施例一种可选实施方式中，上述基于预设服装数据集获取不同类别服装关键点在人体骨架上的相对位置信息的步骤，包括：基于关键点检测算法分别获取预设服装数据集中不同类别服装的训练集图像的人体骨架信息；将训练集图像的服装关键点标注信息转换为关联于人体骨架信息的表达形式，得到不同类别服装关键点在人体骨架上的相对位置信息。
如图2所示为本实施例提供的一种服装关键点相对于骨骼线的投影示意图，具体的，本实施例可以基于预设关键点表达式，将训练集图像的服装关键点标注信息转换为关联于人体骨架信息的表达形式，关键点表达式可以表示为：
或/>
其中，(x,y)表示服装关键点p的标注位置信息，k1、k2表示人体骨架上距离服装关键点p最近的目标骨骼线的两个端点，p′表示服装关键点p在目标骨骼线上的投影点，α、β表示预设常数。
应当理解的是，在本实施例中，可以由/>旋转以后乘以一个常数β得到，最终，可以将p(x,y)的表示方法由p(x,y)＝(x,y)转化为关联于α和β这两个常数的表示方式，由于/>和/>具有方向性，因此为了保存所指向的方向信息，本实施例可以将带有方向性的符号1或-1放入一个方向列表并且乘以α和β并得到/>和/> 表示所有基于/>和/>所表示的点的坐标。在实际应用中，对于数据集中每一张可以识别出完整人体骨架的训练集图像，其所标注的每一个服装关键点均可以采用以上方式进行表达，然后以图像为单位进行保存。
步骤102、参考相对位置信息，获取目标人体服装图像的服装关键点信息。
具体的，本实施例可以获取目标人体服装图像的人体骨架信息，然后前述基于相对位置信息还原目标人体服装图像的人体骨架信息相应的服装关键点信息。
在实际应用中，先将需要进行语义分割的目标人体服装图像传入人体骨架识别算法得到相应的人体骨架信息skm，记为：
skm＝p(sk1,sk2,sk3,sk4,…,skn)
接下来，使用前述关联于人体骨架信息的服装关键点表达形式，还原出每一人体骨架信息相应的服装关键点信息pm，记为：
pm＝p(p1,p2,p3,p4,…,pn)
值得一提的是，在实际应用中可以利用列表形式存储上述服装关键点信息，本实施例可以针对不同服装类别将服装关键点信息置于列表不同位置，以列表索引来区分不同类别服装。
步骤103、根据各类别服装相应的所有服装关键点信息分别映射相应的关键点至空白掩码图，在空白掩码图上对关键点进行外部轮廓连线及内部填充处理，得到中间掩码图。
具体的，本实施例先为每个类别服装准备一个空白mask图，然后将此前所获取的服装关键点映射于该空白mask图之上，接下来再在空白mask图上将所有服装关键点进行连线，并且根据外部轮廓进行填充，被填充像素位置的像素值可以设为1，本实施例进行连线和外部轮廓填充处理后的mask图记为中间掩码图。
步骤104、基于各类别服装相应的所有中间掩码图，生成优化后的相应类别服装的先验概率掩码图。
在本实施例一种可选实施方式中，上述基于各类别服装相应的所有中间掩码图，生成优化后的相应类别服装的先验概率掩码图的步骤，包括：将各类别服装相应的所有中间掩码图进行像素值叠加，生成优化后的相应类别服装的先验概率掩码图；其中，中间掩码图上各被填充位置的像素值为1。
具体的，在本实施例中，针对各类别服装的多个中间掩码图，可以将多个中间掩码图进行叠加，也即将多个中间掩码图同一像素坐标位置的像素值进行相加，然后基于叠加结果来生成该类别服装的先验概率掩码图。
在本实施例一种可选实施方式中，上述将各类别服装相应的所有中间掩码图进行像素值叠加，生成优化后的相应类别服装的先验概率掩码图的步骤，包括：将各类别服装相应的所有中间掩码图进行像素值叠加，得到相应类别服装的叠加后掩码图；将叠加后掩码图中像素值与预设比较阈值进行比较；将叠加后掩码图中像素值大于或等于比较阈值的像素值重置为1，以及将叠加后掩码图中像素值小于比较阈值的像素值重置为0，得到优化后的相应类别服装的先验概率掩码图。
具体的，本实施例将同一类别服装的所有中间掩码图累加出来的次数值作为叠加后掩码图上相应像素坐标位置的像素值，该像素值越高，代表该点出现该类别服装的概率越高。需要说明的是，为了让先验概率掩码图更加准确，本实施例需要对叠加后掩码图上像素点的像素值进行数据清洗，也即将叠加后掩码图上个像素点的像素值与特定比较阈值进行比较，对于像素值大于或等于比较阈值的像素点，将其像素值重新设为1，而像素值低于该比较阈值的像素点，则将其像素值重新设为0，本质上即将出现频次较高的像素点的像素值归一化为1，出现频次较低的像素点的像素值归一化为0。
在本实施例一种可选实施方式中，上述将叠加后掩码图中像素值与预设比较阈值进行比较的步骤之前，还包括：针对训练集图像，获取各类别服装对应的叠加后掩码图，并计算使用不同百分位数作为阈值进行处理时，各类别服装对应的叠加后掩码图与训练集图像的服装标注图之间的dice值；计算各百分位数下同类别服装的多个dice值的均值；针对各类别服装，将最高均值相应的百分位数确定为比较阈值。
具体的，在本实施例中，可以使用百分位数(即Percentile)方法来进行像素值的划分，也即前述比较阈值采用百分位数的形式设定。为了获取最佳百分位数，本实施例使用dice算法计算各类别服装相应的叠加后掩码图与数据集标注图之间的dice值(dice值用于评价mask图与标注图的匹配度)，在实际应用中可以计算多个不同百分位数(例如75至100内的所有取值)下的该dice值，然后计算每一百分位数下所有dice值的均值，接下来将所有百分位数下的多个dice均值进行比较，将最大dice均值相应的百分位数确定为前述比较阈值。
值得说明的是，本实施例在得到先验概率掩码图之后，在服装语义分割应用阶段，将待分割原图和先验概率mask图叠加输入至深度神经网络，或者在网络的某个节点加入，来增强服装的语义和位置信息，对于学习速率还有学习效果均会有不错的提升。另外，也可以在待分割原图进行全分割以前，使用本实施例的先验概率mask图来进行服装的位置定位以及语义信息的解析，从而使全分割变为特定的服装图像语义分割。
图3中的方法为本申请第二实施例提供的一种细化的服装先验概率掩码图生成方法，具体包括如下流程：
步骤301、基于关键点检测算法分别获取预设服装数据集中不同类别服装的训练集图像的人体骨架信息；
步骤302、基于预设关键点表达式，将训练集图像的服装关键点标注信息转换为关联于人体骨架信息的表达形式，得到不同类别服装关键点在人体骨架上的相对位置信息；
步骤303、获取目标人体服装图像的人体骨架信息，并基于相对位置信息还原目标人体服装图像的人体骨架信息相应的服装关键点信息；
步骤304、根据各类别服装相应的所有服装关键点信息分别映射相应的关键点至空白掩码图，在空白掩码图上对关键点进行外部轮廓连线及内部填充处理，得到中间掩码图；
步骤305、将各类别服装相应的所有中间掩码图进行像素值叠加，得到相应类别服装的叠加后掩码图；
步骤306、针对训练集图像，获取各类别服装对应的叠加后掩码图，并计算使用不同百分位数作为阈值进行处理时，各类别服装对应的叠加后掩码图与训练集图像的服装标注图之间的dice值，然后计算各百分位数下同类别服装的多个dice值的均值；
步骤307、针对各类别服装，将最高均值相应的百分位数确定为比较阈值，并将叠加后掩码图中像素值与预设比较阈值进行比较；
步骤308、将叠加后掩码图中像素值大于或等于比较阈值的像素值重置为1，以及将叠加后掩码图中像素值小于比较阈值的像素值重置为0，得到优化后的相应类别服装的先验概率掩码图。
应当理解的是，本实施例中各步骤的序号的大小并不意味着步骤执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成唯一限定。
图4为本申请第三实施例提供的一种服装先验概率掩码图生成装置，该服装先验概率掩码图生成装置可用于实现前述实施例中的服装先验概率掩码图生成方法，主要包括：
第一获取模块401，用于基于预设服装数据集获取不同类别服装关键点在人体骨架上的相对位置信息；
第二获取模块402，用于参考相对位置信息，获取目标人体服装图像的服装关键点信息；
处理模块403，用于根据各类别服装相应的所有服装关键点信息分别映射相应的关键点至空白掩码图，在空白掩码图上对关键点进行外部轮廓连线及内部填充处理，得到中间掩码图；
生成模块404，用于基于各类别服装相应的所有中间掩码图，生成优化后的相应类别服装的先验概率掩码图。
在本实施例一种可选实施方式中，第一获取模块具体用于：基于关键点检测算法分别获取预设服装数据集中不同类别服装的训练集图像的人体骨架信息；将训练集图像的服装关键点标注信息转换为关联于人体骨架信息的表达形式，得到不同类别服装关键点在人体骨架上的相对位置信息。
在本实施例一种可选实施方式中，上述第二获取模块具体用于：获取目标人体服装图像的人体骨架信息；基于相对位置信息还原目标人体服装图像的人体骨架信息相应的服装关键点信息。
在本实施例一种可选实施方式中，上述生成模块具体用于：将各类别服装相应的所有中间掩码图进行像素值叠加，生成优化后的相应类别服装的先验概率掩码图；其中，中间掩码图上各被填充位置的像素值为1。
进一步地，在本实施例一种可选实施方式中，上述生成模块具体用于：将各类别服装相应的所有中间掩码图进行像素值叠加，得到相应类别服装的叠加后掩码图；将叠加后掩码图中像素值与预设比较阈值进行比较；将叠加后掩码图中像素值大于或等于比较阈值的像素值重置为1，以及将叠加后掩码图中像素值小于比较阈值的像素值重置为0，得到优化后的相应类别服装的先验概率掩码图。
在本实施例一种可选实施方式中，该服装先验概率掩码图生成装置还包括：确定模块，用于计算不同百分位数下各类别服装相应的所有中间掩码图的dice值；计算各百分位数下同类别服装的多个dice值的均值；针对各类别服装，将最高均值相应的百分位数确定为比较阈值。
基于上述本申请实施例的技术方案，基于预设服装数据集获取不同类别服装关键点在人体骨架上的相对位置信息；参考相对位置信息，获取目标人体服装图像的服装关键点信息；根据各类别服装相应的所有服装关键点信息分别映射相应的关键点至空白掩码图，在空白掩码图上对关键点进行外部轮廓连线及内部填充处理，得到中间掩码图；基于各类别服装相应的所有中间掩码图，生成优化后的相应类别服装的先验概率掩码图。通过本申请方案的实施，针对每个类别的服装生成先验概率掩码图，可以为服装位置定位和语义信息解析提供额外的引导信息，为语义分割算法的分割结果准确性提供了有力支撑。
应当说明的是，第一、二实施例中的服装先验概率掩码图生成方法均可基于本实施例提供的服装先验概率掩码图生成装置实现，所属领域的普通技术人员可以清楚的了解到，为描述的方便和简洁，本实施例中所描述的服装先验概率掩码图生成装置的具体工作过程，可以参考前述方法实施例中的对应工作过程实现，在此不再赘述。
图5为本申请第三实施例提供的一种电子设备。该电子设备可用于实现前述实施例中的服装先验概率掩码图生成方法，主要包括：存储器501、处理器502，存储器501上存储有可在处理器502上运行的计算机程序503，存储器501和处理器502通信连接，处理器502执行该计算机程序503时，实现前述实施例中的服装先验概率掩码图生成方法。其中，处理器502的数量可以是一个或多个。
存储器501可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器501用于存储可执行程序代码，处理器502与存储器501耦合。
进一步的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子设备中，该计算机可读存储介质可以是前述图5所示实施例中的存储器。
该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现前述实施例中的服装先验概率掩码图生成方法。进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本申请所提供的基于人体骨架的服装先验概率掩码图生成方法及相关装置的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于人体骨架的服装先验概率掩码图生成方法，其特征在于，包括：
基于预设服装数据集获取不同类别服装关键点在人体骨架上的相对位置信息；
参考所述相对位置信息，获取目标人体服装图像的服装关键点信息；
根据各类别服装相应的所有所述服装关键点信息分别映射相应的关键点至空白掩码图，在所述空白掩码图上对所述关键点进行外部轮廓连线及内部填充处理，得到中间掩码图；
基于各类别服装相应的所有所述中间掩码图，生成优化后的相应类别服装的所述先验概率掩码图。
2.根据权利要求1所述的服装先验概率掩码图生成方法，其特征在于，所述基于预设服装数据集获取不同类别服装关键点在人体骨架上的相对位置信息的步骤，包括：
基于关键点检测算法分别获取预设服装数据集中不同类别服装的训练集图像的人体骨架信息；
将所述训练集图像的服装关键点标注信息转换为关联于所述人体骨架信息的表达形式，得到不同类别服装关键点在人体骨架上的相对位置信息。
3.根据权利要求2所述的服装先验概率掩码图生成方法，其特征在于，所述将所述训练集图像的服装关键点标注信息转换为关联于所述人体骨架信息的表达形式的步骤，包括：
基于预设关键点表达式，将所述训练集图像的服装关键点标注信息转换为关联于所述人体骨架信息的表达形式；所述关键点表达式表示为：
或/>
其中，(x,y)表示服装关键点p的标注位置信息，k1、k2表示人体骨架上距离服装关键点p最近的目标骨骼线的两个端点，p′表示服装关键点p在所述目标骨骼线上的投影点，α、β表示预设常数，表示所有基于/>和/>所表示的点的坐标。
4.根据权利要求2所述的服装先验概率掩码图生成方法，其特征在于，所述参考所述相对位置信息，获取目标人体服装图像的服装关键点信息的步骤，包括：
获取目标人体服装图像的人体骨架信息；
基于所述相对位置信息还原所述目标人体服装图像的人体骨架信息相应的服装关键点信息。
5.根据权利要求1至4中任意一项所述的服装先验概率掩码图生成方法，其特征在于，所述基于各类别服装相应的所有所述中间掩码图，生成优化后的相应类别服装的所述先验概率掩码图的步骤，包括：
将各类别服装相应的所有所述中间掩码图进行像素值叠加，生成优化后的相应类别服装的所述先验概率掩码图；其中，所述中间掩码图上各被填充位置的像素值为1。
6.根据权利要求5所述的服装先验概率掩码图生成方法，其特征在于，所述将各类别服装相应的所有所述中间掩码图进行像素值叠加，生成优化后的相应类别服装的所述先验概率掩码图的步骤，包括：
将各类别服装相应的所有所述中间掩码图进行像素值叠加，得到相应类别服装的叠加后掩码图；
将所述叠加后掩码图中像素值与预设比较阈值进行比较；
将所述叠加后掩码图中像素值大于或等于所述比较阈值的像素值重置为1，以及将所述叠加后掩码图中像素值小于所述比较阈值的像素值重置为0，得到优化后的相应类别服装的所述先验概率掩码图。
7.根据权利要求6所述的服装先验概率掩码图生成方法，其特征在于，所述将所述叠加后掩码图中像素值与预设比较阈值进行比较的步骤之前，还包括：
针对训练集图像，获取各类别服装对应的叠加后掩码图，并计算使用不同百分位数作为阈值进行处理时，各类别服装对应的叠加后掩码图与所述训练集图像的服装标注图之间的dice值；
计算各百分位数下同类别服装的多个所述dice值的均值；
针对各类别服装，将最高均值相应的所述百分位数确定为所述比较阈值。
8.一种基于人体骨架的服装先验概率掩码图生成装置，其特征在于，包括：
第一获取模块，用于基于预设服装数据集获取不同类别服装关键点在人体骨架上的相对位置信息；
第二获取模块，用于参考所述相对位置信息，获取目标人体服装图像的服装关键点信息；
处理模块，用于根据各类别服装相应的所有所述服装关键点信息分别映射相应的关键点至空白掩码图，在所述空白掩码图上对所述关键点进行外部轮廓连线及内部填充处理，得到中间掩码图；
生成模块，用于基于各类别服装相应的所有所述中间掩码图，生成优化后的相应类别服装的所述先验概率掩码图。
9.一种电子设备，其特征在于，包括存储器及处理器，其中：
所述处理器用于执行存储在所述存储器上的计算机程序；
所述处理器执行所述计算机程序时，实现权利要求1至7中任意一项所述服装先验概率掩码图生成方法中的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任意一项所述服装先验概率掩码图生成方法中的步骤。
CN202311551637.5A 2023-11-17 2023-11-17 基于人体骨架的服装先验概率掩码图生成方法及相关装置 Active CN117809027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311551637.5A CN117809027B (zh) 2023-11-17 2023-11-17 基于人体骨架的服装先验概率掩码图生成方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311551637.5A CN117809027B (zh) 2023-11-17 2023-11-17 基于人体骨架的服装先验概率掩码图生成方法及相关装置

Publications (2)

Publication Number Publication Date
CN117809027A true CN117809027A (zh) 2024-04-02
CN117809027B CN117809027B (zh) 2024-07-19

Family

ID=90424121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311551637.5A Active CN117809027B (zh) 2023-11-17 2023-11-17 基于人体骨架的服装先验概率掩码图生成方法及相关装置

Country Status (1)

Country Link
CN (1) CN117809027B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836625A (zh) * 2021-01-29 2021-05-25 汉王科技股份有限公司 人脸活体检测方法、装置、电子设备
CN113781505A (zh) * 2021-11-08 2021-12-10 深圳市瑞图生物技术有限公司 染色体分割方法、染色体分析仪及存储介质
CN115346245A (zh) * 2022-08-24 2022-11-15 清华大学 手部接触风险的评估方法、装置、电子设备及存储介质
CN116403241A (zh) * 2023-04-04 2023-07-07 网易（杭州）网络有限公司 背部穴位的识别方法、装置、电子设备及可读存储介质
CN116580202A (zh) * 2023-05-26 2023-08-11 重庆邮电大学 一种基于改进U-net网络的乳腺医学图像分割方法
US20230281999A1 (en) * 2022-03-07 2023-09-07 Nec Laboratories America, Inc. Infrastructure analysis using panoptic segmentation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836625A (zh) * 2021-01-29 2021-05-25 汉王科技股份有限公司 人脸活体检测方法、装置、电子设备
CN113781505A (zh) * 2021-11-08 2021-12-10 深圳市瑞图生物技术有限公司 染色体分割方法、染色体分析仪及存储介质
US20230281999A1 (en) * 2022-03-07 2023-09-07 Nec Laboratories America, Inc. Infrastructure analysis using panoptic segmentation
CN115346245A (zh) * 2022-08-24 2022-11-15 清华大学 手部接触风险的评估方法、装置、电子设备及存储介质
CN116403241A (zh) * 2023-04-04 2023-07-07 网易（杭州）网络有限公司 背部穴位的识别方法、装置、电子设备及可读存储介质
CN116580202A (zh) * 2023-05-26 2023-08-11 重庆邮电大学 一种基于改进U-net网络的乳腺医学图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄文丽;范勇;: "结合时空拓扑特征和稀疏表达的人体行为识别算法", 计算机应用, no. 06, 1 June 2013 (2013-06-01) *

Also Published As

Publication number Publication date
CN117809027B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
Lee et al. Deep saliency with encoded low level distance map and high level features
CN108038474B (zh) 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN113762309B (zh) 对象匹配方法、装置及设备
CN111523537A (zh) 一种文字识别方法、存储介质及系统
JP6597914B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN113762269A (zh) 基于神经网络的中文字符ocr识别方法、系统、介质及应用
CN112651364B (zh) 图像处理方法、装置、电子设备及存储介质
Chawathe Rice disease detection by image analysis
KR20200101521A (ko) 시멘틱 매칭 장치 및 방법
CN111199558A (zh) 一种基于深度学习的图像匹配方法
CN112380978A (zh) 基于关键点定位的多人脸检测方法、系统及存储介质
CN115035367A (zh) 图片识别方法、装置及电子设备
CN113505763B (zh) 关键点检测方法、装置、电子设备及存储介质
CN107729863B (zh) 人体指静脉识别方法
CN111723688B (zh) 人体动作识别结果的评价方法、装置和电子设备
CN108681731A (zh) 一种甲状腺癌症超声图片自动标注方法及系统
CN117809027B (zh) 基于人体骨架的服装先验概率掩码图生成方法及相关装置
Jeon et al. Pyramidal semantic correspondence networks
CN112801238B (zh) 一种图像分类方法、装置、电子设备及存储介质
CN112464753B (zh) 图像中关键点的检测方法、检测装置及终端设备
Zeng et al. Text Image with Complex Background Filtering Method Based on Harris Corner-point Detection.
JP2016081472A (ja) 画像処理装置、画像処理方法及びプログラム
CN115273177A (zh) 异质人脸的人脸类型识别方法、装置、设备及存储介质
JP2015032088A (ja) 文字認識装置および文字認識方法
CN105868789B (zh) 一种基于图像区域内聚测度的目标发现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant