CN107301408B - 人体掩膜提取方法及装置 - Google Patents

人体掩膜提取方法及装置 Download PDF

Info

Publication number
CN107301408B
CN107301408B CN201710579373.2A CN201710579373A CN107301408B CN 107301408 B CN107301408 B CN 107301408B CN 201710579373 A CN201710579373 A CN 201710579373A CN 107301408 B CN107301408 B CN 107301408B
Authority
CN
China
Prior art keywords
image
human body
depth
depth value
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710579373.2A
Other languages
English (en)
Other versions
CN107301408A (zh
Inventor
廖逸琪
毛河
周剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Topplusvision Science & Technology Co ltd
Original Assignee
Chengdu Topplusvision Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Topplusvision Science & Technology Co ltd filed Critical Chengdu Topplusvision Science & Technology Co ltd
Priority to CN201710579373.2A priority Critical patent/CN107301408B/zh
Publication of CN107301408A publication Critical patent/CN107301408A/zh
Application granted granted Critical
Publication of CN107301408B publication Critical patent/CN107301408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，具体涉及一种人体掩膜提取方法及装置，该人体掩膜提取方法包括获取灰度图像和深度图像，将所述灰度图像输入预设的深度学习模型中，使用矩形框圈出包含人体图像的灰度图像。计算所述深度图像中包含人体图像的深度值范围，根据所述矩形框对所述灰度图像和深度图像进行裁剪，得到包含人体图像的灰度图像和包含人体图像的深度图像。对所述裁剪出的包含人体图像的灰度图像进行边缘检测，得到边缘图。根据所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值以及所述深度值范围，在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓，选取所述轮廓上的像素点围成的最大连通区域为人体掩膜。

Description

人体掩膜提取方法及装置
技术领域
本发明涉及计算机视觉技术领域，具体而言，涉及一种人体掩膜提取方法及装置。
背景技术
人体掩膜的提取是一种利用算法提取人体轮廓区域的技术，提取掩膜是对人体图像处理和分析的前提。现有的人体掩膜提取算法多是基于可见光图像的，这些提取算法主要有一下两类：一是先通过分割算法得到图像中的物体，然后将分割得到的物体进行识别得到人体掩膜；二是提取局部特征并通过分类算法进行训练得到模型，通过模型提取人体掩膜。第一类提取方法中的图像分割算法，因可见光图像易受光照和颜色、背景等因素的影响，分割出的图像会出现边界断点、图形合并等现象影响识别。而第二类提取方法中，因为人体形变和背景复杂，会导致准确率降低。因此，提供一种能精确提取人体掩膜的方法是十分必要的，能便于人体图像处理和分析。
发明内容
本发明的目的在于提供一种人体掩膜提取方法，以实现对人体掩膜的精确提取，以便于人体图像的处理和分析。
本发明的另一目的在于提供一种人体掩膜提取装置，以实现对人体掩膜的精确提取，以便于人体图像的处理和分析。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种人体掩膜提取方法，应用于服务终端，所述方法包括：
获取灰度图像和深度图像；
将所述灰度图像输入预设的深度学习模型中，使用矩形框圈出包含人体图像的灰度图像；
根据所述矩形框计算所述深度图像中人体图像的深度值范围；
根据所述矩形框对所述灰度图像和所述深度图像进行裁剪，得到包含人体图像的灰度图像和包含人体图像的深度图像；
对所述裁剪出的包含人体图像的灰度图像进行边缘检测，得到边缘图；
根据所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值以及所述深度值范围，在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓；
选取所述轮廓上的像素点围成的最大连通区域为人体掩膜。
第二方面，本发明实施例还提供了一种人体掩膜提取装置，应用于服务终端，所述装置包括：
图像获取模块，用于获取灰度图像和深度图像；
图像圈出模块，用于将所述灰度图像输入预设的深度学习模型中，使用矩形框圈出包含人体图像的灰度图像；
深度范围计算模块，用于根据所述矩形框计算所述深度图像中人体图像的深度值范围；
图像裁剪模块，用于根据所述矩形框对所述灰度图像和所述深度图像进行裁剪，得到包含人体图像的灰度图像和包含人体图像的深度图像；
边缘检测模块，用于对所述裁剪出的包含人体图像的灰度图像进行边缘检测，得到边缘图；
轮廓确定模块，用于根据所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值以及所述深度值范围，在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓；
区域选取模块，用于选取所述轮廓上的像素点围成的最大连通区域为人体掩膜。
本发明实施例提供的一种人体掩膜提取方法及装置，该人体掩膜提取方法及装置均应用于服务终端，该人体掩膜提取方法包括获取灰度图像和深度图像，将所述灰度图像输入预设的深度学习模型中，使用矩形框圈出包含人体图像的灰度图像。根据矩形框计算所述深度图像中包含人体图像的深度值范围，根据所述矩形框对所述灰度图像和深度图像进行裁剪，得到包含人体图像的灰度图像和包含人体图像的深度图像。对所述裁剪出的包含人体图像的灰度图像进行边缘检测，得到边缘图。根据所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值以及所述深度值范围，在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓，选取所述轮廓上的像素点围成的最大连通区域为人体掩膜。通过本方案以精确确定人体掩膜，为后续的人体图像分析和处理做好了准备。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的一种人体掩膜提取方法的流程示意图。
图2示出了本发明实施例提供的一种人体掩膜提取方法的子步骤的流程示意图。
图3示出了本发明实施例提供的一种人体掩膜提取方法的另一子步骤的流程示意图。
图4示出了本发明实施例提供的一种人体掩膜提取方法的另一子步骤的流程示意图。
图5示出了本发明实施例提供的一种人体掩膜提取方法的另一子步骤的流程示意图。
图6示出了本发明实施例提供的一种人体掩膜提取装置的功能模块示意图。
图示：100-人体掩膜提取装置；110-图像获取模块；120-图像圈出模块；130-深度范围计算模块；140-图像裁剪模块；150-边缘检测模块；160-轮廓确定模块；170-直线检测模块；180-区域选取模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本发明实施例提供的人体掩膜提取方法用于精确提取人体轮廓，以便于人体图像的进一步处理和分析，该人体掩膜提取方法应用于服务终端，该服务终端可以是，但不限于，台式电脑等智能电子设备。
请参照图1，是本发明实施例提供的一种人体掩膜提取方法的流程示意图，该人体掩膜提取方法包括：
步骤S110，获取灰度图像和深度图像。
通过相机拍摄，采集得到灰度图像和深度图像，该灰度图像和深度图像对应。
步骤S120，将所述灰度图像输入预设的深度学习模型中，使用矩形框圈出包含人体图像的灰度图像。
将采集得到的灰度图像输入预设的深度学习模型中，在本实施例中，该深度学习模型为yolo深度学习模型，但不限于此，该深度学习模型还可以为其他能实现相应功能的学习模型，该深度学习模型中的yolo矩形框将圈出灰度图像中的人体图像。具体为：
请参照图2，是本发明实施例提供的一种人体掩膜提取方法的步骤S120的子步骤的流程示意图。
步骤S121，将获取的灰度图像输入预设的深度学习模型中。
在本发明实施例中，指将通过相机采集的灰度图像输入预设的yolo深度学习模型中。
步骤S122，通过所述预设的深度学习模型在所述灰度图像中使用所述矩形框圈出的部分人体图像。
该yolo深度学习模型将使用矩形框在灰度图像中圈出部分人体图像，即通常情况下，不能保证该矩形框能完整圈出人体图像，可能只能圈出部分人体图像，或者该矩形框能够圈出完整的人体图像，但是对于用户无法获知是否已经圈出了完整的人体图像。
步骤S123，对所述矩形框进行扩展，使用扩展后的矩形框圈出所述灰度图像中的人体图像。
当该矩形框圈出了部分人体图像后，对矩形框进行扩展，以使得该矩形框能够完整地圈出灰度图像中的人体图像。该矩形框的扩展方式为：
Figure BDA0001351824300000051
其中，ws和hs分别为矩形框的宽和高，wp和hp分别为矩形框扩展的宽和高的大小，λw和λh为矩形框的宽和高的扩展系数。即将矩形框的宽扩展wp，将矩形框的高扩展hp，进而使用扩展后的矩形框在灰度图像中圈出人体图像。
步骤S130，根据所述矩形框计算所述深度图像中人体图像的深度值范围。
根据扩展后的矩形框计算深度图像中人体图像的深度值范围，具体为：
请参照图3，是本发明实施例提供的一种人体掩膜提取方法的步骤S130的子步骤的流程示意图，该步骤S130包括：
步骤S131，获取所述深度图像中对应于所述矩形框的中心点的位置的深度值。
由于灰度图像和深度图像对应，则从深度图像上获取对应于该矩形框的中心点的位置的深度值。
步骤S132，依据预设的第一深度值、预设的第二深度值以及所述中心点的深度值计算出所述深度图像中人体图像的深度值范围。
该预设的第一深度值和预设的第二深度值依据用户的经验进行确定，该预设的第一深度值和预设的第二深度值分别为距离该中心点的深度值，通过
Figure BDA0001351824300000061
算法计算出人体图像的深度值范围，其中，dc为矩形框中心点的深度值，dmim和dmax分别是人体图像的深度值范围的最小值和最大值，diffmin和diffmax分别是第一深度值和第二深度值。
步骤S140，根据所述矩形框对所述灰度图像和所述深度图像进行裁剪，得到包含人体图像的灰度图像和包含人体图像的深度图像。
步骤S150，对所述裁剪出的包含人体图像的灰度图像进行边缘检测，得到边缘图。
在本发明实施例中，利用自适应canny算法对裁剪出的包含人体图像的灰度图像进行边缘检测，进而得到边缘图，但不限于此，容易理解的，还可以采用其他算法对裁剪出的包含人体图像的灰度图像进行边缘检测。具体为，用自适应canny算法对裁剪出的包含人体图像的灰度图像上的所有像素点进行检测，若该像素点为边缘点，则将该像素点的灰度值设置为1，表征为白色，若该像素点不为边缘点，则将该像素点的灰度值设置为0，表征黑色。通过将像素点区分为不同的颜色，以得到边缘图。
步骤S160，根据所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值以及所述深度值范围，在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓。
具体为，请参照图4，是本发明实施例提供的一种人体掩膜提取方法的步骤S160的子步骤的流程图，步骤S160包括：
步骤S161，判断所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值是否在所述深度值范围内。
由于灰度图像和深度图像对应，获取边缘图中的边缘点在裁剪得到的包含人体图像的深度图像中对应的深度值，同时由步骤S130计算得到了深度图像中人体图像的深度值范围，则判断边缘图的边缘点的深度值是否在深度图像中人体图像的深度值范围内，换句话说，判断边缘图的边缘点是否为人体图像中的边缘点。
步骤S162，若所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值在所述深度值范围内，则将所述边缘点的灰度值设置为第一预设值。
该第一预设值为1，即当边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值在所述深度值范围内，将该边缘点的灰度值设置为1，表征白色，即将该像素点保留。
步骤S163，若所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值不在所述深度值范围内，则将所述边缘点的灰度值设置为第二预设值。
该第二预设值为0，即当边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值不在所述深度值范围内，将该边缘点的灰度值设置为0，表征黑色，即将该边缘点去除。
步骤S164，根据所述第一预设值和所述第二预设值在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓。
通过将边缘图中的边缘点的深度值与深度图像中人体图像的深度值范围进行比较，分别将处于该深度值范围内的边缘点的灰度值设置为1，即表征白色，将不处于该深度值范围内的边缘点的灰度值设置为0，即表征黑色，以此处于该深度值范围内的边缘点通过白色表示出来，多个表征的白色的边缘点共同在裁剪得到的包含人体图像的灰度图像中形成一轮廓。
步骤S170，对所述轮廓进行直线检测，若所述轮廓的长度大于预定长度，则将所述轮廓中长度大于预定长度的部分的像素点去除。
由于当采用相机对人体进行拍照时，人体是站立在地面或其他物体上的，因此深度图像中地面或其他物体与人体脚部接触的部分的深度值与人体图像的深度值一致，因此不能通过判断其深度值是否在深度值范围内，将与人体脚部接触的地面或其他物体的像素点去除，因此需要对在灰度图像中确定的轮廓进行直线检测，以排除灰度图像中与人体脚部连接的地面或其他物体的像素点。具体为，在轮廓中高度为
Figure BDA0001351824300000081
范围内进行直线检测，h为轮廓的高，当检测到轮廓的长度大于预定长度，在本发明实施例中，该预定长度指100个像素点，则将轮廓中长度大于预定长度的部分的像素点去除，以实现将与人体脚部相连的地面或其他物体的像素点去除。
步骤S180，选取所述轮廓上的像素点围成的最大连通区域为人体掩膜。
该轮廓包括人体图像的像素点形成的轮廓，同时也包括与人体图像具有相同深度值的背景图像形成的轮廓，因此，选取轮廓上的像素点围成的最大连通区域为人体掩膜，该人体掩膜指人体图像的边缘轮廓以及人体图像的身体部分的轮廓。具体为，请参照图5，是本发明实施例提供的一种人体掩膜提取方法的步骤S180的子步骤的流程示意图，该步骤S180包括：
步骤S181，对所述轮廓进行膨胀处理。
在本发明实施例中，采用5X5算法对轮廓进行膨胀处理，即时将轮廓上分散的多个像素点连成平滑的曲线。
步骤S182，对膨胀处理后的所述轮廓中最大的连通区域进行填充。
由于人体掩膜必定在整个轮廓中占据最大的面积，因此选取膨胀处理后的轮廓中的最大的连通区域进行填充相应的颜色，以标识出最大的连通区域。
步骤S183，选取所述最大的连通区域作为人体掩膜。
即是说，该最大的连通区域为人体掩膜。
请参照图6，是本发明实施例提供的一种人体掩膜提取装置100的功能模块示意图，该人体掩膜提取装置100应用于服务终端，该人体掩膜提取装置100包括：
图像获取模块110，用于获取灰度图像和深度图像。
在本发明实施例中，步骤S110可以由图像获取模块110执行。。
图像圈出模块120，用于将所述灰度图像输入预设的深度学习模型中，使用矩形框圈出包含人体图像的灰度图像。
在本发明实施例中，步骤S120～S123可以由图像圈出模块120执行。
深度范围计算模块130，用于根据所述矩形框计算所述深度图像中人体图像的深度值范围。
在本发明实施例中，步骤S130～S133可以由深度范围计算模块130执行。
图像裁剪模块140，用于根据所述矩形框对所述灰度图像和所述深度图像进行裁剪，得到包含人体图像的灰度图像和包含人体图像的深度图像。
在本发明实施例中，步骤S140可以由图像裁剪模块140执行。
边缘检测模块150，用于对所述裁剪出的包含人体图像的灰度图像进行边缘检测，得到边缘图。
在本发明实施例中，步骤S150可以由边缘检测模块150执行。。
轮廓确定模块160，用于根据所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值以及所述深度值范围，在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓。
在本发明实施例中，步骤S160～S164可以由轮廓确定模块160执行。
直线检测模块170，用于对所述轮廓进行直线检测，若所述轮廓的长度大于预定长度，则将所述轮廓中长度大于预定长度的部分的像素点去除。
在本发明实施例中，步骤S170可以由直线检测模块170执行。
区域选取模块180，用于选取所述轮廓上的像素点围成的最大连通区域为人体掩膜。
在本发明实施例中，步骤S180～S183可以由区域选取模块180执行。
由于在人体掩膜提取方法部分已经详细描述，在此不再赘述。
综上所述，本发明实施例提供一种人体掩膜提取方法及装置，该人体掩膜提取方法及装置均应用于服务终端，该人体掩膜提取方法包括获取灰度图像和深度图像，将所述灰度图像输入预设的深度学习模型中，使用矩形框圈出包含人体图像的灰度图像。根据矩形框计算所述深度图像中包含人体图像的深度值范围，根据所述矩形框对所述灰度图像和深度图像进行裁剪，得到包含人体图像的灰度图像和包含人体图像的深度图像。对所述裁剪出的包含人体图像的灰度图像进行边缘检测，得到边缘图。根据所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值以及所述深度值范围，在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓，选取所述轮廓上的像素点围成的最大连通区域为人体掩膜。通过本方案以精确确定人体掩膜，为后续的人体图像分析和处理做好了准备。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种人体掩膜提取方法，应用于服务终端，其特征在于，所述方法包括：
获取灰度图像和深度图像；
将所述灰度图像输入预设的深度学习模型中，使用矩形框圈出包含人体图像的灰度图像；
根据所述矩形框计算所述深度图像中人体图像的深度值范围，具体为，获取所述深度图像中对应于所述矩形框的中心点的位置的深度值；
依据预设的第一深度值、预设的第二深度值以及所述中心点的深度值计算出所述深度图像中人体图像的深度值范围；
根据所述矩形框对所述灰度图像和所述深度图像进行裁剪，得到包含人体图像的灰度图像和包含人体图像的深度图像；
对所述裁剪出的包含人体图像的灰度图像进行边缘检测，得到边缘图；
根据所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值以及所述深度值范围，在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓；
对所述轮廓进行直线检测，若所述轮廓的长度大于预定长度，则将所述轮廓中长度大于预定长度的部分的像素点去除；
选取去除所述轮廓中大于预定长度的像素点后剩余的像素点围成的最大连通区域为人体掩膜。
2.如权利要求1所述的人体掩膜提取方法，其特征在于，所述根据所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值以及所述深度值范围，在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓的步骤包括：
判断所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值是否在所述深度值范围内；
若所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值在所述深度值范围内，则将所述边缘点的灰度值设置为第一预设值；
若所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值不在所述深度值范围内，则将所述边缘点的灰度值设置为第二预设值；
根据所述第一预设值和所述第二预设值在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓。
3.如权利要求1所述的人体掩膜提取方法，其特征在于，所述将所述灰度图像输入预设的深度学习模型中，使用矩形框圈出包含人体图像的灰度图像的步骤包括：
将获取的灰度图像输入预设的深度学习模型中；
通过所述预设的深度学习模型使用所述矩形框在所述灰度图像中圈出部分人体图像；
对所述矩形框进行扩展，使用扩展后的矩形框圈出所述灰度图像中的人体图像。
4.如权利要求1所述的人体掩膜提取方法，其特征在于，所述选取所述轮廓上的像素点围成的最大连通区域为人体掩膜的步骤包括：
对所述轮廓进行膨胀处理；
对膨胀处理后的所述轮廓中最大的连通区域进行填充；
选取所述最大的连通区域作为人体掩膜。
5.一种人体掩膜提取装置，应用于服务终端，其特征在于，所述装置包括：
图像获取模块，用于获取灰度图像和深度图像；
图像圈出模块，用于将所述灰度图像输入预设的深度学习模型中，使用矩形框圈出包含人体图像的灰度图像；
深度范围计算模块，用于根据所述矩形框计算所述深度图像中人体图像的深度值范围，具体为，获取所述深度图像中对应于所述矩形框的中心点的位置的深度值；
依据预设的第一深度值、预设的第二深度值以及所述中心点的深度值计算出所述深度图像中人体图像的深度值范围；
图像裁剪模块，用于根据所述矩形框对所述灰度图像和所述深度图像进行裁剪，得到包含人体图像的灰度图像和包含人体图像的深度图像；
边缘检测模块，用于对所述裁剪出的包含人体图像的灰度图像进行边缘检测，得到边缘图；
轮廓确定模块，用于根据所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值以及所述深度值范围，在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓；
直线检测模块，用于对所述轮廓进行直线检测，若所述轮廓的长度大于预定长度，则将所述轮廓中长度大于预定长度的部分的像素点去除；
区域选取模块，用于选取去除所述轮廓中大于预定长度的像素点后剩余的像素点围成的最大连通区域为人体掩膜。
6.如权利要求5所述的人体掩膜提取装置，其特征在于，所述轮廓确定模块还用于：
判断所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值是否在所述深度值范围内；
若所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值在所述深度值范围内，则将所述边缘点的灰度值设置为第一预设值；
若所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值不在所述深度值范围内，则将所述边缘点的灰度值设置为第二预设值；
根据所述第一预设值和所述第二预设值在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓。
CN201710579373.2A 2017-07-17 2017-07-17 人体掩膜提取方法及装置 Active CN107301408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710579373.2A CN107301408B (zh) 2017-07-17 2017-07-17 人体掩膜提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710579373.2A CN107301408B (zh) 2017-07-17 2017-07-17 人体掩膜提取方法及装置

Publications (2)

Publication Number Publication Date
CN107301408A CN107301408A (zh) 2017-10-27
CN107301408B true CN107301408B (zh) 2020-06-23

Family

ID=60132943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710579373.2A Active CN107301408B (zh) 2017-07-17 2017-07-17 人体掩膜提取方法及装置

Country Status (1)

Country Link
CN (1) CN107301408B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198192A (zh) * 2018-01-15 2018-06-22 任俊芬 一种基于深度学习的高精度快速人体分割方法
CN109033945B (zh) * 2018-06-07 2021-04-06 西安理工大学 一种基于深度学习的人体轮廓提取方法
CN110310336B (zh) * 2019-06-10 2021-08-06 青岛小鸟看看科技有限公司 一种触控投影系统及图像处理方法
CN112365510B (zh) * 2020-11-12 2022-12-30 Oppo（重庆）智能科技有限公司 图像处理方法、装置、设备及存储介质
CN113554589B (zh) * 2021-06-04 2023-05-02 奕目(上海)科技有限公司 基于深度学习的半导体芯片金线分割方法及系统
CN113628205B (zh) * 2021-08-25 2022-05-20 四川大学 基于深度图像的非接触呼吸频率检测方法
CN116030047B (zh) * 2023-03-24 2023-05-30 四川中星电子有限责任公司 一种电容器工艺过程中识别掩膜合格的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447677A (zh) * 2016-10-12 2017-02-22 广州视源电子科技股份有限公司 图像处理方法和装置
CN106909911A (zh) * 2017-03-09 2017-06-30 广东欧珀移动通信有限公司 图像处理方法、图像处理装置和电子装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6494253B2 (ja) * 2014-11-17 2019-04-03 キヤノン株式会社 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447677A (zh) * 2016-10-12 2017-02-22 广州视源电子科技股份有限公司 图像处理方法和装置
CN106909911A (zh) * 2017-03-09 2017-06-30 广东欧珀移动通信有限公司 图像处理方法、图像处理装置和电子装置

Also Published As

Publication number Publication date
CN107301408A (zh) 2017-10-27

Similar Documents

Publication Publication Date Title
CN107301408B (zh) 人体掩膜提取方法及装置
CN107229932B (zh) 一种图像文本的识别方法和装置
US8094964B2 (en) Methods and systems for estimating illumination source characteristics from a single image
US9053537B2 (en) Classifier for use in generating a diffuse image
US7970212B2 (en) Method for automatic detection and classification of objects and patterns in low resolution environments
CN111814520A (zh) 肤质检测方法、肤质等级分类方法及肤质检测装置
CN107172354B (zh) 视频处理方法、装置、电子设备及存储介质
US8483480B2 (en) Method and system for factoring an illumination image
US8503734B2 (en) Detecting image detail level
US9396411B2 (en) Method and system for generating intrinsic images using a single reflectance technique
CN109766818B (zh) 瞳孔中心定位方法及系统、计算机设备及可读存储介质
CN116542982B (zh) 一种基于机器视觉的出发判断器缺陷检测方法及装置
CN109060842A (zh) 基于曲面拟合校正的柑橘表面缺陷检测方法、计算机程序
CN114596329A (zh) 一种气体图像增强及气体泄露检测方法和系统
US9754155B2 (en) Method and system for generating intrinsic images using a single reflectance technique
CN111126300A (zh) 一种人体图像检测方法、装置和电子设备及可读存储介质
CN108986156B (zh) 深度图处理方法及装置
CN109035306B (zh) 动目标自动检测方法及装置
Patuano Measuring naturalness and complexity using the fractal dimensions of landscape photographs
CN114581433A (zh) 一种获取金属球腔内表面形貌检测图像的方法及系统
Makinana et al. Quality parameter assessment on iris images
Lee et al. Image quality assessment of tone mapped images
CN115546241B (zh) 边缘检测方法、装置、电子设备及计算机可读存储介质
CN112070101A (zh) 物体形状评估方法、装置、电子设备及存储介质
Kieu et al. BNRFBE method for blur estimation in document images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant