CN116434328A - 姿态监控方法、装置、系统、电子设备和存储介质 - Google Patents

姿态监控方法、装置、系统、电子设备和存储介质 Download PDF

Info

Publication number
CN116434328A
CN116434328A CN202310228503.3A CN202310228503A CN116434328A CN 116434328 A CN116434328 A CN 116434328A CN 202310228503 A CN202310228503 A CN 202310228503A CN 116434328 A CN116434328 A CN 116434328A
Authority
CN
China
Prior art keywords
target object
skin
area
gesture
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310228503.3A
Other languages
English (en)
Inventor
吴子扬
孙建伟
王海坤
周正友
吴江照
胡国平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Intelligent Voice Innovation Development Co ltd
Original Assignee
Hefei Intelligent Voice Innovation Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Intelligent Voice Innovation Development Co ltd filed Critical Hefei Intelligent Voice Innovation Development Co ltd
Priority to CN202310228503.3A priority Critical patent/CN116434328A/zh
Publication of CN116434328A publication Critical patent/CN116434328A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种姿态监控方法、装置、系统、电子设备和存储介质，能够从目标对象的图像中识别出目标对象的皮肤裸露区域，其中，目标对象的皮肤裸露区域包括目标对象的手部区域和/或面部区域。然后，基于目标对象的皮肤裸露区域的位置或目标对象的皮肤裸露区域相对于特定参考目标的位置，确定目标对象的姿态，进而实现对人们的姿态进行监控的目的。而且通过对姿态进行监控，人们能够及时发现并调整不标准的姿态，避免不标准的姿态对人们身体健康的影响。

Description

姿态监控方法、装置、系统、电子设备和存储介质
技术领域
本申请涉及姿态监控技术领域，尤其涉及一种姿态监控方法、装置、系统、电子设备和存储介质。
背景技术
人们在长时间处于某种姿态时，如果姿态不标准，则可能会影响人们的身体状态。例如，坐姿不标准可能会使人们养成驼背、身体歪扭等不良习惯，严重的还会引发颈椎病、腰椎间盘突出和近视等疾病。因此，如何对人们的姿态进行监控，以便于帮助人们及时调整不标准的姿态，是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本申请提出一种姿态监控方法、装置、系统、电子设备和存储介质，该方法能够对人们的姿态进行监控。
本申请提出的技术方案具体如下：
第一方面，本申请提供了一种姿态监控方法，包括：
从目标对象的图像中识别出目标对象的皮肤裸露区域；所述目标对象的皮肤裸露区域包括所述目标对象的手部区域和/或面部区域；
基于所述目标对象的皮肤裸露区域的位置或所述目标对象的皮肤裸露区域相对于特定参考目标的位置，确定所述目标对象的姿态。
进一步的，以上所述的方法中，从目标对象的图像中识别出目标对象的皮肤裸露区域，包括：
从所述目标对象的图像中识别出所述目标对象的肤色区域；
基于所述目标对象的肤色区域，确定出所述目标对象的皮肤裸露区域。
进一步的，以上所述的方法中，从所述目标对象的图像中识别出所述目标对象的肤色区域，包括：
从所述目标对象的图像中，检测颜色在设定的肤色区间内的目标区域，作为所述目标对象的肤色区域。
进一步的，以上所述的方法中，基于所述目标对象的肤色区域，确定出所述目标对象的皮肤裸露区域，包括：
将所述目标对象的肤色区域输入到预先训练的皮肤裸露区域提取网络中，得到所述皮肤裸露区域提取网络输出的所述目标对象的皮肤裸露区域。
进一步的，以上所述的方法中，所述皮肤裸露区域提取网络是与肤色区域分割网络进行联合训练得到的；所述联合训练过程包括：
以样本对象的图像为第一训练样本，样本对象的图像中样本对象的肤色区域的位置为第一训练标签，对所述肤色区域分割网络进行训练；
以样本对象的图像输入到所述肤色区域分割网络得到的输出结果为第二训练样本，样本对象的图像中样本对象的皮肤裸露区域的位置为第二训练标签，对所述皮肤裸露区域提取网络进行训练。
进一步的，以上所述的方法中，基于所述目标对象的皮肤裸露区域的位置，确定所述目标对象的姿态，包括：
根据所述目标对象的皮肤裸露区域的位置，以及，设定的各种姿态类型所对应的皮肤裸露区域的位置，确定所述目标对象的姿态类型。
进一步的，以上所述的方法中，根据所述目标对象的皮肤裸露区域的位置，以及，设定的各种姿态类型所对应的皮肤裸露区域的位置，确定所述目标对象的姿态类型特征，包括：
根据所述目标对象的皮肤裸露区域的位置和图像特征，确定所述目标对象的皮肤裸露区域的检索特征；
根据所述目标对象的皮肤裸露区域的检索特征，从预先设置的姿态类型库中检索与所述目标对象的皮肤裸露区域的检索特征距离最近的皮肤裸露区域所对应的目标姿态类型；所述姿态类型库中存储有多种姿态类型，以及多种姿态类型的皮肤裸露区域对应的检索特征；
确定所述目标姿态类型为所述目标对象的姿态类型。
进一步的，以上所述的方法中，根据所述目标对象的皮肤裸露区域的位置和图像特征，确定所述目标对象的皮肤裸露区域的检索特征，包括：
将所述皮肤裸露区域的位置和图像特征输入到预先训练的检索特征映射网络中，得到所述检索特征映射网络输出的所述目标对象的皮肤裸露区域的检索特征；其中，所述检索特征映射网络是对浅层神经网络进行训练得到的。
进一步的，以上所述的方法中，基于所述目标对象的皮肤裸露区域相对于特定参考目标的位置，确定所述目标对象的姿态，包括：
根据所述目标对象的皮肤裸露区域的位置，确定所述目标对象的皮肤裸露区域与设定参照物的相对位置关系；所述目标对象的皮肤裸露区域与设定参照物的相对位置关系，包括所述目标对象的手部区域与所述设定参照物的位置关系、所述目标对象的面部区域与所述设定参照物的位置关系中的至少一种；
根据所述相对位置关系，以及，设定的各种姿态类型所对应的相对位置关系，确定所述目标对象的姿态类型。
进一步的，以上所述的方法中，还包括：
输出所述目标对象的姿态；或
若所述目标对象的姿态属于设定的非标准姿态，则输出所述目标对象的姿态和/或输出姿态矫正提醒。
第二方面，本申请提供了一种姿态监控装置，包括：
识别模块，用于从目标对象的图像中识别出目标对象的皮肤裸露区域；所述目标对象的皮肤裸露区域包括所述目标对象的手部区域和/或面部区域；
确定模块，用于基于所述目标对象的皮肤裸露区域的位置或所述目标对象的皮肤裸露区域相对于特定参考目标的位置，确定所述目标对象的姿态。
第三方面，本申请提供了一种电子设备，包括：
存储器和处理器；
其中，所述存储器用于存储程序；
所述处理器，用于通过运行所述存储器中的程序，实现以上任意一项所述的方法。
第四方面，本申请提供了一种姿态监控系统，包括通信连接的控制设备和摄像设备；
所述摄像设备，用于获取目标对象的图像；
所述控制设备，用于从目标对象的图像中识别出目标对象的皮肤裸露区域；所述目标对象的皮肤裸露区域包括所述目标对象的手部区域和/或面部区域；基于所述目标对象的皮肤裸露区域的位置或所述目标对象的皮肤裸露区域相对于特定参考目标的位置，确定所述目标对象的姿态。
第五方面，本申请提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现以上任意一项所述的方法。
本申请提出的姿态监控方法，能够从目标对象的图像中识别出目标对象的皮肤裸露区域，其中，目标对象的皮肤裸露区域包括目标对象的手部区域和/或面部区域。然后，基于目标对象的皮肤裸露区域的位置或目标对象的皮肤裸露区域相对于特定参考目标的位置，确定目标对象的姿态，进而实现对人们的姿态进行监控的目的。而且通过对姿态进行监控，人们能够及时发现并调整不标准的姿态，避免不标准的姿态对人们身体健康的影响。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请实施例提供的一种姿态监控方法的流程示意图；
图2是本申请实施例提供的一种卷积神经网络的结构示意图；
图3是本申请实施例提供的一种确定目标对象的姿态类型的流程示意图；
图4是本申请实施例提供的一种检索特征映射网络的映射示意图；
图5是本申请实施例提供的一种树结构的示意图；
图6是本申请实施例提供的一种姿态监控装置的结构示意图；
图7是本申请实施例提供的一种电子设备的结构示意图；
图8是本申请实施例提供的一种姿态监控系统的结构示意图。
具体实施方式
申请概述
本申请实施例技术方案适用于对姿态进行监控的应用场景，采用本申请实施例技术方案，能够实现对姿态进行监控的目的，人们能够及时发现并调整不标准的姿态，以避免不标准的姿态对人们身体健康的影响。
人们在长时间处于某种姿态时，如果姿态不标准，则可能会影响人们的身体健康。例如，如果长时间的坐姿不标准，可能会使人们养成驼背、身体扭曲等不良习惯，严重时还有可能引发颈椎病、腰椎间盘突出等疾病。而且，如果人们以不标准的坐姿学习或者办公，还有可能会诱发近视等眼部疾病。
而现有技术中，对人们的姿态缺乏有效的监控，无法对不标准的姿态进行提醒与纠正。基于此，本申请的实施例提供了一种姿态监控方法、装置、系统、电子设备和存储介质，该方案通过对姿态进行监控，使人们能够及时发现并调整不标准的姿态，避免不标准的姿态对人们身体健康的影响。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
示例性方法
本申请实施例提出一种姿态监控方法，该方法可以由电子设备执行，该电子设备可以是任意的具有数据及指令处理功能的设备，例如可以是计算机、智能终端、服务器等。参见图1所示，该方法包括：
S101、从目标对象的图像中识别出目标对象的皮肤裸露区域。
目标对象指的是进行姿态监控的主体，目标对象一般为生命体。一些实施例中，目标对象为人体。目标对象的图像指的是通过对目标对象进行拍摄而得到的图像，目标对象的图像可以是的视频图像，也可以是图片图像，本实施例不做限定。
目标对象的皮肤裸露区域指的是没有衣物或者其他物品附着，裸露在外的皮肤区域。本实施例中，目标对象的皮肤裸露区域包括目标对象的手部区域和/或面部区域。一些实施例中，目标对象的皮肤裸露区域除了包括目标对象的手部区域和/或面部区域外，如果目标用户的胳膊、脖颈等区域也没有衣物或者其他物品附着，则皮肤裸露区域还可以包括目标用户的胳膊、脖颈等区域。
本申请的实施例中，对目标对象的图像进行处理，从目标对象的图像中识别出目标对象的皮肤裸露区域。例如，若目标对象的皮肤裸露区域包括目标对象的手部区域和面部区域，则本实施例可以对目标对象的图像进行处理，从目标对象的图像中识别出目标对象的手部区域的位置和面部区域的位置。
一些实施例中，可以预先训练皮肤裸露区域识别模型，将目标对象的图像输入到该皮肤裸露区域识别模型中，得到该皮肤裸露区域识别模型输出的目标对象的皮肤裸露区域。
若目标对象的皮肤裸露区域包括手部区域和面部区域，该皮肤裸露区域识别模型在训练时，可以设置大量的样本对象，获取样本对象的图像作为训练样本，从样本对象的图像中标记样本对象的手部区域和面部区域的具体位置作为训练标签。可以选择卷积神经网络模型作为皮肤裸露区域识别模型的基础模型，训练过程如下：将训练样本输入到皮肤裸露区域识别模型中，得到皮肤裸露区域识别模型的输出结果，通过比对训练标签与皮肤裸露区域识别模型的输出结果，确定皮肤裸露区域识别模型的损失值，以减小皮肤裸露区域识别模型的损失值为目的对皮肤裸露区域识别模型的参数进行调整，然后重复上述训练过程，直至皮肤裸露区域识别模型的损失值小于设定值，训练完成。上述设定值可以根据实际情况进行设置，本实施例不做限定。
一些实施例中，还可以采用二次多项式混合肤色模型从目标对象的图像中识别出目标对象的皮肤裸露区域，本实施例不做限定。
S102、基于目标对象的皮肤裸露区域的位置或目标对象的皮肤裸露区域相对于特定参考目标的位置，确定目标对象的姿态。
一些实施例中，获取到目标对象的皮肤裸露区域后，可以根据目标对象的皮肤裸露区域的位置确定目标对象的姿态。也就是说，本实施例中，可以至少根据皮肤裸露区域中手部区域和/或面部区域的位置，确定目标对象的姿态。
具体的，可以预先设置第一姿态检测模型，将目标对象的皮肤裸露区域输入到该第一姿态检测模型中，得到第一该姿态检测模型输出的目标对象的姿态。
该第一姿态检测模型在训练时，可以设置大量的样本对象，获取样本对象的皮肤裸露区域作为训练样本，标记各个皮肤裸露区域对应的姿态作为训练标签。第一姿态检测模型也可以采用卷积神经网络模型作为基础模型，其具体的训练过程与上述实施例中皮肤裸露区域识别模型的训练过程相同。因此，第一姿态检测模型的训练过程本领域的技术人员参照上述实施例中皮肤裸露区域识别模型的训练过程即可，此处不作赘述。
一些实施例中，可以根据目标对象的皮肤裸露区域相对于特定参考目标的位置，确定目标对象的姿态。也就是说，本实施例中，可以至少根据皮肤裸露区域中手部区域和/或面部区域相对于特定参考目标的位置，确定目标对象的姿态。
具体的，可以预先设置第二姿态检测模型，将目标对象的皮肤裸露区域和特定参考目标的位置输入到该第二姿态检测模型中，得到该第二姿态检测模型输出的目标对象的姿态。
该第二姿态检测模型在训练时，可以设置大量的样本对象，获取样本对象的皮肤裸露区域和特定参考目标的位置作为训练样本，标记各个皮肤裸露区域对应的姿态作为训练标签。第二姿态检测模型也可以采用卷积神经网络模型作为基础模型，其具体的训练过程与上述实施例中皮肤裸露区域识别模型的训练过程相同。因此，第二姿态检测模型的训练过程本领域的技术人员参照上述实施例中皮肤裸露区域识别模型的训练过程即可，此处不作赘述。
以上实施例中，能够从目标对象的图像中识别出目标对象的皮肤裸露区域，其中，目标对象的皮肤裸露区域包括目标对象的手部区域和/或面部区域。然后，基于目标对象的皮肤裸露区域的位置或目标对象的皮肤裸露区域相对于特定参考目标的位置，确定目标对象的姿态，进而实现对人们的姿态进行监控的目的。而且通过对姿态进行监控，人们能够及时发现并调整不标准的姿态，避免不标准的姿态对人们身体健康的影响。
作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的步骤从目标对象的图像中识别出目标对象的皮肤裸露区域，具体可以包括如下步骤：
从目标对象的图像中识别出目标对象的肤色区域；基于目标对象的肤色区域，确定出目标对象的皮肤裸露区域。
本申请的实施例中，在从目标对象的图像中识别出目标对象的皮肤裸露区域时，除了按照以上实施例的记载之外，还可以先从目标对象的图像中识别出目标对象的肤色区域，然后再对目标对象的肤色区域进行处理，得到目标对象的皮肤裸露区域。
示例性的，可以预先训练肤色分割模型，将目标对象的图像输入到肤色分割模型中，得到肤色分割模型输出的目标对象的肤色区域。
该肤色分割模型在训练时，可以设置大量的样本对象，获取样本对象的图像作为训练样本，标记各个样本对象的图像中的皮肤裸露区域作为训练样本。肤色分割模型也可以采用卷积神经网络模型作为基础模型，其具体的训练过程与上述实施例中皮肤裸露区域识别模型的训练过程相同。因此，肤色分割模型的训练过程本领域的技术人员参照上述实施例中皮肤裸露区域识别模型的训练过程即可，此处不作赘述。
在得到目标对象的肤色区域后，可以从目标对象的肤色区域中确定目标对象的皮肤裸露区域。示例性的，若目标对象的皮肤裸露区域包括手部区域和面部区域，则得到目标对象的肤色区域后，可以从目标对象的肤色区域中确定手部区域和面部区域的具体位置。
一些实施例中，可以预先训练区域确定模型，将目标对象的肤色区域输入到区域确定模型中，至少得到区域确定模型输出的目标对象的手部区域和/或面部区域，得到目标对象的皮肤裸露区域。
该区域确定模型在训练时，可以设置大量的样本对象，获取样本对象的肤色区域作为训练样本，标记各个样本对象的图像中的头部区域、手部区域等皮肤裸露区域的位置作为训练标签。区域确定模型也可以采用卷积神经网络模型作为基础模型，其具体的训练过程与上述实施例中皮肤裸露区域识别模型的训练过程相同。因此，区域确定模型的训练过程本领域的技术人员参照上述实施例中皮肤裸露区域识别模型的训练过程即可，此处不作赘述。
以上实施例中，先识别出目标对象的肤色区域，然后再从目标对象的肤色区域的基础上提取得到目标对象的皮肤裸露区域，能够快速确定面部区域、手部区域等皮肤裸露区域的具体位置。
作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的步骤从目标对象的图像中识别出目标对象的肤色区域，具体可以包括如下步骤：
从目标对象的图像中，检测颜色在设定的肤色区间内的目标区域，作为目标对象的肤色区域。
本申请的实施例中，在从目标对象的图像中识别出目标对象的肤色区域时，除了按照以上实施例的记载训练肤色分割模型之外，还可以预先设置肤色区间，对目标对象的图像进行颜色检测，将目标对象的图像中颜色在设定的肤色区间内的区域确定为目标对象的肤色区域。
一些实施例中，可以通过目标对象的图像的RGB值进行颜色检测。其中，RGB为图像三个不同通道的整型数值。可以预先设置肤色区域的RGB值区间，然后检测目标对象的图像各个像素的RGB值，将RGB值在上述RGB值区间的像素组成的区域确定为目标对象的肤色区域。
一些实施例中，还可以采用二次多项式混合肤色模型从目标对象的图像中识别出目标对象的肤色区域。具体的，二次多项式混合肤色模型的约束方程组为：
lu(R)＝-1.3767R2+1.0743R+0.1452；
ll(R)＝-0.776R2+0.5601R+0.1766；
W(R,G)＝(R-0.33)2+(G-0.33)2。
在以上三个方程的基础上，肤色区域可以通过以下规则实现：
R1:G>ll(R)AND G<lu(R)；
R2:W(R,G)≥0.0004；
R3:R>G>B；
R4:R-G≥45。
以上实施例中，从目标对象的图像中，检测颜色在设定的肤色区间内的区域作为目标对象的肤色区域。如此设置，不需要引入复杂的模型，计算方式简单，计算量小，占用的存储空间少，应用范围广，低功耗、轻量化的芯片也可以没有压力地运行。
作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的步骤基于目标对象的肤色区域，确定出目标对象的皮肤裸露区域，具体可以包括如下步骤：
将目标对象的肤色区域输入到预先训练的皮肤裸露区域提取网络中，得到皮肤裸露区域提取网络输出的目标对象的皮肤裸露区域。
本实施例在，在目标对象的肤色区域的基础上提取目标对象的皮肤裸露区域时，还可以预先训练皮肤裸露区域提取网络，将目标对象的肤色区域输入到皮肤裸露区域提取网络中，得到皮肤裸露区域提取网络输出的目标对象的皮肤裸露区域。
一些实施例中，在训练皮肤裸露区域提取网络时，可以设置大量的样本对象，获取样本对象的肤色区域作为训练样本，标记各个肤色区域对应的头部区域、手部区域等皮肤裸露区域的位置作为训练标签。皮肤裸露区域提取网络也可以采用卷积神经网络模型作为基础模型，其具体的训练过程与上述实施例中皮肤裸露区域识别模型的训练过程相同。因此，皮肤裸露区域提取网络的训练过程本领域的技术人员参照上述实施例中皮肤裸露区域识别模型的训练过程即可，此处不作赘述。
但是，按照上述方式训练得到的皮肤裸露区域提取网络不仅复杂，而且计算量大、占用空间也大，在运行时如果本地无法运行，还需要一定的联网条件进行云端加终端混合运算，不适用于低功耗芯片。为了解决上述问题，可以采用其他的方式对皮肤裸露区域提取网络进行训练。
作为一种可选的实现方式，皮肤裸露区域提取网络是与肤色区域分割网络进行联合训练得到的。联合训练过程包括：
以样本对象的图像为第一训练样本，样本对象的图像中样本对象的肤色区域的位置为第一训练标签，对肤色区域分割网络进行训练；
以样本对象的图像输入到肤色区域分割网络得到的输出结果为第二训练样本，样本对象的图像中样本对象的皮肤裸露区域的位置为第二训练标签，对皮肤裸露区域提取网络进行训练。
具体的，本申请的实施例中可以利用肤色区域分割网络与皮肤裸露区域提取网络进行联合训练，在皮肤裸露区域提取网络训练完成后，将肤色区域分割网络丢弃即可。
在对皮肤裸露区域提取网络与肤色区域分割网络进行联合训练时，先利用第一训练样本和第一训练标签对肤色区域分割网络进行训练。可以设置大量的样本对象，获取样本对象的图像作为第一训练样本，标记各个样本对象的图像中的肤色区域作为第一训练标签。一些实施例中，各个样本对象的图像中的肤色区域包括肤色区域和非肤色的其他区域。具体的训练过程如下：
将第一训练样本输入到肤色区域分割网络中，得到肤色区域分割网络的输出结果，通过比对第一训练标签与肤色区域分割网络的输出结果，确定肤色区域分割网络的损失值，以减小肤色区域分割网络的损失值为目的对肤色区域分割网络的参数进行调整，然后重复上述训练过程，直至肤色区域分割网络的损失值小于设定值，训练完成。上述设定值可以根据实际情况进行设置，本实施例不做限定。
在对肤色区域分割网络训练完成后，可以利用肤色区域分割网络的输出结果对皮肤裸露区域提取网络进行训练。具体的，可以设置大量的样本对象，以样本对象的图像输入到肤色区域分割网络得到的输出结果为第二训练样本，标记各个第二训练样本中的头部区域、手部区域等皮肤裸露区域的位置作为第二训练标签。
皮肤裸露区域提取网络的具体的训练过程与上述实施例中肤色区域分割网络的训练过程相同。因此，皮肤裸露区域提取网络的训练过程本领域的技术人员参照上述实施例中肤色区域分割网络的训练过程即可，此处不作赘述。
需要说明的是，除了按照上述实施例的记载先训练肤色区域分割网络，在肤色区域分割网络训练完成后再训练皮肤裸露区域提取网络的方式外，还可以同时训练肤色区域分割网络和皮肤裸露区域提取网络，本实施例不做限定。
一些实施例中，肤色区域分割网络和皮肤裸露区域提取网络为卷积神经网络的两个部分。如图2所示，卷积神经网络包括编码器、第一解码器、隐层和第二解码器，其中，肤色区域分割网络包括卷积神经网络的编码器、第一解码器、隐层，皮肤裸露区域提取网络包括第二解码器。
在训练时，先按照上述实施例的记载，利用第一训练样本和第一训练标签对编码器、第一解码器和隐层部分进行训练，隐层的输出结果为肤色区域分割网络的输出结果。编码器、第一解码器和隐层部分训练完成后，按照上述实施例的记载，将样本对象输入到编码器中，通过编码器、第一解码器和隐层部分的处理，将隐层的输出结果作为第二训练样本，样本对象的图像中样本对象的面部区域、手部区域等区域的位置为第二训练标签，对第二解码器进行训练。
进一步的，该卷积神经网络的约束方程Lall为：
Lall＝Lpix+Lskin
其中，Lpix为皮肤裸露区域提取网络部分的约束，Lskin为肤色区域分割网络部分的约束。Lpix、Lskin形式一致，均为各自对应的输入图与标签图的欧氏距离最小化方程，例如，
Figure BDA0004119351520000111
x为输出结果，y为训练标签。需要说明的是，输出结果和训练标签均可以是像素值。
训练完成后，可直接抛弃隐层及隐层前的编码器、第一解码器部分，仅保留第二编码器。在进行皮肤裸露区域分割时，可以直接将包含目标对象的肤色区域的图像输入到第二编码器，利用第二编码器根据包含目标对象的肤色区域的图像确定目标对象的各个皮肤裸露区域。
以上实施例中，通过联合训练的方式，能够获取更加轻量化的皮肤裸露区域提取网络，这样不仅可以提高处理速度，且由于皮肤裸露区域提取网络的结构通常较为简单，使得该过程可以运行在嵌入式芯片等低功耗芯片中，而且由于计算量小，不需要云端的辅助，终端可以独自完成整个运算。
一些实施例中，可以先利用二次多项式混合肤色模型从目标对象的图像中识别出目标对象的肤色区域，然后利用以上实施例训练的第二编码器对包括目标对象的肤色区域的图像进行处理，得到目标对象的面部、手部等皮肤裸露区域的具体位置。如此设置，既可结合传统肤色分割方法的低资源消耗、效率高的优点，又可以在肤色分割的基础上，利用深度学习进行像素级的结果优化，并针对每个像素给予类别标签，方便有效区分皮肤裸露区域中的手部区域和/或面部区域。
还需要进一步说明的是，本实施例中肤色区域分割网络的训练容易与直接输入样本对象的肤色区域、输出样本对象的皮肤裸露区域的训练模式混淆。本申请的实施例中，提出的隐层仅为一种肤色分割的逼近，其仍然隐含给定原始输入图像中的原始信息，从而基于原始信息进行多尺度的特征融合。原始信息在训练中对于最终像素级分类的作用更加明显，可以确保皮肤裸露区域提取网络有效收敛。同时，由于隐层的逼近特性，在得到皮肤裸露区域提取网络后，可将利用二次多项式混合肤色模型等传统方式得到的肤色分割结果直接替换隐层而实现效果损失较小的目的。
目标对象的皮肤裸露区域识别完成后，部分皮肤裸露区域可能存在空洞、毛刺等现象，影响后续姿态分析，可利用图像形态学中膨胀、腐蚀等操作，或利用模板填充的方式对目标对象的皮肤裸露区域处理，得到边缘清晰均匀的皮肤裸露区域。
本申请的实施例中，肤色区域分割网络设置有皮肤裸露区域的类别标签，即能够至少标注皮肤裸露区域中手部区域和/或面部区域，因此，基于上述实施例的方式，能够快速确定目标对象的图像中是否包括手部和面部等区域，如果确定目标对象的图像中包括手部和面部等区域，还能够快速确定手部和面部等区域的具体位置。
一些实施例中，皮肤裸露区域包括手部区域和面部区域，可以将分割后的面部区域记为F，手部区域记为H。则可得到整体特征G(x)＝{Fp,Hp,fF(x),fH(x)}，其中Fp与Hp为面部和手部的位置信息，以(x,y,w,h)的形式表达，fF(x)与fH(x)为分割后面部和手部区域的图像特征，一些实施例中，该图像特征可采用尺度不变特征变换(Scale-invariantfeature transform，SIFT)或局部二值模式(Local binary patterns LBP)等特征，本实施例不做限定。
作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的步骤基于目标对象的皮肤裸露区域的位置，确定目标对象的姿态，具体可以包括如下步骤：
根据目标对象的皮肤裸露区域的位置，以及，设定的各种姿态类型所对应的皮肤裸露区域的位置，确定目标对象的姿态类型。
本申请的实施例中，预先存储有设定的各种姿态类型，以及，设定的各种姿态类型所对应的皮肤裸露区域的位置。因此还可以通过比对目标对象的皮肤裸露区域的位置，以及，设定的各种姿态类型所对应的皮肤裸露区域的位置，将设定的各种姿态类型所对应的皮肤裸露区域的位置中，与该目标对象的皮肤裸露区域的位置最接近的目标位置对应的姿态类型，确定为目标对象的姿态类型。
以上实施例中，通过构建数据库，通过比对目标对象的皮肤裸露区域的位置，以及，设定的各种姿态类型所对应的皮肤裸露区域的位置的方式确定目标对象的姿态类型，不需要使用复杂的模型进行处理，计算量小、计算效率高，而且可以在本地低功耗芯片运行，满足实时性的要求，不依赖云端计算，不触犯用户隐私。
作为一种可选的实现方式，如图3所示，在本申请另一实施例中公开了，以上实施例的步骤根据目标对象的皮肤裸露区域的位置，以及，设定的各种姿态类型所对应的皮肤裸露区域的位置，确定目标对象的姿态类型特征，具体可以包括如下步骤：
S301、根据目标对象的皮肤裸露区域的位置和图像特征，确定目标对象的皮肤裸露区域的检索特征。
目标对象的皮肤裸露区域的位置的图像特征可采用SIFT或LBP等特征，本实施例不做限定。可以对目标对象的皮肤裸露区域的位置和图像特征进行特征映射，将目标对象的皮肤裸露区域的位置和图像特征映射为能够进行检索的检索特征。
一些实施例中，将皮肤裸露区域的位置和图像特征输入到预先训练的检索特征映射网络中，得到检索特征映射网络输出的目标对象的皮肤裸露区域的检索特征，其中，检索特征映射网络是对浅层神经网络进行训练得到的。
具体的，可基于度量学习，训练一个浅层神经网络作为检索特征映射网络，如图4所示。检索特征映射网络的损失函数的约束方程L为：
L＝Lcls+Lsimi+Lcenter
其中Lcls为常见的交叉熵损失；Lsimi为相似性损失，常用对比损失或三元组损失，一种典型定义为：
Figure BDA0004119351520000141
其中a为锚点样本，p为与a同一类别的不同样本，n为与a不同类别的样本；Lcenter为度量该样本与样本中心簇距离的损失函数，通常在训练过程中，类别中心特征与当前样本的特征均在更新，但该损失的加入可以使类别中心特征较快收敛，同时为后续类别中心的利用提供可训练可更新的依据，其中：
Figure BDA0004119351520000142
如图4所示，经过该浅层神经网络，可将目标对象的皮肤裸露区域的位置和图像特征等原始特征G(x)映射为可用于快速检索的特征H(x)。
由于浅层神经网络为浅层神经网络，其计算代价较小，应用范围更广泛，即使是本地低功耗芯片运行，也能够满足实时性的要求，且不依赖云端计算，不触犯用户隐私。
一些实施例中，除了训练浅层神经网络外，还可以选择训练其他神经网络作为检索特征映射网络，本实施例不做限定。
S302、根据目标对象的皮肤裸露区域的检索特征，从预先设置的姿态类型库中检索与目标对象的皮肤裸露区域的检索特征距离最近的皮肤裸露区域所对应的目标姿态类型。
本实施例中，预先设置有姿态类型库中，姿态类型库中存储有多种姿态类型，以及多种姿态类型的皮肤裸露区域对应的检索特征。具体的，本申请的实施例，可以设置大量的样本对象，按照上述实施例的记载，采集样本对象在不同姿态下所对应的检索特征。
在检索时，根据目标对象的皮肤裸露区域的检索特征，从预先设置的姿态类型库中检索与目标对象的皮肤裸露区域的检索特征距离最近的皮肤裸露区域，将该距离最近的皮肤裸露区域所对应的姿态类型确定为目标对象的姿态类型。
一些实施例中，目标对象的裸露区域包括面部区域和手部区域，可以设置大量的样本对象，收集大量包含人面部、手部相关的图像数据，利用以上实施例的记载从目标对象的图像中识别出面部区域和手部区域的具体位置。基于面部区域和手部区域的具体位置，进行姿态标注，区分正常姿态与异常姿态以及对应异常的细分。
建立树状结构，将异常姿态映射并划分到树中。例如，首先建立顶层节点，如手部异常顶层节点与面部异常顶层节点；其次基于顶层节点向下细分得到第二层的细分节点，如对坐姿进行检测的情况下，可以将手部托腮建立在手部异常的第二层，将头歪斜建立在面部异常的第二层，同理可将预先定义的异常纳入树中，其中，树结构以两层为宜，如图5所示。
针对各个底层节点所对应的姿态类型，可以按照上述实施例的记载，对样本对象的图像中，各个姿态类型的图像进行分析，得到各个姿态类型的检索特征，同时确定在各个姿态类型的检索特征映射过程中产生的类别中心点确定为对应的底层节点的代表性特征。
之后可以对树状结构进行统计分析。统计每个底层节点内所有样本与代表特征的距离，计算最大容错距离。其中，多个底层节点共同的顶层节点的代表性特征为该多个底层节点的中心点。后续在检索时，若目标对象的检索特征与各个节点的距离均超过最大容错距离，则可以将该目标对象的检索特征作为干扰样本忽略。
在检索时，针对目标对象的图像，可以先确定目标对象的图像的检索特征，将该检索特征在树中进行遍历匹配，确定个体姿态类别。在进行遍历匹配时，可以先与上层的节点进行一一匹配，若目标对象的检索特征与某一上层节点的代表性特征的距离小于该节点的最大容错距离，则可以针对该上层节点的下层节点进行一一匹配，若目标对象的检索特征与该上层节点的某一下层节点的代表性特征的距离小于该下层节点的最大容错距离且该下层节点没有设置进一步的下层节点，则可以将该下层节点对应的姿态类型确定为目标姿态类型；若目标对象的检索特征与该上层节点的某一下层节点的代表性特征的距离小于该下层节点的最大容错距离且该下层节点设置进一步的下层节点，则可以按照上述步骤进一步对该下层节点的再下一层节点进行一一的遍历比对，直至遍历至底层节点，确定目标姿态类型。
示例性的，若树结构为图5所示的二层结构，获取到目标对象的检索特征后，确定目标对象的检索特征与手部异常节点的代表性节点的距离小于手部异常节点的最大容错距离，则可以遍历手部异常节点的下层节点，如果检测到目标对象的检索特征与手部托腮节点的代表性节点的距离小于手部托腮节点的最大容错距离，则可以确定目标姿态类型为手部托腮。
S303、确定目标姿态类型为目标对象的姿态类型。
本实施例中，将目标姿态类型确定为目标对象的姿态类型。
以上实施例中，提出的判别方法耗时相比经典深度学习方法可大大减少，更加适用于低功耗嵌入式芯片的使用场景。
作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的步骤基于目标对象的皮肤裸露区域相对于特定参考目标的位置，确定目标对象的姿态，具体可以包括如下步骤：
根据目标对象的皮肤裸露区域的位置，确定目标对象的皮肤裸露区域与设定参照物的相对位置关系；根据相对位置关系，以及，设定的各种姿态类型所对应的相对位置关系，确定目标对象的姿态类型。
具体地，特定参考目标指的是预先设置的参考目标。可以将目标对象的图像中任意的位置固定的物体设置为特定参考目标，例如，在对目标对象的坐姿进行姿态监控时，目标对象的图像中往往还包括桌子和/或椅子的图像，可以将目标对象的图像中桌子和/或椅子的图像作为特定参考目标，桌子和/或椅子的图像的位置为特定参考目标的位置。还可以在目标对象的图像中建立坐标系，选择设定的坐标对应的位置作为特定参考目标的位置。
目标对象的皮肤裸露区域相对于特定参考目标的位置关系，至少包括目标对象的皮肤裸露区域与特定参考目标的距离关系，以及目标对象的皮肤裸露区域与特定参考目标的空间位置关系。进一步的，目标对象的皮肤裸露区域与设定参照物的相对位置关系，包括目标对象的手部区域与设定参照物的位置关系、目标对象的面部区域与设定参照物的位置关系中的至少一种。
其中，可以预先设置不同姿态下目标对象的皮肤裸露区域与特定参考目标的距离区间，检测目标对象的皮肤裸露区域与特定参考目标的实际距离，确定该实际距离所在的距离区间，将该实际距离所在的距离区间对应的姿态确定为目标对象当前的姿态。
示例性的，若对目标对象的坐姿进行姿态监控，皮肤裸露区域包括目标对象的面部区域，特定参考目标包括桌子，则可以设置目标对象的面部区域与桌面之间的距离小于X1时，目标对象的姿势包括“伏案”，设置目标对象的面部区域与桌面之间的距离在X1-X2之间时，目标对象的姿势包括“与桌面距离正常”，设置目标对象的面部区域与桌面之间的距离大于X2时，目标对象的姿势包括“仰面”。若检测到目标对象的面部区域与桌面之间的实际距离为X3，X3在X1-X2之间，则可以确定目标对象的姿势为“与桌面距离正常”。
示例性的，若对目标对象的坐姿进行姿态监控，皮肤裸露区域包括目标对象的面部区域，特定参考目标包括设定的坐标，则可以设置目标对象的面部区域与设定的坐标之间的距离小于X4或大于X5时，目标对象的姿势包括“头歪斜”，设置目标对象的面部区域与设定的坐标之间的距离在X4-X5之间时，目标对象的姿势包括“头未歪斜”。若检测到目标对象的面部区域与设定的坐标之间的实际距离为X6，X6在X4-X5之间，则可以确定目标对象的姿势为“头未歪斜”。
可以预先设置不同姿态下目标对象的皮肤裸露区域与特定参考目标的参考空间位置关系，检测目标对象的皮肤裸露区域与特定参考目标的实际空间位置关系，从参考空间位置关系中选择与的实际空间位置关系相同的目标参考空间位置关系，将目标参考空间位置关系对应的姿态确定为目标对象当前的姿态。
示例性的，若对目标对象的坐姿进行姿态监控，皮肤裸露区域包括目标对象的手部区域，特定参考目标包括桌子，则可以设置目标对象双手对应的手部区域均位于桌子的下方时，目标对象的姿势包括“双臂垂下桌面”，设置目标对象双手对应的手部区域均位于桌子的上方时，目标对象的姿势包括“双臂位于桌面以上”。若实际检测到目标对象双手对应的手部区域均位于桌子的下方，则可以确定目标对象的姿势为“双臂垂下桌面”。
需要说明的是，若采用根据目标对象的皮肤裸露区域相对于特定参考目标的位置，确定目标对象的姿态的方式对目标对象的姿态进行监控，需要在开启监控前确定特定参考目标的位置。示例性的，若将桌子设置为特定参考目标，则需要在开启对目标对象的姿态监控前，扫描对目标对象的姿态进行监控的区域，进行前背景建模，划分出桌面的所在位置。该过程可采用运动前景分割、高斯混合模型或VIBE等方法，本领域的技术人员可以参照现有技术，此处不作赘述。
而且，如果特定参考目标的位置固定，没有发生变化，则可以在首次进行姿态监控时确定特定参考目标的位置并存储于本地或者云端的存储器中，在后续进行姿态监控的过程中，在启动监控时调用该预先存储的特定参考目标的位置即可。
以上实施例中，通过目标对象的皮肤裸露区域与设定参照物的相对位置关系，能够快速确定目标对象的姿势，不需要使用复杂的模型进行处理，计算量小、计算效率高，而且可以在本地低功耗芯片运行，满足实时性的要求，不依赖云端计算，不触犯用户隐私。
作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的方法，具体可以包括如下步骤：
输出所述目标对象的姿态；或
若所述目标对象的姿态属于设定的非标准姿态，则输出所述目标对象的姿态和/或输出姿态矫正提醒。
具体的，本申请的实施例中，可以直接输出目标对象的姿态类型，以便于当目标对象得知姿态异常时，能够及时矫正；或者，可以在目标对象的姿态出现异常，即处于设定的非标准姿态时，例如目标对象在坐姿时，设定“手托腮”“伏案”等姿势为非标准姿态，则可以输出所述目标对象的姿态/或输出姿态矫正提醒，以使目标对象能够及时矫正。
其中，上述非标准姿态可以根据实际情况进行设置，本实施例不做限定。以上实施例中，可以仅在数据库中存储非标准姿态所对应的皮肤裸露区域的位置，以及非标准姿态所对应的相对位置关系，以便于在姿态监控时能够及时检测出非标准姿态并且输出提醒信息，同时减少数据库中的信息，提高运行效率。
以上实施例中，能够输出目标对象的姿态，和/或输出姿态矫正提醒，实现及时提醒目标对象调整坐姿的目的。
一些实施例中，还可以对目标对象出现的长时姿态异常，如疲劳、东张西望等进行监控。具体的，可以检测目标对象的图像中每一帧图像，并对每一帧图像进行评分，如果多帧图像的评分和落入某一长时姿态异常的阈值区间内，则可以确定目标对象的姿态为该长时姿态异常。此外，还可以通过时序建模的方式，利用深度学习网络监控长时姿态异常，本实施例不做限定。需要说明的是，由于本身这类长时异常就需要一定时长的观察量，所以即使采用低功耗芯片进行低效的处理也可获得用户容忍。
一些实施例中，本实施例的姿态监控方法可以应用于学生坐姿监控的场景中，基于该方法，可实现无需联网、不触犯用户隐私情况下实现学生坐姿监测及提醒。
示例性装置
与上述姿态监控方法相对应的，本申请实施例还公开了一种姿态监控装置，参见图6所示，该装置包括：
识别模块100，用于从目标对象的图像中识别出目标对象的皮肤裸露区域；所述目标对象的皮肤裸露区域包括所述目标对象的手部区域和/或面部区域；
确定模块110，用于基于所述目标对象的皮肤裸露区域的位置或所述目标对象的皮肤裸露区域相对于特定参考目标的位置，确定所述目标对象的姿态。
作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的识别模块100，具体可以包括：
识别单元，用于从所述目标对象的图像中识别出所述目标对象的肤色区域；
第一确定单元，用于基于所述目标对象的肤色区域，确定出所述目标对象的皮肤裸露区域。
作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的识别单元，在从所述目标对象的图像中识别出所述目标对象的肤色区域时，具体用于：
从所述目标对象的图像中，检测颜色在设定的肤色区间内的目标区域，作为所述目标对象的肤色区域。
作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的识别单元，在基于所述目标对象的肤色区域，确定出所述目标对象的皮肤裸露区域时，具体用于：
将所述目标对象的肤色区域输入到预先训练的皮肤裸露区域提取网络中，得到所述皮肤裸露区域提取网络输出的所述目标对象的皮肤裸露区域。
作为一种可选的实现方式，在本申请另一实施例中公开了，所述皮肤裸露区域提取网络是与肤色区域分割网络进行联合训练得到的；以上实施例的装置，还包括：
联合训练模块，用于以样本对象的图像为第一训练样本，样本对象的图像中样本对象的肤色区域的位置为第一训练标签，对所述肤色区域分割网络进行训练；
以样本对象的图像输入到所述肤色区域分割网络得到的输出结果为第二训练样本，样本对象的图像中样本对象的皮肤裸露区域的位置为第二训练标签，对所述皮肤裸露区域提取网络进行训练。
作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的确定模块110，在基于所述目标对象的皮肤裸露区域的位置或所述目标对象的皮肤裸露区域相对于特定参考目标的位置，确定所述目标对象的姿态时，具体用于：
根据所述目标对象的皮肤裸露区域的位置，以及，设定的各种姿态类型所对应的皮肤裸露区域的位置，确定所述目标对象的姿态类型。
作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的确定模块110，包括：
第二确定单元，用于根据所述目标对象的皮肤裸露区域的位置和图像特征，确定所述目标对象的皮肤裸露区域的检索特征；
检索单元，用于根据所述目标对象的皮肤裸露区域的检索特征，从预先设置的姿态类型库中检索与所述目标对象的皮肤裸露区域的检索特征距离最近的皮肤裸露区域所对应的目标姿态类型；所述姿态类型库中存储有多种姿态类型，以及多种姿态类型的皮肤裸露区域对应的检索特征；
第三确定单元，用于确定所述目标姿态类型为所述目标对象的姿态类型。
作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的第二确定单元，在根据所述目标对象的皮肤裸露区域的位置和图像特征，确定所述目标对象的皮肤裸露区域的检索特征时，具体用于：
将所述皮肤裸露区域的位置和图像特征输入到预先训练的检索特征映射网络中，得到所述检索特征映射网络输出的所述目标对象的皮肤裸露区域的检索特征；其中，所述检索特征映射网络是对浅层神经网络进行训练得到的。
作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的确定模块110，包括：
第四确定单元，用于根据所述目标对象的皮肤裸露区域的位置，确定所述目标对象的皮肤裸露区域与设定参照物的相对位置关系；所述目标对象的皮肤裸露区域与设定参照物的相对位置关系，包括所述目标对象的手部区域与所述设定参照物的位置关系、所述目标对象的面部区域与所述设定参照物的位置关系中的至少一种；
第五确定单元，用于根据所述相对位置关系，以及，设定的各种姿态类型所对应的相对位置关系，确定所述目标对象的姿态类型。
作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的装置，还包括：
输出模块，用于输出所述目标对象的姿态；或
若所述目标对象的姿态属于设定的非标准姿态，则输出所述目标对象的姿态和/或输出姿态矫正提醒。
具体地，上述的姿态监控装置的各个单元的具体工作内容，请参见上述方法实施例的内容，此处不再赘述。
示例性电子设备、姿态监控系统、存储介质和计算程序产品
与上述姿态监控方法相对应的，本申请实施例还公开了一种电子设备，参见图7所示，该电子设备包括：
存储器200和处理器210；
其中，存储器200与处理器210连接，用于存储程序；
处理器210，用于通过运行存储器200中存储的程序，实现上述任一实施例公开的姿态监控方法。
具体地，上述电子设备还可以包括：总线、通信接口220、输入设备230和输出设备240。
处理器210、存储器200、通信接口220、输入设备230和输出设备240通过总线相互连接。其中：
总线可包括一通路，在计算机系统各个部件之间传送信息。
处理器210可以是通用处理器，例如通用中央处理器(CPU)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
处理器210可包括主处理器，还可包括基带芯片、调制解调器等。
存储器200中保存有执行本申请技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器200可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。
输入设备230可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。
输出设备240可包括允许输出信息给用户的装置，例如显示屏、打印机、扬声器等。
通信接口220可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。
处理器210执行存储器200中所存放的程序，以及调用其他设备，可用于实现本申请上述实施例所提供的姿态监控方法的各个步骤。
本申请另一实施例还提出一种姿态监控系统。参见图7所示，该姿态监控系统包括：通信连接的控制设备300和摄像设备310；
所述摄像设备310，用于获取目标对象的图像；
所述控制设备300，用于从目标对象的图像中识别出目标对象的皮肤裸露区域；所述目标对象的皮肤裸露区域包括所述目标对象的手部区域和/或面部区域；基于所述目标对象的皮肤裸露区域的位置或所述目标对象的皮肤裸露区域相对于特定参考目标的位置，确定所述目标对象的姿态。
本实施例提供的姿态监控系统，与本申请上述实施例所提供的姿态监控方法属于同一申请构思，可执行本申请上述任意实施例所提供的姿态监控方法，具备执行上述姿态监控方法相应的功能模块和有益效果未在本实施例中详尽描述的技术细节，可参见本申请上述实施例提供的姿态监控方法的具体处理内容，此处不再加以赘述。
一些实施例中，姿态监控系统可以是智能手机、平板电脑、学习平板等设备，还可以是设置有控制芯片的学习钟、学习桌等设备，本实施例不做限定。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器210运行时使得处理器210执行上述实施例所提供的姿态监控方法的各个步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行，或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器210执行上述实施例所提供的姿态监控方法的各个步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线，或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必需的。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，各实施例中记载的技术特征可以进行替换或者组合。
本申请各实施例中装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。
本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其他的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其他的形式。
作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其他实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种姿态监控方法，其特征在于，包括：
从目标对象的图像中识别出目标对象的皮肤裸露区域；所述目标对象的皮肤裸露区域包括所述目标对象的手部区域和/或面部区域；
基于所述目标对象的皮肤裸露区域的位置或所述目标对象的皮肤裸露区域相对于特定参考目标的位置，确定所述目标对象的姿态。
2.根据权利要求1所述的方法，其特征在于，从目标对象的图像中识别出目标对象的皮肤裸露区域，包括：
从所述目标对象的图像中识别出所述目标对象的肤色区域；
基于所述目标对象的肤色区域，确定出所述目标对象的皮肤裸露区域。
3.根据权利要求2所述的方法，其特征在于，从所述目标对象的图像中识别出所述目标对象的肤色区域，包括：
从所述目标对象的图像中，检测颜色在设定的肤色区间内的目标区域，作为所述目标对象的肤色区域。
4.根据权利要求2所述的方法，其特征在于，基于所述目标对象的肤色区域，确定出所述目标对象的皮肤裸露区域，包括：
将所述目标对象的肤色区域输入到预先训练的皮肤裸露区域提取网络中，得到所述皮肤裸露区域提取网络输出的所述目标对象的皮肤裸露区域。
5.根据权利要求4所述的方法，其特征在于，所述皮肤裸露区域提取网络是与肤色区域分割网络进行联合训练得到的；所述联合训练过程包括：
以样本对象的图像为第一训练样本，样本对象的图像中样本对象的肤色区域的位置为第一训练标签，对所述肤色区域分割网络进行训练；
以样本对象的图像输入到所述肤色区域分割网络得到的输出结果为第二训练样本，样本对象的图像中样本对象的皮肤裸露区域的位置为第二训练标签，对所述皮肤裸露区域提取网络进行训练。
6.根据权利要求1所述的方法，其特征在于，基于所述目标对象的皮肤裸露区域的位置，确定所述目标对象的姿态，包括：
根据所述目标对象的皮肤裸露区域的位置，以及，设定的各种姿态类型所对应的皮肤裸露区域的位置，确定所述目标对象的姿态类型。
7.根据权利要求6所述的方法，其特征在于，根据所述目标对象的皮肤裸露区域的位置，以及，设定的各种姿态类型所对应的皮肤裸露区域的位置，确定所述目标对象的姿态类型特征，包括：
根据所述目标对象的皮肤裸露区域的位置和图像特征，确定所述目标对象的皮肤裸露区域的检索特征；
根据所述目标对象的皮肤裸露区域的检索特征，从预先设置的姿态类型库中检索与所述目标对象的皮肤裸露区域的检索特征距离最近的皮肤裸露区域所对应的目标姿态类型；所述姿态类型库中存储有多种姿态类型，以及多种姿态类型的皮肤裸露区域对应的检索特征；
确定所述目标姿态类型为所述目标对象的姿态类型。
8.根据权利要求7所述的方法，其特征在于，根据所述目标对象的皮肤裸露区域的位置和图像特征，确定所述目标对象的皮肤裸露区域的检索特征，包括：
将所述皮肤裸露区域的位置和图像特征输入到预先训练的检索特征映射网络中，得到所述检索特征映射网络输出的所述目标对象的皮肤裸露区域的检索特征；其中，所述检索特征映射网络是对浅层神经网络进行训练得到的。
9.根据权利要求1所述的方法，其特征在于，基于所述目标对象的皮肤裸露区域相对于特定参考目标的位置，确定所述目标对象的姿态，包括：
根据所述目标对象的皮肤裸露区域的位置，确定所述目标对象的皮肤裸露区域与设定参照物的相对位置关系；所述目标对象的皮肤裸露区域与设定参照物的相对位置关系，包括所述目标对象的手部区域与所述设定参照物的位置关系、所述目标对象的面部区域与所述设定参照物的位置关系中的至少一种；
根据所述相对位置关系，以及，设定的各种姿态类型所对应的相对位置关系，确定所述目标对象的姿态类型。
10.根据权利要求1所述的方法，其特征在于，还包括：
输出所述目标对象的姿态；或
若所述目标对象的姿态属于设定的非标准姿态，则输出所述目标对象的姿态和/或输出姿态矫正提醒。
11.一种姿态监控装置，其特征在于，包括：
识别模块，用于从目标对象的图像中识别出目标对象的皮肤裸露区域；所述目标对象的皮肤裸露区域包括所述目标对象的手部区域和/或面部区域；
确定模块，用于基于所述目标对象的皮肤裸露区域的位置或所述目标对象的皮肤裸露区域相对于特定参考目标的位置，确定所述目标对象的姿态。
12.一种电子设备，其特征在于，包括：
存储器和处理器；
其中，所述存储器用于存储程序；
所述处理器，用于通过运行所述存储器中的程序，实现如权利要求1至10中任意一项所述的方法。
13.一种姿态监控系统，其特征在于，包括通信连接的控制设备和摄像设备；
所述摄像设备，用于获取目标对象的图像；
所述控制设备，用于从目标对象的图像中识别出目标对象的皮肤裸露区域；所述目标对象的皮肤裸露区域包括所述目标对象的手部区域和/或面部区域；基于所述目标对象的皮肤裸露区域的位置或所述目标对象的皮肤裸露区域相对于特定参考目标的位置，确定所述目标对象的姿态。
14.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至10中任意一项所述的方法。
CN202310228503.3A 2023-03-06 2023-03-06 姿态监控方法、装置、系统、电子设备和存储介质 Pending CN116434328A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310228503.3A CN116434328A (zh) 2023-03-06 2023-03-06 姿态监控方法、装置、系统、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310228503.3A CN116434328A (zh) 2023-03-06 2023-03-06 姿态监控方法、装置、系统、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116434328A true CN116434328A (zh) 2023-07-14

Family

ID=87086348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310228503.3A Pending CN116434328A (zh) 2023-03-06 2023-03-06 姿态监控方法、装置、系统、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116434328A (zh)

Similar Documents

Publication Publication Date Title
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
JP7386545B2 (ja) 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置
CN110532984B (zh) 关键点检测方法、手势识别方法、装置及系统
WO2018188453A1 (zh) 人脸区域的确定方法、存储介质、计算机设备
WO2019128508A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN111401376B (zh) 目标检测方法、装置、电子设备以及存储介质
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、系统、设备和介质
US9020250B2 (en) Methods and systems for building a universal dress style learner
US20180211104A1 (en) Method and device for target tracking
JP2020522807A (ja) セルフィーを撮影するためにユーザをガイドするためのシステム及び方法
US20170140210A1 (en) Image processing apparatus and image processing method
WO2020078119A1 (zh) 模拟用户穿戴服装饰品的方法、装置和系统
CN110555481A (zh) 一种人像风格识别方法、装置和计算机可读存储介质
WO2020125499A9 (zh) 一种操作提示方法及眼镜
CN111079833B (zh) 图像识别方法、装置以及计算机可读存储介质
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
WO2022252642A1 (zh) 基于视频图像的行为姿态检测方法、装置、设备及介质
US12002085B2 (en) Digital image ordering using object position and aesthetics
US20230326173A1 (en) Image processing method and apparatus, and computer-readable storage medium
CN111401219B (zh) 一种手掌关键点检测方法和装置
CN112418135A (zh) 人体行为识别方法、装置、计算机设备及可读存储介质
CN111242019A (zh) 视频内容的检测方法、装置、电子设备以及存储介质
US11157765B2 (en) Method and system for determining physical characteristics of objects
WO2022111271A1 (zh) 服装规范化检测方法及装置
CN109726713B (zh) 基于消费级视线追踪仪的用户感兴趣区域检测系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination