CN106997457B - 人物肢体识别方法、人物肢体识别装置及电子装置 - Google Patents
人物肢体识别方法、人物肢体识别装置及电子装置 Download PDFInfo
- Publication number
- CN106997457B CN106997457B CN201710137946.6A CN201710137946A CN106997457B CN 106997457 B CN106997457 B CN 106997457B CN 201710137946 A CN201710137946 A CN 201710137946A CN 106997457 B CN106997457 B CN 106997457B
- Authority
- CN
- China
- Prior art keywords
- depth
- image
- limb
- scene
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 86
- 230000008569 process Effects 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000007477 logistic regression Methods 0.000 claims description 6
- 238000013136 deep learning model Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 108010001267 Protein Subunits Proteins 0.000 claims 1
- 230000010339 dilation Effects 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 abstract description 8
- 210000003414 extremity Anatomy 0.000 description 82
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 210000003141 lower extremity Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Abstract
本发明的实施例公开了一种人物肢体识别方法，用于处理电子装置采集的场景数据。所述场景数据包括场景主图像。所述人物肢体识别方法包括：处理场景主图像以识别人脸区域；根据人脸区域确定人像区域；根据人像区域识别人物肢体以得到肢体识别图像。本发明的实施例还公开了一种人物肢体识别装置和电子装置。本发明实施方式的基于深度信息的人物肢体识别方法和装置及电子装置基于深度信息进行人像及肢体的识别，避免亮度等环境因素对人物肢体识别的影响，能够有效地识别出肢体位置，提升人物肢体识别的效率和准确率。
Description
技术领域
本发明涉及图像处理技术，尤其涉及一种人物肢体识别方法、人物肢体识别装置及电子装置。
背景技术
基于RGB彩色图像的人物肢体识别算法易受光照等环境因素的影响，在环境亮度较低时人物肢体特征不明显，从而无法准确识别出人物肢体，导致人物肢体识别率不高。
发明内容
本发明的实施例提供一种人物肢体识别方法、人物肢体识别装置和电子装置。
本发明实施方式的人物肢体识别方法，用于处理电子装置采集的场景数据。所述场景数据包括场景主图像。所述人物肢体识别方法包括以下步骤：
处理所述场景主图像以判断是否存在人脸区域；
在存在所述人脸区域时识别所述人脸区域；
根据所述人脸区域确定人像区域；和
根据所述人像区域识别人物肢体以得到肢体识别图像。
本发明实施方式的人物肢体识别装置包括处理模块、第一识别模块、确定模块和第二识别模块。所述处理模块用于处理所述场景主图像以判断是否存在人脸区域；所述第一识别模块用于在存在所述人脸区域时识别所述人脸区域；所述确定模块用于根据所述人脸区域确定人像区域；所述第二识别模块用于根据所述人像区域识别人物肢体以得到肢体识别图像。
本发明实施方式的电子装置包括成像装置、显示器和上述的人物肢体识别装置。所述人物肢体识别装置和所述显示器及所述成像装置均电连接。
本发明实施方式的人物肢体识别方法、人物肢体识别装置和电子装置基于深度信息进行人像及肢体的识别，避免亮度等环境因素对人物肢体识别的影响，能够有效地识别出肢体位置，提升人物肢体识别的效率和准确率。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本发明实施方式的人物肢体识别方法的流程示意图；
图2是本发明实施方式的电子装置的功能模块示意图；
图3是本发明某些实施方式的人物肢体识别方法的流程示意图；
图4是本发明某些实施方式的确定模块的功能模块示意图；
图5是本发明某些实施方式的人物肢体识别方法的状态示意图；
图6是本发明某些实施方式的人物肢体识别方法的流程示意图；
图7是本发明某些实施方式的第一处理单元的功能模块示意图；
图8是本发明某些实施方式的人物肢体识别方法的流程示意图；
图9是本发明某些实施方式的第一处理单元的功能模块示意图；
图10是本发明某些实施方式的人物肢体识别方法的流程示意图；
图11是本发明某些实施方式的第二处理单元的功能模块示意图；
图12是本发明某些实施方式的人物肢体识别方法的状态示意图；
图13是本发明某些实施方式的人物肢体识别方法的流程示意图；
图14是本发明某些实施方式的确定模块的功能模块示意图；
图15是本发明某些实施方式的人物肢体识别方法的状态示意图；
图16是本发明某些实施方式的人物肢体识别方法的流程示意图；
图17是本发明某些实施方式的第二识别模块的功能模块示意图；
图18是本发明某些实施方式的人物肢体识别方法的状态示意图；
图19是本发明某些实施方式的人物肢体识别方法的流程示意图；
图20是本发明某些实施方式的电子装置的功能模块示意图；和
图21是本发明某些实施方式的人物肢体识别方法的状态示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
请一并参阅图1至2，本发明实施方式的人物肢体识别方法用于处理电子装置采集的场景数据。场景数据包括场景主图像。人物肢体识别方法包括以下步骤：
S12：处理场景主图像以识别人脸区域；
S13：根据人脸区域确定人像区域；和
S14：根据人像区域识别人物肢体以得到肢体识别图像。
本发明实施方式的人物肢体识别方法可以应用于本发明实施方式的人物肢体识别装置10。本发明实施方式的人物肢体识别装置10包括第一识别模块12、确定模块13和第二识别模块14。步骤S12可以由第一识别模块12实现，步骤S13可以由确定模块13实现，步骤S14可以由第二识别模块14实现。
也即是说，第一识别模块12用于处理所述场景主图像以识别所述人脸区域；确定模块13用于根据人脸区域确定人像区域；第二识别模块14用于根据人像区域识别人物肢体以得到肢体识别图像。
本发明实施方式的人物肢体识别装置10可以应用于本发明实施方式的电子装置100。也即是说，本发明实施方式的电子装置100包括本发明实施方式的人物肢体识别装置10。当然，本发明实施方式的电子装置100还包括成像装置20和显示器30。其中，人物肢体识别装置10和成像装置20及显示器30均电连接。
在某些实施方式中，本发明实施方式的电子装置100包括手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜等，在此不做任何限制。在本发明的具体实施例中，电子装置100为手机。
可以理解，传统的人物肢体识别方法是基于RGB彩色图像的肢体识别易受光照、阴影等环境因素的影响，人物肢体的识别率和识别的准确率会大大降低。在本发明实施方式中，首先识别人脸区域并获取人脸区域的深度信息，随后根据人脸区域与人像的位置、大小等关系以及彩色数据、深度信息等相关图像信息确定人像区域，最后将获取到的人像区域与肢体模板库中的肢体模板进行匹配便可确定人物的肢体位置。如此，由于深度信息的获取不易受光照等环境因素的影响，因此可以提升人物肢体的识别率和识别的准确率。
请参阅图3，在某些实施方式中，步骤S13根据所述人脸区域确定人像区域包括以下子步骤：
S131：处理场景主图像以获取人脸区域的深度信息；和
S132：根据人脸区域和人脸区域的深度信息确定人像区域。
请参阅图4，在某些实施方式中，确定模块13包括第一处理单元131和第二处理单元132。步骤S131可以由第一处理单元131实现，步骤S132可以由第二处理单元132实现。
也即是说，第一处理单元131用于处理场景主图像以获取人脸区域的深度信息；第二处理单元132用于根据人脸区域和人脸区域的深度信息确定人像区域。
请参阅图5，具体地，人脸区域和人像区域的识别可基于灰度图像的识别，而灰度图像识别易受光照变化、阴影、物体遮挡等环境因素的干扰，使得人像区域的识别准确率下降。本发明实施方式中，基于成像装置20采集的场景数据即对应的场景的彩色信息和深度信息，获取人脸区域的深度信息。由于人脸区域时人像区域的一部分，也即是说，人像区域的深度信息与人脸区域对应的深度信息同处于一个深度范围内，如此，可根据人脸区域及人脸区域的深度信息确定人像区域。
较佳地，对于人脸区域的识别过程，可以采用已经训练好的基于彩色信息和深度信息的深度学习模型检测场景主图像中是否存在人脸。深度学习模型在给定训练集时，训练集中的数据包括人脸的彩色信息和深度信息。因此，训练过后的深度学习模型可以根据当前场景的彩色信息和深度信息推断当前场景中是否存在人脸区域。由于人脸区域的深度信息的获取不易受光照等环境因素的影响，可以提升人脸检测的准确性，进一步地，根据人脸可确定基本位于同一深度的人像区域。
请参阅图6，在某些实施方式中，场景数据还包括与场景主图像对应的深度图像，步骤S131处理场景主图像以获取人脸区域的深度信息包括以下子步骤：
S1311：处理深度图像以获取对应人脸区域的深度数据；和
S1312：处理人脸区域的深度数据以得到人脸区域的深度信息。
请参阅图7，在某些实施方式中，第一处理单元131包括第一处理子单元1311和第二处理子单元1312。步骤S1311可以由第一处理子单元1311实现，步骤S1312可以由第二处理子单元1312实现。
也即是说第一处理子单元1311用于处理深度图像以获取对应人脸区域的深度数据；第二处理子单元1312用于处理人脸区域的深度数据以得到人脸区域的深度信息。
可以理解，场景数据包括与场景主图像对应的深度图像。其中，场景主图像为RGB彩色图像，深度图像包含场景中各个人或物体的深度信息。由于场景主图像的色彩信息与深度图像的深度信息是一一对应的关系，因此，若检测到人脸区域，即可在对应的深度图像中获取到人脸区域的深度信息。
需要说明的是，场景内各个人、物相对于成像装置20的距离可以用深度图像来表征，深度图像中的每个像素值也即是深度数据表示场景中某一点与成像装置20的距离，深度信息则指代对人脸区域的深度数据进行选取或计算之后得到的最终人脸区域的深度信息。也即是说，由于由于人脸区域包括鼻子、眼睛、耳朵等特征，因此，在深度图像中，人脸区域中鼻子、耳朵、眼睛等特征在深度图像中对应的深度数据是不同的，例如对于人脸正对成像装置20的情况下所拍摄得的深度图像中，鼻子对应的深度数据可能较小，而耳朵对应的深度数据可能较大。因此，在某些示例中，处理人脸区域的深度数据得到的人脸区域的深度信息可能为一个数值或一个数值范围。其中，当人脸区域的深度信息为一个数值时，该数值可通过对人脸区域的深度数据求取平均值得到，或通过人脸区域的深度数据求中值得到。
在某些实施方式中，成像装置20包括深度摄像头。深度摄像头可用来获取深度图像。其中，深度摄像头包括基于结构光深度测距的深度摄像头和基于TOF测距的深度摄像头。
具体地，基于结构光深度测距的深度摄像头包括摄像头和投射器。投射器将一定模式的光结构投射到当前待拍摄的场景中，在场景中的各个人或物体表面形成由该场景中的人或物调制后的光条三维图像，再通过摄像头探测上述的光条三维图像即可获得光条二维畸变图像。光条的畸变程度取决于投射器与摄像头之间的相对位置以及当前待拍摄场景中的各个人或物体的表面形廓或高度。由于深度摄像头中的摄像头和投射器之间的相对位置是一定的，因此，由畸变的二维光条图像坐标便可重现场景中各个人或物体的表面三维轮廓，从而可以获取深度信息。结构光深度测距具有较高的分辨率和测量精度，可以提升获取的深度信息的精确度。
基于TOF(time of flight)测距的深度摄像头是通过传感器记录从发光单元发出的调制红外光发射到物体，再从物体反射回来的相位变化，在一个波长的范围内根据光速，可以实时的获取整个场景深度距离。当前待拍摄的场景中各个人或物体所处的深度位置不一样，因此调制红外光从发出到接收所用时间是不同的，如此，便可获取场景的深度信息。基于TOF深度测距的深度摄像头计算深度信息时不受被摄物表面的灰度和特征的影响，且可以快速地计算深度信息，具有很高的实时性。
请参阅图8，在某些实施方式中，步骤S131处理场景数据以获取人脸区域的深度信息包括以下子步骤：
S1313：处理场景主图像和场景副图像以获取对应人脸区域的深度数据；和
S1314：处理人脸区域的深度数据以得到人脸区域的深度信息。
请参阅图9，在某些实施方式中，第一处理单元131包括第三处理子单元1313和第四处理子单元1314。步骤S1313可以由第三处理子单元1313实现，步骤S1314可以由第四处理子单元1314实现。
也即是说，第三处理子单元1313用于处理场景主图像和场景副图像以获取对应人脸区域的深度数据；第四处理子单元1314用于处理人脸区域的深度数据以得到人脸区域的深度信息。
在某些实施方式中，成像装置20包括主摄像头和副摄像头。
可以理解，深度信息可以通过双目立体视觉测距方法进行获取，此时场景数据包括场景主图像和场景副图像。其中，场景主图像由主摄像头拍摄得到，场景副图像由副摄像头拍摄得到，且场景主图像与场景副图像均为RGB彩色图像。在一些示例中，主摄像头和副摄像头可以是相同规格的两个摄像头，双目立体视觉测距是运用两个规格相同的摄像头对同一场景从不同的位置成像以获得场景的立体图像对，再通过算法匹配出立体图像对的相应像点，从而计算出视差，最后采用基于三角测量的方法恢复深度信息。在另一些示例中，主摄像头与副摄像头可以是不同规格的摄像头，主摄像头用于获取当前场景彩色信息，副摄像头则用于记录场景的深度数据。如此，通过对场景主图像和场景副图像这一立体图像对进行匹配便可获得人脸区域的深度数据。随后，对人脸区域的深度数据进行处理获得人脸区域的深度信息。同样地，深度数据表示场景中某一点与成像装置20的距离，深度信息则指代对人脸区域的深度数据进行选取或计算之后得到的最终人脸区域的深度信息。由于人脸区域中包含有多个特征，各个特征对应的深度数据可能不一样，因此，人脸区域的深度信息可以为一个数值范围；或者，可对深度数据进行求平均值处理以得到人脸区域的深度信息，或取深度数据的中值以获得人脸区域的深度信息。
请参阅图10，在某些实施方式中，S132根据人脸区域和人脸区域的深度信息确定所述人像区域包括以下子步骤：
S1321：根据人脸区域确定预估人像区域；
S1322：根据人脸区域的深度信息确定人像区域的深度范围；
S1323：根据人像区域的深度范围确定与人脸区域连接且落入深度范围的计算人像区域；
S1324：判断计算人像区域与预估人像区域是否匹配；和
S1325：在计算人像区域与预估人像区域匹配时确定计算人像区域为人像区域。
请参阅图11，在某些实施方式中，第二处理单元132包括第一确定子单元1321、第二确定子单元1322、第三确定子单元1323、判断子单元1324和第四确定子单元1325。步骤S1321可以由第一确定子单元1321实现，步骤S1322可以由第二确定子单元1322实现，步骤S1323可以由第三确定子单元1323实现，步骤S1324可以由判断子单元1324实现，步骤S1325可以由第四确定子单元1325实现。
也即是说，第一确定子单元1321用于根据人脸区域确定预估人像区域；第二确定子单元1321用于根据人脸区域的深度信息确定人像区域的深度范围；第三确定子单元1323用于根据人像区域的深度范围确定与人脸区域连接且落入深度范围的计算人像区域；判断子单元1324用于判断所述计算人像区域与预估人像区域是否匹配；第四确定子单元1325用于在计算人像区域与预估人像区域匹配时确定计算人像区域为人像区域。
请参阅图12，具体地，由于拍摄过程中的人像存在有多种行为姿势，如站立、蹲坐等，因此，确定人脸区域后，首先根据人脸区域的当前状态确定预估人像区域，也即是说，根据人脸区域的当前状态确定人像当前的行为姿势。其中，预估人像区域为人像区域的匹配样本库，样本库中包含多种人像的行为姿势的信息。由于人像区域包含人脸区域，也即是说，人像区域与人脸区域同处于某一个深度范围内，因此，确定人脸区域的深度信息后，可以根据人脸区域的深度信息设定人像区域的深度范围，并根据人像区域的深度范围提取落入该深度范围内且与人脸区域相连接的计算人像区域。由于拍摄人像时人像所处的场景可能较为复杂，也即是说，与人像所处位置相邻的位置上可能存在有其他物体并且这些物体与人体发生接触，这些物体处于人像区域的深度范围内，因此，计算人像区域的提取仅在人像区域的深度范围内提取与人脸相连接的部分以去除其他落入人像区域的深度范围内的物体。在确定计算人像区域后，需将计算人像区域与预估人像区域进行匹配，匹配成功则可将计算人像区域确定为人像区域。若匹配不成功，则表明计算人像区域中还可能包含有除人像外的其他物体，人像区域的识别失败。
在另一示例中，针对拍摄场景中较为复杂的情况，还可对计算得到人像进行区域划分，并将面积较小的区域去除，可以理解，相对于人像区域，其他面积较小的区域可明显确定为非人像，如此可排除与人像处于同一深度范围内的其他物体的干扰。
请参阅图13，在某些实施方式中，步骤S13根据人脸区域确定人像区域的步骤还包括以下子步骤：
S133：处理场景主图像的人像区域以得到彩色边缘图；
S134：处理场景主图像的人像区域对应的深度信息以得到深度边缘图；和
S135：利用彩色边缘图和深度边缘图修正人像区域的边缘。
请参阅图14，在某些实施方式中，确定模块13还包括第三处理单元133、第四处理单元134和修正单元135。步骤S133可以由第三处理单元133实现；步骤S134可以由第四处理单元134实现；步骤S135可以由修正单元135实现。
也即是说，第三处理单元133用于处理场景主图像的人像区域以得到彩色边缘图；第四处理单元134用于处理场景主图像的人像区域对应的深度信息以得到深度边缘图；修正单元135用于利用彩色边缘图和深度边缘图修正人像区域的边缘。
请参阅图15，可以理解，由于彩色边缘图包含人像区域内部的边缘信息，如服装的边缘信息等，而目前获取的深度信息的精度有限，如在手指、头发、衣领等边缘存在些许误差。如此，利用彩色边缘图和深度边缘图共同修正人像区域的边缘一方面可以去除人像区域包含的人脸、服装等部分的边缘及细节信息，另一方面在手指、头发、衣领等边缘部分有更高的准确度，从而可以获得较为准确的人像区域的外轮廓的边缘信息。由于彩色边缘图及深度边缘图均只对人像区域部分对应的数据进行处理，因此所需处理的数据量较少，处理的速度较快。
具体地，彩色边缘图可以通过边缘检测算法得到。边缘检测算法是通过对场景主图像中人像区域所对应的图像数据求微分以获得具有阶跃变化或屋顶变化的像素点的集合。常用的边缘检测算法那包括Roberts算子、Sobel算子、Prewitt算子、Canny算子、Laplacian算子、LOG算子等。在一些示例中，可以采用上述的任一种边缘检测算法进行计算以获得彩色边缘图，在此不作任何限制。
进一步地，在深度边缘图的获取过程中，由于只需要对人像区域对应的深度信息进行处理，因此，首先对获得的人像区域进行膨胀处理，扩大人像区域以保留人像区域对应的深度信息中深度边缘的细节。随后，对膨胀处理后的人像区域对应的深度信息进行滤波处理，从而去除深度信息中携带的高频噪声，以用于平滑深度边缘图的边缘细节。最后，将滤波后的数据转换为灰度值数据，并对灰度数据进行线性逻辑回归组合，再利用图像边缘概率密度算法对线性逻辑回归组合以获取深度边缘图。
单一的彩色边缘图会保留人像内部区域的边缘，而单一的深度边缘图存在些许误差因此，需要通过深度边缘图去除彩色边缘概率中人像内部边缘，并通过彩色边缘图修正深度边缘图中外轮廓的精度。如此，利用深度边缘图和彩色边缘图修正所述人像区域的边缘，可得到较为精准的人像区域。
请参阅图16，在某些实施方式中，步骤S14包括根据人像区域识别人物肢体以得到肢体识别图像的步骤包括以下子步骤：
S141：根据人像区域在肢体模板库中寻找与人像区域相匹配的肢体模板；和
S142：根据肢体模板确定人像区域的肢体位置以得到肢体识别图像。
请参阅图17，在某些实施方式中，第二识别模块14包括匹配单元11和确定单元142。步骤S141可以由匹配单元141实现，步骤S142可以由确定单元142实现。
也即是说，匹配单元141用于根据人像区域在肢体模板库中寻找与人像区域相匹配的肢体模板；确定单元142用于根据肢体模板确定人像区域的肢体位置以得到肢体识别图像。
请参阅图18，具体地，在获得人像区域后，在肢体模板库中寻找与当前人像区域匹配的肢体模板。首先，匹配人像区域的头部。在头部匹配完成后，对头部相匹配的多个肢体模板进行下一肢体匹配即上半身躯干的匹配。在上半身躯干匹配完成后对头部及上半身躯干均相匹配的多个肢体模板进行下一肢体匹配即上肢体和下肢体的匹配。如此，找到头部、上半身躯干、上肢体和下肢体均和人像区域匹配的肢体模板。随后，根据相匹配的肢体模板确定人像区域的肢体位置便可得到肢体识别图像。
请参阅图19，在本发明的实施方式中，人物肢体识别方法还包括以下步骤：
S15：发送肢体识别图像至显示器30；和
S16：在显示器30上显示肢体识别图像。
请参阅图20，在本发明的实施方式中，人物肢体识别装置10还包括发送模块15和显示模块16。步骤S15可以由发送模块15实现，步骤S16可以由显示模块16实现。
也即是说，发送模块15用于发送肢体识别图像至显示器30；显示模块16用于在显示器30上显示肢体识别图像。
请参阅图20，如此，在显示器30上显示人物肢体识别的结果即肢体识别图像。
电子装置100还包括壳体、存储器、电路板和电源电路。其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路用于为电子装置100的各个电路或器件供电；存储器用于存储可执行程序代码；人物肢体识别装置10通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序以实现上述的本发明任一实施方式的人物肢体识别方法。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (15)
1.一种人物肢体识别方法，用于处理电子装置采集的场景数据，其特征在于，所述场景数据包括场景主图像，所述人物肢体识别方法包括以下步骤：
根据基于彩色信息和深度信息的深度学习模型处理所述场景主图像的彩色信息和深度信息以识别人脸区域；
根据所述人脸区域确定人像区域；和
根据所述人像区域识别人物肢体以得到肢体识别图像；
所述根据所述人脸区域和所述人脸区域的深度信息确定人像区域的步骤包括以下子步骤：
处理所述场景主图像以获取人脸区域的深度信息；
根据所述人脸区域和所述人脸区域的深度信息确定所述人像区域；
处理所述场景主图像的人像区域以得到彩色边缘图；
处理所述场景主图像的人像区域对应的深度信息以得到深度边缘图；和
通过所述深度边缘图去除所述彩色边缘图中人像内部边缘，并通过所述彩色边缘图修正所述深度边缘图中外轮廓的精度以修正所述人像区域的边缘；
在所述深度边缘图的获取过程中，对获得的所述人像区域进行膨胀处理；
对膨胀处理后的所述人像区域对应的深度信息进行滤波处理；
将滤波后的数据转换为灰度值数据，并对所述灰度值数据进行线性逻辑回归组合，再利用图像边缘概率密度算法对线性逻辑回归组合进行处理以获取所述深度边缘图。
2.如权利要求1所述的人物肢体识别方法，其特征在于，所述场景数据包括与所述场景主图像对应的深度图像，所述处理所述场景主图像以获取人脸区域的深度信息的步骤包括以下子步骤：
处理所述深度图像以获取对应所述人脸区域的深度数据；和
处理所述人脸区域的深度数据以得到所述人脸区域的深度信息。
3.如权利要求2所述的人物肢体识别方法，其特征在于，所述场景数据包括与所述场景主图像对应的场景副图像，所述处理所述场景主图像以获取人脸区域的深度信息的步骤包括以下子步骤：
处理所述场景主图像和所述场景副图像以获取对应所述人脸区域的深度数据；和
处理所述人脸区域的深度数据以得到所述人脸区域的深度信息。
4.如权利要求1所述的人物肢体识别方法，其特征在于，所述根据所述人脸区域和所述人脸区域的深度数据确定所述人像区域的步骤包括以下子步骤：
根据所述人脸区域确定预估人像区域；
根据所述人脸区域的深度信息确定所述人像区域的深度范围；
根据所述人像区域的深度范围确定与所述人脸区域连接且落入所述深度范围的计算人像区域；
判断所述计算人像区域与所述预估人像区域是否匹配；和
在所述计算人像区域与所述预估人像区域匹配时确定所述计算人像区域为所述人像区域。
5.如权利要求1所述的人物肢体识别方法，其特征在于，所述电子装置包括肢体模板库，所述根据所述人像区域识别人物肢体以得到肢体识别图像的步骤包括以下子步骤：
根据所述人像区域在肢体模板库中寻找与所述人像区域相匹配的肢体模板；和
根据所述肢体模板确定所述人像区域的肢体位置以得到所述肢体识别图像。
6.如权利要求5所述的人物肢体识别方法，其特征在于，所述电子装置包括显示器，所述人物肢体识别方法还包括以下步骤：
发送所述肢体识别图像至所述显示器；和
在所述显示器上显示所述肢体识别图像。
7.一种人物肢体识别装置，用于处理电子装置采集的场景数据，其特征在于，所述场景数据包括场景主图像，所述人物肢体识别装置包括：
第一识别模块，所述第一识别模块用于根据基于彩色信息和深度信息的深度学习模型处理所述场景主图像的彩色信息和深度信息以识别人脸区域；
确定模块，所述确定模块用于根据所述人脸区域确定人像区域；和
第二识别模块，所述第二识别模块用于根据所述人像区域识别人物肢体以得到肢体识别图像；
所述确定模块包括：
第一处理单元，所述第一处理单元用于处理所述场景主图像以获取人脸区域的深度信息；
第二处理单元，所述第二处理单元用于根据所述人脸区域和所述人脸区域的深度信息确定所述人像区域；
第三处理单元，所述第三处理单元用于处理所述场景主图像的人像区域以得到彩色边缘图；
第四处理单元，所述第四处理单元用于处理所述场景主图像的人像区域对应的深度信息以得到深度边缘图，在所述深度边缘图的获取过程中，对获得的所述人像区域进行膨胀处理；
对膨胀处理后的所述人像区域对应的深度信息进行滤波处理；
将滤波后的数据转换为灰度值数据，并对所述灰度值数据进行线性逻辑回归组合，再利用图像边缘概率密度算法对线性逻辑回归组合进行处理以获取所述深度边缘图；和
修正单元，所述修正单元用于通过所述深度边缘图去除所述彩色边缘图中人像内部边缘，并通过所述彩色边缘图修正所述深度边缘图中外轮廓的精度以修正所述人像区域的边缘。
8.如权利要求7所述的人物肢体识别装置，其特征在于，所述场景数据包括与所述场景主图像对应的深度图像，所述第一处理单元包括：
第一处理子单元，所述第一处理子单元用于处理所述深度图像以获取对应所述人脸区域的深度数据；和
第二处理子单元，所述第二处理子单元用于处理所述人脸区域的深度数据以得到所述人脸区域的深度信息。
9.如权利要求7所述的人物肢体识别装置，其特征在于，所述场景数据包括与所述场景主图像对应的场景副图像，所述第一处理单元包括：
第三处理子单元，所述第三处理子单元用于处理所述场景主图像和所述场景副图像以获取对应所述人脸区域的深度数据；和
第四处理子单元，所述第四处理子单元用于处理所述人脸区域的深度数据以得到所述人脸区域的深度信息。
10.如权利要求7所述的人物肢体识别装置，其特征在于，所述第二处理单元包括：
第一确定子单元，所述第一确定子单元用于根据所述人脸区域确定预估人像区域；
第二确定子单元，所述第二确定子单元用于根据所述人脸区域的深度信息确定所述人像区域的深度范围；
第三确定子单元，所述第三确定子单元用于根据所述人像区域的深度范围确定与所述人脸区域连接且落入所述深度范围的计算人像区域；
判断子单元，所述判断子单元用于判断所述计算人像区域与所述预估人像区域是否匹配；和
第四确定子单元，所述第四确定子单元用于在所述计算人像区域与所述预估人像区域匹配时确定所述计算人像区域为所述人像区域。
11.如权利要求7所述的人物肢体识别装置，其特征在于，所述电子装置包括肢体模板库，所述第二识别模块包括：
匹配单元，所述匹配单元用于根据所述人像区域在肢体模板库中寻找与所述人像区域相匹配的肢体模板；和
确定单元，所述确定单元用于根据所述肢体模板确定所述人像区域的肢体位置以得到所述肢体识别图像。
12.如权利要求10所述的人物肢体识别装置，其特征在于，所述电子装置包括显示器，所述人物肢体识别装置还包括：
发送模块，所述发送模块用于发送所述肢体识别图像至所述显示器；和
显示模块，所述显示模块用于在所述显示器上显示所述肢体识别图像。
13.一种电子装置，其特征在于，所述电子装置包括：
成像装置；
显示器；和
如权利要求7至12任意一项所述的人物肢体识别装置，所述人物肢体识别装置和所述显示器及所述成像装置均电连接。
14.如权利要求13所述的电子装置，其特征在于，所述成像装置包括主摄像头和副摄像头。
15.如权利要求13所述的电子装置，其特征在于，所述电子装置包括深度摄像头。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710137946.6A CN106997457B (zh) | 2017-03-09 | 2017-03-09 | 人物肢体识别方法、人物肢体识别装置及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710137946.6A CN106997457B (zh) | 2017-03-09 | 2017-03-09 | 人物肢体识别方法、人物肢体识别装置及电子装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106997457A CN106997457A (zh) | 2017-08-01 |
| CN106997457B true CN106997457B (zh) | 2020-09-11 |
Family
ID=59431354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710137946.6A Expired - Fee Related CN106997457B (zh) | 2017-03-09 | 2017-03-09 | 人物肢体识别方法、人物肢体识别装置及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106997457B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107493452B (zh) * | 2017-08-09 | 2021-08-20 | Oppo广东移动通信有限公司 | 视频画面处理方法、装置和终端 |
| CN107622495A (zh) * | 2017-09-11 | 2018-01-23 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、电子装置和计算机可读存储介质 |
| CN107610076A (zh) * | 2017-09-11 | 2018-01-19 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN108062533A (zh) * | 2017-12-28 | 2018-05-22 | 北京达佳互联信息技术有限公司 | 用户肢体动作的解析方法、系统及移动终端 |
| CN108985149A (zh) * | 2018-06-01 | 2018-12-11 | 平安科技（深圳）有限公司 | 人物图像识别方法、服务器及计算机可读存储介质 |
| CN109284694A (zh) * | 2018-08-31 | 2019-01-29 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN109348138A (zh) * | 2018-10-12 | 2019-02-15 | 百度在线网络技术（北京）有限公司 | 光照调节方法、装置、设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102375542A (zh) * | 2011-10-27 | 2012-03-14 | Tcl集团股份有限公司 | 一种肢体遥控电视的方法及电视遥控装置 |
| CN104243951A (zh) * | 2013-06-07 | 2014-12-24 | 索尼电脑娱乐公司 | 图像处理设备、图像处理系统以及图像处理方法 |
| CN105825494A (zh) * | 2015-08-31 | 2016-08-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2453386B1 (en) * | 2010-11-11 | 2019-03-06 | LG Electronics Inc. | Multimedia device, multiple image sensors having different types and method for controlling the same |
| CN105989625A (zh) * | 2015-02-04 | 2016-10-05 | 华为技术有限公司 | 数据处理的方法和装置 |
| CN105608699B (zh) * | 2015-12-25 | 2019-03-29 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
-
2017
- 2017-03-09 CN CN201710137946.6A patent/CN106997457B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102375542A (zh) * | 2011-10-27 | 2012-03-14 | Tcl集团股份有限公司 | 一种肢体遥控电视的方法及电视遥控装置 |
| CN104243951A (zh) * | 2013-06-07 | 2014-12-24 | 索尼电脑娱乐公司 | 图像处理设备、图像处理系统以及图像处理方法 |
| CN105825494A (zh) * | 2015-08-31 | 2016-08-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106997457A (zh) | 2017-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106909911B (zh) | 图像处理方法、图像处理装置和电子装置 | |
| CN106997457B (zh) | 人物肢体识别方法、人物肢体识别装置及电子装置 | |
| CN106991654B (zh) | 基于深度的人体美化方法和装置及电子装置 | |
| CN107025635B (zh) | 基于景深的图像饱和度的处理方法、处理装置和电子装置 | |
| CN107016348B (zh) | 结合深度信息的人脸检测方法、检测装置和电子装置 | |
| CN106991377B (zh) | 结合深度信息的人脸识别方法、人脸识别装置和电子装置 | |
| US9818023B2 (en) | Enhanced face detection using depth information | |
| US9747493B2 (en) | Face pose rectification method and apparatus | |
| CN106372629B (zh) | 一种活体检测方法和装置 | |
| JP5873442B2 (ja) | 物体検出装置および物体検出方法 | |
| CN108629261B (zh) | 远距离的身份识别方法及其系统与计算机可读取记录媒体 | |
| CN106991688A (zh) | 人体跟踪方法、人体跟踪装置和电子装置 | |
| CN110168562B (zh) | 基于深度的控制方法、基于深度的控制装置和电子装置 | |
| CN106851238A (zh) | 白平衡控制方法、白平衡控制装置及电子装置 | |
| CN107491744B (zh) | 人体身份识别方法、装置、移动终端和存储介质 | |
| US20080292192A1 (en) | Human detection device and method and program of the same | |
| CN106991378B (zh) | 基于深度的人脸朝向检测方法、检测装置和电子装置 | |
| CN110400338B (zh) | 深度图处理方法、装置和电子设备 | |
| CN107346419B (zh) | 虹膜识别方法、电子装置和计算机可读存储介质 | |
| WO2016107638A1 (en) | An image face processing method and apparatus | |
| KR20170092533A (ko) | 얼굴 포즈 교정 방법 및 장치 | |
| CN106991379B (zh) | 结合深度信息的人体皮肤识别方法及装置和电子装置 | |
| CN106991376B (zh) | 结合深度信息的侧脸验证方法及装置与电子装置 | |
| CN107491714B (zh) | 智能机器人及其目标物体识别方法和装置 | |
| Hadi et al. | Fusion of thermal and depth images for occlusion handling for human detection from mobile robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200911 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |