CN106909911B - 图像处理方法、图像处理装置和电子装置 - Google Patents
图像处理方法、图像处理装置和电子装置 Download PDFInfo
- Publication number
- CN106909911B CN106909911B CN201710138813.0A CN201710138813A CN106909911B CN 106909911 B CN106909911 B CN 106909911B CN 201710138813 A CN201710138813 A CN 201710138813A CN 106909911 B CN106909911 B CN 106909911B
- Authority
- CN
- China
- Prior art keywords
- depth
- scene
- processing
- image
- portrait area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 173
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007477 logistic regression Methods 0.000 claims description 6
- 238000013136 deep learning model Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种图像处理方法，用于处理成像装置采集的场景数据，所述图像处理方法包括：处理所述场景数据以识别人脸区域；处理所述场景数据以获取所述人脸区域的深度信息；和根据所述人脸区域和所述深度信息确定人像区域。本发明还公开一种图像处理装置和电子装置。本发明实施方式的图像处理方法、图像处理装置和电子装置根据拍摄图像中人脸区域的景深信息检测人像区域及人像区域的边缘，避免环境亮度对人像区域检测的影响，提升人像区域检测的准确性。
Description
技术领域
本发明涉及图像处理技术，特别涉及一种图像处理方法、图像处理装置和电子装置。
背景技术
现有的人像识别方法主要通过灰度图像识别人像的边缘，因此容易受环境亮度的影响，准确度不理想。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明需要提供一种图像处理方法、图像处理装置和电子装置。
本发明实施方式的图像处理方法，用于处理成像装置采集的场景数据，所述图像处理方法包括以下步骤：
处理所述场景数据以识别人脸区域；
处理所述场景数据以获取所述人脸区域的深度信息；和
根据所述人脸区域和所述深度信息确定人像区域。
在某些实施方式中，所述场景数据包括场景主图像和与所述场景主图像对应的深度图像，所述处理所述场景数据以获取所述人脸区域的深度信息的步骤包括以下子步骤：
处理所述深度图像以获取对应所述人脸区域的深度数据；和
处理所述深度数据以得到所述深度信息。
在某些实施方式中，所述场景数据包括场景主图像和与所述场景主图像对应的场景副图像，所述处理所述场景数据以获取所述人脸区域的深度信息的步骤包括以下子步骤：
处理所述场景主图像和所述场景副图像以得到所述人脸区域的深度数据；和
处理所述深度数据以得到所述深度信息。
在某些实施方式中，所述根据所述人脸区域和所述深度信息确定人像区域的步骤包括以下子步骤：
根据所述人脸区域确定预估人像区域；
根据所述人脸区域的深度信息确定所述人像区域的深度范围；
根据所述人像区域的深度范围确定与所述人脸区域连接且落入所述深度范围的计算人像区域；
判断所述计算人像区域与所述预估人像区域是否匹配；
在所述计算人像区域与所述预估人像区域匹配时确定所述计算人像区域为所述人像区域。
在某些实施方式中，所述图像处理方法还包括：
处理所述场景主图像的人像区域以得到彩色边缘图；
处理所述场景主图像的人像区域对应的深度信息以得到深度边缘图；和
利用所述彩色边缘图和所述深度边缘图修正所述人像区域的边缘。
本发明实施方式的图像处理装置，用于处理成像装置采集的场景数据，所述图像处理装置包括第一处理模块、第二处理模块和第三处理模块。第一处理模块用于处理所述场景数据以识别人脸区域；第二处理模块用于处理所述场景数据以获取所述人脸区域的深度信息；第三处理模块用于根据所述人脸区域和所述深度信息确定人像区域。
在某些实施方式中，所述场景数据包括场景主图像和与所述场景主图像对应的深度图像，所述第二处理模块包括第一处理单元和第二处理单元。所述第一处理单元用于处理所述深度图像以获取对应所述人脸区域的深度数据；所述第二处理单元用于处理所述深度数据以得到所述深度信息。
在某些实施方式中，所述场景数据包括场景主图像和与所述场景主图像对应的场景副图像，所述第二处理模块包括第三处理单元和第四处理单元，所述第三处理单元用于处理所述场景主图像和所述场景副图像以得到所述人脸区域的深度数据；所述第四处理单元用于处理所述深度数据以得到所述深度信息。
在某些实施方式中，所述第三处理模块包括第五处理单元、第六处理单元、第七处理单元、判断单元和第八处理单元。所述第五处理单元用于根据所述人脸区域确定预估人像区域；所述第六处理单元用于根据所述人脸区域的深度信息确定所述人像区域的深度范围；所述第七处理单元用于根据所述人像区域的深度范围确定与所述人脸区域连接且落入所述深度范围的计算人像区域；所述判断单元用于判断所述计算人像区域与所述预估人像区域是否匹配；所述第八处理单元用于在所述计算人像区域与所述预估人像区域匹配时确定所述计算人像区域为所述人像区域。
在某些实施方式中，所述图像处理装置还包括第四处理模块、第五处理模块和修正模块。所述第四处理模块用于处理所述场景主图像的人像区域以得到彩色边缘图；所述第五处理模块用于处理所述场景主图像的人像区域对应的深度信息以得到深度边缘图；所述修正模块用于利用所述彩色边缘图和所述深度边缘图修正所述人像区域的边缘。
本发明实施方式的电子装置包括成像装置和上述任意一项实施方式的图像处理装置，所述图像处理装置和所述成像装置电连接。
在某些实施方式中，所述成像装置包括主摄像头和副摄像头。
在某些实施方式中，所述成像装置包括摄像头和投射器。
在某些实施方式中，所述成像装置包括深度摄像头。
本发明实施方式的图像处理方法、图像处理装置和成像装置利用拍摄得的图像中的人脸区域的景深信息确定人像区域及人像区域的边缘轮廓，避免采用传统的基于灰度图像进行人像区域及人像区域的的边缘轮廓识别的过程中易受环境亮度影响的问题，可以提升人像区域识别的准确性。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施方式的图像处理方法的流程示意图；
图2是本发明实施方式的电子装置的功能模块示意图；
图3是本发明实施方式的图像处理方法的状态示意图；
图4是本发明实施方式的图像处理方法的流程示意图；
图5是本发明某些实施方式的电子装置的功能模块示意图；
图6是本发明某些实施方式的图像处理方法的流程示意图；
图7是本发明某些实施方式的电子装置的功能模块示意图；
图8是本发明某些实施方式的图像处理方法的流程示意图；
图9是本发明某些实施方式的电子装置的功能模块示意图；
图10是本发明某些实施方式的图像处理方法的状态示意图；
图11是本发明某些实施方式的图像处理方法的流程示意图；
图12是本发明某些实施方式的电子装置的功能模块示意图；
图13是本发明某些实施方式的图像处理方法的状态示意图；
图14是本发明某些实施方式的图像处理方法的状态示意图；
图15是本发明某些实施方式的图像处理方法的状态示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请一并参阅图1至2，本发明实施方式的图像处理方法，用于处理成像装置20采集的场景数据，所述图像处理方法包括以下步骤：
S11：处理所述场景数据以识别人脸区域；
S12：处理所述场景数据以获取所述人脸区域的深度信息；和
S13：根据所述人脸区域和所述深度信息确定人像区域。
本发明实施方式的图像处理方法可以由本发明实施方式的图像处理装置10实现。
本发明实施方式的图像处理装置10包括第一处理模块11、第二处理模块12和第三处理模块13。步骤S11可以由第一处理模块11实现，步骤S12可以由第二处理模块12实现，步骤S13可以由第三处理模块13实现。
也即是说，第一处理模块11用于处理所述场景主图像以识别人脸区域；第二处理模块12用于处理所述场景数据以获取所述人脸区域的深度信息；第三处理模块13用于根据所述人脸区域和所述深度信息确定人像区域。
本发明实施方式的图像处理装置10应用于本发明实施方式的电子装置100，也即是说，本发明实施方式的电子装置100包括本发明实施方式的图像处理装置10。当然，本发明实施方式的电子装置100还包括成像装置20。其中，图像处理装置10和成像装置20电连接。
在某些实施方式中，本发明实施方式的电子装置10包括手机和/或平板电脑，在此不作限制。在本发明的具体实施例中，电子装置100为手机。
请参阅图3，可以理解，传统的人像区域的识别技术是基于灰度图像进行人像区域的识别，易受光照变化、阴影、物体遮挡及环境变化等因素的干扰，导致无法准确识别人像区域。本发明实施方式的图像处理方法通过成像装置20采集场景数据即对应的场景的彩色信息和深度信息，并根据场景的深度信息获取人脸区域的深度信息。由于人脸区域是人像区域的一部分，也即是说，人像区域的深度信息与人脸区域对应的深度信息同处于一个深度范围内，如此，可以根据人脸区域及人脸区域的深度信息即可确定人像区域。由于深度信息的获取不易受光照、场景中色彩分布等因素的影响，因此，本发明实施方式的图像处理方法可以提升人像区域识别的准确性。
具体地，步骤S11处理场景数据以识别人脸区域可以采用已训练好的基于彩色信息和深度信息的深度学习模型检测场景主图像中是否存在人脸。其中，步骤S11中成像装置20采集的场景数据包括当前场景的彩色信息和深度信息。深度学习模型在给定训练集时，训练集中的数据包括人脸的彩色信息和深度信息。因此，训练过后的深度学习训练模型可以根据当前场景的彩色信息和深度信息推断当前场景中是否存在人脸。如此，由于人脸区域的深度信息的获取不易受光照等环境因素的影响，且在人脸具有一定的偏转角度时，基于彩色信息和深度信息的深度学习模型仍旧能够根据获得的彩色信息和深度信息检测出当前场景中存在的人脸，因此可以提升人脸检测准确性。
请参阅图4，在某些实施方式中，所述场景数据包括场景主图像和与所述场景主图像对应的深度图像，步骤S12处理所述场景数据以获取所述人脸区域的深度信息包括以下子下步骤：
S121：处理所述深度图像以获取对应所述人脸区域的深度数据；和
S122：处理所述深度数据以得到所述深度信息。
请参阅图5，第二处理模块12包括第一处理单元121和第二处理单元122。步骤S121可以由第一处理单元121实现，步骤S122可以由第二处理单元122实现。
也即是说，第一处理单元121用于处理所述深度图像以获取对应所述人脸区域的深度数据；第二处理单元122用于处理所述深度数据以得到所述深度信息。
可以理解，场景数据包括与场景主图像对应的深度图像。其中，场景主图像为RGB彩色图像，深度图像包含场景中各个人或物体的深度信息。由于场景主图像的色彩信息与深度图像的深度信息是一一对应的关系，因此，若在步骤S11中检测到人脸区域，即可在对应的深度图像中获取到人脸区域的深度信息。
需要说明的是，在场景主图像中，人脸区域表现为二维图像，但由于人脸区域包括鼻子、眼睛、耳朵等特征，因此，在深度图像中，人脸区域中鼻子、眼睛、耳朵等特征在深度图像中所对应的深度数据是不同的，例如对于人脸正对成像装置20的情况下所拍摄得的深度图像中，鼻子对应的深度数据可能较小，而耳朵对应的深度数据可能较大。因此，在本发明的具体实施例中，处理人脸区域的深度数据得到的人脸区域深度信息可能为一个数值或一个数值范围。其中，当人脸区域的深度信息为一个数值时，该数值可通过对人脸区域的深度数据取平均值得到，或通过对人脸区域的深度数据取中值得到。
在某些实施方式中，成像装置20包括深度摄像头。深度摄像头可用来获取深度图像。其中，深度摄像头包括基于结构光深度测距的深度摄像头和基于TOF测距的深度摄像头。
具体地，基于结构光深度测距的深度摄像头包括摄像头和投射器。投射器将一定模式的光结构投射到当前待拍摄的场景中，在场景中的各个人或物体表面形成由该场景中的人或物调制后的光条三维图像，再通过摄像头探测上述的光条三维图像即可获得光条二维畸变图像。光条的畸变程度取决于投射器与摄像头之间的相对位置以及当前待拍摄的场景中各个人或物体的表面形廓或高度。由于深度摄像头中的摄像头和投射器之间的相对位置是一定的，因此，由畸变的二维光条图像坐标便可重现场景中各个人或物体的表面三维轮廓，从而可以获取深度信息。结构光深度测距具有较高的分辨率和测量精度，可以提升获取的深度信息的精确度。
基于TOF(time offlight)测距的深度摄像头是通过传感器记录从发光单元发出的调制红外光发射到物体，再从物体反射回来的相位变化，在一个波长的范围内根据光速，可以实时的获取整个场景深度距离。当前待拍摄的场景中各个人或物体所处的深度位置不一样，因此调制红外光从发出到接收所用时间是不同的，如此，便可获取场景的深度信息。基于TOF深度测距的深度摄像头计算深度信息时不受被摄物表面的灰度和特征的影响，且可以快速地计算深度信息，具有很高的实时性。
请参阅图6，在某些实施方式中，所述场景数据包括场景主图像和与所述场景主图像对应的场景副图像，步骤S12处理所述场景数据以获取所述人脸区域的深度信息包括以子下子步骤:
S123：处理所述场景主图像和所述场景副图像以得到所述人脸区域的深度数据；和
S124：处理所述深度数据以得到所述深度信息。
请参阅图7，在某些实施方式中，第二处理模块12包括第三处理单元123和第四处理单元124。步骤S123可以由第三处理单元123实现，步骤S124可以由第四处理单元124实现。
也即是说，第三处理单元123用于处理所述场景主图像和所述场景副图像以得到所述人脸区域的深度数据；第四处理单元124用于处理所述深度数据以得到所述深度信息。
在某些实施方式中，成像装置20包括主摄像头和副摄像头。
可以理解，深度信息可以通过双目立体视觉测距方法进行获取，此时场景数据包括场景主图像和场景副图像。其中，场景主图像由主摄像头拍摄得到，场景副图像由副摄像头拍摄得到，且场景主图像与场景副图像均为RGB彩色图像。双目立体视觉测距是运用两个规格相同的摄像头对同一场景从不同的位置成像以获得场景的立体图像对，再通过算法匹配出立体图像对的相应像点，从而计算出视差，最后采用基于三角测量的方法恢复深度信息。如此，通过对场景主图像和场景副图像这一立体图像对进行匹配便可获得人脸区域的深度数据。随后，对人脸区域的深度数据进行处理获得人脸区域的深度信息。由于人脸区域中包含有多个特征，各个特征对应的深度数据可能不一样，因此，人脸区域的深度信息可以为一个数值范围；或者，可对深度数据进行求平均值处理以得到人脸区域的深度信息，或取深度数据的中值以获得人脸区域的深度信息。
请参阅图8，在某些实施方式中，步骤S13根据所述人脸区域和所述深度信息确定人像区域包括以下子步骤：
S131：根据所述人脸区域确定预估人像区域；
S132：根据所述人脸区域的深度信息确定所述人像区域的深度范围；
S133：根据所述人像区域的深度范围确定与所述人脸区域连接且落入所述深度范围的计算人像区域；
S134：判断所述计算人像区域与所述预估人像区域是否匹配；
S135：在所述计算人像区域与所述预估人像区域匹配时确定所述计算人像区域为所述人像区域。
请参阅图9，在某些实施方式中，第三处理模块13包括第五处理单元131、第六处理单元132、第七处理单元133、判断单元134和第八处理单元135。步骤S131可以由第五处理单元131实现；步骤S132可以由第六处理单元132实现；步骤S133可以由第七处理单元133实现；步骤S134可以由判断单元134实现；步骤S135可以由第八处理单元135实现。
也即是说，第五处理单元131用于根据所述人脸区域确定预估人像区域；第六处理单元132用于根据所述人脸区域的深度信息确定所述人像区域的深度范围；第七处理单元133用于根据所述人像区域的深度范围确定与所述人脸区域连接且落入所述深度范围的计算人像区域；判断单元134用于判断所述计算人像区域与所述预估人像区域是否匹配；第八处理单元135用于在所述计算人像区域与所述预估人像区域匹配时确定所述计算人像区域为所述人像区域。
请参阅图10，具体地，由于拍摄的人像存在有多种行为姿势，如站立、蹲坐、直面镜头或侧对镜头等，因此，确定人脸区域后，首先根据人脸区域的当前状态确定预估人像区域，也即是说，根据人脸区域的当前状态确定人像当前的行为姿势。其中，预估人像区域为人像区域的匹配样本库，样本库中包含多种人像的行为姿势的信息。由于人像区域包含人脸区域，也即是说，人像区域与人脸区域同处于某一个深度范围内，因此，确定人脸区域的深度信息后，可以根据人脸区域的深度信息设定人像区域的深度范围，并根据人像区域的深度范围提取落入该深度范围内且与人脸区域相连接的计算人像区域。由于拍摄人像时人像所处的场景可能较为复杂，也即是说，与人像所处位置相邻的位置上可能存在有其他物体，这些物体处于人像区域的深度范围内，因此，计算人像区域的提取仅在人像区域的深度范围内提取与人脸相连接的部分以去除其他落入人像区域的深度范围内的物体。在确定计算人像区域后，需将计算人像区域与预估人像区域进行匹配，匹配成功则可将计算人像区域确定为人像区域。若匹配不成功，则表明计算人像区域中还可能包含有除人像外的其他物体，人像区域的识别失败。
请参阅图11，在某些实施方式中，图像处理方法还包括以下步骤：
S14：处理所述场景主图像的人像区域以得到彩色边缘图；
S15：处理所述场景主图像的人像区域对应的深度信息以得到深度边缘图；和
S16：利用所述彩色边缘图和所述深度边缘图修正所述人像区域的边缘。
请参阅图12，在某些实施方式中，图像处理装置10还包括第四处理模块14:、第五处理模块15和修正模块16。步骤S14可以由第四处理模块14实现；步骤S15可以由第五处理模块15实现，步骤S16可以由修正模块16实现。
也即是说，第四处理模块14用于处理所述场景主图像的人像区域以得到彩色边缘图；第五处理模块15用于处理所述场景主图像的人像区域对应的深度信息以得到深度边缘图；修正模块16用于利用所述彩色边缘图和所述深度边缘图修正所述人像区域的边缘。
请参阅图13，可以理解，由于彩色边缘图包含人像区域内部的边缘信息，如服装的边缘信息等，而目前获取的深度信息的精度有限，如在手指、头发、衣领等边缘存在些许误差。如此，利用彩色边缘图和深度边缘图共同修正人像区域的边缘一方面可以去除人像区域包含的人脸、服装等部分的边缘及细节信息，另一方面在手指、头发、衣领等边缘部分有更高的准确度，从而可以获得较为准确的人像区域的外轮廓的边缘信息。由于彩色边缘图及深度边缘图均只对人像区域部分对应的数据进行处理，因此所需处理的数据量较少，图像处理的速度较快。
请参阅图14，具体地，彩色边缘图可以通过边缘检测算法得到。边缘检测算法是通过对场景主图像中人像区域所对应的图像数据求微分以获得具有阶跃变化或屋顶变化的像素点的集合。常用的边缘检测算法那包括Roberts算子、Sobel算子、Prewitt算子、Canny算子、Laplacian算子、LOG算子等。在本发明的具体实施例中，可以采用上述的任一种边缘检测算法进行计算以获得彩色边缘图，在此不做任何限制。
请参阅图15，进一步地，在深度边缘图的获取过程中，由于只需要对人像区域对应的深度信息进行处理，因此，首先对步骤S13中获得的人像区域进行膨胀处理，扩大人像区域以保留人像区域对应的深度信息中深度边缘的细节。随后，对膨胀处理后的人像区域对应的深度信息进行滤波处理，从而去除深度信息中携带的高频噪声，以用于平滑步骤S15中深度边缘图的边缘细节。最后，将滤波后的数据转换为灰度值数据，并对灰度数据进行线性逻辑回归组合，再利用图像边缘概率密度算法计算线性逻辑回归组合后的灰度数据以获取深度边缘图。
电子装置100还包括壳体、存储器、电路板和电源电路。其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路用于为电子装置100的各个电路或器件供电；存储器用于存储可执行程序代码；图像处理装置10通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序以实现上述的本发明任一实施方式的图像处理方法。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (12)
1.一种图像处理方法，用于处理成像装置采集的场景数据，其特征在于，所述图像处理方法包括以下步骤：
处理所述场景数据以识别人脸区域：采用已训练好的基于彩色信息和深度信息的深度学习模型检测场景主图像中是否存在人脸；
处理所述场景数据以获取所述人脸区域的深度信息；
根据所述人脸区域和所述深度信息确定人像区域；
处理所述场景主图像的人像区域以得到彩色边缘图；
处理所述场景主图像的人像区域对应的深度信息以得到深度边缘图：对所述人像区域进行膨胀处理，对膨胀处理后的所述人像区域对应的深度信息进行滤波处理，将滤波后的数据转换为灰度数据，对所述灰度数据进行线性逻辑回归组合，再利用图像边缘概率密度算法计算线性逻辑回归组合后的所述灰度数据以获取所述深度边缘图；和
利用所述彩色边缘图和所述深度边缘图修正所述人像区域的边缘。
2.如权利要求1所述的图像处理方法，其特征在于，所述场景数据包括所述场景主图像和与所述场景主图像对应的深度图像，所述处理所述场景数据以获取所述人脸区域的深度信息的步骤包括以下子步骤：
处理所述深度图像以获取对应所述人脸区域的深度数据；和
处理所述深度数据以得到所述深度信息。
3.如权利要求1所述的图像处理方法，其特征在于，所述场景数据包括所述场景主图像和与所述场景主图像对应的场景副图像；所述处理所述场景数据以获取所述人脸区域的深度信息的步骤包括以下子步骤：
处理所述场景主图像和所述场景副图像以得到所述人脸区域的深度数据；和
处理所述深度数据以得到所述深度信息。
4.如权利要求1所述的图像处理方法，其特征在于，所述根据所述人脸区域和所述深度信息确定人像区域的步骤包括以下子步骤：
根据所述人脸区域确定预估人像区域；
根据所述人脸区域的深度信息确定所述人像区域的深度范围；
根据所述人像区域的深度范围确定与所述人脸区域连接且落入所述深度范围的计算人像区域；
判断所述计算人像区域与所述预估人像区域是否匹配；
在所述计算人像区域与所述预估人像区域匹配时确定所述计算人像区域为所述人像区域。
5.一种图像处理装置，用于处理成像装置采集的场景数据，其特征在于，所述图像处理装置包括：
第一处理模块，用于处理所述场景数据以识别人脸区域：采用已训练好的基于彩色信息和深度信息的深度学习模型检测场景主图像中是否存在人脸；
第二处理模块，用于处理所述场景数据以获取所述人脸区域的深度信息；
第三处理模块，用于根据所述人脸区域和所述深度信息确定人像区域；
第四处理模块，用于处理所述场景主图像的人像区域以得到彩色边缘图；
第五处理模块，用于处理所述场景主图像的人像区域对应的深度信息以得到深度边缘图：对所述人像区域进行膨胀处理，对膨胀处理后的所述人像区域对应的深度信息进行滤波处理，将滤波后的数据转换为灰度数据，对所述灰度数据进行线性逻辑回归组合，再利用图像边缘概率密度算法计算线性逻辑回归组合后的所述灰度数据以获取所述深度边缘图；和
修正模块，用于利用所述彩色边缘图和所述深度边缘图修正所述人像区域的边缘。
6.如权利要求5所述的图像处理装置，其特征在于，所述场景数据包括所述场景主图像和与所述场景主图像对应的深度图像，所述第二处理模块包括：
第一处理单元，用于处理所述深度图像以获取对应所述人脸区域的深度数据；和
第二处理单元，用于处理所述深度数据以得到所述深度信息。
7.如权利要求5所述的图像处理装置，其特征在于，所述场景数据包括所述场景主图像和与所述场景主图像对应的场景副图像，所述第二处理模块包括：
第三处理单元，用于处理所述场景主图像和所述场景副图像以得到所述人脸区域的深度数据；和
第四处理单元，用于处理所述深度数据以得到所述深度信息。
8.如权利要求5所述的图像处理装置，其特征在于，所述第三处理模块包括：
第五处理单元，用于根据所述人脸区域确定预估人像区域；
第六处理单元，用于根据所述人脸区域的深度信息确定所述人像区域的深度范围；
第七处理单元，用于根据所述人像区域的深度范围确定与所述人脸区域连接且落入所述深度范围的计算人像区域；
判断单元，用于判断所述计算人像区域与所述预估人像区域是否匹配；
第八处理单元，用于在所述计算人像区域与所述预估人像区域匹配时确定所述计算人像区域为所述人像区域。
9.一种电子装置，其特征在于，所述电子装置包括：
成像装置；和
如权利要求5至8任意一项所述的图像处理装置，所述图像处理装置和所述成像装置电连接。
10.如权利要求9所述的电子装置，其特征在于，所述成像装置包括主摄像头和副摄像头。
11.如权利要求9所述的电子装置，其特征在于，所述成像装置包括摄像头和投射器。
12.如权利要求9所述的电子装置，其特征在于，所述成像装置包括深度摄像头。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710138813.0A CN106909911B (zh) | 2017-03-09 | 2017-03-09 | 图像处理方法、图像处理装置和电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710138813.0A CN106909911B (zh) | 2017-03-09 | 2017-03-09 | 图像处理方法、图像处理装置和电子装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106909911A CN106909911A (zh) | 2017-06-30 |
| CN106909911B true CN106909911B (zh) | 2020-07-10 |
Family
ID=59186259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710138813.0A Expired - Fee Related CN106909911B (zh) | 2017-03-09 | 2017-03-09 | 图像处理方法、图像处理装置和电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106909911B (zh) |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107343189B (zh) | 2017-07-10 | 2019-06-21 | Oppo广东移动通信有限公司 | 白平衡处理方法和装置 |
| CN107301408B (zh) * | 2017-07-17 | 2020-06-23 | 成都通甲优博科技有限责任公司 | 人体掩膜提取方法及装置 |
| CN107481186B (zh) * | 2017-08-24 | 2020-12-01 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| CN107527335A (zh) * | 2017-09-11 | 2017-12-29 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN107622496A (zh) * | 2017-09-11 | 2018-01-23 | 广东欧珀移动通信有限公司 | 图像处理方法及装置 |
| EP3680853A4 (en) | 2017-09-11 | 2020-11-04 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | IMAGE PROCESSING PROCESS AND DEVICE, ELECTRONIC DEVICE AND COMPUTER READABLE INFORMATION MEDIA |
| CN107610134B (zh) * | 2017-09-11 | 2020-03-31 | Oppo广东移动通信有限公司 | 提醒方法、装置、电子装置和计算机可读存储介质 |
| CN107730590A (zh) * | 2017-09-11 | 2018-02-23 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、电子装置和计算机可读存储介质 |
| CN107590794A (zh) * | 2017-09-11 | 2018-01-16 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| EP3680857B1 (en) | 2017-09-11 | 2021-04-28 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method and apparatus, electronic device and computer-readable storage medium |
| CN107707837B (zh) * | 2017-09-11 | 2021-06-29 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子装置和计算机可读存储介质 |
| CN107644440A (zh) * | 2017-09-11 | 2018-01-30 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN107509043B (zh) * | 2017-09-11 | 2020-06-05 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子装置及计算机可读存储介质 |
| CN107742300A (zh) * | 2017-09-11 | 2018-02-27 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、电子装置和计算机可读存储介质 |
| CN107704077A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN107529020B (zh) * | 2017-09-11 | 2020-10-13 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子装置和计算机可读存储介质 |
| WO2019047984A1 (zh) * | 2017-09-11 | 2019-03-14 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN107610078A (zh) * | 2017-09-11 | 2018-01-19 | 广东欧珀移动通信有限公司 | 图像处理方法和装置 |
| CN107730509A (zh) * | 2017-09-11 | 2018-02-23 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、电子装置和计算机可读存储介质 |
| CN107623823B (zh) * | 2017-09-11 | 2020-12-18 | Oppo广东移动通信有限公司 | 视频通信背景显示方法和装置 |
| CN107734264B (zh) * | 2017-09-11 | 2020-12-22 | Oppo广东移动通信有限公司 | 图像处理方法和装置 |
| CN107610127B (zh) * | 2017-09-11 | 2020-04-03 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子装置和计算机可读存储介质 |
| CN107590793A (zh) * | 2017-09-11 | 2018-01-16 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、电子装置和计算机可读存储介质 |
| CN107622511A (zh) * | 2017-09-11 | 2018-01-23 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN107590795A (zh) * | 2017-09-11 | 2018-01-16 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、电子装置和计算机可读存储介质 |
| CN107707838A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法和装置 |
| CN107707833A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN107742071A (zh) * | 2017-09-11 | 2018-02-27 | 广东欧珀移动通信有限公司 | 网络游戏的装备解锁方法和电子装置 |
| CN107644439A (zh) * | 2017-09-11 | 2018-01-30 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN107578053B (zh) * | 2017-09-25 | 2020-03-24 | 重庆虚拟实境科技有限公司 | 轮廓提取方法及装置、计算机装置及可读存储介质 |
| CN107995434A (zh) * | 2017-11-30 | 2018-05-04 | 广东欧珀移动通信有限公司 | 图像获取方法、电子装置和计算机可读存储介质 |
| CN108230245B (zh) * | 2017-12-26 | 2021-06-11 | 中国科学院深圳先进技术研究院 | 图像拼接方法、图像拼接装置及电子设备 |
| JP6477943B1 (ja) * | 2018-02-27 | 2019-03-06 | オムロン株式会社 | メタデータ生成装置、メタデータ生成方法及びプログラム |
| CN109631345B (zh) * | 2018-12-04 | 2021-06-04 | 南京幸庄科技创新产业园管理有限公司 | 洗浴时长现场估算系统 |
| CN110232353B (zh) * | 2019-06-12 | 2023-06-06 | 成都世纪光合作用科技有限公司 | 一种获取场景人员深度位置的方法和装置 |
| CN110276290B (zh) * | 2019-06-17 | 2024-04-19 | 深圳市繁维科技有限公司 | 基于tof模组的快速人脸脸模采集方法以及快速人脸脸模采集装置 |
| CN110415287B (zh) * | 2019-07-11 | 2021-08-13 | Oppo广东移动通信有限公司 | 深度图的滤波方法、装置、电子设备和可读存储介质 |
| CN112532854B (zh) * | 2019-09-17 | 2022-05-31 | 华为技术有限公司 | 一种图像处理方法与电子设备 |
| CN112085002A (zh) * | 2020-09-23 | 2020-12-15 | 苏州臻迪智能科技有限公司 | 人像分割方法、装置、存储介质及电子设备 |
| CN112257674B (zh) * | 2020-11-17 | 2022-05-27 | 珠海大横琴科技发展有限公司 | 一种视觉数据处理的方法和装置 |
| CN112991210A (zh) * | 2021-03-12 | 2021-06-18 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读存储介质和电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104243951A (zh) * | 2013-06-07 | 2014-12-24 | 索尼电脑娱乐公司 | 图像处理设备、图像处理系统以及图像处理方法 |
| CN105825494A (zh) * | 2015-08-31 | 2016-08-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101335346B1 (ko) * | 2008-02-27 | 2013-12-05 | 소니 컴퓨터 엔터테인먼트 유럽 리미티드 | 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들 |
| EP2453386B1 (en) * | 2010-11-11 | 2019-03-06 | LG Electronics Inc. | Multimedia device, multiple image sensors having different types and method for controlling the same |
-
2017
- 2017-03-09 CN CN201710138813.0A patent/CN106909911B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104243951A (zh) * | 2013-06-07 | 2014-12-24 | 索尼电脑娱乐公司 | 图像处理设备、图像处理系统以及图像处理方法 |
| CN105825494A (zh) * | 2015-08-31 | 2016-08-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106909911A (zh) | 2017-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106909911B (zh) | 图像处理方法、图像处理装置和电子装置 | |
| CN107025635B (zh) | 基于景深的图像饱和度的处理方法、处理装置和电子装置 | |
| CN107016348B (zh) | 结合深度信息的人脸检测方法、检测装置和电子装置 | |
| CN106991654B (zh) | 基于深度的人体美化方法和装置及电子装置 | |
| CN106997457B (zh) | 人物肢体识别方法、人物肢体识别装置及电子装置 | |
| CN106991377B (zh) | 结合深度信息的人脸识别方法、人脸识别装置和电子装置 | |
| CN110378945B (zh) | 深度图处理方法、装置和电子设备 | |
| KR102667740B1 (ko) | 영상 정합 방법 및 장치 | |
| CN106851238B (zh) | 白平衡控制方法、白平衡控制装置及电子装置 | |
| CN110168562B (zh) | 基于深度的控制方法、基于深度的控制装置和电子装置 | |
| CN110378946B (zh) | 深度图处理方法、装置以及电子设备 | |
| CN110400338B (zh) | 深度图处理方法、装置和电子设备 | |
| CN106991378B (zh) | 基于深度的人脸朝向检测方法、检测装置和电子装置 | |
| US20080292192A1 (en) | Human detection device and method and program of the same | |
| WO2011013079A1 (en) | Depth mapping based on pattern matching and stereoscopic information | |
| CN107018323B (zh) | 控制方法、控制装置和电子装置 | |
| TW201835805A (zh) | 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體 | |
| CN106991688A (zh) | 人体跟踪方法、人体跟踪装置和电子装置 | |
| WO2011105004A1 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
| WO2016107638A1 (en) | An image face processing method and apparatus | |
| US10354413B2 (en) | Detection system and picture filtering method thereof | |
| CN106991379B (zh) | 结合深度信息的人体皮肤识别方法及装置和电子装置 | |
| JP2018156408A (ja) | 画像認識撮像装置 | |
| Kagarlitsky et al. | Piecewise-consistent color mappings of images acquired under various conditions | |
| CN106991376B (zh) | 结合深度信息的侧脸验证方法及装置与电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200710 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |