CN109034138B - 图像处理方法及装置 - Google Patents

Abstract

本发明实施例提供一种图像处理方法及装置。在一个实施例中，所述图像处理方法包括：获得目标图像中各个点的三维特征点数据；获取所述目标图像中鼻子部分对应的第一感兴趣区域；遍历求导所述第一感兴趣区域中的每行数据，以得到每一行数据中的鼻翼的多个定位点；从所述多个定位点中筛选出目标定位点作为鼻翼识别的输出结果；以及根据所述输出结果得到所述目标图像的识别结果。

Description

图像处理方法及装置

技术领域

本发明涉及数据处理领域，具体而言，涉及一种图像处理方法及装置。

背景技术

人脸关键特征点检测也称为人脸定位，通过给定的一张人脸图像数据定位出脸部各个器官所在的位置，并以标记的特征点来描述。人脸关键点检测方法主要有基于深度学习和基于级联形状回归等方法。但是由于人脸的多样性，现有的识别技术并不能很好得到识别结果。

发明内容

有鉴于此，本发明实施例的目的在于提供一种图像处理方法及装置。

本发明实施例提供的一种图像处理方法，包括：

获得目标图像中各个点的三维特征点数据；

获取所述目标图像中鼻子部分对应的第一感兴趣区域遍历求导所述第一感兴趣区域中的每行数据，以得到每一行数据中的鼻翼的多个定位点从所述多个定位点中筛选出目标定位点作为鼻翼识别的输出结果，和/或，获取所述目标图像中的眉毛上侧的第二感兴趣区域，获取所述第二感兴趣区域中的每一列数据中对应的波动点，根据多个波动点得到所述目标图像中人物的额头边界；以及

根据所述输出结果和/或额头边界得到所述目标图像的识别结果。

本发明实施例还提供一种图像处理装置，包括：

获得模块，用于获得目标图像中各个点的三维特征点数据；

第一获取模块，用于获取所述目标图像中鼻子部分对应的第一感兴趣区域；

遍历模块，用于遍历求导所述第一感兴趣区域中的每行数据，以得到每一行数据中的鼻翼的多个定位点；

第一筛选模块，用于从所述多个定位点中筛选出目标定位点作为鼻翼识别的输出结果；

识别模块，用于根据所述输出结果得到所述目标图像的识别结果。

与现有技术相比，本发明实施例的图像处理方法及装置，通过在所述目标图像上获取的第一感兴趣区域中各个三维特征点数据，将三维数据信息引入到人脸识别中，对比于二维图像的人脸识别，可以将鼻子宽度尺寸信息，鼻高信息应用人脸识别，使对人脸的鼻翼的识别具有更高的可靠性。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的电子终端的示意图。

图2为本发明实施例提供的图像处理方法的流程图。

图3为一个实例中人脸图像中的关键特征点的位置示意图。

图4a为一个实例中从灰度图像截取的所述第一感兴趣区域示意图。

图4b为一个实例中从深度图上截取的第一感兴趣区域示意图。

图4c为一个实例中从深度图上截取并经过提取后的第一感兴趣区域示意图。

图5a为一个实例中的第一感兴趣区域中其中一行数据中的波动情况示意图。

图5b为一个实例中的第一感兴趣区域中其中一行数据中的波动对应的导数情况示意图。

图6为本发明另一实施例提供的图像处理方法的部分流程图。

图7为本发明另一实施例提供的图像处理方法的步骤S304的详细流程图。

图8a为本发明实施例提供的一个实例中的的提取的骨架线示意图。

图8b为本发明实施例提供的一个实例中选出的耳垂边沿线的数据的示意图。

图8c为本发明实施例提供的一个实例中选出的另一角度的耳垂边沿线的数据的示意图。

图9为本发明再一实施例提供的图像处理方法的部分流程图。

图10a为本发明实施例提供的一个实例中的人脸数据对应的深度图数据的示意图。

图10b为图10a对应的实例中的第二感兴趣区域的示意图。

图10c示出了一个实例中的人脸图像的黑色数据最宽的一列的深度值变化图。

图11为本发明再一实施例提供的图像处理方法中的步骤S403的详细流程图。

图12为本发明实施例提供的图像处理装置的功能模块示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如图1所示，是一电子终端100的方框示意图。所述电子终端100包括图像处理装置110、存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、显示单元116。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对电子终端100的结构造成限定。例如，电子终端100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。本实施例所述的电子终端100可以是个人计算机、图像处理服务器、或者移动电子设备等具有图像处理能力的计算设备。

所述存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115及显示单元116各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述图像处理装置110包括至少一个可以软件或固件(Firmware)的形式存储于所述存储器111中或固化在所述电子终端100的操作系统(Operating System，OS)中的软件功能模块。所述处理器113用于执行存储器中存储的可执行模块，例如所述图像处理装置110包括的软件功能模块或计算机程序。

其中，所述存储器111可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序，本发明实施例任一实施例揭示的过程定义的电子终端100所执行的方法可以应用于处理器113中，或者由处理器113实现。

所述处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述外设接口114将各种输入/输入装置耦合至处理器113以及存储器111。在一些实施例中，外设接口114，处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

所述输入输出单元115用于提供给用户输入数据。所述输入输出单元115可以是，但不限于，鼠标和键盘等。

所述显示单元116在所述电子终端100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。

目前开源效果良好的人脸关键点算法库有dlib库以及ShiqiYu的libfacedetection库，但这两种算法库在特征点无法满足高精度的使用情况，针对不同的精度需求，需要耗费大量的时间进行算法训练调试，成本比较高，同时二维图像获取的数据信息难以有效满足三维世界需求。

请参阅图2，是本发明实施例提供的应用于图1所示的电子终端的图像处理方法的流程图。下面将对图2所示的具体流程进行详细阐述。

步骤S201，获得目标图像中各个点的三维特征点数据。

本实施例中，所述目标图像至少包括人脸的深度图像和RGB图像。

本实施例中，三维点云的获得可以基于编码结构光和双目立体视觉原理获得。具体地，结合RGB相机的内参，将采集得到的三维点云数据反投影至RGB相机的像素坐标系，从而得到深度图像，其中，深度图像和RGB图像的每个像素之间是一一对应。本实施例中的深度图像与三维点云的获得方式并不限于上述描述的获得方式，还可以通过其它方式获，例如，kinect，可以先得到深度图像，结合相机的内参计算得到对应的三维点云数据。进而，人脸的深度图像中的二维像素坐标可以通过计算得到对应的三维点坐标。

具体地，对人脸的RGB图像进行人脸特征点检测，可以得到RGB图像中的人脸特征点，这些二维RGB图像特征点结合深度图像计算得到三维坐标，则形成所述三维特征点数据。在一个实例中，可以采用利用dlib人脸检测库对人脸的RGB图像进行检测得出人脸的二维特征点，再根据RGB图像中二维特征点像素坐标和对应的深度图中的值和相机内参算出三维特征点数据。其中，人脸特征点用于标识人脸的关键位置，例如，鼻尖、下巴、眼角等位置。

本实施例中，根据结构光三维测量系统，可以获取所述目标图像中人脸三维特征点数据。将每个像素对应的三维数据再转化到图像上能得到相机采集的深度图，每个像素对应一个点云，其值可以反应出所述目标图像中的人脸三维信息变化。

进一步地，还可以通过TOF技术、激光雷达扫描等方式获取目标图像的三维信息。

步骤S202，获取所述目标图像中鼻子部分对应的第一感兴趣区域。

在一种实施方式中，可以利用dlib人脸检测库得出的关键特征点数据，如图3所示，图中示出了68个关键特征点的位置，以及每个关键特征点位置对应的编号。图3所示分别示出了关键特征点1至关键特征点68的位置。如图3所示可以知道，关键特征点29-35标识了人脸图像中的鼻子区域。结合68个关键特征点中29-35个点的位置，用opencv库中的rect函数可以取出鼻子部分对应的第一感兴趣区域。进一步地，在所述Rect函数输入所述目标图像中的三维特征点数据坐标以及矩形的长和宽参数，可以得到所述目标图像中的鼻子部分对应的第一感兴趣区域。如图4a和图4b所示，图4a为一个实例中从灰度图像截取的所述第一感兴趣区域示意图，图4b为一个实例中从深度图上截取的第一感兴趣区域示意图。进一步地，关于dlib人脸检测库的相关内容可以参考链接http://dlib.net/中的内容。

步骤S203，遍历求导所述第一感兴趣区域中的每行数据，以得到每一行数据中的鼻翼的多个定位点。

本实施例中，步骤S203包括：计算每行数据的一阶导数；获取一阶导数的波谷点对应在该行的位置，并将波谷点作为定位点。

本实施例中，可以取出第一感兴趣区域宽度为w，将所述第一感兴趣区域分成0-w/2以及w/2-w两个区域。由于深度图像能够反映三维模型表面深度变化，鼻翼与脸部区域存在较大深度变化。以此为判断基准，对每一行数据分别求一阶导，通过求一阶导数可以得到波谷所在位置，将波谷所在位置确定为所述定位点。如图5a所示，图5a为一个实例中的第一感兴趣区域中其中一行数据中的波动情况示意图。其中图5a中的横坐标表示其中一行中各个点的水平坐标，所述纵坐标对应的值表示该行中对应位置点的灰度值。图5b为一个实例中的第一感兴趣区域中其中一行数据中的波动对应的导数情况示意图，可看出图5b所示的数据存在明显的波谷，该波谷点可以认为是对应鼻翼位置点。

在步骤S203之前还可以对图4b为一个实例中从深度图上截取的第一感兴趣区域中白色区域表示无三维点区域，为便于后续计算，将白色区域进行骨架提取，保留一根骨架线。具体，可以如图4c所示，图4c为一个实例中从深度图上截取并经过提取后的第一感兴趣区域示意图。进一步地，所述步骤S203可以是在经过“将白色区域进行骨架提取，保留一根骨架线”处理后的第一感兴趣区域进行处理。

步骤S204，从所述多个定位点中筛选出目标定位点作为鼻翼识别的输出结果。

可以知道的是，人的鼻子的鼻翼相对鼻子其它位置的距离更宽。因此，可以将计算得到多个定位点中水平距离最宽的两个点作为鼻翼位置点。

在一种实施方式中，计算每一行的两个定位点的距离，选取其中距离最宽的两个定位点作为鼻翼识别的输出结果。

本实施例中，所述第一感兴趣区域中的每一行数据中均可以求出两个定位点，左侧至少一个定位点，右侧至少一个定位点，本实施例中，可以将形成的宽度最大的两个定位点筛选出来，作为鼻翼的两端的定位点。

在另一种实施方式中，计算每一行的两个定位点的距离，选取其中距离最宽的两个定位点和次宽的两个定位点，将筛选的数据计算均值作为鼻翼识别的输出结果。

本实施例中，所述第一感兴趣区域中的每一行数据中均可以求出两个定位点，左侧一个定位点，右侧一个定位点，本实施例中，可以将形成的宽度最大的两个定位点和形成宽度次大的两个定位点筛选出来，并将左右两侧的定位点计算均值可以得到鼻翼的定位点。

在其它实施例中，也可以筛选出多组较大的定位点组，将多组较大的定位点组计算均值可以得到鼻翼的定位点。

通过图像上获取的特征点坐标以及深度图可求出该点在三维点云上的对应点，将三维数据信息引入到人脸识别中，对比于二维图像的人脸识别，可以将鼻子宽度尺寸信息，鼻高信息应用人脸识别，该方法具有更高的可靠性。

步骤S205，根据所述输出结果得到所述目标图像的识别结果。

本实施例中，所述图像识别方法可以用于对人脸的识别；也可以用于目标人物的筛选；还可以用于对人种的分类等。

在另一实施例中，如图6所示，在步骤S205之前，所述方法还包括以下步骤。

步骤S301，获取所述目标图像中与所述输出结果查找到的鼻翼位置点的纵向差值小于预设值的多个点云数据。

结合上述求出的任一鼻翼三维点坐标(x，y，z)，过该点遍历所述目标图像中整个人脸点云模型找出满足(yi–y)的绝对值小于预设值的所有点云数据。本实施中，所述预设值可以是0.4-0.8mm中的一个值，例如，0.5mm。

步骤S302，根据耳垂附近点所在位置的经验参数对所述点云数据进行筛选，得到耳垂附近点云数据。

其中，经验参数可包括对x轴横向范围的限定参数。

步骤S303，将所述耳垂附近点云数据进行处理得到深度图，得到和耳垂附近点云数据对应的平面图。

本实施例中，可以将耳垂附近点所在位置的经验参数带入多个点云数据以简化数据。

进一步地，结合空间三维点到相机图像坐标系之间的对应关系，将筛选的三维点数据反投影到相机的像素坐标系得到所述平面图。

步骤S304，根据所述平面图确定耳垂附近点位置。

所述步骤S205可以替换为步骤S305，根据所述耳垂附近点位置及所述输出结果得到所述目标图像的识别结果。

本实施例中，如图7所示，所述步骤S304包括以下步骤。

步骤S3041，将所述平面图中的离散的点进行闭运算，以得到连续的点集。

步骤S3042，对所述连续的点集进行提取，得到耳垂边沿线。

在一种实施方式中，采用opencv中dilate和erode函数组合实现闭运算操作，并提取数据骨架线。如图8a所示为一个实例中的提取的骨架线示意图。

步骤S3043，获取所述耳垂边沿线的转折点位置，并将所述转折点位置作为耳垂附近点位置。

由于人脸为有弧度的不规则曲面，所筛选的耳垂附近点云投影到侧面相机的图像坐标系，将会得到一段折线如图。分析数据变化，侧脸与耳朵的分界处会存在转折，数据变化的峰值位置即为确定的耳垂附近点。

通过本实施例中的方式对耳垂附近点的识别，是利用三维数据信息确定人脸侧面特征点位置，现有基于二维图像的特征点定位仅针对人脸正面有较好的效果，对人脸的侧面就可能无法检测或者检测的特征点偏差巨大，本实施例中的方法对于侧脸中的耳垂识别具有明显的优势。

本实施例中，还可以通过以下方式实现耳垂附近点定位算法：

本实施例中，所述目标图像包括多个角度拍摄的图像。其中，采集的数据可以包括RGB图像信息和三维点云信息。例如，可以从三个方向上拍摄图像。其中三个方向可以分别包括正面、左侧面及右侧面。

本实施例中，可以将三个方向采集的三维点云信息通过拼接算法得到一个完整的三维点云数据。在一种实施方式中，将三维点云信息的拼接可以中间相机为基准。

进一步地，还可以对拼接后的三维模型进行调正操作。所述调正操作可以使完整的三维点云数据对应的模型近似正视前方。在一个实例中，可以选取鼻尖点为坐标轴的原点沿着z轴负方向移动设定长度，鼻尖点也可以理解为人脸图像中的68个特征点中第30个点对应的三维坐标。其中设定长度可以是100mm。

本实施例中，根据步骤S204获取的鼻翼三维特征点数据，假设鼻翼一侧三维特征点的坐标为(x0，y0，z0)，过该三维特征点水平截取三维数据，即遍历所有点云数据筛选出坐标满足[y0-t，y0+t](t为较小阈值)范围内的所有点云得到截线数据，将所述截线数据作为耳垂边沿线。如图8b和8c所示一个实例中选出的耳垂边沿线的数据的示意图。

本实施例中，如图9所示，在步骤S205之前，所述方法还包括以下步骤。

步骤S401，获取所述目标图像中的眉毛上侧的第二感兴趣区域。

本实施例中，取所述目标图像中原始检测出的68个关键特征点眉毛部分的数据为基准，提取眉毛以上的第二感兴趣区域。

在一个实例中，所述目标图像的人物佩戴有发带，深度图像中发带与额头融为一体。

在一个实例中，如图10a所示，图10a为本发明实施例提供的一个实例中的人脸数据对应的深度图数据的示意图。其中，图中的黑色部分表示有效数据，也就是与背景颜色相差较大；白色为无效数据，与背景比较接近。在一个实例中，可以取图示中的黑色部分的数据进行计算分析。

进一步地，获取所述第二感兴趣区域。以图10a所示实例为例提取人脸图像的第二感兴趣区域可以得到部分深度图数据，也就是图10b所示的部分深度图。

步骤S402，获取所述第二感兴趣区域中的每一列数据中对应的波动点。

本实施例中，由于发箍和额头的分界部分存在厚度变化，对应的深度图数据将会出现明显的波动，其中，人额头以上相对人脸的其它部分相对较宽，可以选取图10b所示中的黑色数据最宽的一列进行分析，其中图10c示出了黑色数据最宽的一列的深度值变化图。如图10c所示，其中图示中的横坐标150、200、250、300、350及400用于标识黑色数据最宽的一列各个点的竖直方向上的位置，纵坐标4350、4400、4450及4500用于标识黑色数据最宽的一列各个点的深度值。图示中出现明显的峰值处对应的可以判断为额头与发箍的交界位置。其中，图10c所示的峰值处可以理解为黑色数据最宽的一列的波动点。以同样的方式可以得到第二感兴趣区域中的其它列数据中对应的波动点。

进一步地，所述第二感兴趣区域的列数据中出现明显的峰值处对应的可以判断为额头与发箍的交线位置。

步骤S403，根据多个波动点得到所述目标图像中人物的额头边界。

所述步骤S205可以替换为步骤S404，根据所述额头边界及所述输出结果得到所述目标图像的识别结果。

进一步地，步骤S401至S403也可以不在步骤S201-S205的基础上执行，也就是说，所述图像处理方法可以包括以下步骤：

获得目标图像中各个点的三维特征点数据；

获取所述目标图像中的眉毛上侧的第二感兴趣区域；

获取所述第二感兴趣区域中的每一列数据中对应的波动点；

根据多个波动点得到所述目标图像中人物的额头边界；以及

根据所述额头边界得到所述目标图像的识别结果。

关于上述步骤的具体细节可以参考前面的描述，在此不再赘述。

本实施例中，如图11所示，所述步骤S403包括以下步骤。

步骤S4031，对每一列对应的多个波动点进行检测，剔除多个波动点中标准偏差过大的数据点，得到目标波动点。

本实施例中，可以取最宽的列数据以及次最宽数据，假设选出的列数为N，对某列数据进行波峰检测，筛选出最合适的波峰位置，N列数据对应N个波峰对应的波动点。

进一步地，分析N个数据的标准偏差剔除偏差过大的数据。本实施例中，可得到基准列(假设为n0列为基准列)以及该列对应的额头与发箍的边界点。

步骤S4032，将所述第二感兴趣区域中所有列对应的目标波动点进行遍历比较，剔除与相邻目标波动点的差值超过设定的经验阈值的点，以得到额头边界。

对提取的第二感兴趣区域进行从基准列沿着两个方向进行遍历，其中，基准列可以表示为第n0列，其中0和w分别表示水平方向的两边缘列。也就是对第二感兴趣区域沿着n0到w方向和n0到0的两个方向进行遍历。可以知道的是发箍和额头的边界线是连续的，相邻的每列之间的边界点会存在一定范围波动，设定经验阈值开始进行遍历查找。最终，可以得到发箍深度值被剔除的数据，额头点位置直接可以根据边缘线确定。本实施例中，所述经验阈值可以是9-15个像素宽度，例如可以是12个像素宽度。

现有的对额头的识别是采用肤色提取算法，检测是头发和额头的边界，但是该种方法受限于光照(光照不均匀、反光、阴影等)条件，同时如果拍摄对象头发佩戴了不同颜色的发饰也会给肤色提取带来很大影响。但是根据本实施例中的额头识别方式可以很好地避免对发带不能识别的情况。该种方法从深度图出发，剔除发饰部分数据，能更好的定位额头与头发边缘。

本发明实施例的图像处理方法，通过在所述目标图像上获取的第一感兴趣区域中各个三维特征点数据，将三维数据信息引入到人脸识别中，对比于二维图像的人脸识别，可以将鼻子宽度尺寸信息，鼻高信息应用于人脸识别，使对人脸的识别具有更高的可靠性。

在另一个实施例中，本实施例中可以包括上述的步骤S201-204、步骤S301-304以、步骤S401-403以及，在执行完步骤S201-204、步骤S301-304以、步骤S401-403之后还可以执行，根据所述耳垂附近点位置、所述额头边界及所述输出结果对所述目标图像进行定位识别以得到人脸识别结果。

请参阅图12，是本发明实施例提供的图1所示的图像处理装置110的功能模块示意图。本实施例中的图像处理装置110的各个模块及单元用于执行上述方法实施例中的各个步骤。所述图像处理装置110包括：获得模块1101、第一获取模块1102、遍历模块1103、第一筛选模块1104及识别模块1105。

所述获得模块1101，用于获得目标图像中各个点的三维特征点数据。

所述目标图像包括深度图像和RGB图像，其中深度图像和RGB图像中的各个点对应，所述获得模块1101，还用于：

根据深度图像和获得该深度图像的相机的内参计算得到深度图像对应的三维点云数据；

对人脸的RGB图像进行人脸特征点检测，得到RGB图像中的人脸特征点；

将所述人脸特征点与所述三维点云数据进行匹配得到三维特征点数据。

所述第一获取模块1102，用于获取所述目标图像中鼻子部分对应的第一感兴趣区域。

所述遍历模块1103，用于遍历求导所述第一感兴趣区域中的每行数据，以得到每一行数据中的鼻翼的多个定位点。

所述第一筛选模块1104，用于从所述多个定位点中筛选出目标定位点作为鼻翼识别的输出结果。

所述识别模块1105，用于根据所述输出结果对所述目标图像进行定位识别以得到人脸识别结果。

本实施例中，所述图像处理装置110还可包括：第二获取模块1106、第二筛选模块1107、处理模块1108及确定模块1109。

所述第二获取模块1106，用于获取所述目标图像中与所述输出结果查找到的鼻翼位置点的纵向差值小于预设值的多个点云数据。

所述第二筛选模块1107，用于根据耳垂附近点所在位置的经验参数对所述多个点云数据进行筛选，得到耳垂附近点云数据。

所述处理模块1108，用于将所述耳垂附近点云数据进行处理得到深度图，得到和耳垂附近点云数据对应的平面图。

所述确定模块1109，用于根据所述平面图确定耳垂附近点位置。

所述识别模块1105还用于：根据所述耳垂附近点位置及所述输出结果对所述目标图像进行定位识别以得到人脸识别结果。

本实施例中，所述确定模块1109还用于将所述平面图中的离散的点进行闭运算，以得到连续的点集，对所述连续的点集进行提取，得到耳垂边沿线，获取所述耳垂边沿线的转折点位置，并将所述转折点位置作为耳垂附近点位置。

本实施例中，所述图像处理装置110还可包括：第三获取模块、第四获取模块以及得到模块。

所述第三获取模块，用于获取所述目标图像中的眉毛上侧的第二感兴趣区域。

所述第四获取模块，用于获取所述第二感兴趣区域中的每一列数据中对应的波动点。

所述得到模块，用于根据多个波动点得到所述目标图像中人物的额头边界。

所述识别模块1105还用于：根据所述额头边界及所述输出结果对所述目标图像进行定位识别以得到人脸识别结果。

本实施例中，所述得到模块还用于对每一列对应的多个波动点进行检测，剔除多个波动点中标准偏差过大的数据点，得到目标波动点，将所述第二感兴趣区域中所有列对应的目标波动点进行遍历比较，剔除与相邻目标波动点的差值超过设定的经验阈值的点，以得到额头边界。

本实施例中，所述遍历模块1103还用于计算每行数据的一阶导数，获取一阶导数的波谷点对应在该行的位置，并将波谷点作为定位点。

本实施例中，所述第一筛选模块1104还用于计算每一行的两个定位点的距离，选取其中距离最宽的两个定位点作为鼻翼识别的输出结果。

本实施例中，所述第一筛选模块1104还用于计算每一行的两个定位点的距离，选取其中距离最宽的两个定位点和次宽的两个定位点，将筛选的数据计算均值作为鼻翼识别的输出结果。

关于本实施例的其它细节可以进一步地参考上述方法实施例中的描述，在此不再赘述。

本发明实施例的图像处理装置，通过在所述目标图像上获取的第一感兴趣区域中各个三维特征点数据，将三维数据信息引入到人脸识别中，对比于二维图像的人脸识别，可以将鼻子宽度尺寸信息，鼻高信息应用人脸识别，使对人脸的鼻翼的识别具有更高的可靠性。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种图像处理方法，其特征在于，包括：

获得目标图像中各个点的三维特征点数据，获取所述目标图像中鼻子部分对应的第一感兴趣区域遍历求导所述第一感兴趣区域中的每行数据，以得到每一行数据中的鼻翼的多个定位点从所述多个定位点中筛选出目标定位点作为鼻翼识别的输出结果，和/或，获取所述目标图像中的眉毛上侧的第二感兴趣区域，获取所述第二感兴趣区域中的每一列数据中对应的波动点，对每一列对应的多个波动点进行检测，剔除多个波动点中标准偏差过大的数据点，得到目标波动点；将所述第二感兴趣区域中所有列对应的目标波动点进行遍历比较，剔除与相邻目标波动点的差值超过设定的经验阈值的点，以得到额头边界，其中，所述波动点表示深度图数据出现波动的点；以及

根据所述输出结果和/或所述额头边界得到所述目标图像的识别结果。

2.如权利要求1所述的图像处理方法，其特征在于，在所述根据所述输出结果对所述目标图像进行定位识别以得到人脸识别结果的步骤之前，所述方法还包括：

获取所述目标图像中与所述输出结果查找到的鼻翼位置点的纵向差值小于预设值的多个点云数据；

根据耳垂附近点所在位置的经验参数对所述多个点云数据进行筛选，得到耳垂附近点云数据；

将所述耳垂附近点云数据进行处理得到和耳垂附近点云数据对应的平面图；

根据所述平面图确定耳垂附近点位置；

所述根据所述输出结果得到所述目标图像的识别结果的步骤包括：根据所述耳垂附近点位置及所述输出结果得到所述目标图像的识别结果。

3.如权利要求2所述的图像处理方法，其特征在于，所述根据所述平面图确定耳垂附近点位置的步骤包括：

将所述平面图中的离散的点进行闭运算，以得到连续的点集；

对所述连续的点集进行提取，得到耳垂边沿线；

获取所述耳垂边沿线的转折点位置，并将所述转折点位置作为耳垂附近点位置。

4.如权利要求1所述的图像处理方法，其特征在于，所述遍历求导所述第一感兴趣区域中的每行数据，以得到每一行数据中的鼻翼的多个定位点的步骤包括：

计算每行数据的一阶导数；

获取一阶导数的波谷点对应在该行的位置，并将波谷点作为定位点。

5.如权利要求1所述的图像处理方法，其特征在于，所述从所述多个定位点中筛选出目标定位点作为鼻翼识别的输出结果的步骤包括：

计算每一行的两个定位点的距离，选取其中距离最宽的两个定位点作为鼻翼识别的输出结果。

6.如权利要求1所述的图像处理方法，其特征在于，所述从所述多个定位点中筛选出目标定位点作为鼻翼识别的输出结果的步骤包括：

计算每一行的两个定位点的距离，选取其中距离最宽的两个定位点和次宽的两个定位点，将筛选的数据计算均值作为鼻翼识别的输出结果。

7.如权利要求1所述的图像处理方法，其特征在于，所述目标图像包括深度图像和RGB图像，其中深度图像和RGB图像中的各个点对应，所述获得目标图像中各个点的三维特征点数据，包括：

根据深度图像和获得该深度图像的相机的内参计算得到深度图像对应的三维点云数据；

对人脸的RGB图像进行人脸特征点检测，得到RGB图像中的人脸特征点；

将所述人脸特征点与所述三维点云数据进行匹配得到三维特征点数据。

8.一种图像处理装置，其特征在于，包括：

获得模块，用于获得目标图像中各个点的三维特征点数据；

第一获取模块，用于获取所述目标图像中鼻子部分对应的第一感兴趣区域；

遍历模块，用于遍历求导所述第一感兴趣区域中的每行数据，以得到每一行数据中的鼻翼的多个定位点；

第一筛选模块，用于从所述多个定位点中筛选出目标定位点作为鼻翼识别的输出结果；

第三获取模块，用于获取所述目标图像中的眉毛上侧的第二感兴趣区域；

第四获取模块，用于获取所述第二感兴趣区域中的每一列数据中对应的波动点；

得到模块，用于对每一列对应的多个波动点进行检测，剔除多个波动点中标准偏差过大的数据点，得到目标波动点，将所述第二感兴趣区域中所有列对应的目标波动点进行遍历比较，剔除与相邻目标波动点的差值超过设定的经验阈值的点，以得到额头边界，其中，所述波动点表示深度图数据出现波动的点；

识别模块，用于根据所述输出结果和/或所述额头边界得到所述目标图像的识别结果。

9.如权利要求8所述的图像处理装置，其特征在于，所述装置还包括：

第二获取模块，用于获取所述目标图像中与所述输出结果查找到的鼻翼位置点的纵向差值小于预设值的多个点云数据；

第二筛选模块，用于根据耳垂附近点所在位置的经验参数对所述多个点云数据进行筛选，得到耳垂附近点云数据；

处理模块，用于将所述耳垂附近点云数据进行处理得到和耳垂附近点云数据对应的平面图；

确定模块，用于根据所述平面图确定耳垂附近点位置；

所述识别模块还用于：根据所述耳垂附近点位置及所述输出结果得到所述目标图像的识别结果。

Images