CN109242900B

CN109242900B - 焦平面定位方法、处理装置、焦平面定位系统及存储介质

Info

Publication number: CN109242900B
Application number: CN201810863649.4A
Authority: CN
Inventors: 朱康; 石志儒
Original assignee: Yaoke Intelligent Technology Shanghai Co ltd
Current assignee: Yaoke Intelligent Technology Shanghai Co ltd
Priority date: 2018-08-01
Filing date: 2018-08-01
Publication date: 2021-09-21
Anticipated expiration: 2038-08-01
Also published as: CN109242900A

Abstract

本发明的焦平面定位方法、处理装置、焦平面定位系统及存储介质，通过获取位于场景上方的至少一个深度相机以采集该场景的第一深度图像，从中截取符合行人头部高度的第二深度图像；对第二深度图像检测其中的各个行人头部；定位第二深度图像中的行人头部上参考点的图像坐标，并利用深度相机的内、外参数映射为世界坐标；利用前置相机的外参来映射该参考点的世界坐标为其相机坐标系下坐标，得到参考点所在的第一焦平面的深度数据；获取参考点至人脸所在第二焦平面的间距，偏移间距得到人脸所在的第二焦平面；将前置相机重聚焦于第二焦平面，以得到对应的人脸图像；本发明可以实现同一图像中对不同深度人脸的精准对焦提取。

Description

焦平面定位方法、处理装置、焦平面定位系统及存储介质

技术领域

本发明涉及图像处理技术领域，特别是涉及焦平面定位方法、处理装置、焦平面定位系统及存储介质。

背景技术

光作为一种分布在空间中的电磁场，具有振幅、相位、波长等多种属性，帮助人类感知物体的明暗、位置和色彩。然而，传统的光学成像智能捕获到光辐射在二维平面上的投影强度，而失去了目标的三维形态数据。光场数据采集，便是是获取光辐射的完整分布，通过变换和积分等数据处理手段来计算所需要的图像。光场成像指的是光场的采集将光场处理为图像的过程。光场成像作为一种计算成像技术，其“所得”(光场)需要经过相应的数字处理算法才能得到“所见”(图像)。

光场渲染是人脸检测系统的重要算法模块。首先根据人脸检测系统的内外参，对采集到的画面进行去畸变，并通过投影技术手段去除倾斜角对场景的影响；然后，利用光场合成孔径成像技术和光场重建算法，根据不同的聚焦参数，对图像进行不同焦平面的光场重聚焦渲染，完成光场去遮挡功能。

针对不同的应用场景，存在多种方法确定对焦平面。对于应用范围单一的固定场景，可以直接人为设定焦平面，使得光场系统固定在对焦于同一个焦平面，进行光场渲染；对于需要前景对焦的场景，可以利用图像算法对场景前景进行测距，从而估计出焦平面距离，这种方法的准确性很大程度上依赖于测距方法的有效性以及场景环境的复杂程度；对于多对焦平面需求的应用，可以通过扫焦的方式，即由远至近的设定不同的对焦面，知道光场对焦，但是这一种对焦方式，一是与场景内容无关，所以并不知道哪一个对焦面是准确的，二是它的效果依赖于扫焦分辨率。所以提出一种自适应的对焦方法，至关重要。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供焦平面定位方法、处理装置、焦平面定位系统及存储介质，准确定位同一图像中各个深度的人脸所在焦平面，解决现有技术中的问题。

为实现上述目的及其他相关目的，本发明提供一种焦平面定位方法，包括：获取通过位于场景上方的采集方向向下的至少一个深度相机以采集该场景的第一深度图像；从所述第一深度图像中截取符合行人头部高度的第二深度图像；对所述第二深度图像进行头部区域检测以检测其中的各个行人头部；定位第二深度图像中的至少一个行人头部上预定位置的参考点的图像坐标，并利用所述深度相机的内、外参数映射为该参考点的世界坐标；利用设置成采集方向为面向该场景中行人的至少一个前置相机的外参来映射该参考点的世界坐标为所述前置相机的相机坐标系下的相机坐标，以得到所述参考点所在的对应该前置相机的一第一焦平面的深度数据；获取所述参考点至人脸的间距，以令所述第一焦平面在深度上偏移所述间距得到人脸所在的第二焦平面；将所述前置相机重聚焦于所述第二焦平面，以得到对应的人脸图像。

于本发明的一实施例中，所述从所述第一深度图像中截取符合行人头部高度的第二深度图像，包括：判断位于预设的身高高度区间内及外的像素点；对身高高度区间内及外的像素点分别给予不同赋值以得到所述第二深度图像。

于本发明的一实施例中，所述对所述第二深度图像进行头部区域检测以检测其中的各个行人头部，包括：连通域检测步骤，包括：通过连通域检测算法为第二深度图像中的各个头部区域的像素分别分配连通域标签，其中，不同连通域对应不同行人，以检测出分属于各个行人的头部区域，并对各头部区域及其外部区域的像素分别给予不同赋值。

于本发明的一实施例中，在所述连通域检测步骤之前，还包括：图像预处理步骤，其包括：设置一圆形掩膜以模拟人体头部顶视的平面形状，用于对位于其内及外的像素点进行不同赋值；通过该圆形掩膜对第二深度图像中行人头部以外部分的加以过滤，以得到过滤后图像，供执行所述连通域检测步骤。

于本发明的一实施例中，所述不同赋值指的是二值法中的0和1。

于本发明的一实施例中，所述行人头部上预定位置的参考点为头部中心点；所述定位第二深度图像中的至少一个行人头部上预定位置的参考点的图像坐标，包括：设头部顶视的平面形状为圆形，利用圆拟合算法来根据属于第k个连通域内像素集合P＝{p|L(p)＝k}计算得到第k个行人头部的头部中心点的二维图像坐标(x_k,y_k)：其中，L(p)表示连通域；p为像素点的图像坐标。

于本发明的一实施例中，所述圆拟合算法包括：平均值法、加权平均法、或最小二乘法。

于本发明的一实施例中，所述利用所述深度相机的内、外参数映射为参考点的图像坐标为世界坐标，包括：根据第k个行人头部的参考点的二维图像坐标(x_k,y_k)，结合

计算得到在深度相机坐标系下的所述参考点的三维坐标

即p为像素点的图像坐标，进而得到所述参考点的世界坐标为:

其中，j为深度相机的序号，

为第j个深度相机拍摄的第一深度图像中像素p的深度值，f_x及f_y为第j个深度相机的内参

中的尺度因子，

为第j个深度相机外参中的旋转矩阵，

为第j个深度相机外参中的平移矩阵。

于本发明的一实施例中，所述利用采集方向面向该场景中行人的前置相机的外参来映射该参考点的世界坐标为所述前置相机的相机坐标系下的相机坐标，以得到所述参考点所在的对应该前置相机的一第一焦平面的深度数据，包括：根据预设的所述前置相机的外参中的旋转矩阵R_v和平移矩阵t_v，计算所述参考点的世界坐标

在所述前置相机的相机坐标系下的三维坐标为：

根据P_v计算得到参考点对应该前置相机的第一焦平面的深度数据Z_v。

为实现上述目的及其他相关目的，本发明提供一种处理装置，包括：通信器、处理器及存储器；所述通信器，通信连接外部设备；所述存储器，存储焦平面定位程序；所述处理器，通信连接所述通信器及存储器，用于运行所述焦平面定位程序以执行所述的焦平面定位方法。

为实现上述目的及其他相关目的，本发明提供一种焦平面定位系统，包括：设于场景上方且采集方向为向下的至少一个深度相机；设置成采集方向为面向该场景中行人的至少一个前置相机；所述的处理装置，通过其通信器通信连接所述深度相机及前置相机。

为实现上述目的及其他相关目的，本发明提供一种计算机存储介质，存储有焦平面定位程序，所述焦平面定位程序被运行时执行所述的焦平面定位方法。

如上所述，本发明的焦平面定位方法、处理装置、焦平面定位系统及存储介质，通过获取通过位于场景上方的采集方向向下的至少一个深度相机以采集该场景的第一深度图像；从所述第一深度图像中截取符合行人头部高度的第二深度图像；对所述第二深度图像进行头部区域检测以检测其中的各个行人头部；定位第二深度图像中的至少一个行人头部上预定位置的参考点的图像坐标，并利用所述深度相机的内、外参数映射为该参考点的世界坐标；利用设置成采集方向为面向该场景中行人的至少一个前置相机的外参来映射该参考点的世界坐标为所述前置相机的相机坐标系下的相机坐标，以得到所述参考点所在的对应该前置相机的一第一焦平面的深度数据；获取所述参考点至人脸的间距，以令所述第一焦平面在深度上偏移所述间距得到人脸所在的第二焦平面；将所述前置相机重聚焦于所述第二焦平面，以得到对应的人脸图像；本发明可以实现同一图像中对不同深度人脸的精准对焦提取，解决现有技术的问题。

附图说明

图1显示为本发明实施例中的光场成像的场景示意图。

图2显示为本发明实施例中的焦平面定位方法的流程示意图。

图3显示为本发明实施例中的焦平面定位方法的步骤S202具体细分步骤的流程示意图。

图4显示为本发明实施例中的焦平面定位方法的步骤S203具体细分步骤的流程示意图。

图5显示为本发明实施例中的处理装置的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

承前所述，在现有的焦平面定位系统中，都是基于在面对人群的方向进行深度图像的采集从而进行人脸识别，而对人脸所在焦平面都是采取估计的方式，其精确性较为欠缺。为改善这一问题，本发明提供一套改进的焦平面定位系统，通过设置在不同角度的图像采集设备配合来完成对各个深度的焦平面的精准定位。

请参阅图1所示，展示本发明实施例中的焦平面定位系统的结构示意图。

所述焦平面定位系统应用于一场景中，所述场景可以是公共场合的场景，例如人流量密集的室外空间及室内空间，如街头、景点、或商场等。需特别说明的是，上述举例的场景并非为限制本发明的具体实施，只是在人流量较大的场景中更能体现本发明在不同深度以对应不同行人进行精准确定人脸所在焦平面的优点。

在图示的实施例中，所述焦平面定位系统包括：至少一前置相机101、至少一深度相机102及处理装置103。

所述前置相机101设置成采集方向为面向该场景中行人的状态。举例来讲，所述前置相机101可以正对行人正面设置。所述至少一个前置相机101构成光学成像系统，其用于对各个行人的人脸进行成像。

所述深度相机102设于场景上方且采集方向为向下设置。具体来讲，所述深度相机102可以向下采集包含场景中各个行人的头部的图像，例如图片或视频等图像格式；而且，深度相机102在所采集该图像中包含了深度数据，因此该图像即可称为深度图像；所述深度是相对沿深度相机102的光轴的远近来讲的，通常的相机只能采集到被拍摄物体的二维平面图像，即在平面图像上，每个像素点只有(x，y)两个坐标，并没有在光轴方向Z上的远近的坐标呈现；而深度相机102还采集了该光轴上远近的坐标z，以令每个成像的像素点还保有被拍摄物对应位置的深度信息。

深度相机102根据其工作原理可以分为三种：TOF、RGB双目、结构光所述深度相机102，本发明实施例中的深度相机102可以选自其中的任意一种。

在本实施例中，展示有离前置相机101不同远近的三个行人，也就是说，在光学成像系统所成像的图像上能保留这个三个行人的人脸的精确的深度信息，用于对这三个行人的人脸所在的焦平面即焦平面A、焦平面B、焦平面C分别进行对焦来形成清晰的人脸图像的成像，以供人脸识别。而精确的深度信息的获取可以通过该深度相机102来实现。

具体的，所述深度相机102优选是设置成采集方向竖直向下，竖直向下采集的人体头部图像不会形变严重。但需说明的是，所述采集方向也可以是向下的其它方向，并非以此为限。

所述深度相机102采集包含各个行人的头部的深度图像。在这个向下拍摄的深度图像中，只要能在其平面数据中定位各个行人的头部位置，进而定位各个行人脸部的焦平面位置，也就相当于确定了相对前置相机101来讲的各个焦平面的精确的深度位置；再利用前置相机101在所定位各个焦平面对焦成像，就能得到各个行人的清晰的人脸图像。

而在本实施例中，所述处理装置103通信连接所述前置相机101及深度相机102，其可运算以实现上述定位对应各个行人人脸的焦平面并对应对焦成像来得到清晰人脸图像的过程。

如图2所示，展示本发明实施例中的焦平面定位方法的流程示意图。所述焦平面定位方法可以应用于前述实施例中的处理装置。

所述方法包括：

步骤S201：获取通过位于场景上方的采集方向向下的至少一个深度相机以采集该场景的第一深度图像。

设定有N个深度相机，可以利用计算机视觉中的多相机标定技术(例如张正友标定法等)获取其内参

旋转矩阵

以及平移向量t_Dj。其中j∈[1,N]。设定图像中像素点表示为p＝(x,y)^T，对应三维世界坐标系内的坐标点表示为P＝(X,Y,Z)^T。

在本发明的一或多个实施例中，所述深度相机可以是竖直向下拍摄；所述第一深度图像即向下拍摄的包含各个行人头部的顶视深度图像。

步骤S202：从所述第一深度图像中截取符合行人头部高度的第二深度图像。

于本发明的一实施例中，如图3所示，所述从所述第一深度图像中截取符合行人头部高度的第二深度图像，包括：

步骤S301：判断位于预设的身高高度区间内及外的像素点。

步骤S302：对身高高度区间内及外的像素点分别给予不同赋值以得到所述第二深度图像。

具体的，设每个深度相机D_j获取的深度图像信息为

设定TH_L和TH_H分别为当前场景内的头部可能所在的最低和最高的身高限制，例如TH_L是行人头部顶点或其以上附近位置的高度，所述TH_L是行人头部下端点例如下巴顶点或其以下附近位置的高度，形成区间[TH_L,TH_H]，表示行人头部可能所在的区域阈值。所述不同赋值指的是二值法中的0和1，则行人头部深度信息二值化

满足如下关系：

步骤S203：对所述第二深度图像进行头部区域检测以检测其中的各个行人头部。

于本发明的一实施例中，如图4所示，步骤S203进一步包括：

步骤S401：连通域检测步骤，包括：通过连通域检测算法为第二深度图像中的各个头部区域的像素分别分配连通域标签，其中，不同连通域对应不同行人，以检测出分属于各个行人的头部区域，并对各头部区域及其外部区域的像素分别给予不同赋值。

于本发明的一实施例中，优选的，在所述连通域检测步骤S401之前，还包括：

步骤S400：图像预处理步骤，其包括：设置一圆形掩膜以模拟人体头部顶视的平面形状，用于对位于其内及外的像素点进行不同赋值；通过该圆形掩膜对第二深度图像中行人头部以外部分的加以过滤，以得到过滤后图像，供执行所述连通域检测步骤。

图中步骤S400的框为虚线，表示该步骤为可选，并非必须。

具体的，为了防止由于深度传感器噪声原因导致的有效区域边缘和内部存在若干孤立的噪声点，设置该圆形掩膜M对

进行滤波，圆形是为了模拟顶视图行人头部模型(头部在俯视视角下呈现为圆形)。

M构造如下：

其中R为设定的掩膜M的半径。滤波后的B'_h(p)为：

其中，进行滤波的过程可以是以

中每一点为M的中心即圆心，进行M的遍历，p₀表示当前操作的像素点，其可以是手工设定，也可以是通过后续的圆拟合算法来得到的。

关于该连通域检测步骤：由于深度相机可以为竖直向下拍摄，对于直立的行人而言，

所显示的头部与头部之间会有较大的分离，所以通过连通域检测将不同行人分类于不同的连通域标签下。连通域检测算法可以利用现有的4邻域或8邻域检测算法等对

进行处理，生成与

对应的

中属于同一连通域的像素标记为相同的数字，从1到K，K为当前帧行人头部总数量，背景填充为0。

步骤S204：定位第二深度图像中的至少一个行人头部上预定位置的参考点的图像坐标，并利用所述深度相机的内、外参数映射为该参考点的世界坐标。

于本发明的一实施例中，所述行人头部上预定位置的参考点为头部中心点；所述定位第二深度图像中的至少一个行人头部上预定位置的参考点的图像坐标，包括：

设头部顶视的平面形状为圆形，利用圆拟合算法来根据属于第k个连通域内像素集合P＝{p|L(p)＝k}计算得到第k个行人头部的头部中心点的二维图像坐标(x_k,y_k)：其中，L(p)表示连通域；p为像素点的图像坐标。

于本发明的一实施例中，所述圆拟合算法包括：平均值法、加权平均法、或最小二乘法，这些圆拟合算法可用于根据边缘点计算出待拟合圆的圆心和半径。

举例来说，可以采用加权平均法，经过连通域检测后，根据同属于k标记的连通域内像素集合P＝{p|L(p)＝k}可计算第k个行人头部的中心点二维图像坐标(x_k,y_k)满足：

另外，于本发明的一实施例中，所述利用所述深度相机的内、外参数映射为参考点的图像坐标为世界坐标，包括：

根据第k个行人头部的参考点的二维图像坐标(x_k,y_k)，结合

计算得到在深度相机坐标系下的所述参考点的三维坐标

其中，j为深度相机的序号，

中的尺度因子，

为第j个深度相机外参中的旋转矩阵，

为第j个深度相机外参中的平移矩阵。

步骤S205：利用设置成采集方向为面向该场景中行人的至少一个前置相机的外参来映射该参考点的世界坐标为所述前置相机的相机坐标系下的相机坐标，以得到所述参考点所在的对应该前置相机的一第一焦平面的深度数据；

在所述前置相机的相机坐标系下的三维坐标为：

步骤S206：获取所述参考点至人脸的间距，以令所述第一焦平面在深度上偏移所述间距得到人脸所在的第二焦平面。

由于相对于前置相机来讲，头部上的参考点(如行人头部中心)和行人脸部处于不同深度的焦平面，故举例来说，设定Δ为行人头部上参考点与行人面部之间的距离，则最终行人面部所处焦平面Z_m＝Z_v-Δ。

步骤S207：将所述前置相机重聚焦于所述第二焦平面，以得到对应的人脸图像。

举例来说，光场成像系统重聚焦于焦平面Z_m，则可以获得清晰的第k个行人的人脸，在第1至第k个行人之中测算全部人脸焦平面，则可使得光场能够在同一帧图像中对处于不同深度的行人进行对焦，从而实现全部行人的人脸提取。

如图5所示，展示本发明提供的处理装置的结构示意图。所述处理装置可用于实现图1实施例中的处理装置。于本发明的一或多个实施例中，所述处理装置可以是服务器、台式机、笔记本电脑、智能手机、平板电脑、或分布式网络处理装置等。

所述处理装置可以包含在光场成像系统中，其可以是在前置相机本地设置，也可以是与所述处理装置分设于不同位置，两者间通过通信网络远程传输。

当然，图示结构只是示意。在一些实施例中，所述处理装置也可以是部件存在，集成在所述前置相机中，甚至集成在所述深度相机中。

所述处理装置包括：通信器501、处理器502及存储器503。

所述通信器501，通信连接外部设备。在本发明的一或多个实施例中，所述通信器501包括与前置相机和深度相机相连的数据接口，以接收采集到的图像数据，所述数据接口和前置相机和深度相机间可以是有线通信连接，该数据接口例如为CVBS、VGA、DVI、HDMI、SDI、camera Link、HS-LINK、CoaXPress等。

可选的，所述通信器501还可以包括无线通信模块，例如蓝牙、红外、WiFi、2G/3G/4G/5G、NFC等无线通信模块，而相机上设置基于相同通信协议的无线通信模块，从而两者间通过无线通信方式连接。

所述存储器503，存储焦平面定位程序。在本发明的一或多个实施例中，所述存储器503可能包含随机存取存储器503(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器503(non-volatilememory)，例如至少一个磁盘存储器503。

所述处理器502，通信连接所述通信器501及存储器503，用于运行所述焦平面定位程序以执行所述的焦平面定位方法，例如图2的方法实施例。在本发明的一或多个实施例中，所述的处理器502可以是通用处理器502，包括中央处理器502(CentralProcessingUnit，简称CPU)、网络处理器502(NetworkProcessor，简称NP)等；还可以是数字信号处理器502(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

于本发明的一或多个实施例中，本发明还可提供一种计算机存储介质，存储有焦平面定位程序，所述焦平面定位程序被运行时执行所述的焦平面定位方法。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(SolidStateDisk,SSD))等。

综上所述，本发明的焦平面定位方法、处理装置、焦平面定位系统及存储介质，通过获取通过位于场景上方的采集方向向下的至少一个深度相机以采集该场景的第一深度图像；从所述第一深度图像中截取符合行人头部高度的第二深度图像；对所述第二深度图像进行头部区域检测以检测其中的各个行人头部；定位第二深度图像中的至少一个行人头部上预定位置的参考点的图像坐标，并利用所述深度相机的内、外参数映射为该参考点的世界坐标；利用设置成采集方向为面向该场景中行人的至少一个前置相机的外参来映射该参考点的世界坐标为所述前置相机的相机坐标系下的相机坐标，以得到所述参考点所在的对应该前置相机的一第一焦平面的深度数据；获取所述参考点至人脸的间距，以令所述第一焦平面在深度上偏移所述间距得到人脸所在的第二焦平面；将所述前置相机重聚焦于所述第二焦平面，以得到对应的人脸图像；本发明可以实现同一图像中对不同深度人脸的精准对焦提取，解决现有技术的问题。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。