CN112634152A - 基于图像深度信息的人脸样本数据增强方法及系统 - Google Patents

基于图像深度信息的人脸样本数据增强方法及系统 Download PDF

Info

Publication number
CN112634152A
CN112634152A CN202011487292.8A CN202011487292A CN112634152A CN 112634152 A CN112634152 A CN 112634152A CN 202011487292 A CN202011487292 A CN 202011487292A CN 112634152 A CN112634152 A CN 112634152A
Authority
CN
China
Prior art keywords
camera
point
depth
matrix
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011487292.8A
Other languages
English (en)
Inventor
许亮
曹玉社
李峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongkehai Micro Beijing Technology Co ltd
Original Assignee
Zhongkehai Micro Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongkehai Micro Beijing Technology Co ltd filed Critical Zhongkehai Micro Beijing Technology Co ltd
Priority to CN202011487292.8A priority Critical patent/CN112634152A/zh
Publication of CN112634152A publication Critical patent/CN112634152A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明提供了一种基于图像深度信息的人脸样本数据增强方法及系统，包括：分别进行单目相机和双目相机标定，基于标定的参数，进行彩色图和深度图的对齐，得到对齐后的彩色图和深度图；基于对齐后的彩色图和深度图，生成原图的点云图；对于点云图中的每一个点，通过透视投影得到其投影后的二维坐标点，并将原彩色图中的R,G,B像素值赋予对应的投影二维坐标点，生成最终的虚拟样本。同时提供了一种相应的终端和介质。本发明可以生成任意轴任意角度的对应人脸样本，对现有样本进行增强，具有可靠性高、速度低、实用性强等特点，可以应用于现阶段大多数的人脸视觉算法中。

Description

基于图像深度信息的人脸样本数据增强方法及系统
技术领域
本发明涉及计算机视觉技术领域，具体地，涉及一种基于图像深度信息的人脸 样本数据增强方法及系统。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。随着 电子商务等应用的发展，人脸识别成为最有潜力的生物身份验证手段，而人脸识别 特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。
人脸识别被认为是生物特征识别领域甚至人工智能领域最困难的研究课题之一，其困难主要是人脸作为生物特征的特点所带来的。由于人脸的外形很不稳定， 人可以通过脸部的变化产生很多表情，而在不同观察角度，人脸的视觉图像也相差 很大。因此，在人脸检测、人脸识别、活体防伪等计算机视觉领域中，由于样本中 人脸姿态的单一性无法覆盖由于脸部变化所带来的多种情况，使得模型的应用受限， 模型容易出现误识别、不识别等情况，无法真正满足人脸识别的技术需求。
经过检索发现：
授权公告号为：CN104616284B，授权公告日为：2017年08月25日的中国发明 专利《彩色深度相机的彩色图像到深度图像的像素级对准算法》，公开了：包括步 骤1)确定红外图像和深度图像之间的偏移量，2)分别标定红外相机和彩色相机的内 部参数，3)标定红外相机和彩色相机之间的相对姿势，4)标定深度相机模型的参数， 5)利用红外图像和彩色图像的内外参数以及深度图像参数，从彩色图像的一个像素 点出发，找到深度图像上对应的像素点，从而确定彩色图像上的像素点的深度；本 发明能够从彩色图像出发，直接获取对应的深度信息，能够实现从彩色信息到深度 信息的对准，能够获得更大尺寸的融合图像，信息更加丰富。但是该算法操作步骤 冗余，且注重于彩色图和深度图的配准过程，并没有提及配准后的进一步应用。
公开号为CN107507235A：公开日为2017年12月22日：的中国发明专利申请 《一种基于RGB-D设备采集的彩色图像和深度图像的配准方法》，公开了：使用规 则镂空的校正板，利用校正板提供的规则性约束，提取彩色图像和深度图像角点， 并且利用深度角点对深度相机的偏移模型建模。彩色角点和深度角点分别用来获取 彩色相机和深度相机的相机内参以及两个相机之间的相对位置关系。最终，结合偏 移模型及相机内参和相对位置关系精确的配准RGB-D设备采集的彩色图像和深度图 像。所得结果可作为输入数据应用于更高级的计算机视觉、增强现实任务中。该方 法侧重于通过建立偏移模型来实现彩色图像和深度图像的配准，并没有提及配准后 的进一步应用。
综上所述，现有技术中没有有效的能够增强样本的方法，目前没有发现同本发 明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种基于图像深度信息的人脸样本数据增强方法及系统，同时提供了一种相应的终端和存储介质。
根据本发明的一个方面，提供了一种基于图像深度信息的人脸样本数据增强方法，包括：
对彩色相机和深度相机分别进行单目相机标定，得到每个相机的相机内参矩阵；
对彩色相机和深度相机进行双目相机立体标定，得到双目相机中两个相机之间的位 置关系参数矩阵；
基于单目相机和双目相机标定的参数，进行彩色图和深度图的对齐，得到对齐后的 彩色图和深度图；
基于对齐后的彩色图和深度图以及单目相机和双目相机标定的参数，生成原图的点 云图；
对于点云图中的每一个点，通过投影得到其投影后的二维点，并将其像素值赋予投 影得到的二维点，生成最终的虚拟样本。
优选地，所述进行单目相机标定，包括：
通过世界坐标系与相机坐标系之间的刚性变换、相机坐标系与图像坐标系之间的透 视变换、图像坐标系与像素坐标系之间的仿射变换，得到：
所述世界坐标系中的点和像素坐标系中的点的对应关系为：
Figure BDA0002839696550000031
其中，[xp,yp,1]T为像素坐标，[XW,YW,ZW,1]T为世界坐标，fx,fy分别为x,y 轴方向上的归一化焦距，u0,v0分别为图像的中心点坐标，factor为尺度因子，由 fx,fy、u0,v0以及factor组成的矩阵称之为相机内参矩阵，表示为K3*4；R3*3,T3*1分别为世界坐标系到相机坐标系的旋转矩阵和平移矩阵，称之为外参矩阵，表示为A4*4； 其中：
所述相机内参矩阵的参数factor,fx,fy,u0,v0通过张氏标定法得到。
优选地，所述进行双目相机立体标定，得到双目相机中两个相机之间的位置关系参 数矩阵，包括：相机之间的旋转矩阵Rir2rgb和平移矩阵Tir2rgb。
优选地，所述基于单目相机和双目相机标定的参数，进行彩色图和深度图的对齐，得到对齐后的彩色图和深度图，包括：
根据单目相机的相机内参矩阵和双目相机之间的位置关系参数矩阵，得到彩色相机 和深度相机之间的坐标转换关系为：
Figure BDA0002839696550000032
其中，[xR,yR,1,1/zR]T为深度图的像素坐标，Rir2rgb为相机之间的旋转矩阵，Tir2rgb为相机之间的平移矩阵，[xL,yL,1,1/zL]T为彩色图的像素坐标，Krgb为彩色相机的相机 内参矩阵，Kir为深度相机的相机内参矩阵，M为彩色相机和深度相机之间的位置关 系参数矩阵；
记：
Figure BDA0002839696550000041
其中，C4*4为彩色相机的相机内参矩阵、深度相机的相机内参矩阵以及两个相机之间位置关系矩阵的乘积组成的矩阵；cij为该矩阵中的每个元素；
由此可得两个相机的坐标对应关系为：
Figure BDA0002839696550000042
彩色图和深度图的像素通过式(4)得到一一对应的关系，实现彩色图和深度 图的对齐。
优选地，所述基于对齐后的彩色图和深度图以及单目相机和双目相机标定的参数， 生成原图的点云图，包括：
对于宽度为width、长度为height的深度图，依次遍历图中的每个点(xp,yp,Zp)，其中，(xp,yp)为位置坐标，Zp为该位置坐标处的像素值；
建立二维点与点云图中的点的对应关系；
设世界坐标系到相机坐标系的旋转矩阵R3*3为单位矩阵，世界坐标系到相机坐标系 的平移矩阵T3*1为零矩阵，即相机坐标系与世界坐标系重合，则有：
Figure BDA0002839696550000043
将式(5)写成等式的形式可得：
Figure BDA0002839696550000051
其中，[xp,yp,1]T为像素坐标，(XW,YW,ZW)为点云图中的点的位置坐标， fx,fy分别为x,y轴方向上的归一化焦距，u0,v0分别为图像的中心点坐标，factor为 尺度因子，Zc为深度图中世界坐标系中的点在相机坐标系下Z轴上的坐标，在深度已 知的情况下，Zc即为深度图中每个点的像素值Zp；
对于深度图中的每个点(xp,yp,Zp)，得到其对应的点云图中的点的位置坐标为(XW,YW,ZW)；
将彩色图中坐标为(xp,yp)位置点的像素值(rp,gp,bp)赋予得到的点云图中的点，使得点云图中的点的像素值(Rp,Gp,Bp)采用彩色图中对应点的RGB像素值，最终得到 点云图中的点point3D＝(XW,YW,ZW,Rp,Gp,Bp)；
根据得到的点云图中的点的位置坐标向量和像素值向量，生成点云图。
优选地，所述对于点云图中的每一个点，通过投影得到其投影后的二维点坐标，并将其像素值赋予投影得到的二维点，生成最终的虚拟样本，包括：
对点云图中的每一个点的每个轴进行角度旋转，通过给定的弧度角度，得到表 示每个轴角度的旋转矩阵；
将点云图中的每一个点乘上其对应的旋转矩阵，得到旋转后的点，将旋转后的点投 影到二维平面上，得到投影后的二维点；
将点云图的点的像素值赋予对应的投影后的二维点，得到生成的虚拟样本。
优选地，所述对每一个点的每个轴进行角度旋转，通过给定的弧度角度，得到 表示每个轴角度的旋转矩阵，包括：
设每一个点每个轴的旋转角度为：angle_x,angle_y,angle_z；
根据所述旋转角度，得到给定的弧度角度为：
alpha＝angle_x*π/180.0
beta＝angle_y*π/180.0
gamma＝angle_z*π/180.0
其中，alpha,beta,gamma为弧度制下的度数表示值， angle_x,angle_y,angle_z为角度制下的度数表示值；
则有：
R1＝cos(beta)*cos(gamma)
R2＝cos(beta)*sin(gamma)
R3＝-sin(beta)
R4＝sin(alpha)*sin(beta)*cos(gamma)＝cos(alpha)*sin(gamma)
R5＝sin(alpha)*sin(beta)*sin(gamma)+cos(alpha)*cos(gamma)
R6＝sin(beta)*cos(beta)
R7＝cos(alpha)*sin(beta)*cos(gamma)+sin(alpha)*sin(gmma)
R8＝cos(alpha)*sin(beta)*sin(gamma)-sin(alpha)*cos(gmma)
R9＝cos(alpha)*cos(beta)
得到表示每个轴角度的旋转矩阵为：
Figure BDA0002839696550000061
优选地，所述将所述点乘上对应的所述旋转矩阵，得到旋转后的点，将旋转后的点投影到二维点上，得到投影后的二维点，包括：
将点云图中的点乘以其对应的旋转矩阵，得到旋转后的点；
根据二维点和点云图中的点的对应关系，将旋转后的点投影回二维平面，得到 投影后的二维点的位置坐标(xi,yi)；
将点云图中的点的像素值(Rp,Gp,Bp)赋予投影得到的对应的二维点，最终得到 生成的虚拟样本projection_point2D＝(xi,yi,Rp,Gp,Bp)。
根据本发明的另一个方面，提供了一种基于图像深度信息的人脸样本数据增强系统，包括：
单目相机标定模块，该模块对彩色相机和深度相机分别进行单目相机标定，得到每 个相机的相机内参矩阵；
双目相机标定模块，该模块对彩色相机和深度相机进行双目相机立体标定，得到双 目相机中两个相机之间的位置关系参数矩阵；
图对齐模块，该模块基于单目相机和双目相机标定的参数，进行彩色图和深度图的 对齐，得到对齐后的彩色图和深度图；
点云图生成模块，该模块基于对齐后的彩色图和深度图以及单目相机和双目相机标 定的参数，生成原图的点云图；
样本生成模块，该模块对于点云图中的每一个点，通过投影得到其投影后的二维点， 并将其像素值赋予投影得到的二维点，生成最终的虚拟样本。
根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存 储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行 上述任一项所述的方法。
根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算 机程序，该程序被处理器执行时可用于执行上述任一项所述的方法。
由于采用了上述技术方案，本发明与现有技术相比，具有如下的有益效果：
本发明提供的基于图像深度信息的人脸样本数据增强方法、系统、终端及介质，基于图像深度信息，针对正面或偏转角度小的人脸图像，可以生成任意轴任意角度 的对应图像样本，对现有样本进行增强，具有方法简单、可靠性高、运行速度低、 实用性强等特点，可以应用于现阶段大多数的人脸视觉算法中。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例中基于图像深度信息的人脸样本数据增强方法流程图；
图2为本发明一优选实施例中基于图像深度信息的人脸样本数据增强方法流程图；
图3为本发明一优选实施例中单目相机标定的原理示意图；
图4为本发明一实施例中基于图像深度信息的人脸样本数据增强系统模块组成示意图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实 施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发 明的保护范围。
图1为本发明一实施例中基于图像深度信息的人脸样本数据增强方法流程图。
如图1所示，该实施例提供的基于图像深度信息的人脸样本数据增强方法，可 以包括如下步骤：
S100，对彩色相机和深度相机分别进行单目相机标定，得到每个相机的相机内参矩 阵；
S200，对彩色相机和深度相机进行双目相机立体标定，得到双目相机中两个相机之 间的位置关系参数矩阵；
S300，基于单目相机和双目相机标定的参数，进行彩色图和深度图的对齐，得到对齐后的彩色图和深度图；
S400，基于对齐后的彩色图和深度图以及单目相机和双目相机标定的参数，生成原 图的点云图；
S500，对于点云图中的每一个点，通过投影得到其投影后的二维点，并将其像素值赋予投影得到的二维点，生成最终的虚拟样本。
在该实施例的S100中，进行单目相机标定，可以包括如下步骤：
通过世界坐标系与相机坐标系之间的刚性变换、相机坐标系与图像坐标系之间的透 视变换、图像坐标系与像素坐标系之间的仿射变换，得到：
世界坐标系中的点和像素坐标系中的点的对应关系为：
Figure BDA0002839696550000081
其中，[xp,yp,1]T为像素坐标，[XW,YW,ZW,1]T为世界坐标，fx,fy分别为x,y 轴方向上的归一化焦距，u0,v0分别为图像的中心点坐标，factor为尺度因子，由 fx,fy、u0,v0以及factor组成的矩阵称之为相机内参矩阵，表示为K3*4；R3*3,T3*1分别为世界坐标系到相机坐标系的旋转矩阵和平移矩阵，称之为外参矩阵，表示为A4*4； 其中：
相机内参矩阵的参数factor,fx,fy,u0,v0通过张氏标定法得到。
在该实施例的S200中，进行双目相机立体标定，得到双目相机中两个相机之间的位置关系参数矩阵，包括：相机之间的旋转矩阵Rir2rgb和平移矩阵Tir2rgb。
在该实施例的S300中，基于单目相机和双目相机标定的参数，进行彩色图和深度图的对齐，得到对齐后的彩色图和深度图，可以包括如下步骤：
根据单目相机的相机内参矩阵和双目相机之间的位置关系参数矩阵，得到彩色相机 和深度相机之间的坐标转换关系为：
Figure BDA0002839696550000091
其中，[xR,yR,1,1/zR]T为深度图的像素坐标，Rir2rgb为相机之间的旋转矩阵，Tir2rgb为相机之间的平移矩阵，[xL,yL,1,1/zL]T为彩色图的像素坐标，Krgb为彩色相机的相机 内参矩阵，Kir为深度相机的相机内参矩阵，M为彩色相机和深度相机之间的位置关 系参数矩阵；
记：
Figure BDA0002839696550000092
其中，C4*4为彩色相机的相机内参矩阵、深度相机的相机内参矩阵以及两个相机之间位置关系矩阵的乘积组成的矩阵；cij为该矩阵中的每个元素；
由此可得两个相机的坐标对应关系为：
Figure BDA0002839696550000101
彩色图和深度图的像素通过式(4)得到一一对应的关系，实现彩色图和深度 图的对齐。
在该实施例的S400中，基于对齐后的彩色图和深度图以及单目相机和双目相机标定的参数，生成原图的点云图，可以包括如下步骤：
S401，对于宽度为width、长度为height的深度图，依次遍历图中的每个点 (xp,yp,Zp)，其中，(xp,yp)为位置坐标，Zp为该位置坐标处的像素值；
S402，建立二维点与点云图中的点的对应关系；
S403，设世界坐标系到相机坐标系的旋转矩阵R3*3为单位矩阵，世界坐标系到相机坐标系的平移矩阵T3*1为零矩阵，即相机坐标系与世界坐标系重合，则有：
Figure BDA0002839696550000102
将式(5)写成等式的形式可得：
Figure BDA0002839696550000103
其中，[xp,yp,1]T为像素坐标，(XW,YW,ZW)为点云图中的点的位置坐标， fx,fy分别为x,y轴方向上的归一化焦距，u0,v0分别为图像的中心点坐标，factor为 尺度因子，Zc为深度图中世界坐标系中的点在相机坐标系下Z轴上的坐标，在深度已 知的情况下，Zc即为深度图中每个点的像素值Zp；
对于深度图中的每个点(xp,yp,Zp)，根据二维点与点云图中的点的对应关系，得到其对应的点云图中的点的位置坐标为(XW,YW,ZW)；
S404，将彩色图中坐标为(xp,yp)位置点的像素值(rp,gp,bp)赋予得到的点云图 中的点，使得点云图中的点的像素值(Rp,Gp,Bp)采用彩色图中对应点的RGB像素值， 最终得到点云图中的点point3D＝(XW,YW,ZW,Rp,Gp,Bp)；
根据得到的点云图中的点的位置坐标向量和像素值向量，生成点云图。
在该实施例的S500中，对于点云图中的每一个点，通过投影得到其投影后的二维点坐标，并将其像素值赋予投影得到的二维点，生成最终的虚拟样本，可以包括如下步 骤：
S501，对点云图中的每一个点的每个轴进行角度旋转，通过给定的弧度角度， 得到表示每个轴角度的旋转矩阵；
S502，将点云图中的每一个点乘上其对应的旋转矩阵，得到旋转后的点，将旋转后的点投影到二维平面上，得到投影后的二维点；
S503，将点云图的点的像素值赋予对应的投影后的二维点，得到生成的虚拟样本。
在该实施例的S501中，对每一个点的每个轴进行角度旋转，通过给定的弧度角度，得到表示每个轴角度的旋转矩阵，可以包括如下步骤：
设每一个点每个轴的旋转角度为：angle_x,angle_y,angle_z；
根据旋转角度，得到给定的弧度角度为：
alpha＝angle_x*π/180.0
beta＝angle_y*π/180.0
gamma＝angle_z*π/180.0
其中，alpha,beta,gamma为弧度制下的度数表示值， angle_x,angle_y,angle_z为角度制下的度数表示值；
则有：
R1＝cos(beta)*cos(gamma)
R2＝cos(beta)*sin(gamma)
R3＝-sin(beta)
R4＝sin(alpha)*sin(beta)*cos(gamma)-cos(alpha)*sin(gamma)
R5＝sin(alpha)*sin(beta)*sin(gamma)+cos(alpha)*cos(gamma)
R6＝sin(beta)*cos(beta)
R7＝cos(alpha)*sin(beta)*cos(gamma)+sin(alpha)*sin(gmma)
R8＝cos(alpha)*sin(beta)*sin(gamma)-sin(alpha)*cos(gmma)
R9＝cos(alpha)*cos(beta)
得到表示每个轴角度的旋转矩阵为：
Figure BDA0002839696550000121
在该实施例的S502和S503中，得到投影后的二维点和得到生成的虚拟样本，可以包括如下步骤：
将点云图中的点乘以其对应的旋转矩阵，得到旋转后的点；
根据二维点和点云图中的点的对应关系，将旋转后的点投影回二维平面，得到 投影后的二维点的位置坐标(xi,yi)；
将点云图中的点的像素值(Rp,Gp,Bp)赋予投影得到的对应的二维点，最终得到 生成的虚拟样本projection_point2D＝(xi,yi,Rp,Gp,Bp)。
图2为本发明一优选实施例中基于图像深度信息的人脸样本数据增强方法流程图。
如图2所示，该优选实施例提供的基于图像深度信息的人脸样本数据增强方法，可以包括以下步骤：
步骤1，首先对相机中的彩色相机和近红外相机分别进行单目相机标定，得到每个相机的相机内参矩阵K；
步骤2，然后对双目相机进行立体标定，得到双目相机中两个相机之间的位置关系参数矩阵：相机之间的旋转矩阵Rir2rgb和平移矩阵Tir2rgb；
步骤3，基于单目相机和双目相机标定的参数，进行彩色图和深度图的对齐，得到对齐后的彩色图和深度图；
步骤4，基于对齐的彩色图和深度图，恢复出原图的点云图；
步骤5，对于点云图中的每一个点，赋予其X,Y,Z轴不同的角度得到旋转矩阵Rangle，通过透视投影得到其投影后的二维点，并把其像素值赋予对应的投影二维点， 生成最终的虚拟样本。
作为一优选实施例，在原图的点云图中，每一个点的位置采用三维坐标表示，每一个点的像素值采用彩色图中对应点的BGR像素值。
作为一优选实施例，步骤1中，对每个单目相机标定，其标定原理如图3所示。 其中，主要涉及到四个坐标系的转换，其转换过程如图3中所示，包括：
世界坐标系与相机坐标系之间的刚性变换；
相机坐标系与图像坐标系之间的透视变换；
图像坐标系与像素坐标系之间的仿射变换。
通过不同的坐标转换关系，可以得到世界坐标系中的点和图像坐标系中点的对应关 系，其对应关系如式(1)所示。
Figure BDA0002839696550000131
其中，[xp,yp,1]T为像素坐标，[XW,YW,ZW,1]T为世界坐标系；
fx,fy分别为x,y轴方向上的归一化焦距，u0,v0分别为图像的中心点坐标， factor为尺度因子，由这些参数组成的矩阵称之为相机的内参矩阵，使用K3*4表示；
R3*3,T3*1分别为世界坐标系到相机坐标系的旋转矩阵和平移矩阵，称之为外参矩阵， 使用A4*4表示；
在实际标定过程中，采用张氏标定法得到(1)式中相机内参矩阵的参数 factor,fx,fy,u0,v0。
作为一优选实施例，步骤2中，对双目相机进行立体标定，由于两个相机存在着 空间位置上的差异，所以两个相机同时拍摄的图像不存在着像素的一一对应关系，因此 需要进行双目相机的标定，获取两个相机之间的位置关系，以实现两个相机拍摄图像的 像素对应。可以通过标定得到双目相机之间的位置关系参数矩阵，包括：相机之间的旋 转矩阵Rir2rgb和平移矩阵Tir2rgb。
作为一优选实施例，步骤3中，基于单目相机和双目相机标定的参数，进行彩色图和深度图的对齐，得到对齐后的彩色图和深度图，包括：
通过构造双目相机之间的关系矩阵可以得出彩色相机和深度相机之间的坐标转换 关系：
Figure BDA0002839696550000141
在上述标定过程中，可以分别得到彩色相机和深度相机的内参矩阵Krgb和Kir,以及两个相机之间的位置关系参数矩阵M，记：
Figure BDA0002839696550000142
其中，C4*4为彩色相机内参矩阵、深度相机内参矩阵，以及两个相机之间位置关系矩阵 的乘积组成的矩阵；cij为该矩阵中的每个元素；位置关系参数矩阵M即为相机之间的旋转矩阵Rir2rgb和平移矩阵Tir2rgb组合成的矩阵。
由式(4)可知，C4*4可由计算得到。因此，可以得到两个相机的坐标对应关系：
Figure BDA0002839696550000143
通过式(4)实现彩色图和深度图的对齐，即彩色图和深度图的像素通过该式会得到一个一一对应的关系。
作为一优选实施例，步骤4中，基于对齐的彩色图和深度图，恢复出原图的点云图，包括：
在应用于点云场景中，常假设外参矩阵中的旋转矩阵为单位矩阵，平移矩阵为零矩 阵，即相机坐标系与世界坐标系重合，则有：
Figure BDA0002839696550000151
写成等式的形式可得：
Figure BDA0002839696550000152
其中，其中，Zc为深度图中世界坐标系中的点在相机坐标系下Z轴上的坐标，在 深度已知的情况下，Zc即为深度图中每个点的像素值，为了不产生混淆，记Zc为Zp；
对于深度图中的每个点(xp,yp,Zp)，得到其对应的点云图中的点的位置坐标为(XW,YW,ZW)；
将彩色图中坐标为(xp,yp)位置点的像素值(rp,gp,bp)赋予得到的点云图中的点，使得点云图中的点的像素值(Rp,Gp,Bp)采用彩色图中对应点的RGB像素值，最终得到 点云图中的点point3D＝(XW,YW,ZW,Rp,Gp,Bp)；
根据得到的点云图中的点的位置坐标向量和像素值向量，生成点云图。
在相机标定部分的描述中可知：对于深度相机而言，其世界坐标系和相机坐标系是 重合的，因此在深度图中，其每个点的像素值表示的是相机中该点距离目标点的实际距离。在实现彩色图和深度图的对齐后，可以得到，深度图中每个点所对应的目标点的颜 色信息。在式(6)中，Zc的值即为深度图中每个点的像素值，则可以通过式(6)得 到目标对应的点云。
在该优选实施例的一具体应用实例中，
输入：
1.深度图中每个点的位置和其像素值(xp,yp,Zc)，其中(xp,yp)为位置坐标，Zc为该位置坐标处的像素值，p为每个点的位置索引，以及深度图的宽度width和高度 height；
2.彩色图中每个点的RGB像素值(rp,gp,bp)；
3.深度相机内参参数:factor,fx,fy,u0,v0。
输出：
点云图中的点point3D＝(XW,YW,ZW,Rp,Gp,Bp)，其中XW,YW,ZW为点云的 位置坐标，Rp,Gp,Bp为每个点的像素值。
其过程为：
第a步，对于长为width，宽为height的深度图，依次遍历深度图中的每个像素点；
第b步，通过二维点与点云图的对应关系，对于深度图中的每个点(xp,yp,Zc), 我们可以得到其对应的点云坐标(XW,YW,ZW)；
第c步，将彩色图中坐标为(xp,yp)位置点处的(rp,gp,bp)像素值赋予步骤(2)中 计算的点云；
第d步，最终可得到点云point3D＝(XW,YW,ZW,Rp,Gp,Bp)。
该过程的程序示例如下：
point3D＝None
for h＝0:height
for w＝0:width
Zi＝di/camera_factor
Xi＝(w-camera_cx)*Zi/camera_fx
Yi＝(h-camera_cy)*Zi/camera_fy
Ri＝ri
Gi＝gi
Bi＝bi
point3D＝(Xi,Yi,Zi,Ri,Gi,Bi)
end
end
return point3D
作为一优选实施例，步骤5中，对于点云图中的每一个点，赋予其X,Y,Z轴不同 的角度得到旋转矩阵Rangle，通过透视投影得到其投影后的二维点，并把其像素值赋予 对应的投影二维点，生成最终的虚拟样本，包括：
步骤51中，对每一个点的每个轴进行角度旋转，通过给定的弧度角度，得到 表示每个轴角度的旋转矩阵；
步骤52中，将点乘上对应的旋转矩阵，得到旋转后的点，将旋转后的点投影到二维坐标点上，得到投影后的二维坐标点；
步骤53中，将点云图中对应点的像素值赋予投影后的二维坐标点，得到生成的虚拟样本。
作为一优选实施例，步骤51，包括：
设每一个点每个轴的旋转角度为：angle_x,angle_y,angle_z；
根据旋转角度，得到给定的弧度角度为：
alpha＝angle_x*π/180.0
beta＝angle_y*π/180.0
gamma＝angle_z*π/180.0
其中，alpha,beta,gamma为弧度制下的度数表示值， angle_x,angle_y,angle_z为角度制下的度数表示值。
有：
R1＝cos(beta)*cos(gamma)
R2＝cos(beta)*sin(gamma)
R3＝-sin(beta)
R4＝sin(alpha)*sin(beta)*cos(gamma)-cos(alpha)*sin(gamma)
R5＝sin(alpha)*sin(beta)*sin(gamma)+cos(alpha)*cos(gamma)
R6＝sin(beta)*cos(beta)
R7＝cos(alpha)*sin(beta)*cos(gamma)+sin(alpha)*sin(gmma)
R8＝cos(alpha)*sin(beta)*sin(gamma)-sin(alpha)*cos(gmma)
R9＝cos(alpha)*cos(beta)
则旋转矩阵可表示为:
Figure BDA0002839696550000171
在空间上的点是三维的，所以可以对每个轴进行角度旋转，实现对三维点云的旋转， 我们角度的表示方式是弧度形式，通过给定弧度角度，得到表示每个轴角度的旋转矩阵。
作为一优选实施例，步骤52和步骤53，包括：
步骤a，将点云point3D乘以旋转矩阵Rotation3*3，得到旋转后的点云；
步骤b，通过公式(6)中二维点和点云图的对应关系，将旋转后的点云投影回二 维平面，可得到投影得到的二维点；
步骤c，将点云中每个点的R,G,B像素值赋予投影得到的二维点，最终得到生 成的虚拟样本projection_point2D＝(xi,yi,rp,gp,bp)。
通过给x,y,z三个轴赋予不同的angle_x,angle_y,angle_z浮点值角度，可以得到对 应的空间旋转矩阵，通过将点云乘上该矩阵，可以得到旋转后的点云，基于二维点和点云图中的点的对应关系，可得投影后的二维坐标点，将点云图中的点的像素值赋予投影 后的二维坐标点，可以得到生成的数据增强样本。
在该优选实施例的一具体应用实例中，
输入：
1、点云point3D＝(XW,YW,ZW,Rp,Gp,Bp)；
2、旋转矩阵Rotation3*3；
3、深度相机的内参：factor,fx,fy,u0,v0。
输出：
生成的虚拟样本中的点坐标projection_point2D＝(xi,yi,rp,gp,bp)。
其过程为：
步骤a，将点云point3D乘以旋转矩阵Rotation3*3，得到旋转后的点云；
步骤b，通过公式(6)中二维点和点云图的对应关系，将旋转后的点云投影回二 维平面，可得到投影得到的二维点；
步骤c，将点云中每个点的R,G,B像素值赋予投影得到的二维点，最终得到生 成的虚拟样本projection_point2D＝(xi,yi,rp,gp,bp)。
该过程的程序示例如下：
projection_point2D＝None
for i＝0:transpose_point3D
D＝transpose_point3D[2,i]*camera_factor
X＝transpose_point3D[0,i]
Y＝transpose_point3D[1,i]
x＝(X*camera_fx)/D+camera_cx
y＝(Y*camera_fy)/D+camera_cy
projection_point2D＝(x,y)
return projection_point2D
本发明上述实施例提供的基于图像深度信息的人脸样本数据增强方法，在点云图的生成过程以及在三维到二维的投影过程中，均没有引入额外的三方库，只需要加载opencv即可，所以该方法简洁度高，适用性强。
本发明另一实施例提供了一种基于图像深度信息的人脸样本数据增强系统，如图4所示，可以包括：单目相机标定模块、双目相机标定模块、图对齐模块、点云图 生成模块以及样本生成模块。
其中：
单目相机标定模块，该模块对彩色相机和深度相机分别进行单目相机标定，得到每 个相机的相机内参矩阵；
双目相机标定模块，该模块对彩色相机和深度相机进行双目相机立体标定，得到双 目相机中两个相机之间的位置关系参数矩阵；
图对齐模块，该模块基于单目相机和双目相机标定的参数，进行彩色图和深度图的 对齐，得到对齐后的彩色图和深度图；
点云图生成模块，该模块基于对齐后的彩色图和深度图以及单目相机和双目相机标 定的参数，生成原图的点云图；
样本生成模块，该模块对于点云图中的每一个点，通过投影得到其投影后的二维点， 并将其像素值赋予投影得到的二维点，生成最终的虚拟样本。
本发明第三个实施例提供了一种终端，包括存储器、处理器及存储在存储器上 并可在处理器上运行的计算机程序，处理器执行程序时可用于执行本发明上述实施 例中任一项的方法。
可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文： volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)， 双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易 失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。 存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机 指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。 并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且 上述的计算机程序、计算机指令、数据等可以被处理器调用。
处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中 的各个步骤。具体可以参见前面方法实施例中的相关描述。
处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器 和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
本发明第四个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行本发明上述实施例中任一项的方法。
本发明上述实施例提供的基于图像深度信息的人脸样本数据增强方法、系统、 终端及介质，首先对相机中的彩色相机和近红外相机分别进行单目相机标定，得到每 个相机的相机内参矩阵K,然后对双目相机进行立体标定，得到双目相机中两个相机之 间的旋转矩阵Rir2rgb和平移矩阵Tir2rgb,基于单目相机和双目相机标定的参数，进行彩 色图和深度图的对齐，得到对齐后的彩色图和深度图。然后，基于对齐的彩色图和深度 图恢复出原图的点云图，在点云图中，每个点的位置使用三维坐标表示，其中其中Z轴 的值来源于深度图；每个点的像素值是彩色图中对应点的BGR像素值；赋予点云中每 一个点的X,Y,Z轴不同的角度得到对应的旋转矩阵，通过透视投影得到投影后的二维 点，并把其像素值赋予对应的投影二维点，生成最终的虚拟样本。
本发明上述实施例提供的基于图像深度信息的人脸样本数据增强方法、系统、 终端及介质，基于图像深度信息，针对正面或偏转角度小的人脸，可以生成任意轴 任意角度的对应人脸样本，对现有样本进行增强，具有可靠性高、速度低、实用性 强等特点，可以应用于现阶段大多数的人脸视觉算法中。
需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装 置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现系统的组成， 即，方法中的实施例可理解为构建系统的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的 系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式 微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被 认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部 件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块 又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上 述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改， 这并不影响本发明的实质内容。

Claims (10)

1.一种基于图像深度信息的人脸样本数据增强方法，其特征在于，包括：
对彩色相机和深度相机分别进行单目相机标定，得到每个相机的相机内参矩阵；
对彩色相机和深度相机进行双目相机立体标定，得到双目相机中两个相机之间的位置关系参数矩阵；
基于单目相机和双目相机标定的参数，进行彩色图和深度图的对齐，得到对齐后的彩色图和深度图；
基于对齐后的彩色图和深度图以及单目相机和双目相机标定的参数，生成原图的点云图；
对于点云图中的每一个点，通过投影得到其投影后的二维点，并将其像素值赋予投影得到的二维点，生成最终的虚拟样本。
2.根据权利要求1所述的基于图像深度信息的人脸样本数据增强方法，其特征在于，所述进行单目相机标定，包括：
通过世界坐标系与相机坐标系之间的刚性变换、相机坐标系与图像坐标系之间的透视变换、图像坐标系与像素坐标系之间的仿射变换，得到：
所述世界坐标系中的点和像素坐标系中的点的对应关系为：
Figure FDA0002839696540000011
其中，[xp,yp,1]T为像素坐标，[XW,YW,ZW,1]T为世界坐标，fx,fy分别为x,y轴方向上的归一化焦距，u0,v0分别为图像的中心点坐标，factor为尺度因子，由fx,fy、u0,v0以及factor组成的矩阵称之为相机内参矩阵，表示为K3*4；R3*3,T3*1分别为世界坐标系到相机坐标系的旋转矩阵和平移矩阵，称之为外参矩阵，表示为A4*4；其中：
所述相机内参矩阵的参数factor,fx,fy,u0,v0通过张氏标定法得到；
所述进行双目相机立体标定，得到双目相机中两个相机之间的位置关系参数矩阵，包括：相机之间的旋转矩阵Rir2rgb和平移矩阵Tir2rgb。
3.根据权利要求1所述的基于图像深度信息的人脸样本数据增强方法，其特征在于，所述基于单目相机和双目相机标定的参数，进行彩色图和深度图的对齐，得到对齐后的彩色图和深度图，包括：
根据单目相机的相机内参矩阵和双目相机之间的位置关系参数矩阵，得到彩色相机和深度相机之间的坐标转换关系为：
Figure FDA0002839696540000021
其中，[xR,yR,1,1/zR]T为深度图的像素坐标，Rir2rgb为相机之间的旋转矩阵，Tir2rgb为相机之间的平移矩阵，[xL,yL,1,1/zL]T为彩色图的像素坐标，Krgb为彩色相机的相机内参矩阵，Kir为深度相机的相机内参矩阵，M为彩色相机和深度相机之间的位置关系参数矩阵；
记：
Figure FDA0002839696540000022
其中，C4*4为彩色相机的相机内参矩阵、深度相机的相机内参矩阵以及两个相机之间位置关系矩阵的乘积组成的矩阵；cij为该矩阵中的每个元素；
由此可得两个相机的坐标对应关系为：
Figure FDA0002839696540000031
彩色图和深度图的像素通过式(4)得到一一对应的关系，实现彩色图和深度图的对齐。
4.根据权利要求1所述的基于图像深度信息的人脸样本数据增强方法，其特征在于，所述基于对齐后的彩色图和深度图以及单目相机和双目相机标定的参数，生成原图的点云图，包括：
对于宽度为width、长度为height的深度图，依次遍历图中的每个点(xp,yp,Zp)，其中，(xp,yp)为位置坐标，Zp为该位置坐标处的像素值；
建立二维点与点云图中的点的对应关系；
设世界坐标系到相机坐标系的旋转矩阵R3*3为单位矩阵，世界坐标系到相机坐标系的平移矩阵T3*1为零矩阵，即相机坐标系与世界坐标系重合，则有：
Figure FDA0002839696540000032
将式(5)写成等式的形式可得：
Figure FDA0002839696540000033
其中，[xp,yp,1]T为像素坐标，(XW,YW,ZW)为点云图中的点的位置坐标，fx,fy分别为x,y轴方向上的归一化焦距，u0,v0分别为图像的中心点坐标，factor为尺度因子，Zc为深度图中世界坐标系中的点在相机坐标系下Z轴上的坐标，在深度已知的情况下，Zc即为深度图中每个点的像素值Zp；
对于深度图中的每个点(xp,yp,Zp)，得到其对应的点云图中的点的位置坐标为(XW,YW,ZW)；
将彩色图中坐标为(xp,yp)位置点的像素值(rp,gp,bp)赋予得到的点云图中的点，使得点云图中的点的像素值(Rp,Gp,Bp)采用彩色图中对应点的RGB像素值，最终得到点云图中的点point3D＝(XW,YW,ZW,Rp,Gp,Bp)；
根据得到的点云图中的点的位置坐标向量和像素值向量，生成点云图。
5.根据权利要求1所述的基于图像深度信息的人脸样本数据增强方法，其特征在于，所述对于点云图中的每一个点，通过投影得到其投影后的二维点坐标，并将其像素值赋予投影得到的二维点，生成最终的虚拟样本，包括：
对点云图中的每一个点的每个轴进行角度旋转，通过给定的弧度角度，得到表示每个轴角度的旋转矩阵；
将点云图中的每一个点乘上其对应的旋转矩阵，得到旋转后的点，将旋转后的点投影到二维平面上，得到投影后的二维点；
将点云图的点的像素值赋予对应的投影后的二维点，得到生成的虚拟样本。
6.根据权利要求5所述的基于图像深度信息的人脸样本数据增强方法，其特征在于，所述对每一个点的每个轴进行角度旋转，通过给定的弧度角度，得到表示每个轴角度的旋转矩阵，包括：
设每一个点每个轴的旋转角度为：angle_x,angle_y,angle_z；
根据所述旋转角度，得到给定的弧度角度为：
alpha＝angle_x*π/180.0
beta＝angle_y*π/180.0
gamma＝angle_z*π/180.0
其中，alpha,beta,gamma为弧度制下的度数表示值，angle_x,angle_y,angle_z为角度制下的度数表示值；
则有：
R1＝cos(beta)*cos(gamma)
R2＝cos(beta)*sin(gamma)
R3＝-sin(beta)
R4＝sin(alpha)*sin(beta)*cos(gamma)-cos(alpha)*sin(gamma)
R5＝sin(alpha)*sin(beta)*sin(gamma)+cos(alpha)*cos(gamma)
R6＝sin(beta)*cos(beta)
R7＝cos(alpha)*sin(beta)*cos(gamma)+sin(alpha)*sin(gmma)
R8＝cos(alpha)*sin(beta)*sin(gamma)-sin(alpha)*cos(gmma)
R9＝cos(alpha)*cos(beta)
得到表示每个轴角度的旋转矩阵为：
Figure FDA0002839696540000051
7.根据权利要求5所述的基于图像深度信息的人脸样本数据增强方法，其特征在于，所述将所述点乘上对应的所述旋转矩阵，得到旋转后的点，将旋转后的点投影到二维点上，得到投影后的二维点，包括：
将点云图中的点乘以其对应的旋转矩阵，得到旋转后的点；
根据二维点和点云图中的点的对应关系，将旋转后的点投影回二维平面，得到投影后的二维点的位置坐标(xi,yi)；
将点云图中的点的像素值(Rp,Gp,Bp)赋予投影得到的对应的二维点，最终得到生成的虚拟样本projection_point2D＝(xi,yi,Rp,Gp,Bp)。
8.一种基于图像深度信息的人脸样本数据增强系统，其特征在于，包括：
单目相机标定模块，该模块对彩色相机和深度相机分别进行单目相机标定，得到每个相机的相机内参矩阵；
双目相机标定模块，该模块对彩色相机和深度相机进行双目相机立体标定，得到双目相机中两个相机之间的位置关系参数矩阵；
图对齐模块，该模块基于单目相机和双目相机标定的参数，进行彩色图和深度图的对齐，得到对齐后的彩色图和深度图；
点云图生成模块，该模块基于对齐后的彩色图和深度图以及单目相机和双目相机标定的参数，生成原图的点云图；
样本生成模块，该模块对于点云图中的每一个点，通过投影得到其投影后的二维点，并将其像素值赋予投影得到的二维点，生成最终的虚拟样本。
9.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-7中任一项所述的方法。
CN202011487292.8A 2020-12-16 2020-12-16 基于图像深度信息的人脸样本数据增强方法及系统 Pending CN112634152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011487292.8A CN112634152A (zh) 2020-12-16 2020-12-16 基于图像深度信息的人脸样本数据增强方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011487292.8A CN112634152A (zh) 2020-12-16 2020-12-16 基于图像深度信息的人脸样本数据增强方法及系统

Publications (1)

Publication Number Publication Date
CN112634152A true CN112634152A (zh) 2021-04-09

Family

ID=75313937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011487292.8A Pending CN112634152A (zh) 2020-12-16 2020-12-16 基于图像深度信息的人脸样本数据增强方法及系统

Country Status (1)

Country Link
CN (1) CN112634152A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119680A (zh) * 2021-09-09 2022-03-01 北京的卢深视科技有限公司 图像获取方法、装置、电子设备及存储介质
CN114862658A (zh) * 2022-04-01 2022-08-05 奥比中光科技集团股份有限公司 图像处理系统、方法、智能终端及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616284A (zh) * 2014-12-09 2015-05-13 中国科学院上海技术物理研究所 彩色深度相机的彩色图像到深度图像的像素级对准算法
US20160140713A1 (en) * 2013-07-02 2016-05-19 Guy Martin System and method for imaging device modelling and calibration
US20170310946A1 (en) * 2016-04-21 2017-10-26 Chenyang Ge Three-dimensional depth perception apparatus and method
CN109741405A (zh) * 2019-01-21 2019-05-10 同济大学 一种基于对偶结构光rgb-d相机的深度信息采集系统
US20190378294A1 (en) * 2017-02-23 2019-12-12 Hangzhou Hikvision Digital Technology Co., Ltd. Stereo camera and height acquisition method thereof and height acquisition system
US20200082553A1 (en) * 2018-09-07 2020-03-12 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating three-dimensional data, device, and storage medium
CN111612728A (zh) * 2020-05-25 2020-09-01 北京交通大学 一种基于双目rgb图像的3d点云稠密化方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140713A1 (en) * 2013-07-02 2016-05-19 Guy Martin System and method for imaging device modelling and calibration
CN104616284A (zh) * 2014-12-09 2015-05-13 中国科学院上海技术物理研究所 彩色深度相机的彩色图像到深度图像的像素级对准算法
US20170310946A1 (en) * 2016-04-21 2017-10-26 Chenyang Ge Three-dimensional depth perception apparatus and method
US20190378294A1 (en) * 2017-02-23 2019-12-12 Hangzhou Hikvision Digital Technology Co., Ltd. Stereo camera and height acquisition method thereof and height acquisition system
US20200082553A1 (en) * 2018-09-07 2020-03-12 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating three-dimensional data, device, and storage medium
CN109741405A (zh) * 2019-01-21 2019-05-10 同济大学 一种基于对偶结构光rgb-d相机的深度信息采集系统
CN111612728A (zh) * 2020-05-25 2020-09-01 北京交通大学 一种基于双目rgb图像的3d点云稠密化方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙新领;谭志伟;杨观赐;: "双目立体视觉在人形机器人三维重建中的应用", 现代电子技术, no. 08, 15 April 2016 (2016-04-15) *
宇文亮: "基于Kinect的物体模型建立及识别定位技术研究", 中国优秀硕士学位论文全文数据库 (信息科技辑), 15 January 2019 (2019-01-15) *
李公法: "机器人灵巧手的人机交互技术及其稳定控制", 31 July 2020, 华中科技大学出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119680A (zh) * 2021-09-09 2022-03-01 北京的卢深视科技有限公司 图像获取方法、装置、电子设备及存储介质
CN114862658A (zh) * 2022-04-01 2022-08-05 奥比中光科技集团股份有限公司 图像处理系统、方法、智能终端及计算机可读存储介质
CN114862658B (zh) * 2022-04-01 2023-05-05 奥比中光科技集团股份有限公司 图像处理系统、方法、智能终端及计算机可读存储介质
WO2023184740A1 (zh) * 2022-04-01 2023-10-05 奥比中光科技集团股份有限公司 图像处理系统、方法、智能终端及计算机可读存储介质

Similar Documents

Publication Publication Date Title
EP3428875A1 (en) Methods and apparatuses for panoramic image processing
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN112634152A (zh) 基于图像深度信息的人脸样本数据增强方法及系统
Rathnayaka et al. An efficient calibration method for a stereo camera system with heterogeneous lenses using an embedded checkerboard pattern
JP2011198330A (ja) ３次元位置合わせにおける照合方法およびそのプログラム
DE102020131267A1 (de) Kalibrieren von kameras und berechnen von punktprojektionen unter verwendung eines eine axiale blickpunktverschiebung aufweisenden nicht zentralen kameramodells
CN114022560A (zh) 标定方法及相关装置、设备
GB2567245A (en) Methods and apparatuses for depth rectification processing
RU2384882C1 (ru) Способ автоматической компоновки ландшафтных панорамных изображений
Trager et al. General models for rational cameras and the case of two-slit projections
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及系统
WO2018100230A1 (en) Method and apparatuses for determining positions of multi-directional image capture apparatuses
Wang et al. Automatic measurement based on stereo vision system using a single PTZ camera
WO2018150086A2 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
CN115086625A (zh) 投影画面的校正方法、装置、系统、校正设备和投影设备
Ornhag et al. Efficient real-time radial distortion correction for uavs
CN112016495A (zh) 人脸识别的方法、装置和电子设备
Knorr et al. Extrinsic calibration of a fisheye multi-camera setup using overlapping fields of view
Zhang et al. Image mosaic of bionic compound eye imaging system based on image overlap rate prior
Ding et al. Homography-based egomotion estimation using gravity and sift features
Ranade et al. Mapping of sparse 3d data using alternating projection
Garcia et al. Comparison of Two Mathematical Models for Fisheye Cameras Applied in the Orb-Slam
WO2022253043A1 (zh) 人脸深度图像的面部变形补偿方法、成像装置和存储介质
Induchoodan et al. Depth recovery from stereo images
Han et al. The Calibration of Kinect Camera Based on ARtoolkit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination