CN114697481A - 简易的深度相机 - Google Patents
简易的深度相机 Download PDFInfo
- Publication number
- CN114697481A CN114697481A CN202011618635.XA CN202011618635A CN114697481A CN 114697481 A CN114697481 A CN 114697481A CN 202011618635 A CN202011618635 A CN 202011618635A CN 114697481 A CN114697481 A CN 114697481A
- Authority
- CN
- China
- Prior art keywords
- light
- depth camera
- distance information
- light spot
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明提供了一种简易的深度相机,包括:光投射模块,用于向场景中目标人物投射离散准直光束;光接收模块,用于接收光束,并获取目标人物的光斑图像;处理器模块,用于在光斑图像上截取预设置尺寸的像素区域,对像素区域计算光斑清晰度,根据光斑清晰度和光斑清晰度与距离相关联的距离信息生成模型确定目标人物与深度相机之间的距离信息。本发明中通过采集目标人物的光斑图像,在光斑图像上截取的像素区域,对像素区域计算光斑清晰度,根据光斑清晰度和光斑清晰度与距离相关联的距离信息生成模型确定目标人物与深度相机之间的距离信息,能够更快速的得到物体的深度信息,能够用于近距离的人脸深度信息获取的手机、体感游戏、支付等消费产品中。
Description
技术领域
本发明涉及图像检测,具体地,涉及一种简易的深度相机。
背景技术
3D深度视觉作为一个崭新的技术,已经出现在手机、体感游戏、支付等消费级产品中并且逐步渗透到安防、自动驾驶等新的领域。随着硬件端技术的不断进步,算法与软件层面的不断优化,3D深度视觉的精度和实用性得到大幅提升。目前比较成熟的深度测量方法包括TOF方案。
TOF(time of flight)技术是一种从投射器发射测量光,并使测量光经过目标物体反射回到接收器,从而能够根据测量光在此传播路程中的传播时间来获取物体到传感器的空间距离的3D成像技术。常用的TOF技术包括单点扫描投射方法和面光投射方法。
但是TOF技术会存在近距离测试不够精确的问题,不便于进行近距离的人脸深度信息获取,不便于将TOF技术应用于手机、体感游戏、支付等消费产品中。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种简易的深度相机。
根据本发明提供的简易的深度相机,包括如下模块:
光投射模块,用于向场景中目标人物投射离散准直光束;
光接收模块,用于接收所述光束,并获取所述目标人物的光斑图像;
处理器模块,用于在所述光斑图像上截取预设置尺寸的像素区域,对所述像素区域计算光斑清晰度,根据所述光斑清晰度和预设置的光斑清晰度与距离相关联的距离信息生成模型确定所述目标人物与所述深度相机之间的距离信息。
优选地,所述光投射模块包括光源、光源驱动器以及光调制器;
所述光源驱动器与所述光源连接,用于驱动所述光源发光;
所述光调制器与所述光源连接,用于将所述光源的投射的光调制形成离散准直光束后向所述目标人物投射。
优选地,所述光接收模块包括光学成像镜头和光探测器阵列;所述光探测器阵列包括多个呈阵列分布的光探测器;
所述光学成像镜头,用于使得透过所述光学成像镜头进入光探测器阵列的所述准直光束的方向向量与光探测器呈一一对应关系;
所述光探测器,用于接收经所述目标物体反射的准直光束。
优选地,所述像素区域的截取包括如下步骤:
步骤M1:对所述光斑图像进行人脸检测确定人脸区域;
步骤M2:获取所述预设置尺寸的图像截取框,将所述图像截取框移动至所述人脸区域上的一目标区域;
步骤M3:在所述目标区域通过所述图像截取框截取预设置尺寸的像素区域。
优选地,对所述像素区域进行光斑清晰度计算时,根据所述光斑清晰度进行距离信息计算时,包括如下步骤:
步骤N1:获取所述像素区域内每一像素点的灰度值,根据每一像素点的灰度值对所述像素区域计算光斑清晰度;
步骤N2:获取光斑清晰度与距离相关联的距离信息生成模型;
步骤N3:根据所述光斑清晰度输入至所述距离信息生成模型,以生成所述像素点与所述深度相机之间的距离信息。
优选地,所述步骤N1包括如下步骤:
步骤N101:定义拉普拉斯算子L;
步骤N102:对每一像素点的灰度值根据所述拉普拉斯算子L进行卷积处理生成每一像素点的卷积值;
步骤N103:根据所有所述像素点的卷积值的平均值生成所述光斑清晰度的数值。
优选地,所述拉普拉斯算子L为:
所述卷积值为:G(x,y)=B*L
其中,B为一中心像素和邻域像素的灰度值构成的矩阵,G(x,y)为卷积后中心像素的数值;
优选地,所述距离信息生成模型通过预采集的多个与光斑图像中光斑清晰度对应的距离信息和拟合生成。
优选地,所述距离信息生成模型具体如下:
y=-1.101e-14×x5+6.971e-11×x4-1.719e-07×x3+0.0002105×x2-0.1484×x+103
其中,x为清晰度,y为距离信息。
优选地,所述光斑图像上的光斑点的直径在6至15毫米。
与现有技术相比,本发明具有如下的有益效果:
本发明中通过采集目标人物的光斑图像,在所述光斑图像上截取的像素区域,对所述像素区域计算光斑清晰度,根据所述光斑清晰度和预设置的光斑清晰度与距离相关联的距离信息生成模型确定所述目标人物与所述深度相机之间的距离信息,能够更快速的得到物体的深度信息,能够用于进行近距离的人脸深度信息获取的手机、体感游戏、支付等消费产品中。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例中深度相机的模块示意图;
图2为本发明实施例中光投射模块的模块示意图;
图3为本发明实施例中光接收模块的模块示意图;
图4为本发明实施例中在光斑图像上截取像素区域的步骤流程图;
图5为本发明实施例中根据光斑清晰度判断活体人脸光斑图像的步骤流程图;
图6为本发明实施例中距离信息生成模型的拟合数据图;以及
图7为本发明实施例中对像素区域计算光斑清晰度的步骤流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例,例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明提供的简易的深度相机,旨在解决现有技术中存在的问题。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
图1为本发明实施例中深度相机的模块示意图,如图1所示,本发明提供的深度相机,包括如下模块:
光投射模块,用于向场景中目标人物投射离散准直光束;
光接收模块,用于接收所述光束,并获取所述目标人物的光斑图像;
处理器模块,用于在所述光斑图像上截取预设置尺寸的像素区域,对所述像素区域计算光斑清晰度,根据所述光斑清晰度和预设置的光斑清晰度与距离相关联的距离信息生成模型确定所述目标人物与所述深度相机之间的距离信息。
在本发明实施例中,通过采集目标人物的光斑图像,在所述光斑图像上截取的像素区域,对所述像素区域计算光斑清晰度,根据所述光斑清晰度和预设置的光斑清晰度与距离相关联的距离信息生成模型确定所述目标人物与所述深度相机之间的距离信息,能够更快速的得到物体的深度信息,能够用于进行近距离的人脸深度信息获取的手机、体感游戏、支付等消费产品中。
图2为本发明实施例中光投射模块的模块示意图,如图2所示,所述光投射模块包括光源、光源驱动器以及光调制器;
所述光源驱动器与所述光源连接,用于驱动所述光源发光;
所述光调制器与所述光源连接,用于将所述光源的投射的光调制形成离散准直光束后向所述待测体投射。
在本发明实施例中,所述光调制器采用衍射光栅(DOE)或空间光调制器(SLM)。
图3为本发明实施例中光接收模块的模块示意图,如图3所示,所述光接收模块包括光学成像镜头1和光探测器阵列3;所述光探测器阵列3包括多个呈阵列分布的光探测器;
所述光学成像镜头1,用于使得透过所述光学成像镜头进入光探测器阵列的所述准直光束的方向向量与光探测器呈一一对应关系;
所述光探测器,用于接收经所述目标物体反射的准直光束。
在本发明实施例中,为了过滤背景噪声,所述光学成像镜头内通常还装有窄带滤光片2,使得所述光探测器阵列仅能通过预设的波长的入射准直光束。所述预设的波长可以为入射准直光束的波长,也可以为小于入射准直光束50纳米和大于入射准直光束50纳米之间。所述光探测器阵列可以呈周期或者非周期性排列。根据离散准直光束数量的需求,光探测器阵列可以是多个单点光探测器的组合或者是一个集成了多个光探测器的传感器芯片。为了进一步优化光探测器的灵敏度,一个离散准直光束在目标人物上的照射光斑可以对应一个或者多个光探测器。在多个光探测器对应同一个照射光斑时,每个探测器的信号可以通过电路连通,从而在能够合并为一个探测面积更大的光探测器。
在本发明实施例中,所述光探测器可以采用CMOS光传感器、CCD光传感器或SPAD光传感器。
在本发明实施例中,所述探测器端为红外探测器,通过红外探测器接收经所述目标人物反射后的所述点阵光。
所述光斑图像为深度相机距离所述目标人物距离在30至80厘米采集。所述光斑图像上的光斑点的直径在6至15毫米;当所述深度相机距离所述目标人物距离在40厘米时,所述光斑图像上的光斑点的直径约为8毫米;当所述深度相机距离所述目标人物距离在60厘米时,所述光斑图像上的光斑点的直径约为12毫米。
图4为本发明实施例中在光斑图像上截取像素区域的步骤流程图,如图4所示,所述像素区域的截取包括如下步骤:
步骤M1:在所述光斑图像进行人脸检测确定人脸区域;
步骤M2:获取所述预设置尺寸的图像截取框,将所述图像截取框移动至所述人脸区域上的一目标区域;
步骤M3:在所述目标区域通过所述图像截取框截取预设置尺寸的像素区域。
在本发明实施例中,所述预设置尺寸为100像素×100像素的像素区域;所述人脸区域上的一目标区域可以为所述人脸区域上的中间区域,也可以为左下区域、左上区域、右下区域以及右上区域等。
图5为本发明实施例中根据光斑清晰度判断活体人脸光斑图像的步骤流程图,如图5所述,对所述像素区域进行光斑清晰度计算时,根据所述光斑清晰度进行距离信息计算时,包括如下步骤:
步骤N1:获取所述像素区域内每一像素点的灰度值,根据每一像素点的灰度值对所述像素区域计算光斑清晰度;
步骤N2:获取光斑清晰度与距离相关联的距离信息生成模型;
步骤N3:根据所述光斑清晰度输入至所述距离信息生成模型,以生成所述像素点与所述深度相机之间的距离信息。
在本发明实施例中,进而能够根据多个所述像素点与所述深度相机之间的距离信息生成深度图像。
图6为本发明实施例中距离信息生成模型的拟合数据图,如图6所示,所述距离信息生成模型通过预采集的多个与光斑图像中光斑清晰度对应的距离信息和拟合生成,且拟合效果良好。
在本发明实施例中,所述距离信息生成模型具体如下:
y=-1.101e-14×x5+6.971e-11×x4-1.719e-07×x3+0.0002105×x2-0.1484×x+103
其中,x为清晰度,y为实际距离,即距离信息。
图7为本发明实施例中对像素区域计算光斑清晰度的步骤流程图,如图7所示,所述步骤N1包括如下步骤:
步骤N101:定义拉普拉斯算子L;
步骤N102:对每一像素点的灰度值根据所述拉普拉斯算子L进行卷积处理生成每一像素点的卷积值;
步骤N103:根据所有所述像素点的卷积值的平均值生成所述光斑清晰度的数值。
在本发明实施例中,所述拉普拉斯算子为:
所述卷积值为:G(x,y)=B*L
其中,B为一中心像素和邻域8像素的灰度值构成的矩阵,G(x,y)为卷积后中心像素的数值;
在本发明实施例中,本发明中通过采集目标人物的光斑图像,在所述光斑图像上截取的像素区域,对所述像素区域计算光斑清晰度,根据所述光斑清晰度和预设置的光斑清晰度与距离相关联的距离信息生成模型确定所述目标人物与所述深度相机之间的距离信息,能够更快速的得到物体的深度信息,能够用于进行近距离的人脸深度信息获取的手机、体感游戏、支付等消费产品中。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (10)
1.一种简易的深度相机,其特征在于,包括如下模块:
光投射模块,用于向场景中目标人物投射离散准直光束;
光接收模块,用于接收所述光束,并获取所述目标人物的光斑图像;
处理器模块,用于在所述光斑图像上截取预设置尺寸的像素区域,对所述像素区域计算光斑清晰度,根据所述光斑清晰度和预设置的光斑清晰度与距离相关联的距离信息生成模型确定所述目标人物与所述深度相机之间的距离信息。
2.根据权利要求1所述的简易的深度相机,其特征在于,所述光投射模块包括光源、光源驱动器以及光调制器;
所述光源驱动器与所述光源连接,用于驱动所述光源发光;
所述光调制器与所述光源连接,用于将所述光源的投射的光调制形成离散准直光束后向所述目标人物投射。
3.根据权利要求1所述的简易的深度相机,其特征在于,所述光接收模块包括光学成像镜头和光探测器阵列;所述光探测器阵列包括多个呈阵列分布的光探测器;
所述光学成像镜头,用于使得透过所述光学成像镜头进入光探测器阵列的所述准直光束的方向向量与光探测器呈一一对应关系;
所述光探测器,用于接收经所述目标物体反射的准直光束。
4.根据权利要求1所述的简易的深度相机,其特征在于,所述像素区域的截取包括如下步骤:
步骤M1:对所述光斑图像进行人脸检测确定人脸区域;
步骤M2:获取所述预设置尺寸的图像截取框,将所述图像截取框移动至所述人脸区域上的一目标区域;
步骤M3:在所述目标区域通过所述图像截取框截取预设置尺寸的像素区域。
5.根据权利要求1所述的简易的深度相机,其特征在于,对所述像素区域进行光斑清晰度计算时,根据所述光斑清晰度进行距离信息计算时,包括如下步骤:
步骤N1:获取所述像素区域内每一像素点的灰度值,根据每一像素点的灰度值对所述像素区域计算光斑清晰度;
步骤N2:获取光斑清晰度与距离相关联的距离信息生成模型;
步骤N3:根据所述光斑清晰度输入至所述距离信息生成模型,以生成所述像素点与所述深度相机之间的距离信息。
6.根据权利要求5所述的简易的深度相机,其特征在于,所述步骤N1包括如下步骤:
步骤N101:定义拉普拉斯算子L;
步骤N102:对每一像素点的灰度值根据所述拉普拉斯算子L进行卷积处理生成每一像素点的卷积值;
步骤N103:根据所有所述像素点的卷积值的平均值生成所述光斑清晰度的数值。
8.根据权利要求1所述的简易的深度相机,其特征在于,所述距离信息生成模型通过预采集的多个与光斑图像中光斑清晰度对应的距离信息和拟合生成。
9.根据权利要求1所述的简易的深度相机,其特征在于,所述距离信息生成模型具体如下:
y=-1.101e-14×x5+6.971e-11×x4-1.719e-07×x3+0.0002105×x2-0.1484×x+103
其中,x为清晰度,y为距离信息。
10.根据权利要求1所述的简易的深度相机,其特征在于,所述光斑图像上的光斑点的直径在6至15毫米。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011618635.XA CN114697481A (zh) | 2020-12-30 | 2020-12-30 | 简易的深度相机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011618635.XA CN114697481A (zh) | 2020-12-30 | 2020-12-30 | 简易的深度相机 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114697481A true CN114697481A (zh) | 2022-07-01 |
Family
ID=82133593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011618635.XA Pending CN114697481A (zh) | 2020-12-30 | 2020-12-30 | 简易的深度相机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114697481A (zh) |
-
2020
- 2020-12-30 CN CN202011618635.XA patent/CN114697481A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10608002B2 (en) | Method and system for object reconstruction | |
EP3195042B1 (en) | Linear mode computational sensing ladar | |
JP2022525204A (ja) | 少なくとも1つの材料特性を識別するための検出器 | |
KR101652393B1 (ko) | 3차원 영상 획득 장치 및 방법 | |
CN112384167B (zh) | 用于在相机中生成动态投影图案的设备、方法和系统 | |
KR20220103962A (ko) | 디스플레이를 통한 깊이 측정 | |
WO1998040762A1 (en) | Image-directed active range finding system | |
JP2023512280A (ja) | 物体認識のための検出器 | |
Choudhury et al. | Simultaneous enhancement of scanning area and imaging speed for a MEMS mirror based high resolution LiDAR | |
CN114697481A (zh) | 简易的深度相机 | |
CN115834869A (zh) | 深度相机的帧率测试方法及装置 | |
US20230003894A1 (en) | Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method | |
CN115018894A (zh) | 结构光重建模组 | |
CN211785087U (zh) | 4d摄像装置及电子设备 | |
KR20230028303A (ko) | 확산 조명 및 구조화 광을 위한 프로젝터 | |
CN112949496A (zh) | 深度相机 | |
CN112834435A (zh) | 4d摄像装置及电子设备 | |
US11920918B2 (en) | One shot calibration | |
KR102211483B1 (ko) | 레이저 어레이 패턴 분석 기반 물체 정보 추정 장치 및 방법 | |
CN211785085U (zh) | 4d摄像装置及电子设备 | |
US11460551B2 (en) | Virtual array method for 3D robotic vision | |
WO2023041761A1 (en) | Emitter array with two or more independently driven areas | |
CN116703997A (zh) | 一种多帧结构光重建模组 | |
WO2023078986A1 (en) | Eye safety for projectors | |
CN115824399A (zh) | 单点散斑光功率测试方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |