CN112672067B - 深度相机的自动曝光方法、系统、计算机设备和存储介质 - Google Patents
深度相机的自动曝光方法、系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112672067B CN112672067B CN202011502221.0A CN202011502221A CN112672067B CN 112672067 B CN112672067 B CN 112672067B CN 202011502221 A CN202011502221 A CN 202011502221A CN 112672067 B CN112672067 B CN 112672067B
- Authority
- CN
- China
- Prior art keywords
- overexposure
- depth image
- points
- infrared image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本申请涉及一种深度相机的自动曝光方法、系统、计算机设备和存储介质。方法包括：接收同步的一帧深度图像和红外图像；统计得到深度图像中过曝点的个数、红外图像中像素的平均值及红外图像中过曝点的个数；根据深度图像的过曝点的个数进行深度图像的过曝检测，根据检测结果调整激光发射的强度；若深度图像的过曝检测不符合条件，则根据红外图像中像素的平均值和过曝点个数对红外图像进行像素均值检测和红外图像的过曝检测，根据检测结果调整激光发射的强度；若深度图像的过曝检测、红外图像的像素均值检测及红外图像的过曝检测均不符合条件，则获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度。
Description
技术领域
本申请涉及深度相机技术领域，特别是涉及一种深度相机的自动曝光方法、系统、计算机设备和存储介质。
背景技术
随着科技的发展与进步，3D深度相机已经应用到各种不同的生活场景里，在广泛使用3D深度相机的过程中也暴露出了3D深度相机的一些问题。在3D深度相机可测距离范围内，根据被测物体距离相机的远近要适时调整相机的激光发射强度，以便获得更准确的深度图像。但在调试激光强度的同时忽略了相机近红外图像的成像质量，影响近红外图像在深度图像处理和算法运用，如果将算法运用到设备中，可能导致设备发生错误判断，造成财产损失。
发明内容
基于此，有必要针对上述技术问题，提供一种深度相机的自动曝光方法、系统、计算机设备和存储介质。
一种深度相机的自动曝光方法，包括以下步骤：
接收同步的一帧深度图像和红外图像；
统计得到深度图像中过曝点的个数、红外图像中像素的平均值及红外图像中过曝点的个数；
根据深度图像的过曝点的个数进行深度图像的过曝检测，根据检测结果调整激光发射的强度；
若深度图像的过曝检测不符合条件，则根据红外图像中像素的平均值和过曝点个数对红外图像进行像素均值检测和红外图像的过曝检测，根据检测结果调整激光发射的强度；
若深度图像的过曝检测、红外图像的像素均值检测及红外图像的过曝检测均不符合条件，则获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度。
作为一种实施方式，所述根据深度图像的过曝点的个数进行深度图像的过曝检测，根据检测结果调整激光发射的强度，具体包括以下步骤：
根据深度图像的过曝点的个数和深度图像过曝点阈值的比较；
若深度图像的过曝点的个数大于深度图像过曝点阈值，则立即按固定比例降低激光发射的强度。
作为一种实施方式，所述根据红外图像中像素的平均值和过曝点个数对红外图像进行像素均值检测和红外图像的过曝检测，具体包括以下步骤：
根据红外图像中像素的平均值和像素平均值阈值进行像素均值检测；
若红外图像中像素的平均值小于等于像素平均值阈值，则激光强度不变；
若红外图像中像素的平均值大于等于像素平均值阈值，则进行红外图像的过曝检测；
根据红外图像中的过曝点个数和红外图像过曝点阈值进行比较；
若红外图像中的过曝点个数小于等于红外图像过曝点阈值，则激光强度不变；
若红外图像中的过曝点个数大于红外图像过曝点阈值，则获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度。
作为一种实施方式，所述获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度，包括以下步骤：
判断是否存满了当前帧前的额定帧深度图像的激光强度和曝光点信息；
若没有存满帧数深度图像的信息，则根据目标激光强度和当前帧激光强度计算适合的激光强度值；
若存满前帧数深度图像的信息，则根据前若干帧保存的深度图像的激光强度和曝光点的映射关系拟合多项式，并结合曝光点个数阈值参数计算合适的激光强度值。
作为一种实施方式，还包括以下步骤：
判断当前帧的前若干帧深度图像信息中是否有相同的激光强度；
如果没有相同的激光强度，则保存该若干帧深度图像信息，并删除最远帧的激光强度值和过曝点数；
如果有相同的激光强度，则删除其相同的激光强度值和过曝点数，并保存当前的激光强度值和过曝点。
一种深度相机的自动曝光系统，包括：
接收单元，用于接收同步的一帧深度图像和红外图像；
统计单元，用于统计得到深度图像中过曝点的个数、红外图像中像素的平均值及红外图像中过曝点的个数；
深度图像检测单元，用于根据深度图像的过曝点的个数进行深度图像的过曝检测，根据检测结果调整激光发射的强度；
红外图像检测单元，用于若深度图像的过曝检测不符合条件，则根据红外图像中像素的平均值和过曝点个数对红外图像进行像素均值检测和红外图像的过曝检测，根据检测结果调整激光发射的强度；
多项拟合单元，用于若深度图像的过曝检测、红外图像的像素均值检测及红外图像的过曝检测均不符合条件，则获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求深度相机的自动曝光方法中任一项所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求深度相机的自动曝光方法中任一项所述的方法的步骤。
上述深度相机的自动曝光方法、系统、计算机设备和存储介质，利用深度图像和近红外图像信息二重判断对深度相机进行自动曝光，使得深度相机曝光算法稳定可靠，在获得较准确的深度图像情况下，调整激光强度获得更高质量的近红外图像。
在不更改相机配置的情况下，同时获得较准确的深度图像和高质量的红外图像，提升了后续深度图像和算法运算的效果。
附图说明
图1为一个实施例中深度相机的自动曝光方法的应用环境图；
图2为一个实施例中深度相机的自动曝光方法的流程示意图；
图3为一个实施例中深度相机的自动曝光系统的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的深度相机的自动曝光方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种深度相机的自动曝光方法。接下来以该方法应用于图1中的终端为例进行说明，该方法包括以下步骤：
S100、接收同步的一帧深度图像和红外图像；
S200、统计得到深度图像中过曝点的个数、红外图像中像素的平均值及红外图像中过曝点的个数；
S300、根据深度图像的过曝点的个数进行深度图像的过曝检测，根据检测结果调整激光发射的强度；
S400、若深度图像的过曝检测不符合条件，则根据红外图像中像素的平均值和过曝点个数对红外图像进行像素均值检测和红外图像的过曝检测，根据检测结果调整激光发射的强度；
S500、若深度图像的过曝检测、红外图像的像素均值检测及红外图像的过曝检测均不符合条件，则获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度。
步骤S300具体包括以下步骤：
根据深度图像的过曝点的个数和深度图像过曝点阈值的比较；
若深度图像的过曝点的个数大于深度图像过曝点阈值，则立即按固定比例降低激光发射的强度。
步骤S400具体包括以下步骤：
根据红外图像中像素的平均值和像素平均值阈值进行像素均值检测；
若红外图像中像素的平均值小于等于像素平均值阈值，则激光强度不变；
若红外图像中像素的平均值大于等于像素平均值阈值，则进行红外图像的过曝检测；
根据红外图像中的过曝点个数和红外图像过曝点阈值进行比较；
若红外图像中的过曝点个数小于等于红外图像过曝点阈值，则激光强度不变；
若红外图像中的过曝点个数大于红外图像过曝点阈值，则获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度。
步骤S500具体包括以下步骤：
判断是否存满了当前帧的前若干帧深度图像的激光强度和曝光点信息；
若没有存满帧数深度图像的信息，则根据目标激光强度和当前帧激光强度计算适合的激光强度值；
若存满前帧数深度图像的信息，则根据前若干帧保存的深度图像的激光强度和曝光点的映射关系拟合多项式，并结合曝光点个数阈值参数计算合适的激光强度值。
除上述步骤外，还包括以下步骤S600：
判断当前帧的前若干帧深度图像信息中是否有相同的激光强度；
如果没有相同的激光强度，则保存该若干帧深度图像信息，并删除最远帧的激光强度值和过曝点数；
如果有相同的激光强度，则删除其相同的激光强度值和过曝点数，并保存当前的激光强度值和过曝点。
在本实施例中，以保存当前帧的前5帧深度图像信息为例，深度相机的自动曝光方法的完整流程如下：
步骤一：统计一帧深度图像中过曝点个数(即深度图像中所有像素为0的个数)，记为num_zeros；计算近红外图像像素平均值，记为ir_ave_val；
步骤二：判断当前帧的前5帧激光强度和对应的曝光点数(记为save_five_p p)是否有相同的激光强度，如果没有进行保存，并删除最远帧的激光强度值和过曝点数；如果有相同的激光强度，删除其相同的激光强度值和过曝点数，并保存当前的激光强度值和过曝点。
步骤三：将深度图像的过曝点个数和预先设定的深度图像过曝点阈值(记为thresh_zeros)比较。
步骤四：如果num_zeros>thresh_zeros，则立即按固定比例降低激光发射强度；
步骤五：如果num_zeros<＝thresh_zeros，比较近红外图像像素平均值(记为ir_ave_val)和预先设定的近红外图像像素平均值阈值(记为traget_va)l比较；
步骤六：如果ir_ave_val<＝traget_val，则激光强度符合要求，执行步骤十四。
步骤七：如果ir_ave_val>traget_val，则激光强度不满足要求，此时，读取当前帧激光强度(记为current_plus)通过traget_val/target_plus＝ir_ave_val/current_plus，计算目标激光强度target_plus。
步骤八：读取目标激光强度下红外图像的每个像素值(记为target_pix)，通过target_pix/target_plus＝current_pix/current_plus，计算出目标红外图像的每个像素(记为current_pix)
，并统计红外图像中过曝点的个数(记为num_zeros_1)，预先设定的红外图像过曝点阈值(记为thresh_zeros_1)；
步骤九：比较num_zeros_1和thresh_zeros_1的大小；
步骤十：如果num_zeros_1<＝thresh_zeros_1，则激光强度符合要求，执行步骤十四；
步骤十一：如果num_zeros_1>thresh_zeros_1，判断save_five_pp是否存满了5帧深度图像的激光强度值和曝光点；
步骤十二：如果未存满5帧深度图像信息，则此时适合的激光强度值记为su it_plus，suit_plus＝(target_plus+current_plus)/2。
步骤十三：如果存满5帧深度图像信息，利用前5帧保存的激光强度与曝光点的映射关系拟合多项式f(x)＝ax^4+bx^3+cx^2+dx^1+e，其中，a、b、c、d表示为多项式系数，e表示为多项式常数，x表示为过曝点阈值，将红外图像过曝点阈值thresh_zeros_1带入多项式求取阈值曝光点时的激光强度即为最合适的曝光强度(记为suit_plus)，调整深度相机激光强度至最合适的曝光强度；
步骤十四：等待激光发射强度调整后的图像帧；
步骤十五：返回步骤一。
如图3所示，一种深度相机的自动曝光系统，包括接收单元1、统计单元2、深度图像检测单元3、红外图像检测单元4及多项拟合单元5，接收单元1用于接收同步的一帧深度图像和红外图像；统计单元2用于统计得到深度图像中过曝点的个数、红外图像中像素的平均值及红外图像中过曝点的个数；深度图像检测单元3用于根据深度图像的过曝点的个数进行深度图像的过曝检测，根据检测结果调整激光发射的强度；红外图像检测单元4用于若深度图像的过曝检测不符合条件，则根据红外图像中像素的平均值和过曝点个数对红外图像进行像素均值检测和红外图像的过曝检测，根据检测结果调整激光发射的强度；多项拟合单元5用于若深度图像的过曝检测、红外图像的像素均值检测及红外图像的过曝检测均不符合条件，则获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度。
关于上述深度相机的自动曝光系统的具体限定可以参见上文中对于深度相机的自动曝光方法的限定，在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述基于红外图像的人脸活体检测方法的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于红外图像的人脸活体检测方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
S100、接收同步的一帧深度图像和红外图像；
S200、统计得到深度图像中过曝点的个数、红外图像中像素的平均值及红外图像中过曝点的个数；
S300、根据深度图像的过曝点的个数进行深度图像的过曝检测，根据检测结果调整激光发射的强度；
S400、若深度图像的过曝检测不符合条件，则根据红外图像中像素的平均值和过曝点个数对红外图像进行像素均值检测和红外图像的过曝检测，根据检测结果调整激光发射的强度；
S500、若深度图像的过曝检测、红外图像的像素均值检测及红外图像的过曝检测均不符合条件，则获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度。
步骤S300具体包括以下步骤：
根据深度图像的过曝点的个数和深度图像过曝点阈值的比较；
若深度图像的过曝点的个数大于深度图像过曝点阈值，则立即按固定比例降低激光发射的强度。
步骤S400具体包括以下步骤：
根据红外图像中像素的平均值和像素平均值阈值进行像素均值检测；
若红外图像中像素的平均值小于等于像素平均值阈值，则激光强度不变；
若红外图像中像素的平均值大于等于像素平均值阈值，则进行红外图像的过曝检测；
根据红外图像中的过曝点个数和红外图像过曝点阈值进行比较；
若红外图像中的过曝点个数小于等于红外图像过曝点阈值，则激光强度不变；
若红外图像中的过曝点个数大于红外图像过曝点阈值，则获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度。
步骤S500具体包括以下步骤：
判断是否存满了当前帧的前若干帧深度图像的激光强度和曝光点信息；
若没有存满帧数深度图像的信息，则根据目标激光强度和当前帧激光强度计算适合的激光强度值；
若存满前帧数深度图像的信息，则根据前若干帧保存的深度图像的激光强度和曝光点的映射关系拟合多项式，并结合曝光点个数阈值参数计算合适的激光强度值。
除上述步骤外，还包括以下步骤S600：
判断当前帧的前若干帧深度图像信息中是否有相同的激光强度；
如果没有相同的激光强度，则保存该若干帧深度图像信息，并删除最远帧的激光强度值和过曝点数；
如果有相同的激光强度，则删除其相同的激光强度值和过曝点数，并保存当前的激光强度值和过曝点。
在本实施例中，以保存当前帧的前5帧深度图像信息为例，深度相机的自动曝光方法的完整流程如下：
步骤一：统计一帧深度图像中过曝点个数(即深度图像中所有像素为0的个数)，记为num_zeros；计算近红外图像像素平均值，记为ir_ave_val；
步骤二：判断当前帧的前5帧激光强度和对应的曝光点数(记为save_five_p p)是否有相同的激光强度，如果没有进行保存，并删除最远帧的激光强度值和过曝点数；如果有相同的激光强度，删除其相同的激光强度值和过曝点数，并保存当前的激光强度值和过曝点。
步骤三：将深度图像的过曝点个数和预先设定的深度图像过曝点阈值(记为thresh_zeros)比较。
步骤四：如果num_zeros>thresh_zeros，则立即按固定比例降低激光发射强度；
步骤五：如果num_zeros<＝thresh_zeros，比较近红外图像像素平均值(记为ir_ave_val)和预先设定的近红外图像像素平均值阈值(记为traget_va)l比较；
步骤六：如果ir_ave_val<＝traget_val，则激光强度符合要求，执行步骤十四。
步骤七：如果ir_ave_val>traget_val，则激光强度不满足要求，此时，读取当前帧激光强度(记为current_plus)通过traget_val/target_plus＝ir_ave_val/current_plus，计算目标激光强度target_plus。
步骤八：读取目标激光强度下红外图像的每个像素值(记为target_pix)，通过target_pix/target_plus＝current_pix/current_plus，计算出目标红外图像的每个像素(记为current_pix)
，并统计红外图像中过曝点的个数(记为num_zeros_1)，预先设定的红外图像过曝点阈值(记为thresh_zeros_1)；
步骤九：比较num_zeros_1和thresh_zeros_1的大小；
步骤十：如果num_zeros_1<＝thresh_zeros_1，则激光强度符合要求，执行步骤十四；
步骤十一：如果num_zeros_1>thresh_zeros_1，判断save_five_pp是否存满了5帧深度图像的激光强度值和曝光点；
步骤十二：如果未存满5帧深度图像信息，则此时适合的激光强度值记为su it_plus，suit_plus＝(target_plus+current_plus)/2。
步骤十三：如果存满5帧深度图像信息，利用前5帧保存的激光强度与曝光点的映射关系拟合多项式f(x)＝ax^4+bx^3+cx^2+dx^1+e，其中，a、b、c、d表示为多项式系数，e表示为多项式常数，x表示为过曝点阈值，将红外图像过曝点阈值thresh_zeros_1带入多项式求取阈值曝光点时的激光强度即为最合适的曝光强度(记为suit_plus)，调整深度相机激光强度至最合适的曝光强度；
步骤十四：等待激光发射强度调整后的图像帧；
步骤十五：返回步骤一。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
S100、接收同步的一帧深度图像和红外图像；
S200、统计得到深度图像中过曝点的个数、红外图像中像素的平均值及红外图像中过曝点的个数；
S300、根据深度图像的过曝点的个数进行深度图像的过曝检测，根据检测结果调整激光发射的强度；
S400、若深度图像的过曝检测不符合条件，则根据红外图像中像素的平均值和过曝点个数对红外图像进行像素均值检测和红外图像的过曝检测，根据检测结果调整激光发射的强度；
S500、若深度图像的过曝检测、红外图像的像素均值检测及红外图像的过曝检测均不符合条件，则获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度。
步骤S300具体包括以下步骤：
根据深度图像的过曝点的个数和深度图像过曝点阈值的比较；
若深度图像的过曝点的个数大于深度图像过曝点阈值，则立即按固定比例降低激光发射的强度。
步骤S400具体包括以下步骤：
根据红外图像中像素的平均值和像素平均值阈值进行像素均值检测；
若红外图像中像素的平均值小于等于像素平均值阈值，则激光强度不变；
若红外图像中像素的平均值大于等于像素平均值阈值，则进行红外图像的过曝检测；
根据红外图像中的过曝点个数和红外图像过曝点阈值进行比较；
若红外图像中的过曝点个数小于等于红外图像过曝点阈值，则激光强度不变；
若红外图像中的过曝点个数大于红外图像过曝点阈值，则获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度。
步骤S500具体包括以下步骤：
判断是否存满了当前帧的前若干帧深度图像的激光强度和曝光点信息；
若没有存满帧数深度图像的信息，则根据目标激光强度和当前帧激光强度计算适合的激光强度值；
若存满前帧数深度图像的信息，则根据前若干帧保存的深度图像的激光强度和曝光点的映射关系拟合多项式，并结合曝光点个数阈值参数计算合适的激光强度值。
除上述步骤外，还包括以下步骤S600：
判断当前帧的前若干帧深度图像信息中是否有相同的激光强度；
如果没有相同的激光强度，则保存该若干帧深度图像信息，并删除最远帧的激光强度值和过曝点数；
如果有相同的激光强度，则删除其相同的激光强度值和过曝点数，并保存当前的激光强度值和过曝点。
在本实施例中，以保存当前帧的前5帧深度图像信息为例，深度相机的自动曝光方法的完整流程如下：
步骤一：统计一帧深度图像中过曝点个数(即深度图像中所有像素为0的个数)，记为num_zeros；计算近红外图像像素平均值，记为ir_ave_val；
步骤二：判断当前帧的前5帧激光强度和对应的曝光点数(记为save_five_p p)是否有相同的激光强度，如果没有进行保存，并删除最远帧的激光强度值和过曝点数；如果有相同的激光强度，删除其相同的激光强度值和过曝点数，并保存当前的激光强度值和过曝点。
步骤三：将深度图像的过曝点个数和预先设定的深度图像过曝点阈值(记为thresh_zeros)比较。
步骤四：如果num_zeros>thresh_zeros，则立即按固定比例降低激光发射强度；
步骤五：如果num_zeros<＝thresh_zeros，比较近红外图像像素平均值(记为ir_ave_val)和预先设定的近红外图像像素平均值阈值(记为traget_va)l比较；
步骤六：如果ir_ave_val<＝traget_val，则激光强度符合要求，执行步骤十四。
步骤七：如果ir_ave_val>traget_val，则激光强度不满足要求，此时，读取当前帧激光强度(记为current_plus)通过traget_val/target_plus＝ir_ave_val/current_plus，计算目标激光强度target_plus。
步骤八：读取目标激光强度下红外图像的每个像素值(记为target_pix)，通过target_pix/target_plus＝current_pix/current_plus，计算出目标红外图像的每个像素(记为current_pix)
，并统计红外图像中过曝点的个数(记为num_zeros_1)，预先设定的红外图像过曝点阈值(记为thresh_zeros_1)；
步骤九：比较num_zeros_1和thresh_zeros_1的大小；
步骤十：如果num_zeros_1<＝thresh_zeros_1，则激光强度符合要求，执行步骤十四；
步骤十一：如果num_zeros_1>thresh_zeros_1，判断save_five_pp是否存满了5帧深度图像的激光强度值和曝光点；
步骤十二：如果未存满5帧深度图像信息，则此时适合的激光强度值记为su it_plus，suit_plus＝(target_plus+current_plus)/2。
步骤十三：如果存满5帧深度图像信息，利用前5帧保存的激光强度与曝光点的映射关系拟合多项式f(x)＝ax^4+bx^3+cx^2+dx^1+e，其中，a、b、c、d表示为多项式系数，e表示为多项式常数，x表示为过曝点阈值，将红外图像过曝点阈值thresh_zeros_1带入多项式求取阈值曝光点时的激光强度即为最合适的曝光强度(记为suit_plus)，调整深度相机激光强度至最合适的曝光强度；
步骤十四：等待激光发射强度调整后的图像帧；
步骤十五：返回步骤一。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SD RAM(ESDRAM)、同步链路(Synchlink)
DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种深度相机的自动曝光方法，其特征在于，包括以下步骤：
接收同步的一帧深度图像和红外图像；
统计得到深度图像中过曝点的个数、红外图像中像素的平均值及红外图像中过曝点的个数；
根据深度图像的过曝点的个数进行深度图像的过曝检测，将深度图像的过曝点的个数和深度图像过曝点阈值的比较，若深度图像的过曝点的个数大于深度图像过曝点阈值，则降低激光发射的强度；
若深度图像的过曝检测的结果为不过曝，即深度图像的过曝点个数小于深度图像过曝点阈值，则根据红外图像中像素的平均值和过曝点个数对红外图像进行像素均值检测和红外图像的过曝检测，若红外图像的像素均值检测符合条件，和/或，若红外图像的过曝检测的结果为不过曝，即红外图像的过曝点的个数小于或等于红外图像的过曝点阈值，则激光发射强度不变；
若深度图像的过曝检测的结果为不过曝、红外图像的过曝检测的结果为过曝，同时，红外图像的像素均值检测不符合条件，则获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度；
所述获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度，包括以下步骤：
判断是否存满了当前帧前的额定帧深度图像的激光强度和曝光点信息；
若没有存满帧数深度图像的信息，则根据目标激光强度和当前帧激光强度计算适合的激光强度值；
若存满前帧数深度图像的信息，则根据前若干帧保存的深度图像的激光强度和曝光点的映射关系拟合多项式，并结合曝光点个数阈值参数计算合适的激光强度值。
2.根据权利要求1所述的深度相机的自动曝光方法，其特征在于，所述若深度图像的过曝点的个数大于深度图像过曝点阈值，则降低激光发射的强度，具体包括以下步骤：
若深度图像的过曝点的个数大于深度图像过曝点阈值，则按固定比例降低激光发射的强度。
3.根据权利要求1或2所述的深度相机的自动曝光方法，其特征在于，所述根据红外图像中像素的平均值和过曝点个数对红外图像进行像素均值检测和红外图像的过曝检测，具体包括以下步骤：
根据红外图像中像素的平均值和像素平均值阈值进行像素均值检测；
若红外图像中像素的平均值小于等于像素平均值阈值，则激光强度不变；
若红外图像中像素的平均值大于等于像素平均值阈值，则进行红外图像的过曝检测；
若红外图像中的过曝点个数大于红外图像过曝点阈值，则获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度。
4.根据权利要求1所述的深度相机的自动曝光方法，其特征在于，还包括以下步骤：
判断当前帧的前若干帧深度图像信息中是否有相同的激光强度；
如果没有相同的激光强度，则保存该若干帧深度图像信息，并删除最远帧的激光强度值和过曝点数；
如果有相同的激光强度，则删除其相同的激光强度值和过曝点数，并保存当前的激光强度值和过曝点。
5.一种深度相机的自动曝光系统，其特征在于，包括：
接收单元，用于接收同步的一帧深度图像和红外图像；
统计单元，用于统计得到深度图像中过曝点的个数、红外图像中像素的平均值及红外图像中过曝点的个数；
深度图像检测单元，用于根据深度图像的过曝点的个数进行深度图像的过曝检测，将深度图像的过曝点的个数和深度图像过曝点阈值的比较，若深度图像的过曝点的个数大于深度图像过曝点阈值，则降低激光发射的强度；
红外图像检测单元，用于若深度图像的过曝检测的结果为不过曝，即深度图像的过曝点个数小于深度图像过曝点阈值，则根据红外图像中像素的平均值和过曝点个数对红外图像进行像素均值检测和红外图像的过曝检测，若红外图像的像素均值检测符合条件，和/或，若红外图像的过曝检测的结果为不过曝，即红外图像的过曝点的个数小于或等于红外图像的过曝点阈值，则激光发射强度不变；
多项拟合单元，用于若深度图像的过曝检测的结果为不过曝、红外图像的过曝检测的结果为过曝，同时，红外图像的像素均值检测及红外图像的过曝检测均不符合条件，则获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度；所述获取当前帧之前保存的额定帧深度图像信息进行拟合求得适合当前的激光发射的强度，包括以下步骤：
判断是否存满了当前帧前的额定帧深度图像的激光强度和曝光点信息；
若没有存满帧数深度图像的信息，则根据目标激光强度和当前帧激光强度计算适合的激光强度值；
若存满前帧数深度图像的信息，则根据前若干帧保存的深度图像的激光强度和曝光点的映射关系拟合多项式，并结合曝光点个数阈值参数计算合适的激光强度值。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011502221.0A CN112672067B (zh) | 2020-12-17 | 2020-12-17 | 深度相机的自动曝光方法、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011502221.0A CN112672067B (zh) | 2020-12-17 | 2020-12-17 | 深度相机的自动曝光方法、系统、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112672067A CN112672067A (zh) | 2021-04-16 |
| CN112672067B true CN112672067B (zh) | 2022-11-15 |
Family
ID=75406370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011502221.0A Active CN112672067B (zh) | 2020-12-17 | 2020-12-17 | 深度相机的自动曝光方法、系统、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112672067B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113504530A (zh) * | 2021-05-08 | 2021-10-15 | 奥比中光科技集团股份有限公司 | 一种深度相机安全控制方法、装置、及ToF深度相机 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110944135A (zh) * | 2019-11-18 | 2020-03-31 | 深圳前海达闼云端智能科技有限公司 | 一种功率控制方法、电子设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903324B (zh) * | 2019-04-08 | 2022-04-15 | 京东方科技集团股份有限公司 | 一种深度图像获取方法及装置 |
| CN110062145B (zh) * | 2019-05-24 | 2021-07-20 | Oppo广东移动通信有限公司 | 深度相机、电子设备及图像获取方法 |
| CN110308458B (zh) * | 2019-06-27 | 2021-03-23 | Oppo广东移动通信有限公司 | 调节方法、调节装置、终端及计算机可读存储介质 |
| CN110505402B (zh) * | 2019-08-19 | 2021-03-23 | Oppo广东移动通信有限公司 | 控制方法、深度相机和电子装置 |
| CN111429366B (zh) * | 2020-03-03 | 2022-05-17 | 浙江大学 | 基于亮度转换函数的单帧弱光图像增强方法 |
| CN111885311B (zh) * | 2020-03-27 | 2022-01-21 | 东莞埃科思科技有限公司 | 红外摄像头曝光调节的方法、装置、电子设备及存储介质 |
-
2020
- 2020-12-17 CN CN202011502221.0A patent/CN112672067B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110944135A (zh) * | 2019-11-18 | 2020-03-31 | 深圳前海达闼云端智能科技有限公司 | 一种功率控制方法、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112672067A (zh) | 2021-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109034078B (zh) | 年龄识别模型的训练方法、年龄识别方法及相关设备 | |
| CN108921161B (zh) | 模型训练方法、装置、电子设备和计算机可读存储介质 | |
| CN108764208B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
| CN112258528B (zh) | 图像处理方法和装置、电子设备 | |
| CN110536068B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| CN110717878B (zh) | 图像融合方法、装置、计算机设备和存储介质 | |
| WO2018228310A1 (zh) | 图像处理方法、装置及终端 | |
| CN108804658B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
| CN110659617A (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
| CN110580693B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN111080571B (zh) | 摄像头遮挡状态检测方法、装置、终端和存储介质 | |
| CN112884782B (zh) | 生物对象分割方法、装置、计算机设备和存储介质 | |
| CN110881108B (zh) | 图像处理方法及图像处理装置 | |
| CN111445487B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN112672067B (zh) | 深度相机的自动曝光方法、系统、计算机设备和存储介质 | |
| CN112989910A (zh) | 电力目标检测方法、装置、计算机设备和存储介质 | |
| CN114257738A (zh) | 自动曝光方法、装置、设备及存储介质 | |
| CN109859142B (zh) | 图像亮度的调节方法、装置、计算机设备和存储介质 | |
| CN109996063B (zh) | 视频图像花屏检测方法、装置、计算机设备和存储介质 | |
| CN110688926B (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
| WO2019223538A1 (zh) | 图像处理方法和装置、存储介质、电子设备 | |
| CN112653847B (zh) | 深度相机的自动曝光方法、计算机设备和存储介质 | |
| CN111445411B (zh) | 图像去噪方法、装置、计算机设备和存储介质 | |
| CN111402147B (zh) | 视频图像处理方法、装置、计算机设备和存储介质 | |
| CN110619611B (zh) | 图像校正标定方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230411 Address after: Room 418, Building 1, No. 66, Dongxin Avenue, Puyan Street, Binjiang District, Hangzhou City, Zhejiang Province, 310000 Patentee after: Hangzhou Xinjushi Artificial Intelligence Technology Co.,Ltd. Address before: 310051 1505, 1506, 5th floor, Edie Building 1, 66 Dongxin Avenue, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: HANGZHOU AIXIN INTELLIGENT TECHNOLOGY CO.,LTD. |
|
| TR01 | Transfer of patent right |