CN112367476B - Tof相机的曝光时间确定方法、装置及终端设备 - Google Patents

Tof相机的曝光时间确定方法、装置及终端设备 Download PDF

Info

Publication number
CN112367476B
CN112367476B CN202011187419.4A CN202011187419A CN112367476B CN 112367476 B CN112367476 B CN 112367476B CN 202011187419 A CN202011187419 A CN 202011187419A CN 112367476 B CN112367476 B CN 112367476B
Authority
CN
China
Prior art keywords
exposure time
image frame
pixel values
current image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011187419.4A
Other languages
English (en)
Other versions
CN112367476A (zh
Inventor
林枝叶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011187419.4A priority Critical patent/CN112367476B/zh
Publication of CN112367476A publication Critical patent/CN112367476A/zh
Application granted granted Critical
Publication of CN112367476B publication Critical patent/CN112367476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请适用于图像处理技术领域,提供了TOF相机的曝光时间确定方法、装置及终端设备,包括:根据当前图像帧的部分区域的像素值以及所述当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间;若所述候选曝光时间与所述当前图像帧的曝光时间不等,则根据所述候选曝光时间确定所述下一个图像帧的最终的曝光时间。通过上述方法,能够提高减少功耗。

Description

TOF相机的曝光时间确定方法、装置及终端设备
技术领域
本申请属于图像处理技术领域,尤其涉及TOF相机的曝光时间确定方法、装置及终端设备。
背景技术
目前的3维(3 Dimensions,3D)相机通常有双目深度相机、结构光相机和飞行时间(Time of flight,TOF)相机。其中,不同3D相机获取深度信息的原理如下:
双目深度相机是一种被动式获取深度方法,通过双摄像头采集不同视差的目标物体图像,然后利用三角测距原理,通过求取对应点的视差,再通过视差转换成深度,以得到目标物体的深度图。双目深度相机已经在手机中广泛应用,可用来做背景虚化、图像贴图、3D模型重建等。
结构光相机是一种主动式获取深度方式,主要原理是将一定模式的结构光投射到物体表面,在表面形成由被测物体表面形状所调制的光条三维图像,然后摄像机探测该光条三维图像,得到光条二维畸变图像。根据投射器与摄像机之间的相对位置,使用光学三角法测量原理,将畸变的二维光条图像坐标重现到三维物体坐标,从而获取物体的深度信息。结构光相机根据光源分为双目结构光和散斑结构光,可用于人脸解锁,前置人像虚化等。
TOF相机是一种主动式获取深度方式,主要原理是通过发射器发射脉冲波,光脉冲打到目标物体表面,传感器接收反射回的脉冲波后,通过探测光脉冲往返飞行时间差或相位差得到目标的深度距离,最终得到空间物体的三维图像信息,包含直接测距法和相位差测距法。根据获取的信号结果不同,TOF分为直接飞行时间(Direct-TOF)和间接飞行时间(Indirect-TOF),Direct-TOF直接获取时间,Indirect-TOF获取相位差。TOF相机可用于背景虚化、背景替换、场景重建等。
上述三种3D相机中,由于TOF相机在主动发射光源后,接受反射光源,再计算飞行时间,因此其生成的深度图的精度、测距范围等均优于结构光相机和双目深度相机。
对于TOF相机来说,深度图的精度除了与生成原理有关之外,还与曝光时间有关,曝光时间越长,传感器能够感应的光量越多,生成的图像也越清晰、明亮,也即得到的距离更精确。但若曝光时间太长,导致出现过曝现象,则会出现图像细节丢失的现象。若曝光时间不足(即欠曝),则会导致生成的图像亮度不够,即欠曝会使得生成的图像噪声很大。为了能够获得与当前拍摄场景更匹配的曝光时间,可通过手动调参或增加闪光灯等调整曝光时间,也可以通过一定的算法自适应确定曝光时间。
现有的自动曝光方法中,在相机采集当前图像帧后,自适应计算下一个图像帧的曝光时间,再通过调整接收端的积分时间,以调整下一个图像帧的曝光时间,再根据调整后的曝光时间采集下一个图像帧。由于对每一个图像帧的曝光时间都进行计算、调整,因此,导致功耗消耗过大,且导致自动曝光的稳定性较差。
故,需要提供一种新的方法,以解决上述技术问题。
发明内容
本申请实施例提供了一种TOF相机的曝光时间确定方法,可以减少功耗消耗,以及提高自动曝光的稳定性。
第一方面,本申请实施例提供了一种TOF相机的曝光时间确定方法,包括:
根据当前图像帧的部分区域的像素值以及所述当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间;
若所述候选曝光时间与所述当前图像帧的曝光时间不等,则根据所述候选曝光时间确定所述下一个图像帧的最终的曝光时间。
第二方面,本申请实施例提供了一种TOF相机的曝光时间确定装置,包括:
候选曝光时间确定单元,用于根据当前图像帧的部分区域的像素值以及所述当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间;
最终的曝光时间确定单元,用于若所述候选曝光时间与所述当前图像帧的曝光时间不等,则根据所述候选曝光时间确定所述下一个图像帧的最终的曝光时间。
第三方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面所述的方法。
本申请实施例与现有技术相比存在的有益效果是:
本申请实施例中,根据当前图像帧的部分区域的像素值以及所述当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间,若所述候选曝光时间与所述当前图像帧的曝光时间不等,则根据所述候选曝光时间确定所述下一个图像帧的最终的曝光时间。由于下一个图像帧的候选曝光时间是根据当前图像帧的部分区域计算得到,也即,不会使用到当前图像帧的全部区域计算,因此,减少了参与计算的像素点,从而减少了功耗的消耗。并且,由于只有在判断出候选曝光时间与当前图像帧的曝光时间不等时,才进一步计算下一个图像帧的最终的曝光时间,因此,避免计算每一个图像帧的最终的曝光时间,从而进一步减少了功耗的损耗,且由于不需要计算每一个图像帧的最终的曝光时间,因此能够提高确定的曝光时间的稳定性。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请实施例一提供的一种TOF相机的曝光时间确定方法的流程示意图;
图2(1)是本申请实施例一提供的第一指定区域分布的示意图;
图2(2)是本申请实施例一提供的第二指定区域分布的示意图;
图2(3)是本申请实施例一提供的第三指定区域分布的示意图;
图3是本申请实施例二提供的一种TOF相机的曝光时间确定装置的结构示意图;
图4是本申请实施例三提供的一种终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
实施例一:
目前的TOF相机在自动确定曝光时间时,是确定每一个图像帧的曝光时间,由于每一个图像帧的曝光时间都需要进行计算,因此,导致确定的曝光时间的稳定性较低,且对每一个图像帧的曝光时间都进行计算,也增大了终端设备的功耗。为了解决上述技术问题,本申请实施例提供了一种TOF相机的曝光时间确定方法,在该方法中,首先根据当前图像帧的部分区域的像素值计算下一个图像帧的候选曝光时间,再通过比较该候选曝光时间和当前图像帧的曝光时间,如果两者不相等,才会进一步确定下一个图像帧的最终的曝光时间。由于在计算候选曝光时间时并不需要当前图像帧的所有区域的像素值参与计算,因此,减少了计算量,并且,由于下一个图像帧的最终的曝光时间只有在候选曝光时间与当前图像帧的曝光时间不等时才计算,因此,减少了曝光时间的变动频率,从而能够提高曝光时间的稳定性。
为了更详细地描述本申请实施例提供的TOF相机的曝光时间确定方法,下面以具体实施例进行描述。
图1示出了本申请实施例提供的一种TOF相机的曝光时间确定方法的流程图,该曝光时间确定方法可应用于终端设备(如手机)中,详述如下:
步骤S11,根据当前图像帧的部分区域的像素值以及该当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间。
其中,当前图像帧可以为以下任一种图像类型:TOF相机输出的置信度图、幅度图或I/Q图等,其中,置信度图用于反映TOF相机接收的光能量多少,接收的光能量越多,对应的置信度越大。其中,I/Q图中,I=(A0-B0)-(A180-B180)。
Q=(A90-B90)-(A270-B270),A、B分别表示TOF相机中2个接收端所能接收到的光能量,A、B的下标表示对应的相位,比如,当下标是0时,表示相位是0°。A0表示接收端A在0°相位接收的光能量。
本实施例中,下一个图像帧是指当前图像帧的下一个图像帧,该步骤确定的候选曝光时间是指待定的曝光时间,其不一定就是该下一个图像帧对应的曝光时间。在计算该候选曝光时间时,终端设备从寄存器中读取当前图像帧的曝光时间,根据该当前图像帧的曝光时间和当前图像帧的部分区域(而不是全部区域)的像素值计算出下一个图像帧的候选曝光时间。由于不需要当前图像帧的全部区域(也即不需要整帧当前图像帧)的像素值参与计算,因此,减少了参与计算的像素值的数量,从而能够减少由于计算量大所带来功耗损耗。
步骤S12,若该候选曝光时间与该当前图像帧的曝光时间不等,则根据该候选曝光时间确定该下一个图像帧的最终的曝光时间。
本实施例中,若下一个图像帧的候选曝光时间大于或小于当前图像帧的曝光时间,即候选曝光时间与当前图像帧的曝光时间不等,则终端设备根据该候选曝光时间确定下一个图像帧的最终的曝光时间。进一步地,将该下一个图像帧的最终的曝光时间存入终端设备的寄存器中,生成下一帧深度图和下一帧置信度图,并重新计算新的曝光时间,这样依次反复,直到最后一个图像帧。当需要计算该下一个图像帧的下一个图像帧的候选曝光时间时,再从寄存器读取该下一个图像帧的曝光时间作为当前图像帧的曝光时间。
本申请实施例中,根据当前图像帧的部分区域的像素值以及该当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间,若该候选曝光时间与该当前图像帧的曝光时间不等,则根据该候选曝光时间确定该下一个图像帧的最终的曝光时间。由于下一个图像帧的候选曝光时间是根据当前图像帧的部分区域计算得到,也即,不会使用到当前图像帧的全部区域计算,因此,减少了参与计算的像素点,从而减少了功耗的消耗。并且,由于只有在判断出候选曝光时间与当前图像帧的曝光时间不等时,才进一步计算下一个图像帧的最终的曝光时间,因此,避免计算每一个图像帧的最终的曝光时间,从而进一步减少了功耗的损耗,且由于不需要计算每一个图像帧的最终的曝光时间,因此,减少了曝光时间的变动频率,从而能够提高曝光时间的稳定性。
在一些实施例中,考虑到相邻图像帧的曝光时间差异较大时,其得到的图像帧的差异也较大,而差异较大的相邻图像帧给用户的体验较差,因此,本申请实施例预先创建一个能够存储预设个数的曝光时间的队列,以根据队列存储的曝光时间得到平滑后的最终的曝光时间。具体地,上述步骤S12,包括:
A1、若该候选曝光时间与该当前图像帧的曝光时间不等,则将该候选曝光时间添加至预创建的队列中,该预创建的队列为先进先出队列,且该预创建的队列能够存储预设个数的曝光时间。
A2、根据该预创建的队列中存储的各个曝光时间确定该下一个图像帧的最终的曝光时间。
上述A1和A2中,预创建的队列能够存储预设个数的曝光时间,是指该队列最多能够存储的曝光时间的个数最多为预设个数,该预设个数通常大于1,例如,该预设个数为5。由于预创建的队列只存储预设个数的曝光时间,因此,其能够使得最终的曝光时间只被预设个数的曝光时间进行平滑,从而提高得到的最终的曝光时间的准确性。此外,由于曝光时间的准确性能够影响生成的深度图的准确性,因此,当采用准确性更高的最终的曝光时间生成深度图时,能够提高得到的距离信息的准确性。
本实施例中,在判断出候选曝光时间与当前图像帧的曝光时间不等时,将该候选曝光时间存入预创建的队列中,该预创建的队列为先进先出队列,比如,在预创建的队列只存储了(预设个数-1)的曝光时间时,直接将该候选曝光时间存入该预创建的队列中,在预创建的队列已存储了预设个数的曝光时间时,最先存入该预创建的队列的曝光时间将出列,候选曝光时间再存入该预创建的队列,以作为该预创建的队列中存储的一个曝光时间,这样,能够保证该预创建的队列最多只存储预设个数的曝光时间。
在一些实施例中,为了保证最先处理的图像帧的最终的曝光时间也为平滑后的曝光时间,则设置该预创建的队列在创建时存储有初始曝光时间,该初始曝光时间与测量距离成正比例关系,该测量距离为该TOF相机将要测量的物体的距离。
其中,初始曝光时间与测量距离成正比例关系,例如,假设测量距离是5米左右,则初始曝光时间可设置为500微秒,若测量距离为1.5米左右,则初始曝光时间可设置为200微秒。
本实施例中,由于预创建的队列预先存入初始曝光时间,且该初始曝光时间与测量距离成正比例关系,因此,即使在当前图像帧为第一个图像帧时,也能通过队列中的初始曝光时间对该第一个图像帧的曝光时间进行平滑,得到最终的曝光时间,从而使得帧间的曝光时间变化平缓。
在一些实施例中,为了能够准确确定出当前图像帧中存在异常的区域,该步骤S1,包括:
B1、将该当前图像帧划分为至少2个区域。
B2、分别统计每个区域中存在的异常像素值的个数,其中,异常像素值是指大于预设的曝光阈值的像素值,或者,小于预设的欠曝光阈值的像素值。
B3、计算第一目标区域中异常像素值的个数与对应区域的像素值的总个数的比值,根据该比值和该当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间,其中,该第一目标区域是指异常像素值的个数大于预设的异常阈值所对应的区域。
上述B1~B3中,曝光阈值和欠曝光阈值与当前图像帧所属的图像类型有关,也即,在当前图像帧属于置信度图时,其对应的曝光阈值(或欠曝光阈值)与当前图像帧属于幅度图时所对应曝光阈值(或欠曝光阈值)是不同的。
本实施例中,将当前图像帧划分为至少2个区域,并分别统计每个区域中存在的异常像素值,若某个区域中存在的异常像素值的个数大于预设的异常阈值,那么计算该区域中异常像素值的个数与该区域的像素值的总个数的比值,根据该比值和当前图像帧的曝光时间确定下一个图像帧的候选曝光时间,而对于异常像素值的个数不大于预设的异常阈值的区域将不执行比值计算的步骤。比如,若异常像素值为小于欠曝光阈值的像素值,且第一目标区域只有1个区域,即第一目标区域1,则第一目标区域1中异常像素值的个数为n,该第一目标区域1中的像素值的总个数为m,那么该第一目标区域1中异常像素值的个数与该第一目标区域1的像素值的总个数的比值为:n/m,根据下式确定下一个图像帧的候选曝光时间:(当前图像帧的曝光时间+n/m*当前图像帧的曝光时间)。比如,若异常像素值为大于曝光阈值的像素值,则根据下式确定下一个图像帧的候选曝光时间:(当前图像帧的曝光时间-n/m*当前图像帧的曝光时间)。当然,若第一目标区域有多个区域,那么下一个图像帧的候选曝光时间为第一目标区域中各个区域计算的候选曝光时间的和的平均值。
在一些实施例中,该步骤S1,包括:
B1、将该当前图像帧划分为N*N个区域,其中,N为大于1的整数。
为了便于统计,划分的N*N个区域为大小相同的区域。
B2、在划分的N*N个区域中,统计指定区域中存在异常像素值的个数,该指定区域的个数大于或等于1且小于N*N,该异常像素值是指大于预设的曝光阈值的像素值,或者,小于预设的欠曝光阈值的像素值。
其中,指定区域为划分的N*N个区域中的一个或多个(但不是所有)区域,在该步骤中,只统计指定区域中存在的异常像素值的个数,不统计其他区域的异常像素值的个数。由于指定区域是固定的区域,因此,能够快速确定出当前图像帧中需要统计异常像素值的个数的区域,进而能够提高异常像素值的个数的确定速度。
B3、统计第二目标区域中异常像素值的个数与对应区域的像素值的总个数的比值,根据该比值和该当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间,其中,该第二目标区域是指异常像素值的个数大于预设的异常阈值所对应的区域。
本实施例中,若异常像素值为小于欠曝光阈值的像素值,且第二目标区域只有1个区域,即第二目标区域1,则第二目标区域1中异常像素值的个数为n1,该第二目标区域1中的像素值的总个数为m1,那么该第二目标区域1中异常像素值的个数与该第二目标区域1的像素值的总个数的比值为:n1/m1,根据下式确定下一个图像帧的候选曝光时间:(当前图像帧的曝光时间+n1/m1*当前图像帧的曝光时间)。比如,若异常像素值为大于曝光阈值的像素值,则根据下式确定下一个图像帧的候选曝光时间:(当前图像帧的曝光时间-n1/m1*当前图像帧的曝光时间)。由于能够快速确定出异常像素值的个数,因此,能够快速确定出异常像素值的个数与同一区域的像素值的总个数的比值,进而能够快速确定出下一个图像帧的候选曝光时间。当然,若第二目标区域有多个区域,那么下一个图像帧的候选曝光时间为第二目标区域中各个区域计算的候选曝光时间的和的平均值。
在一些实施例中,该指定区域的分布包括三种:第一指定区域分布、第二指定区域分布和第三指定区域分布。
在第一指定区域分布中,该指定区域为中心区域,该中心区域为位于N*N个区域的中心的区域。
在第二指定区域分布中,该指定区域为中心区域、与该中心区域位于同一行的各个区域,以及,与该中心区域位于同一列的各个区域。
在第三指定区域分布中,该指定区域为中心区域,以及,既不是与该中心区域位于同一行也不是与该中心区域位于同一列的各个区域。
在同一个指定区域分布的区域中,一个区域对应一个权重,所有区域的权重之和等于1,且该中心区域的权重最大。
对应地,该B3具体包括:
统计第二目标区域中异常像素值的个数与对应区域的像素值的总个数的比值,根据该比值、对应区域的权重和该当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间。
若异常像素值为小于欠曝光阈值的像素值,且第二目标区域只有1个区域,即第二目标区域1,则第二目标区域1中异常像素值的个数为n1,该第二目标区域1中的像素值的总个数为m1,那么该第二目标区域1中异常像素值的个数与该第二目标区域1的像素值的总个数的比值为:n1/m1,根据下式确定下一个图像帧的候选曝光时间:(当前图像帧的曝光时间+n1/m1*当前图像帧的曝光时间*第二目标区域1对应的权重)。比如,若异常像素值为大于曝光阈值的像素值,则根据下式确定下一个图像帧的候选曝光时间:(当前图像帧的曝光时间-n1/m1*当前图像帧的曝光时间*第二目标区域1对应的权重)。当然,若第二目标区域有多个区域,那么下一个图像帧的候选曝光时间为第二目标区域中各个区域计算的候选曝光时间的和的平均值。
本实施例中,由于指定区域的分布有3种,因此,可根据需要选择对应的指定区域进行异常像素值的个数的统计。另外,由于限定中心区域的权重最大,而中心区域所对应的图像信息是用户最关注的,因此,限定中心区域的权重最大能够保证下一个图像帧的候选曝光时间受到当前图像帧的中心区域的影响最大,从而能够保证下一个图像帧的最终的曝光时间受到当前图像帧的中心区域的影响最大,进而能够提高用户对根据最终的曝光时间得到的图像帧的满意度。
如图2(1)~图2(3)所示,假设N=3,那么将当前图像帧划分为3*3个区域,则第一指定区域分布如图2(1)所示,第二指定区域分布如图2(2)所示,第三指定区域分布如图2(3)所示,其中,图2(1)~图2(3)中的阴影区域为指定区域。由于同一个指定区域分布的区域中,一个区域对应一个权重,所有区域的权重之和等于1,且该中心区域的权重最大,因此,针对第一指定区域分布,指定区域即为一个中心区域,此时,该中心区域的权重为1。针对第二指定区域分布,指定区域中的中心区域的权重可设置为0.5,指定区域中的一个非中心区域的权重可设置为0.125,即0.5+4*0.125=1。第三指定区域分布中各个区域的权重可参考第二指定区域分布中各个区域的权重,此处不再赘述。
在一些实施例中,该TOF相机的曝光时间确定方法还包括:
检测该TOF相机当前所处的拍摄模式,若该拍摄模式为默认拍摄模式,则根据该第一指定区域分布确定该指定区域,若该拍摄模式为用于拍摄人像的人像拍摄模式,则根据该第二指定区域分布确定该指定区域,若该拍摄模式为用于拍摄风景的风景拍摄模式,则根据该第三指定区域分布确定该指定区域。
本实施例中,考虑到用户选择不同拍摄模式时,其拍摄的物体是不同的,而不同物体在图像帧中的位置也通常是不同,比如,当拍摄人时,人像通常占据图像帧的中央,此时,选择的指定区域的分布如图2(2)所示的分布。当拍摄景色时,景色通常分散在图像帧中,此时,选择的指定区域的分布如图2(3)所示的分布。也即,本实施例中,在终端设备判断出TOF相机当前所处的拍摄模式后,直接根据拍摄模式选择对应的指定区域的分布,从而能够快速确定出需要计算异常像素值的区域,且由于指定区域的分布是与拍摄模式匹配的,因此,也能保证确定出的需要计算异常像素值的区域的准确性。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
实施例二:
对应于上文实施例该的TOF相机的曝光时间确定方法,图3示出了本申请实施例提供的一种TOF相机的曝光时间确定装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图3,该一种TOF相机的曝光时间确定装置3应用于终端设备,包括:候选曝光时间确定单元31和最终的曝光时间确定单元32。其中,
候选曝光时间确定单元31,用于根据当前图像帧的部分区域的像素值以及该当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间。
最终的曝光时间确定单元32,用于若该候选曝光时间与该当前图像帧的曝光时间不等,则根据该候选曝光时间确定该下一个图像帧的最终的曝光时间。
本申请实施例中,由于下一个图像帧的候选曝光时间是根据当前图像帧的部分区域计算得到,也即,不会使用到当前图像帧的全部区域计算,因此,减少了参与计算的像素点,从而减少了功耗的消耗。并且,由于只有在判断出候选曝光时间与当前图像帧的曝光时间不等时,才进一步计算下一个图像帧的最终的曝光时间,因此,避免计算每一个图像帧的最终的曝光时间,从而进一步减少了功耗的损耗,且由于不需要计算每一个图像帧的最终的曝光时间,因此,减少了曝光时间的变动频率,从而能够提高曝光时间的稳定性。
在一些实施例中,该最终的曝光时间确定单元32,包括:
候选曝光时间比较模块,用于若该候选曝光时间与该当前图像帧的曝光时间不等,则将该候选曝光时间添加至预创建的队列中,该预创建的队列为先进先出队列,且该预创建的队列能够存储预设个数的曝光时间。
第一曝光时间确定模块,用于根据该预创建的队列中存储的各个曝光时间确定该下一个图像帧的最终的曝光时间。
在一些实施例中,该预创建的队列在创建时存储有初始曝光时间,该初始曝光时间与测量距离成正比例关系,该测量距离为该TOF相机将要测量的物体的距离。
在一些实施例中,该候选曝光时间确定单元31,包括:
第一图像帧划分模块,用于将该当前图像帧划分为至少2个区域。
各区域的异常像素值的个数统计模块,用于分别统计每个区域中存在的异常像素值的个数,其中,异常像素值是指大于预设的曝光阈值的像素值,或者,小于预设的欠曝光阈值的像素值。
第一目标区域的比值计算模块,用于计算第一目标区域中异常像素值的个数与对应区域的像素值的总个数的比值,根据该比值和该当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间,其中,该第一目标区域是指异常像素值的个数大于预设的异常阈值所对应的区域。
该候选曝光时间确定单元31,包括:
第二图像帧划分模块,用于将该当前图像帧划分为N*N个区域,其中,N为大于1的整数。
指定区域的异常像素值统计模块,用于在划分的N*N个区域中,统计指定区域中存在异常像素值的个数,该指定区域的个数大于或等于1且小于N*N,该异常像素值是指大于预设的曝光阈值的像素值,或者,小于预设的欠曝光阈值的像素值。
第二目标区域的比值确定模块,用于统计第二目标区域中异常像素值的个数与对应区域的像素值的总个数的比值,根据该比值和该当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间,其中,该第二目标区域是指异常像素值的个数大于预设的异常阈值所对应的区域。
在一些实施例中,该指定区域的分布包括三种:第一指定区域分布、第二指定区域分布和第三指定区域分布。
在第一指定区域分布中,该指定区域为中心区域,该中心区域为位于N*N个区域的中心的区域。
在第二指定区域分布中,该指定区域为中心区域、与该中心区域位于同一行的各个区域,以及,与该中心区域位于同一列的各个区域。
在第三指定区域分布中,该指定区域为中心区域,以及,既不是与该中心区域位于同一行也不是与该中心区域位于同一列的各个区域。
在同一个指定区域分布的区域中,一个区域对应一个权重,所有区域的权重之和等于1,且该中心区域的权重最大。
对应地,该第二目标区域的比值确定模块具体用于:
统计第二目标区域中异常像素值的个数与对应区域的像素值的总个数的比值,根据该比值、对应区域的权重和该当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间。
在一些实施例中,该TOF相机的曝光时间确定装置3还包括:
拍摄模式确定单元,用于检测该TOF相机当前所处的拍摄模式,若该拍摄模式为默认拍摄模式,则根据该第一指定区域分布确定该指定区域,若该拍摄模式为用于拍摄人像的人像拍摄模式,则根据该第二指定区域分布确定该指定区域,若该拍摄模式为用于拍摄风景的风景拍摄模式,则根据该第三指定区域分布确定该指定区域。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
实施例三:
图4为本申请一实施例提供的终端设备的结构示意图。如图4所示,该实施例的终端设备4包括:至少一个处理器40(图4中仅示出一个处理器)、存储器41以及存储在该存储器41中并可在该至少一个处理器40上运行的计算机程序42,该处理器40执行该计算机程序42时实现上述任意各个方法实施例中的步骤:
根据当前图像帧的部分区域的像素值以及该当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间。
若该候选曝光时间与该当前图像帧的曝光时间不等,则根据该候选曝光时间确定该下一个图像帧的最终的曝光时间。
该终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括,但不仅限于,处理器40、存储器41。本领域技术人员可以理解,图4仅仅是终端设备4的举例,并不构成对终端设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器40可以是中央处理单元(Central Processing Unit,CPU),该处理器40还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器41在一些实施例中可以是该终端设备4的内部存储单元,例如终端设备4的硬盘或内存。该存储器41在另一些实施例中也可以是该终端设备4的外部存储设备,例如该终端设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,该存储器41还可以既包括该终端设备4的内部存储单元也包括外部存储设备。该存储器41用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如该计算机程序的程序代码等。该存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将该装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种网络设备,该网络设备包括:至少一个处理器、存储器以及存储在该存储器中并可在该至少一个处理器上运行的计算机程序,该处理器执行该计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,该的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,该计算机程序包括计算机程序代码,该计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。该计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (9)

1.一种TOF相机的曝光时间确定方法,其特征在于,包括:
根据当前图像帧的部分区域的像素值以及所述当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间;
若所述候选曝光时间与所述当前图像帧的曝光时间不等,则根据所述候选曝光时间确定所述下一个图像帧的最终的曝光时间,包括:若所述候选曝光时间与所述当前图像帧的曝光时间不等,则将所述候选曝光时间添加至预创建的队列中,所述预创建的队列为先进先出队列,且所述预创建的队列能够存储预设个数的曝光时间;根据所述预创建的队列中存储的各个曝光时间确定所述下一个图像帧的最终的曝光时间。
2.如权利要求1所述的TOF相机的曝光时间确定方法,其特征在于,所述预创建的队列在创建时存储有初始曝光时间,所述初始曝光时间与测量距离成正比例关系,所述测量距离为所述TOF相机将要测量的物体的距离。
3.如权利要求1或2所述的TOF相机的曝光时间确定方法,其特征在于,所述根据当前图像帧的部分区域的像素值以及所述当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间,包括:
将所述当前图像帧划分为至少2个区域;
分别统计每个区域中存在的异常像素值的个数,其中,所述异常像素值是指大于预设的曝光阈值的像素值,或者,小于预设的欠曝光阈值的像素值;
计算第一目标区域中异常像素值的个数与对应区域的像素值的总个数的比值,根据所述比值和所述当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间,其中,所述第一目标区域是指所述异常像素值的个数大于预设的异常阈值所对应的区域。
4.如权利要求1或2所述的TOF相机的曝光时间确定方法,其特征在于,所述根据当前图像帧的部分区域的像素值以及所述当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间,包括:
将所述当前图像帧划分为N*N个区域,其中,N为大于1的整数;
在划分的N*N个区域中,统计指定区域中存在异常像素值的个数,所述指定区域的个数大于或等于1且小于N*N,所述异常像素值是指大于预设的曝光阈值的像素值,或者,小于预设的欠曝光阈值的像素值;
统计第二目标区域中异常像素值的个数与对应区域的像素值的总个数的比值,根据所述比值和所述当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间,其中,所述第二目标区域是指异常像素值的个数大于预设的异常阈值所对应的区域。
5.如权利要求4所述的TOF相机的曝光时间确定方法,其特征在于,所述指定区域的分布包括三种:第一指定区域分布、第二指定区域分布和第三指定区域分布;
在第一指定区域分布中,所述指定区域为中心区域,所述中心区域为位于N*N个区域的中心的区域;
在第二指定区域分布中,所述指定区域为中心区域、与所述中心区域位于同一行的各个区域,以及,与所述中心区域位于同一列的各个区域;
在第三指定区域分布中,所述指定区域为中心区域,以及,既不是与所述中心区域位于同一行也不是与所述中心区域位于同一列的各个区域;
在同一个指定区域分布的区域中,一个区域对应一个权重,所有区域的权重之和等于1,且所述中心区域的权重最大;
对应地,所述统计第二目标区域中异常像素值的个数与对应区域的像素值的总个数的比值,根据所述比值和所述当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间,包括:
统计第二目标区域中异常像素值的个数与对应区域的像素值的总个数的比值,根据所述比值、对应区域的权重和所述当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间。
6.如权利要求5所述的TOF相机的曝光时间确定方法,其特征在于,所述TOF相机的曝光时间确定方法还包括:
检测所述TOF相机当前所处的拍摄模式,若所述拍摄模式为默认拍摄模式,则根据所述第一指定区域分布确定所述指定区域,若所述拍摄模式为用于拍摄人像的人像拍摄模式,则根据所述第二指定区域分布确定所述指定区域,若所述拍摄模式为用于拍摄风景的风景拍摄模式,则根据所述第三指定区域分布确定所述指定区域。
7.一种TOF相机的曝光时间确定装置,其特征在于,包括:
候选曝光时间确定单元,用于根据当前图像帧的部分区域的像素值以及所述当前图像帧的曝光时间,确定下一个图像帧的候选曝光时间;
最终的曝光时间确定单元,用于若所述候选曝光时间与所述当前图像帧的曝光时间不等,则根据所述候选曝光时间确定所述下一个图像帧的最终的曝光时间;所述最终的曝光时间确定单元,包括:候选曝光时间比较模块,用于若该候选曝光时间与该当前图像帧的曝光时间不等,则将该候选曝光时间添加至预创建的队列中,该预创建的队列为先进先出队列,且该预创建的队列能够存储预设个数的曝光时间;第一曝光时间确定模块,用于根据该预创建的队列中存储的各个曝光时间确定该下一个图像帧的最终的曝光时间。
8.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
CN202011187419.4A 2020-10-30 2020-10-30 Tof相机的曝光时间确定方法、装置及终端设备 Active CN112367476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011187419.4A CN112367476B (zh) 2020-10-30 2020-10-30 Tof相机的曝光时间确定方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011187419.4A CN112367476B (zh) 2020-10-30 2020-10-30 Tof相机的曝光时间确定方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN112367476A CN112367476A (zh) 2021-02-12
CN112367476B true CN112367476B (zh) 2022-04-08

Family

ID=74513790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011187419.4A Active CN112367476B (zh) 2020-10-30 2020-10-30 Tof相机的曝光时间确定方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN112367476B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114785963B (zh) * 2022-06-22 2022-09-30 武汉市聚芯微电子有限责任公司 一种曝光控制方法,终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1003330A1 (en) * 1998-11-18 2000-05-24 Hewlett-Packard Company Imaging system
CN103888680A (zh) * 2014-03-28 2014-06-25 中国科学技术大学 一种摄像头曝光时间的调节方法
CN104184957A (zh) * 2014-09-17 2014-12-03 中国科学院光电技术研究所 一种适用于空间探测成像的基于自适应预期图像平均亮度的自动曝光控制方法
CN104796613A (zh) * 2011-09-28 2015-07-22 原相科技股份有限公司 影像系统
CN109819174A (zh) * 2017-11-22 2019-05-28 浙江舜宇智能光学技术有限公司 基于tof成像系统的自动曝光方法及自动曝光时间计算方法和tof相机
CN111669512A (zh) * 2019-03-08 2020-09-15 恒景科技股份有限公司 影像撷取装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1003330A1 (en) * 1998-11-18 2000-05-24 Hewlett-Packard Company Imaging system
CN104796613A (zh) * 2011-09-28 2015-07-22 原相科技股份有限公司 影像系统
CN103888680A (zh) * 2014-03-28 2014-06-25 中国科学技术大学 一种摄像头曝光时间的调节方法
CN104184957A (zh) * 2014-09-17 2014-12-03 中国科学院光电技术研究所 一种适用于空间探测成像的基于自适应预期图像平均亮度的自动曝光控制方法
CN109819174A (zh) * 2017-11-22 2019-05-28 浙江舜宇智能光学技术有限公司 基于tof成像系统的自动曝光方法及自动曝光时间计算方法和tof相机
CN111669512A (zh) * 2019-03-08 2020-09-15 恒景科技股份有限公司 影像撷取装置

Also Published As

Publication number Publication date
CN112367476A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
US11842438B2 (en) Method and terminal device for determining occluded area of virtual object
CN108028887B (zh) 一种终端的拍照对焦方法、装置及设备
CN107917701A (zh) 基于主动式双目立体视觉的测量方法及rgbd相机系统
CN112150528A (zh) 一种深度图像获取方法及终端、计算机可读存储介质
CN111741286B (zh) 使用光线投射法的基于图像的多个深度图像的几何融合
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN110232707B (zh) 一种测距方法及装置
CN110400342B (zh) 深度传感器的参数调整方法、装置以及电子设备
CN112184603B (zh) 一种点云融合方法、装置、电子设备和计算机存储介质
CN104036471B (zh) 一种图像噪声估值方法及图像噪声估值装置
CN112367476B (zh) Tof相机的曝光时间确定方法、装置及终端设备
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
JP2024507089A (ja) 画像のコレスポンデンス分析装置およびその分析方法
EP2705500A1 (en) Merging three-dimensional models based on confidence scores
CN112070709A (zh) 三维点云信息的采集方法、装置及电子设备
CN111815695B (zh) 深度图像获取方法、装置、移动终端及存储介质
CN107493471B (zh) 一种视频传输质量的计算方法和装置
CN115035188A (zh) 一种基于目标的距离测量方法、装置及终端设备
CN115311624A (zh) 一种边坡位移监测方法、装置、电子设备及存储介质
CN113066104B (zh) 角点检测方法和角点检测装置
CN114821987B (zh) 提醒方法、装置及终端设备
CN114663519A (zh) 一种多相机标定方法、装置及相关设备
CN110390689B (zh) 深度图处理方法、装置和电子设备
CN110579169A (zh) 基于云计算的立体视觉高精度测量方法和存储介质
CN114677491A (zh) 一种图像处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant