CN116736274A - dTOF模组的校准方法以及相关设备 - Google Patents

dTOF模组的校准方法以及相关设备 Download PDF

Info

Publication number
CN116736274A
CN116736274A CN202310667321.6A CN202310667321A CN116736274A CN 116736274 A CN116736274 A CN 116736274A CN 202310667321 A CN202310667321 A CN 202310667321A CN 116736274 A CN116736274 A CN 116736274A
Authority
CN
China
Prior art keywords
module
distance
dtof
measurement distance
shot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310667321.6A
Other languages
English (en)
Inventor
刘旋
郝朋
张超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Lingfang Technology Co ltd
Original Assignee
Shanghai Lingfang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Lingfang Technology Co ltd filed Critical Shanghai Lingfang Technology Co ltd
Priority to CN202310667321.6A priority Critical patent/CN116736274A/zh
Publication of CN116736274A publication Critical patent/CN116736274A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请实施例公开了dTOF模组的校准方法以及相关设备，用于在无专业校准设备的前提下，实现dTOF模组的准确校准。本申请实施例方法包括：获取所述图像采集模组测量得到的所述双摄模组与校准物体之间的距离为第一测量距离，以及获取所述dTOF模组测量得到的所述双摄模组与所述校准物体之间的距离为第二测量距离；基于所述第一测量距离以及所述第二测量距离，计算得到所述dTOF模组的目标校准参数；根据所述目标校准参数和所述dTOF模组测量得到的所述双摄模组与待摄物体之间的初始测量距离，计算得到所述双摄模组与所述待摄物体之间的真实距离。

Description

dTOF模组的校准方法以及相关设备
技术领域
本申请实施例涉及光学领域，尤其涉及dTOF模组的校准方法以及相关设备。
背景技术
直接飞行时间模组(简称dTOF模组)可以作为深度相机，与RGB相机配合使用，辅助RGB相机进行自动对焦。深度相机和RGB相机组装在一起的模组，简称双摄模组。传统的RGB相机依靠图片的梯度值进行对焦，在阳光充足、物体轮廓明显的情况下表现良好，但在逆光和/或暗光的使用场景下，RGB相机的对焦算法表现不佳。可是，使用双摄模组拍照时，深度相机可以测量待摄物体到相机之间的距离，RGB相机根据深度相机测得的距离，可以将镜头调焦到合适的位置，从而更好地完成自动对焦工作。
需要说明的是，dTOF模组通过时数转换器(TDC，time-to-digital converter)计算发出激光脉冲后，在不同时段从待摄物体返回的光子数量，来确定dTOF模组与待摄物体之间的距离。在实际应用中，同一批次量产模组的器件之间通常有细微差异，例如每个模组的晶振频率有细微差异。晶振频率的细微差异会导致TDC计时1ps对应的实际时间可能是0.99ps。如果实际时间是0.99ps，而dToF模组按照1ps计算距离，就会得到一个有误差的距离。为了减少误差、提高测距精度，需要通过专业校准设备来获取每个dTOF模组的校准参数，以实现晶振差异的准确补偿。
但是，上述校准参数的确定方式，完全依赖于专业校准设备，在用户缺少专业校准设备时，无法实现dTOF模组的校准参数确定，来提升自动对焦的表现，容易给用户带来不好的体验。
发明内容
本申请实施例提供了dTOF模组的校准方法以及相关设备，用于在无专业校准设备的前提下，实现dTOF模组的准确校准。
本申请实施例第一方面提供一种dTOF模组校准方法，应用于双摄模组，所述双摄模组包括dTOF模组以及图像采集模组，所述方法包括：
获取所述图像采集模组测量得到的所述双摄模组与校准物体之间的距离为第一测量距离，以及获取所述dTOF模组测量得到的所述双摄模组与所述校准物体之间的距离为第二测量距离；
基于所述第一测量距离以及所述第二测量距离，计算得到所述dTOF模组的目标校准参数；
根据所述目标校准参数和所述dTOF模组测量得到的所述双摄模组与所述待摄物体之间的初始测量距离，计算得到所述双摄模组与所述待摄物体之间的真实距离。
在一种具体实现方式中，所述基于所述第一测量距离以及所述第二测量距离，计算得到所述dTOF模组的目标校准参数，包括：
将所述第一测量距离除以所述第二测量距离的商，确定为所述dTOF模组的目标校准参数；
所述根据所述目标校准参数和所述dTOF模组测量得到的所述双摄模组与所述待摄物体之间的初始测量距离，计算得到所述双摄模组与所述待摄物体之间的真实距离，包括：
将所述目标校准参数与所述初始测量距离的积，确定为所述双摄模组与所述待摄物体之间的真实距离。
在一种具体实现方式中，所述基于所述第一测量距离以及所述第二测量距离，计算得到所述dTOF模组的目标校准参数，包括：
将所述第二测量距离除以所述第一测量距离的商，确定为所述dTOF模组的目标校准参数；
所述根据所述目标校准参数和所述dTOF模组测量得到的所述双摄模组与所述待摄物体之间的初始测量距离，计算得到所述双摄模组与所述待摄物体之间的真实距离，包括：
将所述初始测量距离除以所述目标校准参数的商，确定为所述双摄模组与所述待摄物体之间的真实距离。
在一种具体实现方式中，所述获取所述图像采集模组测量得到的所述双摄模组与校准物体之间的距离为第一测量距离，以及获取所述dTOF模组测量得到的所述双摄模组与校准物体之间的距离为第二测量距离，包括：
调整所述双摄模组与所述校准物体之间的距离，并获取n组测量距离对，每组测量距离对包括一个由所述图像采集模组测量得到的第一测量距离以及一个由所述dTOF模组测量得到的第二测量距离；
基于所述第一测量距离以及所述第二测量距离，计算得到dTOF模组的目标校准参数，包括：
计算每组测量距离对对应的初始校准参数，所述每组测量距离对对应的初始校准参数为所述每组测量距离对对应的第一测量距离除以所述每组测量距离对对应的第二测量距离；
从n个初始校准参数中选择所述dTOF模组的目标校准参数。
在一种具体实现方式中，所述从n个初始校准参数中选择所述dTOF模组的目标校准参数，包括：
将所述n个初始校准参数中的众数，确定为所述dTOF模组的目标校准参数。
在一种具体实现方式中，所述从n个初始校准参数中选择所述dTOF模组的目标校准参数，包括：
将所述n个初始校准参数的算术平均值，确定为平均校准参数；
计算每个初始校准参数与所述平均校准参数之间的绝对偏差；
将最小绝对偏差对应的初始校准参数，确定为所述dTOF模组的目标校准参数，所述最小绝对偏差为n个所述绝对偏差中取值最小的绝对偏差。
在一种具体实现方式中，所述获取所述图像采集模组测量得到的所述双摄模组与校准物体之间的距离为第一测量距离，包括：
若所述图像采集模组为单目相机，则根据以下公式计算所述第一测量距离：
其中，d为所述第一测量距离，f为所述对焦焦距，H为所述校准物体的真实高度，h为所述校准物体在所述图像采集模组中的成像高度。
在一种具体实现方式中，所述获取所述图像采集模组测量得到的所述双摄模组与校准物体之间的距离为第一测量距离，包括：
若所述图像采集模组为双目相机，则根据以下公式计算所述第一测量距离：
其中，Z为所述第一测量距离，f为所述对焦焦距，T为所述图像采集模组中第一摄像模组和第二摄像模组之间的距离，Xl为所述第一摄像模组与所述校准物体之间的距离，Xr为所述第二摄像模组与所述校准物体之间的距离。
在一种具体实现方式中，在所述基于所述第一测量距离以及所述第二测量距离，计算得到所述dTOF模组的目标校准参数之后，所述方法还包括：
若所述图像采集模组对焦失败且所述双摄模组所处的环境不满足预设光照条件，则控制所述dTOF模组获取所述双摄模组与所述待摄物体之间的初始测量距离；
根据所述双摄模组与所述待摄物体之间的真实距离，辅助所述图像采集模组对焦。
本申请实施例第二方面提供一种双摄模组，包括：dTOF模组以及图像采集模组；
所述图像采集模组，用于确定测量得到的所述双摄模组与校准物体之间的距离为第一测量距离；
所述dTOF模组，用于确定测量得到的所述双摄模组与所述校准物体之间的距离为第二测量距离；
所述dTOF模组，还用于基于所述第一测量距离以及所述第二测量距离，计算得到dTOF模组的目标校准参数；
所述dTOF模组，还用于根据所述目标校准参数和所述dTOF模组测量得到的所述双摄模组与待摄物体之间的初始测量距离，计算得到所述双摄模组与所述待摄物体之间的真实距离。
在一种具体实现方式中，所述dTOF模组，具体用于将所述第一测量距离除以所述第二测量距离的商，确定为所述dTOF模组的目标校准参数；
所述根据所述目标校准参数和所述dTOF模组测量得到的所述双摄模组与所述待摄物体之间的初始测量距离，计算得到所述双摄模组与所述待摄物体之间的真实距离，包括：
将所述目标校准参数与所述初始测量距离的积，确定为所述双摄模组与所述待摄物体之间的真实距离。
在一种具体实现方式中，所述dTOF模组，具体用于将所述第二测量距离除以所述第一测量距离的商，确定为所述dTOF模组的目标校准参数；
所述根据所述目标校准参数和所述dTOF模组测量得到的所述双摄模组与所述待摄物体之间的初始测量距离，计算得到所述双摄模组与所述待摄物体之间的真实距离，包括：
将所述初始测量距离除以所述目标校准参数的商，确定为所述双摄模组与所述待摄物体之间的真实距离。
在一种具体实现方式中，所述图像采集模组，具体用于测量得到n个第一测量距离；
所述dTOF模组，用于测量得到n个第二测量距离；
所述dTOF模组，还用于构建n组测量距离对，每组测量距离对包括一个由所述图像采集模组以及一个由所述dTOF模组测量得到的第二测量距离，不同测量距离对获取时所述双摄模组与所述校准物体之间的距离不同，同一测量距离对中第一测量距离以及第二测量距离获取时，所述双摄模组与所述校准物体之间的距离一致；
所述dTOF模组，具体用于计算每组测量距离对对应的初始校准参数，所述每组测量距离对对应的初始校准参数为所述每组测量距离对对应的第一测量距离除以所述每组测量距离对对应的第二测量距离；
从n个初始校准参数中选择所述dTOF模组的目标校准参数。
在一种具体实现方式中，所述dTOF模组，具体用于将所述n个初始校准参数中的众数，确定为所述dTOF模组的目标校准参数。
在一种具体实现方式中，所述dTOF模组，具体用于将所述n个初始校准参数的算术平均值，确定为平均校准参数；
计算每个初始校准参数与所述平均校准参数之间的绝对偏差；
将最小绝对偏差对应的初始校准参数，确定为所述dTOF模组的目标校准参数，所述最小绝对偏差为n个所述绝对偏差中取值最小的绝对偏差。
在一种具体实现方式中，所述图像采集模组，具体用于若所述图像采集模组为单目相机，则根据以下公式计算所述第一测量距离：
其中，d为所述第一测量距离，f为所述对焦焦距，H为所述校准物体的真实高度，h为所述校准物体在所述图像采集模组中的成像高度。
在一种具体实现方式中，所述所述图像采集模组，具体用于若所述图像采集模组为双目相机，则根据以下公式计算所述第一测量距离：
其中，Z为所述第一测量距离，f为所述对焦焦距，T为所述图像采集模组中第一摄像模组和第二摄像模组之间的距离，Xl为所述第一摄像模组与所述校准物体之间的距离，Xr为所述第二摄像模组与所述校准物体之间的距离。
在一种具体实现方式中，所述dTOF模组，还用于若所述图像采集模组对焦失败且所述双摄模组所处的环境不满足预设光照条件，则获取所述双摄模组与所述待摄物体之间的初始测量距离；
所述图像采集模组，还用于根据所述双摄模组与所述待摄物体之间的真实距离，辅助对焦。
从以上技术方案可以看出，本申请实施例具有以下优点：获取图像采集模组测量得到的双摄模组与校准物体之间的距离为第一测量距离，以及获取dTOF模组测量得到的双摄模组与校准物体之间的距离为第二测量距离；基于第一测量距离以及第二测量距离，计算得到dTOF模组的目标校准参数；根据目标校准参数和dTOF模组测量得到的双摄模组与待摄物体之间的初始测量距离，计算得到双摄模组与待摄物体之间的真实距离。在光照条件良好的情况下，通过双摄模组中的图像采集模组来获取双摄模组与校准物体之间的第一测量距离，并通过第一测量距离辅助dTOF模组确定目标校准参数；之后，在光照条件不佳的场景下，dTOF模组可以通过目标校准参数准确地确定双摄模组与待摄物体之间的真实距离；最后，图像采集模组可以在光照条件不佳的场景下，依赖真实距离实现准确对焦。
附图说明
图1为本申请实施例公开的飞行时间模组的一种结构示意图；
图2为本申请实施例公开的飞行时间直方图的一种示例图；
图3为本申请实施例公开的dTOF模组校准方法的一种流程示意图；
图4为本申请实施例公开的单目相机测距算法的一种示例图；
图5为本申请实施例公开的双目相机测距算法的一种示例图；
图6为本申请实施例公开的双摄模组的一个结构示意图；
图7为本申请实施例公开的双摄模组的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了dTOF模组的校准方法以及相关设备，用于在无专业校准设备的前提下，实现dTOF模组的准确校准。
为了更好地说明本申请实施例的技术方案，下面先对dTOF模组的测距原理进行解释说明。
请参阅图1，dToF模组包含激光发射器(VCSEL，vertical cavity surfaceemitting laser)、单光子雪崩二极管(SPAD，single photon avalanche diode，)和TDC。
SPAD只要接收到一个光子，就能产生电流信号，TDC用于记录产生电流信号的时间，以此获取光子的飞行时间(VCSEL发射→碰到物体(即校准物体)→返回→SPAD检测到光子)。
具体的，VCSEL发射激光脉冲，SPAD接收从物体反射回来的脉冲，TDC能够记录SPAD接收到光子和VCSEL发射激光的时间差。
根据SPAD在不同时间段内接收到的光子数量，统计出直方图。以图2为例，自VCSEL发光时开始统计，每隔1皮秒统计SPAD接收到的光子数量，绘制成直方图。因为，VCSEL发出的光子大多数在碰到被检测的物体时返回，所以认为直方图中接收到光子数最多的时间段t认为是光子在模组到物体间的飞行时间。最后，根据光速c计算出模组和物体间的距离d：
下面请参阅图3，本申请实施例提供的dTOF模组校准方法，包括以下步骤：
301、获取图像采集模组测量得到的双摄模组与校准物体之间的距离为第一测量距离，以及获取dTOF模组测量得到的双摄模组与校准物体之间的距离为第二测量距离。
可以理解的是，第一测量距离是图像采集模组在成功对焦至校准物体时通过对焦焦距换算得到的。因此，为了借助图像采集模组进行dTOF模组的校准，本步骤中图像采集模组测量得到的第一测量距离，需在光照条件良好的条件下实现。同时，为了保证图像采集模组测量得到的第一测量距离的准确性，校准物体应当是边界清晰明确的物体，比如一幅画，或者放置于白色背景墙前的一张黑色矩形卡片，此处不作具体限定。
需要注意的是，双摄模组与校准物体之间的相对位置不变时，图像采集模组测量得到第一测量距离，dTOF模组测量得到第二测量距离。
另外，本步骤是dTOF模组校准流程的第一个步骤，因此，在校准模式启动后，可自动执行本步骤301以及后续本步骤302-303。具体的，校准模式可以通过相关按钮启动、或者在双摄模组更换新的dTOF模组后首次启用时启动，此处不作限定。
302、基于第一测量距离以及第二测量距离，计算得到dTOF模组的目标校准参数。
因为，第一测量距离是准确的，而第二测量距离是不准确的，因此，通过计算二者的在预设比例关系下的比值，便可以获得dTOF模组的目标校准参数。得到目标校准参数后，dTOF模组基于目标校准参数对每次测量得到的初始测量距离进行处理，便可以获得准确的真实距离，进而校准了由晶振频率差异导致的精度误差。
303、根据目标校准参数和dTOF模组测量得到的双摄模组与待摄物体之间的初始测量距离，计算得到双摄模组与待摄物体之间的真实距离。
在步骤302确定目标校准参数后，若遇到光照条件不佳导致的图像采集模组无法成功对焦，则可以通过本步骤所示方法获取双摄模组与待摄物体之间的真实距离，并使用真实距离辅助图像采集模组对焦至待拍摄物体。
根据步骤302确定目标校准参数时所使用的预设比例关系，通过目标校准参数对dTOF模组测量得到的双摄模组与待摄物体之间的初始测量距离进行处理，便可以获得双摄模组与待摄物体之间的真实距离。
本申请实施例中，在光照条件良好的情况下，通过双摄模组中的图像采集模组来获取双摄模组与校准物体之间的第一测量距离，并通过第一测量距离辅助dTOF模组确定目标校准参数；之后，在光照条件不佳的场景下，dTOF模组可以通过目标校准参数准确地确定双摄模组与待摄物体之间的真实距离；最后，图像采集模组可以在光照条件不佳的场景下，依赖真实距离实现准确对焦。
在一些具体实现方式中，前述步骤302具体可以通过以下方式实现：将第一测量距离除以第二测量距离的商，确定为dTOF模组的目标校准参数；同时前述步骤303具体可以通过以下方式实现：将目标校准参数与初始测量距离的积，确定为双摄模组与待摄物体之间的真实距离。
具体的，确定那么真实距离＝目标校准参数×初始测量距离。其中，在第一个公式中的第一测量距离相当于第二个公式中的真实距离，第一个公式中的第二测量距离相当于第二个公式中的初始测量距离。可以理解的是，第一测量距离是图像采集模组在成功对焦至校准物体后根据当时的焦距换算得到的，那么在通过第二个公式获取到双摄模组与待摄物体之间的真实距离后，就可以通过换算，得到图像采集模组对焦至待摄物体所需的调整到的焦距，进而实现准确对焦。
或者，确定那么/>其他内容与前述相关实施例类似，此处不再赘述。
在另一些具体实现方式中，前述步骤302之后，若图像采集模组对焦失败且双摄模组所处的环境不满足预设光照条件，则控制dTOF模组获取双摄模组与待摄物体之间的初始测量距离；然后通过前述步骤303及其相关实施例获取真实距离；最后，在前述步骤303获得真实距离后，根据双摄模组与待摄物体之间的真实距离，辅助图像采集模组对焦。也就是说，在获得目标校准参数后，遇到光照条件不佳的情况，我们可以通过上述方式，获得真实距离，并且通过真实距离换算得到图像采集模组对焦至待摄物体时的焦距，最终将图像采集模组的焦距调整至前述算得的焦距上，最终实现图像采集模组的自动对焦。
在前述实施例的基础上，进一步的，为了提升目标校准参数的精度以及鲁棒性，前述步骤302具体可以通过以下方式实现：调整双摄模组与校准物体之间的距离，并获取n组测量距离对，每组测量距离对包括一个由图像采集模组测量得到的第一测量距离以及一个由dTOF模组测量得到的第二测量距离；同时，前述步骤303具体可以通过以下方式实现：计算每组测量距离对对应的初始校准参数，每组测量距离对对应的初始校准参数为每组测量距离对对应的第一测量距离除以每组测量距离对对应的第二测量距离；从n个初始校准参数中选择dTOF模组的目标校准参数。其中，n为正整数。
也就是说，为了避免单次测量得到的校准参数存在误差，重复n次n组测量距离对，每组的测量距离都在相同或不同的位置获取。也就是说，重复让图像采集模组在相同或者不同位置重新对焦至校准物体，并记录获取每次对焦成功时对应的测量距离对。然后，计算每组测量距离对对应的初始校准参数，也就可以得到n组初始校准参数，最终，从n个初始校准参数中选择dTOF模组的目标校准参数。
更进一步的，前述从n个初始校准参数中选择dTOF模组的目标校准参数的步骤，可以通过以下方式确定：将n个初始校准参数的算术平均值，确定为平均校准参数；计算每个初始校准参数与平均校准参数之间的绝对偏差；将最小绝对偏差对应的初始校准参数，确定为dTOF模组的目标校准参数，最小绝对偏差为n个绝对偏差中取值最小的绝对偏差。
具体的，绝对偏差是指测量结果与真值之间的偏离程度，反映了某个初始校准参数与全部初始校准参数之间的差异程度。因此，本申请实施例中，通过衡量每个初始校准参数的绝对偏差，将最小绝对偏差对应的初始校准参数，确定为dTOF模组的目标校准参数。
除此之外，更简单地方式就是，将n个初始校准参数中的众数，确定为dTOF模组的目标校准参数，此处不对从n个初始校准参数中选择dTOF模组的目标校准参数的方式做具体限定。
前面描述了获得第一测量距离以及第二测量距离后，实现dTOF校准的具体方式，下面请参阅图4以及图5，本申请实施例提供针对不同图像采集模组的第一测量距离确定方法。
一、若图像采集模组为单目相机，则根据以下公式计算第一测量距离：
其中，d为第一测量距离，f为对焦焦距，H为校准物体的真实高度，h为校准物体在图像采集模组中的成像高度。
单目相机测距原理可以看做是小孔成像。如图4所示，图4中f是摄像头的焦距，c是镜头光心。物体发出的光经过相机的光心，然后成像于图像传感器或者说像平面上，如果将物体所在平面与相机平面的距离设为d，且物体实际高度为H，物体在传感器上的成像高度为h。接着，由相似三角形得到四者之间的关系，即接着通过乘法交换律，可以得到其中，H以及f一定要是已知的，才能求得第一测量距离d。
在实际应用中，具体的实现步骤可如后述内容所示：1、在墙壁上挂一幅画像，并用尺子测量画像(即校准物体)的高度H。2、使用单目相机拍照对焦。3、开启校准模式，将画像的高度H提供给双摄模组。4、从单目相机的相机参数中获得焦距f和画像的成像高度h。根据公式计算双摄模组到画像间的距离，即第一测量距离。
二、若图像采集模组为双目相机，则根据以下公式计算第一测量距离：
其中，Z为第一测量距离，f为对焦焦距，T为图像采集模组中第一摄像模组和第二摄像模组之间的距离，Xl为第一摄像模组与校准物体之间的距离，Xr为第二摄像模组与校准物体之间的距离。
双目相机的成像原理与人眼相似，人眼能够感知物体的远近，是由于两只眼睛对同一个物体呈现的图像存在差异，也称“视差”。物体距离越远，视差越小；反之，视差越大。视差的大小对应着物体与眼睛之间距离的远近，这也是3D电影能够使人有立体层次感知的原因。请参阅图5，图5中点P为空间中待测点(即校准物体所在的点)，Ql、Qr分别是代表双目相机中两摄像头(即第一摄像模组与第二摄像模组)的光点，Xl、Xr代表点P在两摄像头成像上两个像素点x轴方向的位置，T为双目相机中两摄像头之间的距离，f是摄像头的焦距，Z为点P到两摄像头连线处的垂直距离。、
计算时Xl是x轴方向上以左端为原点到Xl的距离，Xr是x轴方向上以左端为原点到Xr的距离，具体的通过公式T-(Xl-Xr)可以得到，Xl和Xr两点之间的距离。
在实际应用中，具体的实现步骤可如后述内容所示：1、使用双目相机拍照对焦。2、使用图像配准算法把同一场景在左右视图上对应的像素点匹配起来，获取视差图。3、然后根据视差图来计算深度信息，即第一测量距离。
前面描述了本申请实施例dTOF模组校准方法的多种实现方式，下面在一个具体场景下，描述本申请实施例的dTOF模组校准方法。
1、双摄模组中的dTOF模组损坏，因此维修站点更换了双摄模组中的dTOF模组，此时dTOF模组没有校准参数K，测距值可能有误差。
2、在更换新的dTOF模组后，在墙壁上挂一幅画像，使用双摄模组中的RGB相机(即图像采集模组)对着画像进行自动对焦。当对焦成功时，使用RGB相机的测距算法，计算双摄模组到墙壁之间的距离D1，同时记录dTOF模组输出的距离D1’。
3、调整双摄模组到墙壁之间的距离，自动对焦，当对焦成功时，使用RGB相机的测距算法计算双摄模组到墙壁之间的距离D2，同时记录dTOF模组输出的距离D2’。
4、重复步骤3，收集多次(例如10次)对焦成功时的距离Dn和Dn’。
5、计算多个校准参数理想情况下，多个Kn的值是一致的。但是，因为RGB相机的景深、RGB相机测距算法精度等原因，多个Kn的值很可能不一致，此时取多个Kn中对应的绝对偏差最小的一个Kn，作为目标校准参数K。
7、得到目标校准参数K以后，新的dTOF模组的晶振频率差异导致的精度误差得到了校准。此后，在逆光或暗光环境下(即RGB相机难以对焦也难以测距的情况下)，dTOF模组就可以准确获取双摄模组与待摄物体之间的真实距离，并辅助RGB相机进行自动对焦了。
需要注意的是，本申请实施例的dTOF模组校准方法仅在只更换双摄模组中的dTOF模组时适用。
本申请实施例，提供了一个校准dTOF模组晶振频率差异的方法。可以当在维修站点缺少专业的测距设备时，利用RGB相机的测距功能，对dTOF深度相机进行校准。达到在维修站点维修并校准dTOF模组的目的，降低成本，避免返厂维修。
请参阅图6，本申请实施例提供一种双摄模组603，包括：
本申请实施例第二方面提供一种双摄模组603，包括：dTOF模组602以及图像采集模组601；
图像采集模组601，用于确定测量得到的双摄模组603与校准物体之间的距离为第一测量距离；
dTOF模组602，用于确定测量得到的双摄模组603与校准物体之间的距离为第二测量距离；
dTOF模组602，还用于基于第一测量距离以及第二测量距离，计算得到dTOF模组602的目标校准参数；
dTOF模组602，还用于根据目标校准参数和dTOF模组602测量得到的双摄模组603与待摄物体之间的初始测量距离，计算得到双摄模组603与待摄物体之间的真实距离。
在一种具体实现方式中，dTOF模组602，具体用于将第一测量距离除以第二测量距离的商，确定为dTOF模组602的目标校准参数；
根据目标校准参数和dTOF模组602测量得到的双摄模组603与待摄物体之间的初始测量距离，计算得到双摄模组603与待摄物体之间的真实距离，包括：
将目标校准参数与初始测量距离的积，确定为双摄模组603与待摄物体之间的真实距离。
在一种具体实现方式中，dTOF模组602，具体用于将第二测量距离除以第一测量距离的商，确定为dTOF模组602的目标校准参数；
根据目标校准参数和dTOF模组602测量得到的双摄模组603与待摄物体之间的初始测量距离，计算得到双摄模组603与待摄物体之间的真实距离，包括：
将初始测量距离除以目标校准参数的商，确定为双摄模组603与待摄物体之间的真实距离。
在一种具体实现方式中，图像采集模组601，具体用于测量得到n个第一测量距离；
dTOF模组602，用于测量得到n个第二测量距离；
dTOF模组602，还用于构建n组测量距离对，每组测量距离对包括一个由图像采集模组601以及一个由dTOF模组602测量得到的第二测量距离，不同测量距离对获取时双摄模组603与校准物体之间的距离不同，同一测量距离对中第一测量距离以及第二测量距离获取时，双摄模组603与校准物体之间的距离一致；
dTOF模组602，具体用于计算每组测量距离对对应的初始校准参数，每组测量距离对对应的初始校准参数为每组测量距离对对应的第一测量距离除以每组测量距离对对应的第二测量距离；
从n个初始校准参数中选择dTOF模组602的目标校准参数。
在一种具体实现方式中，dTOF模组602，具体用于将n个初始校准参数中的众数，确定为dTOF模组602的目标校准参数。
在一种具体实现方式中，dTOF模组602，具体用于将n个初始校准参数的算术平均值，确定为平均校准参数；
计算每个初始校准参数与平均校准参数之间的绝对偏差；
将最小绝对偏差对应的初始校准参数，确定为dTOF模组602的目标校准参数，最小绝对偏差为n个绝对偏差中取值最小的绝对偏差。
在一种具体实现方式中，图像采集模组601，具体用于若图像采集模组601为单目相机，则根据以下公式计算第一测量距离：
其中，d为第一测量距离，f为对焦焦距，H为校准物体的真实高度，h为校准物体在图像采集模组601中的成像高度。
在一种具体实现方式中，图像采集模组601，具体用于若图像采集模组601为双目相机，则根据以下公式计算第一测量距离：
其中，Z为第一测量距离，f为对焦焦距，T为图像采集模组601中第一摄像模组和第二摄像模组之间的距离，Xl为第一摄像模组与校准物体之间的距离，Xr为第二摄像模组与校准物体之间的距离。
在一种具体实现方式中，dTOF模组602，还用于若图像采集模组601对焦失败且双摄模组603所处的环境不满足预设光照条件，则获取双摄模组603与待摄物体之间的初始测量距离；
图像采集模组601，还用于根据双摄模组603与待摄物体之间的真实距离，辅助对焦。
图7是本申请实施例提供的一种双摄模组结构示意图，该双摄模组700可以包括一个或一个以上中央处理器(central processing units，CPU)701和存储器705，该存储器705中存储有一个或一个以上的应用程序或数据。
其中，存储器705可以是易失性存储或持久存储。存储在存储器705的程序可以包括一个或一个以上模块，每个模块可以包括对双摄模组中的一系列指令操作。更进一步地，中央处理器701可以设置为与存储器705通信，在双摄模组700上执行存储器705中的一系列指令操作。
双摄模组700还可以包括一个或一个以上电源702，一个或一个以上有线或无线网络接口703，一个或一个以上输入输出接口704，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。
该中央处理器701可以执行前述图1至图6所示实施例中双摄模组所执行的操作，具体此处不再赘述。
需要说明的是，虽然各实施例所涉及的流程图中各个步骤按照箭头的指示依次绘制，但除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如上述的dTOF模组校准方法。

Claims (10)

1.一种dTOF模组的校准方法，其特征在于，应用于双摄模组，所述双摄模组包括dTOF模组以及图像采集模组，所述方法包括：
获取所述图像采集模组测量得到的所述双摄模组与校准物体之间的距离为第一测量距离，以及获取所述dTOF模组测量得到的所述双摄模组与所述校准物体之间的距离为第二测量距离；
基于所述第一测量距离以及所述第二测量距离，计算得到所述dTOF模组的目标校准参数；
根据所述目标校准参数和所述dTOF模组测量得到的所述双摄模组与待摄物体之间的初始测量距离，计算得到所述双摄模组与所述待摄物体之间的真实距离。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一测量距离以及所述第二测量距离，计算得到所述dTOF模组的目标校准参数，包括：
将所述第一测量距离除以所述第二测量距离的商，确定为所述dTOF模组的目标校准参数；
所述根据所述目标校准参数和所述dTOF模组测量得到的所述双摄模组与所述待摄物体之间的初始测量距离，计算得到所述双摄模组与所述待摄物体之间的真实距离，包括：
将所述目标校准参数与所述初始测量距离的积，确定为所述双摄模组与所述待摄物体之间的真实距离。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一测量距离以及所述第二测量距离，计算得到所述dTOF模组的目标校准参数，包括：
将所述第二测量距离除以所述第一测量距离的商，确定为所述dTOF模组的目标校准参数；
所述根据所述目标校准参数和所述dTOF模组测量得到的所述双摄模组与所述待摄物体之间的初始测量距离，计算得到所述双摄模组与所述待摄物体之间的真实距离，包括：
将所述初始测量距离除以所述目标校准参数的商，确定为所述双摄模组与所述待摄物体之间的真实距离。
4.根据权利要求1所述的方法，其特征在于，所述获取所述图像采集模组测量得到的所述双摄模组与校准物体之间的距离为第一测量距离，以及获取所述dTOF模组测量得到的所述双摄模组与校准物体之间的距离为第二测量距离，包括：
调整所述双摄模组与所述校准物体之间的距离，并获取n组测量距离对，每组测量距离对包括一个由所述图像采集模组测量得到的第一测量距离以及一个由所述dTOF模组测量得到的第二测量距离；
基于所述第一测量距离以及所述第二测量距离，计算得到dTOF模组的目标校准参数，包括：
计算每组测量距离对对应的初始校准参数，所述每组测量距离对对应的初始校准参数为所述每组测量距离对对应的第一测量距离除以所述每组测量距离对对应的第二测量距离；
从n个初始校准参数中选择所述dTOF模组的目标校准参数。
5.根据权利要求4所述的方法，其特征在于，所述从n个初始校准参数中选择所述dTOF模组的目标校准参数，包括：
将所述n个初始校准参数中的众数，确定为所述dTOF模组的目标校准参数。
6.根据权利要求4所述的方法，其特征在于，所述从n个初始校准参数中选择所述dTOF模组的目标校准参数，包括：
将所述n个初始校准参数的算术平均值，确定为平均校准参数；
计算每个初始校准参数与所述平均校准参数之间的绝对偏差；
将最小绝对偏差对应的初始校准参数，确定为所述dTOF模组的目标校准参数，所述最小绝对偏差为n个所述绝对偏差中取值最小的绝对偏差。
7.根据权利要求1所述的方法，其特征在于，所述获取所述图像采集模组测量得到的所述双摄模组与校准物体之间的距离为第一测量距离，包括：
若所述图像采集模组为单目相机，则根据以下公式计算所述第一测量距离：
其中，d为所述第一测量距离，f为对焦焦距，H为所述校准物体的真实高度，h为所述校准物体在所述图像采集模组中的成像高度。
8.根据权利要求1所述的方法，其特征在于，所述获取所述图像采集模组测量得到的所述双摄模组与校准物体之间的距离为第一测量距离，包括：
若所述图像采集模组为双目相机，则根据以下公式计算所述第一测量距离：
其中，Z为所述第一测量距离，f为对焦焦距，T为所述图像采集模组中第一摄像模组和第二摄像模组之间的距离，Xl为所述第一摄像模组与所述校准物体之间的距离，Xr为所述第二摄像模组与所述校准物体之间的距离。
9.根据权利要求1所述的方法，其特征在于，在所述基于所述第一测量距离以及所述第二测量距离，计算得到所述dTOF模组的目标校准参数之后，所述方法还包括：
若所述图像采集模组对焦失败且所述双摄模组所处的环境不满足预设光照条件，则控制所述dTOF模组获取所述双摄模组与所述待摄物体之间的初始测量距离；
根据所述双摄模组与所述待摄物体之间的真实距离，辅助所述图像采集模组对焦。
10.一种双摄模组，其特征在于，包括：dTOF模组以及图像采集模组；
所述图像采集模组，用于测量得到的所述双摄模组与校准物体之间的距离为第一测量距离；
所述dTOF模组，用于测量得到的所述双摄模组与所述校准物体之间的距离为第二测量距离；
所述dTOF模组，还用于基于所述第一测量距离以及所述第二测量距离，计算得到dTOF模组的目标校准参数；
所述dTOF模组，还用于根据所述目标校准参数和所述dTOF模组测量得到的所述双摄模组与待摄物体之间的初始测量距离，计算得到所述双摄模组与所述待摄物体之间的真实距离。
CN202310667321.6A 2023-06-06 2023-06-06 dTOF模组的校准方法以及相关设备 Pending CN116736274A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310667321.6A CN116736274A (zh) 2023-06-06 2023-06-06 dTOF模组的校准方法以及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310667321.6A CN116736274A (zh) 2023-06-06 2023-06-06 dTOF模组的校准方法以及相关设备

Publications (1)

Publication Number Publication Date
CN116736274A true CN116736274A (zh) 2023-09-12

Family

ID=87900521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310667321.6A Pending CN116736274A (zh) 2023-06-06 2023-06-06 dTOF模组的校准方法以及相关设备

Country Status (1)

Country Link
CN (1) CN116736274A (zh)

Similar Documents

Publication Publication Date Title
CN108028887B (zh) 一种终端的拍照对焦方法、装置及设备
US8718326B2 (en) System and method for extracting three-dimensional coordinates
CN110596721B (zh) 双重共享tdc电路的飞行时间距离测量系统及测量方法
CN110596725B (zh) 基于插值的飞行时间测量方法及测量系统
KR101626072B1 (ko) 영상 보정 장치 및 영상 보정 방법
WO2021051477A1 (zh) 一种直方图可调的飞行时间距离测量系统及测量方法
CN102494609B (zh) 一种基于激光探针阵列的三维摄影方法及装置
TWI393980B (zh) The method of calculating the depth of field and its method and the method of calculating the blurred state of the image
EP3531066A1 (en) Three-dimensional scanning method including a plurality of lasers with different wavelengths, and scanner
US8144974B2 (en) Image processing apparatus, method, and program
CN110596723A (zh) 动态直方图绘制飞行时间距离测量方法及测量系统
WO2011125937A1 (ja) キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置
CN110596724A (zh) 动态直方图绘制飞行时间距离测量方法及测量系统
CN105204269A (zh) 一种激光辅助对焦方法及拍摄装置
CN111028294B (zh) 一种基于深度相机的多距离标定方法及系统
CN103202027A (zh) 图像处理装置、图像处理程序、图像处理方法及存储介质
CN104864810A (zh) 一种数码测量方法及其装置
CN110400341A (zh) 一种3d结构光深度相机和移动终端
CN115597551B (zh) 一种手持激光辅助双目扫描装置及方法
CN111510700A (zh) 图像采集装置
CN111654626B (zh) 一种包含深度信息的高分辨率相机
CN116736274A (zh) dTOF模组的校准方法以及相关设备
WO2016194576A1 (ja) 情報処理装置および方法
CN113379816A (zh) 结构变动检测方法、电子设备及存储介质
CN115077468B (zh) 一种变焦测距方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination