CN112540364A - Tof深度相机的延时测量方法、测量装置和测量系统 - Google Patents

Tof深度相机的延时测量方法、测量装置和测量系统 Download PDF

Info

Publication number
CN112540364A
CN112540364A CN201910836967.6A CN201910836967A CN112540364A CN 112540364 A CN112540364 A CN 112540364A CN 201910836967 A CN201910836967 A CN 201910836967A CN 112540364 A CN112540364 A CN 112540364A
Authority
CN
China
Prior art keywords
timing device
image
camera
time
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910836967.6A
Other languages
English (en)
Inventor
张定乾
李锋
章炳刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sunny Optical Intelligent Technology Co Ltd
Original Assignee
Zhejiang Sunny Optical Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sunny Optical Intelligent Technology Co Ltd filed Critical Zhejiang Sunny Optical Intelligent Technology Co Ltd
Priority to CN201910836967.6A priority Critical patent/CN112540364A/zh
Publication of CN112540364A publication Critical patent/CN112540364A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G01S7/4866—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak by fitting a model or function to the received signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种TOF深度相机的延时测量方法、测量装置和测量系统。该方法，包括步骤：生成第一启动指令，所述启动指令用于启动TOF深度相机对计时装置进行拍摄；获得所述计时装置的灰度图像，其中，所述灰度图像中所述计时装置指示第一时间；显示所述灰度图像；获取由第二相机所采集的所述计时装置的第二图像和所述灰度图像的图像；识别所述第二图像中所述计时装置指示的第二时间；以及，基于第一时间和第二时间之差，确定所述TOF深度相机的成像延时。这样，将TOF深度相机的成像延时直观地体现在计时装置上变化的时间数据以定性且定量地对TOF相机的成像延时进行测量。

Description

TOF深度相机的延时测量方法、测量装置和测量系统
技术领域
本发明涉及TOF成像领域，更具体地涉及一种TOF深度相机的延时测量方法、测量装置和测量系统。
背景技术
TOF是Time of flight的简写，直译为飞行时间法。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。
飞行时间法3D成像技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而采用飞行时间法3D成像技术的TOF相机，则是同时得到整幅图像的深度信息。TOF相机与普通机器的视觉成像结构类似，都包括：光源、光学部件、传感器、控制电路以及处理电路等部件。
TOF相机的应用场景很多，如实时VSLAM、手势识别、体感识别、3D建模、无人机避障、家庭娱乐及VR体验等。这些应用场景均要求采集实时深度图像，然而，在获取图像的过程中，由于要通过深度算法并矫正算法提取画面深度值，并且，在实现不同场景的应用中还需要应用功能算法，因此造成在不同层度上耗时，使得最终获取的深度图像具有一定的延时。为了达到良好的用户体验，需要对TOF相机的延时问题进行测量。
目前针对于TOF深度相机的成像延时测量处于空白状态，因此，需要一种对TOF深度相机的成像延时进行定性和定量的测量方案。
发明内容
本申请的一个目的在于提供一种TOF深度相机的延时测量方法、测量装置和测量系统，其能够定性且定量地对TOF相机的成像延时进行测量。
本申请的另一个目的在于提供一种TOF深度相机的延时测量方法、测量装置和测量系统，其中，在所述测量方法中，将TOF深度相机的成像延时直观地体现在计时装置上变化的时间数据上，简单直观。
本申请的另一目的在于提供一种TOF深度相机的延时测量方法、测量装置和测量系统，其能够测量不同主控平台的TOF相机的成像延时的具体延时值。也就是说，本申请所提供的所述TOF深度相机的延时测量方法、测量装置和测量系统具有通用性。
为了实现上述至少一发明目的，本发明提供了一种TOF深度相机的延时测量方法，其包括步骤：
生成第一启动指令，所述启动指令用于启动TOF深度相机，以控制所述TOF深度相机对计时装置进行拍摄，其中，所述计时装置指示第一时间；
获得所述计时装置的灰度图像，其中，所述灰度图像中所述计时装置指示第一时间；
显示指示第一时间的所述灰度图像；
获取由第二相机所采集的所述计时装置的第二图像和所述灰度图像的图像，其中，所述计时装置和所述灰度图像位于所述第二相机的视场角内，以使得所述第二相机能够同时对所述计时装置和所述灰度图像进行拍摄；
识别所述第二图像中所述计时装置指示的第二时间；以及
基于第一时间和第二时间之差，确定所述TOF深度相机的成像延时。
在本申请一实施例中，获得所述计时装置的灰度图像，包括：获得由所述深度相机所生成的所述计时装置的灰度图像。
在本申请一实施例中，获得所述计时装置的灰度图像，包括：对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像，其中，所述深度图像中每一像素点具有深度值。
在本申请一实施例中，对由所述深度相机所采集的所述计时装置的多帧
Figure BDA0002192483000000021
深度图像进行处理，以生成所述计时装置的灰度图像的过程，用公式可表示为：
其中，Ampl表示像素点的灰度值；C0、C1、C2、C3分别是相位为0度，90度，180度，270度下，每个像素点采集到的深度值。
在本申请一实施例中，在获取由第二相机所采集的所述计时装置的第二图像和所述灰度图像的图像之前，还包括：生成第二启动指令，其中，所述第二启动指令用于启动所述第二相机，其中，显示指示第一时间的所述灰度图像和生成第二启动指令同步执行。
在本申请一实施例中，所述计时装置的精度为毫秒级。
在本申请一实施例中，所述第二相机具有高清晰度和低曝光时间。
根据本发明的另一方面，本发明还提供一种延时测量装置，其包括：
启动指令生成单元，用于生成第一启动指令，所述启动指令用于启动TOF深度相机，以控制所述TOF深度相机对计时装置进行拍摄，其中，所述计时装置指示第一时间；
灰度图像获取单元，用于获得所述计时装置的灰度图像，其中，所述灰度图像中所述计时装置指示第一时间；
显示单元，显示指示第一时间的所述灰度图像；
第二图像获取单元，获取由第二相机所采集的所述计时装置的第二图像和所述灰度图像的图像，其中，所述计时装置和所述灰度图像位于所述第二相机的视场角内，以使得所述第二相机能够同时对所述计时装置和所述灰度图像进行拍摄；
识别单元，用于识别所述第二图像中所述计时装置指示的第二时间；以及
成像延时确定单元，用于基于第一时间和第二时间之差，确定所述TOF深度相机的成像延时。
在本申请一实施例中，所述灰度图像获取单元，用于获得由所述深度相机所生成的所述计时装置的灰度图像。在本申请一实施例中，灰度图像获取
Figure BDA0002192483000000031
单元，用于对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像，其中，所述深度图像中每一像素点具有深度值，其中，对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像的过程，用公式可表示为：
其中，Ampl表示像素点的灰度值；C0、C1、C2、C3分别是相位为0度，90度，180度，270度下，每个像素点采集到的深度值。
根据本申请另一方面，还提供一种延时测量系统，其包括：计时装置、用于安装待测TOF深度相机固持装置、主控平台和显示器；
其中，所述主控平台，用于生成第一启动指令，所述启动指令用于启动TOF深度相机，以控制所述TOF深度相机对计时装置进行拍摄，其中，所述计时装置指示第一时间；
其中，所述主控平台，用于获得所述计时装置的灰度图像，其中，所述灰度图像中所述计时装置指示第一时间；
其中，所述显示器，用于显示指示第一时间的所述灰度图像；
其中，所述第二相机，用于采集的所述计时装置的第二图像和所述灰度图像的图像。
其中，所述主控平台，用于获取由第二相机所采集的所述计时装置的第二图像和所述灰度图像的图像，其中，所述计时装置和所述灰度图像位于所述第二相机的视场角内，以使得所述第二相机能够同时对所述计时装置和所述灰度图像进行拍摄；
其中，所述主控平台，用于识别所述第二图像中所述计时装置指示的第二时间；以及
其中，所述主控平台，用于基于第一时间和第二时间之差，确定所述TOF深度相机的成像延时。
在本申请一实施例中，所述主控平台，用于获得由所述深度相机所生成的所述计时装置的灰度图像。
在本申请一实施例中，所述主控平台，用于对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像，其中，所述深度图像中每一像素点具有深度值，其中，对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像的过程，用公式可表示为：
其中，Ampl表示像素点的灰度值；C0、C1、C2、C3分别是相位为0度，90度，180度，270度下，每个像素点采集到的深度值。
在本申请一实施例中，所述系统还包括可通信地连接于主控平台的计算设备，其中，所述计算设备，用于：
接收来自主控平台的由所述深度相机所采集的所述计时装置的多帧深度图像；
对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像，其中，所述深度图像中每一像素点具有深度值，其中，对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像的过程，用公式可表示为：
Figure BDA0002192483000000051
其中，Ampl表示像素点的灰度值；C0、C1、C2、C3分别是相位为0度，90度，180度，270度下，每个像素点采集到的深度值。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
从下面结合附图对本发明实施例的详细描述中，本申请的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：
图1图示了根据本申请实施例的TOF深度相机的延时测量方法的流程示意图。
图2图示了根据本申请实施的TOF深度相机的延时测量装置的框图示意图。
图3图示了根据本申请实施例的TOF深度相机的延时测量系统的示意图。
图4图示了根据本申请实施例的TOF深度相机的延时测量系统的另一示例的示意图。
具体实施方式
以下说明书和权利要求中使用的术语和词不限于字面的含义，而是仅由本发明人使用以使得能够清楚和一致地理解本申请。因此，对本领域技术人员很明显仅为了说明的目的而不是为了如所附权利要求和它们的等效物所定义的限制本申请的目的而提供本申请的各种实施例的以下描述。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
虽然比如“第一”、“第二”等的序数将用于描述各种组件，但是在这里不限制那些组件。该术语仅用于区分一个组件与另一组件。例如，第一组件可以被称为第二组件，且同样地，第二组件也可以被称为第一组件，而不脱离实用新型构思的教导。在此使用的术语“和/或”包括一个或多个关联的列出的项目的任何和全部组合。
在这里使用的术语仅用于描述各种实施例的目的且不意在限制。如在此使用的，单数形式意在也包括复数形式，除非上下文清楚地指示例外。另外将理解术语“包括”和/或“具有”当在该说明书中使用时指定所述的特征、数目、步骤、操作、组件、元件或其组合的存在，而不排除一个或多个其它特征、数目、步骤、操作、组件、元件或其组的存在或者附加。
申请概述
如上所述，目前针对于TOF深度相机的成像延时测量处于空白状态，因此，需要一种对TOF深度相机的成像延时进行定性和定量的测量方案。本领域的技术人员应知晓，TOF相机所拍摄的图像与一般RGB相机所拍摄的图像不同。具体来说，RGB相机在感光芯片上的所成的图像是清晰的2D图像而TOF相机所采集的深度图像上的每一像素点表示的是相机与被测目标之间的距离值(即，深度值)。但是，TOF深度相机能够输出灰度图像帧或者通过深度计算也能提取出深度图像帧，其中，灰度图像能够呈现被测目标的清晰的2D图像。
基于此，如果将被测对象设置为能够指示时间的计时装置，那么TOF成像延时时间可直观地用计时装置上变化时间数据来表示。
基于上述技术构思，本申请提出一种TOF深度相机的延时测量方法，其首先生成第一启动指令，所述启动指令用于启动TOF深度相机，以控制所述TOF深度相机对计时装置进行拍摄，其中，所述计时装置指示第一时间；然后，获得所述计时装置的灰度图像，其中，所述灰度图像中所述计时装置指示第一时间；进而，显示指示第一时间的所述灰度图像；接着，获取由第二相机所采集的所述计时装置的第二图像和所述灰度图像的图像，其中，所述计时装置和所述灰度图像位于所述第二相机的视场角内，以使得所述第二相机能够同时对所述计时装置和所述灰度图像进行拍摄；然后，识别所述第二图像中所述计时装置指示的第二时间；最终，基于第一时间和第二时间之差，确定所述TOF深度相机的成像延时。这样，将TOF深度相机的成像延时直观地体现在计时装置上变化的时间数据，以定性且定量地对TOF相机的成像延时进行测量。
示意性延时测量方法
图1图示了根据本申请实施例的TOF深度相机的延时测量方法的流程示意图。如图1所示，本申请实施例的所述延时测量方法，包括：S110，生成第一启动指令，所述启动指令用于启动TOF深度相机，以控制所述TOF深度相机对计时装置进行拍摄，其中，所述计时装置指示第一时间；S120，获得所述计时装置的灰度图像，其中，所述灰度图像中所述计时装置指示第一时间；S130，显示指示第一时间的所述灰度图像；S140，获取由第二相机所采集的所述计时装置的第二图像和所述灰度图像的图像，其中，所述计时装置和所述灰度图像位于所述第二相机的视场角内，以使得所述第二相机能够同时对所述计时装置和所述灰度图像进行拍摄；S150，识别所述第二图像中所述计时装置指示的第二时间；以及，S160，基于第一时间和第二时间之差，确定所述TOF深度相机的成像延时。
在步骤S110中，生成第一启动指令，所述启动指令用于启动TOF深度相机，以控制所述TOF深度相机对计时装置进行拍摄，其中，所述计时装置指示第一时间。这里，所述TOF深度相机连接于主控平台，其中，所述主控平台用于对TOF深度相机所采集的TOF数据进行处理，以生成所述计时装置的深度图像，其中，所述深度图像上的每一像素点表示的是所述TOF深度相机与所述计时装置之间的距离。
在本申请一种可能的实现方式中，所述主控平台生成所述第一启动指令，并将所述第一启动指令传输至所述TOF深度相机，其中，在接收到所述第一启动指令后，所述TOF深度相机启动工作，以对所述计时装置进行拍摄以获得所述计时装置的TOF数据。这里，所述TOF数据表示原始数据，并不能表征所述计时装置与所述TOF深度相机之间的深度信息。
本领域技术人员应知晓，所述TOF深度相机可接入不同公司所提供的主控平台，包括但不限于CYPRESS、海思、安霸、瑞芯微、MTR，高通等，其中，在这些主控平台上设有深度计算算法，用于对所述TOF深度相机所获得的TOF数据进行处理，以生成深度图像。值得一提的是，由于主控平台软硬件的差异，从所述TOF深度相机采集图像到生成深度图像的延时大小各不一致，这也是需要对TOF深度相机进行延时测量的原因。同时，在本申请实施例中，所述TOF深度相机的类型也并不为本申请所局限，其按工作方式不同来分，包括但不限于脉冲型TOF深度相机、连续波型TOF深度相机和时间相关单光子计数TOF深度相机。在结构层面上，所述TOF相机包括激光光源，光学元件，传感器，控制电路以及处理电路(图中未具体示意)等必要元件，其通过给目标对象连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标对象的深度信息。
值得一提的是，为了确保所述延迟测量的精度，优选地，在本申请实施例中，所述计时装置的精度为毫秒级(ms级)的。
在步骤S120中，获得所述计时装置的灰度图像，其中，所述灰度图像中所述计时装置指示第一时间。如前所述，藉由所述主控平台所生成的深度图像中每个像素点表示所述TOF深度相机与所述计时装置之间的距离，也就是说，从所述深度图像中不能观察到所述计时装置的2D图像，即，从所述深度图像中不能识别出所述计时装置所指示的第一时间。然而，在实际工作过程中，所述TOF深度相机能够直接输出灰度图像帧或者通过深度计算也能提取出深度图像帧，也就是说，藉由所述TOF深度相机和/或所述主控平台也能获得所述计时装置的灰度图像，以使得能够识别出所述计时装置指示的第一时间。
具体来说，在本申请一种可能的实现方式中，所述TOF深度相机被设置在采集被测对象的TOF数据时，同时输出所述被测对象的灰度图像帧。也就是说，所述TOF深度相机能够直接生成所述计时装置的灰度图像。即，所述主控平台能够从所述TOF深度相机接收到所述灰度图像。进一步地，所述主控平台能够通过图像识别算法获得所述灰度图像中所述计时装置所指示的第一时间。
在本申请另外一种实施例中，所述计时装置的灰度图像通过深度计算获得。具体来说，由所述主控平台对所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像，其中该处理过程用
Figure BDA0002192483000000091
公式可表示为：
其中，Ampl表示像素点的灰度值；C0、C1、C2、C3分别是相位为0度，90度，180度，270度下，每个像素点采集到的深度值。这样，将所有的像素点的灰度值(也成为幅度值)整合在一起，便形成了所述灰度图。
值得一提的是，在具体实施中，对多帧所述深度图像处理的过程可在所述主控平台上得以实施；或者，也可以将多帧所述深度图像传输至另一台计算设备(例如，PC电脑)上，以在该计算设备上实施该深度计算以生成灰度图像的过程。对此，并不为本申请所局限。
在步骤S130中，显示指示第一时间的所述灰度图像。在本申请实施例中，所述灰度图像可显示于一显示屏上，其中，所述显示屏的类型包括但不限于LCD显示屏、OLED显示屏、LED显示屏等。在一种可能的实现方式中，所述显示屏可通信地和/或电连接于所述主控平台，以接收并显示来自所述主控平台的所述计时装置的灰度图像。或者，在另外一种可能的实现方式中，所述显示屏可通信地和/或电连接于所述计算设备，以接收并显示来自所述计算设备的所述计时装置的灰度图像。
在步骤S140中，获取由第二相机所采集的所述计时装置的第二图像和所述灰度图像的图像，其中，所述计时装置和所述灰度图像位于所述第二相机的视场角内，以使得所述第二相机能够同时对所述计时装置和所述灰度图像进行拍摄。也就是说，在生成灰度图像后，启动第二相机以通过所述第二相机采集所述计时装置和所述灰度图像的图像。这里应可以理解，从所述TOF深度相机在第一时间采集所述计时装置的TOF数据至生成指示第一时间的所述灰度图像已过了一段时间。也就是说，在启动第二相机对所述计时装置进行拍照时，所述计时装置的实时时间已发生变化：移动至第二时间。也就是说，所述第二相机所采集的所述计时装置的第二图像中所指示的时间为第二时间。为了提高延时测量的精度，优选地，在本申请实施例中，启动所述第二相机对所述计时装置进行拍照与显示所述灰度图像的步骤同步执行。也就是说，优选地，显示指示第一时间的所述灰度图像和生成第二启动指令同步执行。在具体实施中，启动所述第二相机的第二启动指令可同样由所述主控平台进行控制。相应地，所述主控平台可在生成显示所述灰度图像指令的同时，生成第二启动指令，以同步地控制所述第二相机对所述灰度图像和所述即时装置进行拍照，以获得所述第二图像。
为了进一步提高延时测量的精度，优选地，在本申请实施例中，所述第二相机具有高清晰度和低曝光时间。值得一提的是，在本申请实施例中，所述第二相机的类型并不为本申请所局限，其包括但不限于RGB摄像模组、黑白摄像模组、IR摄像模组等。
进一步地，执行步骤S150和步骤160：识别所述第二图像中所述计时装置指示的第二时间和基于第一时间和第二时间之差，确定所述TOF深度相机的成像延时，便能够获得所述TOF深度相机的成像延时。
综上，基于本申请实施例的所述TOF深度相机的延时测量方法被阐明，其有效地将TOF深度相机的成像延时直观地体现在计时装置上变化的时间数据，以定性且定量地对TOF相机的成像延时进行测量。
示例性延时测量装置
根据本申请的另一方面，本申请还提供一种延时测量装置。
图2图示了根据本申请实施的TOF深度相机的延时测量装置的框图示意图。
如图2所示，根据本申请实施例的所述延时测量装置200，包括：启动指令生成单元210，用于生成第一启动指令，所述启动指令用于启动TOF深度相机，以控制所述TOF深度相机对计时装置进行拍摄，其中，所述计时装置指示第一时间；灰度图像获取单元220，用于获得所述计时装置的灰度图像，其中，所述灰度图像中所述计时装置指示第一时间；显示单元230，显示指示第一时间的所述灰度图像；第二图像获取单元240，获取由第二相机所采集的所述计时装置的第二图像和所述灰度图像的图像，其中，所述计时装置和所述灰度图像位于所述第二相机的视场角内，以使得所述第二相机能够同时对所述计时装置和所述灰度图像进行拍摄；识别单元250，用于识别所述第二图像中所述计时装置指示的第二时间；以及，成像延时确定单元260，用于基于第一时间和第二时间之差，确定所述TOF深度相机的成像延时。
在本申请一实施例中，在上述延时测量装置200中，所述灰度图像获取单元220，用于获得由所述深度相机所生成的所述计时装置的灰度图像。在本申请一实施例中，灰度图像获取单元，用于对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像，其中，所述深度图像中每一像素点具有深度值，其中，对由所述深度相机所采
Figure BDA0002192483000000121
集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像的过程，用公式可表示为：
其中，Ampl表示像素点的灰度值；C0、C1、C2、C3分别是相位为0度，90度，180度，270度下，每个像素点采集到的深度值。
在本申请一实施例中，在上述延时测量装置200中，所述灰度图像获取单元220，用于获得由所述深度相机所生成的所述计时装置的灰度图像。
在本申请一实施例中，在上述延时测量装置200中，所述启动指令生成单元210，进一步用于在获取由第二相机所采集的所述计时装置的第二图像和所述灰度图像的图像之前，生成第二启动指令，其中，所述第二启动指令用于启动所述第二相机，其中，显示指示第一时间的所述灰度图像和生成第二启动指令同步执行。
在本申请一实施例中，在上述延时测量装置200中，所述计时装置的精度为毫秒级。
综上基于本申请实施例的所述延时测量装置被阐明，其用于实施如上所述的延时测量方法，以定性且定量地对TOF相机的成像延时进行测量。
值得一提的是，根据本申请实施例的延时测量装置可以实现在各种终端设备中，例如主控平台中。在一个示例中，根据本申请实施例的延时测量装置可以作为一个软件模块和/或硬件模块而集成到所述终端设备中。例如，该延时测量装置可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该延时测量装置同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该延时测量装置与该终端设备也可以是分立的终端设备，并且该延时测量装置可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性延时测量系统
根据本申请的另一方面，还提供一种TOF深度相机的延时测量系统。
图3图示了根据本申请实施例的TOF深度相机的延时测量系统的示意图。如图3所示，根据本申请实施例的所述延时测量系统，包括：计时装置11、用于安装待测TOF深度相机固持装置12、主控平台13、显示器14和第二相机15，其中，所述主控平台13，用于生成第一启动指令，所述启动指令用于启动TOF深度相机，以控制所述TOF深度相机对计时装置11进行拍摄，其中，所述计时装置11指示第一时间。相应地，所述主控平台13，用于获得所述计时装置的灰度图像，其中，所述灰度图像中所述计时装置11指示第一时间。相应地，所述显示器14，用于显示指示第一时间的所述灰度图像。相应地，所述第二相机15，用于采集的所述计时装置11的第二图像和所述灰度图像的图像。相应地，所述主控平台12，进一步用于获取由第二相机15所采集的所述计时装置11的第二图像和所述灰度图像的图像，其中，所述计时装置11和所述灰度图像位于所述第二相机15的视场角内，以使得所述第二相机15能够同时对所述计时装置11和所述灰度图像进行拍摄。相应地，所述主控平台12，进一步用于识别所述第二图像中所述计时装置11指示的第二时间。相应地，所述主控平台12，用于基于第一时间和第二时间之差，确定所述TOF深度相机的成像延时。
在本申请一实施例中，在上述延时测量系统中，所述主控平台12，进一步用于获得由所述TOF深度相机所生成的所述计时装置11的灰度图像。
在本申请一实施例中，在上述延时测量系统中，所述主控平台12，用于对由所述深度相机所采集的所述计时装置11的多帧深度图像进行处理，以生成所述计时装置11的灰度图像，其中，所述深度图像中每一像素点具有深度值，其中，对由所述深度相机所采集的所述计时装置11的多帧深度图像进行处理，以生成所述计时装置11的灰度图像的过程，用公式可表示为：
Figure BDA0002192483000000141
其中，Ampl表示像素点的灰度值；C0、C1、C2、C3分别是相位为0度，90度，180度，270度下，每个像素点采集到的深度值。
也就是说，在该示例中，所述主控平台12采集TOF数据，计时装置11的灰度图像是所述TOF深度相机直接采集到的或通过深度计算提取到的。并且，深度计算+灰度图显示均在主控平台端实现。
图4图示了根据本申请实施例的TOF深度相机的延时测量系统的另一示例的示意图。如图4所示，相较于如图3所示意的所述延时测量系统，在该示例中，所述延时测量系统还包括：还包括可通信地连接于主控平台12的计算设备16，其中，所述计算设备16，用于：
接收来自主控平台12的由所述TOF深度相机所采集的所述计时装置11的多帧深度图像；
对由所述深度相机所采集的所述计时装置11的多帧深度图像进行处理，以生成所述计时装置11的灰度图像，其中，所述深度图像中每一像素点具有深度值，其中，对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像的过程，用公式可表示为：
Figure BDA0002192483000000142
其中，Ampl表示像素点的灰度值；C0、C1、C2、C3分别是相位为0度，90度，180度，270度下，每个像素点采集到的深度值。
也就是说，在该示例中，所述主控平台12采集TOF数据，计时装置11的灰度图像是所述TOF深度相机直接采集到的或通过深度计算提取到的。并且，深度计算可在主控平台12端实现也可以在计算设备(例如PC电脑)上实现，灰度图通过USB接口或者网络接口传输到计算设备16上显示。
综上，基于本申请实施例的所述延时测量系统被阐明，其基于如上所述的延时测量装置以实施如上所述的延时测量方法，以定性且定量地对TOF相机的成像延时进行测量。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (13)

1.一种TOF深度相机的延时测量方法，其特征在于，包括：
生成第一启动指令，所述启动指令用于启动TOF深度相机，以控制所述TOF深度相机对计时装置进行拍摄，其中，所述计时装置指示第一时间；
获得所述计时装置的灰度图像，其中，所述灰度图像中所述计时装置指示第一时间；
显示指示第一时间的所述灰度图像；
获取由第二相机所采集的所述计时装置的第二图像和所述灰度图像的图像，其中，所述计时装置和所述灰度图像位于所述第二相机的视场角内，以使得所述第二相机能够同时对所述计时装置和所述灰度图像进行拍摄；
识别所述第二图像中所述计时装置指示的第二时间；以及
基于第一时间和第二时间之差，确定所述TOF深度相机的成像延时。
2.根据权利要求1所述的延时测量方法，其中，获得所述计时装置的灰度图像，包括：
获得由所述深度相机所生成的所述计时装置的灰度图像。
3.根据权利要求1所述的延时测量方法，其中，获得所述计时装置的灰度图像，包括：
对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像，其中，所述深度图像中每一像素点具有深度值。
4.根据权利要求3所述的延时测量方法，其中，对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像的过程，用公式可表示为：
Figure FDA0002192482990000011
其中，Ampl表示像素点的灰度值；C0、C1、C2、C3分别是相位为0度，90度，180度，270度下，每个像素点采集到的深度值。
5.根据权利要求1所述的延时测量方法，其中，在获取由第二相机所采集的所述计时装置的第二图像和所述灰度图像的图像之前，还包括：
生成第二启动指令，其中，所述第二启动指令用于启动所述第二相机，其中，显示指示第一时间的所述灰度图像和生成第二启动指令同步执行。
6.根据权利要求1-5任一所述的延时测量方法，其中，所述计时装置的精度为毫秒级。
7.一种TOF深度相机的延时测量装置，其特征在于，包括：
启动指令生成单元，用于生成第一启动指令，所述启动指令用于启动TOF深度相机，以控制所述TOF深度相机对计时装置进行拍摄，其中，所述计时装置指示第一时间；
灰度图像获取单元，用于获得所述计时装置的灰度图像，其中，所述灰度图像中所述计时装置指示第一时间；
显示单元，显示指示第一时间的所述灰度图像；
第二图像获取单元，获取由第二相机所采集的所述计时装置的第二图像和所述灰度图像的图像，其中，所述计时装置和所述灰度图像位于所述第二相机的视场角内，以使得所述第二相机能够同时对所述计时装置和所述灰度图像进行拍摄；
识别单元，用于识别所述第二图像中所述计时装置指示的第二时间；以及
成像延时确定单元，用于基于第一时间和第二时间之差，确定所述TOF深度相机的成像延时。
8.根据权利要求7所述的延时测量装置，其中，所述灰度图像获取单元，用于获得由所述深度相机所生成的所述计时装置的灰度图像。
9.根据权利要求7所述的延时测量装置，其中，灰度图像获取单元，用于对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像，其中，所述深度图像中每一像素点具有深度值，其中，对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像的过程，用公式可表示为：
Figure FDA0002192482990000031
其中，Ampl表示像素点的灰度值；C0、C1、C2、C3分别是相位为0度，90度，180度，270度下，每个像素点采集到的深度值。
10.一种TOF深度相机的延时测量系统，其特征在于，包括：计时装置、用于安装待测TOF深度相机固持装置、主控平台、显示器和第二相机；
其中，所述主控平台，用于生成第一启动指令，所述启动指令用于启动TOF深度相机，以控制所述TOF深度相机对计时装置进行拍摄，其中，所述计时装置指示第一时间；
其中，所述主控平台，用于获得所述计时装置的灰度图像，其中，所述灰度图像中所述计时装置指示第一时间；
其中，所述显示器，用于显示指示第一时间的所述灰度图像；
其中，所述第二相机，用于采集的所述计时装置的第二图像和所述灰度图像的图像；
其中，所述主控平台，用于获取由第二相机所采集的所述计时装置的第二图像和所述灰度图像的图像，其中，所述计时装置和所述灰度图像位于所述第二相机的视场角内，以使得所述第二相机能够同时对所述计时装置和所述灰度图像进行拍摄；
其中，所述主控平台，用于识别所述第二图像中所述计时装置指示的第二时间；以及
其中，所述主控平台，用于基于第一时间和第二时间之差，确定所述TOF深度相机的成像延时。
11.根据权利要求10所述的延时测量系统，其中，所述主控平台，用于获得由所述深度相机所生成的所述计时装置的灰度图像。
12.根据权利要求10所述的延时测量系统，其中，所述主控平台，用于对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像，其中，所述深度图像中每一像素点具有深度值，其中，对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像的过程，用公式可表示为：
Figure FDA0002192482990000041
其中，Ampl表示像素点的灰度值；C0、C1、C2、C3分别是相位为0度，90度，180度，270度下，每个像素点采集到的深度值。
13.根据权利要求10所述的延时测量系统，还包括可通信地连接于主控平台的计算设备，其中，所述计算设备，用于：
接收来自主控平台的由所述深度相机所采集的所述计时装置的多帧深度图像；
对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像，其中，所述深度图像中每一像素点具有深度值，其中，对由所述深度相机所采集的所述计时装置的多帧深度图像进行处理，以生成所述计时装置的灰度图像的过程，用公式可表示为：
Figure FDA0002192482990000042
其中，Ampl表示像素点的灰度值；C0、C1、C2、C3分别是相位为0度，90度，180度，270度下，每个像素点采集到的深度值。
CN201910836967.6A 2019-09-05 2019-09-05 Tof深度相机的延时测量方法、测量装置和测量系统 Pending CN112540364A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910836967.6A CN112540364A (zh) 2019-09-05 2019-09-05 Tof深度相机的延时测量方法、测量装置和测量系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910836967.6A CN112540364A (zh) 2019-09-05 2019-09-05 Tof深度相机的延时测量方法、测量装置和测量系统

Publications (1)

Publication Number Publication Date
CN112540364A true CN112540364A (zh) 2021-03-23

Family

ID=75012224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910836967.6A Pending CN112540364A (zh) 2019-09-05 2019-09-05 Tof深度相机的延时测量方法、测量装置和测量系统

Country Status (1)

Country Link
CN (1) CN112540364A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113838146A (zh) * 2021-09-26 2021-12-24 昆山丘钛光电科技有限公司 验证摄像头模组标定精度、摄像头模组测试方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1909678A (zh) * 2006-08-11 2007-02-07 中国船舶重工集团公司第七○九研究所 Ip视频通信系统延迟测试方法
CN103680368A (zh) * 2012-09-25 2014-03-26 波音公司 延迟测量的系统和方法
CN103826117A (zh) * 2014-01-17 2014-05-28 浙江大学 一种测量手机视频通讯应用端到端延时的方法
CN106534843A (zh) * 2016-11-14 2017-03-22 北京凌宇智控科技有限公司 一种延迟测量方法及装置
US20190058859A1 (en) * 2017-08-17 2019-02-21 Microsoft Technology Licensing, Llc Localized depth map generation
CN109903241A (zh) * 2019-01-31 2019-06-18 武汉市聚芯微电子有限责任公司 一种tof相机系统的深度图像校准方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1909678A (zh) * 2006-08-11 2007-02-07 中国船舶重工集团公司第七○九研究所 Ip视频通信系统延迟测试方法
CN103680368A (zh) * 2012-09-25 2014-03-26 波音公司 延迟测量的系统和方法
CN103826117A (zh) * 2014-01-17 2014-05-28 浙江大学 一种测量手机视频通讯应用端到端延时的方法
CN106534843A (zh) * 2016-11-14 2017-03-22 北京凌宇智控科技有限公司 一种延迟测量方法及装置
US20190058859A1 (en) * 2017-08-17 2019-02-21 Microsoft Technology Licensing, Llc Localized depth map generation
CN109903241A (zh) * 2019-01-31 2019-06-18 武汉市聚芯微电子有限责任公司 一种tof相机系统的深度图像校准方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113838146A (zh) * 2021-09-26 2021-12-24 昆山丘钛光电科技有限公司 验证摄像头模组标定精度、摄像头模组测试方法及装置

Similar Documents

Publication Publication Date Title
CN109949372B (zh) 一种激光雷达与视觉联合标定方法
Langmann et al. Depth camera technology comparison and performance evaluation
EP3248374B1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
US8208129B2 (en) Method, device and system for imaging
KR101043450B1 (ko) 카메라를 이용한 위치와 거리 측정장치 및 위치와 거리 측정방법
JP2015524915A (ja) ３ｄ情報処理装置及び方法
JP7123163B6 (ja) 深度プロセッサ及び３次元画像機器
CN105043350A (zh) 一种双目视觉测量方法
KR20130099735A (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
US10178381B2 (en) Depth-spatial frequency-response assessment
WO2020113358A1 (en) Systems and methods for synchronizing vehicle sensors and devices
EP3608875A1 (en) Camera calibration method and apparatus, electronic device, and computer-readable storage medium
JP6694234B2 (ja) 距離測定装置
WO2021111747A1 (ja) 画像処理装置、監視システム、及び画像処理方法
JP2015049200A (ja) 計測装置、方法及びプログラム
US20180063506A1 (en) Method for the 3d reconstruction of a scene
JP2010190675A (ja) 距離画像センサシステムおよび距離画像生成方法
CN103528562A (zh) 一种基于单摄像头检测人眼与显示终端距离的方法
JP7489670B2 (ja) 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置
CN112540364A (zh) Tof深度相机的延时测量方法、测量装置和测量系统
US9521397B2 (en) System and method for selecting a two-dimensional region of interest using a range sensor
CN112740065A (zh) 使用视觉惯性测距的增强深度映射
EP3663799A1 (en) Apparatuses and methods for determining depth motion relative to a time-of-flight camera in a scene sensed by the time-of-flight camera
JP6920159B2 (ja) 車両の周辺監視装置と周辺監視方法
CN113597534B (zh) 测距成像系统、测距成像方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination