CN108259744B - 图像采集控制方法及其装置、图像采集系统和tof相机 - Google Patents

图像采集控制方法及其装置、图像采集系统和tof相机 Download PDF

Info

Publication number
CN108259744B
CN108259744B CN201810066597.8A CN201810066597A CN108259744B CN 108259744 B CN108259744 B CN 108259744B CN 201810066597 A CN201810066597 A CN 201810066597A CN 108259744 B CN108259744 B CN 108259744B
Authority
CN
China
Prior art keywords
time
exposure
light source
infrared light
tof camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810066597.8A
Other languages
English (en)
Other versions
CN108259744A (zh
Inventor
王明
侯晓迪
郝佳男
孙杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN201810066597.8A priority Critical patent/CN108259744B/zh
Publication of CN108259744A publication Critical patent/CN108259744A/zh
Priority to PCT/CN2018/105471 priority patent/WO2019144629A1/zh
Priority to AU2018405051A priority patent/AU2018405051B2/en
Priority to EP18902695.8A priority patent/EP3745703A4/en
Application granted granted Critical
Publication of CN108259744B publication Critical patent/CN108259744B/zh
Priority to US16/923,660 priority patent/US20200371243A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Vehicle Body Suspensions (AREA)

Abstract

本发明公开图像采集控制方法及其装置、图像采集系统和TOF相机，以解决现有技术无法在恶劣天气下拍摄得到特定距离物体的清晰图像的问题。方法包括：根据预置的目标距离范围确定TOF相机的红外光源发射时间、曝光开始时间和曝光结束时间；向所述TOF相机发送携带有所述红外光源发射时间、曝光开始时间和曝光结束时间的参数控制信息；接收所述TOF相机根据所述参数控制信息采集得到的包含位于所述目标距离范围内的物体的图像。

Description

图像采集控制方法及其装置、图像采集系统和TOF相机
技术领域
本发明涉及图像采集领域，特别涉及一种图像采集控制方法、一种图像采集控制装置、一种图像采集系统和一种TOF相机。
背景技术
随着无人机、无人船舶、无人驾驶、VR(Virtual Reality，虚拟现实)、三维扫描、机器人避障、SLAM(Simultaneous Localization And Mapping，即时定位与地图构建)等技术领域的发展，摄像头在这些技术领域被大量使用，而摄像头最大的缺点在于受环境影响较大，当自然光照过强或过弱时摄像头的成像质量较差，尤其是一些例如暴雨、暴雪、大雾、沙尘暴等恶劣天气，这些恶劣天气下的自然光照较差，摄像头的成像质量较差，摄像头的视距非常短，通过摄像拍摄的图像只能看清近距离的物体，但是无法看清远距离的物体，如何能够在恶劣天气下拍摄得到特定距离物体的清晰图像，则成为前述技术领域亟待解决的技术问题。
发明内容
鉴于上述问题，本发明提供一种图像采集控制方法及其装置，以解决现有技术无法在恶劣天气下拍摄得到特定距离物体的清晰图像的技术问题。
本发明实施例第一方面，提供一种图像采集控制方法，方法包括：
根据预置的目标距离范围确定TOF相机的红外光源发射时间、曝光开始时间和曝光结束时间；
向所述TOF相机发送携带有所述红外光源发射时间、曝光开始时间和曝光结束时间的参数控制信息；
接收所述TOF相机根据所述参数控制信息采集得到的包含位于所述目标距离范围内的物体的图像。
本发明实施例第二方面，一种图像采集控制装置，包括：
时间计算单元，用于根据预置的目标距离范围确定TOF相机的红外光源发射时间、曝光开始时间和曝光结束时间；
控制单元，用于向所述TOF相机发送携带有所述红外光源发射时间、曝光开始时间和曝光结束时间的参数控制信息；
图像接收单元，用于接收所述TOF相机根据所述参数控制信息采集得到的包含位于所述目标距离范围内的物体的图像。
本发明实施例第三方面，提供一种图像采集系统，包括TOF相机和图像采集控制装置，其中：
图像采集控制装置，用于根据预置的目标距离范围确定TOF相机的红外光源发射时间、曝光开始时间和曝光结束时间；向所述TOF相机发送携带有所述红外光源发射时间、曝光开始时间和曝光结束时间的参数控制信息；接收所述TOF相机根据所述参数控制信息采集得到的包含位于所述目标距离范围内的物体的图像；
TOF相机，用于从图像采集控制装置接收所述参数控制信息，并根据所述参数控制信息进行图像采集，得到包含所述目标距离范围内的物体的图像。
本发明实施例第四方面，提供一种TOF相机，该相机包括数据处理器、红外光源发射器和图像传感器，其中：
数据处理器，用于接收包含红外光源发射时间、曝光开始时间和曝光结束时间的参数控制信息；根据所述红外光源发射时间配置所述红外光源发射器的发射时间，以及根据所述曝光开始时间和曝光结束时间配置所述图像传感器的曝光参数；
红外光源发射器，用于根据所述红外光源发射时间发射红外光源；
图像传感器，用于根据所述曝光开始时间和曝光结束时间进行曝光，以生成包含位于所述目标距离范围内的物体的图像数据。
由于TOF相机通过CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体，即图像传感器)像素阵列和主动调制光源技术来提供景深图，通过给目标物体连续发射调制的红外光，并利用图像传感器接收从目标物体返回的发射光来探测光脉冲的飞行时间来得到目标物体的距离，TOF相机不仅能够检测到面积较小的物体(如线、锥形体物体等)，而且测距远、分辨率高、响应速度快且不受环境光的影响。本发明技术方案利用TOF相机的特性，通过精准控制TOF相机的红外光源发射时间、曝光开始时间和曝光结束时间来控制TOF相机采集得到目标距离范围内的物体的清晰图像，因此，即使在恶劣的环境下通过本发明技术方案也能够拍摄目标距离范围内的物体的清晰图像，克服了现有技术存在的技术问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明实施例中图像采集系统的结构示意图之一；
图2为本发明实施例中图像采集系统的结构示意图之二；
图3为本发明实施例中图像采集控制装置的结构示意图；
图4为本发明实施例中确定曝光开始时间和曝光结束时间的示意图之一；
图5为本发明实施例中确定曝光开始时间和曝光结束时间的示意图之二；
图6为本发明实施例中过滤反射光的示意图；
图7为本发明实施例中图像采集系统的结构示意图之三；
图8为本发明实施例中图像采集系统的结构示意图之四；
图9为本发明实施例中TOF相机发射红外光和接收反射光的示意图；
图10为本发明实施例中图像采集控制方法的流程图；
图11为本发明实施例中确定TOF相机的红外光源发射时间、曝光开始时间和曝光结束时间的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明提供的图像采集控制方法及其装置、图像采集系统和TOF相机可以适用于无人驾驶车辆(包括卡车、公交车、大巴车、小车、拖拉机、洒水车、垃圾车等)、无人机、无人船舶、机器人等，本申请不对本发明技术方案的应用场景作严格限定。
实施例一
参见图1，为本发明实施例中图像采集系统的结构示意图，该系统包括图像采集控制装置1和TOF相机2，其中：
图像采集控制装置1，用于根据预置的目标距离范围确定TOF相机2的红外光源发射时间、曝光开始时间和曝光结束时间；向所述TOF相机2发送携带有所述红外光源发射时间、曝光开始时间和曝光结束时间的参数控制信息；接收所述TOF相机2根据所述参数控制信息采集得到的包含位于所述目标距离范围内的物体的图像。
TOF相机2，用于从图像采集控制装置1接收所述参数控制信息，并根据所述参数控制信息进行图像采集，得到包含所述目标距离范围内的物体的图像。
本发明实施例中，图像采集控制装置1与TOF相机2可以是一对一，也可以是一对多，本申请不作严格限定。
本发明实施例中，图像采集控制装置1向TOF相机2发送参数控制信息的频率大于等于TOF相机2的帧率。假设在一段时间内，图像采集控制装置1第一次向TOF相机2发送的参数控制信息中的红外光源发射时间为一个预置的初始值T1，则第i次向TOF相机2发送的参数控制信息中的红外光源发射时间为Ti，其中Ti＝T1+(i-1)/f，其中f为图像采集控制装置1向TOF相机2发送参数控制信息的频率。
本发明实施例中，目标距离范围是指与TOF相机的距离范围，目标距离范围可以为预先根据应用场景在图像采集控制装置1中设置的固定值；也可以是由图像采集控制装置1从客户端前端接收到的参数值，该参数值由操作人员通过在客户端前端的操作界面输入得到；还可以由图像采集控制装置1根据其他传感器(例如普通摄像机、空气质量传感器、湿度传感器等)反馈的信息确定目标距离范围。本申请对目标距离范围的来源方式不作严格限定。目标距离范围的取值可根据实际需求灵活设置，例如，在大雾天/中度沙尘暴等该目标距离范围可以设置为50米～100米，浓雾天/严重沙尘暴等该目标距离范围可设置为0米～50米，本申请不作严格限定。
优选地，本发明实施例中，图像采集控制装置1的结构可如图2所示，包括：
时间计算单元11，用于根据预置的目标距离范围确定TOF相机的红外光源发射时间、曝光开始时间和曝光结束时间；
控制单元12，用于向所述TOF相机发送携带有所述红外光源发射时间、曝光开始时间和曝光结束时间的参数控制信息；
图像接收单元13，用于接收所述TOF相机根据所述参数控制信息采集得到的包含位于所述目标距离范围内的物体的图像。
本发明实施例中，时间计算单元11的结构可如图3所示，具体包括第一计算子单元11a、第二计算子单元11b和第三计算子单元11c，其中：
第一计算子单元11a，用于根据目标距离范围的下限距离值，估算TOF相机在发射红外光源之后接收到距离为下限距离值的物体反射所述红外光源所需的第一时长。
第二计算子单元11b，用于根据目标距离范围的上限距离值，估算TOF相机在发射红外光源之后接收到距离为上限距离值的物体反射所述红外光源所需的第二时长。
第三计算子单元11c，具体用于根据预置的红外光源发射时间、第一时长和第二时长，确定所述TOF相机的曝光开始时间和曝光结束时间。
假设目标距离范围为[d1,d2]，目标距离范围的下限距离值为d1(单位为米)，目标距离范围的上限距离为d2(单位为米)，第一时长用Δt1表示，第二时长用Δt2表示，则Δt1＝d1/c，Δt2＝d2/c，其中c为光速3×108米/秒。
在一个示例中，第三计算子单元21c具体实现可如下：将红外光源发射时间与第一时长的和值，确定为曝光开始时间；将红外光源发射时间与第二时长的和值，确定为曝光结束时间。如图4所示，假设红外光源发射时间为t0，曝光开始时间用t1表示，曝光结束时间用t2表示，则t1＝t0+2(d1/c)，t2＝t0+2(d2/c)。
优选地，由于TOF相机的CMOS对电荷积累需要一定时间，因此，若距离为上限距离值的物体反射光回到CMOS之后立马停止曝光将可能会使得这部分发射光的电荷积累不够导致欠曝光，因此，本发明实施例中，在距离为上限距离值的物体发射光回到CMOS之后不能立即结束曝光，而是继续延长曝光一段时间(该段时间后续称为曝光延长时长，用Δt表示)，则前述第三计算子单元21c具体实现可如下：将红外光源发射时间与第一时长的和值，确定为曝光开始时间；将红外光源发射时间与第二时长、预置的曝光延长时长的和值，确定为曝光结束时间。如图5所示，假设红外光源发射时间为t0，曝光开始时间用t1表示，曝光延长时长为Δt，曝光结束时间用t2表示，则t1＝t0+2(d1/c)，t2＝t0+2(d2/c)+Δt。本发明实施例中曝光延长时长Δt的取值，可根据实验数据或经验值得到，本申请不做严格限定。
本发明实施例中，红外光源从发射到达距离为d1的物体所用时长为d1/c，物体反射光返回到TOF相机的CMOS表面所用时长为d1/c；红外光源从发射到达距离为d2的物体所用时长为d2/c，物体反射光返回到CMOS表面所用时长为d2/c。TOF相机在CMOS表面接收到距离为d1的物体返回的反射光开始曝光，并在CMOS表面接收到距离为d2的物体返回的反射光之后的一小段时间后停止曝光；因此，CMOS表面在接收到距离低于d1的物体返回的反射光时TOF相机还没有开始曝光，TOF相机的快门处于关闭状态，因此能够过滤距离低于d1的物体返回的反射光；同理，CMOS表面在接收到距离大于d2的物体返回的发射光时TOF相机已经停止曝光，即TOF相机的快门处于关闭状态，因此能够过滤距离大于d2的物体返回的反射光；因此，通过本发明技术方案可以过滤目标距离范围以外的物体返回的反射光，而保留目标距离范围内的物体返回的反射光，从而使得TOF相机得到的图像为包含位于目标距离范围内的物体的图像，而不包含目标距离范围之外的物体。如图6所示。
优选地，本发明实施例中图1和图2所示的TOF相机2的结构可如图7所示，包括数据处理器21、红外光源发射器22和图像传感器23，其中：
数据处理器21，用于接收包含红外光源发射时间、曝光开始时间和曝光结束时间的参数控制信息；根据所述红外光源发射时间配置所述红外光源发射器22的发射时间，以及根据所述曝光开始时间和曝光结束时间配置所述图像传感器23的曝光参数；
红外光源发射器22，用于根据所述红外光源发射时间发射红外光源；
图像传感器23，用于根据所述曝光开始时间和曝光结束时间进行曝光，以生成包含位于所述目标距离范围内的物体的图像数据。
本发明实施例中，数据处理器21可通过DVP接口或MIPI(Mobile IndustryProcessor Interface，移动产业处理器接口)接口向图像采集控制装置1传输图像数据(包括像素点的亮度数据和深度数据)。图像采集控制装置1可通过参数控制通道向数据处理器21传输参数控制信息。如图8所示。
如图9所示，红外光源发射器22发射红外线，红外线遇到物体时，物体返回反射光，图像传感器23表面接收物体返回的反射光。
实施例二
基于前述实施例一相同的发明构思，本发明实施例二提供一种图像采集控制方法，该方法的流程图如图10所示，包括：
步骤101、根据预置的目标距离范围确定TOF相机的红外光源发射时间、曝光开始时间和曝光结束时间；
步骤102、向所述TOF相机发送携带有所述红外光源发射时间、曝光开始时间和曝光结束时间的参数控制信息；
步骤103、接收所述TOF相机根据所述参数控制信息采集得到的包含位于所述目标距离范围内的物体的图像。
优选地，步骤101具体实现可通过图11所示的方法流程实现，具体包括：
步骤101A、根据目标距离范围的下限距离值，估算TOF相机在发射红外光源之后接收到距离为下限距离值的物体反射所述红外光源所需的第一时长；
步骤101B、根据目标距离范围的上限距离值，估算TOF相机在发射红外光源之后接收到距离为上限距离值的物体反射所述红外光源所需的第二时长；
步骤101C、根据预置的红外光源发射时间、第一时长和第二时长，确定所述TOF相机的曝光开始时间和曝光结束时间。
前述步骤101A与步骤101B没有严格的先后执行顺序，可以先执行步骤101A再执行步骤101B，也可以先执行步骤101B再执行步骤101A，也可以同时执行步骤101A和步骤101B。
在一个示例中，步骤101C具体实现可如下：将红外光源发射时间与第一时长的和值，确定为曝光开始时间；将红外光源发射时间与第二时长的和值，确定为曝光结束时间。具体可参见实施例一中相关的内容，在此不在赘述。
在另一个示例中，步骤101C具体实现可如下：将红外光源发射时间与第一时长的和值，确定为曝光开始时间；将红外光源发射时间与第二时长、预置的曝光延长时长的和值，确定为曝光结束时间。具体可参见实施例一中相关的内容，在此不再赘述。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件固件、软件或者他们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用它们的基本编程技能就能实现的。
本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的上述实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括上述实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种图像采集控制方法，其特征在于，包括：
根据预置的目标距离范围确定飞行时间TOF相机的红外光源发射时间、曝光开始时间和曝光结束时间；
向所述TOF相机发送携带有所述红外光源发射时间、曝光开始时间和曝光结束时间的参数控制信息；
接收所述TOF相机根据所述参数控制信息采集得到的包含位于所述目标距离范围内的物体的图像。
2.根据权利要求1所述的方法，其特征在于，根据预置的目标距离范围确定TOF相机的红外光源发射时间、曝光开始时间和曝光结束时间，具体包括：
根据目标距离范围的下限距离值，估算TOF相机在发射红外光源之后接收到距离为下限距离值的物体反射所述红外光源所需的第一时长；
根据目标距离范围的上限距离值，估算TOF相机在发射红外光源之后接收到距离为上限距离值的物体反射所述红外光源所需的第二时长；
根据预置的红外光源发射时间、第一时长和第二时长，确定所述TOF相机的曝光开始时间和曝光结束时间。
3.根据权利要求2所述的方法，其特征在于，根据预置的红外光源发射时间、第一时长和第二时长，确定所述TOF相机的曝光开始时间和曝光结束时间，具体包括：
将红外光源发射时间与第一时长的和值，确定为曝光开始时间；
将红外光源发射时间与第二时长的和值，确定为曝光结束时间。
4.根据权利要求2所述的方法，其特征在于，根据预置的红外光源发射时间、第一时长和第二时长，确定所述TOF相机的曝光开始时间和曝光结束时间，具体包括：
将红外光源发射时间与第一时长的和值，确定为曝光开始时间；
将红外光源发射时间与第二时长、预置的曝光延长时长的和值，确定为曝光结束时间。
5.一种图像采集控制装置，其特征在于，包括：
时间计算单元，用于根据预置的目标距离范围确定飞行时间TOF相机的红外光源发射时间、曝光开始时间和曝光结束时间；
控制单元，用于向所述TOF相机发送携带有所述红外光源发射时间、曝光开始时间和曝光结束时间的参数控制信息；
图像接收单元，用于接收所述TOF相机根据所述参数控制信息采集得到的包含位于所述目标距离范围内的物体的图像。
6.根据权利要求5所述的装置，其特征在于，所述时间计算单元，具体包括：
第一计算子单元，用于根据目标距离范围的下限距离值，估算TOF相机在发射红外光源之后接收到距离为下限距离值的物体反射所述红外光源所需的第一时长；
第二计算子单元，用于根据目标距离范围的上限距离值，估算TOF相机在发射红外光源之后接收到距离为上限距离值的物体反射所述红外光源所需的第二时长；
第三计算子单元，具体用于根据预置的红外光源发射时间、第一时长和第二时长，确定所述TOF相机的曝光开始时间和曝光结束时间。
7.根据权利要求6所述的装置，其特征在于，所述第三计算子单元具体用于：
将红外光源发射时间与第一时长的和值，确定为曝光开始时间；
将红外光源发射时间与第二时长的和值，确定为曝光结束时间。
8.根据权利要求6所述的装置，其特征在于，所述第三计算子单元具体用于：
将红外光源发射时间与第一时长的和值，确定为曝光开始时间；
将红外光源发射时间与第二时长、预置的曝光延长时长的和值，确定为曝光结束时间。
9.一种图像采集系统，其特征在于，包括飞行时间TOF相机和图像采集控制装置，其中：
图像采集控制装置，用于根据预置的目标距离范围确定TOF相机的红外光源发射时间、曝光开始时间和曝光结束时间；向所述TOF相机发送携带有所述红外光源发射时间、曝光开始时间和曝光结束时间的参数控制信息；接收所述TOF相机根据所述参数控制信息采集得到的包含位于所述目标距离范围内的物体的图像；
TOF相机，用于从图像采集控制装置接收所述参数控制信息，并根据所述参数控制信息进行图像采集，得到包含所述目标距离范围内的物体的图像。
10.一种飞行时间TOF相机，其特征在于，包括数据处理器、红外光源发射器和图像传感器，其中：
数据处理器，用于接收包含红外光源发射时间、曝光开始时间和曝光结束时间的参数控制信息；根据所述红外光源发射时间配置所述红外光源发射器的发射时间，以及根据所述曝光开始时间和曝光结束时间配置所述图像传感器的曝光参数；
红外光源发射器，用于根据所述红外光源发射时间发射红外光源；
图像传感器，用于根据所述曝光开始时间和曝光结束时间进行曝光，以生成包含位于目标距离范围内的物体的图像数据。
CN201810066597.8A 2018-01-24 2018-01-24 图像采集控制方法及其装置、图像采集系统和tof相机 Active CN108259744B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810066597.8A CN108259744B (zh) 2018-01-24 2018-01-24 图像采集控制方法及其装置、图像采集系统和tof相机
PCT/CN2018/105471 WO2019144629A1 (zh) 2018-01-24 2018-09-13 图像采集控制方法及其装置、图像采集系统和tof相机
AU2018405051A AU2018405051B2 (en) 2018-01-24 2018-09-13 Image collection control method and device, image collection system and TOF camera
EP18902695.8A EP3745703A4 (en) 2018-01-24 2018-09-13 METHOD AND DEVICE FOR IMAGE ACQUISITION, IMAGE ACQUISITION SYSTEM AND TOF CAMERA
US16/923,660 US20200371243A1 (en) 2018-01-24 2020-07-08 Image capturing control method and apparatus, image capturing system and tof camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810066597.8A CN108259744B (zh) 2018-01-24 2018-01-24 图像采集控制方法及其装置、图像采集系统和tof相机

Publications (2)

Publication Number Publication Date
CN108259744A CN108259744A (zh) 2018-07-06
CN108259744B true CN108259744B (zh) 2020-06-23

Family

ID=62742153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810066597.8A Active CN108259744B (zh) 2018-01-24 2018-01-24 图像采集控制方法及其装置、图像采集系统和tof相机

Country Status (5)

Country Link
US (1) US20200371243A1 (zh)
EP (1) EP3745703A4 (zh)
CN (1) CN108259744B (zh)
AU (1) AU2018405051B2 (zh)
WO (1) WO2019144629A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11280908B2 (en) * 2017-08-15 2022-03-22 Black Sesame Technologies Inc. Obstacle detection by global shutter image sensor
CN108259744B (zh) * 2018-01-24 2020-06-23 北京图森智途科技有限公司 图像采集控制方法及其装置、图像采集系统和tof相机
CN109670421B (zh) * 2018-12-04 2021-04-16 青岛小鸟看看科技有限公司 一种疲劳状态检测方法和装置
CN111726539B (zh) * 2019-03-20 2021-12-31 北京初速度科技有限公司 一种图像时间戳确定方法及装置
CN110988840B (zh) * 2019-11-01 2022-03-18 青岛小鸟看看科技有限公司 飞行时间的获取方法、装置及电子设备
CN111443355B (zh) * 2020-05-22 2022-06-10 炬佑智能科技(苏州)有限公司 一种基于tof模组的测距方法、计算机存储介质
CN114079707B (zh) * 2020-08-13 2024-05-10 深圳中科飞测科技股份有限公司 图像采集方法、设备、计算机可读存储介质及电子设备
CN112040139B (zh) * 2020-09-09 2022-07-29 绍兴埃瓦科技有限公司 一种相机成像的补光方法
CN115524714A (zh) * 2022-09-08 2022-12-27 奥比中光科技集团股份有限公司 iTOF深度测量系统及深度测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102590821A (zh) * 2010-12-21 2012-07-18 微软公司 多阳极飞行时间传感器
CN105723238A (zh) * 2013-10-17 2016-06-29 微软技术许可有限责任公司 概率飞行时间成像
CN106662651A (zh) * 2014-06-11 2017-05-10 软动力学传感器公司 Tof相机系统以及用于测量与该系统的距离的方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781147A (en) * 1997-01-28 1998-07-14 Laser Technology, Inc. Fog piercing ranging apparatus and method
WO2005076037A1 (en) * 2004-02-04 2005-08-18 Elbit Systems Ltd. Gated imaging
JP4280822B2 (ja) * 2004-02-18 2009-06-17 国立大学法人静岡大学 光飛行時間型距離センサ
CN104796613A (zh) * 2011-09-28 2015-07-22 原相科技股份有限公司 影像系统
JP6416085B2 (ja) * 2012-05-29 2018-10-31 ブライトウェイ ビジョン リミテッド 適用可能な被写界深度を使用するゲーテッド撮像
WO2014002415A1 (ja) * 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置
CN105899966B (zh) * 2014-01-14 2019-05-07 松下知识产权经营株式会社 距离图像生成装置以及距离图像生成方法
US9739609B1 (en) * 2014-03-25 2017-08-22 Amazon Technologies, Inc. Time-of-flight sensor with configurable phase delay
US9826214B2 (en) * 2014-09-08 2017-11-21 Microsoft Technology Licensing, Llc. Variable resolution pixel
US10062201B2 (en) * 2015-04-21 2018-08-28 Microsoft Technology Licensing, Llc Time-of-flight simulation of multipath light phenomena
GB201516701D0 (en) * 2015-09-21 2015-11-04 Innovation & Business Dev Solutions Ltd Time of flight distance sensor
US10712446B1 (en) * 2015-09-25 2020-07-14 Apple Inc. Remote sensing for detection and ranging of objects
CN108259744B (zh) * 2018-01-24 2020-06-23 北京图森智途科技有限公司 图像采集控制方法及其装置、图像采集系统和tof相机

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102590821A (zh) * 2010-12-21 2012-07-18 微软公司 多阳极飞行时间传感器
CN105723238A (zh) * 2013-10-17 2016-06-29 微软技术许可有限责任公司 概率飞行时间成像
CN106662651A (zh) * 2014-06-11 2017-05-10 软动力学传感器公司 Tof相机系统以及用于测量与该系统的距离的方法

Also Published As

Publication number Publication date
EP3745703A1 (en) 2020-12-02
WO2019144629A1 (zh) 2019-08-01
AU2018405051B2 (en) 2024-02-15
CN108259744A (zh) 2018-07-06
US20200371243A1 (en) 2020-11-26
AU2018405051A1 (en) 2020-08-13
EP3745703A4 (en) 2021-11-03

Similar Documents

Publication Publication Date Title
CN108259744B (zh) 图像采集控制方法及其装置、图像采集系统和tof相机
CN108270970B (zh) 一种图像采集控制方法及装置、图像采集系统
US11915502B2 (en) Systems and methods for depth map sampling
TWI703064B (zh) 用於在不良照明狀況下定位運輸工具的系統和方法
US9863775B2 (en) Vehicle localization system
US8909375B2 (en) Nodding mechanism for a single-scan sensor
US10929986B2 (en) Techniques for using a simple neural network model and standard camera for image detection in autonomous driving
US11841434B2 (en) Annotation cross-labeling for autonomous control systems
US20210004566A1 (en) Method and apparatus for 3d object bounding for 2d image data
US11718311B2 (en) Data integration from multiple sensors
CN110827358A (zh) 一种应用于自动驾驶汽车的相机标定方法
US11756317B2 (en) Methods and systems for labeling lidar point cloud data
CN108725318A (zh) 汽车安全预警方法、装置及计算机可读存储介质
US20210405651A1 (en) Adaptive sensor control
KR101868549B1 (ko) 어라운드뷰 생성방법과 이를 수행하는 장치
WO2022052508A1 (zh) 一种测距方法、装置、终端设备和汽车
US10832444B2 (en) System and method for estimating device pose in a space
CN110764841A (zh) 3d视觉应用开发平台和开发方法
US11682140B1 (en) Methods and apparatus for calibrating stereo cameras using a time-of-flight sensor
CN112666365A (zh) 测速方法、装置、计算机设备和存储介质
TW202349343A (zh) 一種深度估計方法、裝置、電子設備及存儲介質
CN117360493A (zh) 车辆的泊车方法、装置、及车辆
WO2021232031A2 (en) Detection of hidden object using non-line-of-sight (nlos) imaging
CN114964207A (zh) 一种机器人3d点云地图动态更新方法、装置及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200327

Address after: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant after: BEIJING TUSENZHITU TECHNOLOGY Co.,Ltd.

Address before: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant before: TuSimple

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant