CN113985431A - 一种数据采集方法、系统、装置、电子设备及存储介质 - Google Patents
一种数据采集方法、系统、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113985431A CN113985431A CN202111408655.9A CN202111408655A CN113985431A CN 113985431 A CN113985431 A CN 113985431A CN 202111408655 A CN202111408655 A CN 202111408655A CN 113985431 A CN113985431 A CN 113985431A
- Authority
- CN
- China
- Prior art keywords
- time
- signal
- camera
- synchronized
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请实施例提供了一种数据采集方法、系统、装置、电子设备及存储介质,涉及计算机技术领域,所述方法应用于控制平台,包括:按照第一时间周期向相机发送曝光控制信号,以控制所述相机曝光;按照第二时间周期向激光雷达发送相位控制信号,以控制所述激光雷达的旋转码盘旋转至预设相位角,其中,所述第二时间周期为所述第一时间周期和所述旋转码盘旋转一周所需时长的公倍数,所述预设相位角为:使得所述激光雷达的视场角与所述相机的视场角对齐的相位角,至少所述激光雷达与所述控制平台的时钟同步;获得所述相机采集的图像数据,并获得所述激光雷达采集的点云数据。应用本申请实施例提供的方案能够便于获得同步采集的数据。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种数据采集方法、系统、装置、电子设备及存储介质。
背景技术
在自动驾驶场景中,需要获得多种传感器针对同一场景采集的数据,对上述数据进行融合,基于融合后的数据实现对上述场景的环境感知。
相关技术中,上述传感器一般包括相机和激光雷达,通常需要获得相机采集的图像,并获得激光雷达采集的点云数据,从上述数据中查找采集时间同步的数据,作为针对同一场景同步采集的数据,对上述数据进行融合,得到融合后的数据。
在上述方案中,由于不同传感器之间的时钟和数据采集频率存在差异,从而使得不同传感器针对同一场景采集数据的时间并不同步,这样导致同一采集时间下不同传感器采集数据的场景可能并不相同,进而导致难以获得同步采集的数据。
发明内容
本申请实施例的目的在于提供一种数据采集方法、系统、装置、电子设备及存储介质,以便于获得同步采集的数据。具体技术方案如下:
第一方面,本申请实施例提供了一种数据采集方法,所述方法应用于控制平台,所述方法包括:
按照第一时间周期向相机发送曝光控制信号,以控制所述相机曝光;
按照第二时间周期向激光雷达发送相位控制信号,以控制所述激光雷达的旋转码盘旋转至预设相位角,其中,所述第二时间周期为所述第一时间周期和所述旋转码盘旋转一周所需时长的公倍数,所述预设相位角为:使得所述激光雷达的视场角与所述相机的视场角对齐的相位角,至少所述激光雷达与所述控制平台的时钟同步;
获得所述相机采集的图像数据,并获得所述激光雷达采集的点云数据。
本申请的一个实施例中,所述方法还包括:
确定所获得的图像数据的采集时间,并确定所获得的点云数据的采集时间;
根据所确定的采集时间,选择同步采集时间点采集的图像数据和点云数据进行融合,基于融合后的数据进行环境感知。
本申请的一个实施例中,所述确定所获得的图像数据的采集时间,包括:
确定向所述相机发送曝光控制信号的时间,作为所获得的图像数据的采集时间;或
接收所述相机在曝光完成后发送的图像采集信号,确定接收到所述图像采集信号的时间,作为所获得的图像数据的采集时间。
本申请的一个实施例中,通过以下方式保持所述控制平台与待同步传感器时钟同步,其中,所述待同步传感器包括:所述相机和/或所述激光雷达:
模拟生成GPS信号和秒脉冲信号,其中,所述GPS信号中携带时间信息;
向所述待同步传感器发送所模拟的GPS信号和秒脉冲信号,以控制所述待同步传感器将接收到所述秒脉冲信号的时间设置为目标时间,其中,所述目标时间为:将所述时间信息指示的时间中秒以下时间单位的时间置为0所得到的时间。
本申请的一个实施例中,所述模拟生成GPS信号和秒脉冲信号,包括:
按照预设的同步周期模拟生成GPS信号和秒脉冲信号,其中,所述同步周期的时长小于时差增长时长,所述时差增长时长为:所述待同步传感器在时钟同步后与所述控制平台之间的时差增长到预设的时差阈值所需的时长。
本申请的一个实施例中,所述方法还包括:
获得发送所述秒脉冲信号的发送时间,并获得所述待同步传感器接收到所述秒脉冲信号的接收时间;
计算所述接收时间相对发送时间的时间差,基于所述时间差预测所述待同步传感器在时钟同步后与所述控制平台之间的时差增长到所述时差阈值所需的时长,作为时差增长时长;
确定小于所述时差增长时长的同步周期。
本申请的一个实施例中,所述时差阈值小于或等于100微秒。
本申请的一个实施例中,通过以下方式保持所述控制平台与待同步传感器时钟同步,其中,所述待同步传感器包括:所述相机和/或所述激光雷达:
接收GPS设备发送的GPS信号和秒脉冲信号,其中,所述GPS信号中携带时间信息;
将接收到所述秒脉冲信号的时间设置为目标时间,其中,所述目标时间为:将所述时间信息指示的时间中秒以下时间单位的时间置为0所得到的时间。
本申请的一个实施例中,所述按照第二时间周期向激光雷达发送相位控制信号,以控制所述激光雷达的旋转码盘旋转至预设相位角,包括:
向激光雷达发送携带相位控制信号的秒脉冲信号,以控制所述激光雷达的旋转码盘旋转至预设相位角。
第二方面,本申请实施例提供了一种数据采集系统,所述系统包括控制平台、相机、激光雷达,至少所述激光雷达与所述控制平台的时钟同步,其中:
所述控制平台,用于按照第一时间周期向相机发送曝光控制信号;
所述相机,用于在接收到所述曝光控制信号后进行曝光;
所述控制平台,还用于按照第二时间周期向所述激光雷达发送相位控制信号,其中,所述第二时间周期为所述第一时间周期和所述激光雷达的旋转码盘旋转一周所需时长的公倍数;
所述激光雷达,用于在接收到所述相位控制信号后将所述旋转码盘旋转至预设相位角,其中,所述预设相位角为:使得所述激光雷达的视场角与所述相机的视场角对齐的相位角;
所述控制平台,用于获得所述相机采集的图像数据,并获得所述激光雷达采集的点云数据。
本申请的一个实施例中,在所述数据采集系统中包含多个相机、且所述多个相机的视场角沿所述激光雷达的视场角均匀分布的情况下,所述预设相位角为:使得所述激光雷达的视场角与所述多个相机中任一相机的视场角对齐的相位角。
本申请的一个实施例中,所述第一时间周期为:所述激光雷达的旋转码盘旋转一周所需时长与所述相机的数量的比值;
所述控制平台,用于按照所述第一时间周期依次向各个相机发送曝光控制信号。
第三方面,本申请实施例提供了一种数据采集装置,所述装置设置于控制平台,所述装置包括:
第一信号发送模块,用于按照第一时间周期向相机发送曝光控制信号,以控制所述相机曝光;
第二信号发送模块,用于按照第二时间周期向激光雷达发送相位控制信号,以控制所述激光雷达的旋转码盘旋转至预设相位角,其中,所述第二时间周期为所述第一时间周期和所述旋转码盘旋转一周所需时长的公倍数,所述预设相位角为:使得所述激光雷达的视场角与所述相机的视场角对齐的相位角,至少所述激光雷达与所述控制平台的时钟同步;
图像数据获得模块,用于获得所述相机采集的图像数据;
点云数据获得模块,用于获得所述激光雷达采集的点云数据。
本申请的一个实施例中,所述装置还包括:
图像采集时间确定模块,用于确定所获得的图像数据的采集时间;
点云采集时间确定模块,用于确定所获得的点云数据的采集时间;
环境感知模块,用于根据所确定的采集时间,选择同步采集时间点采集的图像数据和点云数据进行融合,基于融合后的数据进行环境感知。
本申请的一个实施例中,所述图像采集时间确定模块,具体用于:
确定向所述相机发送曝光控制信号的时间,作为所获得的图像数据的采集时间;或
接收所述相机在曝光完成后发送的图像采集信号,确定接收到所述图像采集信号的时间,作为所获得的图像数据的采集时间。
本申请的一个实施例中,所述装置还包括第一时钟同步模块,用于保持所述控制平台与待同步传感器时钟同步,其中,所述待同步传感器包括:所述相机和/或所述激光雷达;
所述第一时钟同步模块包括:
信号生成子模块,用于模拟生成GPS信号和秒脉冲信号,其中,所述GPS信号中携带时间信息;
信号发送子模块,用于向所述待同步传感器发送所模拟的GPS信号和秒脉冲信号,以控制所述待同步传感器将接收到所述秒脉冲信号的时间设置为目标时间,其中,所述目标时间为:将所述时间信息指示的时间中秒以下时间单位的时间置为0所得到的时间。
本申请的一个实施例中,所述信号生成子模块,具体用于:
按照预设的同步周期模拟生成GPS信号和秒脉冲信号,其中,所述同步周期的时长小于时差增长时长,所述时差增长时长为:所述待同步传感器在时钟同步后与所述控制平台之间的时差增长到预设的时差阈值所需的时长。
本申请的一个实施例中,所述装置还包括周期确定模块,用于:
获得发送所述秒脉冲信号的发送时间,并获得所述待同步传感器接收到所述秒脉冲信号的接收时间;
计算所述接收时间相对发送时间的时间差,基于所述时间差预测所述待同步传感器在时钟同步后与所述控制平台之间的时差增长到所述时差阈值所需的时长,作为时差增长时长;
确定小于所述时差增长时长的同步周期。
本申请的一个实施例中,所述时差阈值小于或等于100微秒。
本申请的一个实施例中,所述装置还包括第二时钟同步模块,用于保持所述控制平台与待同步传感器时钟同步,其中,所述待同步传感器包括:所述相机和/或所述激光雷达;
所述第二时钟同步模块,包括:
信号接收子模块,用于接收GPS设备发送的GPS信号和秒脉冲信号,其中,所述GPS信号中携带时间信息;
时间设置子模块,用于将接收到所述秒脉冲信号的时间设置为目标时间,其中,所述目标时间为:将所述时间信息指示的时间中秒以下时间单位的时间置为0所得到的时间。
本申请的一个实施例中,所述第二信号发送模块,具体用于:
向激光雷达发送携带相位控制信号的秒脉冲信号,以控制所述激光雷达的旋转码盘旋转至预设相位角。
第四方面,本申请实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面任一所述的方法步骤。
第五方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第二方面任一所述的方法步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的数据采集方法。
本申请实施例有益效果:
本申请实施例提供的数据采集方案中,控制平台可以按照第一时间周期向相机发送曝光控制信号,以控制相机曝光;按照第二时间周期向激光雷达发送相位控制信号,以控制激光雷达的旋转码盘旋转至预设相位角,其中,第二时间周期为第一时间周期和旋转码盘旋转一周所需时长的公倍数,预设相位角为:使得激光雷达的视场角与相机的视场角对齐的相位角,至少激光雷达与控制平台的时钟同步;获得相机采集的图像数据,并获得激光雷达采集的点云数据。这样在控制平台的控制下,激光雷达至少每间隔第二时间周期旋转码盘旋转至预设相位角,由于预设相位角下激光雷达的视场角与相机的视场角对齐,因此激光雷达与相机能够针对同一场景进行数据采集,由于第二时间周期是第一时间周期的倍数,相机每间隔第一时间周期采集一次图像数据,因此至少每间隔第二时间周期激光雷达能够与相机同步针对同一场景采集一次点云数据,保证所获得的图像数据和点云数据中存在针对同一场景同步采集的数据。由此可见,应用本申请实施例提供的方案能够便于获得同步采集的数据。
除此之外,上述方案中,控制平台通过调整第一时间周期,可以控制相机的曝光频率,在此基础上,控制平台能够控制相机所采集的每一图像数据都能够与激光雷达采集的点云数据保持同步,从而能够提高数据同步采集的效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的一种数据采集方法的流程示意图;
图2为本申请实施例提供的一种预设相位角的示意图;
图3为本申请实施例提供的一种激光雷达相位控制方法的流程示意图;
图4为本申请实施例提供的另一种数据采集方法的流程示意图;
图5为本申请实施例提供的一种时钟同步方法的流程示意图;
图6为本申请实施例提供的一种按照同步周期进行时钟同步的示意图;
图7为本申请实施例提供的以控制平台为时钟源进行时钟同步的示意图;
图8为本申请实施例提供的以GPS设备为时钟源进行时钟同步的示意图;
图9为本申请实施例提供的一种数据采集系统的结构示意图;
图10为本申请实施例提供的一种相机和激光雷达分布的示意图;
图11为本申请实施例提供的另一种相机和激光雷达分布的示意图;
图12为本申请实施例提供的又一种数据采集方法的流程示意图;
图13为本申请实施例提供的一种相机和激光雷达的曝光示意表;
图14为本申请实施例提供的一种信号发送时序的示意图;
图15为本申请实施例提供的一种数据采集装置的结构示意图;
图16为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本申请保护的范围。
为便于获得同步采集的数据,本申请实施例提供了一种数据采集方法、系统、装置、电子设备及存储介质,下面分别进行详细介绍。
本申请实施例提供了一种数据采集方法,该方法应用于控制平台,该方法包括:
按照第一时间周期向相机发送曝光控制信号,以控制相机曝光;
按照第二时间周期向激光雷达发送相位控制信号,以控制激光雷达的旋转码盘旋转至预设相位角,其中,第二时间周期为第一时间周期和旋转码盘旋转一周所需时长的公倍数,预设相位角为:使得激光雷达的视场角与相机的视场角对齐的相位角,至少激光雷达与控制平台的时钟同步;
获得相机采集的图像数据,并获得激光雷达采集的点云数据。
这样在控制平台的控制下,激光雷达至少每间隔第二时间周期旋转码盘旋转至预设相位角,由于预设相位角下激光雷达的视场角与相机的视场角对齐,因此激光雷达与相机能够针对同一场景进行数据采集,由于第二时间周期是第一时间周期的倍数,相机每间隔第一时间周期采集一次图像数据,因此至少每间隔第二时间周期激光雷达能够与相机同步针对同一场景采集一次点云数据,保证所获得的图像数据和点云数据中存在针对同一场景同步采集的数据。由此可见,应用上述实施例提供的方案能够便于获得同步采集的数据。
除此之外,上述方案中,控制平台通过调整第一时间周期,可以控制相机的曝光频率,在此基础上,控制平台能够控制相机所采集的每一图像数据都能够与激光雷达采集的点云数据保持同步,从而能够提高数据同步采集的效果。
下面对上述数据采集方法进行详细介绍。
参见图1,图1为本申请实施例提供的一种数据采集方法的流程示意图,该方法可以应用于控制平台,该控制平台可以是计算机、服务器、车载中央控制器等。上述数据采集方法包括如下步骤S101-S103:
S101,按照第一时间周期向相机发送曝光控制信号,以控制相机曝光。
其中,上述第一时间周期可以是10毫秒、33.33毫秒、50毫秒等。
具体的,控制平台可以与相机通信连接,每间隔第一时间周期向相机发送曝光控制信号,相机接收到上述信号后进行曝光,采集图像。
例如,假设上述第一时间周期为33.33毫秒,则控制平台每间隔33.33毫秒向相机发送曝光控制信号,相机每33.33毫秒进行一次曝光,即按照30HZ的帧率采集图像。
S102,按照第二时间周期向激光雷达发送相位控制信号,以控制激光雷达的旋转码盘旋转至预设相位角。
其中,至少激光雷达与控制平台的时钟同步。也就是说,激光雷达的时钟与控制平台的时钟保持同步;而相机的时钟与控制平台的时钟可以保持同步,也可以不保持同步。原因在于,对于激光雷达而言,其所采集的点云数据的采集时刻由激光雷达自身确定,为便于后续控制平台对同步采集的点云数据和图像数据进行融合,需要保证激光雷达的时钟与控制平台的时钟一致,从而提高所确定的点云数据的采集时刻的准确性;而对于相机而言,其所采集的图像数据的采集时刻可以由相机自身确定,也可以由控制平台确定,例如,控制平台可以根据步骤S101中曝光控制信号的发送时刻确定图像数据的采集时刻,也可以根据相机在曝光完成后发送的中断信号的接收时刻确定图像数据的采集时刻等,这样在图像数据的采集时刻由控制平台确定的情况下,图像数据的采集时刻与相机的时钟可以不相关,因此相机的时钟与控制平台的时钟可以同步,也可以不同步,本申请实施例并不对此进行限定。
第二时间周期为第一时间周期和旋转码盘旋转一周所需时长的公倍数。例如,假设第一时间周期为20毫秒,旋转码盘旋转一周所需时长为100毫秒,则第二时间周期可以为100毫秒、500毫秒、1秒、2秒等。
预设相位角为:使得激光雷达的视场角与相机的视场角对齐的相位角。上述旋转码盘用于控制激光雷达旋转扫描,当激光雷达的旋转码盘旋转至预设相位角时,激光雷达的视场角与相机的视场角对齐。旋转码盘初始的相位角即为该预设相位角。
参见图2,图2为本申请实施例提供的一种预设相位角的示意图,一般而言,激光雷达的视场角为360°,相机的视场角小于360°,图2中V表示相机,图2所示的相机的视场角为120.0°,这种情况下,上述激光雷达的视场角与相机的视场角对齐,指的是:激光雷达的相位角与相机开始曝光时的视场角的起始角度一致。也就是,预设相位角可以理解为:相机开始曝光时视场角的起始角。
具体的,控制平台与激光雷达通信连接,每间隔第二时间周期向激光雷法发送相位控制信号,激光雷达在接收到上述相位控制信号后,可以控制自身的旋转码盘旋转至预设相位角,从而保证激光雷达的视场角与相机的视场角对齐,由于第二时间周期为第一时间周期的倍数,相机每间隔第一时间周期采集一次图像数据,从而每间隔第二时间周期,激光雷达和相机可以保持相同的视场角同步进行数据采集。
参见图3,图3为本申请实施例提供的一种激光雷达相位控制方法的流程示意图,该方法应用于激光雷达,包括如下步骤S301-S303:
S301,接收相位控制信号。
S302,判断当前旋转码盘是否位于预设相位角,若为否,执行步骤S303。
具体的,激光雷达可以判断当前旋转码盘是否与预设相位角对齐,若为是,则说明激光雷达的视场角与相机的视场角处于对齐状态,则可以不对旋转码盘进行调整,保持旋转码盘按照当前的转速旋转,并直接进行点云数据采集,若为否,则说明需要对旋转码盘进行调整,需要执行步骤S303。
S303,调整旋转码盘转速,以使旋转码盘旋转至预设相位角。
具体的,激光雷达在当前旋转码盘未与预设相位角对齐的情况下,可以调整自身旋转码盘旋转的速度,例如,可以降低旋转码盘旋转的速度,或者可以提高旋转码盘旋转的速度,以使得旋转码盘旋转至预设相位角。
本申请的一个实施例中,控制平台在向激光雷达发送相位控制信号时,可以向激光雷达发送携带相位控制信号的秒脉冲信号,以控制激光雷达的旋转码盘旋转至预设相位角。
具体的,控制平台可以每间隔一秒生成一秒脉冲信号,所生成的秒脉冲信号中携带相位控制信号,控制平台可以将上述秒脉冲信号发送至激光雷达,激光雷达接收上述秒脉冲信号,从而获得相位控制信号,进而将旋转码盘旋转至预设相位角。
S103,获得相机采集的图像数据,并获得激光雷达采集的点云数据。
具体的,相机在采集到图像数据后,可以将图像数据发送至控制平台,控制平台从而可以获得图像数据;并且,激光雷达在采集到点云数据后,可以将点云数据发送至控制平台,控制平台从而可以获得点云数据。
这样在控制平台的控制下,激光雷达至少每间隔第二时间周期旋转码盘旋转至预设相位角,由于预设相位角下激光雷达的视场角与相机的视场角对齐,因此激光雷达与相机能够针对同一场景进行数据采集,由于第二时间周期是第一时间周期的倍数,相机每间隔第一时间周期采集一次图像数据,因此至少每间隔第二时间周期激光雷达能够与相机同步针对同一场景采集一次点云数据,保证所获得的图像数据和点云数据中存在针对同一场景同步采集的数据。由此可见,应用上述实施例提供的方案能够便于获得同步采集的数据。
除此之外,上述方案中,控制平台通过调整第一时间周期,可以控制相机的曝光频率,在此基础上,控制平台能够控制相机所采集的每一图像数据都能够与激光雷达采集的点云数据保持同步,从而能够提高数据同步采集的效果。
本申请的一个实施例中,控制平台在获得图像数据和点云数据后,可以利用上述数据实现环境感知,下面进行详细介绍。
参见图4,图4为本申请实施例提供的另一种数据采集方法的流程示意图,该方法还包括如下步骤S104-S105:
S104,确定所获得的图像数据的采集时间,并确定所获得的点云数据的采集时间。
具体的,在获得相机采集的图像数据后,还可以确定相机采集该图像数据的采集时间;并且,在获得激光雷达采集的点云数据后,也可以获得激光雷达采集该点云数据的采集时间。
S105,根据采集时间选择同步采集时间点采集的图像数据和点云数据进行融合,基于融合后的数据进行环境感知。
其中,上述同步采集时间点为:激光雷达和相机针对同一场景同步采集数据的时间点,可以理解为:激光雷达与相机的视场角对齐且同时进行数据采集的时间点。根据第一时间周期和旋转码盘旋转一周所需时长可以确定该同步采集时间点,相邻的同步采集时间点之间的间隔,为第一时间周期和旋转码盘旋转一周所需时长的最小公倍数。
具体的,控制平台可以确定各个图像数据的采集时间,并确定各个点云数据的采集时间,然后基于上述数据的采集时间,确定在同一同步采集时间点采集的图像数据和点云数据,认为上述图像数据和点云数据为激光雷达和相机针对同一场景同步采集的数据,因此可以对上述所确定的图像数据和点云数据进行融合,利用融合后的数据分析上述场景,实现环境感知。
本申请的一个实施例中,在确定所获得的点云数据的采集时间时,可以获得所采集的点云数据的时间戳,作为点云数据的采集时间。具体的,激光雷达在采集点云数据时,可以为点云数据标记时间戳,由于激光雷达与控制平台的时钟同步,因此可以直接将激光雷达为点云数据标记的时间戳作为该点云数据的采集时间。
相对应地,本申请的一个实施例中,在相机与控制平台的时钟同步的情况下,在确定所获得的图像数据的采集时间时,可以获得所采集的图像数据的时间戳,作为图像数据的采集时间。具体的,相机在采集图像数据时,可以为图像数据标记时间戳,由于相机与控制平台的时钟同步,因此可以直接将相机为图像数据标记的时间戳作为该图像数据的采集时间。
本申请的一个实施例中,在确定所获得的图像数据的采集时间时,可以接收相机在曝光完成后发送的图像采集信号,确定接收到图像采集信号的时间,作为所获得的图像数据的采集时间。
具体的,相机在接收到曝光控制信号后进行曝光,采集图像数据,并在曝光完成后,向控制平台发送图像采集信号,该图像采集信号可以是中断信号,控制平台可以确定接收到该图像采集信号的时间,作为相机采集图像数据的采集时间。
除此之外,本申请的一个实施例中,还可以确定向相机发送曝光控制信号的时间,作为所获得的图像数据的采集时间。具体的,控制平台可以通过向相机发送曝光控制信号的方式控制相机进行曝光,鉴于此,可以记录向相机发送曝光控制信号的时间,作为相机开始曝光的时间,进而作为相机所采集的图像数据的采集时间。
这样可以基于控制平台自身的时钟确定图像数据的采集时间,无需保持控制平台与相机之间时钟同步,从而可以节省设备资源。
下面对保持控制平台与其他传感器之间时钟同步的方式进行详细介绍。
一种情况下,可以以控制平台作为同步时钟源对其他传感器进行时钟同步。这样即使在GPS信号较弱的场景中,例如地下车库、乡村、厂房等场景,借助控制平台依然可以实现各个传感器之间的时钟同步。下面首先对该方法进行详细介绍。
参见图5,图5为本申请实施例提供的一种时钟同步方法的流程示意图,该方法应用于控制平台,可以通过以下方式保持控制平台与待同步传感器时钟同步,其中,待同步传感器包括:相机和/或激光雷达,除此之外,待同步传感器还可以包括GPS设备、IMU(Inertial Measurement Unit,惯性测量传感器)等,上述方法包括如下步骤S501-S502:
S501,模拟生成GPS信号和秒脉冲信号。
其中,GPS信号中携带时间信息。
具体的,控制平台可以模拟生成GPS信号以及秒脉冲信号,所生成的GPS信号中携带有自身当前的时间信息。
S502,向待同步传感器发送所模拟的GPS信号和秒脉冲信号,以控制待同步传感器将接收到秒脉冲信号的时间设置为目标时间。
其中,目标时间为:将时间信息指示的时间中秒以下时间单位的时间置为0所得到的时间。
具体的,控制平台可以向待同步传感器发送所模拟的GPS信号和秒脉冲信号,待同步传感器接收上述秒脉冲信号和GPS信号,由于秒脉冲信号每间隔一秒发送一次,也就是说待同步传感器接收到秒脉冲信号的时间为整秒的时间。鉴于此,待同步传感器可以获得GPS信号中携带的时间信息,并将该时间信息所指示的时间中秒以下单位的时间置为0,从而得到目标时间,然后将自身所接收到上述秒脉冲信号的时间设置为该目标时间,从而实现待同步传感器与控制平台的时钟同步。
例如,假设时间信息指示的时间为2020年1月9日14:24:41:310,其中秒以下的时间单位为毫秒,将秒以下时间单位的时间置为0,可得到目标时间2020年1月9日14:24:41,因此待同步传感器可以将自身接收到秒脉冲信号的时刻作为2020年1月9日14:24:41,实现与控制平台的时钟同步。
本申请的一个实施例中,在模拟生成GPS信号和秒脉冲信号,可以按照预设的同步周期模拟生成GPS信号和秒脉冲信号。
其中,同步周期的时长小于时差增长时长,时差增长时长为:待同步传感器在时钟同步后与控制平台之间的时差增长到预设的时差阈值所需的时长。上述时差阈值可以是100毫秒、500毫秒、1秒等,本申请实施例并不对此进行限定。
具体的,在进行一次时钟同步后,控制平台与待同步传感器能够实现时钟同步,但由于待同步传感器与控制平台之间芯片晶振、温度、晶体负载电容的差异的影响,导致待同步传感器与控制平台之间芯片振动的频率存在差异,一段时间后,待同步传感器与控制平台之间时钟的误差将会积累变大。
为了减少上述误差,一方面,待同步传感器与控制平台之间芯片选材时,可以选择精度更高的晶体,如选用有源晶体晶振或相似的晶体等。
另一方面,可以周期性地对待同步传感器与控制平台之间的时钟进行校准,控制平台可以预测待同步传感器在时钟同步后与控制平台之间时钟的时差增长到预设的时差阈值所需的时长,作为时差增长时长,然后确定小于上述时差增长时长的周期作为同步周期,按照该同步周期模拟生成GPS信号和秒脉冲信号,从而可以每间隔同步周期,利用所模拟的GPS信号和秒脉冲信号对待同步传感器进行时钟同步,保证待同步传感器与控制平台的时钟之间的误差不会超过时差阈值。
本申请的一个实施例中,上述时差阈值小于或等于100微秒。通过选择较小的时差阈值,能够保持待同步传感器与控制平台的时钟之间同步的程度较高,进而提高不同的传感器之间同步采集数据的效果。
本申请的一个实施例中,为确定上述同步周期,可以:
获得发送秒脉冲信号的发送时间,并获得待同步传感器接收到秒脉冲信号的接收时间;计算接收时间相对发送时间的时间差,基于时间差预测待同步传感器在时钟同步后与控制平台之间的时差增长到时差阈值所需的时长,作为时差增长时长;确定小于时差增长时长的同步周期。
具体的,控制平台可以记录发送秒脉冲信号的发送时间,并获得待同步传感器接收到上述秒脉冲信号的接收时间,然后计算上述接收时间相对发送时间的时间差,该时间差可以反映待同步传感器与控制平台之间时钟的差异,基于上述时间差,控制平台可以预测待同步传感器在时钟同步后与控制平台之间的时差增长到时差阈值所需的时长,作为时差增长时长,然后确定时长小于该视差增长时长的周期,作为同步周期。
参见图6,图6为本申请实施例提供的一种按照同步周期进行时钟同步的示意图,如图6所示,由于待同步传感器与控制平台之间芯片晶振、温度、晶体负载电容的差异的影响,导致待同步传感器与控制平台之间芯片振动的频率存在差异,在第N次进行时钟同步一段时间后,待同步传感器与控制平台之间时钟的误差将会积累变大,可以每间隔同步周期对待同步传感器进行一次时钟同步,即在第N次时钟同步后间隔上述周期后进行第N+1次时钟同步,在第N+1次时钟同步后间隔上述周期后进行第N+2次时钟同步……,以此类推保证待同步传感器与控制平台之间时钟的误差处于时差阈值之内。
参见图7,图7为本申请实施例提供的以控制平台为时钟源进行时钟同步的示意图。如图7所示,数据采集系统中可以包括相机、激光雷达、控制平台,GPS等,控制平台中包括MCU(Micro Control Unit,微控制单元)模块、SOC(System-on-a-Chip,主控集成模块)模块、时间模块等,激光雷达采集的点云数据、相机采集的图像数据、GPS采集的GPS数据可以发送至SOC模块,SOC模块可以对上述数据进行处理,时间模块可以获得GPS的时间信息,并获得SOC模块的时间信息,基于上述时间信息判断是否需要进行时钟同步,若SOC模块发送的时间信息反映控制平台、激光雷达或相机之间的时钟不同步,或GPS所发送的时间信息不可靠,如处于地下车库、隧道等GPS信号较弱的场景导致的GPS信号延迟等原因使得GPS的时间信息不可靠,这种情况下,MCU模块可以模拟生成GPS信号和秒脉冲信号,将上述信号发送给激光雷达和相机,从而以控制平台为时钟源对上述待同步传感器进行时钟同步。
另一种情况下,可以以GPS设备作为同步时钟源对其他传感器进行时钟同步。这样基于GPS原子钟特性,能够使得控制平台与各个待同步传感器之间的时钟同步的精度更高。下面首先对该方法进行详细介绍。
本申请的一个实施例中,控制平台和待同步传感器可以接收GPS设备发送的GPS信号和秒脉冲信号,将接收到秒脉冲信号的时间设置为目标时间。
其中,GPS信号中携带时间信息;
目标时间为:将时间信息指示的时间中秒以下时间单位的时间置为0所得到的时间。
具体的,控制平台和待同步传感器均可与GPS设备通信连接,GPS设备可以向控制平台和待同步传感器发送GPS信号和秒脉冲信号,控制平台和待同步传感器可以获得GPS信号中携带的时间信息,并将该时间信息所指示的时间中秒以下单位的时间置为0,从而得到目标时间,然后将自身所接收到上述秒脉冲信号的时间设置为该目标时间,从而实现待同步传感器、控制平台的时钟与GPS设备的时钟同步,借助GPS设备实现控制平台和待同步传感器的时钟同步。
参见图8,图8为本申请实施例提供的以GPS设备为时钟源进行时钟同步的示意图。如图8所示,数据采集系统中可以包括相机、激光雷达、控制平台,GPS等,控制平台中包括MCU模块、SOC模块、时间模块等,激光雷达采集的点云数据、相机采集的图像数据、GPS采集的GPS数据可以发送至SOC模块,SOC模块可以对上述数据进行处理,时间模块可以对MCU模块、SOC模块的时钟进行管理。上述GPS设备可以生成GPS信号和PPS(Pulse Per Second,秒脉冲)信号,将所生成的信号分别发送至激光雷达、时间模块、相机,激光雷达、时间模块、相机可以获得GPS信号中携带的时间信息,并将该时间信息所指示的时间中秒以下单位的时间置为0,从而得到目标时间,然后将自身所接收到上述秒脉冲信号的时间设置为该目标时间,从而实现激光雷达、时间模块、相机的时钟与GPS设备的时钟同步。
上述实施例提供的数据采集方案中,控制平台可以按照第一时间周期向相机发送曝光控制信号,以控制相机曝光;按照第二时间周期向激光雷达发送相位控制信号,以控制激光雷达的旋转码盘旋转至预设相位角,其中,第二时间周期为第一时间周期和旋转码盘旋转一周所需时长的公倍数,预设相位角为:使得激光雷达的视场角与相机的视场角对齐的相位角,至少激光雷达与控制平台的时钟同步;获得相机采集的图像数据,并获得激光雷达采集的点云数据。这样在控制平台的控制下,激光雷达至少每间隔第二时间周期旋转码盘旋转至预设相位角,由于预设相位角下激光雷达的视场角与相机的视场角对齐,因此激光雷达与相机能够针对同一场景进行数据采集,由于第二时间周期是第一时间周期的倍数,相机每间隔第一时间周期采集一次图像数据,因此至少每间隔第二时间周期激光雷达能够与相机同步针对同一场景采集一次点云数据,保证所获得的图像数据和点云数据中存在针对同一场景同步采集的数据。由此可见,应用上述实施例提供的方案能够便于获得同步采集的数据。
与上述数据采集方法相对应地,本申请实施例还提供了一种数据采集系统,下面进行详细介绍。
参见图9,图9为本申请实施例提供的一种数据采集系统的结构示意图,该系统可以为车载导航系统、移动机器人控制系统、无人机控制系统等,系统包括控制平台901、相机902、激光雷达903,激光雷达903与控制平台901的时钟同步,其中:
控制平台901,用于按照第一时间周期向相机902发送曝光控制信号;
相机902,用于在接收到曝光控制信号后进行曝光;
控制平台901,还用于按照第二时间周期向激光雷达903发送相位控制信号,其中,第二时间周期为第一时间周期和激光雷达903的旋转码盘旋转一周所需时长的公倍数;
激光雷达903,用于在接收到相位控制信号后将旋转码盘旋转至预设相位角,其中,预设相位角为:使得激光雷达903的视场角与相机902的视场角对齐的相位角;
控制平台901,用于获得相机902采集的图像数据,并获得激光雷达903采集的点云数据。
具体的,该数据采集系统中的控制平台可以执行上述数据采集方法中的任一方法步骤,以实现控制相机、激光雷达进行同步数据采集。
本申请的一个实施例中,在数据采集系统中包含多个相机、且多个相机的视场角沿激光雷达的视场角均匀分布的情况下,预设相位角为:使得激光雷达的视场角与多个相机中任一相机的视场角对齐的相位角。
具体的,数据采集系统中可以包括多个相机,上述多个相机可以环绕激光雷达均匀分布,从而多个相机的视场角环绕激光雷达的视场角均匀分布,这种情况下,上述预设相位角可以为:使得激光雷达的视场角与任一相机的视场角对齐的相位角,也就是,激光雷达的预设相位角与任一相机的视场角中开始曝光的起始角对齐。
参见图10,图10为本申请实施例提供的一种相机和激光雷达分布的示意图,数据采集系统中可以包括3个相机V和一个激光雷达,每一相机V的视场角为120.0°,激光雷达的视场角为360°,3个相机V的视场角沿激光雷达的视场角均匀分布。
参见图11,图11为本申请实施例提供的另一种相机和激光雷达分布的示意图,数据采集系统中可以包括4个相机V和一个激光雷达,每一相机V的视场角为120.0°,激光雷达的视场角为360°,4个相机V的视场角沿激光雷达的视场角均匀分布。
本申请的一个实施例中,上述第一时间周期可以为:激光雷达的旋转码盘旋转一周所需时长与相机的数量的比值;
控制平台,用于按照第一时间周期依次向各个相机发送曝光控制信号。
具体的,在数据采集系统中包含多个相机、且多个相机的视场角沿激光雷达的视场角均匀分布的情况下,可以将激光雷达的旋转码盘旋转一周所需时长与相机的数量的比值,作为第一时间周期,这样通过曝光控制,可以使得每一相机所采集的图像数据均与激光雷达所采集的点云数据同步,提高数据同步采集的效果。
参见图12,图12为本申请实施例提供的又一种数据采集方法的流程示意图,该方法包括如下步骤S1201-S1203:
S1201,按照30Hz的频率分别向3个相机发送曝光控制信号,以控制3个相机曝光。
具体的,控制平台可以按照30Hz的频率向3个相机发送曝光控制信号,每一相机可以按照30Hz的帧率进行图像采集。
S1202,按照1秒为周期向激光雷达发送相位控制信号,以控制激光雷达的旋转码盘旋转至预设相位角。
其中,预设相位角为:使得激光雷达的视场角与3个相机中任一相机的视场角对齐的相位角。激光雷达的旋转码盘初始的相位角即为上述预设相位角。
S1203,获得相机采集的图像数据,并获得激光雷达采集的点云数据。
参见图13,图13为本申请实施例提供的一种相机和激光雷达的曝光示意表,其中黑色实线表示相机曝光曲线,加粗黑色虚线表示激光雷达旋转曲线,t0为初始时刻,即相机1曝光的开始时刻、以及激光雷达的旋转码盘处于预设相位角的时刻,t0’为相机1结束曝光的结束时刻,t1为相机2的曝光的开始时刻,t1’为相机2结束曝光的结束时刻,t1与t0间隔为33.33ms;t2为相机3开始曝光的开始时刻,t2’为相机3结束曝光的结束时刻,t2与t1间隔为33.33ms;t0-t0’期间相机1曝光、且激光雷达旋转至120°,t1-t1’期间相机2曝光、且激光雷达旋转至240°,t2-t2’期间相机3曝光、且激光雷达旋转至360°。
上述方案中,由于激光雷达线束点云曝光时间非常短,在t0,t1,t2,t3时刻相机与激光雷达同时开始曝光,若此时使用CCD(Charge-coupledDevice,电行耦合元件)相机进行全局曝光,并调节曝光帧率与激光雷达旋转帧率一致,则相机曝光曲线可与激光雷达旋转曲线平行重合;若使用CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)相机,则由于相机曝光速率与激光雷达采集点云数据的速率不一致,因此相机曝光曲线与激光雷达旋转曲线存在一定的夹角。
参见图14,图14为本申请实施例提供的一种信号发送时序的示意图,如图14所示,控制平台以33.33毫秒为循环周期,分别循环向相机1、相机2、相机3发送曝光控制信号,控制相机1、相机2、相机3以30Hz的帧率采集图像,并且控制平台以1000毫秒为循环周期,循环向激光雷达发送相位控制信号,以控制激光雷达的旋转码盘旋转至与上述3个相机中任一相机的视场角对齐。其中,每1秒整点,控制平台发送曝光控制信号和相位控制信号的视差远小于1微秒,可以认为控制平台每间隔1秒控制相机和激光雷达同步采集数据。
上述实施例提供的数据采集方案中,控制平台可以按照第一时间周期向相机发送曝光控制信号,以控制相机曝光;按照第二时间周期向激光雷达发送相位控制信号,以控制激光雷达的旋转码盘旋转至预设相位角,其中,第二时间周期为第一时间周期和旋转码盘旋转一周所需时长的公倍数,预设相位角为:使得激光雷达的视场角与相机的视场角对齐的相位角,至少激光雷达与控制平台的时钟同步;获得相机采集的图像数据,并获得激光雷达采集的点云数据。这样在控制平台的控制下,激光雷达至少每间隔第二时间周期旋转码盘旋转至预设相位角,由于预设相位角下激光雷达的视场角与相机的视场角对齐,因此激光雷达与相机能够针对同一场景进行数据采集,由于第二时间周期是第一时间周期的倍数,相机每间隔第一时间周期采集一次图像数据,因此至少每间隔第二时间周期激光雷达能够与相机同步针对同一场景采集一次点云数据,保证所获得的图像数据和点云数据中存在针对同一场景同步采集的数据。由此可见,应用上述实施例提供的方案能够便于获得同步采集的数据。
与上述数据采集方法相对应地,本申请实施例还提供了一种数据采集装置,下面分别进行详细介绍。
参见图15,图15为本申请实施例提供的一种数据采集装置的结构示意图,所述装置设置于控制平台,所述装置包括:
第一信号发送模块1501,用于按照第一时间周期向相机发送曝光控制信号,以控制所述相机曝光;
第二信号发送模块1502,用于按照第二时间周期向激光雷达发送相位控制信号,以控制所述激光雷达的旋转码盘旋转至预设相位角,其中,所述第二时间周期为所述第一时间周期和所述旋转码盘旋转一周所需时长的公倍数,所述预设相位角为:使得所述激光雷达的视场角与所述相机的视场角对齐的相位角,至少所述激光雷达与所述控制平台的时钟同步;
图像数据获得模块1503,用于获得所述相机采集的图像数据;
点云数据获得模块1504,用于获得所述激光雷达采集的点云数据。
本申请的一个实施例中,所述装置还包括:
图像采集时间确定模块,用于确定所获得的图像数据的采集时间;
点云采集时间确定模块,用于确定所获得的点云数据的采集时间;
环境感知模块,用于根据所确定的采集时间,选择同步采集时间点采集的图像数据和点云数据进行融合,基于融合后的数据进行环境感知。
本申请的一个实施例中,所述图像采集时间确定模块,具体用于:
确定向所述相机发送曝光控制信号的时间,作为所获得的图像数据的采集时间;或
接收所述相机在曝光完成后发送的图像采集信号,确定接收到所述图像采集信号的时间,作为所获得的图像数据的采集时间。
本申请的一个实施例中,所述装置还包括第一时钟同步模块,用于保持所述控制平台与待同步传感器时钟同步,其中,所述待同步传感器包括:所述相机和/或所述激光雷达;
所述第一时钟同步模块包括:
信号生成子模块,用于模拟生成GPS信号和秒脉冲信号,其中,所述GPS信号中携带时间信息;
信号发送子模块,用于向所述待同步传感器发送所模拟的GPS信号和秒脉冲信号,以控制所述待同步传感器将接收到所述秒脉冲信号的时间设置为目标时间,其中,所述目标时间为:将所述时间信息指示的时间中秒以下时间单位的时间置为0所得到的时间。
本申请的一个实施例中,所述信号生成子模块,具体用于:
按照预设的同步周期模拟生成GPS信号和秒脉冲信号,其中,所述同步周期的时长小于时差增长时长,所述时差增长时长为:所述待同步传感器在时钟同步后与所述控制平台之间的时差增长到预设的时差阈值所需的时长。
本申请的一个实施例中,所述装置还包括周期确定模块,用于:
获得发送所述秒脉冲信号的发送时间,并获得所述待同步传感器接收到所述秒脉冲信号的接收时间;
计算所述接收时间相对发送时间的时间差,基于所述时间差预测所述待同步传感器在时钟同步后与所述控制平台之间的时差增长到所述时差阈值所需的时长,作为时差增长时长;
确定小于所述时差增长时长的同步周期。
本申请的一个实施例中,所述时差阈值小于或等于100微秒。
本申请的一个实施例中,所述装置还包括第二时钟同步模块,用于保持所述控制平台与待同步传感器时钟同步,其中,所述待同步传感器包括:所述相机和/或所述激光雷达;
所述第二时钟同步模块,包括:
信号接收子模块,用于接收GPS设备发送的GPS信号和秒脉冲信号,其中,所述GPS信号中携带时间信息;
时间设置子模块,用于将接收到所述秒脉冲信号的时间设置为目标时间,其中,所述目标时间为:将所述时间信息指示的时间中秒以下时间单位的时间置为0所得到的时间。
本申请的一个实施例中,所述第二信号发送模块1502,具体用于:
向激光雷达发送携带相位控制信号的秒脉冲信号,以控制所述激光雷达的旋转码盘旋转至预设相位角。
上述实施例提供的数据采集方案中,控制平台可以按照第一时间周期向相机发送曝光控制信号,以控制相机曝光;按照第二时间周期向激光雷达发送相位控制信号,以控制激光雷达的旋转码盘旋转至预设相位角,其中,第二时间周期为第一时间周期和旋转码盘旋转一周所需时长的公倍数,预设相位角为:使得激光雷达的视场角与相机的视场角对齐的相位角,至少激光雷达与控制平台的时钟同步;获得相机采集的图像数据,并获得激光雷达采集的点云数据。这样在控制平台的控制下,激光雷达至少每间隔第二时间周期旋转码盘旋转至预设相位角,由于预设相位角下激光雷达的视场角与相机的视场角对齐,因此激光雷达与相机能够针对同一场景进行数据采集,由于第二时间周期是第一时间周期的倍数,相机每间隔第一时间周期采集一次图像数据,因此至少每间隔第二时间周期激光雷达能够与相机同步针对同一场景采集一次点云数据,保证所获得的图像数据和点云数据中存在针对同一场景同步采集的数据。由此可见,应用上述实施例提供的方案能够便于获得同步采集的数据。
本申请实施例还提供了一种电子设备,如图16所示,包括处理器1601、通信接口1602、存储器1603和通信总线1604,其中,处理器1601,通信接口1602,存储器1603通过通信总线1604完成相互间的通信,
存储器1603,用于存放计算机程序;
处理器1601,用于执行存储器1603上所存放的程序时,实现上述数据采集方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一数据采集方法的步骤。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一数据采集方法。
上述实施例提供的数据采集方案中,控制平台可以按照第一时间周期向相机发送曝光控制信号,以控制相机曝光;按照第二时间周期向激光雷达发送相位控制信号,以控制激光雷达的旋转码盘旋转至预设相位角,其中,第二时间周期为第一时间周期和旋转码盘旋转一周所需时长的公倍数,预设相位角为:使得激光雷达的视场角与相机的视场角对齐的相位角,至少激光雷达与控制平台的时钟同步;获得相机采集的图像数据,并获得激光雷达采集的点云数据。这样在控制平台的控制下,激光雷达至少每间隔第二时间周期旋转码盘旋转至预设相位角,由于预设相位角下激光雷达的视场角与相机的视场角对齐,因此激光雷达与相机能够针对同一场景进行数据采集,由于第二时间周期是第一时间周期的倍数,相机每间隔第一时间周期采集一次图像数据,因此至少每间隔第二时间周期激光雷达能够与相机同步针对同一场景采集一次点云数据,保证所获得的图像数据和点云数据中存在针对同一场景同步采集的数据。由此可见,应用上述实施例提供的方案能够便于获得同步采集的数据。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例、装置实施例、电子设备实施例、计算机可读存储介质实施例、计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (16)
1.一种数据采集方法,其特征在于,所述方法应用于控制平台,所述方法包括:
按照第一时间周期向相机发送曝光控制信号,以控制所述相机曝光;
按照第二时间周期向激光雷达发送相位控制信号,以控制所述激光雷达的旋转码盘旋转至预设相位角,其中,所述第二时间周期为所述第一时间周期和所述旋转码盘旋转一周所需时长的公倍数,所述预设相位角为:使得所述激光雷达的视场角与所述相机的视场角对齐的相位角,至少所述激光雷达与所述控制平台的时钟同步;
获得所述相机采集的图像数据,并获得所述激光雷达采集的点云数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所获得的图像数据的采集时间,并确定所获得的点云数据的采集时间;
根据所确定的采集时间,选择同步采集时间点采集的图像数据和点云数据进行融合,基于融合后的数据进行环境感知。
3.根据权利要求2所述的方法,其特征在于,所述确定所获得的图像数据的采集时间,包括:
确定向所述相机发送曝光控制信号的时间,作为所获得的图像数据的采集时间;或
接收所述相机在曝光完成后发送的图像采集信号,确定接收到所述图像采集信号的时间,作为所获得的图像数据的采集时间。
4.根据权利要求1所述的方法,其特征在于,通过以下方式保持所述控制平台与待同步传感器时钟同步,其中,所述待同步传感器包括:所述相机和/或所述激光雷达:
模拟生成GPS信号和秒脉冲信号,其中,所述GPS信号中携带时间信息;
向所述待同步传感器发送所模拟的GPS信号和秒脉冲信号,以控制所述待同步传感器将接收到所述秒脉冲信号的时间设置为目标时间,其中,所述目标时间为:将所述时间信息指示的时间中秒以下时间单位的时间置为0所得到的时间。
5.根据权利要求4所述的方法,其特征在于,所述模拟生成GPS信号和秒脉冲信号,包括:
按照预设的同步周期模拟生成GPS信号和秒脉冲信号,其中,所述同步周期的时长小于时差增长时长,所述时差增长时长为:所述待同步传感器在时钟同步后与所述控制平台之间的时差增长到预设的时差阈值所需的时长。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
获得发送所述秒脉冲信号的发送时间,并获得所述待同步传感器接收到所述秒脉冲信号的接收时间;
计算所述接收时间相对发送时间的时间差,基于所述时间差预测所述待同步传感器在时钟同步后与所述控制平台之间的时差增长到所述时差阈值所需的时长,作为时差增长时长;
确定小于所述时差增长时长的同步周期。
7.根据权利要求5所述的方法,其特征在于,所述时差阈值小于或等于100微秒。
8.根据权利要求1所述的方法,其特征在于,通过以下方式保持所述控制平台与待同步传感器时钟同步,其中,所述待同步传感器包括:所述相机和/或所述激光雷达:
接收GPS设备发送的GPS信号和秒脉冲信号,其中,所述GPS信号中携带时间信息;
将接收到所述秒脉冲信号的时间设置为目标时间,其中,所述目标时间为:将所述时间信息指示的时间中秒以下时间单位的时间置为0所得到的时间。
9.根据权利要求1-8中任一项所述的方法,其特征在于,所述按照第二时间周期向激光雷达发送相位控制信号,以控制所述激光雷达的旋转码盘旋转至预设相位角,包括:
向激光雷达发送携带相位控制信号的秒脉冲信号,以控制所述激光雷达的旋转码盘旋转至预设相位角。
10.一种数据采集系统,其特征在于,所述系统包括控制平台、相机、激光雷达,至少所述激光雷达与所述控制平台的时钟同步,其中:
所述控制平台,用于按照第一时间周期向相机发送曝光控制信号;
所述相机,用于在接收到所述曝光控制信号后进行曝光;
所述控制平台,还用于按照第二时间周期向所述激光雷达发送相位控制信号,其中,所述第二时间周期为所述第一时间周期和所述激光雷达的旋转码盘旋转一周所需时长的公倍数;
所述激光雷达,用于在接收到所述相位控制信号后将所述旋转码盘旋转至预设相位角,其中,所述预设相位角为:使得所述激光雷达的视场角与所述相机的视场角对齐的相位角;
所述控制平台,用于获得所述相机采集的图像数据,并获得所述激光雷达采集的点云数据。
11.根据权利要求10所述的系统,其特征在于,在所述数据采集系统中包含多个相机、且所述多个相机的视场角沿所述激光雷达的视场角均匀分布的情况下,所述预设相位角为:使得所述激光雷达的视场角与所述多个相机中任一相机的视场角对齐的相位角。
12.根据权利要求11所述的系统,其特征在于,所述第一时间周期为:所述激光雷达的旋转码盘旋转一周所需时长与所述相机的数量的比值;
所述控制平台,用于按照所述第一时间周期依次向各个相机发送曝光控制信号。
13.一种数据采集装置,其特征在于,所述装置设置于控制平台,所述装置包括:
第一信号发送模块,用于按照第一时间周期向相机发送曝光控制信号,以控制所述相机曝光;
第二信号发送模块,用于按照第二时间周期向激光雷达发送相位控制信号,以控制所述激光雷达的旋转码盘旋转至预设相位角,其中,所述第二时间周期为所述第一时间周期和所述旋转码盘旋转一周所需时长的公倍数,所述预设相位角为:使得所述激光雷达的视场角与所述相机的视场角对齐的相位角,至少所述激光雷达与所述控制平台的时钟同步;
图像数据获得模块,用于获得所述相机采集的图像数据;
点云数据获得模块,用于获得所述激光雷达采集的点云数据。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
图像采集时间确定模块,用于确定所获得的图像数据的采集时间;
点云采集时间确定模块,用于确定所获得的点云数据的采集时间;
环境感知模块,用于根据所确定的采集时间,选择同步采集时间点采集的图像数据和点云数据进行融合,基于融合后的数据进行环境感知;
所述图像采集时间确定模块,具体用于:
确定向所述相机发送曝光控制信号的时间,作为所获得的图像数据的采集时间;或
接收所述相机在曝光完成后发送的图像采集信号,确定接收到所述图像采集信号的时间,作为所获得的图像数据的采集时间;
所述装置还包括第一时钟同步模块,用于保持所述控制平台与待同步传感器时钟同步,其中,所述待同步传感器包括:所述相机和/或所述激光雷达;
所述第一时钟同步模块包括:
信号生成子模块,用于模拟生成GPS信号和秒脉冲信号,其中,所述GPS信号中携带时间信息;
信号发送子模块,用于向所述待同步传感器发送所模拟的GPS信号和秒脉冲信号,以控制所述待同步传感器将接收到所述秒脉冲信号的时间设置为目标时间,其中,所述目标时间为:将所述时间信息指示的时间中秒以下时间单位的时间置为0所得到的时间;
所述信号生成子模块,具体用于:
按照预设的同步周期模拟生成GPS信号和秒脉冲信号,其中,所述同步周期的时长小于时差增长时长,所述时差增长时长为:所述待同步传感器在时钟同步后与所述控制平台之间的时差增长到预设的时差阈值所需的时长;
所述装置还包括周期确定模块,用于:
获得发送所述秒脉冲信号的发送时间,并获得所述待同步传感器接收到所述秒脉冲信号的接收时间;
计算所述接收时间相对发送时间的时间差,基于所述时间差预测所述待同步传感器在时钟同步后与所述控制平台之间的时差增长到所述时差阈值所需的时长,作为时差增长时长;
确定小于所述时差增长时长的同步周期;
所述时差阈值小于或等于100微秒;
所述装置还包括第二时钟同步模块,用于保持所述控制平台与待同步传感器时钟同步,其中,所述待同步传感器包括:所述相机和/或所述激光雷达;
所述第二时钟同步模块,包括:
信号接收子模块,用于接收GPS设备发送的GPS信号和秒脉冲信号,其中,所述GPS信号中携带时间信息;
时间设置子模块,用于将接收到所述秒脉冲信号的时间设置为目标时间,其中,所述目标时间为:将所述时间信息指示的时间中秒以下时间单位的时间置为0所得到的时间;
所述第二信号发送模块,具体用于:
向激光雷达发送携带相位控制信号的秒脉冲信号,以控制所述激光雷达的旋转码盘旋转至预设相位角。
15.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-9任一所述的方法步骤。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111408655.9A CN113985431A (zh) | 2021-11-24 | 2021-11-24 | 一种数据采集方法、系统、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111408655.9A CN113985431A (zh) | 2021-11-24 | 2021-11-24 | 一种数据采集方法、系统、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113985431A true CN113985431A (zh) | 2022-01-28 |
Family
ID=79750440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111408655.9A Pending CN113985431A (zh) | 2021-11-24 | 2021-11-24 | 一种数据采集方法、系统、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113985431A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024011408A1 (zh) * | 2022-07-12 | 2024-01-18 | 阿波罗智能技术(北京)有限公司 | 同步采集数据的方法和同步确定方法、装置、自动驾驶车 |
-
2021
- 2021-11-24 CN CN202111408655.9A patent/CN113985431A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024011408A1 (zh) * | 2022-07-12 | 2024-01-18 | 阿波罗智能技术(北京)有限公司 | 同步采集数据的方法和同步确定方法、装置、自动驾驶车 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111381487B (zh) | 多传感器同步授时系统、方法、装置及电子设备 | |
CN108900272B (zh) | 传感器数据采集方法、系统和丢包判断方法 | |
US10788841B2 (en) | Hardware centralized time synchronization hub for an autonomous driving vehicle | |
US10816995B2 (en) | GPS based high precision timestamp generation circuit for an autonomous driving vehicle | |
CN109587405B (zh) | 时间同步方法和装置 | |
EP3613648B1 (en) | A time source recovery system for an autonomous driving vehicle | |
US11029165B2 (en) | Sensor integration and synchronization unit for an autonomous driving vehicle | |
CN112383675B (zh) | 一种时间同步方法、装置及终端设备 | |
US10969783B2 (en) | Time source ranking system for an autonomous driving vehicle | |
CN113496545B (zh) | 数据处理系统、方法、传感器、移动采集背包及设备 | |
CN110567453A (zh) | 仿生眼多通道imu与相机硬件时间同步方法和装置 | |
CN111860604B (zh) | 数据融合方法、系统及计算机存储介质 | |
WO2023093054A1 (zh) | 一种数据处理的方法、装置、系统、设备及存储介质 | |
CN110620632A (zh) | 一种时间同步方法及装置 | |
CN104748730A (zh) | 测定无人机中航测相机曝光时刻的装置及方法 | |
WO2020113358A1 (en) | Systems and methods for synchronizing vehicle sensors and devices | |
CN111556226A (zh) | 一种相机系统 | |
CN112067004B (zh) | 自动驾驶系统的时域同步方法和装置 | |
CN113985431A (zh) | 一种数据采集方法、系统、装置、电子设备及存储介质 | |
CN110099236B (zh) | 视频数据存储方法、请求方法及存储装置、请求装置 | |
KR101583136B1 (ko) | 차량용 블랙박스 또는 차량용 전자기기의 시각 동기화 방법 및 장치 | |
CN112995524A (zh) | 高精采集车及其照片曝光信息生成系统、方法和同步装置 | |
CN114415489B (zh) | 一种车载传感器时间同步方法、装置、设备和介质 | |
CN116015523A (zh) | 一种时间同步的方法、装置及电子设备 | |
CN115454040A (zh) | 多传感器的同步控制方法、设备、无人驾驶系统和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |