CN110753167A - 时间同步方法、装置、终端设备及存储介质 - Google Patents
时间同步方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN110753167A CN110753167A CN201911110070.1A CN201911110070A CN110753167A CN 110753167 A CN110753167 A CN 110753167A CN 201911110070 A CN201911110070 A CN 201911110070A CN 110753167 A CN110753167 A CN 110753167A
- Authority
- CN
- China
- Prior art keywords
- time
- radar
- camera
- calibration image
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种时间同步方法、装置、终端设备及存储介质，属于传感器技术领域。本发明先获取成像装置的待同步摄像头在预设触发时间所采集的标定图像，然后根据所述标定图像中的标定对象确定雷达的旋转时长，接着确定所述预设触发时间和旋转时长之间的时间差，最后根据所述时间差对所述成像装置全景相机中待同步摄像头的原始预设触发时间进行标定，由于所述预设触发时间和旋转时长之间的时间差即可反映所述待同步摄像头和雷达之间的时间误差，根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，从而排除曝光时间等干扰所产生的影响，能够实现所述成像装置中待同步摄像头和雷达的时间同步。
Description
技术领域
本发明涉及传感器技术领域，尤其涉及一种时间同步方法、装置、终端设备及存储介质。
背景技术
对于无人驾驶而言，成像装置(例如：全景相机)和激光雷达是其最重要的两个传感器，车辆通过这两个传感器可获得周围的环境信息，并由此来决定自己的行驶策略。
由于全景相机能够获取360度的照片，故而在无人驾驶中应用较为广泛，全景相机通常是采用多个摄像头采集不同角度的照片，然后将采集的照片进行拼接，从而生成全景照片，故而，全景相机中摄像头的触发时间就尤为重要。
为了保证摄像头与激光雷达能够进行时间同步(即检测同时检测到相同的场景)，从而提高后续处理精度，一般需要为全景相机和激光雷达设置相同的扫描方程，也就是说，可根据激光雷达的旋转速度来设置全景相机中摄像头的触发时间，但通常设置全景相机中摄像头的触发时间是理论值，而摄像头会存在曝光时间，并且还会有其他的干扰因素，使得摄像头和激光雷达的时间并不完全同步，导致后续处理精度无法得到保证。
发明内容
本发明的主要目的在于提供一种时间同步方法、装置、终端设备及存储介质，旨在解决摄像头和雷达由于各种干扰造成的时间不同步，导致后续处理精度无法得到保证的技术问题。
为实现上述目的，本发明提供一种时间同步方法，所述时间同步方法包括以下步骤：
获取成像装置的待同步摄像头在预设触发时间所采集的标定图像，所述标定图像中具有能够反映雷达的旋转时长的标定对象，所述旋转时长为所述雷达从预设角度旋转至当前时刻所朝向角度的时间长度；
根据所述标定图像中的标定对象确定雷达的旋转时长；
确定所述预设触发时间和旋转时长之间的时间差；
根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，以使所述成像装置中待同步摄像头和雷达的时间同步。
可选地，所述根据所述标定图像中的标定对象确定雷达的旋转时长的步骤，包括：
从所述标定图像中获取处于曝光中间时刻的目标标定图像；
提取所述目标标定图像中的标定对象的特征信息；
根据所述特征信息确定雷达的旋转时长。
可选地，所述提取所述目标标定图像中的标定对象的特征信息的步骤，包括：
将所述目标标定图像中的标定对象划分为多个区域；
对各区域进行遍历，将遍历到的区域作为当前区域；
从所述当前区域中查找亮度高于预设亮度阈值的像素点，并将查找到的像素点作为所述当前区域的待选像素点；
在对各区域遍历完成后，将各区域中的待选像素点的中心像素点作为各区域的目标像素点；
将各区域的目标像素点在所属区域中的相对位置信息作为所述目标标定图像中的标定对象的特征信息。
可选地，所述根据所述特征信息确定雷达的旋转时长的步骤，包括：
将各区域的目标像素点在所属区域中的相对位置信息与预设数值映射表进行匹配，所述预设数值映射表包括：相对位置信息与数值之间的对应关系；
根据匹配结果确定各区域的目标像素点所表征的数值；
根据各区域的目标像素点所表征的数值以及各区域的时间权值计算雷达的旋转时长。
可选地，根据各区域的目标像素点所表征的数值以及各区域的时间权值通过下式计算雷达的旋转时长，
其中，Tall为旋转时长，Tn为第n个区域的目标像素点所表征的数值，Cn为第n个区域的时间权值，N为区域的数量。
可选地，所述提取所述目标标定图像中的标定对象的特征信息的步骤，包括：
获取所述目标标定图像中的标定对象的像素颜色；
将获取的像素颜色进行均值计算，并将均值计算结果作为所述目标标定图像中的标定对象的特征信息。
可选地，所述根据所述特征信息确定雷达的旋转时长的步骤，包括：
将所述特征信息与预设时长映射表进行匹配，所述预设时长映射表包括：像素颜色与时长之间的对应关系；
根据匹配结果确定雷达的旋转时长。
可选地，所述提取所述目标标定图像中的标定对象的特征信息的步骤之前，所述时间同步方法还包括：
基于像素亮度对所述目标标定图像进行边缘检测；
根据边缘检测结果确定所述目标标定图像中的标定对象。
可选地，所述根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，以使所述成像装置中待同步摄像头和雷达的时间同步的步骤，包括：
获取所述成像装置中待同步摄像头的预设触发时间；
将所述预设触发时间减去所述时间差，以获得标定后的触发时间；
将所述标定后的触发时间发送至所述成像装置，以使所述成像装置中待同步摄像头和雷达的时间同步。
可选地，所述成像装置具有多个摄像头；所述获取成像装置的待同步摄像头在预设触发时间所采集的标定图像的步骤之前，所述时间同步方法还包括：
对所述成像装置的摄像头进行遍历，并将遍历到的摄像头作为待同步摄像头。
此外，为实现上述目的，本发明还提供一种时间同步装置，所述时间同步包括：
图像获取模块，用于获取成像装置的待同步摄像头在预设触发时间所采集的标定图像，所述标定图像中具有能够反映雷达的旋转时长的标定对象，所述旋转时长为所述雷达从预设角度旋转至当前时刻所朝向角度的时间长度；
时长获取模块，用于根据所述标定图像中的标定对象确定雷达的旋转时长；
时差确定模块，用于确定所述预设触发时间和旋转时长之间的时间差；
时间标定模块，用于根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，以使所述成像装置中待同步摄像头和雷达的时间同步。
此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的时间同步程序，所述时间同步程序配置为实现如上所述的时间同步方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有时间同步程序，所述时间同步程序被处理器执行时实现如上所述的时间同步方法的步骤。
本发明先获取成像装置的待同步摄像头在预设触发时间所采集的标定图像，然后根据所述标定图像中的标定对象确定雷达的旋转时长，接着确定所述预设触发时间和旋转时长之间的时间差，最后根据所述时间差对所述成像装置全景相机中待同步摄像头的原始预设触发时间进行标定，由于所述预设触发时间和旋转时长之间的时间差即可反映所述待同步摄像头和雷达之间的时间误差，根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，从而排除曝光时间等干扰所产生的影响，能够实现所述成像装置中待同步摄像头和雷达的时间同步。
附图说明
图1为本发明时间同步方法第一实施例的流程示意图；
图2为本发明实施例中成像装置中的摄像头的示意图；
图3为本发明时间同步方法第二实施例的流程示意图；
图4为本发明实施例中标定对象为LED板时的结构示意图；
图5为本发明时间同步方法第三实施例的流程示意图；
图6为本发明实施例中标定图像的示意图；
图7为本发明时间同步方法第四实施例的流程示意图；
图8为本发明时间同步装置一实施例的结构框图。
图9是本发明实施例方案涉及的硬件运行环境的终端设备结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明时间同步方法第一实施例的流程示意图。
在第一实施例中，所述时间同步方法包括以下步骤：
S10：获取成像装置的待同步摄像头在预设触发时间所采集的标定图像，所述标定图像中具有能够反映雷达的旋转时长的标定对象，所述旋转时长为所述雷达从预设角度旋转至当前时刻所朝向角度的时间长度。
需要说明的是，所述成像装置即为能够用于获取图像的装置，例如：全景相机，当然，也可以为其他设备，本实施例对此不加以限制。
可理解的是，在现有技术中，为了实现成像装置中摄像头和雷达之间的同步，通常会根据激光雷达的旋转速度来设置成像装置中摄像头的触发时间，设置的触发时间会写入成像装置中，在当前时间到达触发时间时，会驱动摄像头进行图像的采集，在本实施例中，所述预设触发时间即为写入成像装置中的触发时间。
参照图2，假设所述成像装置具有四个摄像头(即图中的cam1、cam2、cam3和cam4)，可设置cam1的水平角度为0度到90度，如果雷达旋转一周需要100ms，由于雷达旋转至45度(即对应cam1所采集的图像中央，与图3中的虚线对应)的时间为n*100ms+25ms，此时，可将cam1的触发时间可设置为n*100ms+25ms，其中n为自然数，也就是说，预设触发时间即为n*100ms+25ms，若标定图像中的标定对象表征的旋转时长为n*100ms+70ms，此时，旋转时长和预设触发时间之间的时间差为45ms，可将预设触发时间进行标定，也就是说，将预设触发时间提前45ms。
在具体实现中，雷达在旋转至某一预设角度(可为0度，当然，可以为其他角度，本实施例对此不加以限制)时，会发出一个脉冲信号，此时，可通过一个控制器(例如，单片机等)来接收该脉冲信号，并在接收到该脉冲信号后启动计时，根据计时结果通过某一标定对象发出与计时结果对应的指示信息，也就是说，在计时结果不同时，对应的标定对象发出的指示信息也具有区别，故而，所述待同步摄像头在预设触发时间可采集具有标定对象的标定图像，同时，所述标定对象能够反映旋转时长，即能够反映雷达从预设角度旋转至当前时刻(即采集标定图像的时刻)所朝向角度的时间长度。
应理解的是，由于待同步摄像头通常不会旋转，为了保证待同步摄像头能够采集较为高质量的标定图像，本实施例中，可将所述标定对象设置于某一位置，该位置能够保证所述标定对象处于所述标定图像的中央，由于时间同步方法通常在成像装置和雷达投入使用前进行，故而，所述标定对象的设置并不会影响所述成像装置在投入使用时的图像采集。
可理解的是，当成像装置为全景相机时，通常会具有多个摄像头，此时，可先对所述摄像头进行遍历，并将遍历到的摄像头作为待同步摄像头，从而保证对各摄像头分别进行时间同步。
S20：根据所述标定图像中的标定对象确定雷达的旋转时长。
需要说明的是，由于所述标定对象能够反映旋转时长，故而，可根据所述标定图像中的标定对象确定雷达的旋转时长。
S30：确定所述预设触发时间和旋转时长之间的时间差。
S40：根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，以使所述成像装置中待同步摄像头和雷达的时间同步。
在具体实现中，由于所述预设触发时间和旋转时长之间的时间差即可反映所述待同步摄像头和雷达之间的时间误差，故而，本实施例中，可根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，从而实现所述成像装置中待同步摄像头和雷达的时间同步。
具体地，可先获取所述成像装置中待同步摄像头的预设触发时间，然后将所述预设触发时间减去所述时间差，以获得标定后的触发时间，最后将所述标定后的触发时间发送至所述成像装置，以使所述成像装置中待同步摄像头和雷达的时间同步。
下面以一个具体的例子进行说明，但不限定本发明的保护范围。
假设预设触发时间为380ms，根据所述标定图像中的标定对象确定雷达的旋转时长为370ms，此时，即可确定所述预设触发时间和旋转时长之间的时间差为10ms，此时，可将所述待标定摄像头的预设触发时间推迟10ms，当然，通常来说，所述标定时间可能还存在其他的预设触发时间，此时，可对其他的预设触发时间分别推迟10ms，当然，也可对各个预设触发时间分别按照上述步骤S10～S40进行标定。
本实施例先获取成像装置的待同步摄像头在预设触发时间所采集的标定图像，然后根据所述标定图像中的标定对象确定雷达的旋转时长，接着确定所述预设触发时间和旋转时长之间的时间差，最后根据所述时间差对所述成像装置全景相机中待同步摄像头的原始预设触发时间进行标定，由于所述预设触发时间和旋转时长之间的时间差即可反映所述待同步摄像头和雷达之间的时间误差，根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，从而排除曝光时间等干扰所产生的影响，能够实现所述成像装置中待同步摄像头和雷达的时间同步。
如图3所示，基于第一实施例提出本发明时间同步方法第二实施例，本实施例中，步骤S20，包括：
S21：从所述标定图像中获取处于曝光中间时刻的目标标定图像。
S22：提取所述目标标定图像中的标定对象的特征信息。
S23：根据所述特征信息确定雷达的旋转时长。
需要说明的是，对于待同步摄像头而言，通常会采用连续曝光的方式来采集标定图像，故而，在预设触发时间所采集的标定图像可能具有多张，此时，若直接选择其中任意一张提取特征信息，会导致确定的旋转时长不够准确，为了保证准确性，本实施例中，可从所述标定图像中获取处于曝光中间时刻的目标标定图像，再提取所述目标标定图像中的标定对象的特征信息。
例如：所述标定图像为5张，按照采集时间分别记为P1、P2、P3、P4和P5，此时，可将P3作为处于曝光中间时刻的目标标定图像。
可理解的是，对于所述目标标定对象而言，其通常情况下会具有用于区分不同旋转时长的特征，因此，可提取所述目标标定图像中的标定对象的特征信息，在确定特征信息后，即可根据所述特征信息确定雷达的旋转时长。
应理解的是，对于所述标定对象而言，可采用多种方式实现，例如：具有多个发光二极管(Light Emitting Diode，LED)灯的LED板、具有发出不同颜色光线的发光装置等，本实施例对此不加以限制。
在具体实现中，由于目标标定图像中除了标定对象之外，还有其他的部分存在，需要对所述目标标定图像进行前景区分，也就是说，需要对所述目标标定图像中的标定对象进行确定，以便于确定旋转时长。
对于所述目标标定图像进行前景区分的方式具有多种，为了提高前景区分的效率，本实施例中，可先基于像素亮度对所述目标标定图像进行边缘检测，然后根据边缘检测结果确定所述目标标定图像中的标定对象，当然，还可采用其他方式来进行边缘检测，本实施例对此不加以限制。
当所述标定对象采用LED板时，可采用三块LED板(当然，还可根据需要选择其他数量的LED板，本实施例对此不加以限制)，参照图4，三块LED板由一块单片机(未示出)控制，所述单片机在接收到脉冲信号时启动计时，并通过LED板对计时结果进行展示，每块LED板上有10个LED灯(分别对应数值0～9)，每个LED板对应不同的时间权值，最左边的LED板的时间权值可设置为100ms，中间的LED板的时间权值可设置为10ms，最右边的LED板的时间权值可设置为1ms，也就是说，最左边的LED板每100ms右移一位，中间的LED板每10ms右移一位，最右边的LED板每1ms右移一位，此时，即可用于表征最小单位为1ms的旋转时长。
当然，所述LED板上的LED灯的位置可根据需要进行调整，例如：将LED灯设置为两排，每排5个LED灯，当然，还可通过其他方式来进行设置，本实施例对此不加以限制。
如图5所示，基于第二实施例提出本发明时间同步方法第三实施例，本实施例中，步骤S22包括：
S2210：将所述目标标定图像中的标定对象划分为多个区域。
S2211：对各区域进行遍历，将遍历到的区域作为当前区域。
S2212：从所述当前区域中查找亮度高于预设亮度阈值的像素点，并将查找到的像素点作为所述当前区域的待选像素点。
S2213：在对各区域遍历完成后，将各区域中的待选像素点的中心像素点作为各区域的目标像素点。
S2214：将各区域的目标像素点在所属区域中的相对位置信息作为所述目标标定图像中的标定对象的特征信息。
假设所述标定图像为图6所示的图像，为高效地确定所述标定对象的特征信息，此时，可先将所述目标标定图像中的标定对象划分为三个区域(即分别对应最左边的LED板、中间的LED板和最后边的LED板三个区域)，然后对各区域进行遍历，将遍历到的区域作为当前区域；在当前区域为最左边的LED板时，从所述当前区域中查找亮度高于预设亮度阈值的像素点(即最左边的LED板从左到右的第4个LED灯对应的像素点)，并将查找到的像素点作为所述当前区域的待选像素点；接着进行其他区域的遍历，在对各区域遍历完成后，可将各区域中的待选像素点的中心像素点(即最左面的LED板从左到右的第4个LED灯的中心点)作为各区域的目标像素点；最后，将各区域的目标像素点在所属区域中的相对位置信息作为所述标定对象的特征信息。
为便于基于特征信息确定雷达的旋转时长，本实施例中，可先将各区域的目标像素点在所属区域中的相对位置信息与预设数值映射表进行匹配，所述预设数值映射表包括：相对位置信息与数值之间的对应关系，然后根据匹配结果确定各区域的目标像素点所表征的数值，最后根据各区域的目标像素点所表征的数值以及各区域的时间权值计算雷达的旋转时长。
为便于快速计算所述旋转时长，本实施例中，可根据各区域的目标像素点所表征的数值以及各区域的时间权值通过下式计算雷达的旋转时长，
其中，Tall为旋转时长，Tn为第n个区域的目标像素点所表征的数值，Cn为第n个区域的时间权值，N为区域的数量。
在具体实现中，由于LED板上的LED灯的数量是相同的，并且，LED灯在所述LED板上的相对位置是固定的，以此，可预先建立一个预设数字映射表，所述预设数字映射表包括相对位置信息(即LED灯对应的所有像素点在LED板上的相对位置信息)与数值之间的对应关系，例如：LED板上从右到左的LED灯所处的相对位置信息依次设置为：9、8、7、6、5、4、3、2、1、0。
故而，对于图6所示的图像而言，最左边的LED板所处区域的目标像素点对应的数值为3，中间的LED板所处区域的目标像素点对应的数值为7，最右边的LED板所处区域的目标像素点对应的数字为0，结合各区域的时间权值(例如：最左边的LED板的时间权值可设置为100ms，中间的LED板的时间权值可设置为10ms，最右边的LED板的时间权值可设置为1ms)，即可计算雷达的旋转时长为：
Tall＝T1*C1+T2*C2+T3*C3＝3*100+7*10+0*1＝370(ms)。
当所述标定对象采用发光装置时，所述发光装置由一块单片机(未示出)控制，所述单片机在接收到脉冲信号时启动计时，并通过发光装置对计时结果进行展示，也就是说，所述发光装置能够在接收到不同的计时结果时，发出不同颜色的光线，故而，可根据发光装置发出的光线来区分不同的旋转时长。
如图7所示，基于第二实施例提出本发明时间同步方法第四实施例，本实施例中，步骤S22包括：
S2220：获取所述目标标定图像中的标定对象的像素颜色。
S2221：将获取的像素颜色进行均值计算，并将均值计算结果作为所述目标标定图像中的标定对象的特征信息。
需要说明的是，由于目标标定图像会存在不同像素点的像素颜色不同，若直接采用某一像素点的颜色来确定标定对象的特征信息，但其可能会存在误差，为了减小由于图像采集时存在颜色偏差，本实施例中，可将所述目标标定图像中的标定对象的像素颜色进行均值计算，并将均值计算结果作为所述目标标定图像中的标定对象的特征信息。
可理解的是，为了提高确定雷达的旋转时长的效率，本实施例中，可将所述特征信息与预设时长映射表进行匹配，所述预设时长映射表包括：像素颜色与时长之间的对应关系；然后根据匹配结果确定雷达的旋转时长。
为便于建立所述预设时长映射表，本实施例中，可预先获取需要区分的时长范围，例如：1～100ms，并且最小单位为1ms，此时，需要100种不同的颜色来进行区分，此时将发光装置能够发出光线的颜色与时长分别进行对应，并将对应关系存储至预设时长映射表中，以建立所述预设时长映射表。
此外，本发明实施例还提出一种时间同步装置，参照图8，所述时间同步装置包括：
图像获取模块10，用于获取成像装置的待同步摄像头在预设触发时间所采集的标定图像，所述标定图像中具有能够反映雷达的旋转时长的标定对象，所述旋转时长为所述雷达从预设角度旋转至当前时刻所朝向角度的时间长度；
时长获取模块20，用于根据所述标定图像中的标定对象确定雷达的旋转时长；
时差确定模块30，用于确定所述预设触发时间和旋转时长之间的时间差；
时间标定模块40，用于根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，以使所述成像装置中待同步摄像头和雷达的时间同步。
本实施例通过上述方案，先获取成像装置的待同步摄像头在预设触发时间所采集的标定图像，然后根据所述标定图像中的标定对象确定雷达的旋转时长，接着确定所述预设触发时间和旋转时长之间的时间差，最后根据所述时间差对所述成像装置全景相机中待同步摄像头的原始预设触发时间进行标定，由于所述预设触发时间和旋转时长之间的时间差即可反映所述待同步摄像头和雷达之间的时间误差，根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，从而排除曝光时间等干扰所产生的影响，能够实现所述成像装置中待同步摄像头和雷达的时间同步。
需要说明的是，上述装置中的各模块可用于实现上述方法中的各个步骤，同时达到相应的技术效果，本实施例在此不再赘述。
参照图9，图9为本发明实施例方案涉及的硬件运行环境的终端设备的结构示意图。
如图9所示，该终端设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
在具体实现中，所述终端设备为PC机、笔记本电脑或平板电脑等电子设备，本实施例对此不加以限制。
本领域技术人员可以理解，图1中示出的结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图9所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及时间同步程序。
在图9所示的终端设备中，网络接口1004主要用于与外部网络进行数据通信；用户接口1003主要用于接收用户的输入指令；所述终端设备通过处理器1001调用存储器1005中存储的时间同步程序，并执行以下操作：
获取成像装置的待同步摄像头在预设触发时间所采集的标定图像，所述标定图像中具有能够反映雷达的旋转时长的标定对象，所述旋转时长为所述雷达从预设角度旋转至当前时刻所朝向角度的时间长度；
根据所述标定图像中的标定对象确定雷达的旋转时长；
确定所述预设触发时间和旋转时长之间的时间差；
根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，以使所述成像装置中待同步摄像头和雷达的时间同步。
进一步地，处理器1001可以调用存储器1005中存储的时间同步程序，还执行以下操作：
从所述标定图像中获取处于曝光中间时刻的目标标定图像；
提取所述目标标定图像中的标定对象的特征信息；
根据所述特征信息确定雷达的旋转时长。
进一步地，处理器1001可以调用存储器1005中存储的时间同步程序，还执行以下操作：
将所述目标标定图像中的标定对象划分为多个区域；
对各区域进行遍历，将遍历到的区域作为当前区域；
从所述当前区域中查找亮度高于预设亮度阈值的像素点，并将查找到的像素点作为所述当前区域的待选像素点；
在对各区域遍历完成后，将各区域中的待选像素点的中心像素点作为各区域的目标像素点；
将各区域的目标像素点在所属区域中的相对位置信息作为所述目标标定图像中的标定对象的特征信息。
进一步地，处理器1001可以调用存储器1005中存储的时间同步程序，还执行以下操作：
将各区域的目标像素点在所属区域中的相对位置信息与预设数值映射表进行匹配，所述预设数值映射表包括：相对位置信息与数值之间的对应关系；
根据匹配结果确定各区域的目标像素点所表征的数值；
根据各区域的目标像素点所表征的数值以及各区域的时间权值计算雷达的旋转时长。
进一步地，处理器1001可以调用存储器1005中存储的时间同步程序，还执行以下操作：
根据各区域的目标像素点所表征的数值以及各区域的时间权值通过下式计算雷达的旋转时长，
其中，Tall为旋转时长，Tn为第n个区域的目标像素点所表征的数值，Cn为第n个区域的时间权值，N为区域的数量。
进一步地，处理器1001可以调用存储器1005中存储的时间同步程序，还执行以下操作：
获取所述目标标定图像中的标定对象的像素颜色；
将获取的像素颜色进行均值计算，并将均值计算结果作为所述目标标定图像中的标定对象的特征信息。
进一步地，处理器1001可以调用存储器1005中存储的时间同步程序，还执行以下操作：
将所述特征信息与预设时长映射表进行匹配，所述预设时长映射表包括：像素颜色与时长之间的对应关系；
根据匹配结果确定雷达的旋转时长。
进一步地，处理器1001可以调用存储器1005中存储的时间同步程序，还执行以下操作：
基于像素亮度对所述目标标定图像进行边缘检测；
根据边缘检测结果确定所述目标标定图像中的标定对象。
进一步地，处理器1001可以调用存储器1005中存储的时间同步程序，还执行以下操作：
获取所述成像装置中待同步摄像头的预设触发时间；
将所述预设触发时间减去所述时间差，以获得标定后的触发时间；
将所述标定后的触发时间发送至所述成像装置，以使所述成像装置中待同步摄像头和雷达的时间同步。
进一步地，所述成像装置具有多个摄像头；处理器1001可以调用存储器1005中存储的时间同步程序，还执行以下操作：
对所述成像装置的摄像头进行遍历，并将遍历到的摄像头作为待同步摄像头。
本实施例通过上述方案，先获取成像装置的待同步摄像头在预设触发时间所采集的标定图像，然后根据所述标定图像中的标定对象确定雷达的旋转时长，接着确定所述预设触发时间和旋转时长之间的时间差，最后根据所述时间差对所述成像装置全景相机中待同步摄像头的原始预设触发时间进行标定，由于所述预设触发时间和旋转时长之间的时间差即可反映所述待同步摄像头和雷达之间的时间误差，根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，从而排除曝光时间等干扰所产生的影响，能够实现所述成像装置中待同步摄像头和雷达的时间同步。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有时间同步程序，所述时间同步程序被处理器执行时实现如下操作：
获取成像装置的待同步摄像头在预设触发时间所采集的标定图像，所述标定图像中具有能够反映雷达的旋转时长的标定对象，所述旋转时长为所述雷达从预设角度旋转至当前时刻所朝向角度的时间长度；
根据所述标定图像中的标定对象确定雷达的旋转时长；
确定所述预设触发时间和旋转时长之间的时间差；
根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，以使所述成像装置中待同步摄像头和雷达的时间同步。
本实施例通过上述方案，先获取成像装置的待同步摄像头在预设触发时间所采集的标定图像，然后根据所述标定图像中的标定对象确定雷达的旋转时长，接着确定所述预设触发时间和旋转时长之间的时间差，最后根据所述时间差对所述成像装置全景相机中待同步摄像头的原始预设触发时间进行标定，由于所述预设触发时间和旋转时长之间的时间差即可反映所述待同步摄像头和雷达之间的时间误差，根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，从而排除曝光时间等干扰所产生的影响，能够实现所述成像装置中待同步摄像头和雷达的时间同步。
需要说明的是，上述计算机可读存储介质被处理器执行时还可实现上述方法中的各个步骤，同时达到相应的技术效果，本实施例在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (13)
1.一种时间同步方法，其特征在于，所述时间同步方法包括以下步骤：
获取成像装置的待同步摄像头在预设触发时间所采集的标定图像，所述标定图像中具有能够反映雷达的旋转时长的标定对象，所述旋转时长为所述雷达从预设角度旋转至当前时刻所朝向角度的时间长度；
根据所述标定图像中的标定对象确定雷达的旋转时长；
确定所述预设触发时间和旋转时长之间的时间差；
根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，以使所述成像装置中待同步摄像头和雷达的时间同步。
2.如权利要求1所述的时间同步方法，其特征在于，所述根据所述标定图像中的标定对象确定雷达的旋转时长的步骤，包括：
从所述标定图像中获取处于曝光中间时刻的目标标定图像；
提取所述目标标定图像中的标定对象的特征信息；
根据所述特征信息确定雷达的旋转时长。
3.如权利要求2所述的时间同步方法，其特征在于，所述提取所述目标标定图像中的标定对象的特征信息的步骤，包括：
将所述目标标定图像中的标定对象划分为多个区域；
对各区域进行遍历，将遍历到的区域作为当前区域；
从所述当前区域中查找亮度高于预设亮度阈值的像素点，并将查找到的像素点作为所述当前区域的待选像素点；
在对各区域遍历完成后，将各区域中的待选像素点的中心像素点作为各区域的目标像素点；
将各区域的目标像素点在所属区域中的相对位置信息作为所述目标标定图像中的标定对象的特征信息。
4.如权利要求2所述的时间同步方法，其特征在于，所述根据所述特征信息确定雷达的旋转时长的步骤，包括：
将各区域的目标像素点在所属区域中的相对位置信息与预设数值映射表进行匹配，所述预设数值映射表包括：相对位置信息与数值之间的对应关系；
根据匹配结果确定各区域的目标像素点所表征的数值；
根据各区域的目标像素点所表征的数值以及各区域的时间权值计算雷达的旋转时长。
5.如权利要求4所述的时间同步方法，其特征在于，根据各区域的目标像素点所表征的数值以及各区域的时间权值通过下式计算雷达的旋转时长，
其中，Tall为旋转时长，Tn为第n个区域的目标像素点所表征的数值，Cn为第n个区域的时间权值，N为区域的数量。
6.如权利要求2所述的时间同步方法，其特征在于，所述提取所述目标标定图像中的标定对象的特征信息的步骤，包括：
获取所述目标标定图像中的标定对象的像素颜色；
将获取的像素颜色进行均值计算，并将均值计算结果作为所述目标标定图像中的标定对象的特征信息。
7.如权利要求6所述的时间同步方法，其特征在于，所述根据所述特征信息确定雷达的旋转时长的步骤，包括：
将所述特征信息与预设时长映射表进行匹配，所述预设时长映射表包括：像素颜色与时长之间的对应关系；
根据匹配结果确定雷达的旋转时长。
8.如权利要求2所述的时间同步方法，其特征在于，所述提取所述目标标定图像中的标定对象的特征信息的步骤之前，所述时间同步方法还包括：
基于像素亮度对所述目标标定图像进行边缘检测；
根据边缘检测结果确定所述目标标定图像中的标定对象。
9.如权利要求1～8中任一项所述的时间同步方法，其特征在于，所述根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，以使所述成像装置中待同步摄像头和雷达的时间同步的步骤，包括：
获取所述成像装置中待同步摄像头的预设触发时间；
将所述预设触发时间减去所述时间差，以获得标定后的触发时间；
将所述标定后的触发时间发送至所述成像装置，以使所述成像装置中待同步摄像头和雷达的时间同步。
10.如权利要求1～8中任一项所述的时间同步方法，其特征在于，所述成像装置具有多个摄像头；
所述获取成像装置的待同步摄像头在预设触发时间所采集的标定图像的步骤之前，所述时间同步方法还包括：
对所述成像装置的摄像头进行遍历，并将遍历到的摄像头作为待同步摄像头。
11.一种时间同步装置，其特征在于，所述时间同步包括：
图像获取模块，用于获取成像装置的待同步摄像头在预设触发时间所采集的标定图像，所述标定图像中具有能够反映雷达的旋转时长的标定对象，所述旋转时长为所述雷达从预设角度旋转至当前时刻所朝向角度的时间长度；
时长获取模块，用于根据所述标定图像中的标定对象确定雷达的旋转时长；
时差确定模块，用于确定所述预设触发时间和旋转时长之间的时间差；
时间标定模块，用于根据所述时间差对所述成像装置中待同步摄像头的预设触发时间进行标定，以使所述成像装置中待同步摄像头和雷达的时间同步。
12.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的时间同步程序，所述时间同步程序配置为实现如权利要求1至10中任一项所述的时间同步方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有时间同步程序，所述时间同步程序被处理器执行时实现如权利要求1至10中任一项所述的时间同步方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911110070.1A CN110753167B (zh) | 2019-11-13 | 2019-11-13 | 时间同步方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911110070.1A CN110753167B (zh) | 2019-11-13 | 2019-11-13 | 时间同步方法、装置、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110753167A true CN110753167A (zh) | 2020-02-04 |
| CN110753167B CN110753167B (zh) | 2022-04-08 |
Family
ID=69283137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911110070.1A Active CN110753167B (zh) | 2019-11-13 | 2019-11-13 | 时间同步方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110753167B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112671499A (zh) * | 2021-03-16 | 2021-04-16 | 深圳裹动智驾科技有限公司 | 多传感器同步方法及系统、以及主控制设备 |
| CN112770066A (zh) * | 2020-12-29 | 2021-05-07 | 江南大学 | 一种用于多传感器融合图像拼接技术的时间同步方法 |
| CN112953670A (zh) * | 2021-01-26 | 2021-06-11 | 中电海康集团有限公司 | 一种融合感知同步曝光方法、装置及可读存储介质 |
| CN113519151A (zh) * | 2020-02-12 | 2021-10-19 | 深圳元戎启行科技有限公司 | 图像采集触发方法、装置、计算机设备、可读存储介质和监控设备 |
| WO2022057267A1 (zh) * | 2020-09-16 | 2022-03-24 | 上海商汤临港智能科技有限公司 | 一种配置雷达的方法、装置、电子设备及存储介质 |
| CN114636546A (zh) * | 2022-03-10 | 2022-06-17 | 杭州海康威视数字技术股份有限公司 | 用于成像同步性检测的系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100157280A1 (en) * | 2008-12-19 | 2010-06-24 | Ambercore Software Inc. | Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions |
| JP2011182374A (ja) * | 2010-02-27 | 2011-09-15 | Yutaka Takahashi | 撮影時刻を静止表示するタイマを用いる実時間映像伝送の総合遅延時間測定方法 |
| CN104503221A (zh) * | 2014-11-18 | 2015-04-08 | 深圳市金立通信设备有限公司 | 一种钟表校准方法 |
| CN107094249A (zh) * | 2017-03-31 | 2017-08-25 | 腾讯科技（上海）有限公司 | 一种测试摄像头延时的方法及装置 |
| CN107455006A (zh) * | 2017-06-12 | 2017-12-08 | 深圳市瑞立视多媒体科技有限公司 | 一种同步曝光的方法、装置及终端设备 |
| CN109253720A (zh) * | 2018-10-30 | 2019-01-22 | 上海禾赛光电科技有限公司 | 一种摄像头与激光雷达融合系统 |
| WO2019039279A1 (ja) * | 2017-08-22 | 2019-02-28 | ソニー株式会社 | 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム |
-
2019
- 2019-11-13 CN CN201911110070.1A patent/CN110753167B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100157280A1 (en) * | 2008-12-19 | 2010-06-24 | Ambercore Software Inc. | Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions |
| JP2011182374A (ja) * | 2010-02-27 | 2011-09-15 | Yutaka Takahashi | 撮影時刻を静止表示するタイマを用いる実時間映像伝送の総合遅延時間測定方法 |
| CN104503221A (zh) * | 2014-11-18 | 2015-04-08 | 深圳市金立通信设备有限公司 | 一种钟表校准方法 |
| CN107094249A (zh) * | 2017-03-31 | 2017-08-25 | 腾讯科技（上海）有限公司 | 一种测试摄像头延时的方法及装置 |
| CN107455006A (zh) * | 2017-06-12 | 2017-12-08 | 深圳市瑞立视多媒体科技有限公司 | 一种同步曝光的方法、装置及终端设备 |
| WO2019039279A1 (ja) * | 2017-08-22 | 2019-02-28 | ソニー株式会社 | 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム |
| US20200211219A1 (en) * | 2017-08-22 | 2020-07-02 | Sony Corporation | Signal processing apparatus, signal processing method, program, mobile object, and signal processing system |
| CN109253720A (zh) * | 2018-10-30 | 2019-01-22 | 上海禾赛光电科技有限公司 | 一种摄像头与激光雷达融合系统 |
Non-Patent Citations (1)
| Title |
|---|
| 夏克强等: "红外/雷达复合制导数据融合技术中的时间校准方法研究", 《航天控制》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113519151A (zh) * | 2020-02-12 | 2021-10-19 | 深圳元戎启行科技有限公司 | 图像采集触发方法、装置、计算机设备、可读存储介质和监控设备 |
| CN113519151B (zh) * | 2020-02-12 | 2023-06-20 | 深圳元戎启行科技有限公司 | 图像采集触发方法、装置、计算机设备、可读存储介质和监控设备 |
| WO2022057267A1 (zh) * | 2020-09-16 | 2022-03-24 | 上海商汤临港智能科技有限公司 | 一种配置雷达的方法、装置、电子设备及存储介质 |
| CN112770066A (zh) * | 2020-12-29 | 2021-05-07 | 江南大学 | 一种用于多传感器融合图像拼接技术的时间同步方法 |
| CN112953670A (zh) * | 2021-01-26 | 2021-06-11 | 中电海康集团有限公司 | 一种融合感知同步曝光方法、装置及可读存储介质 |
| CN112953670B (zh) * | 2021-01-26 | 2022-06-21 | 中电海康集团有限公司 | 一种融合感知同步曝光方法、装置及可读存储介质 |
| CN112671499A (zh) * | 2021-03-16 | 2021-04-16 | 深圳裹动智驾科技有限公司 | 多传感器同步方法及系统、以及主控制设备 |
| CN112671499B (zh) * | 2021-03-16 | 2022-04-01 | 深圳安途智行科技有限公司 | 多传感器同步方法及系统、以及主控制设备 |
| CN114636546A (zh) * | 2022-03-10 | 2022-06-17 | 杭州海康威视数字技术股份有限公司 | 用于成像同步性检测的系统 |
| CN114636546B (zh) * | 2022-03-10 | 2024-05-14 | 杭州海康威视数字技术股份有限公司 | 用于成像同步性检测的系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110753167B (zh) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110753167B (zh) | 时间同步方法、装置、终端设备及存储介质 | |
| EP3771198B1 (en) | Target tracking method and device, movable platform and storage medium | |
| CN111179358B (zh) | 标定方法、装置、设备及存储介质 | |
| US20240118218A1 (en) | Stroboscopic stepped illumination defect detection system | |
| US11196919B2 (en) | Image processing method, electronic apparatus, and computer-readable storage medium | |
| US20140347553A1 (en) | Imaging devices with light sources for reduced shadow, controllers and methods | |
| US10447999B2 (en) | Alignment of images of a three-dimensional object | |
| WO2021259151A1 (zh) | 一种激光标定系统的标定方法、装置以及激光标定系统 | |
| US10652513B2 (en) | Display device, display system and three-dimension display method | |
| CN111435162A (zh) | 激光雷达与相机同步方法、装置、设备和存储介质 | |
| US10129471B2 (en) | Method, apparatus and system for detecting location of laser point on screen | |
| CN112361990B (zh) | 激光图案提取方法、装置、激光测量设备和系统 | |
| US20220358679A1 (en) | Parameter Calibration Method and Apparatus | |
| WO2023213311A1 (zh) | 胶囊内窥镜、摄像系统的测距方法和装置 | |
| EP3660452B1 (en) | Positioning system and positioning method | |
| WO2021099514A1 (en) | Multi-color flash with image post-processing | |
| CN109618085B (zh) | 电子设备和移动平台 | |
| CN111127567A (zh) | 一种tof模块标定方法 | |
| EP4071578A1 (en) | Light source control method for vision machine, and vision machine | |
| US20220277468A1 (en) | Calibration Parameter Obtaining Method and Apparatus, Processor, and Electronic Device | |
| CN109587303B (zh) | 电子设备和移动平台 | |
| CN112616016A (zh) | 事件相机获取影像的方法、装置、电子设备及存储介质 | |
| KR100807845B1 (ko) | 게임 인터페이스를 위한 적외선 엘이디 추적시스템 및추적방법 | |
| CN113034069A (zh) | 一种物流对象的处理方法及物流管理设备 | |
| CN113132551B (zh) | 多相机系统的同步控制方法、同步控制装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |