CN117998026A - 多传感器帧同步确定方法、存储介质和计算机程序产品 - Google Patents
多传感器帧同步确定方法、存储介质和计算机程序产品 Download PDFInfo
- Publication number
- CN117998026A CN117998026A CN202410403474.4A CN202410403474A CN117998026A CN 117998026 A CN117998026 A CN 117998026A CN 202410403474 A CN202410403474 A CN 202410403474A CN 117998026 A CN117998026 A CN 117998026A
- Authority
- CN
- China
- Prior art keywords
- time
- sensor
- frame
- current frame
- trigger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004590 computer program Methods 0.000 title claims abstract description 16
- 230000001360 synchronised effect Effects 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Synchronisation In Digital Transmission Systems (AREA)
Abstract
本发明公开多传感器帧同步确定方法、存储介质和计算机程序产品，其中，一种多传感器帧同步确定方法，包括：接收用于触发各传感器的同步的预设帧率信号和多个不同帧率的信号，其中，所述预设帧率信号用于建立同步时间轴，所述不同帧率的信号对应不同帧率的传感器，其中，设置所有传感器为触发出数据；将所述多个不同帧率的信号透传至各传感器，利用与所述同步时间轴对齐后的多个时间轴记录各传感器接收到的当前帧的起始帧信号时间；基于各传感器的曝光时间、对应的起始帧信号时间以及对齐后的时间轴确定各传感器当前帧的真实触发时刻；基于各传感器的真实触发时刻确定各传感器的当前帧是否同步。
Description
技术领域
本申请实施例涉及自动驾驶技术领域，特别是涉及一种多传感器帧同步确定方法、存储介质和计算机程序产品。
背景技术
在自动驾驶领域中，需要用到很多传感器的数据（如雷达，相机，GPS/IMU（Inertial Measurement Unit，惯性测量单元）等），如果计算单元接收到的各传感器的消息时间不统一，则会造成例如障碍物识别不准等问题。
具体到多路相机的时间同步，往往需要对车上不同位置不同方向摄像头进行帧同步处理，确保获取到的所有相机图像是同一时刻的图像，以便后续进行数据融合和处理。在目前现有的方案中，往往只能针对相同类型且相同帧率的相机进行同步，且精度不高。然而在自动驾驶领域中，相机个数往往比较多，帧率也不一样。
发明内容
本发明实施例提供了一种多传感器帧同步确定方法、存储介质和计算机程序产品，用于至少解决上述技术问题之一。
第一方面，本发明实施例提供了一种多传感器帧同步确定方法，包括：接收用于触发各传感器的同步的预设帧率信号和多个不同帧率的信号，其中，所述预设帧率信号用于建立同步时间轴，所述不同帧率的信号对应不同帧率的传感器，其中，设置所有传感器为触发出数据；将所述多个不同帧率的信号透传至各传感器，利用与所述同步时间轴对齐后的多个时间轴记录各传感器接收到的当前帧的起始帧信号时间；基于各传感器的曝光时间、对应的起始帧信号时间以及对齐后的时间轴确定各传感器当前帧的真实触发时刻；基于各传感器的真实触发时刻确定各传感器的当前帧是否同步。
第二方面，本发明实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明上述任一项多传感器帧同步确定方法。
第三方面，本发明实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备（包括但不限于计算机，服务器，或者网络设备等）读取并执行，以用于执行本发明上述任一项多传感器帧同步确定方法。
第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项多传感器帧同步确定方法。
本申请的方法，通过将多个不同帧率的信号透传至各传感器，利用与同步时间轴对齐后的多个时间轴，记录各传感器接收到的当前帧的起始帧信号时间，然后基于各传感器的曝光时间、对应的起始帧信号时间以及对齐后的时间轴确定各传感器当前帧的真实触发时刻，从而可以基于真实触发时刻确定各传感器的数据是否是同一时刻的数据，便于后续进行多传感器的数据融合和处理。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种多传感器帧同步确定方法的流程图；
图2为本发明一实施例提供的另一种多传感器帧同步确定方法的流程图；
图3为本发明一实施例提供的又一种多传感器帧同步确定方法的流程图；
图4为本申请一实施例提供的车载相机示意图；
图5为本发明一实施例提供的多相机帧同步硬件传输示意图；
图6为本发明一实施例提供的多相机帧同步的同步时间轴示意图；
图7为本发明一实施例提供的多相机帧同步的触发时间示意图；
图8为本发明一实施例提供的多传感器帧同步确定装置的框图；
图9为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，其示出了本发明一实施例提供的一种多传感器帧同步确定方法的流程图，其中，所述传感器可以是同种类型的传感器，如相机或雷达等，也可以是不同类型传感器，如雷达和相机的组合，本申请在此没有限制。
如图1所示，在步骤101中，接收用于触发各传感器的同步的预设帧率信号和多个不同帧率的信号；
在步骤102中，将所述多个不同帧率的信号透传至各传感器，利用与所述同步时间轴对齐后的多个时间轴记录各传感器接收到的当前帧的起始帧信号时间；
在步骤103中，基于各传感器的曝光时间、对应的起始帧信号时间以及对齐后的时间轴确定各传感器当前帧的真实触发时刻；
在步骤104中，基于各传感器的真实触发时刻确定各传感器的当前帧是否同步。
在本实施例中，上述多传感器帧同步确定方法可以为设置在汽车控制器内的软件或程序，例如为多传感器帧同步确定装置，通过该装置可以从各传感器的当前帧或多帧数据中找到同步的帧信号，用于后续的融合或其他处理。
对于步骤101，多传感器帧同步确定装置接收用于触发各传感器的同步的预设帧率信号和多个不同帧率的信号，其中，预设帧率信号用于建立同步时间轴，不同帧率的信号对应不同帧率的传感器。通过设置所有传感器为触发出数据，保证传感器接收到触发信号（即每个传感器接收到对应的帧率信号）时可以开始产生数据，如相机开始曝光出图，结合同步发送的预设帧率信号和多个不同帧率的信号，可以在硬件层面确保同步。其中，同步发送的预设帧率信号和多个不同帧率的信号，可以是由汽车微控制单元MCU（Microcontroller Unit，MCU）发出的同步触发信号，例如可以在MCU中设置相应的同步触发程序，从而MCU可以同步发出触发信号，确保信号的发出就是同步的。具体的，预设帧率可以是多个不同帧率的公约数，例如，多个不同帧率分别为5Hz和10Hz，则预设帧率可以为1Hz或5Hz，多个不同帧率为10Hz、20Hz和30Hz，预设帧率可以为1Hz、2Hz、5Hz和10Hz，本申请在此没有限制。在一些可选实施例中，可以将预设帧率设置为1Hz，在此不做赘述。多个不同帧率的信号也可以不仅限于两路，可以为多路，在此不作赘述。
对于步骤102，多传感器帧同步确定装置将多个不同帧率的信号透传至各传感器，利用与同步时间轴对齐后的多个时间轴记录各传感器接收到的当前帧的起始帧信号时间。其中，同步时间轴可以为1Hz的时间轴，将另外多个不同帧率的多个时间轴，例如10Hz和20Hz的时间轴，与1Hz的时间轴对齐。然后再使用与1Hz时间轴对齐后的10Hz时间轴记录对应的一个或多个10Hz帧率的传感器的返回信号，使用与1Hz时间轴对齐后的20Hz时间轴记录对应的一个或多个20Hz帧率的传感器的信返回信号。其中，透传也称为透明传输，是一种数据传输方式，其特点是在数据传输过程中，对传输的内容不进行任何处理，保持数据的原始状态。从而在透传的过程中不会产生额外的时延，后续可以专注解决其他处理所带来的时延，例如曝光时间和软件调度处理时间等。
在一个具体示例中，多传感器帧同步确定装置例如为汽车微控制单元CECU（CarElectronic Control Unit），或者CECU中的一个用于确定多个传感器的帧是否同步的软件或程序。MCU可以使用GPIO（通用输入/输出接口，General-Purpose IO ports）作为触发信号同时映射到多传感器的触发GPIO，MCU通过GPIO发送1Hz信号到CECU用于同步时间轴，MCU通过GPIO发送20Hz信号通过硬件传输至对应的传感器，同时MCU通过另外一路GPIO发送10Hz信号通过硬件传输至对应的传感器。其中, MCU需要控制10Hz，20Hz，1Hz信号的对齐，保证3个信号的时间轴是一致的，从而从硬件上保证了某一时刻各个相机的曝光时间和拍摄时刻完全一致，具有高精度、低延迟和稳定性好等优点。
之后，对于步骤103，多传感器帧同步确定装置基于各传感器的曝光时间、对应的起始帧信号时间以及对齐后的时间轴确定各传感器当前帧的真实触发时刻。具体的，由于软件调度和曝光时间的存在，会导致接收到的起始帧信号时间不是触发时刻的时间，此时需要将起始帧信号时间转换成真实触发时刻。
最后，对于步骤104，多传感器帧同步确定装置基于各传感器的真实触发时刻确定各传感器的当前帧是否同步。得到各传感器的真实触发时刻后，就可以确定具有相同或相近的真实触发时刻的各传感器具有同步帧。
本实施例的方法通过将多个不同帧率的信号透传至各传感器，利用与同步时间轴对齐后的多个时间轴记录各传感器接收到的当前帧的起始帧信号时间，然后基于各传感器的曝光时间、对应的起始帧信号时间以及对齐后的时间轴确定各传感器当前帧的真实触发时刻，从而可以基于真实触发时刻确定各传感器的数据是否是同一时刻的数据，便于后续进行多传感器的数据融合和处理。
进一步请参考图2，其示出了本发明一实施例提供的另一种多传感器帧同步确定方法，该流程图主要是对流程图1“基于各传感器的曝光时间、对应的起始帧信号时间以及对齐后的时间轴确定各传感器当前帧的真实触发时刻”的流程进一步限定的流程图。
如图2所示，在步骤201中，基于各传感器的曝光时间将各传感器的当前帧的起始帧信号时间转换成触发时间；
在步骤202中，将各传感器的当前帧的触发时间在所述对齐后的时间轴上往回偏移至所在时间轴上距离所述触发时间最近的时刻，作为各传感器当前帧的真实触发时刻。
在本实施例中，对于步骤201，多传感器帧同步确定装置基于各传感器的曝光时间将各传感器的当前帧的起始帧信号时间转换成触发时间。例如，由于软件调度和曝光时间的存在，会导致接收到的起始帧信号时间不是触发时刻的时间，此时需要将起始帧信号时间转换成触发时间，这样就能把所有传感器的起始帧信号时间全部转换成触发时间。例如，可以通过将起始帧信号时间删去软件调度和曝光时间，得到触发时间。其中，各传感器的曝光时间与传感器本身的性能相关,可能位于0-30ms之间，在此不作赘述。软件调度的时间可以通过测试统计分析得到，如测试多个相机的触发出图，记录出图时间、曝光时间之后，通过统计二者的时间差之后，进行分析（如求平均等），可得到软件调度的时间。
然后，对于步骤202，多传感器帧同步确定装置将各传感器的当前帧的触发时间在对齐后的时间轴上往回偏移至所在时间轴上距离触发时间最近的时刻，作为各传感器当前帧的真实触发时刻，例如，因为计算出的触发时间没有对应的真实触发时刻，所以需要往回偏移找到最近的触发时刻，在一具体实施例中，接收到1帧的起始帧信号时间为110ms，当前帧的曝光时间为8ms，此时计算出来的触发时间为102ms，向下寻找最近的真实触发时间为100ms，此时我们将计算出来的102ms改成100ms，这样就能将所有传感器的时间戳都转换成真实的触发时刻，此时20Hz和10Hz的传感器都能在10Hz的情况下进行同步 ，保证了后续所有传感器的数据融合和处理。
本实施例的方法通过基于各传感器的曝光时间将各传感器的当前帧的起始帧信号时间转换成触发时间，然后将各传感器的当前帧的触发时间在对齐后的时间轴上往回偏移至所在时间轴上距离触发时间最近的时刻，作为各传感器当前帧的真实触发时刻，从而可以确保所有传感器的帧同步。
在一些可选的实施例中，所述基于各传感器的曝光时间将各传感器的当前帧的起始帧信号时间转换成触发时间包括：多传感器帧同步确定装置利用各传感器的当前帧的起始帧时间减去各传感器的曝光时间得到各传感器的当前帧的触发时间，从而可以得到触发时间。
在一些可选的实施例中，将各传感器的当前帧的触发时间在所述对齐后的时间轴上往回偏移至所在时间轴上距离所述触发时间最近的时刻，作为各传感器当前帧的真实触发时刻包括：多传感器帧同步确定装置将各传感器的当前帧的触发时间在对齐后的时间轴上往回偏移至所在时间轴上距离触发时间最近的时刻，判断往回偏移的时间是否超过预设阈值；以预设阈值为10ms为例，若往回偏移至所在时间轴上距离触发时间最近的时刻的时间超过10ms，则放弃偏移。因为需要偏移超过预设阈值，则说明该数据可能存在问题，对于问题数据可以选择丢弃，在此不做赘述；若往回偏移至所在时间轴上距离触发时间最近的时刻的时间不超过10ms，则将偏移后的时刻作为各传感器当前帧的真实触发时刻，从而可以提高得到真实触发时刻的准确度，预设阈值也可以设置为其他数值，例如3ms或5ms，本申请在此没有限制。
进一步请参考图3，其示出了本发明一实施例提供的又一种多传感器帧同步确定方法，该流程图主要是对流程图1“将所述多个不同帧率的信号透传至各传感器，利用与所述同步时间轴对齐后的多个时间轴记录各传感器接收到的当前帧的起始帧信号时间”的流程进一步限定的流程图。
如图3所示，在步骤301中，将所述多个不同帧率的信号经由多个对应的解串器透传至与所述解串器相连的传感器，其中，每一解串器连接一个或多个对应帧率的串行器，每一串行器连接一个传感器模块；
在步骤302中，基于所述同步时间轴对多个不同帧率的信号进行时间轴对齐，利用对齐后的时间轴记录各传感器接收到的当前帧的起始帧信号时间。
在本实施例中，对于步骤301，多传感器帧同步确定装置将所述多个不同帧率的信号经由多个对应的解串器透传至与解串器相连的传感器，一个解串器可以处理一种帧率的信号，例如10Hz的解串器处理一个或多个10Hz的信号，20Hz的解串器处理一个或多个20Hz帧率的信号。其中，每一解串器连接一个或多个对应帧率的串行器，例如连接四路串行器，每一串行器连接一个传感器模块。其中，串行器（serializer）和解串器（deserializer）是一种主流的时分多路复用、点对点的串行通信技术，即在发送端多路低速并行信号被转换成高速串行信号，经过传输媒体，最后在接收端高速串行信号重新转换成低速并行信号，这种点对点的串行通信技术充分利用传输媒体的信道容量，减少所需的传输信道和器件引脚数目，提升信号的传输速度，从而可以大大降低通信成本。
然后，对于步骤302，多传感器帧同步确定装置基于同步时间轴对多个不同帧率的信号进行时间轴对齐，利用对齐后的时间轴记录各传感器接收到的当前帧的起始帧信号时间。例如，微控制单元通过GPIO发送1Hz信号到汽车电子控制单元用于同步时间轴，微控制单元通过GPIO发送20Hz信号给到一个解串器，并最终透传到与之相连的四路传感器，同时微控制单元通过另外一路GPIO发送10Hz信号给到一个解串器并最终透传到与之相连的四路传感器，其中，微控制单元需要控制10Hz、20Hz和1Hz信号的对齐，保证3个信号的时间轴是一致的，同时，汽车电子控制单元使用经过1Hz时间轴同步后的各时间轴，记录所有相机接收到的当前帧的起始帧信号时间，其中，四路传感器也可以是一路传感器或二路传感器，本申请在此没有限制。
本实施例通过基于同步时间轴对解串器返回的多个不同帧率的信号进行时间轴对齐，利用对齐后的时间轴记录各传感器接收到的当前帧的起始帧信号时间，从而可以提高帧同步的精度，降低延迟。
在一些可选的实施例中，所述基于各传感器的真实触发时刻确定各传感器的当前帧是否同步包括：若存在至少两路传感器的当前帧的真实触发时刻相同，则确定至少两路传感器的当前帧同步；若不存在任意两路传感器的当前帧的真实触发时刻相同，则确定不存在同步的当前帧，继续计算各传感器的下一帧是否同步，从而可以确定是否同步。当前帧不存在同步帧时，计算下一帧是否存在同步帧。
在一些可选的实施例中，在确定所述至少两路传感器的当前帧同步之后，所述方法还包括：多传感器帧同步确定装置将至少两路传感器的当前帧用于后续数据融合和数据处理，从而可以保证所有传感器的帧同步，保证了对所有传感器数据融合时的完整性。
以下通过多相机帧同步的示例来说明本申请的方案。需要说明的是，多个相同类型的传感器和不同类型的传感器的帧同步均在本申请的保护范围之内，后续不再赘述。
请参考图4，其示出了车载相机的位置示意图。
如图4所示，车载相机的编号名称表对应如下：
继续参考图5，其示出了本发明一实施例提供的多相机帧同步硬件传输示意图。
如图5所示，MCU通过GPIO发送1Hz信号到CECU用于同步时间轴；MCU通过GPIO发送20Hz信号给到一个deserialize（解串器），并最终通过serialize（串行器）透传到与之相连的四路相机，也可以是多路相机；同时MCU通过另外一路GPIO发送10Hz信号给到一个deserialize并最终透传到与之相连的四路相机。
继续参考图6，其示出了本发明一实施例提供的多相机帧同步的同步时间轴示意图。
如图6所示，MCU 需要控制10Hz、20Hz、1Hz信号的对齐，保证3个信号的时间轴是一致的，从而从硬件上保证了某一时刻各个相机的曝光时间和拍摄时刻一致，具有高精度、低延迟和稳定性好等优点。
CECU需要设置所有相机为触发出图，保证相机接收到触发信号时可以开始曝光出图；同时CECU使用与1Hz同步的时间轴，记录所有相机接收到的SOF时间戳（Start OfFrame，起始帧信号时间）。
由于软件调度和曝光时间的存在，会导致接收到的SOF时间不是触发时刻的时间，此时需要将SOF时间转换成触发时间，此时就能把所有相机的SOF全部转换成触发时间。
继续参考图7，其示出了本发明一实施例提供的多相机帧同步的触发时间示意图。
如图7所示的触发时间、SOF时间和曝光时间，其中，触发时间＝SOF时间-曝光时间。由于软件调度以及数据搬运、处理延时导致的误差，导致接收到的SOF时间不够精准，导致计算出来的触发时间和实际的触发时间不匹配，所以需要做软件的校准。此时我们需要向下偏移到最近的触发时间，将最近的触发时间改成计算后的触发时间。
如图7所示，对于10Hz信号，假设我们接收到1帧的SOF时间为10ms，当前帧的曝光时间为8ms，此时计算出来的触发时间为2ms，向下寻找最近的真实触发时间为0ms，此时我们将计算出来的2ms改成0ms。对于20Hz信号，假设我们接收到1帧的SOF时间为18ms，当前帧的曝光时间为15ms，此时计算出来的触发时间为3ms，向下寻找最近的真实触发时间为0ms，此时我们将计算出来的3ms改成0ms。通过这样一种方法就能将所有相机的时间戳都转换成真实的触发时刻，此时20Hz和10Hz的相机都能在10Hz的情况下进行同步，保证了后续所有相机的数据融合和处理。
请参考图8，其示出了本申请一实施例提供的一种多传感器帧同步确定装置的框图。
如图8所示，多传感器同步确定装置800包括接收程序模块810、对齐程序模块820、真实触发时刻确定程序模块830和同步确定程序模块840。
其中，接收程序模块810用于接收用于触发各传感器的同步的预设帧率信号和多个不同帧率的信号，其中，所述预设帧率信号用于建立同步时间轴，所述不同帧率的信号对应不同帧率的传感器，其中，设置所有传感器为触发出数据；对齐程序模块820用于将所述多个不同帧率的信号透传至各传感器，利用与所述同步时间轴对齐后的多个时间轴记录各传感器接收到的当前帧的起始帧信号时间；真实触发时刻确定程序模块830，用于基于各传感器的曝光时间、对应的起始帧信号时间以及对齐后的时间轴确定各传感器当前帧的真实触发时刻；以及同步确定程序模块840，用于基于各传感器的真实触发时刻确定各传感器的当前帧是否同步。
应当理解，图8中记载的诸模块与参考图1、图2和图3中描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征以及相应的技术效果同样适用于图8中的诸模块，在此不再赘述。
值得注意的是，本申请实施例中的模块并不用于限制本申请的方案，例如接收程序模块可以描述为用于接收用于触发各传感器的同步的预设帧率信号和多个不同帧率的信号的模块。另外，还可以通过硬件处理器来实现相关功能模块，例如接收程序模块也可以用处理器实现，在此不再赘述。
在另一些实施例中，本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的多传感器帧同步确定方法；
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
接收用于触发各传感器的同步的预设帧率信号和多个不同帧率的信号，其中，所述预设帧率信号用于建立同步时间轴，所述不同帧率的信号对应不同帧率的传感器，其中，设置所有传感器为触发出数据；
将所述多个不同帧率的信号透传至各传感器，利用与所述同步时间轴对齐后的多个时间轴记录各传感器接收到的当前帧的起始帧信号时间；
基于各传感器的曝光时间、对应的起始帧信号时间以及对齐后的时间轴确定各传感器当前帧的真实触发时刻；
基于各传感器的真实触发时刻确定各传感器的当前帧是否同步。
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据多传感器帧同步确定装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至多传感器帧同步确定装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述任一项多传感器帧同步确定方法。
请参考图9，其示出了本申请一实施例提供的电子设备的结构示意图。
如图9所示，该设备包括：一个或多个处理器910以及存储器920，图9中以一个处理器910为例。多传感器帧同步确定方法的设备还可以包括：输入装置930和输出装置940。处理器910、存储器920、输入装置930和输出装置940可以通过总线或者其他方式连接，图9中以通过总线连接为例。存储器920为上述的非易失性计算机可读存储介质。处理器910通过运行存储在存储器920中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例多传感器帧同步确定方法。输入装置930可接收输入的数字或字符信息，以及产生与多传感器帧同步确定装置的用户设置以及功能控制有关的键信号输入。输出装置940可包括显示屏等显示设备。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
作为一种实施方式，上述电子设备应用于多传感器帧同步确定装置中，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
接收用于触发各传感器的同步的预设帧率信号和多个不同帧率的信号，其中，所述预设帧率信号用于建立同步时间轴，所述不同帧率的信号对应不同帧率的传感器，其中，设置所有传感器为触发出数据；
将所述多个不同帧率的信号透传至各传感器，利用与所述同步时间轴对齐后的多个时间轴记录各传感器接收到的当前帧的起始帧信号时间；
基于各传感器的曝光时间、对应的起始帧信号时间以及对齐后的时间轴确定各传感器当前帧的真实触发时刻；
基于各传感器的真实触发时刻确定各传感器的当前帧是否同步。
本申请实施例的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种多传感器帧同步确定方法，包括：
接收用于触发各传感器的同步的预设帧率信号和多个不同帧率的信号，其中，所述预设帧率信号用于建立同步时间轴，所述不同帧率的信号对应不同帧率的传感器，其中，设置所有传感器为触发出数据；
将所述多个不同帧率的信号透传至各传感器，利用与所述同步时间轴对齐后的多个时间轴记录各传感器接收到的当前帧的起始帧信号时间；
基于各传感器的曝光时间、对应的起始帧信号时间以及对齐后的时间轴确定各传感器当前帧的真实触发时刻；
基于各传感器的真实触发时刻确定各传感器的当前帧是否同步。
2.根据权利要求1所述的方法，其特征在于，所述基于各传感器的曝光时间、对应的起始帧信号时间以及对齐后的时间轴确定各传感器当前帧的真实触发时刻包括：
基于各传感器的曝光时间将各传感器的当前帧的起始帧信号时间转换成触发时间；
将各传感器的当前帧的触发时间在所述对齐后的时间轴上往回偏移至所在时间轴上距离所述触发时间最近的时刻，作为各传感器当前帧的真实触发时刻。
3.根据权利要求2所述的方法，其特征在于，所述基于各传感器的曝光时间将各传感器的当前帧的起始帧信号时间转换成触发时间包括：
利用各传感器的当前帧的起始帧时间减去各传感器的曝光时间得到各传感器的当前帧的触发时间。
4.根据权利要求2所述的方法，其特征在于，将各传感器的当前帧的触发时间在所述对齐后的时间轴上往回偏移至所在时间轴上距离所述触发时间最近的时刻，作为各传感器当前帧的真实触发时刻包括：
将各传感器的当前帧的触发时间在所述对齐后的时间轴上往回偏移至所在时间轴上距离所述触发时间最近的时刻，判断往回偏移的时间是否超过预设阈值；
若往回偏移至所在时间轴上距离所述触发时间最近的时刻的时间超过预设阈值，则放弃偏移；
若往回偏移至所在时间轴上距离所述触发时间最近的时刻的时间不超过预设阈值，则将偏移后的时刻作为各传感器当前帧的真实触发时刻。
5.根据权利要求1所述的方法，其特征在于，所述将所述多个不同帧率的信号透传至各传感器，利用与所述同步时间轴对齐后的多个时间轴记录各传感器接收到的当前帧的起始帧信号时间包括：
将所述多个不同帧率的信号经由多个对应的解串器透传至与所述解串器相连的传感器，其中，每一解串器连接一个或多个对应帧率的串行器，每一串行器连接一个传感器模块；
基于所述同步时间轴对所述多个不同帧率的信号进行时间轴对齐，利用所述对齐后的时间轴记录各传感器接收到的当前帧的起始帧信号时间。
6.根据权利要求1所述的方法，其特征在于，所述基于各传感器的真实触发时刻确定各传感器的当前帧是否同步包括：
若存在至少两路传感器的当前帧的真实触发时刻相同，则确定所述至少两路传感器的当前帧同步；
若不存在任意两路传感器的当前帧的真实触发时刻相同，则确定不存在同步的当前帧，继续计算各传感器的下一帧是否同步。
7.根据权利要求6所述的方法，其特征在于，在确定所述至少两路传感器的当前帧同步之后，所述方法还包括：
将所述至少两路传感器的当前帧用于后续数据融合和数据处理。
8.一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410403474.4A CN117998026B (zh) | 2024-04-03 | 多传感器帧同步确定方法、存储介质和计算机程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410403474.4A CN117998026B (zh) | 2024-04-03 | 多传感器帧同步确定方法、存储介质和计算机程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117998026A true CN117998026A (zh) | 2024-05-07 |
| CN117998026B CN117998026B (zh) | 2024-06-28 |
Family
ID=
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114697465A (zh) * | 2020-12-30 | 2022-07-01 | 格科微电子（上海）有限公司 | 多图像传感器同步、协作方法及装置、存储介质、终端 |
| CN116156074A (zh) * | 2022-11-21 | 2023-05-23 | 辉羲智能科技(上海)有限公司 | 一种多摄像头采集时间同步方法 |
| CN116389945A (zh) * | 2023-03-13 | 2023-07-04 | 黑芝麻科技公司 | 多传感器系统的同步 |
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114697465A (zh) * | 2020-12-30 | 2022-07-01 | 格科微电子（上海）有限公司 | 多图像传感器同步、协作方法及装置、存储介质、终端 |
| CN116156074A (zh) * | 2022-11-21 | 2023-05-23 | 辉羲智能科技(上海)有限公司 | 一种多摄像头采集时间同步方法 |
| CN116389945A (zh) * | 2023-03-13 | 2023-07-04 | 黑芝麻科技公司 | 多传感器系统的同步 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101722068B1 (ko) | 디바이스의 다수의 센서들로부터 수신된 데이터를 동기화시키는 방법들 및 시스템들 | |
| US8539108B2 (en) | Distributed robust clock synchronization | |
| CN111541919B (zh) | 视频帧传输方法、装置、电子设备及可读存储介质 | |
| CN109445425B (zh) | 自动驾驶系统的性能检测方法、装置及存储介质 | |
| EP3163887A1 (en) | Method and apparatus for performing media synchronization | |
| CN109714415A (zh) | 数据处理方法及装置 | |
| CN112994980B (zh) | 时延测试方法、装置、电子设备和存储介质 | |
| CN110636603A (zh) | 飞行器时间同步系统及方法 | |
| CN113498625A (zh) | 时钟同步方法和装置、芯片系统、无人机和终端 | |
| CN117998026B (zh) | 多传感器帧同步确定方法、存储介质和计算机程序产品 | |
| CN110234029B (zh) | 多传感器数据的播放处理方法、装置、设备和存储介质 | |
| CN110677623A (zh) | 数据处理的方法、装置、设备和存储介质 | |
| CN109587188B (zh) | 确定终端设备之间相对位置关系的方法、装置及电子设备 | |
| CN117998026A (zh) | 多传感器帧同步确定方法、存储介质和计算机程序产品 | |
| CN112489224A (zh) | 图像绘制方法、装置、可读介质及电子设备 | |
| CN114666455A (zh) | 拍摄控制方法、装置、存储介质及电子装置 | |
| CN109933418B (zh) | 一种时间戳同步方法、电子设备及异构设备 | |
| CN116033199A (zh) | 多设备音视频同步方法、装置、电子设备及存储介质 | |
| WO2023001230A1 (zh) | 电路检测点电压滤波方法、开关状态检测方法及相关装置 | |
| CN112740579B (zh) | 数据传输方法、装置及相关设备 | |
| CN113765611B (zh) | 时间戳确定方法及相关设备 | |
| CN114579421A (zh) | 一种卡顿测试方法及装置 | |
| CN115017073B (zh) | 通信控制器的使能方法、装置、电子设备及存储介质 | |
| CN112102796B (zh) | 使用摄像头获取环境光信息的方法、装置及终端设备 | |
| CN113144620B (zh) | 帧同步游戏的检测方法、装置、平台、可读介质和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |