CN116366780B - 用于帧同步的帧序号确定方法、装置及车辆 - Google Patents
用于帧同步的帧序号确定方法、装置及车辆 Download PDFInfo
- Publication number
- CN116366780B CN116366780B CN202310376731.5A CN202310376731A CN116366780B CN 116366780 B CN116366780 B CN 116366780B CN 202310376731 A CN202310376731 A CN 202310376731A CN 116366780 B CN116366780 B CN 116366780B
- Authority
- CN
- China
- Prior art keywords
- frame
- interval
- initial
- timestamp
- ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000004044 response Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/12—Devices in which the synchronising signals are only operative if a phase difference occurs between synchronising and synchronised scanning devices, e.g. flywheel synchronising
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
Abstract
本公开涉及一种用于帧同步的帧序号确定方法、装置及车辆，通过获取至少一个摄像头采集的目标图像，根据该目标图像的时间戳与初始时间戳之间的第一间隔时长，以及该至少一个摄像头采用的帧间隔，确定单个摄像头在该第一间隔时长之内采集的帧数，根据该第一间隔时长之内采集的帧数，生成该目标图像的帧序号，能够为多个摄像头采集的图像数据生成帧序号，使得多个摄像头发送的图像数据中，相同时间戳的图像的帧序号是一致的。
Description
技术领域
本公开涉及自动驾驶领域，尤其涉及一种用于帧同步的帧序号确定方法、装置及车辆。
背景技术
相关技术中，多个摄像头能够向自动驾驶系统提供图像以及图像元数据。正常情况下，帧序号包含在图像元数据里面，但在实际应用中，该图像元数据中的帧序号是缺失的，因此需要一个确定帧序号的方法。
发明内容
为克服相关技术中存在的问题，本公开提供一种用于帧同步的帧序号确定方法、装置及系统。
根据本公开实施例的第一方面，提供一种用于帧同步的帧序号确定方法，包括：
获取至少一个摄像头采集的目标图像；
根据所述目标图像的时间戳与初始时间戳之间的第一间隔时长，以及所述至少一个摄像头采用的帧间隔，确定单个摄像头在所述第一间隔时长之内采集的帧数；
根据所述第一间隔时长之内采集的帧数，生成所述目标图像的帧序号。
可选地，所述根据所述目标图像的时间戳与初始时间戳之间的第一间隔时长，以及所述至少一个摄像头采用的帧间隔，确定单个摄像头在所述第一间隔时长之内采集的帧数，包括：
将所述目标图像的时间戳与初始时间戳之间的第一间隔时长，与所述帧间隔相除，以得到第一比值；
将所述第一比值向下取整，以得到在所述第一间隔时长之内采集的所述帧数。
可选地，所述方法还包括：
根据所述第一间隔时长除以所述帧间隔所得到的余数，对所述初始时间戳进行修正。
可选地，所述根据所述第一间隔时长除以所述帧间隔所得到的余数，对所述初始时间戳进行修正，包括：
在所述余数小于半帧间隔的情况下，将所述初始时间戳与所述余数之和作为更新后的初始时间戳，其中，所述半帧间隔是所述帧间隔的一半；和/或，
在所述余数大于或等于所述半帧间隔的情况下，将所述初始时间戳与目标差值之和作为更新后的初始时间戳，其中，所述目标差值是所述余数与所述帧间隔之间的差值。
可选地，所述根据所述第一间隔时长之内采集的帧数，生成所述目标图像的帧序号，包括：
根据所述初始时间戳，确定对应的初始帧序号；
根据所述初始帧序号与所述帧数之和，生成所述目标图像的帧序号。
可选地，所述根据所述初始时间戳，确定对应的初始帧序号，包括：
确定所述初始时间戳与所述帧间隔之间的第二比值；
根据所述第二比值的小数部分与半帧间隔之间的大小关系，对所述第二比值的小数部分进行取整，以得到取整数值，其中，所述半帧间隔是所述帧间隔的一半；
将所述第二比值的整数部分与所述取整数值之和，以得到所述初始时间戳对应的初始帧序号。
可选地，所述方法还包括：
响应于从任一摄像头获取到首帧图像，将所述首帧图像的时间戳确定为所述初始时间戳。
根据本公开实施例的第二方面，提供一种用于帧同步的帧序号确定装置，包括：
获取模块，用于获取至少一个摄像头采集的目标图像；
确定模块，用于根据所述目标图像的时间戳与初始时间戳之间的第一间隔时长，以及所述至少一个摄像头采用的帧间隔，确定单个摄像头在所述第一间隔时长之内采集的帧数；
生成模块，用于根据所述第一间隔时长之内采集的帧数，生成所述目标图像的帧序号。
获取模块，用于获取至少一个摄像头采集的目标图像；
确定模块，用于根据所述目标图像的时间戳与初始时间戳之间的第一间隔时长，以及所述至少一个摄像头采用的帧间隔，确定单个摄像头在所述第一间隔时长之内采集的帧数；
生成模块，用于根据所述第一间隔时长之内采集的帧数，生成所述目标图像的帧序号。
可选地，所述确定模块具体用于：
将所述目标图像的时间戳与初始时间戳之间的第一间隔时长，与所述帧间隔相除，以得到第一比值；
将所述第一比值向下取整，以得到在所述第一间隔时长之内采集的所述帧数。
可选地，所述装置还包括：
修正模块，用于根据所述第一间隔时长除以所述帧间隔所得到的余数，对所述初始时间戳进行修正。
可选地，所述修正模块具体用于：
在所述余数小于半帧间隔的情况下，将所述初始时间戳与所述余数之和作为更新后的初始时间戳，其中，所述半帧间隔是所述帧间隔的一半；和/或，
在所述余数大于或等于所述半帧间隔的情况下，将所述初始时间戳与目标差值之和作为更新后的初始时间戳，其中，所述目标差值是所述余数与所述帧间隔之间的差值。
可选地，所述生成模块具体用于：
根据所述初始时间戳，确定对应的初始帧序号；
根据所述初始帧序号与所述帧数之和，生成所述目标图像的帧序号。
可选地，所述生成模块具体用于：
确定所述初始时间戳与所述帧间隔之间的第二比值；
根据所述第二比值的小数部分与半帧间隔之间的大小关系，对所述第二比值的小数部分进行取整，以得到取整数值，其中，所述半帧间隔是所述帧间隔的一半；
将所述第二比值的整数部分与所述取整数值之和，以得到所述初始时间戳对应的初始帧序号。
可选地，所述装置还包括：
第二确定模块，用于响应于从任一摄像头获取到首帧图像，将所述首帧图像的时间戳确定为所述初始时间戳。
根据本公开实施例的第三方面，提供一种车辆，包括：
处理器；
至少一个摄像头；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
实现本公开第一方面所提供的用于帧同步的帧序号确定方法的步骤。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的用于帧同步的帧序号确定方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：能够根据获取到的采集的图像的时间戳，为多个摄像头采集的图像数据生成帧序号，使得多个摄像头发送的图像数据中，相同时间戳的图像的帧序号是一致的，有效方便了后续自动驾驶系统对该图像数据的处理。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种用于帧同步的帧序号确定方法的流程图；
图2是根据一示例性实施例示出的一种用于帧同步的帧序号确定方法的流程图；
图3是根据一示例性实施例示出的一种获取目标图像的示意图；
图4是根据一示例性实施例示出的一种用于帧同步的帧序号确定方法的流程图；
图5是根据一示例性实施例示出的一种用于帧同步的帧序号确定装置的框图；
图6是一示例性实施例示出的一种车辆的功能框图示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
图1是根据一示例性实施例示出的一种用于帧同步的帧序号确定方法的流程图，如图1所示，该方法用于终端设备中，包括以下步骤。
其中，需要说明的是，本公开实施例中的终端设备是用户侧的一种用于接收或发射信号且可以对信号进行处理的实体。终端设备可以是具备通信功能的汽车、智能汽车、工业控制(Industrial Control)中的无线终端设备、无人驾驶(Self-Driving)中的无线终端设备、运输安全(Transportation Safety)中的无线终端设备等等。本公开实施例对终端设备所采用的具体技术和具体设备形态不做限定。
步骤S101，获取至少一个摄像头采集的目标图像。
在本公开实施例中，终端能够获取至少一个摄像头采集的目标图像。
其中，需要说明的是，该至少一个摄像头可以认为是时间同步的，能够在同一时刻采集目标图像。也就是，该至少一个摄像头采集的目标图像具有相同的时间戳，对应的帧序号相同。
步骤S102，根据该目标图像的时间戳与初始时间戳之间的第一间隔时长，以及该至少一个摄像头采用的帧间隔，确定单个摄像头在该第一间隔时长之内采集的帧数。
在本公开实施例中，能够根据该目标图像的时间戳和初始时间戳之间的第一间隔时长，以及摄像头采用的帧间隔，确定单个摄像头在该第一间隔时长内采集的帧数。
可以理解的是，帧间隔是指该单个摄像头传输每两帧图像之间的间隔。
在一些实施方式中，确定该帧数包括：将该目标图像的时间戳与初始时间戳之间的第一间隔时长，与该帧间隔相除，以得到第一比值；将该第一比值向下取整，以得到在该第一间隔时长之内采集的该帧数。
在一些实施方式中，还能够根据该第一间隔时长，对该初始时间戳进行修正。
可选地，根据该第一间隔时长除以该帧间隔所得到的余数，对该初始时间戳进行修正。
可选地，在该余数小于半帧间隔的情况下，将该初始时间戳与该余数之和作为更新后的初始时间戳，其中，该半帧间隔是该帧间隔的一半；和/或，
在该余数大于或等于该半帧间隔的情况下，将该初始时间戳与目标差值之和作为更新后的初始时间戳，其中，该目标差值是该余数与该帧间隔之间的差值。
步骤S103，根据该第一间隔时长之内采集的帧数，生成该目标图像的帧序号。
在本公开实施例中，能够根据前述步骤得到的，该第一间隔时长内采集的帧数，生成该目标图像的帧序号(也可以称为帧ID)。
在一些实施方式中，能够根据该初始时间戳，确定该初始时间戳对应的初始帧序号，根据该初始帧序号与该帧数之和，生成该目标图像的帧序号。
在一些实施方式中，根据该初始时间戳，确定该初始时间戳对应的初始帧序号包括：
确定该初始时间戳与该帧间隔之间的第二比值；
根据该第二比值的小数部分与半帧间隔之间的大小关系，对该第二比值的小数部分进行取整，以得到取整数值，其中，该半帧间隔是该帧间隔的一半；
将该第二比值的整数部分与该取整数值之和，以得到该初始时间戳对应的初始帧序号。
在本公开实施例中，响应于从任一摄像头获取到首帧图像，将该首帧图像的时间戳确定为该初始时间戳。
本公开实施例通过获取至少一个摄像头采集的目标图像，根据该目标图像的时间戳与初始时间戳之间的第一间隔时长，以及该至少一个摄像头采用的帧间隔，确定单个摄像头在该第一间隔时长之内采集的帧数，根据该第一间隔时长之内采集的帧数，生成该目标图像的帧序号，能够为多个摄像头采集的图像数据生成帧序号，使得多个摄像头发送的图像数据中，相同时间戳的图像的帧序号是一致的。
图2是根据一示例性实施例示出的一种用于帧同步的帧序号确定方法的流程图，如图2所示，该方法用于终端中，包括以下步骤。
步骤S201，获取至少一个摄像头采集的目标图像。
在本公开实施例中，能够获取至少一个摄像头采集的目标图像。其中，需要说明的是，该至少一个摄像头可以认为是时间同步的，能够在同一时刻采集目标图像。该至少一个摄像头采集的目标图像具有相同的时间戳，对应的帧序号相同。
作为一种示例，如图3所示，在该系统中包括多个摄像头(图中以3个为例，为相机1、相机2和相机3)，在时刻1这个时间点，3个摄像头会分别采集并发出一张图像，每个图像都有一个曝光时间。由于是都在时刻1拍摄的，所以3个摄像头采集的该帧图像的时间戳非常接近，误差在1毫秒之内，可以认为是具有相同的时间戳，对应的帧序号相同。类似地，在时刻2以及时刻3的时间点，3个摄像头也会分别采集并发出一张图像。可以理解的是，该时刻2与该时刻1之间的时间间隔为该摄像头采用的帧间隔，该时刻3与该时刻2之间的时间间隔也未该摄像头采用的帧间隔。
步骤S202，将该目标图像的时间戳与初始时间戳之间的第一间隔时长，与该至少一个摄像头采用的帧间隔相除，以得到第一比值。
在本公开实施例中，能够将该目标图像的时间戳与初始时间戳之间的第一间隔时长，与该至少一个摄像头采用的帧间隔相除，以得到第一比值，以进一步确定单个摄像头在该第一间隔时长内采集的帧数。
可以理解的是，帧间隔是指该单个摄像头发出的每两帧连续的图像之间的间隔。
作为一种示例，该摄像头采用的帧间隔为33(100/3)毫秒，即每100毫秒发送三帧图像。如图3所示的示例，3个摄像头连续在时刻1、时刻2以及时刻3分别采集并发出一张图像，其中，时刻2＝时刻1+33毫秒，时刻3＝时刻1+66毫秒。
需要说明的是，在本公开实施例中，确定该初始时间戳的方法是：响应于从任一摄像头获取到首帧图像，将该首帧图像的时间戳确定为该初始时间戳。
可以理解的是，考虑到可能存在多线程同时到达(同时获取到多帧图像)的问题，因此需要增加限制条件以保证只设置一次初始时间戳。
在一些实施方式中，还能够根据该第一间隔时长，对该初始时间戳进行修正。
可选地，根据该第一间隔时长除以该帧间隔所得到的余数，对该初始时间戳进行修正。
可选地，在该余数小于半帧间隔的情况下，将该初始时间戳与该余数之和作为更新后的初始时间戳，其中，该半帧间隔是该帧间隔的一半；和/或，
在该余数大于或等于该半帧间隔的情况下，将该初始时间戳与目标差值之和作为更新后的初始时间戳，其中，该目标差值是该余数与该帧间隔之间的差值。
步骤S203，将该第一比值向下取整，以得到单个摄像头在该第一间隔时长内采集的帧数。
在本公开实施例中，能够将前述步骤计算出的该第一比值向下取整，以得到单个摄像头在该第一间隔时长内采集的帧数。
步骤S204，根据该初始时间戳，确定该初始时间戳对应的初始帧序号。
在本公开实施例中，能够根据该初始时间戳，确定该初始时间戳对应的初始帧序号。可以理解的是，该初始帧序号是一个唯一确定的数字。
在本公开实施例中，确定该初始时间戳对应的初始帧序号包括：
确定该初始时间戳与该帧间隔之间的第二比值；
根据该第二比值的小数部分与半帧间隔之间的大小关系，对该第二比值的小数部分进行取整，以得到取整数值，其中，该半帧间隔是该帧间隔的一半；
将该第二比值的整数部分与该取整数值之和，以得到该初始时间戳对应的初始帧序号。
作为一种示例，该帧间隔为100/3毫秒，记该初始时间戳为image_ms，该第二比值为(image_ms/100)*3；该第二比值的小数部分可以表示为((image_ms*3)％100)/100。其中，％表示取余。如果该第二比值的小数部分小于1/2，则对该第二比值的小数部分取整以得到的取整数值为0；如果该第二比值的小数部分大于或者等于1/2，则对该第二比值的小区部分取整以得到的取整数值为1。该初始时间戳对应的初始帧序号为该第二比值的整数部分与该取整数值之和。
作为上述示例的另一种表述方式，该帧间隔为100/3毫秒，记该初始时间戳为image_ms，可以将该初始时间戳image_ms表示为(a*100+x)毫秒，可以理解的是，由于帧间隔为100/3毫秒，也就是每100毫秒有3帧图像，因此，该初始时间戳中整除100毫秒的部分所包括的帧数为 其中，/>表示向下取整。
无法整除100毫秒的剩余的部分所包括的帧数为 其中，kCameraFrameTime表示帧间隔，kHalfCameraFrameTime表示半帧间隔，是该帧间隔的一半。
该初始时间戳对应的初始帧序号为上述两部分帧数之和，即，
步骤S205，根据该初始帧序号与该第一间隔时长之内采集的帧数，生成该目标图像的帧序号。
在本公开实施例中，能够根据前述步骤得到的，该初始帧序号以及该第一间隔时长内采集的帧数，生成该目标图像的帧序号(也可以称为帧ID)。
在本公开实施例中，该目标图像的帧序号为该初始帧序号与该第一间隔时长之内采集的帧数之和。
本公开实施例通过获取至少一个摄像头采集的目标图像，将该目标图像的时间戳与初始时间戳之间的第一间隔时长，与该至少一个摄像头采用的帧间隔相除，以得到第一比值，将该第一比值向下取整，以得到单个摄像头在该第一间隔时长内采集的帧数，根据该初始时间戳，确定该初始时间戳对应的初始帧序号，根据该初始帧序号与该第一间隔时长之内采集的帧数，生成该目标图像的帧序号，能够为多个摄像头采集的图像数据生成帧序号，使得多个摄像头发送的图像数据中，相同时间戳的图像的帧序号是一致的。
图4是根据一示例性实施例示出的一种用于帧同步的帧序号确定方法的流程图，如图4所示，该方法用于终端中，包括以下步骤。
步骤S401，获取至少一个摄像头采集的目标图像。
在本公开实施例中，能够获取至少一个摄像头采集的目标图像。其中，需要说明的是，该至少一个摄像头可以认为是时间同步的，能够在同一时刻采集目标图像。该至少一个摄像头采集的目标图像具有相同的时间戳，对应的帧序号相同。
作为一种示例，如图3所示，在该系统中包括多个摄像头(图中以3个为例，为相机1、相机2和相机3)，在时刻1这个时间点，3个摄像头会分别采集并发出一张图像，每个图像都有一个曝光时间。由于是都在时刻1拍摄的，所以3个摄像头采集的该帧图像的时间戳非常接近，误差在1毫秒之内，可以认为是具有相同的时间戳，对应的帧序号相同。类似地，在时刻2以及时刻3的时间点，3个摄像头也会分别采集并发出一张图像。可以理解的是，该时刻2与该时刻1之间的时间间隔为该摄像头采用的帧间隔，该时刻3与该时刻2之间的时间间隔也未该摄像头采用的帧间隔。
步骤S402，将该目标图像的时间戳与初始时间戳之间的第一间隔时长，与该至少一个摄像头采用的帧间隔相除，以得到第一比值。
在本公开实施例中，能够将该目标图像的时间戳与初始时间戳之间的第一间隔时长，与该至少一个摄像头采用的帧间隔相除，以得到第一比值，以进一步确定单个摄像头在该第一间隔时长内采集的帧数。
可以理解的是，帧间隔是指该单个摄像头发出的每两帧连续的图像之间的间隔。
作为一种示例，该摄像头采用的帧间隔为33(100/3)毫秒，即每100毫秒发送三帧图像。如图3所示的示例，3个摄像头连续在时刻1、时刻2以及时刻3分别采集并发出一张图像，其中，时刻2＝时刻1+33毫秒，时刻3＝时刻1+66毫秒。
需要说明的是，在本公开实施例中，确定该初始时间戳的方法是：响应于从任一摄像头获取到首帧图像，将该首帧图像的时间戳确定为该初始时间戳。
可以理解的是，考虑到可能存在多线程同时到达(同时获取到多帧图像)的问题，因此需要增加限制条件以保证只设置一次初始时间戳。
步骤S403，将该第一比值向下取整，以得到单个摄像头在该第一间隔时长内采集的帧数。
在本公开实施例中，能够将前述步骤计算出的该第一比值向下取整，以得到单个摄像头在该第一间隔时长内采集的帧数。
步骤S404，根据该第一间隔时长，对该初始时间戳进行修正。
在本公开实施例中，还能够根据该第一间隔时长，对该初始时间戳进行修正。由于在实际应用过程中，在摄像头运行一段时间之后，可能会出现一定误差，可能会存在需要修正该初始时间戳的情况。
在本公开实施例中，可以根据该第一间隔时长除以该帧间隔所得到的余数，对该初始时间戳进行修正。
可选地，在该余数小于半帧间隔的情况下，将该初始时间戳与该余数之和作为更新后的初始时间戳，其中，该半帧间隔是该帧间隔的一半；和/或，
在该余数大于或等于该半帧间隔的情况下，将该初始时间戳与目标差值之和作为更新后的初始时间戳，其中，该目标差值是该余数与该帧间隔之间的差值。
作为一种示例，该第一间隔时长除以该帧间隔所得到的余数记为diff＝image_from_begin_ms％kCameraFrameTime，其中，image_from_begin_ms表示该第一间隔时长(也就是该目标图像的时间戳与该初始时间戳之间的间隔时长)，kCameraFrameTime表示该帧间隔。
如果该diff小于kHalfCameraFrameTime，则该初始时间戳与diff之和作为更新后的初始时间戳，即，更新的初始时间戳＝该初始时间戳+diff。
如果该diff大于或等于kHalfCameraFrameTime，将该初始时间戳与目标差值之和作为更新后的初始时间戳，其中，该目标差值为该diff与帧间隔之间侧差值。即，更新的初始时间戳＝该初始时间戳+diff-帧间隔。
其中，kHalfCameraFrameTime表示半帧间隔，是该帧间隔的一半。
作为一种示例，该帧间隔kCameraFrameTime为33毫秒，该半帧间隔kHalfCameraFrameTime为17毫秒。在没有误差的情况下，该第一间隔时长应该为33的整数倍。
如果存在误差，比如该初始时间戳为1毫秒，该目标图像的时间戳为35毫秒，则该第一间隔时长为34毫秒，计算得到该diff为该第一间隔时长除以该帧间隔，即diff＝1，diff小于该半帧间隔17，因此，更新的初始时间戳＝该初始时间戳+diff，即更新的初始时间戳为2毫秒，修正后的初始时间戳与该目标图像的时间戳之间的间隔时长为该帧间隔的整数倍。
又或者，比如该初始时间戳为1毫秒，该目标图像的时间戳为33毫秒，则该第一间隔时长为32毫秒，计算得到该diff为该第一间隔时长除以该帧间隔，即diff＝32，diff大于该半帧间隔17，因此，更新的初始时间戳＝该初始时间戳+diff-帧间隔，即更新的初始时间戳为0毫秒，修正后的初始时间戳与该目标图像的时间戳之间的间隔时长为该帧间隔的整数倍。
步骤S405，根据该初始时间戳，确定该初始时间戳对应的初始帧序号。
在本公开实施例中，能够根据该初始时间戳，确定该初始时间戳对应的初始帧序号。可以理解的是，该初始帧序号是一个唯一确定的数字。
在本公开实施例中，确定该初始时间戳对应的初始帧序号包括：
确定该初始时间戳与该帧间隔之间的第二比值；
根据该第二比值的小数部分与半帧间隔之间的大小关系，对该第二比值的小数部分进行取整，以得到取整数值，其中，该半帧间隔是该帧间隔的一半；
将该第二比值的整数部分与该取整数值之和，以得到该初始时间戳对应的初始帧序号。
作为一种示例，该帧间隔为100/3毫秒，记该初始时间戳为image_ms，该第二比值为(image_ms/100)*3；该第二比值的小数部分可以表示为((image_ms*3)％100)/100。其中，％表示取余。如果该第二比值的小数部分小于1/2，则对该第二比值的小数部分取整以得到的取整数值为0；如果该第二比值的小数部分大于或者等于1/2，则对该第二比值的小区部分取整以得到的取整数值为1。该初始时间戳对应的初始帧序号为该第二比值的整数部分与该取整数值之和。
作为上述示例的另一种表述方式，该帧间隔为100/3毫秒，记该初始时间戳为image_ms，可以将该初始时间戳image_ms表示为(a*100+x)毫秒，可以理解的是，由于帧间隔为100/3毫秒，也就是每100毫秒有3帧图像，因此，该初始时间戳中整除100毫秒的部分所包括的帧数为 其中，/>表示向下取整。
无法整除100毫秒的剩余的部分所包括的帧数为 其中，kCameraFrameTime表示帧间隔，kHalfCameraFrameTime表示半帧间隔，是该帧间隔的一半。
该初始时间戳对应的初始帧序号为上述两部分帧数之和，即，
步骤S406，根据该初始帧序号与该第一间隔时长之内采集的帧数，生成该目标图像的帧序号。
在本公开实施例中，能够根据前述步骤得到的，该初始帧序号以及该第一间隔时长内采集的帧数，生成该目标图像的帧序号(也可以称为帧ID)。
在本公开实施例中，该目标图像的帧序号为该初始帧序号与该第一间隔时长之内采集的帧数之和。
本公开实施例通过获取至少一个摄像头采集的目标图像，将该目标图像的时间戳与初始时间戳之间的第一间隔时长，与该至少一个摄像头采用的帧间隔相除，以得到第一比值，将该第一比值向下取整，以得到单个摄像头在该第一间隔时长内采集的帧数，根据该第一间隔时长，对该初始时间戳进行修正，根据该初始时间戳，确定该初始时间戳对应的初始帧序号，根据该初始帧序号与该第一间隔时长之内采集的帧数，生成该目标图像的帧序号，能够为多个摄像头采集的图像数据生成帧序号，使得多个摄像头发送的图像数据中，相同时间戳的图像的帧序号是一致的。
图5是根据一示例性实施例示出的一种用于帧同步的帧序号确定装置框图。参照图5，该装置500包括获取模块510，确定模块520和生成模块530。
其中，获取模块510，用于获取至少一个摄像头采集的目标图像；
确定模块520，用于根据该目标图像的时间戳与初始时间戳之间的第一间隔时长，以及该至少一个摄像头采用的帧间隔，确定单个摄像头在该第一间隔时长之内采集的帧数；
生成模块530，用于根据该第一间隔时长之内采集的帧数，生成该目标图像的帧序号。
可选地，该确定模块520具体用于：
将该目标图像的时间戳与初始时间戳之间的第一间隔时长，与该帧间隔相除，以得到第一比值；
将该第一比值向下取整，以得到在该第一间隔时长之内采集的该帧数。
可选地，该装置还包括：
修正模块(图中未示出)，用于根据该第一间隔时长除以该帧间隔所得到的余数，对该初始时间戳进行修正。
可选地，该修正模块具体用于：
在该余数小于半帧间隔的情况下，将该初始时间戳与该余数之和作为更新后的初始时间戳，其中，该半帧间隔是该帧间隔的一半；和/或，
在该余数大于或等于该半帧间隔的情况下，将该初始时间戳与目标差值之和作为更新后的初始时间戳，其中，该目标差值是该余数与该帧间隔之间的差值。
可选地，该生成模块530具体用于：
根据该初始时间戳，确定对应的初始帧序号；
根据该初始帧序号与该帧数之和，生成该目标图像的帧序号。
可选地，该生成模块530具体用于：
确定该初始时间戳与该帧间隔之间的第二比值；
根据该第二比值的小数部分与半帧间隔之间的大小关系，对该第二比值的小数部分进行取整，以得到取整数值，其中，该半帧间隔是该帧间隔的一半；
将该第二比值的整数部分与该取整数值之和，以得到该初始时间戳对应的初始帧序号。
可选地，该装置还包括：
第二确定模块(图中未示出)，用于响应于从任一摄像头获取到首帧图像，将该首帧图像的时间戳确定为该初始时间戳。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种车辆600的框图。例如，车辆600可以是混合动力车辆，也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆600可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。
参照图6，车辆600可包括各种子系统，例如，信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640以及计算平台650。其中，车辆600还可以包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆600的每个子系统之间和每个部件之间可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐系统610可以包括通信系统，娱乐系统以及导航系统等。
感知系统620可以包括若干种传感器，用于感测车辆600周边的环境的信息。例如，感知系统620可包括全球定位系统(全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，IMU)、激光雷达、毫米波雷达、超声雷达以及摄像装置。
决策控制系统630可以包括计算系统、整车控制器、转向系统、油门以及制动系统。
驱动系统640可以包括为车辆600提供动力运动的组件。在一个实施例中，驱动系统640可以包括引擎、能量源、传动系统和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
车辆600的部分或所有功能受计算平台650控制。计算平台650可包括至少一个处理器651和存储器652，处理器651可以执行存储在存储器652中的指令653。
处理器651可以是任何常规的处理器，诸如商业可获得的CPU。处理器还可以包括诸如图像处理器(Graphic Process Unit，GPU)，现场可编程门阵列(FieldProgrammableGate Array，FPGA)、片上系统(System on Chip，SOC)、专用集成芯片(ApplicationSpecific Integrated Circuit，ASIC)或它们的组合。
存储器652可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
除了指令653以外，存储器652还可存储数据，例如道路地图，路线信息，车辆的位置、方向、速度等数据。存储器652存储的数据可以被计算平台650使用。
在本公开实施例中，处理器651可以执行指令653，以完成上述的用于帧同步的帧序号确定方法的全部或部分步骤。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的用于帧同步的帧序号确定方法的步骤。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (7)
1.一种用于帧同步的帧序号确定方法，其特征在于，包括：
获取至少一个摄像头采集的目标图像；
响应于从任一摄像头获取到首帧图像，将所述首帧图像的时间戳确定为初始时间戳；
根据所述目标图像的时间戳与初始时间戳之间的第一间隔时长，以及所述至少一个摄像头采用的帧间隔，确定单个摄像头在所述第一间隔时长之内采集的帧数，所述帧间隔是指所述单个摄像头发出的每两帧连续的图像之间的间隔；
根据所述第一间隔时长之内采集的帧数，生成所述目标图像的帧序号；
所述根据所述第一间隔时长之内采集的帧数，生成所述目标图像的帧序号，包括：
根据所述初始时间戳，确定对应的初始帧序号；
根据所述初始帧序号与所述帧数之和，生成所述目标图像的帧序号；
所述根据所述初始时间戳，确定对应的初始帧序号，包括：
确定所述初始时间戳与所述帧间隔之间的第二比值；
根据所述第二比值的小数部分与半帧间隔之间的大小关系，对所述第二比值的小数部分进行取整，以得到取整数值，其中，所述半帧间隔是所述帧间隔的一半；
将所述第二比值的整数部分与所述取整数值之和，以得到所述初始时间戳对应的初始帧序号。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像的时间戳与初始时间戳之间的第一间隔时长，以及所述至少一个摄像头采用的帧间隔，确定单个摄像头在所述第一间隔时长之内采集的帧数，包括：
将所述目标图像的时间戳与初始时间戳之间的第一间隔时长，与所述帧间隔相除，以得到第一比值；
将所述第一比值向下取整，以得到在所述第一间隔时长之内采集的所述帧数。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
根据所述第一间隔时长除以所述帧间隔所得到的余数，对所述初始时间戳进行修正。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一间隔时长除以所述帧间隔所得到的余数，对所述初始时间戳进行修正，包括：
在所述余数小于半帧间隔的情况下，将所述初始时间戳与所述余数之和作为更新后的初始时间戳，其中，所述半帧间隔是所述帧间隔的一半；和/或，
在所述余数大于或等于所述半帧间隔的情况下，将所述初始时间戳与目标差值之和作为更新后的初始时间戳，其中，所述目标差值是所述余数与所述帧间隔之间的差值。
5.一种用于帧同步的帧序号确定装置，其特征在于，包括：
获取模块，用于获取至少一个摄像头采集的目标图像；
第二确定模块，响应于从任一摄像头获取到首帧图像，将所述首帧图像的时间戳确定为初始时间戳；
确定模块，用于根据所述目标图像的时间戳与初始时间戳之间的第一间隔时长，以及所述至少一个摄像头采用的帧间隔，确定单个摄像头在所述第一间隔时长之内采集的帧数，所述帧间隔是指所述单个摄像头发出的每两帧连续的图像之间的间隔；
生成模块，用于根据所述第一间隔时长之内采集的帧数，生成所述目标图像的帧序号；
确定所述初始时间戳与所述帧间隔之间的第二比值；
根据所述第二比值的小数部分与半帧间隔之间的大小关系，对所述第二比值的小数部分进行取整，以得到取整数值，其中，所述半帧间隔是所述帧间隔的一半；
将所述第二比值的整数部分与所述取整数值之和，以得到所述初始时间戳对应的初始帧序号
根据所述初始时间戳，确定对应的初始帧序号；
根据所述初始帧序号与所述帧数之和，生成所述目标图像的帧序号；
所述根据所述初始时间戳，确定对应的初始帧序号，包括：
确定所述初始时间戳与所述帧间隔之间的第二比值；
根据所述第二比值的小数部分与半帧间隔之间的大小关系，对所述第二比值的小数部分进行取整，以得到取整数值，其中，所述半帧间隔是所述帧间隔的一半；
将所述第二比值的整数部分与所述取整数值之和，以得到所述初始时间戳对应的初始帧序号。
6.一种车辆，其特征在于，包括：
处理器；
至少一个摄像头；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
实现权利要求1-4中任一项所述方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-4中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310376731.5A CN116366780B (zh) | 2023-04-10 | 2023-04-10 | 用于帧同步的帧序号确定方法、装置及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310376731.5A CN116366780B (zh) | 2023-04-10 | 2023-04-10 | 用于帧同步的帧序号确定方法、装置及车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116366780A CN116366780A (zh) | 2023-06-30 |
| CN116366780B true CN116366780B (zh) | 2024-04-02 |
Family
ID=86904667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310376731.5A Active CN116366780B (zh) | 2023-04-10 | 2023-04-10 | 用于帧同步的帧序号确定方法、装置及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116366780B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116915978A (zh) * | 2023-08-07 | 2023-10-20 | 昆易电子科技(上海)有限公司 | 触发时间确定方法、数据采集系统、车辆以及工控机 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107231533A (zh) * | 2017-06-12 | 2017-10-03 | 深圳市瑞立视多媒体科技有限公司 | 一种同步曝光方法、装置及终端设备 |
| JP2017212515A (ja) * | 2016-05-24 | 2017-11-30 | 日本電信電話株式会社 | トランスコード装置、映像配信システム、トランスコード方法、映像配信方法及びトランスコードプログラム |
| CN109565563A (zh) * | 2016-08-09 | 2019-04-02 | 索尼公司 | 多相机系统、相机、相机的处理方法、确认装置以及确认装置的处理方法 |
| JP2020182243A (ja) * | 2020-07-28 | 2020-11-05 | ソニー株式会社 | 情報処理装置およびマルチカメラシステム |
| CN113906734A (zh) * | 2019-05-31 | 2022-01-07 | 日本电信电话株式会社 | 同步控制装置、同步控制方法以及同步控制程序 |
-
2023
- 2023-04-10 CN CN202310376731.5A patent/CN116366780B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017212515A (ja) * | 2016-05-24 | 2017-11-30 | 日本電信電話株式会社 | トランスコード装置、映像配信システム、トランスコード方法、映像配信方法及びトランスコードプログラム |
| CN109565563A (zh) * | 2016-08-09 | 2019-04-02 | 索尼公司 | 多相机系统、相机、相机的处理方法、确认装置以及确认装置的处理方法 |
| CN107231533A (zh) * | 2017-06-12 | 2017-10-03 | 深圳市瑞立视多媒体科技有限公司 | 一种同步曝光方法、装置及终端设备 |
| CN113906734A (zh) * | 2019-05-31 | 2022-01-07 | 日本电信电话株式会社 | 同步控制装置、同步控制方法以及同步控制程序 |
| JP2020182243A (ja) * | 2020-07-28 | 2020-11-05 | ソニー株式会社 | 情報処理装置およびマルチカメラシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116366780A (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220011448A1 (en) | Positioning method, device, medium and equipment | |
| CN111561937A (zh) | 用于精确定位的传感器融合 | |
| CN116366780B (zh) | 用于帧同步的帧序号确定方法、装置及车辆 | |
| JP2020091273A (ja) | 位置更新方法、位置及びナビゲーション経路の表示方法、車両並びにシステム | |
| CN111325086B (zh) | 信息处理系统、程序和信息处理方法 | |
| US11680822B2 (en) | Apparatus and methods for managing maps | |
| CN113240813B (zh) | 三维点云信息确定方法及装置 | |
| CN115657647B (zh) | 故障确定方法、装置、车辆及存储介质 | |
| CN116668602B (zh) | 相机图像同步方法、装置、车辆及存储介质 | |
| CN115223015A (zh) | 模型训练方法、图像处理方法、装置和车辆 | |
| CN116647303B (zh) | 时间同步方法、装置及存储介质 | |
| US20200072968A1 (en) | Method for indicating obstacle by smart roadside unit | |
| CN115593439B (zh) | 车辆控制方法、装置、车辆及存储介质 | |
| CN116108041B (zh) | 车辆测试数据的确定方法、装置、车辆和存储介质 | |
| CN117128976B (zh) | 道路中心线的获取方法、装置、车辆和存储介质 | |
| WO2023132147A1 (ja) | 情報管理システム、センター、情報管理方法、及びプログラム | |
| CN116363631B (zh) | 三维目标检测方法、装置及车辆 | |
| CN116758504A (zh) | 图像处理方法、装置、车辆与存储介质 | |
| CN117387644A (zh) | 定位方法、装置、电子设备、存储介质及程序产品 | |
| US11250275B2 (en) | Information processing system, program, and information processing method | |
| CN115900771B (zh) | 信息确定的方法、装置、车辆及存储介质 | |
| CN116678423B (zh) | 多源融合定位方法、装置及车辆 | |
| CN114842458B (zh) | 障碍物检测方法、装置、车辆和存储介质 | |
| CN115551020B (zh) | 车辆数据传输方法、装置、车辆及存储介质 | |
| CN116032413B (zh) | 通信方法、装置、车辆和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |