CN112751983B - 图像时间同步方法、装置、电子设备及存储介质 - Google Patents

图像时间同步方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112751983B
CN112751983B CN202110359538.1A CN202110359538A CN112751983B CN 112751983 B CN112751983 B CN 112751983B CN 202110359538 A CN202110359538 A CN 202110359538A CN 112751983 B CN112751983 B CN 112751983B
Authority
CN
China
Prior art keywords
image
sequence
timestamp
head
frame number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110359538.1A
Other languages
English (en)
Other versions
CN112751983A (zh
Inventor
陈士荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecarx Hubei Tech Co Ltd
Original Assignee
Hubei Ecarx Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Ecarx Technology Co Ltd filed Critical Hubei Ecarx Technology Co Ltd
Priority to CN202110359538.1A priority Critical patent/CN112751983B/zh
Publication of CN112751983A publication Critical patent/CN112751983A/zh
Application granted granted Critical
Publication of CN112751983B publication Critical patent/CN112751983B/zh
Priority to PCT/CN2021/112178 priority patent/WO2022205734A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising

Abstract

本申请实施例提供了一种图像时间同步方法、装置、电子设备及存储介质,方法包括:获取图像曝光的时间戳序列,并从时间戳序列中获取每个时间戳的系统时间;获取图像序列,并确定图像序列中每帧图像的系统时间;基于预先确定的图像生成时长,首次对齐时间戳序列中的时间戳和图像序列中的图像;计算首次对齐的时间戳的第一类帧号和首次对齐的图像的第二类帧号之间的标准帧号差;基于标准帧号差,匹配时间戳序列中每帧时间戳和图像序列中每帧图像,将与图像相匹配的时间戳确定为该帧图像的曝光时间戳。能够保证帧号差等同于标准帧号差的时间戳和图像是精确匹配的,进而将时间戳赋值给相匹配的图像,能够确定图像的高精准曝光时间。

Description

图像时间同步方法、装置、电子设备及存储介质
技术领域
本申请涉及智能车辆技术领域,特别是涉及一种图像时间同步方法、装置、电子设备及存储介质。
背景技术
传统的获取摄像机所拍摄图像的时间戳的方法是:在工控机系统端通过驱动获取图像后,将系统当前时间作为图像的时间戳。但这样是不够准确的,首先系统时钟并非高精度时钟,其次从驱动端获取图像的时间并非图像曝光时间,因此上述方法通常应用于一些弱实时性要求的系统中。
而对于实时性要求较高的车载智能驾驶或者高精地图采集作业系统中,需要更加精确的高精度时钟来进行摄像机时间同步。
针对这个问题,一些自动驾驶公司在智能车辆中应用了时间同步器,其原理为通过时间同步器自带的脉冲发生器为各传感器进行授时,从而提供高精度时间。在拍摄图像时,控制同步器产生脉冲信号,由脉冲信号控制车载相机曝光,则从同步器串口获取到的时间戳即为车载相机的高精度曝光时间。
然而,由于系统存在不稳定性,时间同步器的串口以及摄像机驱动都可能存在数据丢帧的问题,会导致时间戳数据和图像数据无法较为准确对应,在这种情况下,最终确定的图像的曝光时间戳也不够精准。
发明内容
本申请实施例的目的在于提供一种图像时间同步方法、装置、电子设备及存储介质,以确定图像的高精准曝光时间。具体技术方案如下:
为实现上述目的,本申请实施例提供了一种图像时间同步方法,所述方法包括:
获取图像曝光的时间戳序列,并从所述时间戳序列中获取每个时间戳的系统时间;
获取图像序列,并确定所述图像序列中每帧图像的系统时间;
基于预先确定的图像生成时长,首次对齐所述时间戳序列中的时间戳和所述图像序列中的图像,其中,首次对齐的时间戳的系统时间和首次对齐的图像的系统时间之差满足所述图像生成时长;
计算所述首次对齐的时间戳的第一类帧号和所述首次对齐的图像的第二类帧号之间的标准帧号差;
基于所述标准帧号差,匹配所述时间戳序列中每帧时间戳和所述图像序列中每帧图像,将与图像相匹配的时间戳确定为该帧图像的曝光时间戳。
可选的,所述基于预先确定的图像生成时长,首次对齐所述时间戳序列中的时间戳和所述图像序列中的图像的步骤,包括:
丢弃所述图像序列的前若干帧数据;
计算丢弃若干帧数据后图像队列的队首图像的系统时间与所述时间戳序列中队首时间戳的系统时间的系统时间差;
判断所述系统时间差是否满足所述图像生成时长;
若是,则确定丢弃若干帧数据后图像队列的队首图像和所述队首时间戳分别为首次对齐的图像和首次对齐的时间戳;
若否,丢弃所述队首时间戳,返回执行所述计算丢弃若干帧数据后图像队列的队首图像的系统时间与所述时间戳序列中队首时间戳的系统时间的系统时间差的步骤。
可选的,所述基于所述标准帧号差,匹配所述时间戳序列中每帧时间戳和所述图像序列中每帧图像,将与图像相匹配的时间戳确定为该帧图像的曝光时间戳的步骤,包括:
计算所述时间戳序列中队首时间戳的第一类帧号与所述图像序列中队首图像的第二类帧号之间的帧号差,判断该帧号差是否等同于所述标准帧号差,若是,则将所述队首时间戳确定为所述队首图像的曝光时间戳,并更新所述时间戳序列的队首时间戳和所述图像序列的队首图像,返回计算所述时间戳序列中队首时间戳的第一类帧号与所述图像序列中队首图像的第二类帧号之间的帧号差的步骤;
若该帧号差不等同于所述标准帧号差,则更新所述时间戳序列的队首时间戳或所述图像序列的队首图像,并返回计算所述时间戳序列中队首时间戳的第一类帧号与所述图像序列中队首图像的第二类帧号之间的帧号差的步骤。
可选的,所述更新所述时间戳序列的队首时间戳和所述图像序列的队首图像的步骤,包括:
丢弃所述时间戳序列中的队首时间戳,并将所丢弃的队首时间戳的下一时间戳确定为时间戳序列中新的队首时间戳;
丢弃所述图像序列中的队首图像,并将所丢弃的队首图像的下一图像确定为图像序列中新的队首图像。
可选的,所述若该帧号差不等同于所述标准帧号差,更新所述时间戳序列的队首时间戳或所述图像序列的队首图像的步骤,包括:
若该帧号差大于所述标准帧号差,丢弃所述图像序列中的队首图像,并将所丢弃的队首图像的下一图像确定为图像序列中新的队首图像;
若该帧号差小于所述标准帧号差,丢弃所述时间戳序列中的队首时间戳,并将所丢弃的队首时间戳的下一时间戳确定为时间戳序列中新的队首时间戳。
可选的,所述获取图像曝光的时间戳序列的步骤,包括:
从同步器串口获取图像曝光的时间戳序列,其中,每一时间戳均表示同步器产生的脉冲信号触发相机曝光的时间。
为实现上述目的,本申请实施例还提供了一种图像时间同步装置,所述装置包括:
第一获取模块,用于获取图像曝光的时间戳序列,并从所述时间戳序列中获取每个时间戳的系统时间;
第二获取模块,用于获取图像序列,并确定所述图像序列中每帧图像的系统时间;
对齐模块,用于基于预先确定的图像生成时长,首次对齐所述时间戳序列中的时间戳和所述图像序列中的图像,其中,首次对齐的时间戳的系统时间和首次对齐的图像的系统时间之差满足所述图像生成时长;
计算模块,用于计算所述首次对齐的时间戳的第一类帧号和所述首次对齐的图像的第二类帧号之间的标准帧号差;
匹配模块,用于基于所述标准帧号差,匹配所述时间戳序列中每帧时间戳和所述图像序列中每帧图像,将与图像相匹配的时间戳确定为该帧图像的曝光时间戳。
可选的,所述匹配模块,具体用于:
计算所述时间戳序列中队首时间戳的第一类帧号与所述图像序列中队首图像的第二类帧号之间的帧号差,判断该帧号差是否等同于所述标准帧号差,若是,则将所述队首时间戳确定为所述队首图像的曝光时间戳,并更新所述时间戳序列的队首时间戳和所述图像序列的队首图像,返回计算所述时间戳序列中队首时间戳的第一类帧号与所述图像序列中队首图像的第二类帧号之间的帧号差的步骤;
若该帧号差不等同于所述标准帧号差,则更新所述时间戳序列的队首时间戳或所述图像序列的队首图像,并返回计算所述时间戳序列中队首时间戳的第一类帧号与所述图像序列中队首图像的第二类帧号之间的帧号差的步骤。
为实现上述目的,本申请实施例还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一方法步骤。
为实现上述目的,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一方法步骤。
本申请实施例的有益效果:
应用本申请实施例提供的图像时间同步方法、装置、电子设备及存储介质,先进行时间戳和图像的首次对齐,计算首次对齐的时间戳的第一类帧号与首次对齐的图像的第二类帧号之间的标准帧号差,根据标准帧号差即可匹配时间戳序列中的时间戳和图像序列中的图像,并且能够保证帧号差等同于标准帧号差的时间戳和图像是精确匹配的,进而将时间戳赋值给相匹配的图像,能够确定图像的高精准曝光时间。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的图像时间同步方法的一种流程示意图;
图2为本申请实施例提供的时间戳和图像首次对齐的一种流程示意图;
图3为本申请实施例提供的匹配时间戳序列和图像序列的一种流程示意图;
图4为本申请实施例提供的图像时间同步装置的一种结构示意图;
图5为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本申请保护的范围。
为了便于理解,先对本申请的应用场景进行简要介绍。
本申请实施例提供的图像时间同步方法可以应用于实时性要求较高的场景,例如车辆智能驾驶,高精地图采集等,目的是确定车载相机所拍摄图像的精确拍摄时间,即图像的精确曝光时间。
为了提供高精度时间,可以在车载系统安装时间同步器,其原理是通过秒脉冲发生器分别为各传感器进行授时。进而同步器产生脉冲信号,进一步控制各个传感器的触发。
针对车载相机,同步器可以产生脉冲信号触发车载相机曝光,则同步器触发车载相机曝光的时间戳即为车载相机曝光的高精度时间。
然而,触发车载相机曝光的时间戳信号必须通过同步器串口读取,但可能出现同步器串口数据丢帧或图像丢失的情况,导致车载相机曝光所拍摄的图像和触发车载相机曝光的时间戳无法准确对应,进而导致最终确定的图像曝光时间不够精准。
为了解决现有的车载摄像头的图像曝光时间不够精准的技术问题,本申请实施例提供了一种图像时间同步方法、装置、电子设备及存储介质。参见图1,方法可以包括以下步骤:
S101:获取图像曝光的时间戳序列,并从时间戳序列中获取每个时间戳的系统时间。
本申请实施例中,可以从同步器串口获取图像曝光的时间戳序列,其中,每一时间戳均表示同步器产生的脉冲信号触发相机曝光的时间。
并且,可以记下从同步器串口获取到各个时间戳时系统的时间,作为各时间戳的系统时间,其中系统可以是工控系统。
本申请实施例中,获取的时间戳依次排列组合成时间戳序列,每个时间戳都对应一个系统时间。
为了保证同步器串口数据真实有效,可以设置数据校验位,在从同步器串口获取数据后,先根据校验位进行数据校验,当校验无误后认为同步器串口数据可信,进而从中解析出时间戳数据。如果不可信,可以基于车载相机频率,以及上一帧时间戳数据进行数据修复。
作为一个示例,获取的时间戳序列包含10个时间戳,依次表示为a1、a2、a3、a4、a5、a6、a7、a8、a9和a10,其对应的系统时间依次为10、60、110、160、210、260、310、360、410和460,单位为毫秒。
S102:获取图像序列,并确定图像序列中每帧图像的系统时间。
本申请实施例中,可以从车载相机驱动获取拍摄的图像,获取的图像是同步器触发车载相机曝光所生成的图像。
并且,可以记下从相机驱动获取到各个图像时系统的时间,作为各图像的系统时间。
获取的图像依次排列组合成图像序列,每个图像都对应一个系统时间。
作为一个示例,获取的图像序列包含10个图像,依次表示为b1、b2、b3、b4、b5、b6、b7、b8、b9和b10,其对应的系统时间依次为70、120、170、220、270、320、370、420、470和560,单位为毫秒。
S103:基于预先确定的图像生成时长,首次对齐时间戳序列中的时间戳和图像序列中的图像,其中,首次对齐的时间戳的系统时间和首次对齐的图像的系统时间之差满足图像生成时长。
图像生成时长可以理解为从同步器触发相机曝光到相机驱动生成图像的时长,本申请实施例中,可以预先确定图像生成时长。
作为一个示例,图像生成时长为60毫秒。
本申请实施例中,可以根据图像生成时长,首次对齐时间戳序列中的时间戳和图像序列中的图像。
由于工控系统启动时,同步器串口的时间戳和相机驱动的图像可能并未对应,不能认为所获取的时间戳序列和图像序列是恰好匹配的,因此要完成时间戳和图像的首次对齐,则数据不丢帧的情况下,首次对齐后之后的时间戳和图像是一一对应的。
在本申请的一种实施例中,参见图2,图2为本申请实施例提供的时间戳和图像首次对齐的一种流程示意图,如图2所示,步骤S103可以包括以下细化步骤:
S201:丢弃图像序列的前若干帧数据。
S202:计算丢弃若干帧数据后图像队列的队首图像的系统时间与时间戳序列中队首时间戳的系统时间的系统时间差。
作为一个示例,可以丢弃图像序列中前两帧图像b1、b2,则丢弃数据后图像序列的队首图像为b3。进而计算b3的系统时间与时间戳序列中队首时间戳a1的系统时间之差,即170-10=160。
S203:判断系统时间差是否满足图像生成时长,若是,则执行S204;若否,则执行S205。
S204:确定丢弃若干帧数据后图像队列的队首图像和队首时间戳分别为首次对齐的图像和首次对齐的时间戳。
S205:丢弃队首时间戳,返回执行计算丢弃若干帧数据后图像队列的队首图像的系统时间与时间戳序列中队首时间戳的系统时间的系统时间差的步骤。
容易理解的,计算所得的系统时间差只要与图像生成时长相差不大,均可认为系统时间差满足图像生成时长,例如图像生成时长为60,只要系统时间差处于50-70范围内,均可认为能够满足图像生成时长。
承接上例,图像b3的系统获取时间为170,时间戳序列中第一个时间戳a1的系统获取时间与时间戳a1的系统获取时间为10,二者的系统时间差为170-10=160,而图像生成时长大致为60毫秒,因此不满足图像生成时长。
进而与a1的下一时间戳,即a2进行比较,计算所得系统时间差为170-60=110,仍然不满足图像生成时长。
继续与时间戳a3的系统获取时间进行比较,计算所得系统时间差为170-110=60,满足图像生成时长。则将时间戳a3与图像b3分别确定为首次对齐的时间戳和首次对齐的图像。
本申请实施例中,在确定首次对齐的时间戳和首次对齐的图像之后,在不考虑同步器串口时间戳数据丢失和图像丢失的情况下,首次对齐的时间戳之后的时间戳与首次对齐的图像之后的图像是一一对应的。
S104:计算首次对齐的时间戳的第一类帧号和首次对齐的图像的第二类帧号之间的标准帧号差。
本申请实施例中,时间戳序列中还包含每个时间戳的帧号,表示时间戳的生成顺序,可以记为第一类帧号;图像序列中还包含每个图像的帧号,表示图像的生成顺序,可以记为第二类帧号。
本步骤中,可以计算首次对齐的时间戳的第一类帧号和首次对齐的图像的第二类帧号之间的标准帧号差。
作为一个示例,上述时间戳序列中a1-a10的第一类帧号依次分别为21、22、23、24、25、26、27、28、29和30;
上述图像序列中b1-b10的第二类帧号依次分别为11、12、13、14、15、16、17、18、19和20。
则可以确定首次对齐的时间戳a3的第一类帧号与首次对齐的图像b3的第二类帧号之差为23-13=10,将其作为标准帧号差。
S105:基于标准帧号差,匹配时间戳序列中每帧时间戳和图像序列中每帧图像,将与图像相匹配的时间戳确定为该帧图像的曝光时间戳。
本申请实施例中,在确定标准帧号差之后,无需再根据时间戳和图像的系统时间进行匹配,只根据标准帧号差即可实现时间戳和图像的匹配。
具体的,若时间戳序列中某个时间戳的第一类帧号与图像序列中某帧图像的第二类帧号的帧号差等同于标准帧号差,则可以确定该时间戳与该图像是匹配的。
本申请实施例中,在匹配过程中,可以依次读取图像序列中的每帧图像,针对每帧图像,可以确定该帧图像的第二类帧号,并从时间戳序列中查找与该帧图像匹配的时间戳,该时间戳的第一类帧号与该帧图像的第二类帧号的帧号差等同于标准帧号差。进而可以将该时间戳赋值给该帧图像,也就是将该时间戳确定为该帧图像的曝光时间戳。
此外,如果无法从时间戳序列中查找到与图像相匹配的时间戳,表示同步器串口的时间戳数据丢失,则可以丢弃该帧图像,继续读取下一帧图像。
应用本申请实施例提供的图像时间同步方法,先进行时间戳和图像的首次对齐,计算首次对齐的时间戳的第一类帧号与首次对齐的图像的第二类帧号之间的标准帧号差,根据标准帧号差即可匹配时间戳序列中的时间戳和图像序列中的图像,并且能够保证帧号差等同于标准帧号差的时间戳和图像是精确匹配的,进而将时间戳赋值给相匹配的图像,能够确定图像的高精准曝光时间。
在本申请的一种实施例中,为了降低计算复杂度,进一步提高时间戳与图像的匹配效率,参见图3,图3为本申请实施例提供的匹配时间戳序列和图像序列的一种流程示意图,如图3所示,上述步骤S105,具体可以包括以下步骤:
S301:计算时间戳序列中队首时间戳的第一类帧号与图像序列中队首图像的第二类帧号之间的帧号差。
图3所示实施例中,时间戳序列可以是首次对齐的时间戳之后的时间戳序列,图像序列可以是首次对齐的图像之后的图像序列。
本申请实施例中,考虑到可能出现同步器串口时间戳数据丢失和图像丢失的情况,可以基于时间戳序列中队首时间戳的第一类帧号,以及图像序列中队首图像的第二类帧号进行匹配,并且,在每次匹配后,无论是否匹配成功,均更新时间戳序列和/或图像序列,具体为删除队首时间戳和/或队首图像。
具体实现中,时间戳序列和图像序列均可以以队列形式的数据格式存储,以遵循先进先出原则。
S302:判断该帧号差是否等同于标准帧号差,若是,执行S303;若否,则执行S304。
S303:将队首时间戳确定为队首图像的曝光时间戳,并更新时间戳序列的队首时间戳和图像序列的队首图像,返回S301的步骤。
具体的,当队首时间戳的第一类帧号与队首图像的第二类帧号等同于标准帧号差,表示队首时间戳与队首图像匹配,则将队首时间戳确定为队首图像的曝光时间戳,也就是将队首时间戳赋值给队首图像。
在匹配成功情况下,更新时间戳序列的队首时间戳和图像序列的队首图像,具体可以为:
丢弃时间戳序列中的队首时间戳,并将所丢弃的队首时间戳的下一时间戳确定为时间戳序列中新的队首时间戳;丢弃图像序列中的队首图像,并将所丢弃的队首图像的下一图像确定为图像序列中新的队首图像。
在更新时间戳序列的队首时间戳和图像序列的队首图像,返回S301步骤,重新匹配新的队首时间戳和新的队首图像。
S304:更新时间戳序列的队首时间戳或图像序列的队首图像,并返回S301的步骤。
当队首时间戳的第一类帧号与队首图像的第二类帧号不等同于标准帧号差,表示队首时间戳与队首图像不匹配,则可能出现时间戳丢失或图像丢失的情况。
具体的,若该帧号差大于标准帧号差,表示出现了时间戳丢失的情况,可以丢弃图像序列中的队首图像,并将所丢弃的队首图像的下一图像确定为图像序列中新的队首图像,并返回S301的步骤,重新匹配新的队首图像和队首时间戳。
若该帧号差小于标准帧号差,表示出现了图像丢失的情况,可以丢弃时间戳序列中的队首时间戳,并将所丢弃的队首时间戳的下一时间戳确定为时间戳序列中新的队首时间戳,并返回S301步骤,重新匹配新的队首时间戳和队首图像。
为了便于理解,下面结合具体例子进行说明。
假设由于同步器串口不稳定导致时间戳a5丢失,则待匹配的时间戳序列为a4、a6、a7、a8、a9、a10;假设相机驱动不稳定导致图像b8丢失,则待匹配的图像序列为b4、b5、b6、b7、b9、b10。各时间戳的第一类帧号和各图像的第二类帧号延续上例。
则可以计算队首时间戳的第一类帧号与队首图像的第二类帧号之间的帧号差,也就是时间戳a4的第一类帧号与图像b4的第二类帧号之间的帧号差,具体为:24-14=10,等同于标准帧号差,因此时间戳a4和图像b4是匹配的,将时间戳a4确定为图像b4的曝光时间戳。并丢弃队首时间戳a4,且丢失队首图像b4。
由于时间戳a5丢失,因此新的队首时间戳变为时间戳a6,其第一类帧号为26;新的队首图像变为图像b5,其第二类帧号为15。
重新计算队首时间戳的第一类帧号与队首图像的第二类帧号之间的帧号差,得到26-15=11,大于标准帧号差。
本申请实施例中,所计算的帧号差大于标准帧号差,表示时间戳丢失,因此无法得到对应图像的精准曝光时间,可以删除队首图像,并返回计算队首时间戳的第一类帧号与队首图像的第二类帧号之间的帧号差的步骤。
承接上例,丢弃图像b5,计算当前队首时间戳a6的第一类帧号与队首图像b6的第二类帧号的帧号差,等同于标准帧号差,因此时间戳a6即为图像b6的曝光时间戳,随后分别删除时间戳a6和图像b6,得到新的队首时间戳和队首图像。
同理,时间戳a7和图像b7匹配,分别删除时间戳a7和图像b7,新的队首时间戳为a8,但由于相机驱动不稳定导致图像b8丢失,则新的队首图像为b9,计算a8的第一类帧号与b9的第二类帧号的帧号差为28-19=9,小于标准帧号差。
本申请实施例中,所计算的帧号差小于标准帧号差,表示图像丢失,因此可以删除队首时间戳,并返回计算队首时间戳的第一类帧号与队首图像的第二类帧号之间的帧号差的步骤。
承接上例,删除时间戳a8,继续计算队首时间戳的第一类帧号与队首图像的第二类帧号之间的帧号差,直到时间戳序列不包含时间戳和/或图像序列不包含图像。
经过上述计算,可以得到:时间戳a4与图像b4匹配,即图像b4的曝光时间戳即为a4;时间戳a6与图像b6匹配,即图像b6的曝光时间戳即为a6;时间戳a7与图像b7匹配,即图像b7的曝光时间戳即为a7;时间戳a9与图像b9匹配,即图像b9的曝光时间戳即为a9;时间戳a10与图像b10匹配,即图像b10的曝光时间戳即为a10。
可见,本申请实施例中,基于标准帧号差来匹配时间戳序列和图像序列,在每次匹配时,仅需计算队首时间戳的第一类帧号和队首图像的第二类帧号的帧号差,根据帧号差与标准帧号差的大小关系即可完成精准匹配,得到图像的精准的曝光时间戳。上述匹配过程计算复杂度很低。
并且,能够考虑到同步器串口时间戳丢失和相机驱动图像丢失的情况,即使出现上述情况,也能很好的处理不影响后续匹配,具有较强的鲁棒性和实用性。
本申请实施例中,在确定图像的精准曝光时间之后,可以通过ROS、CyberRT、Socket等接口将图像数据及与其对应的精准曝光数据发送至应用层,以进行数据融合或建图等。
相应于本申请实施例提供的图像时间同步方法实施例,本申请实施例还提供了一种图像时间同步装置,参见图4,装置可以包括以下模块:
第一获取模块401,用于获取图像曝光的时间戳序列,并从时间戳序列中获取每个时间戳的系统时间;
第二获取模块402,用于获取图像序列,并确定图像序列中每帧图像的系统时间;
对齐模块403,用于基于预先确定的图像生成时长,首次对齐时间戳序列中的时间戳和图像序列中的图像,其中,首次对齐的时间戳的系统时间和首次对齐的图像的系统时间之差满足图像生成时长;
计算模块404,用于计算首次对齐的时间戳的第一类帧号和首次对齐的图像的第二类帧号之间的标准帧号差;
匹配模块405,用于基于标准帧号差,匹配时间戳序列中每帧时间戳和图像序列中每帧图像,将与图像相匹配的时间戳确定为该帧图像的曝光时间戳。
在本申请的一种实施例中,匹配模型405,具体可以用于:
计算所述时间戳序列中队首时间戳的第一类帧号与所述图像序列中队首图像的第二类帧号之间的帧号差,判断该帧号差是否等同于所述标准帧号差,若是,则将所述队首时间戳确定为所述队首图像的曝光时间戳,并更新所述时间戳序列的队首时间戳和所述图像序列的队首图像,返回计算所述时间戳序列中队首时间戳的第一类帧号与所述图像序列中队首图像的第二类帧号之间的帧号差的步骤;
若该帧号差不等同于所述标准帧号差,则更新所述时间戳序列的队首时间戳或所述图像序列的队首图像,并返回计算所述时间戳序列中队首时间戳的第一类帧号与所述图像序列中队首图像的第二类帧号之间的帧号差的步骤。
应用本申请实施例提供的图像时间同步装置,先进行时间戳和图像的首次对齐,计算首次对齐的时间戳的第一类帧号与首次对齐的图像的第二类帧号之间的标准帧号差,根据标准帧号差即可匹配时间戳序列中的时间戳和图像序列中的图像,并且能够保证帧号差等同于标准帧号差的时间戳和图像是精确匹配的,进而将时间戳赋值给相匹配的图像,能够确定图像的高精准曝光时间。
其中,方法和装置是基于同一申请构思的,由于方法和装置解决问题的原理相似,因此装置和方法的实施可以相互参见,重复之处不再赘述。
本申请实施例还提供了一种电子设备,如图5所示,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信,
存储器503,用于存放计算机程序;
处理器501,用于执行存储器503上所存放的程序时,实现如下步骤:
获取图像曝光的时间戳序列,并从时间戳序列中获取每个时间戳的系统时间;
获取图像序列,并确定图像序列中每帧图像的系统时间;
基于预先确定的图像生成时长,首次对齐时间戳序列中的时间戳和图像序列中的图像,其中,首次对齐的时间戳的系统时间和首次对齐的图像的系统时间之差满足图像生成时长;
计算首次对齐的时间戳的第一类帧号和首次对齐的图像的第二类帧号之间的标准帧号差;
基于标准帧号差,匹配时间戳序列中每帧时间戳和图像序列中每帧图像,将与图像相匹配的时间戳确定为该帧图像的曝光时间戳。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应用本申请实施例提供的电子设备,先进行时间戳和图像的首次对齐,计算首次对齐的时间戳的第一类帧号与首次对齐的图像的第二类帧号之间的标准帧号差,根据标准帧号差即可匹配时间戳序列中的时间戳和图像序列中的图像,并且能够保证帧号差等同于标准帧号差的时间戳和图像是精确匹配的,进而将时间戳赋值给相匹配的图像,能够确定图像的高精准曝光时间。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现上述任一图像时间同步方法的步骤。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一图像时间同步方法的步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk (SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于图像时间同步确定装置、电子设备、计算机可读存储介质及计算机程序产品实施例而言,由于其基本相似于图像时间同步方法实施例,所以描述的比较简单,相关之处参见图像时间同步方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

Claims (7)

1.一种图像时间同步方法,其特征在于,所述方法包括:
获取图像曝光的时间戳序列,并从所述时间戳序列中获取每个时间戳的系统时间;
获取图像序列,并确定所述图像序列中每帧图像的系统时间;
基于预先确定的图像生成时长,首次对齐所述时间戳序列中的时间戳和所述图像序列中的图像,其中,首次对齐的时间戳的系统时间和首次对齐的图像的系统时间之差与所述图像生成时长相差在预设阈值内;
计算所述首次对齐的时间戳的第一类帧号和所述首次对齐的图像的第二类帧号之间的标准帧号差;
基于所述标准帧号差,匹配所述时间戳序列中每个时间戳和所述图像序列中每帧图像,将与图像相匹配的时间戳确定为该帧图像的曝光时间戳;
所述基于预先确定的图像生成时长,首次对齐所述时间戳序列中的时间戳和所述图像序列中的图像的步骤,包括:
丢弃所述图像序列的前若干帧数据;
计算丢弃若干帧数据后图像队列的队首图像的系统时间与所述时间戳序列中队首时间戳的系统时间的系统时间差;
判断所述系统时间差是否满足所述图像生成时长;
若是,则确定丢弃若干帧数据后图像队列的队首图像和所述队首时间戳分别为首次对齐的图像和首次对齐的时间戳;
若否,丢弃所述队首时间戳,返回执行所述计算丢弃若干帧数据后图像队列的队首图像的系统时间与所述时间戳序列中队首时间戳的系统时间的系统时间差的步骤;
所述基于所述标准帧号差,匹配所述时间戳序列中每个时间戳和所述图像序列中每帧图像,将与图像相匹配的时间戳确定为该帧图像的曝光时间戳的步骤,包括:
计算所述时间戳序列中队首时间戳的第一类帧号与所述图像序列中队首图像的第二类帧号之间的帧号差,判断该帧号差是否等同于所述标准帧号差,若是,则将所述队首时间戳确定为所述队首图像的曝光时间戳,并更新所述时间戳序列的队首时间戳和所述图像序列的队首图像,返回计算所述时间戳序列中队首时间戳的第一类帧号与所述图像序列中队首图像的第二类帧号之间的帧号差的步骤;
若该帧号差不等同于所述标准帧号差,则更新所述时间戳序列的队首时间戳或所述图像序列的队首图像,并返回计算所述时间戳序列中队首时间戳的第一类帧号与所述图像序列中队首图像的第二类帧号之间的帧号差的步骤,所述第一类帧号为表示时间戳序列中的各时间戳生成顺序的顺序号,所述第二类帧号为表示图像序列中的各帧图像的生成顺序的顺序号。
2.根据权利要求1所述的方法,其特征在于,所述更新所述时间戳序列的队首时间戳和所述图像序列的队首图像的步骤,包括:
丢弃所述时间戳序列中的队首时间戳,并将所丢弃的队首时间戳的下一时间戳确定为时间戳序列中新的队首时间戳;
丢弃所述图像序列中的队首图像,并将所丢弃的队首图像的下一图像确定为图像序列中新的队首图像。
3.根据权利要求1所述的方法,其特征在于,所述若该帧号差不等同于所述标准帧号差,更新所述时间戳序列的队首时间戳或所述图像序列的队首图像的步骤,包括:
若该帧号差大于所述标准帧号差,丢弃所述图像序列中的队首图像,并将所丢弃的队首图像的下一图像确定为图像序列中新的队首图像;
若该帧号差小于所述标准帧号差,丢弃所述时间戳序列中的队首时间戳,并将所丢弃的队首时间戳的下一时间戳确定为时间戳序列中新的队首时间戳。
4.根据权利要求1所述的方法,其特征在于,所述获取图像曝光的时间戳序列的步骤,包括:
从同步器串口获取图像曝光的时间戳序列,其中,每一时间戳均表示同步器产生的脉冲信号触发相机曝光的时间。
5.一种图像时间同步装置,其特征在于,所述装置包括:
第一获取模块,用于获取图像曝光的时间戳序列,并从所述时间戳序列中获取每个时间戳的系统时间;
第二获取模块,用于获取图像序列,并确定所述图像序列中每帧图像的系统时间;
对齐模块,用于基于预先确定的图像生成时长,首次对齐所述时间戳序列中的时间戳和所述图像序列中的图像,其中,首次对齐的时间戳的系统时间和首次对齐的图像的系统时间之差与所述图像生成时长相差在预设阈值内;
计算模块,用于计算所述首次对齐的时间戳的第一类帧号和所述首次对齐的图像的第二类帧号之间的标准帧号差;
匹配模块,用于基于所述标准帧号差,匹配所述时间戳序列中每个时间戳和所述图像序列中每帧图像,将与图像相匹配的时间戳确定为该帧图像的曝光时间戳;
所述对齐模块,具体用于:
丢弃所述图像序列的前若干帧数据;
计算丢弃若干帧数据后图像队列的队首图像的系统时间与所述时间戳序列中队首时间戳的系统时间的系统时间差;
判断所述系统时间差是否满足所述图像生成时长;
若是,则确定丢弃若干帧数据后图像队列的队首图像和所述队首时间戳分别为首次对齐的图像和首次对齐的时间戳;
若否,丢弃所述队首时间戳,返回执行所述计算丢弃若干帧数据后图像队列的队首图像的系统时间与所述时间戳序列中队首时间戳的系统时间的系统时间差的步骤;
所述匹配模块,具体用于:
计算所述时间戳序列中队首时间戳的第一类帧号与所述图像序列中队首图像的第二类帧号之间的帧号差,判断该帧号差是否等同于所述标准帧号差,若是,则将所述队首时间戳确定为所述队首图像的曝光时间戳,并更新所述时间戳序列的队首时间戳和所述图像序列的队首图像,返回计算所述时间戳序列中队首时间戳的第一类帧号与所述图像序列中队首图像的第二类帧号之间的帧号差的步骤;
若该帧号差不等同于所述标准帧号差,则更新所述时间戳序列的队首时间戳或所述图像序列的队首图像,并返回计算所述时间戳序列中队首时间戳的第一类帧号与所述图像序列中队首图像的第二类帧号之间的帧号差的步骤,所述第一类帧号为表示时间戳序列中的各时间戳生成顺序的顺序号,所述第二类帧号为表示图像序列中的各帧图像的生成顺序的顺序号。
6.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-4任一所述的方法步骤。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
CN202110359538.1A 2021-04-02 2021-04-02 图像时间同步方法、装置、电子设备及存储介质 Active CN112751983B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110359538.1A CN112751983B (zh) 2021-04-02 2021-04-02 图像时间同步方法、装置、电子设备及存储介质
PCT/CN2021/112178 WO2022205734A1 (zh) 2021-04-02 2021-08-12 图像时间同步方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110359538.1A CN112751983B (zh) 2021-04-02 2021-04-02 图像时间同步方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112751983A CN112751983A (zh) 2021-05-04
CN112751983B true CN112751983B (zh) 2021-06-18

Family

ID=75651704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110359538.1A Active CN112751983B (zh) 2021-04-02 2021-04-02 图像时间同步方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN112751983B (zh)
WO (1) WO2022205734A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112751983B (zh) * 2021-04-02 2021-06-18 湖北亿咖通科技有限公司 图像时间同步方法、装置、电子设备及存储介质
CN113784118A (zh) * 2021-09-14 2021-12-10 广州博冠信息科技有限公司 视频质量评估方法及装置、电子设备和存储介质
CN114710228B (zh) * 2022-05-31 2022-09-09 杭州闪马智擎科技有限公司 一种时间的同步方法、装置、存储介质及电子装置
CN116156074B (zh) * 2022-11-21 2024-03-15 辉羲智能科技(上海)有限公司 一种多摄像头采集时间同步方法
CN116709004B (zh) * 2022-11-21 2024-04-05 荣耀终端有限公司 一种图像处理方法和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103026719A (zh) * 2010-07-30 2013-04-03 德国电信股份有限公司 用于在视频比特流和输出视频序列之间的时间同步的方法和装置
CN104885400A (zh) * 2013-01-03 2015-09-02 高通股份有限公司 在其帧擦除速率上升到阈值以上的电路交换呼叫中通过建立并同步voip流来选择性地修补擦除
CN106851044A (zh) * 2016-12-13 2017-06-13 深圳英飞拓科技股份有限公司 一种视频同步回放方法及装置
CN108174242A (zh) * 2018-01-09 2018-06-15 武汉斗鱼网络科技有限公司 直播数据复用方法、装置、存储介质及设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101359381B1 (ko) * 2009-10-19 2014-02-20 인터그래프 테크놀로지스 캄파니 데이터 검색, 파서와 비디오 데이터와 텔레메트리 데이터의 동기화
US9258193B2 (en) * 2014-01-14 2016-02-09 Nokia Technologies Oy Method, apparatus, and computer program product for wireless network cluster discovery and concurrency management
CN104270567B (zh) * 2014-09-11 2019-12-17 深圳市南航电子工业有限公司 高精度同步的多路图像采集系统及其时间同步方法
US9984354B1 (en) * 2014-09-30 2018-05-29 Amazon Technologies, Inc. Camera time synchronization system
JP2016123009A (ja) * 2014-12-25 2016-07-07 ルネサスエレクトロニクス株式会社 半導体装置、電子デバイス・モジュール、及びネットワークシステム
US9813783B2 (en) * 2016-04-01 2017-11-07 Intel Corporation Multi-camera dataset assembly and management with high precision timestamp requirements
KR101846386B1 (ko) * 2017-08-02 2018-04-06 주식회사 비바엔에스 모바일 영상통화 품질측정 방법 및 시스템
WO2019079211A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. LIDAR-CAMERA CALIBRATION TO GENERATE HIGH DEFINITION MAPS
US10474916B2 (en) * 2017-11-20 2019-11-12 Ashok Krishnan Training of vehicles to improve autonomous capabilities
CN108924461B (zh) * 2018-06-20 2021-08-13 斑马网络技术有限公司 视频图像处理方法及装置
CN108989606B (zh) * 2018-08-22 2021-02-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
US11451688B2 (en) * 2018-09-26 2022-09-20 Zoox, Inc. Image scan line timestamping
CN109587405B (zh) * 2018-10-24 2021-03-05 科大讯飞股份有限公司 时间同步方法和装置
CN111372111A (zh) * 2018-12-25 2020-07-03 北京初速度科技有限公司 一种数据确定方法、装置及车载终端
CN109873921B (zh) * 2019-02-14 2023-04-07 魔门塔(苏州)科技有限公司 一种图像时间戳的传输方法、解析方法和装置
CN110460824B (zh) * 2019-07-03 2022-10-11 青岛小鸟看看科技有限公司 一种图像数据的帧同步方法和相机
CN112492347A (zh) * 2019-09-12 2021-03-12 上海哔哩哔哩科技有限公司 处理信息流、显示弹幕信息的方法及信息流处理系统
CN110740227B (zh) * 2019-10-25 2021-08-10 武汉大学 基于gnss授时和图像显示信息编码方式的相机时间同步装置及方法
CN111949237A (zh) * 2020-07-20 2020-11-17 西安万像电子科技有限公司 图像显示方法及装置
CN112153372B (zh) * 2020-09-04 2022-04-29 合肥富煌君达高科信息技术有限公司 一种精度可控的多台高速相机同步误差测量系统
CN112751983B (zh) * 2021-04-02 2021-06-18 湖北亿咖通科技有限公司 图像时间同步方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103026719A (zh) * 2010-07-30 2013-04-03 德国电信股份有限公司 用于在视频比特流和输出视频序列之间的时间同步的方法和装置
CN104885400A (zh) * 2013-01-03 2015-09-02 高通股份有限公司 在其帧擦除速率上升到阈值以上的电路交换呼叫中通过建立并同步voip流来选择性地修补擦除
CN106851044A (zh) * 2016-12-13 2017-06-13 深圳英飞拓科技股份有限公司 一种视频同步回放方法及装置
CN108174242A (zh) * 2018-01-09 2018-06-15 武汉斗鱼网络科技有限公司 直播数据复用方法、装置、存储介质及设备

Also Published As

Publication number Publication date
WO2022205734A1 (zh) 2022-10-06
CN112751983A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
CN112751983B (zh) 图像时间同步方法、装置、电子设备及存储介质
US9813783B2 (en) Multi-camera dataset assembly and management with high precision timestamp requirements
CN111585682B (zh) 传感器时间同步方法、装置及终端设备
WO2018228352A1 (zh) 一种同步曝光方法、装置及终端设备
CN107439000B (zh) 一种同步曝光的方法、装置及终端设备
US11055927B2 (en) Method for building scene, electronic device and storage medium
CN114494388B (zh) 一种大视场环境下图像三维重建方法、装置、设备及介质
CN107566794B (zh) 一种视频数据的处理方法、系统及终端设备
CN111343401B (zh) 帧同步方法及其装置
CN111383038A (zh) 移动终端的广告展示方法、装置、移动终端和储存介质
CN115482286A (zh) 相机内参的标定验证方法、装置、设备及介质
CN108241543B (zh) 业务操作断点执行的方法、业务服务器及系统
WO2023273923A1 (zh) 一种3d背景替换方法、装置、存储介质和终端设备
US20080244304A1 (en) Deriving accurate media position information
CN111131707B (zh) 一种基于树莓派的拍照方法及装置
CN114143486A (zh) 视频流同步方法、装置、计算机设备和存储介质
CN111212239B (zh) 曝光时长调整方法、装置、电子设备及存储介质
CN113873233A (zh) 镜头模组的检测方法、装置和电子设备
CN109426589B (zh) 一种文件修复方法及装置
CN117097430B (zh) 一种车流轨迹位置仿真时间同步的方法
US20230102907A1 (en) Device with time stamp synchronizing and related method
US11363160B2 (en) Detachable device, control method thereof, and storage medium
CN112463125B (zh) 一种虚拟定时器的定时方法及设备
CN110929102B (zh) 一种数据处理方法、装置及电子设备
CN117220812A (zh) 基于时间矫正的数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220316

Address after: 430051 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Hubei Province

Patentee after: Yikatong (Hubei) Technology Co.,Ltd.

Address before: 430056 building B (qdxx-f7b), No.7 building, qiedixiexin science and Technology Innovation Park, South taizihu innovation Valley, Wuhan Economic and Technological Development Zone, Hubei Province

Patentee before: HUBEI ECARX TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right