CN114827576A - 多相机同步校正方法、装置、设备及存储介质 - Google Patents

多相机同步校正方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114827576A
CN114827576A CN202210418853.1A CN202210418853A CN114827576A CN 114827576 A CN114827576 A CN 114827576A CN 202210418853 A CN202210418853 A CN 202210418853A CN 114827576 A CN114827576 A CN 114827576A
Authority
CN
China
Prior art keywords
time
slave
signal
image
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210418853.1A
Other languages
English (en)
Inventor
邢冬逢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kandao Technology Co Ltd
Original Assignee
Kandao Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kandao Technology Co Ltd filed Critical Kandao Technology Co Ltd
Priority to CN202210418853.1A priority Critical patent/CN114827576A/zh
Priority to PCT/CN2022/093867 priority patent/WO2023201822A1/zh
Publication of CN114827576A publication Critical patent/CN114827576A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及图像处理技术领域,本申请提供一种多相机同步校正方法、装置、设备及存储介质,所述方法通过提取预设信号交互时间集中的信号交互时间组,计算对应的时间差,对从机图像的采集时间进行校正,然后根据主机的首帧图像采集时间确定从机的首帧图像,然后主机和从机以本相机的首帧图像为起始输出采集的图像,实现多相机同一时刻的图像同步输出的效果;基于从机和主机的时间差对从机图像的采集时间进行校正,避免了网络波动对信号传输的影响造成的时间误差,不仅提高了多相机的同步效率,而且提高了多相机拍摄画面的同步精度,解决了目前多相机拍摄画面不同步的技术问题。

Description

多相机同步校正方法、装置、设备及存储介质
技术领域
本发明涉及多相机系统技术领域,尤其涉及一种多相机同步校正方法、装置、设备及存储介质。
背景技术
随着科学技术的发展,用户对于图像的采集要求,不再满足于单一画面的采集,转而追求多角度立体图像的同步采集。多角度立体图像的同步采集需要多台相机同步拍摄,然而相机的系统时间是相互独立的,一般通过网络时间协议或同步设备实现时间同步功能,但是采用这种方法,各相机的系统时间差仍然较大,输出视频存在明显的画面不同步问题。
发明内容
本申请的目的在于提供一种多相机同步校正方法,旨在解决现有多相机同步拍摄输出画面不同步的技术问题。
为实现上述目的,本申请提供一种多相机同步校正方法,其特征在于,所述方法的步骤包括:在预设信号交互时间集中,获取一个信号交互时间组,作为当前时间组,其中,每个所述信号交互时间组包括主机反馈信号时间、所述主机反馈信号时间相邻的从机发送信号时间以及所述主机反馈信号时间相邻的从机接收信号时间;基于所述主机反馈信号时间、所述从机发送信号时间以及所述从机接收信号时间,计算所述当前时间组的当前时间差;根据所述当前时间差,确定主机与从机的目标时间差,并根据所述目标时间差,对所述从机的图像采集时间进行校正。
此外,为实现上述目的,本申请还提供一种多相机同步校正装置,所述多相机同步校正装置包括:信号交互时间组获取模块,用于在预设信号交互时间集中,获取一个信号交互时间组,作为当前时间组,其中,每个所述信号交互时间组包括主机反馈信号时间、所述主机反馈信号时间相邻的从机发送信号时间以及所述主机反馈信号时间相邻的从机接收信号时间;当前时间差计算模块,用于基于所述主机反馈信号时间、所述从机发送信号时间以及所述从机接收信号时间,计算所述当前时间组的当前时间差;图像采集时间校正模块,用于根据所述当前时间差,确定所述主机与所述从机的目标时间差,并根据所述目标时间差,对所述从机的图像采集时间进行校正。
此外,为实现上述目的,本申请还提供一种多相机同步校正设备,所述多相机同步校正设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的多相机同步校正程序,其中所述多相机同步校正程序被所述处理器执行时,实现如上述多相机同步校正方法的步骤。
此外,为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有多相机同步校正程序,其中所述多相机同步校正程序被处理器执行时,实现如上述多相机同步校正方法的步骤。
本申请提供一种多相机同步校正方法,所述方法在预设信号交互时间集中,获取一个信号交互时间组,作为当前时间组,其中,每个所述信号交互时间组包括主机反馈信号时间、所述主机反馈信号时间相邻的从机发送信号时间以及所述主机反馈信号时间相邻的从机接收信号时间;基于所述主机反馈信号时间、所述从机发送信号时间以及所述从机接收信号时间,计算所述当前时间组的当前时间差;根据所述当前时间差,确定主机与从机的目标时间差,并根据所述目标时间差,对所述从机的图像采集时间进行校正。通过上述方式,本申请通过提取预设信号交互时间集中的信号交互时间组,计算对应的时间差,对从机图像的采集时间进行校正,然后根据主机的首帧图像采集时间确定从机的首帧图像,然后主机和从机以本相机的首帧图像为起始输出采集的图像,实现多相机同一时刻的图像同步输出的效果。由此,基于从机和主机的时间差对从机图像的采集时间进行校正,避免了网络波动对信号传输的影响造成的时间误差,不仅提高了多相机的同步效率,而且提高了多相机拍摄画面的同步精度,解决了目前多相机拍摄画面不同步的技术问题。
附图说明
图1为本发明实施例方案中涉及的多相机同步校正设备的硬件结构示意图;
图2为本申请多相机同步校正方法第一实施例的流程示意图;
图3为本申请多相机同步校正方法第二实施例的流程图;
图4是本申请提供的请求信号传输过程示意图;
图5是本申请提供的多相机同步校正方法第三实施例的流程示意图;
图6是本申请提供的多相机同步校正方法第四实施例的流程图;
图7是本申请提供的多相机同步校正方法第五实施例的流程示意图;
图8为本申请多相机同步校正装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本申请实施例涉及的多相机同步校正方法主要应用于多相机同步校正设备,该多相机同步校正设备可以是PC、便携计算机、移动终端等具有显示和处理功能的设备。
参照图1,图1为本发明实施例方案中涉及的多相机同步校正设备的硬件结构示意图。本发明实施例中,多相机同步校正设备可以包括处理器1001(例如CPU),通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信;用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard);网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口);存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器,存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的硬件结构并不构成对多相机同步校正设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
继续参照图1,图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及多相机同步校正程序。
在图1中,网络通信模块主要用于连接服务器,与服务器进行数据通信;而处理器1001可以调用存储器1005中存储的多相机同步校正程序,并执行本发明实施例提供的多相机同步校正方法。
本申请实施例提供了一种多相机同步校正方法。
参照图2,图2为本申请多相机同步校正方法第一实施例的流程示意图。
本实施例中,本申请实施例涉及的多相机同步校正方法应用于多相机同步校正系统,所述多相机同步校正系统包括一台主机以及至少一台从机。至少存在一台所述从机与所述主机同步连接,同步连接的方式可以是通过同步线和/或同步控制器等具有信号同步功能的设备实现。所述多相机同步校正方法的执行主体为所述多相机同步校正系统中的主体和从机。
所述多相机同步校正系统包括一台主机、一台从机以及一台服务器,所述多相机同步校正方法的执行主体为所述多相机同步校正系统中的服务器。
可以理解地是,为了减小网络波动对信号传输的影响造成的系统误差,提升多相机输出视频的同步效果,优先采用多相机同步校正系统中的主机和从机作为执行主体。
以下以多相机同步校正系统中的主机和从机作为执行主体举例进行说明,所述多相机同步校正方法包括以下步骤:
步骤S10,在预设信号交互时间集中,获取一个信号交互时间组,作为当前时间组,其中,每个所述信号交互时间组包括主机反馈信号时间、所述主机反馈信号时间相邻的从机发送信号时间以及所述主机反馈信号时间相邻的从机接收信号时间。
本实施例中,在从机传感器中可以设置有存储单元,在存储单元中可以设置一个预设信号交互时间集的存储区域,如时间寄存器,用于存储从机中的信号交互时间组。由于从机可以获取多个主机反馈信号时间、从机发送信号时间以及从机接收信号时间,因此,需要对获取的上述信号时间进行分组,当从机获取到上述信号时间时,以主机反馈信号时间作为标签,提取其相邻的从机发送信号时间和从机接收信号时间,以此作为一组信号交互时间,并存储到预设信号交互时间集中,以防止不相匹配的信号时间数据产生干扰,造成校正数据不准确,影响校正效果。
本实施例中,在获取到至少一组信号交互时间组之后,从机传感器可以调取信号交互时间组,作为当前时间组,对当前时间组中所包含的信号时间进行下一步处理。
步骤S20,基于所述主机反馈信号时间、所述从机发送信号时间以及所述从机接收信号时间,计算所述当前时间组的当前时间差。
本实施例中,提取预设信号交互时间集中的一组信号交互时间组,每个相机中都有处理器,处理器中可以有数据处理单元,可以对信号交互时间组中的时间信息进行分析,并按照预设定的程序对时间信息进行处理。因为主机反馈信号时间与从机发送信号时间、从机接收信号时间两个信号时间同时相邻,处理器可以提取从机发送信号时间与从机接收信号时间和的平均值,与主机反馈信号时间进行差值计算,从而得到提取的当前时间组的当前时间差,并且处理器将该当前时间差进行转存处理,存储到相机中的存储单元中待处理。
步骤S30,根据所述当前时间差,确定主机与从机的目标时间差,并根据所述目标时间差,对所述从机的图像采集时间进行校正。
其中,所述根据所述当前时间差,确定主机与从机的目标时间差,包括:
在所述信号交互时间集中,获取除所述当前时间组之外的各个信号交互时间组;
计算各个信号交互时间组对应的各个时间差,并在各个时间差以及所述当前时间差中确定最小时间差,作为所述目标时间差。
本实施例中,相机中的处理器可以对存储单元中的预设信号交互时间集进行扫描,确认其中是否存在多个信号交互时间组。如果预设信号交互时间集中,仅存在一个信号交互时间组,那么处理器就提取该信号交互时间组计算得出的时间差作为主机和从机的目标时间差;如果预设信号交互时间集中,存在多个信号交互时间组,那么处理器依次对各个信号交互时间组进行时间差计算,从而得到多个时间差数据。处理器中的数据处理单元可以对获取的多个时间差数据进行比对筛选,从小筛选出最小时间差,处理器仅保留该最小时间差,作为目标时间差,并清除其余的时间差数据及预设信号交互时间集,防止历史数据影响下一次的校正结果。当处理器提取到目标时间差之后,并不对从机的系统时间进行更改,而是将目标时间差存储至存储单元,并且在完成目标图像的采集之后,根据目标时间差对目标图像对应的系统时间进行校正。
本实施例提供一种多相机同步校正方法,所述方法在预设信号交互时间集中,获取一个信号交互时间组,作为当前时间组,其中,每个所述信号交互时间组包括主机反馈信号时间、所述主机反馈信号时间相邻的从机发送信号时间以及所述主机反馈信号时间相邻的从机接收信号时间;基于所述主机反馈信号时间、所述从机发送信号时间以及所述从机接收信号时间,计算所述当前时间组的当前时间差;根据所述当前时间差,确定主机与从机的目标时间差,并根据所述目标时间差,对所述从机的图像采集时间进行校正。通过上述方式,本实施例通过提取预设信号交互时间集中的信号交互时间组,计算对应的时间差,根据时间差确定目标时间差,并根据目标时间差对从机采集的图像采集时间进行校正。由此,基于对从机和主机的系统时间差的计算,对从机的图像采集时间进行校正,避免了网络波动对于同步信号的干扰以及信号传输造成的时间误差,不仅提高了多相机的同步效率,而且提高了多相机拍摄画面的同步精度,解决了目前多相机拍摄画面不同步的技术问题。
参照图3,图3为本申请多相机同步校正方法第二实施例的流程图。
基于上述图2所示实施例,本实施例中,所述步骤S10之前,还包括:
步骤S01,基于同步信号,向所述主机发送请求信号,记录当前从机系统时间,作为所述从机发送信号时间。
步骤S02,在接收到所述主机反馈的所述请求信号时,记录当前从机系统时间,作为所述从机接收信号时间;
步骤S03,基于所述主机反馈的所述请求信号,获取所述主机发送所述请求信号时的当前主机系统时间,作为所述主机反馈信号时间;
步骤S04,基于所述主机反馈信号时间、从机发送信号时间以及从机接收信号时间,生成一个所述信号交互时间组。
本实施例中,从机在接收到外部设备(如服务器、主机等)发送的同步信号时,触发同步功能。从机的处理器可以提取一个请求信号,并且在发送请求信号的同时,记录从机的当前系统时间,作为从机发送信号时间;请求信号在被主机接收时,主机可以立即提取接收到该请求信号时主机的当前系统时间,作为主机反馈信号时间,并且可以将主机反馈信号时间和请求信号立刻再发送回从机;从机在接收到主机反馈的请求信号时,可以获得主机反馈信号时间,并且记录从机当前系统时间,作为从机接收系统时间;从机可以按照上述信号时间的生成顺序,即从机发送信号时间、主机反馈信号时间、从机接收信号时间,将上述信号时间存储至预设信号交互时间集中,作为一个信号交互时间组。请求信号可以反复发送,从而得到多个信号交互时间组。
本实施例中,一台主机至少同步连接一台从机,从机发送的请求信号可以包含一个识别信息,主机可以接收所有请求信号的信息,并且进行反馈,从机则只接收对应识别信号的请求信号所携带的信息。其中,识别信息可以是唯一的字母、数字等形式。
本实施例中,请求信号的传输可以采用UDP协议,UDP是OSI(开放式系统互联)参考模型中一种无连接的传输层协议,传输数据之前源端和终端不建立连接,当需要传送数据时,UDP就简单地抓取来自应用程序的数据,并尽可能快地把它扔到网络上。在发送端,UDP传送数据的速度仅仅是受应用程序生成数据的速度、计算机的能力和传输带宽的限制;在接收端,UDP把每个消息段放在队列中,应用程序每次从队列中读一个消息段。因为UDP不属于连接型协议,因而资源消耗小,处理速度快。
本实施例中,主相机和从相机的处理器连接在同一个网络系统中,采用UDP进行请求信号的传输,可以避免网络波动对于数据传输的影响,从而实现请求信号及时间信息的快速传递,减小传输时长,进而提高多相机同步的精度。
进一步地,从机在接收到外部设备(如服务器、主机等)发送的同步信号时,触发同步功能。从机可以将从机发送信号时间作为一个数据包,通过UDP发送给主机;主机接收数据包后,可以不对数据包进行处理,而是立刻提取当前时间,作为主机反馈信号时间,并可以将主机反馈信号时间添加到数据包中,再立刻发送回从机;从机接收到数据包时,记录当前从机系统时间,作为从机接收信号时间;并且可以将从机发送信号时间、主机反馈信号时间以及从机接收信号时间一同存储至预设信号交互时间集中,作为一个信息交互时间组。从机完成一次信息交互时间组的提取之后,可以重复上述步骤,获取N个信息交互时间组;然后可以通过对N个信息交互时间组分别进行时间差计算,从N个时间差中提取数值最小的时间差,作为目标时间差,目标时间差越小,说明对应的主机和从机时间越接近。其中,数据包相当于请求信号,数据包中包含的从机发送信号时间即为该从机的识别信息。
进一步地,参照图4,图4是本申请提供的请求信号传输过程示意图。
本实施例中,假设存在一个参考时间T,从机的系统时间是S,主机的系统时间是M。如图3所示,在T1时刻,从机的当前时间是S1,主机的当前时间是M1;从机在S1时刻发送请求信号给主机,并且记录S1为从机发送信号时间;主机在T2时刻接收到所述请求信号,此时主机时间为M2,主机记录M2为主机反馈信号时间,并且在M2时刻将请求信号以及主机反馈信号时间发送给从机;从机在T3时刻接收到请求信号,记录此时从机的系统时间S3,作为从机接收信号时间。
可以理解地是,请求信号在从机与主机之间进行传输的过程中,一般不存在干扰信号传输的情况,然而本实施例中,为了进一步避免网络波动对信号传输的影响,导致主机与从机的后续画面帧之间的不同步,需要获取主机与从机在多个时间段中的传输时间差,由此,对传输时间差进行反复测试,直至确定没有干扰的时间点测试出来的传输时间差值,即选择绝对值最小的时间差作为目标时间差。具体地:
将请求信号由从机到主机的传输时间记为C1,请求信号由主机返回到从机的传输时间记为C2,那么请求信号的总传输时间C3=C1+C2=T3-T1,其中,C1=T2-T1,C2=T3-T2;以从机系统时间计算,请求信号的总传输时间为ΔS=S3-S1,可以认为,在从机发送请求信号时间与从机接收请求信号时间的中间时刻,即从机时间在S2=S1+ΔS/2=(S1+S3)/2时刻,主机接收到请求信号,此时,C1=C2,M2=S2,即认为主机与从机系统时间同步;但是因为网络波动等原因,C1与C2时间未必相等,此时,从机和主机即存在时间差:ΔT=S2-M2,重复上述操作,计算多个从机和主机的时间差ΔT,当ΔT的值越接近于0,则说明从机与主机的系统时间差越小,越接近时间同步,所以当存在多个ΔT时,在多个时间差中,确定绝对值最小的时间差,提取其中绝对值最小的ΔT作为目标时间差。通过绝对值最小的目标时间差,对从机图像的采集时间进行校正,进一步提高了校准精度。
参考图5,图5是本申请提供的多相机同步校正方法第三实施例的流程示意图。
基于上述图2所示实施例,本实施例中,所述步骤S20,还包括:
步骤S21,计算所述从机发送信号时间与所述从机接收信号时间和的平均值,作为从机反馈信号时间。
本实施例中,从机处理器具备数据处理单元,可以提取存储单元中从机发送信号时间和从机接收信号时间,提取的从机发送信号时间和从机接收信号时间相邻于同一个主机反馈信号时间;然后计算上述两个时间和的平均值。
步骤S22,计算所述从机反馈信号时间与所述主机反馈信号时间的差值,以所述差值的绝对值作为所述当前时间差。
本实施例中,数据处理单元在得到从机发送信号时间和从机接收信号时间和的平均值之后,提取对应的主机反馈信号时间,计算上述两个时间和的平均值与主机反馈信号时间的差值时间,因为差值时间可能是负值时间,所以数据处理单元提取差值时间的绝对值作为当前时间差。
参照图6,图6是本申请提供的多相机同步校正方法第四实施例的流程图。
基于上述图2所示实施例,本实施例中,所述步骤S30,还包括:
步骤S31,基于从机采集的图像,确定当前图像的采集时间为初始图像时间;
步骤S32,基于目标时间差,对所述初始图像时间进行计算,确定所述目标图像的校正图像时间。
本实施例中,主机和从机可以在进行同步之前进行图像采集,也可以在获取目标时间差之后进行图像采集。因为从机计算获取目标时间差之后,为了不影响从机系统的运行,并不对从机系统的时间进行校正。从机系统图像的采集时间仍然是从机系统时间,将从机图像对应的从机系统时间作为初始图像时间。根据目标时间差对从机图像的初始图像时间进行校正,根据上述步骤S22中计算的差值时间的正负来判断初始图像时间的计算方式。
进一步地,所述步骤S32还包括:
判断所述差值为正值,计算所述初始图像时间与所述目标时间差的差值时间,作为所述校正图像时间;
判断所述差值为负值,计算所述初始图像时间与所述目标时间差的和值时间,作为所述校正图像时间。
可以理解地是,若从机反馈信号时间与主机反馈信号时间的差值为负值,那么在从机反馈信号时间,主机未接收到请求信号,说明从机的系统时间比主机的系统时间快,此时,需要将初始图像时间减去目标时间差,才能实现从机图像的时间校正,得到校正图像时间。
进一步地,若从机反馈信号时间与主机反馈信号时间的差值为正值,那么在从机反馈信号时间之前,主机已经接收到请求信号,说明从机的系统时间比主机的系统时间慢,此时,需要将初始图像时间加上目标时间差,才能实现从机图像的时间校正,得到校正图像时间。
参照图7,图7是本申请提供的多相机同步校正方法第五实施例的流程示意图。
基于上述图6所示实施例,本实施例中,所述步骤S32之后,还包括:
步骤S33,获取所述主机的首帧图像,作为首帧主机图像;
步骤S34,在所述从机对应的各帧图像中,确定目标图像的采集时间对应的从机图像,作为首帧从机图像;
步骤S35,基于所述首帧主机图像与所述首帧从机图像,输出同步视频。
本实施例中,主机可以首先确定输出视频的首帧图像,并且将首帧图像对应的主机首帧图像时间发送给从机,从机接收到主机时间信息后,可以对从机采集图像中对应的校正图像时间进行匹配,定位到最接近于主机首帧图像时间的目标图像时间,该目标图像时间所对应的从机图像,作为从机输出视频的首帧图像;从机完成首帧图像的确定后,主机和从机接收服务器端的视频输出指令,同时以各相机的首帧图像为起始,按照时间顺序同步输出视频,输出的视频为多相机拍摄的多角度、同时刻的画面。
进一步地,从相机完成图像采集之后,对图像的采集时间进行校正,可以将经过校正的图像以视频流的方式输出至服务器,主相机将采集的图像以视频流的方式输出至服务器,服务器读取主相机和从相机的视频流,并对图像采集时间进行匹配,提取其中时间最接近的图像作为各相机的第一帧图像,并按照时间顺序同步播放视频流。
可以理解地是,因为主相机与从相机采用同步拍摄的方式,所以主相机与从相机的曝光时长和拍摄时长设置相同,即主相机和从相机拍摄的图像中,相邻两帧图像的时间间隔理论上是相等的,且图片数量理论上也是相同的;当主相机与从相机的首帧图像时间实现同步时,即可认为主相机与从相机输出的图像时间是一一对应且同步的。
此外,本申请实施例还提供一种多相机同步校正装置。
参照图8,图8为本申请多相机同步校正装置第一实施例的功能模块示意图。
本实施例中,所述多相机同步校正装置包括:
当前时间组获取模块10,用于在预设信号交互时间集中,获取一个信号交互时间组,作为当前时间组,其中,每个所述信号交互时间组包括主机反馈信号时间、所述主机反馈信号时间相邻的从机发送信号时间以及所述主机反馈信号时间相邻的从机接收信号时间;
当前时间差计算模块20,用于基于所述主机反馈信号时间、所述从机发送信号时间以及所述从机接收信号时间,计算所述当前时间组的当前时间差;
图像采集时间校正模块30,用于根据所述当前时间差,确定所述主机与所述从机的目标时间差,并根据所述目标时间差,对所述从机的图像采集时间进行校正。
进一步地,所述图像采集校正模块30具体包括:
多个时间组获取单元,用于在所述信号交互时间集中,获取除所述当前时间组之外的各个信号交互时间组;
目标时间差确定单元,计用于算各个信号交互时间组对应的各个时间差,并在各个时间差以及所述当前时间差中确定最小时间差,作为所述目标时间差。
进一步地,所述多相机同步校正装置包括信号交互时间组生成模块,所述信号交互时间组生成模块具体包括:
从机发送信号时间获取单元,用于基于同步信号,向所述主机发送请求信号,记录当前从机系统时间,作为所述从机发送信号时间;
从机接收信号时间获取单元,用于在接收到所述主机反馈的所述请求信号时,记录当前从机系统时间,作为所述从机接收信号时间;
主机反馈信号时间获取单元,用于基于所述主机反馈的所述请求信号,获取所述主机发送所述请求信号时的当前主机系统时间,作为所述主机反馈信号时间;
信号交互时间组生成单元,用于基于所述主机反馈信号时间、从机发送信号时间以及从机接收信号时间,生成一个所述信号交互时间组。
进一步地,所述当前时间差计算模块20具体包括:
从机反馈信号时间计算单元,用于计算所述从机发送信号时间与所述从机接收信号时间和的平均值,作为从机反馈信号时间;
当前时间差计算单元,用于计算所述从机反馈信号时间与所述主机反馈信号时间的差值,以所述差值的绝对值作为所述当前时间差。
进一步地,所述图像采集校正模块30具体还包括:
初始图像时间确定单元,用于基于从机采集的图像,确定当前图像的采集时间为初始图像时间;
校正图像时间确定单元,用于基于目标时间差,对所述初始图像时间进行计算,确定所述目标图像的校正图像时间。
进一步地,所述校正图像时间确定单元具体包括:
差值时间计算子单元,判断所述差值为正值,计算所述初始图像时间与所述目标时间差的差值时间,作为所述校正图像时间;
和值时间计算子单元,判断所述差值为负值,计算所述初始图像时间与所述目标时间差的和值时间,作为所述校正图像时间。
进一步地,所述多相机同步校正装置包括同步视频输出模块,所述视频同步输出模块具体包括:
首帧主机图像获取单元,用于获取所述主机的首帧图像,作为首帧主机图像;
首帧从机图像获取单元,用于在所述从机对应的各帧图像中,确定所述目标图像的采集时间对应的从机图像,作为首帧从机图像;
同步视频输出单元,用于基于所述首帧主机图像与所述首帧从机图像,输出同步视频。
其中,上述多相机同步校正装置中各个模块与上述多相机同步校正方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
此外,本发明实施例还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有多相机同步校正程序,其中所述多相机同步校正程序被处理器执行时,实现如上述的多相机同步校正方法的步骤。
其中,多相机同步校正程序被执行时所实现的方法可参照本发明多相机同步校正方法的各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种多相机同步校正方法,其特征在于,所述方法的步骤包括:
在预设信号交互时间集中,获取一个信号交互时间组,作为当前时间组,其中,每个所述信号交互时间组包括主机反馈信号时间、所述主机反馈信号时间相邻的从机发送信号时间以及所述主机反馈信号时间相邻的从机接收信号时间;
基于所述主机反馈信号时间、所述从机发送信号时间以及所述从机接收信号时间,计算所述当前时间组的当前时间差;
根据所述当前时间差,确定所述主机与所述从机的目标时间差,并根据所述目标时间差,对所述从机的图像采集时间进行校正。
2.根据权利要求1所述的多相机同步校正方法,其特征在于,所述根据所述当前时间差,确定主机与从机的目标时间差,还包括:
在所述信号交互时间集中,获取除所述当前时间组之外的各个信号交互时间组;
计算各个信号交互时间组对应的各个时间差,并在各个时间差以及所述当前时间差中确定最小时间差,作为所述目标时间差。
3.根据权利要求1所述的多相机同步校正方法,其特征在于,所述基于所述主机反馈信号时间、所述从机发送信号时间以及所述从机接收信号时间,计算所述当前时间组的当前时间差,包括:
计算所述从机发送信号时间与所述从机接收信号时间和的平均值,作为从机反馈信号时间;
计算所述从机反馈信号时间与所述主机反馈信号时间的差值,以所述差值的绝对值作为所述当前时间差。
4.根据权利要求3所述的多相机同步校正方法,其特征在于,所述根据所述目标时间差,对所述从机的图像采集时间进行校正,包括:
基于从机采集的图像,确定当前图像的采集时间为初始图像时间;
基于目标时间差,对所述初始图像时间进行计算,确定所述目标图像的校正图像时间。
5.根据权利要求4所述的多相机同步校正方法,其特征在于,所述基于目标时间差,对所述初始图像时间进行计算,确定所述目标图像的校正图像时间,包括:
判断所述差值为正值,计算所述初始图像时间与所述目标时间差的差值时间,作为所述校正图像时间;
判断所述差值为负值,计算所述初始图像时间与所述目标时间差的和值时间,作为所述校正图像时间。
6.根据权利要求5所述的多相机同步校正方法,其特征在于,所述根据目标时间差,对所述从机的图像时间进行校正之后,还包括:
获取所述主机的首帧图像,作为首帧主机图像;
在所述从机对应的各帧图像中,确定所述目标图像的采集时间对应的从机图像,作为首帧从机图像;
基于所述首帧主机图像与所述首帧从机图像,输出同步视频。
7.根据权利要求1-6中任一项所述的多相机同步校正方法,其特征在于,所述在预设信号交互时间集中,获取一个信号交互时间组之前,还包括:
基于同步信号,向所述主机发送请求信号,记录当前从机系统时间,作为所述从机发送信号时间;
在接收到所述主机反馈的所述请求信号时,记录当前从机系统时间,作为所述从机接收信号时间;
基于所述主机反馈的所述请求信号,获取所述主机发送所述请求信号时的当前主机系统时间,作为所述主机反馈信号时间;
基于所述主机反馈信号时间、从机发送信号时间以及从机接收信号时间,生成一个所述信号交互时间组。
8.一种多相机同步校正装置,其特征在于,所述装置包括:
信号交互时间组获取模块,用于在预设信号交互时间集中,获取一个信号交互时间组,作为当前时间组,其中,每个所述信号交互时间组包括主机反馈信号时间、所述主机反馈信号时间相邻的从机发送信号时间以及所述主机反馈信号时间相邻的从机接收信号时间;
当前时间差计算模块,用于基于所述主机反馈信号时间、所述从机发送信号时间以及所述从机接收信号时间,计算所述当前时间组的当前时间差;
图像采集时间校正模块,用于根据所述当前时间差,确定所述主机与所述从机的目标时间差,并根据所述目标时间差,对所述从机的图像采集时间进行校正。
9.一种多相机同步校正设备,其特征在于,所述设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的多相机同步校正程序,其中所述多相机同步校正程序被所述处理器执行时,实现如权利要求1至7中任一项所述的多相机同步校正方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有多相机同步校正程序,其中所述多相机同步校正程序被处理器执行时,实现如权利要求1至7中任一项所述的多相机同步校正方法的步骤。
CN202210418853.1A 2022-04-20 2022-04-20 多相机同步校正方法、装置、设备及存储介质 Pending CN114827576A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210418853.1A CN114827576A (zh) 2022-04-20 2022-04-20 多相机同步校正方法、装置、设备及存储介质
PCT/CN2022/093867 WO2023201822A1 (zh) 2022-04-20 2022-05-19 多相机同步校正方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210418853.1A CN114827576A (zh) 2022-04-20 2022-04-20 多相机同步校正方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114827576A true CN114827576A (zh) 2022-07-29

Family

ID=82505866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210418853.1A Pending CN114827576A (zh) 2022-04-20 2022-04-20 多相机同步校正方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN114827576A (zh)
WO (1) WO2023201822A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883748A (zh) * 2022-11-28 2023-03-31 中汽创智科技有限公司 一种数据回放的同步方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807988A (zh) * 2009-02-17 2010-08-18 索尼公司 从装置、从装置的时刻同步化方法、主装置以及电子设备系统
CN101820500A (zh) * 2009-02-27 2010-09-01 索尼公司 从装置、从装置的时刻同步化方法、主装置以及电子设备系统
US20120274793A1 (en) * 2009-12-08 2012-11-01 Rd-Tek Co., Ltd. System and method for synchronizing video and sensor signals
CN110971818A (zh) * 2019-11-19 2020-04-07 北京奇艺世纪科技有限公司 一种时刻校准方法、装置、辅助从设备及辅助主设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7193004B2 (ja) * 2019-09-09 2022-12-20 日本電気株式会社 スレーブ装置、時刻同期システム、時刻同期方法、および時刻同期プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807988A (zh) * 2009-02-17 2010-08-18 索尼公司 从装置、从装置的时刻同步化方法、主装置以及电子设备系统
CN101820500A (zh) * 2009-02-27 2010-09-01 索尼公司 从装置、从装置的时刻同步化方法、主装置以及电子设备系统
US20120274793A1 (en) * 2009-12-08 2012-11-01 Rd-Tek Co., Ltd. System and method for synchronizing video and sensor signals
CN110971818A (zh) * 2019-11-19 2020-04-07 北京奇艺世纪科技有限公司 一种时刻校准方法、装置、辅助从设备及辅助主设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883748A (zh) * 2022-11-28 2023-03-31 中汽创智科技有限公司 一种数据回放的同步方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023201822A1 (zh) 2023-10-26

Similar Documents

Publication Publication Date Title
US10742955B2 (en) Correlation of video stream frame timestamps based on a system clock
CN107439000B (zh) 一种同步曝光的方法、装置及终端设备
CN103516981A (zh) 摄像装置、摄像系统、摄像方法以及计算机可读取的记录介质
EP2572504A1 (en) Multiple-site drawn-image sharing apparatus, multiple-site drawn-image sharing system, method executed by multiple-site drawn-image sharing apparatus, program, and recording medium
CN111343415A (zh) 数据传输方法及装置
WO2017124906A1 (zh) 数据同步方法、装置及系统
CN114509753A (zh) 雷达视频数据的融合方法及相关设备
CN114827576A (zh) 多相机同步校正方法、装置、设备及存储介质
CA3143824C (en) Special effect synchronization method, device, and storage medium
CN115482286A (zh) 相机内参的标定验证方法、装置、设备及介质
JP2010061411A (ja) 画像投影装置、画像合成装置、画像投影方法及び画像投影プログラム
US11956344B2 (en) Communication apparatus, method for controlling communication apparatus, and storage medium
CN107455006B (zh) 一种同步曝光的方法、装置及终端设备
CN104079368B (zh) 一种应用软件的测试数据传输方法及服务器
US11107177B1 (en) Data/metadata synchronization using metadata queue statistics
US20040083488A1 (en) Receiving apparatus, data communication system, and method for data communication
CN114125485B (zh) 图像处理方法、装置、设备及介质
CN112583722B (zh) 一种数据处理的方法、装置、云设备和存储设备
JP5217782B2 (ja) カメラ利用ペアリング方法、システム、及び装置、並びにカメラ利用ペアリング用プログラム
JP2019140643A (ja) 伝送装置
JP2005286453A (ja) 監視カメラ及び監視システム
CN117177060A (zh) 多相机同步触发方法、装置、多相机同步处理系统和相机
CN112995737B (zh) 多屏显卡输出的分布式网络上屏同步方法、系统及设备
CN111818300B (zh) 一种数据存储、查询方法、装置、计算机设备及存储介质
CN116954809B (zh) 基于安卓设备的远程控制方法、装置、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination