CN110198415B - 一种图像时间戳的确定方法和装置 - Google Patents

一种图像时间戳的确定方法和装置 Download PDF

Info

Publication number
CN110198415B
CN110198415B CN201910443032.1A CN201910443032A CN110198415B CN 110198415 B CN110198415 B CN 110198415B CN 201910443032 A CN201910443032 A CN 201910443032A CN 110198415 B CN110198415 B CN 110198415B
Authority
CN
China
Prior art keywords
time
row
exposure
pixels
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910443032.1A
Other languages
English (en)
Other versions
CN110198415A (zh
Inventor
余振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201910443032.1A priority Critical patent/CN110198415B/zh
Publication of CN110198415A publication Critical patent/CN110198415A/zh
Application granted granted Critical
Publication of CN110198415B publication Critical patent/CN110198415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种图像时间戳的确定方法和装置,该方法包括:获取图像数据单行像素的单行曝光时间和所有行像素的读取时间,并获取图像传感器接收外部触发脉冲的触发时刻;根据所述触发时刻、所述单行曝光时间,与所述读取时间和从所述触发时刻到第一行像素开始读取时刻的时间间隔之间的时间关系;将所述曝光中心点作为图像数据的目标时间戳。通过采用上述技术方案,实现了在不借助其他传感器信息的条件下,得到精准的图像时间戳。

Description

一种图像时间戳的确定方法和装置
技术领域
本发明涉及自动驾驶技术领域,具体涉及一种图像时间戳的确定方法和装置。
背景技术
在自动驾驶及辅助驾驶系统中,车辆通过传感器感知周围的世界。在众多种类的传感器中,视觉传感器是其一种非常重要的感知传感器。视觉传感器采集到视频信号,通过GMSL(吉比特多媒体串行链路)、FPDLINK(视频串行通讯)等介质传送给车辆计算及决策单元。其中重要的一点是,需要获取每帧图像真实发生的精确时刻,这样车辆计算决策单元才能融合其它传感器的信息,做出准确的判断和决策。
现有技术一般是记录图像采集端收到图像帧数据的时刻,并将该时刻作为图像的时间戳,然后通过其它已知真实时刻的传感器信息,对图像时间戳信息进行校正,通过校正信息来使用图像数据。但因为图像成像的曝光时间长短是不固定的,会因为外部环境,例如会因光照的强弱的不同而不同,因此这种补偿方式得到的图像时间戳的精度还有待提高。
发明内容
本发明实施例公开一种图像时间戳的确定方法和装置,实现了在不借助其他传感器信息的条件下,得到精准的图像时间戳。
第一方面,本发明实施例公开了一种图像时间戳的确定方法,该方法包括:
获取图像数据单行像素的单行曝光时间和所有行像素的读取时间,并获取图像传感器接收外部触发脉冲的触发时刻;
根据所述触发时刻、所述单行曝光时间,与所述读取时间和从所述触发时刻到第一行像素开始读取时刻的时间间隔之间的时间关系;
将所述曝光中心点作为图像数据的目标时间戳。
可选的,所述图像传感器为卷帘快门rolling shutter图像传感器;
相应的,根据所述触发时刻、所述单行曝光时间,与所述读取时间和从所述触发时刻到第一行像素开始读取时刻的时间间隔之间的时间关系,包括:
将所述读取时间与所述单行曝光时间作和,并计算和值的二分之一值;
将所述触发时刻、从所述触发时刻到第一行像素开始读取时刻的时间间隔,以及所述差值的二分之一值作和,计算所述图像数据的曝光中心点,计算所述图像数据的曝光中心点。
可选的,所述图像传感器为全局快门global shutter图像传感器;相应的,所述读取时间为0;
相应的,根据所述触发时刻、所述单行曝光时间,与所述读取时间和从所述触发时刻到第一行像素开始读取时刻的时间间隔之间的时间关系,包括:
将所述触发时刻以及从所述触发时刻到第一行像素开始读取时刻的时间间隔作和,并将得到的和值与所述单行曝光时间的二分之一值作差,计算所述图像数据的曝光中心点。
可选的,所述方法还包括:
利用所述单行曝光时间和所述读取时间,对所述图像数据的待校准时间戳进行校准,将计算出的图像数据的曝光中心点作为校准后的目标时间戳;
其中,所述待校准时间戳为获取到的所述图像数据中第一行像素对应的第一开始读取时刻或最后一行像素对应的第二读取结束时刻。
可选的,所述图像传感器为卷帘快门rolling shutter图像传感器;所述待校准时间戳为所述图像数据中第一行像素对应的第一开始读取时刻;
相应的,利用所述单行曝光时间和所述读取时间,对所述图像数据的待校准时间戳进行校准,包括:
将所述读取时间与所述单行曝光时间作差,并计算差值的二分之一值;
将第一开始读取时刻与所述差值的二分之一值作和,对所述图像数据的待校准时间戳进行校准。
可选的,所述图像传感器为卷帘快门rolling shutter图像传感器;所述待校准时间戳为最后一行像素对应的第二读取结束时刻;
相应的,利用所述单行曝光时间和所述读取时间,对所述图像数据的待校准时间戳进行校准,包括:
将所述读取时间与所述单行曝光时间作和,并计算和值的二分之一值;
将第二读取结束时刻与所述和值的二分之一值作差,对所述图像数据的待校准时间戳进行校准。
可选的,所述图像传感器为全局快门global shutter传感器;相应的,所述读取时间为0;
相应的,利用所述单行曝光时间和所述读取时间,对所述图像数据的待校准时间戳进行校准,包括:
将第一开始读取时刻与所述单行曝光时间的二分之一值作差,对所述图像数据的待校准时间戳进行校准。
第二方面,本发明实施例还提供了一种图像时间戳的确定装置,该装置包括:
触发时刻获取模块,被配置为获取图像数据单行像素的单行曝光时间和所有行像素的读取时间,并获取图像传感器接收外部触发脉冲的触发时刻;
曝光中心点计算模块,被配置为根据所述触发时刻、所述单行曝光时间,与所述读取时间和从所述触发时刻到第一行像素开始读取时刻的时间间隔之间的时间关系;
目标时间戳确定模块,被配置为将所述曝光中心点作为图像数据的目标时间戳。
可选的,所述图像传感器为卷帘快门rolling shutter图像传感器;
相应的,所述曝光中心点计算模块,具体被配置为:
将所述读取时间与所述单行曝光时间作差,并计算差值的二分之一值;
将所述触发时刻、从所述触发时刻到第一行像素开始读取时刻的时间间隔,以及所述差值的二分之一值作和,计算所述图像数据的曝光中心点。
可选的,所述图像传感器为全局快门global shutter图像传感器;相应的,所述读取时间为0;
相应的,所述曝光中心点计算模块,具体被配置为:
将所述触发时刻以及从所述触发时刻到第一行像素开始读取时刻的时间间隔作和,并将得到的和值与所述单行曝光时间的二分之一值作差,计算所述图像数据的曝光中心点。
可选的,所述装置还包括:
时间戳校准模块,被配置为利用所述单行曝光时间和所述读取时间,对所述图像数据的待校准时间戳进行校准,将计算出的图像数据的曝光中心点作为校准后的目标时间戳;
其中,所述待校准时间戳为获取到的所述图像数据中第一行像素对应的第一开始读取时刻或最后一行像素对应的第二读取结束时刻。
可选的,所述图像传感器为卷帘快门rolling shutter图像传感器;所述待校准时间戳为所述图像数据中第一行像素对应的第一开始读取时刻;
相应的,所述时间戳校准模块,具体被配置为:
将所述读取时间与所述单行曝光时间作差,并计算差值的二分之一值;
将第一开始读取时刻与所述差值的二分之一值作和,对所述图像数据的待校准时间戳进行校准。
可选的,所述图像传感器为卷帘快门rolling shutter图像传感器;所述待校准时间戳为最后一行像素对应的第二读取结束时刻;
相应的,所述时间戳校准模块,具体被配置为:
将所述读取时间与所述单行曝光时间作和,并计算和值的二分之一值;
将第二读取结束时刻与所述和值的二分之一值作差,对所述图像数据的待校准时间戳进行校准。
可选的,所述图像传感器为全局快门global shutter传感器;相应的,所述读取时间为0;
相应的,所述时间戳校准模块,具体被配置为:
将第一开始读取时刻与所述单行曝光时间的二分之一值作差,对所述图像数据的待校准时间戳进行校准。
第三方面,本发明实施例还提供了一种车载终端,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明任意实施例所提供的图像时间戳的确定方法的部分或全部步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其存储计算机程序,所述计算机程序包括用于执行本发明任意实施例所提供的图像时间戳的确定方法的部分或全部步骤的指令。
第五方面,本发明实施例还提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明任意实施例所提供的图像时间戳的确定方法的部分或全部步骤。
本实施例提供的技术方案,在不借助其他传感器信息的前提下,将图像数据实际的曝光中心点作为图像数据的时间戳。在确定图像数据的曝光中心点时,采用了真实的单行曝光时间作为补偿,并结合图像传感器接收外部触发脉冲的触发时刻作为计算参数,根据该触发时刻,所有行像素的读取时间、以及从该触发时刻到第一行像素开始读取时刻的时间间隔这一定值可计算出图像数据的曝光中心点。相对于现有技术中将采集到图像数据的时刻作为图像时间戳,并借助其他传感器信息对该时间戳进行校正的方式,本实施例的技术方案可获取到真实的图像中心的曝光时刻,避免了图像成像的曝光时间因外部环境的不同所带来的影响,提升了图像时间戳的精度。
本发明的发明点包括:
1、利用单行像素的单行曝光时间、所有行像素的读取时间,以及图像传感器接收外部触发脉冲的触发时刻计算图像数据的曝光中心点,并将该曝光中心点作为图像数据的目标时间戳,解决了由于外部环境的不同对图像成像的曝光时间的影响,在不借助其他传感器信息的条件下,提升了图像时间戳的精度,是本发明的发明点之一。
2、对于一些可以获取到图像数据中第一行像素对应的第一开始读取时刻或最后一行像素对应的第二读取结束时刻的图像采集装置,通过利用单行曝光时间和所有行像素读取时间,可对图像数据的第一开始读取时刻和第二读取结束时刻进行校准,将计算出的图像数据的曝光中心点作为校准后的目标时间戳。相对于现有技术中将图像采集装置收到图像帧数据的时刻作为时间戳,并利用其他传感器信息对该时间戳进行校正的方案,本发明实施例的技术方案所确定的目标时间戳不受外部环境的影响,解决了现有技术时间戳计算精度低的问题,在不借助其他传感器信息的条件下,提升了图像时间戳的精度,是本发明的发明点之一。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种图像时间戳的确定方法的流程示意图;
图1b是本发明实施例提供的一种卷帘快门图像传感器的触发曝光过程示意图;
图1c是本发明实施例提供的一种全局快门图像传感器的触发曝光过程示意图;
图2a是本发明实施例提供的一种图像时间戳的确定方法的流程示意图;
图2b是本发明实施例提供的又一种卷帘快门图像传感器的曝光过程示意图;
图2c是本发明实施例提供的又一种全局快门图像传感器的曝光过程示意图;
图3是本发明实施例提供的一种图像时间戳的确定装置的结构示意图;
图4是本发明实施例提供的一种车载终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
请参阅图1a,图1a是本发明实施例提供的一种图像时间戳的确定方法的流程示意图。该方法应用于自动驾驶中,可由图像时间戳的确定装置来执行,该装置可通过软件和/或硬件的方式实现,一般可集成在车载电脑、车载工业控制计算机(Industrial personalComputer,IPC)等车载终端中,本发明实施例不做限定。如图1a所示,本实施例提供的方法具体包括:
110、获取图像数据单行像素的单行曝光时间和所有行像素的读取时间,并获取图像传感器接收外部触发脉冲的触发时刻。
本实施例中,图像传感器可以为卷帘快门式(rolling shutter)图像传感器,还可以为全局快门式(global shutter)图像传感器。单行曝光时间(Texposure)可以从传感器的寄存器中读出,所有行像素的读取时间(Treadout)对于某种固定类型的图像传感器而言是固定不变的,可以通过测量得到。
对于任意一种类型的图像传感器,在接收到图像采集装置发送的触发脉冲时才开始采集图像数据,图像采集装置发送触发脉冲的时刻是可以获知的时刻。另外,对于任意一种类型的图像传感器,从图像采集装置发送触发脉冲的时刻到第一行像素开始读取时刻的时长也是固定的,该时长可通过示波器测量得到。因此,基于上述信息,在不借助其他传感器的条件下,结合图像数据单行像素的单行曝光时间和所有行像素的读取时间,可计算出图像数据的曝光中心点。
120、根据触发时刻、单行曝光时间,与读取时间和从触发时刻到第一行像素开始读取时刻的时间间隔之间的时间关系,计算图像数据的曝光中心点。
由于不同类型的图像传感器的曝光原理不同,因此计算出的图像数据的曝光中心点也不同。其中,对于卷帘快门图像传感器而言,其曝光原理是通过逐行曝光的方式实现的。在曝光开始的时候,传感器逐行扫描逐行进行曝光,直至所有像素点都被曝光。而对于全局快门传感器而言,其曝光原理是,整幅场景在同一时间实现曝光。具体为:在曝光开始的时候,传感器开始收集光线,并在曝光结束的时候,光线收集电路被切断,然后传感器值读出即为一幅照片。下面分别对卷帘快门图像传感器和全局快门图像传感器所采集图像数据的曝光中心点的计算方法进行详细介绍。
示例性的,对于卷帘快门图像传感器,步骤120中,根据触发时刻、单行曝光时间,与读取时间和从触发时刻到第一行像素开始读取时刻的时间间隔之间的时间关系,计算图像数据的曝光中心点,具体为:
将所有行像素的读取时间与单行曝光时间作差,并计算差值的二分之一值,并将该差值的二分之一值、图像传感器接收外部触发脉冲的触发时刻,以及从该触发时刻到第一行像素开始读取时刻的时间间隔作和,计算图像数据的曝光中心点。
具体的,图1b是本发明实施例提供的一种卷帘快门图像传感器的触发曝光过程示意图。如图1b所示,tr表示传感器接收外部触发脉冲的触发时刻;t0表示第一行像素开始曝光的时刻;t1表示第一行像素开始读取时刻;t2表示最后一行像素读取结束时刻;Texposure表示单行曝光时间;Treadout表示所有行的读取时间,对应于图1b中的(t2-t1)这一时间段;tr到t1的间隔对于固定类型的图像传感器而言是定值。
如图1b所示,图像数据的曝光中心点t=(t1-tr)+tr+(Treadout-Texposure)/2。
示例性的,由于全局快门图像传感器是将整幅图像同时曝光的,因此,第一行像素的开始读取时刻与最后一行像素的读取结束时刻相重合,即所有行的读取时间为0。此时,步骤120中,根据触发时刻、单行曝光时间,与读取时间和从触发时刻到第一行像素开始读取时刻的时间间隔之间的时间关系,包括:
将所述触发时刻以及从所述触发时刻到第一行像素开始读取时刻的时间间隔作和,并将得到的和值与所述单行曝光时间的二分之一值作差,计算图像数据的曝光中心点。
具体的,图1c是本发明实施例提供的一种全局快门图像传感器的触发曝光过程示意图。如图1c所示,tr表示传感器接收外部触发脉冲的触发时刻;t0表示第一行像素开始曝光的时刻;t1表示第一行像素开始读取时刻;t2表示最后一行像素读取结束时刻,t1和t2相重合;Texposure表示单行曝光时间;tr到t1的间隔是定值。
如图1c所示,图像数据的曝光中心点t=(t1-tr)+tr-Texposure/2。
130、将曝光中心点作为图像数据的目标时间戳。
本实施例提供的技术方案,在不借助其他传感器信息的前提下,将图像数据实际的曝光中心点作为图像数据的时间戳。在确定图像数据的曝光中心点时,采用了真实的单行曝光时间作为补偿,并结合图像传感器接收外部触发脉冲的触发时刻作为计算参数,根据该触发时刻,所有行像素的读取时间、以及从该触发时刻到第一行像素开始读取时刻的时间间隔这一定值可计算出图像数据的曝光中心点。相对于现有技术中将采集到图像数据的时刻作为图像时间戳,并借助其他传感器信息对该时间戳进行校正的方式,本实施例的技术方案可获取到真实的图像中心的曝光时刻,提升了图像时间戳的精度。
此外,本实施例提供的技术方案主要应用于不能获取到图像数据中第一行像素对应的第一开始读取时刻或最后一行像素对应的第二读取结束时刻的图像采集装置。在这类图像采集装置中,对于不同类型的图像传感器,例如卷帘快门式图像传感器和全局快门式图像传感器,本实施例提供了对应的基于触发时刻的图像曝光中心点的计算方法,通过采用上述计算方法,可得到精准的图像曝光中心点,并且利用上述方法也可实现图像曝光中心点的实施在线获取。
实施例二
请参阅图2a,图2a是本发明实施例提供的一种图像时间戳的确定方法的流程示意图。本实施例在上述实施例的基础上进行了优化,主要应用于可以获取到图像数据中第一行像素对应的第一开始读取时刻或最后一行像素对应的第二读取结束时刻的图像采集装置。对于这些图像采集装置,可将第一开始读取时刻和第二读取结束时刻作为待校准的图像时间戳,并利用真实的单行曝光时间进行补偿,得到图像数据真实的曝光中心点作为校准后的图像时间戳。如图2a所示,该方法包括:
210、获取图像数据单行像素的单行曝光时间和所有行像素的读取时间。
220、利用单行曝光时间和读取时间,对图像数据的待校准时间戳进行校准,将计算出的图像数据的曝光中心点作为校准后的目标时间戳。
其中,待校准时间戳为获取到的图像数据中第一行像素对应的第一开始读取时刻或最后一行像素对应的第二读取结束时刻。
由于不同类型的图像传感器的曝光原理不同,因此计算出的图像数据的曝光中心点也不同。具体的,图2b是本发明实施例提供的又一种卷帘快门图像传感器的曝光过程示意图。如图2b所示,横轴表示时间,纵轴表示传感器的行地址;t0表示第0行开始曝光时刻,t1表示第一行像素的第一开始读取时刻,t2表示最后一行像素的第二读取结束时刻。Texposure表示单行曝光时间,Treadout表示所有行的读取时间。其中,t0无法准确测量或者计算得到;t1或者t2可以通过装置设计得到较为准确的值;Texposure可以从传感器中读取出来的;Treadout是固定不变的,可以通过测量得到。
如图2b所示,对于卷帘快门图像传感器,如果获取的是第一行像素对应的第一开始读取时刻,则步骤220中,利用单行曝光时间和读取时间,对图像数据的待校准时间戳进行校准,具体可以为:
将读取时间与单行曝光时间作差,并计算差值的二分之一值,并将该差值的二分之一值以及第一开始读取时刻与作和,对图像数据的第一开始读取时刻进行校准。具体可通过如下公式来表示:t=t1+(Treadout-Texposure)/2。
如图2b所示,对于卷帘快门图像传感器,如果获取的是最后一行像素对应的第二读取结束时刻,则步骤220中,利用单行曝光时间和读取时间,对图像数据的待校准时间戳进行校准,具体可以为:
将读取时间与单行曝光时间作和,并计算和值的二分之一值,并将第二读取结束时刻与该和值的二分之一值作差,对图像数据的待校准时间戳进行校准。具体可通过如下公式来表示:t=t2-(Treadout+Texposure)/2。
示例性的,图2c是本发明实施例提供的又一种全局快门图像传感器的曝光过程示意图。如图2c所示,横轴表示时间,纵轴表示传感器的行地址;t0表示第0行开始曝光时刻,t1表示第一行像素的第一开始读取时刻,t2表示最后一行像素的第二读取结束时刻。Texposure表示单行曝光时间。其中,由于t1与t2重合,因此Treadout等于0。此时,步骤220中,利用单行曝光时间和读取时间,对图像数据的待校准时间戳进行校准,具体为:
将第一开始读取时刻与所述单行曝光时间的二分之一值作差,对图像数据的待校准时间戳进行校准。具体可通过如下公式来表示:t=t1-Texposure/2。
本实施例的技术方案主要是应用于可以获取到图像数据中第一行像素对应的第一开始读取时刻或最后一行像素对应的第二读取结束时刻的图像采集装置。在这类图像采集装置中,对于不同类型的图像传感器,例如卷帘快门式图像传感器和全局快门式图像传感器,本实施例提供了对应的基于单行曝光时间和所有行像素的读取时间的图像曝光中心点的计算方法,通过采用上述计算方法,可得到精准的图像曝光中心点,并且利用上述方法也可实现图像曝光中心点的实施在线获取。
需要说明的是,对于应用本实施例的技术方案的图像采集装置,该装置也可以采用上述实施例提供的采用图像传感器接收外部触发脉冲的触发时刻来计算图像数据的曝光中心点,本实施例对此不作具体限定。
实施例三
请参阅图3,图3是本发明实施例提供的一种图像时间戳的确定装置的结构示意图。如图3所示,该装置包括:触发时刻获取模块310、曝光中心点计算模块320和目标时间戳确定模块330,其中,
触发时刻获取模块310,被配置为获取图像数据单行像素的单行曝光时间和所有行像素的读取时间,并获取图像传感器接收外部触发脉冲的触发时刻;
曝光中心点计算模块320,被配置为根据所述触发时刻、所述单行曝光时间,与所述读取时间和从所述触发时刻到第一行像素开始读取时刻的时间间隔之间的时间关系;
目标时间戳确定模块330,被配置为将所述曝光中心点作为图像数据的目标时间戳。
本实施例提供的技术方案,在不借助其他传感器信息的前提下,将图像数据实际的曝光中心点作为图像数据的时间戳。在确定图像数据的曝光中心点时,采用了真实的单行曝光时间作为补偿,并结合图像传感器接收外部触发脉冲的触发时刻作为计算参数,根据该触发时刻,所有行像素的读取时间、以及从该触发时刻到第一行像素开始读取时刻的时间间隔这一定值可计算出图像数据的曝光中心点。相对于现有技术中将采集到图像数据的时刻作为图像时间戳,并借助其他传感器信息对该时间戳进行校正的方式,本实施例的技术方案可获取到真实的图像中心的曝光时刻,避免了图像成像的曝光时间因外部环境的不同所带来的影响,提升了图像时间戳的精度。
可选的,所述图像传感器为卷帘快门rolling shutter图像传感器;
相应的,所述曝光中心点计算模块,具体被配置为:
将所述读取时间与所述单行曝光时间作差,并计算差值的二分之一值;
将所述触发时刻、从所述触发时刻到第一行像素开始读取时刻的时间间隔,以及所述差值的二分之一值作和,计算所述图像数据的曝光中心点。
可选的,所述图像传感器为全局快门global shutter图像传感器;相应的,所述读取时间为0;
相应的,所述曝光中心点计算模块,具体被配置为:
将所述触发时刻以及从所述触发时刻到第一行像素开始读取时刻的时间间隔作和,并将得到的和值与所述单行曝光时间的二分之一值作差,计算所述图像数据的曝光中心点。
可选的,所述装置还包括:
时间戳校准模块,被配置为利用所述单行曝光时间和所述读取时间,对所述图像数据的待校准时间戳进行校准,将计算出的图像数据的曝光中心点作为校准后的目标时间戳;
其中,所述待校准时间戳为获取到的所述图像数据中第一行像素对应的第一开始读取时刻或最后一行像素对应的第二读取结束时刻。
可选的,所述图像传感器为卷帘快门rolling shutter图像传感器;所述待校准时间戳为所述图像数据中第一行像素对应的第一开始读取时刻;
相应的,所述时间戳校准模块,具体被配置为:
将所述读取时间与所述单行曝光时间作差,并计算差值的二分之一值;
将第一开始读取时刻与所述差值的二分之一值作和,对所述图像数据的待校准时间戳进行校准。
可选的,所述图像传感器为卷帘快门rolling shutter图像传感器;所述待校准时间戳为最后一行像素对应的第二读取结束时刻;
相应的,所述时间戳校准模块,具体被配置为:
将所述读取时间与所述单行曝光时间作和,并计算和值的二分之一值;
将第二读取结束时刻与所述和值的二分之一值作差,对所述图像数据的待校准时间戳进行校准。
可选的,所述图像传感器为全局快门global shutter传感器;相应的,所述读取时间为0;
相应的,所述时间戳校准模块,具体被配置为:
将第一开始读取时刻与所述单行曝光时间的二分之一值作差,对所述图像数据的待校准时间戳进行校准。
本发明实施例所提供的图像时间戳的确定装置可执行本发明任意实施例所提供的图像时间戳的确定方法,具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的图像时间戳的确定方法。
实施例四
请参阅图4,图4是本发明实施例提供的一种车载终端的结构示意图。如图4所示,该车载终端可以包括:
存储有可执行程序代码的存储器701;
与存储器701耦合的处理器702;
其中,处理器702调用存储器701中存储的可执行程序代码,执行本发明任意实施例所提供的图像时间戳的确定方法。
本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行本发明任意实施例所提供的图像时间戳的确定方法。
本发明实施例公开一种计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行本发明任意实施例所提供的图像时间戳的确定方法的部分或全部步骤。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在本发明所提供的实施例中,应理解,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种图像时间戳的确定方法和装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (3)

1.一种图像时间戳的确定方法,应用于无法获取到图像数据中第一行像素对应的第一开始读取时刻或最后一行像素对应的第二读取结束时刻的图像采集装置,其特征在于,包括:
获取图像数据单行像素的单行曝光时间和所有行像素的读取时间,并获取图像传感器接收外部触发脉冲的触发时刻;
根据所述触发时刻、所述单行曝光时间,与所述读取时间和从所述触发时刻到第一行像素开始读取时刻的时间间隔之间的时间关系,计算所述图像数据的曝光中心点;其中,所述触发时刻到第一行像素开始读取时刻的时间间隔对于固定类型的图像传感器而言是定值;
将所述曝光中心点作为图像数据的目标时间戳;
其中,根据所述触发时刻、所述单行曝光时间,与所述读取时间和从所述触发时刻到第一行像素开始读取时刻的时间间隔之间的时间关系,包括:
将所述读取时间与所述单行曝光时间作差,并计算差值的二分之一值;
将所述触发时刻、从所述触发时刻到第一行像素开始读取时刻的时间间隔,以及所述差值的二分之一值作和,计算所述图像数据的曝光中心点。
2.根据权利要求1所述的方法,其特征在于,所述图像传感器为全局快门globalshutter图像传感器;相应的,所述读取时间为0;
相应的,根据所述触发时刻、所述单行曝光时间,与所述读取时间和从所述触发时刻到第一行像素开始读取时刻的时间间隔之间的时间关系,包括:
将所述触发时刻以及从所述触发时刻到第一行像素开始读取时刻的时间间隔作和,并将得到的和值与所述单行曝光时间的二分之一值作差,计算所述图像数据的曝光中心点。
3.一种图像时间戳的确定装置,应用于无法获取到图像数据中第一行像素对应的第一开始读取时刻或最后一行像素对应的第二读取结束时刻的图像采集装置,其特征在于,包括:
触发时刻获取模块,被配置为获取图像数据单行像素的单行曝光时间和所有行像素的读取时间,并获取图像传感器接收外部触发脉冲的触发时刻;
曝光中心点计算模块,被配置为根据所述触发时刻、所述单行曝光时间,与所述读取时间和从所述触发时刻到第一行像素开始读取时刻的时间间隔之间的时间关系;其中,所述触发时刻到第一行像素开始读取时刻的时间间隔对于固定类型的图像传感器而言是定值;
目标时间戳确定模块,被配置为将所述曝光中心点作为图像数据的目标时间戳;
其中,所述曝光中心点计算模块,具体被配置为:
将所述读取时间与所述单行曝光时间作差,并计算差值的二分之一值;
将所述触发时刻、从所述触发时刻到第一行像素开始读取时刻的时间间隔,以及所述差值的二分之一值作和,计算所述图像数据的曝光中心点。
CN201910443032.1A 2019-05-26 2019-05-26 一种图像时间戳的确定方法和装置 Active CN110198415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910443032.1A CN110198415B (zh) 2019-05-26 2019-05-26 一种图像时间戳的确定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910443032.1A CN110198415B (zh) 2019-05-26 2019-05-26 一种图像时间戳的确定方法和装置

Publications (2)

Publication Number Publication Date
CN110198415A CN110198415A (zh) 2019-09-03
CN110198415B true CN110198415B (zh) 2021-08-24

Family

ID=67753070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910443032.1A Active CN110198415B (zh) 2019-05-26 2019-05-26 一种图像时间戳的确定方法和装置

Country Status (1)

Country Link
CN (1) CN110198415B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114071007A (zh) * 2020-08-07 2022-02-18 Oppo广东移动通信有限公司 图像处理方法、多媒体处理芯片以及电子设备
CN114125177A (zh) * 2020-08-28 2022-03-01 魔门塔(苏州)科技有限公司 一种基于图像帧号的图像时间戳的标定系统及方法
CN112203076B (zh) * 2020-09-16 2022-07-29 青岛小鸟看看科技有限公司 Vr系统中多摄像头曝光中心点的对齐方法、系统
WO2022099482A1 (zh) * 2020-11-10 2022-05-19 深圳市大疆创新科技有限公司 曝光控制方法、装置、可移动平台及计算机可读存储介质
CN112865902B (zh) * 2020-12-24 2023-06-23 深兰人工智能(深圳)有限公司 数据采集和时间同步方法、装置、电子设备及存储介质
CN112929578B (zh) * 2021-03-05 2023-05-05 科络克电子科技(上海)有限公司 一种图像感光时刻获取方法、装置、设备及介质
CN113985389B (zh) * 2021-09-30 2024-02-09 苏州浪潮智能科技有限公司 一种时间同步校准装置、自动识别路径设备、方法及介质
CN114025055A (zh) * 2021-11-29 2022-02-08 上海商汤临港智能科技有限公司 一种数据处理的方法、装置、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107306340A (zh) * 2016-04-14 2017-10-31 上海富瀚微电子股份有限公司 一种自动曝光和参考帧补偿参数计算装置及方法
CN109729278A (zh) * 2018-11-19 2019-05-07 魔门塔(苏州)科技有限公司 可设定各通道传输速率的远程多传感器同步接收装置
CN109729277A (zh) * 2018-11-19 2019-05-07 魔门塔(苏州)科技有限公司 多传感器采集时间戳同步装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103148851B (zh) * 2013-02-18 2015-06-24 清华大学 基于卷帘曝光成像的星敏感器的姿态确定方法
US9277132B2 (en) * 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
CN109040623B (zh) * 2018-08-22 2020-07-31 中国电子科技集团公司第四十四研究所 Cmos图像传感器曝光时序控制装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107306340A (zh) * 2016-04-14 2017-10-31 上海富瀚微电子股份有限公司 一种自动曝光和参考帧补偿参数计算装置及方法
CN109729278A (zh) * 2018-11-19 2019-05-07 魔门塔(苏州)科技有限公司 可设定各通道传输速率的远程多传感器同步接收装置
CN109729277A (zh) * 2018-11-19 2019-05-07 魔门塔(苏州)科技有限公司 多传感器采集时间戳同步装置

Also Published As

Publication number Publication date
CN110198415A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN110198415B (zh) 一种图像时间戳的确定方法和装置
CN110139066B (zh) 一种传感器数据的传输系统、方法和装置
CN111736169B (zh) 一种数据同步方法、设备及系统
CN109712192B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN109712196B (zh) 摄像头标定处理方法、装置、车辆控制设备及存储介质
CN109600548B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109781163B (zh) 标定参数有效性检验方法、装置、设备及存储介质
CN108988974B (zh) 时间延时的测量方法、装置和对电子设备时间同步的系统
CN111556224B (zh) 多相机同步校准方法、装置及系统
US11017552B2 (en) Measurement method and apparatus
US11032477B2 (en) Motion stabilized image sensor, camera module and apparatus comprising same
CN111860551B (zh) 一种多传感器数据融合方法及装置、车载终端
CN110832846A (zh) 像素单元、图像传感器及其运行方法、摄像装置
CN113519151B (zh) 图像采集触发方法、装置、计算机设备、可读存储介质和监控设备
JP2002027326A (ja) デジタルカメラ
CN114071132B (zh) 一种信息延时的检测方法、装置、设备及可读存储介质
CN113489970B (zh) 云台相机的校正方法和装置、存储介质及电子装置
CN102368946B (zh) 瞳孔遮蔽状态检测装置和具有它的车载照相机
CN111885323B (zh) 图像传感器、图像生成的方法和电子设备
CN113066100A (zh) 目标跟踪方法、装置、设备及存储介质
CN116193281A (zh) 一种校正坏点的方法、装置、终端及计算机可读存储介质
KR102530761B1 (ko) 이미지 센서, 카메라 모듈 및 이를 포함하는 기기
KR101733792B1 (ko) 위치 보정 방법 및 장치
CN111357278A (zh) 图像处理方法、图像处理装置及图像采集装置、存储介质
CN117254870B (zh) 时间校准方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211122

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Patentee after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Patentee before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right