CN107613159B - 图像时间校准方法及系统 - Google Patents
图像时间校准方法及系统 Download PDFInfo
- Publication number
- CN107613159B CN107613159B CN201710949231.0A CN201710949231A CN107613159B CN 107613159 B CN107613159 B CN 107613159B CN 201710949231 A CN201710949231 A CN 201710949231A CN 107613159 B CN107613159 B CN 107613159B
- Authority
- CN
- China
- Prior art keywords
- time
- image
- format
- frame image
- time information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000001360 synchronised effect Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 28
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000013078 crystal Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提供一种图像时间校准方法及系统,通过根据图像拍摄装置的帧频信息,根据系统同步时间,确定图像拍摄装置拍摄每帧图像的曝光触发时刻点;其中,系统同步时间为与卫星接收机获得的标准时间进行同步后的系统时钟;并通过接收图像拍摄装置在曝光触发时刻点拍摄得到的帧图像,将曝光触发时刻点的时间信息进行编码后写入对应帧图像,形成带有系统同步时间的帧图像。实现图像拍摄装置所拍摄的帧图像中带有与如GPS/北斗等卫星接收机的标准时间同步的时间信息,进而在多摄像机协作中,实现多摄像机的曝光触发时刻点与上述标准时间同步,保证了通过多摄像机接收的带有系统同步时间的帧图像中所拍摄的被检测物体在时间和空间位置信息的一致性。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种图像时间校准方法及系统。
背景技术
随着城市道路交通日益发展,越来越多的道路上架设了摄像机,以实现拍摄视频对车辆实时准确定位。
然而,现有技术中摄像机内没有对时功能,车辆在道路上行驶时,由于摄像机所拍摄的视频图像内不带拍摄曝光触发时刻点的时间信息,并且各摄像机曝光时间及传输机制不一样导致获取各摄像机图像的延迟时间也不一样。例如:某台摄像机内系统时钟与标准时间存在1秒的误差,通过该摄像机拍摄的视频图像,采用视频图像处理算法对道路上行驶速度为60千米/小时的车辆进行检测定位,由于时间误差导致在同一时间点上会出现16.67米的车辆定位误差。因此,在多摄像机协作机制中,需要解决不同类型摄像机内拍摄图像时间基准的统一,实现被检测车辆在不同摄像机采集图像中时间和空间位置信息的一致性。
发明内容
本发明提供一种图像时间校准方法及系统,用以解决现有技术中不同类型摄像机内拍摄图像时间基准不统一的技术问题。
本发明提供一种图像时间校准方法,包括:
根据图像拍摄装置的帧频信息,根据系统同步时间,确定所述图像拍摄装置拍摄每帧图像的曝光触发时刻点;其中,所述系统同步时间为与卫星接收机获得的标准时间进行同步后的系统时钟;
接收所述图像拍摄装置在所述曝光触发时刻点拍摄得到的帧图像,将所述曝光触发时刻点的时间信息写入所述帧图像,形成带有所述系统同步时间的帧图像。
可选的,所述将所述曝光触发时刻点的时间信息写入所述帧图像之前,还包括:
对所述曝光触发时刻点的时间信息进行编码处理,得到编码处理后的第一时间信息;所述第一时间信息包括:信息头、所述曝光触发时刻点的时间信息、校验位。
可选的,所述将所述曝光触发时刻点的时间信息写入所述帧图像,包括:
在所述帧图像的预设位置处,确定用于写入所述第一时间信息的目标像素点;其中所述目标像素点的位数与所述第一时间信息的位数相对应;
在每个所述目标像素点上对应写入所述第一时间信息,形成带有所述系统同步时间的帧图像。
可选的,所述对所述曝光触发时刻点的时间信息进行编码处理,得到编码处理后的第一时间信息,包括:
根据接收到的所述帧图像的图像格式,其中,所述图像格式包括:YCbCr、JPEG、或MPEG,对所述曝光触发时刻点的时间信息采用与所述图像格式相对应的编码处理,得到带有所述第一时间信息的YCbCr格式的帧图像、JPEG格式的帧图像、或MPEG格式的帧图像。
可选的,所述图像格式为YCbCr,则相应的,所述对所述曝光触发时刻点的时间信息采用与所述图像格式相对应的编码处理,得到带有所述第一时间信息的YCbCr格式的帧图像,包括:
根据所述帧图像的YCbCr格式的位数,确定将所述YCbCr格式转换为RGB格式的转换公式;其中,所述YCbCr格式的位数包括:8位YCbCr格式,或者10位YCbCr格式;
根据第一转换公式将所述8位YCbCr格式转换为8位RGB格式,得到带有所述第一时间信息的YCbCr格式的帧图像;
或者,
根据第二转换公式将所述10位YCbCr格式转换为8位RGB格式,得到带有所述第一时间信息的YCbCr格式的帧图像。
可选的,所述图像格式为JPEG、或MPEG,则相应的,所述对所述曝光触发时刻点的时间信息采用与所述图像格式相对应的编码处理,得到带有所述第一时间信息的JPEG、或MPEG格式的帧图像,包括:
采用与JPEG、或MPEG格式对应的压缩算法,对帧图像进行压缩处理,将所述第一时间信息写入压缩处理后的JPEG、或MPEG格式的帧图像内。
本发明还提供一种图像时间校准系统,其特征在于,包括:
确定模块,用于根据图像拍摄装置的帧频信息,根据系统同步时间,确定所述图像拍摄装置拍摄每帧图像的曝光触发时刻点;其中,所述系统同步时间为与卫星接收机获得的标准时间进行同步后的系统时钟;
接收模块,用于接收所述图像拍摄装置在所述曝光触发时刻点拍摄得到的帧图像;
写入模块,用于将所述曝光触发时刻点的时间信息写入所述帧图像,形成带有所述系统同步时间的帧图像。
可选的,所述系统还包括:
编码模块,用于对所述曝光触发时刻点的时间信息进行编码处理,得到编码处理后的第一时间信息;所述第一时间信息包括:信息头、所述曝光触发时刻点的时间信息、校验位。
可选的,所述写入模块包括:
确定子模块,用于在所述帧图像的预设位置处,确定用于写入所述第一时间信息的目标像素点;其中所述目标像素点的位数与所述第一时间信息的位数相对应;
写入子模块,用于在每个所述目标像素点上对应写入所述第一时间信息,形成带有所述系统同步时间的帧图像。
可选的,所述编码模块,具体用于根据接收到的所述帧图像的图像格式,其中,所述图像格式包括:YCbCr、JPEG、或MPEG,对所述曝光触发时刻点的时间信息采用与所述图像格式相对应的编码处理,得到带有所述第一时间信息的YCbCr格式的帧图像、JPEG格式的帧图像、或MPEG格式的帧图像。
可选的,所述图像格式为YCbCr,则相应的,所述编码模块包括:
第一处理子模块,用于根据所述帧图像的YCbCr格式的位数,确定将所述YCbCr格式转换为RGB格式的转换公式;其中,所述YCbCr格式的位数包括:8位YCbCr格式,或者10位YCbCr格式;
根据第一转换公式将所述8位YCbCr格式转换为8位RGB格式,得到带有所述第一时间信息的YCbCr格式的帧图像;
或者,
根据第二转换公式将所述10位YCbCr格式转换为8位RGB格式,得到带有所述第一时间信息的YCbCr格式的帧图像。
可选的,所述图像格式为JPEG、或MPEG,则相应的,所述编码模块包括:
第二处理子模块,用于采用与JPEG、或MPEG格式对应的压缩算法,对帧图像进行压缩处理,将所述第一时间信息写入压缩处理后的JPEG、或MPEG格式的帧图像内。
本发明提供的图像时间校准方法及系统,通过根据图像拍摄装置的帧频信息,根据系统同步时间,确定图像拍摄装置拍摄每帧图像的曝光触发时刻点;其中,系统同步时间为与卫星接收机获得的标准时间进行同步后的系统时钟;并通过接收图像拍摄装置根据曝光触发时刻点拍摄得到的帧图像,将曝光触发时刻点的时间信息写入帧图像,形成带有系统同步时间的帧图像。实现图像拍摄装置所拍摄的帧图像中带有与如GPS/北斗等卫星接收机的标准时间同步的时间信息,进而在多摄像机协作中,实现多摄像机的曝光触发时刻点与上述标准时间同步,保证了通过多摄像机接收的带有系统同步时间的帧图像中所拍摄的被检测物体在时间和空间位置信息的一致性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一示例性实施例示出的本发明的图像时间校准方法的流程示意图;
图2为图1所示实施例的装置架构示意图;
图3为另一示例性实施例示出的本发明的图像时间校准方法的流程示意图;
图4为一示例性实施例示出的本发明的图像时间校准系统的结构示意图;
图5为另一示例性实施例示出的本发明的图像时间校准系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为一示例性实施例示出的本发明的图像时间校准方法的流程示意图,如图1所示,该实施例的执行主体可以为执行该图像时间校准方法的图像时间校准系统。该图像时间校准系统可以为如图2所示的结构,其中,时钟脉冲信号通过电平线连接,秒脉冲信号通过电平线连接,精确到秒的时间信息通过232异步串口通信线连接,曝光触发信号通过电平线连接,对应帧图像数据信息通过标准视频输入AV视频信号线连接,视频采集卡采集图像数据通过视频信号线连接,通过网络采集图像数据通过网络传输线连接。该图2所示的图像时间校准系统用于执行本实施例的图像时间校准方法,具体包括:
步骤101、根据图像拍摄装置的帧频信息,根据系统同步时间,确定图像拍摄装置拍摄每帧图像的曝光触发时刻点。
在本步骤中,图像拍摄装置可以为图2所示的监控摄像机,或者其他的具有照片、视频等拍摄功能的电子设备。不同监控摄像机,其具有不同的帧频信息,所谓帧频信息为单位时间设备所拍摄的视频的帧数,这个值可以是图像时间校准系统根据不同的摄像机性能预先设置的,也可以是实时从摄像机中获取到的。本申请对此不作具体限定。系统同步时间为该图像时间校准系统与卫星接收机获得的标准时间进行同步后的系统时钟,例如,图像时间校准系统与GPS或者北斗等卫星接收机进行通信,获取上述卫星信号的标准时间,并将自身的系统时钟与该标准时间同步。具体的,时间同步可由图像时间校准系统中的高精度时间信息同步模块予以执行,通过从晶振中获取时钟脉冲信号、从GPS/北斗接收机中获取秒脉冲信号和异步串口通信的精确到秒的时间信息(例如:20170405081235为2017年04月05日08时12分35秒);根据时钟脉冲信号、秒脉冲信号和精确到秒的时间信息,采用高精度同步时钟算法(具体算法可以参考蒋陆萍,曾祥君,李泽文,彭安安;基于GPS实现电力系统高精度同步时钟;电网技术,2011,35(2):201-206)生成该系统同步时间作为该图像时间校准系统的系统时钟。
图像时间校准系统根据上述的帧频信息、系统同步时间,确定出图像拍摄装置拍摄每帧图像的曝光触发时刻点,具体的,根据摄像机每秒的帧数,以及根据与卫星时间进行同步后的同步时间信息,可以确定出摄像机每帧图像的准确曝光触发时刻点。所谓曝光触发时刻点指曝光时间的起始时刻,也就是说曝光时间是拍摄装置的快门从打开到关闭的时间间隔,而曝光触发时刻点为拍摄帧图像时快门按下去的时间点,其以标准时间进行标识,也就是帧图像曝光触发拍摄的时刻点所对应的系统同步时间。例如,在图像时间校准系统内部整秒时间点(例如:2017年04月05日08时12分35秒),根据预先设置的监控摄像机帧频信息(例如:25帧),计算该秒内所有帧图像曝光触发信号的时间序列(例如:2017年04月05日08时12分35秒000毫秒,2017年04月05日08时12分35秒040毫秒,2017年04月05日08时12分35秒080毫秒,2017年04月05日08时12分35秒120毫秒…)。根据上述得到的该秒内图像曝光触发信号的时间序列,也就是每帧图像的曝光触发时刻点连成的时间序列,向监控摄像机发出该秒内第一帧图像曝光触发信号,使得监控摄像机在该曝光触发时刻点实施曝光操作,拍摄得到与该第一帧图像的曝光触发时刻点相对应的帧图像。
步骤102、接收图像拍摄装置在曝光触发时刻点拍摄得到的帧图像,将曝光触发时刻点的时间信息写入帧图像,形成带有系统同步时间的帧图像。
在本步骤中,从监控摄像机中获取与曝光触发时刻点相对应的帧图像,该帧图像可以为YCbCr格式的图像数据信息,根据该帧图像曝光触发信号时间点(例如:2017年04月05日08时12分35秒000毫秒),生成该帧图像高精度的拍摄时间信息(例如:2017年04月05日08时12分35秒000毫秒),也就是将曝光触发时刻点的时间信息写入到该帧图像中,得到带有同步时间信息(例如:2017年04月05日08时12分35秒000毫秒)的帧图像。之后,可以根据该秒内图像曝光触发信号的时间序列,在该秒内下一帧图像曝光触发时间点(例如:2017年04月05日08时12分35秒040毫秒),向监控摄像机发出该秒内下一帧图像曝光触发信号;从监控摄像机中获取对应帧的YCbCr格式的图像数据信息,根据该帧图像曝光触发信号时间点(例如:2017年04月05日08时12分35秒040毫秒),生成该帧图像高精度的拍摄时间信息(例如:2017年04月05日08时12分35秒040毫秒);循环执行,直到该秒内所有帧执行完毕,结束本秒的循环。
本实施例提供的图像时间校准方法,通过根据图像拍摄装置的帧频信息,根据系统同步时间,确定图像拍摄装置拍摄每帧图像的曝光触发时刻点;其中,系统同步时间为与卫星接收机获得的标准时间进行同步后的系统时钟;并通过接收图像拍摄装置根据曝光触发时刻点拍摄得到的帧图像,将曝光触发时刻点的时间信息写入帧图像,形成带有系统同步时间的帧图像。实现图像拍摄装置所拍摄的帧图像中带有与如GPS/北斗等卫星接收机的标准时间同步的时间信息,进而在多摄像机协作中,实现多摄像机的曝光触发时刻点与上述标准时间同步,保证了通过多摄像机接收的带有系统同步时间的帧图像中所拍摄的被检测物体在时间和空间位置信息的一致性。
图3为另一示例性实施例示出的本发明的图像时间校准方法的流程示意图,如图3所示,在上述实施例的基础上,本实施例的图像时间校准方法,包括:
步骤301、根据图像拍摄装置的帧频信息,根据系统同步时间,确定图像拍摄装置拍摄每帧图像的曝光触发时刻点。
步骤302、接收图像拍摄装置在曝光触发时刻点拍摄得到的帧图像。
步骤303、对曝光触发时刻点的时间信息进行编码处理,得到编码处理后的第一时间信息。
在本步骤中,第一时间信息可以包括:信息头、曝光触发时刻点的时间信息、校验位。也就是说,对曝光触发时刻点的时间信息的标识可以采用如下的标识方法,例如每帧图像对应的曝光触发时刻点的时间信息为17位:年月日时分秒毫秒(例如:20170405081235600标识2017年04月05日08时12分35秒600毫秒),该17位时间信息编码可以为,3位信息头+17位时间信息+1位校验位,例如,信息头为101,校验位采用加权取余校验法(权因子全取1,模数取10,模数和余数之差作为校验值)。通过对该17位时间信息进行编码处理,得到编码后的信息,并将该编码后的信息写入帧图像的预设位置,所谓预设位置可以为帧图像中被选定的目标像素点,将编码后的时间信息写入这些目标像素点内,即采用上述21位时间编码信息改写对应帧图像中指定位置的21个像素的值,得到带有高精度拍摄时间信息的帧图像。其中,编码过程会因帧图像的格式不同而采用不同的编码策略,因为对于计算机等电子设备来说,其与摄像机等设置之间传递的帧图像可以为数字信号也可以为模拟信号;也就是说,帧图像具有不同的图像格式,例如,YCbCr、JPEG、或MPEG格式等。对于监控摄像机来说,其拍摄的图像数据通常为YCbCr格式的数据,此外对于JPEG和MPEG格式来说,其压缩图像数据实际上也是基于YCbCr格式编码得到的,则该图像时间校准系统可以对外提供两种模式的信号输出:模拟信号输出和数字信号输出。
具体的,根据接收到的帧图像的图像格式,其中,图像格式包括:YCbCr、JPEG、或MPEG,对曝光触发时刻点的时间信息采用与图像格式相对应的编码处理,得到带有第一时间信息的YCbCr格式的帧图像、JPEG格式的帧图像、或MPEG格式的帧图像。
1、对于图像格式为YCbCr的情况,对曝光触发时刻点的时间信息采用与YCbCr图像格式相对应的编码处理,得到带有第一时间信息的YCbCr格式的帧图像,具体包括:
步骤3031、根据帧图像的YCbCr格式的位数,确定将YCbCr格式转换为RGB格式的转换公式。
其中,YCbCr格式的位数包括:8位YCbCr格式,或者10位YCbCr格式。
若YCbCr格式的位数为8位YCbCr格式,则执行:
步骤3032a、根据第一转换公式将8位YCbCr格式转换为8位RGB格式,得到带有第一时间信息的YCbCr格式的帧图像。或者,
若YCbCr格式的位数为10位YCbCr格式,则执行:
步骤3032b、根据第二转换公式将10位YCbCr格式转换为8位RGB格式,得到带有第一时间信息的YCbCr格式的帧图像。
对于上述图像拍摄装置输出为模拟信号的情况,图像时间校准系统可以与计算机之间通过视频信号线连接,使得计算机可以通过视频采集卡采集帧图像数据。图像时间校准系统通过将每帧图像对应的高精度拍摄时间信息(例如:20170405081235600为2017年04月05日08时12分35秒600毫秒)进行编码,并按转换公式进行变换,把变换后的拍摄时间信息的编码信息,按位写到对应帧图像的指定行列位置上(例如:第2行和第3行都写上21位时间编码信息)这种采用冗余重复写入时间信息的方法可以提高可靠性,从而生成带高精度拍摄时间信息的YCbCr格式的图像数据。
其中,对于上述提到的变换,具体包括:若视频采集卡采集为YCbCr格式的图像数据,需要转换成RGB格式供后期图像处理分析,常见的有:8位YCbCr转换成8位RGB,10位YCbCr转换成8位RGB。
在ITU-R BT.601中给出了8位YCbCr转换成8位RGB的转换公式为:
R=Y+1.371(Cr-128)+0(1)
G=Y-0.698(Cr-128)-0.336(Cb-128)(2)
B=Y+0+1.732(Cb-128)(3)
将高精度拍摄时间信息融入到图像中,设y=21位时间编码信息中任1位,对应改写图像的每位图像数据使Cr=128,Cb=128,Y=y,根据转换公式(1)(2)(3)分别计算得R=y,G=y,B=y。例如:20170405081235600的时间信息经过8位YCbCr转换成8位RGB的编码规则如下表1所示,表格内的数为十六进制数。
表1
如果视频采集卡采集的是10位的YCbCr格式,转换成8位RGB格式的转换公式为:
R=Y/4+1.371(Cr/4-128)+0=(Y+1.371(Cr-512)+0)/4(4)
G=Y/4-0.698(Cr/4-128)-0.336(Cb/4-128)=(Y-0.698(Cr-512)-0.336(Cb-512))/4(5)
B=Y/4+0+1.732(Cb/4-128)=(Y+0+1.732(Cb-512))/4(6)
将高精度拍摄时间信息融入到图像中,设y=21位时间编码信息中任1位,对应改写图像的每位图像数据使Cr=512,Cb=512,Y=y*4+0x100,根据转换公式(4)(5)(6)分别计算得R=y+0x40,G=y+0x40,B=y+0x40。例如:20170405081235600的时间信息经过10位YCbCr转换成8位RGB的编码规则如下表2所示,表格内的数为十六进制数。
表2
2、对于图像格式为JPEG、或MPEG的情况,对曝光触发时刻点的时间信息采用与JPEG、或MPEG图像格式相对应的编码处理,得到带有第一时间信息的JPEG、或MPEG格式的帧图像,具体包括:
步骤3033、采用与JPEG、或MPEG格式对应的压缩算法,对帧图像进行压缩处理,将第一时间信息写入压缩处理后的JPEG、或MPEG格式的帧图像内。
对于上述图像拍摄装置输出为数字信号的情况,计算机通过网络采集图像时间校准系统的图像数据,网络传输的为压缩的图像数据,将每帧的YCbCr格式的图像数据信息压缩成JPEG或MPEG格式;把拍摄时间信息(例如:20170405081235600为2017年04月05日08时12分35秒600毫秒)进行编码,按位写到对应压缩帧图像的指定行列位置上(例如:倒数第2行和第3行都写上21位时间编码信息,如前所述,采用冗余信息提高系统的可靠性),生成带高精度拍摄时间信息的JPEG或MPEG格式的图像数据。
需要说明的是,上述步骤3031、步骤3032a、步骤3032b、步骤3033之间是根据不同场景实施的步骤,各个步骤之间没有确定的先后执行顺序。例如,根据8位YCbCr格式的情况,则执行步骤3031和步骤3032a;根据10位YCbCr格式的情况,则执行步骤3031和步骤3032b;根据图像格式为JPEG、或MPEG的情况,则执行步骤3033。
此外,对于接收各个帧图像的计算机侧来说,其需要对隐含有曝光触发时刻点的时间信息即高精度拍摄时间信息的帧图像进行解析,获取到具体的曝光触发时刻点,因此,相应的,计算机也可以通过两种输入模式(模拟信号输入和数字信号输入)采集视频图像数据,采集的图像数据需要转换成RGB格式供后期分析处理。
1、如果输入是模拟信号,计算机通过视频采集卡采集图像数据,将采集的YCbCr格式的图像数据转换成RGB格式的图像数据(常见的有:8位YCbCr转换成8位RGB,10位YCbCr转换成8位RGB),从转换后RGB格式的图像指定行列位置(例如:第2行和第3行都写上21位时间编码信息),读入高精度拍摄时间信息的编码,按转换公式进行变换分别得到R、G、B的值,从而获取该帧图像数据对应的高精度拍摄时间信息(例如:20170405081235600为2017年04月05日08时12分35秒600毫秒)。
2、如果输入是数字信号,计算机通过网络采集图像数据,网络传输的为压缩的JPEG或MPEG格式的图像数据,从JPEG或MPEG格式的图像指定行列位置(例如:倒数第2行和第3行都写上21位时间编码信息),读入高精度拍摄时间信息编码,从而获取该帧图像数据对应的高精度拍摄时间信息(例如:20170405081235600为2017年04月05日08时12分35秒600毫秒),同时将JPEG或MPEG格式的图像数据解压成RGB格式的图像数据。
步骤304、在帧图像的预设位置处,确定用于写入第一时间信息的目标像素点;其中目标像素点的位数与第一时间信息的位数相对应;在每个目标像素点上对应写入第一时间信息,形成带有系统同步时间的帧图像。
在本步骤中,用步骤303中得到的21位第一时间信息改写帧图像中指定位置的21个像素点的像素值,得到带有高精度拍摄时间信息的帧图像。
图4为一示例性实施例示出的本发明的图像时间校准系统的结构示意图,如图4所示,本实施例的图像时间校准系统,包括:
确定模块1,用于根据图像拍摄装置的帧频信息,根据系统同步时间,确定图像拍摄装置拍摄每帧图像的曝光触发时刻点;其中,系统同步时间为与卫星接收机获得的标准时间进行同步后的系统时钟。
接收模块2,用于接收图像拍摄装置在曝光触发时刻点拍摄得到的帧图像。
写入模块3,用于将曝光触发时刻点的时间信息写入帧图像,形成带有系统同步时间的帧图像。
本实施例的图像时间校准系统可用于执行图1所示的图像时间校准方法,其实现原理与方法实施例相似,在此不再赘述。
本实施例提供的图像时间校准系统,通过根据图像拍摄装置的帧频信息,根据系统同步时间,确定图像拍摄装置拍摄每帧图像的曝光触发时刻点;其中,系统同步时间为与卫星接收机获得的标准时间进行同步后的系统时钟;并通过接收图像拍摄装置根据曝光触发时刻点拍摄得到的帧图像,将曝光触发时刻点的时间信息写入帧图像,形成带有系统同步时间的帧图像。实现图像拍摄装置所拍摄的帧图像中带有与如GPS/北斗等卫星接收机的标准时间同步的时间信息,进而在多摄像机协作中,实现多摄像机的曝光触发时刻点与上述标准时间同步,保证了通过多摄像机接收的带有系统同步时间的帧图像中所拍摄的被检测物体在时间和空间位置信息的一致性。
图5为另一示例性实施例示出的本发明的图像时间校准系统的结构示意图,如图5所示,在上述实施例的基础上,图像时间校准系统还包括:
编码模块4,用于对曝光触发时刻点的时间信息进行编码处理,得到编码处理后的第一时间信息;第一时间信息包括:信息头、所述曝光触发时刻点的时间信息、校验位。
可选的,写入模块3包括:
确定子模块31,用于在帧图像的预设位置处,确定用于写入第一时间信息的目标像素点;其中目标像素点的位数与第一时间信息的位数相对应。
写入子模块32,用于在每个目标像素点上对应写入第一时间信息,形成带有系统同步时间的帧图像。
可选的,编码模块4,具体用于根据接收到的帧图像的图像格式,其中,图像格式包括:YCbCr、JPEG、或MPEG,对曝光触发时刻点的时间信息采用与图像格式相对应的编码处理,得到带有第一时间信息的YCbCr格式的帧图像、JPEG格式的帧图像、或MPEG格式的帧图像。
可选的,图像格式为YCbCr,则相应的,编码模块4包括:
第一处理子模块41,用于根据帧图像的YCbCr格式的位数,确定将YCbCr格式转换为RGB格式的转换公式;其中,YCbCr格式的位数包括:8位YCbCr格式,或者10位YCbCr格式;根据第一转换公式将8位YCbCr格式转换为8位RGB格式,得到带有第一时间信息的YCbCr格式的帧图像;或者,根据第二转换公式将10位YCbCr格式转换为8位RGB格式,得到带有第一时间信息的YCbCr格式的帧图像。
可选的,图像格式为JPEG、或MPEG,则相应的,编码模块4包括:
第二处理子模块42,用于采用与JPEG、或MPEG格式对应的压缩算法,对帧图像进行压缩处理,将第一时间信息写入压缩处理后的JPEG、或MPEG格式的帧图像内。
本实施例的图像时间校准系统可用于执行图3所示的图像时间校准方法,其实现原理与方法实施例相似,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (4)
1.一种图像时间校准方法,其特征在于,包括:
根据图像拍摄装置的帧频信息,根据系统同步时间,确定所述图像拍摄装置拍摄每帧图像的曝光触发时刻点;其中,所述系统同步时间为与卫星接收机获得的标准时间进行同步后的系统时钟;
其中,所述系统同步时间基于如下方式确定:
从图像校准系统中获取时钟脉冲信号,从卫星接收机中获取秒脉冲信号和精确到秒的时间信息;
根据时钟脉冲信号、秒脉冲信号和精确到秒的时间信息,生成系统同步时间;接收所述图像拍摄装置在所述曝光触发时刻点拍摄得到的帧图像,将所述曝光触发时刻点的时间信息写入所述帧图像,形成带有所述系统同步时间的帧图像;
所述将所述曝光触发时刻点的时间信息写入所述帧图像之前,还包括:
对所述曝光触发时刻点的时间信息进行编码处理,得到编码处理后的第一时间信息;所述第一时间信息包括:信息头、所述曝光触发时刻点的时间信息、校验位;
若图像格式为YCbCr,则相应的,所述对所述曝光触发时刻点的时间信息采用与所述图像格式相对应的编码处理,得到带有所述第一时间信息的YCbCr格式的帧图像,包括:
根据所述帧图像的YCbCr格式的位数,确定将所述YCbCr格式转换为RGB格式的转换公式;其中,所述YCbCr格式的位数包括:8位YCbCr格式,或者10位YCbCr格式;
若YCbCr格式的位数为8位YCbCr格式,则根据第一转换公式将所述8位YCbCr格式转换为8位RGB格式,得到带有所述第一时间信息的YCbCr格式的帧图像;其中,所述第一转换公式为:R=Y+1.371(Cr-128)+0;
G=Y-0.698(Cr-128)-0.336(Cb-128);
B=Y+0+1.732(Cb-128);
其中,Cr=128,Cb=128,Y=y,y=21位时间编码信息中任1位;
若YCbCr格式的位数为10位YCbCr格式,则根据第二转换公式将所述10位YCbCr格式转换为8位RGB格式,得到带有所述第一时间信息的YCbCr格式的帧图像;其中,所述第二转换公式为:
R=Y/4+1.371(Cr/4-128)+0=(Y+1.371(Cr-512)+0)/4;
G=Y/4-0.698(Cr/4-128)-0.336(Cb/4-128)=(Y-0.698(Cr-512)-0.336(Cb-512))/4;
B=Y/4+0+1.732(Cb/4-128)=(Y+0+1.732(Cb-512))/4;
其中,Cr=512,Cb=512,Y=y*4+0x100,y=21位时间编码信息中任1位;
若图像格式为JPEG、或MPEG,则相应的,所述对所述曝光触发时刻点的时间信息采用与所述图像格式相对应的编码处理,得到带有所述第一时间信息的JPEG、或MPEG格式的帧图像,包括:
采用与JPEG、或MPEG格式对应的压缩算法,对帧图像进行压缩处理,将所述第一时间信息写入压缩处理后的JPEG、或MPEG格式的帧图像内。
2.根据权利要求1所述的方法,其特征在于,所述将所述曝光触发时刻点的时间信息写入所述帧图像,包括:
在所述帧图像的预设位置处,确定用于写入所述第一时间信息的目标像素点;其中所述目标像素点的位数与所述第一时间信息的位数相对应;
在每个所述目标像素点上对应写入所述第一时间信息,形成带有所述系统同步时间的帧图像。
3.一种图像时间校准系统,其特征在于,包括:
确定模块,用于根据图像拍摄装置的帧频信息,根据系统同步时间,确定所述图像拍摄装置拍摄每帧图像的曝光触发时刻点;其中,所述系统同步时间为与卫星接收机获得的标准时间进行同步后的系统时钟;
接收模块,用于接收所述图像拍摄装置在所述曝光触发时刻点拍摄得到的帧图像;
写入模块,用于将所述曝光触发时刻点的时间信息写入所述帧图像,形成带有所述系统同步时间的帧图像;
编码模块,用于对所述曝光触发时刻点的时间信息进行编码处理,得到编码处理后的第一时间信息;所述第一时间信息包括:信息头、所述曝光触发时刻点的时间信息、校验位;
所述编码模块,具体用于根据接收到的所述帧图像的图像格式,其中,所述图像格式包括:YCbCr、JPEG、或MPEG,对所述曝光触发时刻点的时间信息采用与所述图像格式相对应的编码处理,得到带有所述第一时间信息的YCbCr格式的帧图像、JPEG格式的帧图像、或MPEG格式的帧图像;
若图像格式为YcbCr,则所述编码模块,包括:第一处理子模块,用于根据所述帧图像的YCbCr格式的位数,确定将所述YCbCr格式转换为RGB格式的转换公式;其中,所述YCbCr格式的位数包括:8位YCbCr格式,或者10位YCbCr格式;
若YCbCr格式的位数为8位YCbCr格式,则根据第一转换公式将所述8位YCbCr格式转换为8位RGB格式,得到带有所述第一时间信息的YCbCr格式的帧图像;其中,所述第一转换公式为:R=Y+1.371(Cr-128)+0;
G=Y-0.698(Cr-128)-0.336(Cb-128);
B=Y+0+1.732(Cb-128);
其中,Cr=128,Cb=128,Y=y,y=21位时间编码信息中任1位;
或者,
若YCbCr格式的位数为10位YCbCr格式,则根据第二转换公式将所述10位YCbCr格式转换为8位RGB格式,得到带有所述第一时间信息的YCbCr格式的帧图像;其中,所述第二转换公式为:
R=Y/4+1.371(Cr/4-128)+0=(Y+1.371(Cr-512)+0)/4;
G=Y/4-0.698(Cr/4-128)-0.336(Cb/4-128)=(Y-0.698(Cr-512)-0.336(Cb-512))/4;
B=Y/4+0+1.732(Cb/4-128)=(Y+0+1.732(Cb-512))/4;
其中,Cr=512,Cb=512,Y=y*4+0x100,y=21位时间编码信息中任1位;
若图像格式为JPEG、或MPEG,则所述编码模块,包括:第二处理子模块,用于采用与JPEG、或MPEG格式对应的压缩算法,对帧图像进行压缩处理,将所述第一时间信息写入压缩处理后的JPEG、或MPEG格式的帧图像内。
4.根据权利要求3所述的系统,其特征在于,所述写入模块包括:
确定子模块,用于在所述帧图像的预设位置处,确定用于写入所述第一时间信息的目标像素点;其中所述目标像素点的位数与所述第一时间信息的位数相对应;
写入子模块,用于在每个所述目标像素点上对应写入所述第一时间信息,形成带有所述系统同步时间的帧图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710949231.0A CN107613159B (zh) | 2017-10-12 | 2017-10-12 | 图像时间校准方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710949231.0A CN107613159B (zh) | 2017-10-12 | 2017-10-12 | 图像时间校准方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107613159A CN107613159A (zh) | 2018-01-19 |
CN107613159B true CN107613159B (zh) | 2024-05-14 |
Family
ID=61068512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710949231.0A Active CN107613159B (zh) | 2017-10-12 | 2017-10-12 | 图像时间校准方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107613159B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10593059B1 (en) * | 2018-11-13 | 2020-03-17 | Vivotek Inc. | Object location estimating method with timestamp alignment function and related object location estimating device |
CN111179305B (zh) * | 2018-11-13 | 2023-11-14 | 晶睿通讯股份有限公司 | 对象位置估算方法及其对象位置估算装置 |
CN109842737B (zh) * | 2019-02-01 | 2021-04-09 | 初速度(苏州)科技有限公司 | 一种图像曝光方法及装置、车载终端 |
CN111726539B (zh) * | 2019-03-20 | 2021-12-31 | 北京初速度科技有限公司 | 一种图像时间戳确定方法及装置 |
CN110174686B (zh) * | 2019-04-16 | 2021-09-24 | 百度在线网络技术(北京)有限公司 | 一种众包地图中gnss位置与图像的匹配方法、装置及系统 |
CN110687877A (zh) * | 2019-09-12 | 2020-01-14 | 深圳市铭华航电工艺技术有限公司 | 基于视觉网络的监测方法、装置、终端及存储介质 |
CN111277804A (zh) * | 2020-03-10 | 2020-06-12 | 北京爱笔科技有限公司 | 图像处理方法、装置和多摄像头同步系统 |
CN111457917A (zh) * | 2020-04-13 | 2020-07-28 | 广东星舆科技有限公司 | 一种多传感器时间同步的测量方法及系统 |
CN111815727A (zh) * | 2020-07-20 | 2020-10-23 | 合肥富煌君达高科信息技术有限公司 | 一种图像与图像信息融合的方法及系统 |
CN112153354B (zh) * | 2020-08-13 | 2021-07-27 | 中国科学院西安光学精密机械研究所 | 一种帧同步图像拍摄方法 |
CN112383769A (zh) * | 2020-10-21 | 2021-02-19 | 中测新图(北京)遥感技术有限责任公司 | 一种视频与时空信息同步检测方法及装置 |
CN112866733B (zh) * | 2021-01-05 | 2023-06-30 | 广东中兴新支点技术有限公司 | 多直播设备的云导播同步系统及方法 |
CN112751983B (zh) * | 2021-04-02 | 2021-06-18 | 湖北亿咖通科技有限公司 | 图像时间同步方法、装置、电子设备及存储介质 |
CN114554114B (zh) * | 2022-04-24 | 2022-08-16 | 浙江华眼视觉科技有限公司 | 一种快件码识别机取件证据存留方法及装置 |
CN117459711B (zh) * | 2023-12-21 | 2024-03-19 | 苏州镁伽科技有限公司 | 一种曝光时间校准方法、装置、设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101202873A (zh) * | 2006-12-13 | 2008-06-18 | 株式会社日立制作所 | 信息记录再现装置和信息记录再现方法 |
JP2008293184A (ja) * | 2007-05-23 | 2008-12-04 | Kayaba Ind Co Ltd | 運行管理装置 |
EP2023604A2 (en) * | 2007-08-08 | 2009-02-11 | Core Logic, Inc. | Image processing apparatus for reducing JPEG image capturing time and JPEG image capturing method perfomed by using same |
JP2012090190A (ja) * | 2010-10-22 | 2012-05-10 | Kyocera Corp | 携帯通信端末、表示制御プログラムおよび表示制御方法 |
CN103792841A (zh) * | 2014-01-23 | 2014-05-14 | 中国科学院长春光学精密机械与物理研究所 | 一种空间相机图像对时信息生成系统 |
CN104270567A (zh) * | 2014-09-11 | 2015-01-07 | 深圳市南航电子工业有限公司 | 高精度同步的多路图像采集系统及其时间同步方法 |
CN104349106A (zh) * | 2014-10-31 | 2015-02-11 | 广东威创视讯科技股份有限公司 | 处理、获取多路视频信号的方法及其系统 |
CN104575006A (zh) * | 2014-12-25 | 2015-04-29 | 北京凌云光技术有限责任公司 | 图像拍摄时刻确定方法及系统、车辆速度检测方法及系统 |
CN105300408A (zh) * | 2015-10-15 | 2016-02-03 | 中国人民解放军63636部队 | 光电经纬仪时间同步精度检测系统及检测方法 |
CN105516542A (zh) * | 2014-09-26 | 2016-04-20 | 北京同步科技有限公司 | 基于硬件编码器的多通道视频同步系统及其同步方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7511764B2 (en) * | 2002-07-24 | 2009-03-31 | Alan Neal Cooper | Digital camera synchronization |
JP4411220B2 (ja) * | 2005-01-18 | 2010-02-10 | キヤノン株式会社 | 映像信号処理装置、及びその映像信号処理方法 |
-
2017
- 2017-10-12 CN CN201710949231.0A patent/CN107613159B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101202873A (zh) * | 2006-12-13 | 2008-06-18 | 株式会社日立制作所 | 信息记录再现装置和信息记录再现方法 |
JP2008293184A (ja) * | 2007-05-23 | 2008-12-04 | Kayaba Ind Co Ltd | 運行管理装置 |
EP2023604A2 (en) * | 2007-08-08 | 2009-02-11 | Core Logic, Inc. | Image processing apparatus for reducing JPEG image capturing time and JPEG image capturing method perfomed by using same |
JP2012090190A (ja) * | 2010-10-22 | 2012-05-10 | Kyocera Corp | 携帯通信端末、表示制御プログラムおよび表示制御方法 |
CN103792841A (zh) * | 2014-01-23 | 2014-05-14 | 中国科学院长春光学精密机械与物理研究所 | 一种空间相机图像对时信息生成系统 |
CN104270567A (zh) * | 2014-09-11 | 2015-01-07 | 深圳市南航电子工业有限公司 | 高精度同步的多路图像采集系统及其时间同步方法 |
CN105516542A (zh) * | 2014-09-26 | 2016-04-20 | 北京同步科技有限公司 | 基于硬件编码器的多通道视频同步系统及其同步方法 |
CN104349106A (zh) * | 2014-10-31 | 2015-02-11 | 广东威创视讯科技股份有限公司 | 处理、获取多路视频信号的方法及其系统 |
CN104575006A (zh) * | 2014-12-25 | 2015-04-29 | 北京凌云光技术有限责任公司 | 图像拍摄时刻确定方法及系统、车辆速度检测方法及系统 |
CN105300408A (zh) * | 2015-10-15 | 2016-02-03 | 中国人民解放军63636部队 | 光电经纬仪时间同步精度检测系统及检测方法 |
Non-Patent Citations (6)
Title |
---|
Adaptive Exposure Control and Real-Time Image Fusion for Surveillance Systems;Wen-Chung Kao等;2006 IEEE International Symposium on Circuits and Systems (ISCAS);20060911;全文 * |
图像时间校准系统设计;杨德亮等;北京工业职业技术学院学报;20200715;全文 * |
基于CMOS图像传感器的微型无人机遥感系统设计;赵鹏;沈庭芝;单宝堂;;光子学报(08);全文 * |
基于GPS实现电力系统高精度同步时钟;蒋陆萍等;电网技术;第0-3节以及图5 * |
基于分布式视频网络的交叉口车辆精确定位方法;杨德亮;谢旭东;李春文;牛小铁;;清华大学学报(自然科学版)(第03期);全文 * |
多目交会摄像测量时间同步系统设计;王树才;张阳;刘国政;;电脑与信息技术;20160615(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN107613159A (zh) | 2018-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107613159B (zh) | 图像时间校准方法及系统 | |
CN207638767U (zh) | 图像时间校准系统 | |
US10499085B1 (en) | Image signal processing based encoding hints for bitrate control | |
US9167164B2 (en) | Metadata associated with frames in a moving image | |
AU2013200730B2 (en) | Data processing apparatus and method using a camera | |
KR20160118963A (ko) | 실시간 이미지 스티칭 장치 및 실시간 이미지 스티칭 방법 | |
US8554017B2 (en) | Imaging apparatus, data processing method, and program | |
KR20140048407A (ko) | 카메라장치의 이미지처리장치 및 방법 | |
CN101753812A (zh) | 成像装置和成像方法 | |
CN107371040B (zh) | 一种无人机影像高效处理系统 | |
JP2008042695A (ja) | 監視カメラ装置、監視カメラシステム、監視カメラ画像記録方法 | |
US20100253801A1 (en) | Image recording apparatus and digital camera | |
US10032482B2 (en) | Moving image generating apparatus, moving image generating method and storage medium | |
US11908111B2 (en) | Image processing including noise reduction | |
US20180197282A1 (en) | Method and device for producing a digital image | |
CN100518241C (zh) | 一种获得两个或两个以上的视频同步帧的方法 | |
CN113076383B (zh) | 道路数据采集车及其数据采集系统 | |
JP2014229929A (ja) | 撮像装置、撮像装置の制御方法及びシステム | |
US20220232173A1 (en) | Method and device of image processing, imaging system and storage medium | |
CN109379535A (zh) | 拍摄方法和装置、电子设备、计算机可读存储介质 | |
JP2007214933A (ja) | カラー撮像装置およびその制御方法 | |
JP6351213B2 (ja) | 撮像装置、撮像装置の制御方法及びシステム | |
JP2006253875A (ja) | 撮像装置 | |
CN113170044B (zh) | 接收装置和发送装置 | |
JP2012186685A (ja) | 画像認識表示システム及びこれに用いるカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |