CN111209775B - 信号灯图像处理方法、装置、设备及存储介质 - Google Patents

信号灯图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111209775B
CN111209775B CN201811392227.XA CN201811392227A CN111209775B CN 111209775 B CN111209775 B CN 111209775B CN 201811392227 A CN201811392227 A CN 201811392227A CN 111209775 B CN111209775 B CN 111209775B
Authority
CN
China
Prior art keywords
image
value
pixel point
processing
signal lamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811392227.XA
Other languages
English (en)
Other versions
CN111209775A (zh
Inventor
郑海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811392227.XA priority Critical patent/CN111209775B/zh
Publication of CN111209775A publication Critical patent/CN111209775A/zh
Application granted granted Critical
Publication of CN111209775B publication Critical patent/CN111209775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种信号灯图像处理方法、装置、设备及存储介质,属于图像处理技术领域。该方法包括:获取对信号灯进行拍摄得到的长曝光图像和短曝光图像;对该长曝光图像进行光晕抑制处理,并进行格式转换,得到第一图像,该第一图像为红绿蓝RGB图像;对该短曝光图像进行格式转换,并进行色彩调整处理,得到第二图像,该第二图像为RGB图像;将该第一图像和该第二图像进行融合处理,并进行格式转换,得到校正处理后的信号灯图像。本发明通过融合第一图像和第二图像,得到校正处理后的信号灯图像,可以准确地恢复出信号灯的轮廓和颜色,对任一种颜色的信号灯的校正处理,提高了信号灯图像的校正效果,提高了通用性,而且计算量小,处理效率高。

Description

信号灯图像处理方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域,特别涉及一种信号灯图像处理方法、装置、设备及存储介质。
背景技术
随着图像处理技术的快速发展,视频监控的应用范围愈来愈广泛,常用于城市交通的监测,如通行监控、车辆违章记录、路段交通分析等。而对城市交通进行视频监控时,需要综合考虑交通路段的信号灯显示情况和车辆通行情况,因此通常使用拍摄设备对重点的交通路段进行拍摄,得到包含车辆区域和信号灯区域的图像,以便记录信号灯在某种显示情况下通行的车辆。
但是,当某些环境条件下光线较暗时,为了能拍摄到清晰的车辆,往往需要加大拍摄设备的曝光时间,这样会导致图像中的信号灯区域出现过曝现象,如红灯偏黄或者发白、绿灯和黄灯发白,以及信号灯的形状变得模糊等,从而导致信号灯区域的图像不够准确,需要对信号灯区域的图像进行校正处理。
相关技术中,通常是获取信号灯区域的图像,并检测出该图像中的红灯区域,然后对红灯区域进行描红处理,从而实现对红灯的校正处理。但是,该方式仅能实现对红灯的校正处理,无法实现对绿灯和黄灯的校正处理。并且,由于该方式还需要从信号灯区域的图像中检测出红灯区域,计算量较大。
发明内容
本发明实施例提供了一种信号灯图像处理方法、装置、设备及存储介质,可以解决相关技术中无法实现对绿灯和黄灯的校正处理,且计算量较大的问题。所述技术方案如下:
第一方面,提供了一种信号灯图像处理方法,方法包括:
获取对信号灯进行拍摄得到的长曝光图像和短曝光图像,所述长曝光图像为采用第一配置参数拍摄得到的YUV(Luminance、Chrominance,亮度、色度)图像,所述短曝光图像为采用第二配置参数拍摄得到的YUV图像,所述第一配置参数属于拍摄长曝光图像的配置参数范围,所述第二配置参数属于拍摄短曝光图像的配置参数范围;
对所述长曝光图像进行光晕抑制处理,并进行格式转换,得到第一图像,所述第一图像为RGB(Red、Green、Blue,红绿蓝)图像;
对所述短曝光图像进行格式转换,并进行色彩调整处理,得到第二图像,所述第二图像为RGB图像;
将所述第一图像和所述第二图像进行融合处理,并进行格式转换,得到校正处理后的信号灯图像。
可选地,当所述短曝光图像包括多个图像时,所述对所述短曝光图像进行格式转换,并进行色彩调整处理,得到第二图像,包括:
对所述多个图像分别进行格式转换,得到多个第三图像,所述第三图像为RGB格式;
选取所述多个第三图像中至少一个目标位置对应的所有像素点中饱和度最大的像素点,得到多个像素点,将所述多个像素点的RGB值按照目标位置生成第四图像,所述多个像素点的数量与所述至少一个目标位置的数量相同;
对所述第四图像进行膨胀处理,以使膨胀后的图像中的信号灯与所述长曝光图像中的信号灯尺寸匹配;
对所述膨胀后的图像进行色彩调整处理,得到所述第二图像。
可选地,所述对所述膨胀后的图像进行色彩调整处理,得到所述第二图像,包括:
对于所述膨胀后的图像中的每个像素点,根据所述像素点的饱和度或色彩调整强度计算出融合系数;
按照所述融合系数,将所述像素点的RGB值和所述像素点RGB值的N分位值进行融合,得到所述像素点融合后的RGB值,所述N为大于1的正整数;
根据所述膨胀后的图像中的每个像素点融合后的RGB值,生成所述第二图像。
可选地,所述将所述第一图像和所述第二图像进行融合处理,并进行格式转换,得到校正处理后的信号灯图像,包括:
对于每个目标位置,当所述第一图像在所述目标位置上的第一像素点和所述第二图像在所述目标位置上的第二像素点满足预设条件时,将所述第一像素点的RGB值和所述第二像素点的RGB值进行加权融合,得到所述目标位置上融合后的RGB值,或者,当所述第一图像在所述目标位置上的第一像素点和所述第二图像在所述目标位置上的第二像素点不满足所述预设条件时,将所述第一像素点的RGB值作为所述目标位置上融合后的RGB值;
根据每个目标位置上融合后的RGB值,生成第五图像;
对所述第五图像进行格式转换,得到所述校正处理后的信号灯图像。
可选地,所述方法还包括:
当所述第一像素点的第一数值大于第一阈值,且所述第二像素点的第二数值大于所述第二阈值时,确定所述第一像素点和所述第二像素点满足预设条件,所述第一数值为所述第一像素点的颜色均值或者所述第一像素点的亮度值,所述颜色均值为R、G、B三个颜色通道值的平均值,所述第二数值为所述第二像素点的颜色均值或者所述第二像素点的亮度值;
当所述第一像素点的第一数值不大于第一阈值,或所述第二像素点的第二数值不大于所述第二阈值时,确定所述第一像素点和所述第二像素点不满足预设条件。
可选地,所述对所述长曝光图像进行光晕抑制处理,并进行格式转换,得到第一图像,包括:
根据光晕抑制强度,获取目标映射函数,所述目标映射函数用于确定所述光晕抑制强度下的光晕抑制处理方式;
基于所述目标映射函数,对所述长曝光图像进行光晕抑制处理,得到第六图像;
对所述第六图像进行格式转换得到所述第一图像。
可选地,所述目标映射函数用于对所述长曝光图像中的每个色度值进行映射;所述基于所述目标映射函数,对所述长曝光图像进行光晕抑制处理,得到第六图像,包括:
对于所述长曝光图像中的每个色度值,按照所述目标映射函数进行映射,得到每个色度值映射后的色度值;
将所述长曝光图像中的每个色度值与所述每个色度值映射后的色度值进行加权融合,得到所述每个色度值对应的融合后的色度值;
采用所述每个色度值对应的融合后的色度值分别替换所述每个色度值,得到所述第六图像。
可选地,所述根据所述光晕抑制强度,获取目标映射函数,包括:
获取第一色度值和第二色度值,并根据所述光晕抑制强度、所述第一色度值和所述第二色度值,确定所述第一色度值的映射值和所述第二色度值的映射值;
根据所述第一色度值、所述第一色度值的映射值、所述第二色度值和所述第二色度值的映射值进行线性拟合,得到所述目标映射函数。
可选地,所述将所述第一图像和所述第二图像进行融合处理,并进行格式转换,得到校正处理后的信号灯图像之后,所述方法还包括:
对所述信号灯图像进行锐化处理。
第二方面,提供了一种信号灯图像处理装置,装置包括:
获取模块,用于获取对信号灯进行拍摄得到的长曝光图像和短曝光图像,所述长曝光图像为采用第一配置参数拍摄得到的亮度色度YUV图像,所述短曝光图像为采用第二配置参数拍摄得到的YUV图像,所述第一配置参数属于拍摄长曝光图像的配置参数范围,所述第二配置参数属于拍摄短曝光图像的配置参数范围;
光晕抑制处理模块,用于对所述长曝光图像进行光晕抑制处理,并进行格式转换,得到第一图像,所述第一图像为红绿蓝RGB图像;
色彩调整处理模块,用于对所述短曝光图像进行格式转换,并进行色彩调整处理,得到第二图像,所述第二图像为RGB图像;
融合处理模块,用于将所述第一图像和所述第二图像进行融合处理,并进行格式转换,得到校正处理后的信号灯图像。
可选地,当所述短曝光图像包括多个图像时,所述色彩调整处理模块,包括:
格式转换子模块,用于对所述多个图像分别进行格式转换,得到多个第三图像,所述第三图像为RGB格式;
生成子模块,用于选取所述多个第三图像中至少一个目标位置对应的所有像素点中饱和度最大的像素点,得到多个像素点,将所述多个像素点的RGB值按照目标位置生成第四图像,所述多个像素点的数量与所述目标位置的数量相同;
膨胀处理子模块,用于对所述第四图像进行膨胀处理,以使膨胀后的图像中的信号灯与所述长曝光图像中的信号灯尺寸匹配;
色彩调整处理子模块,用于对所述膨胀后的图像进行色彩调整处理,得到所述第二图像。
可选地,所述色彩调整处理子模块用于:
对于所述膨胀后的图像中的每个像素点,根据所述像素点的饱和度或色彩调整强度计算出融合系数;
按照所述融合系数,将所述像素点的RGB值和所述像素点RGB值的N分位值进行融合,得到所述像素点融合后的RGB值,所述N为大于1的正整数;
根据所述膨胀后的图像中的每个像素点融合后的RGB值,生成所述第二图像。
可选地,所述融合处理模块,包括:
融合子模块,用于对于每个目标位置,当所述第一图像在所述目标位置上的第一像素点和所述第二图像在所述目标位置上的第二像素点满足预设条件时,将所述第一像素点的RGB值和所述第二像素点的RGB值进行加权融合,得到所述目标位置上融合后的RGB值,或者,当所述第一图像在所述目标位置上的第一像素点和所述第二图像在所述目标位置上的第二像素点不满足所述预设条件时,将所述第一像素点的RGB值作为所述目标位置上融合后的RGB值;
生成子模块,用于根据每个目标位置上融合后的RGB值,生成第五图像;
格式转换子模块,用于对所述第五图像进行格式转换,得到所述校正处理后的信号灯图像。
可选地,所述装置还包括:
确定模块,用于当所述第一像素点的第一数值大于第一阈值,且所述第二像素点的第二数值大于所述第二阈值时,确定所述第一像素点和所述第二像素点满足预设条件,所述第一数值为所述第一像素点的颜色均值或者所述第一像素点的亮度值,所述颜色均值为R、G、B三个颜色通道值的平均值,所述第二数值为所述第二像素点的颜色均值或者所述第二像素点的亮度值;
所述确定模块,还用于当所述第一像素点的第一数值不大于第一阈值,或所述第二像素点的第二数值不大于所述第二阈值时,确定所述第一像素点和所述第二像素点不满足预设条件。
可选地,所述光晕抑制处理模块,包括:
获取子模块,用于根据光晕抑制强度,获取目标映射函数,所述目标映射函数用于确定所述光晕抑制强度下的光晕抑制处理方式;
光晕抑制处理子模块,用于基于所述目标映射函数,对所述长曝光图像进行光晕抑制处理,得到第六图像;
格式转换子模块,用于对所述第六图像进行格式转换得到所述第一图像。
可选地,所述目标映射函数用于对所述长曝光图像中的每个色度值进行映射;所述光晕抑制处理子模块用于:
对于所述长曝光图像中的每个色度值,按照所述目标映射函数进行映射,得到每个色度值映射后的色度值;
将所述长曝光图像中的每个色度值与所述每个色度值映射后的色度值进行加权融合,得到所述每个色度值对应的融合后的色度值;
采用所述每个色度值对应的融合后的色度值分别替换所述每个色度值,得到所述第六图像。
可选地,所述获取子模块用于:
获取第一色度值和第二色度值,并根据所述光晕抑制强度、所述第一色度值和所述第二色度值,确定所述第一色度值的映射值和所述第二色度值的映射值;
根据所述第一色度值、所述第一色度值的映射值、所述第二色度值和所述第二色度值的映射值进行线性拟合,得到所述目标映射函数。
可选地,所述装置还包括:
锐化处理模块,用于对所述信号灯图像进行锐化处理。
第三方面,提供了一种图像处理设备,所述图像处理设备包括:
处理器和存储器;
其中,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如上述第一方面所述的信号灯图像处理方法。
第四方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如上述第一方面所述的信号灯图像处理方法。
在本发明实施例提供的信号灯图像处理方法、装置、设备及存储介质中,由于长曝光图像可提供信号灯的亮度信息和轮廓信息,短曝光图像能够提供信号灯原有的颜色信息,本发明实施例通过获取对信号灯进行拍摄得到的长曝光图像和短曝光图像。然后对该长曝光图像进行光晕抑制处理并进行格式转换,得到第一图像,避免了长曝光图像中可能出现光晕过大的问题。对该短曝光图像进行格式转换,将该短曝光图像转换为以颜色信息表示的RGB图像,再进行色彩调整处理,以使得到的第二图像的颜色信息更加明确。之后通过融合第一图像和第二图像,得到校正处理后的信号灯图像,可以准确地恢复出信号灯的轮廓和颜色,实现对多种信号灯的校正,提高了信号灯图像的校正效果。本发明提供的信号灯图像处理方法可以实现对任一种颜色的信号灯的校正处理,提高了通用性,而且计算量小,处理效率高,能够满足实时处理的需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种信号灯图像处理方法的流程图;
图2是本发明实施例提供的另一种信号灯图像处理方法的流程图;
图3是本发明实施例提供的一种光晕抑制处理的流程图;
图4是本发明实施例提供的一种获取目标映射函数的原理图;
图5是本发明实施例提供的一种色彩调整处理的流程图;
图6是本发明实施例提供的一种融合处理的流程图;
图7是本发明实施例提供的一种锐化处理的原理图;
图8是被发明实施例提供的又一种信号灯图像处理方法的流程图;
图9是本发明实施例提供的一种信号灯图像处理装置结构示意图;
图10是本发明实施例提供的一种图像处理设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
为了便于理解,在对本发明实施例进行详细地解释说明之前,先对本发明的应用场景进行介绍。
本发明实施例可以应用于城市交通的视频监控场景下。通常在交通路段进行视频监控,在车辆经过该交通路段时进行拍摄,记录车辆经过该交通路段时的信号灯显示情况和车辆通行情况。
当某些环境条件下光线较暗时,通常会增大拍摄设备的曝光时间,来保证拍摄清晰的车辆,但是这样会导致图像中的信号灯区域出现过曝现象,从而导致信号灯区域的图像不够准确。此时,可以采用多快门技术拍摄包括信号灯图像和车辆图像的视频流,然后采用本发明实施例提供的信号灯图像处理方法、装置、设备及存储介质,对拍摄的信号灯区域的图像进行校正处理,以得到颜色准确、轮廓清晰的信号灯图像。
其中,多快门技术是指通过多种曝光参数依次间隔地对摄像机中的图像传感器采集到的图像进行曝光处理,得到不同的多路视频流的一种视频流拍摄技术。其中,快门较快的一般称为短快门视频流,快门较慢的一般称为长快门视频流的技术。在进行曝光处理时,一路对图像传感器采集到的图像进行正常的自动曝光,至少两路对图像传感器采集到的图像进行短曝光,得到一路长曝光的视频流和至少两路短曝光的视频流。长曝光视频流可提供信号灯的亮度信息和轮廓信息,短曝光视频流能够保留信号灯原有的色彩信息。
例如,在夜晚、下雨天、阴天等环境下,对车辆的通行情况进行监控时,可以采用多快门技术拍摄包括信号灯图像和车辆图像的视频流,然后采用本发明实施例提供的信号灯图像处理方法对拍摄的信号灯区域的图像进行校正处理,以得到颜色准确、轮廓清晰的信号灯图像。
图1是本发明实施例提供的一种信号灯图像处理方法流程图,应用于图像处理设备中。参见图1,该方法包括如下步骤:
步骤101:获取对信号灯进行拍摄得到的长曝光图像和短曝光图像,该长曝光图像为采用第一配置参数拍摄得到的亮度色度YUV图像,该短曝光图像为采用第二配置参数拍摄得到的YUV图像,该第一配置参数属于拍摄长曝光图像的配置参数范围,该第二配置参数属于拍摄短曝光图像的配置参数范围。
步骤102:对该长曝光图像进行光晕抑制处理,并进行格式转换,得到第一图像,该第一图像为红绿蓝RGB图像。
步骤103:对该短曝光图像进行格式转换,并进行色彩调整处理,得到第二图像,该第二图像为RGB图像。
步骤104:将该第一图像和该第二图像进行融合处理,并进行格式转换,得到校正处理后的信号灯图像。
综上所述,由于长曝光图像可提供信号灯的亮度信息和轮廓信息,短曝光图像能够提供号灯原有的颜色信息,本发明实施例通过获取对信号灯进行拍摄得到的长曝光图像和短曝光图像。然后对该长曝光图像进行光晕抑制处理并进行格式转换,得到第一图像,避免了长曝光图像中可能出现光晕过大的问题。对该短曝光图像进行格式转换,将该短曝光图像转换为以颜色信息表示的RGB图像,再进行色彩调整处理,以使得到的第二图像的颜色信息更加明确。之后通过融合第一图像和第二图像,得到校正处理后的信号灯图像,可以准确地恢复出信号灯的轮廓和颜色,实现对多种信号灯的校正,提高了信号灯图像的校正效果。同时本发明提供的信号灯图像处理方法可以实现对任一种颜色的信号灯的校正处理,提高了通用性,而且计算量小,处理效率高,能够满足实时处理的需求。
可选地,当该短曝光图像包括多个图像时,对该短曝光图像进行格式转换,并进行色彩调整处理,得到第二图像,包括:
对该多个图像分别进行格式转换,得到多个第三图像,该第三图像为RGB格式;
选取该多个第三图像中至少一个目标位置对应的所有像素点中饱和度最大的像素点,得到多个像素点,将该多个像素点的RGB值按照目标位置生成第四图像,所述多个像素点的数量与所述目标位置的数量相同;
对该第四图像进行膨胀处理,以使膨胀后的图像中的信号灯与该长曝光图像中的信号灯尺寸匹配;
对该膨胀后的图像进行色彩调整处理,得到该第二图像。
可选地,对该膨胀后的图像进行色彩调整处理,得到该第二图像,包括:
对于该膨胀后的图像中的每个像素点,根据该像素点的饱和度或色彩调整强度计算出融合系数;
按照该融合系数,将该像素点的RGB值和该像素点RGB值的N分位值进行融合,得到该像素点融合后的RGB值,该N为大于1的正整数;
根据该膨胀后的图像中的每个像素点融合后的RGB值,生成该第二图像。
可选地,将该第一图像和该第二图像进行融合处理,并进行格式转换,得到校正处理后的信号灯图像,包括:
对于每个目标位置,当该第一图像在该目标位置上的第一像素点和该第二图像在该目标位置上的第二像素点满足预设条件时,将该第一像素点的RGB值和该第二像素点的RGB值进行加权融合,得到该目标位置上融合后的RGB值,或者,当该第一图像在该目标位置上的第一像素点和该第二图像在该目标位置上的第二像素点不满足该预设条件时,将该第一像素点的RGB值作为该目标位置上融合后的RGB值;
根据每个目标位置上融合后的RGB值,生成第五图像;
对该第五图像进行格式转换,得到校正处理后的信号灯图像。
可选地,该方法还包括:
当该第一像素点的第一数值大于第一阈值,且该第二像素点的第二数值大于该第二阈值时,确定该第一像素点和该第二像素点满足预设条件,该第一数值为该第一像素点的颜色均值或者所述第一像素点的亮度值,该第二数值为该第二像素点的颜色均值或者所述第二像素点的亮度值,所述颜色均值为R、G、B三个颜色通道值的平均值;
当该第一像素点的第一数值不大于第一阈值,或该第二像素点的第二数值不大于该第二阈值时,确定该第一像素点和该第二像素点不满足预设条件。
可选地,该对该长曝光图像进行光晕抑制处理,并进行格式转换,得到第一图像,包括:
根据光晕抑制强度,获取目标映射函数,该目标映射函数用于确定该光晕抑制强度下的光晕抑制处理方式;
基于所述目标映射函数,对该长曝光图像进行光晕抑制处理,得到第六图像;
对第六图像进行格式转换得到第一图像。
可选地,该目标映射函数用于对该长曝光图像中的每个色度值进行映射;基于目标映射函数,对该长曝光图像进行光晕抑制处理,得到第六图像,包括:
对于该长曝光图像中的每个色度值,按照该目标映射函数进行映射,得到每个色度值映射后的色度值;
将该长曝光图像中的每个色度值与该每个色度值映射后的色度值进行加权融合,得到每个色度值对应的融合后的色度值;
采用每个色度值对应的融合后的色度值分别替换每个色度值,得到第六图像。
可选地,根据所述光晕抑制强度,获取目标映射函数,包括:
获取第一色度值和第二色度值,并根据光晕抑制强度、第一色度值和第二色度值,确定该第一色度值的映射值和该第二色度值的映射值;
根据该第一色度值、该第一色度值的映射值、该第二色度值和该第二色度值的映射值进行线性拟合,得到该目标映射函数。
可选地,将该第一图像和该第二图像进行融合处理,并进行格式转换,得到校正处理后的信号灯图像之后,该方法还包括:
对该信号灯图像进行锐化处理。
上述所有可选技术方案,均可按照任意结合形成本发明的可选实施例,本发明实施例对此不再一一赘述。
图2是本发明实施例提供的另一种信号灯图像处理方法流程图,应用于图像处理设备中。参见图2,该方法包括如下步骤:
步骤201:获取对信号灯进行拍摄得到的长曝光图像和短曝光图像。
其中,图像处理设备可以为拍摄设备,拍摄设备在获取到长曝光图像和短曝光图像后,直接进行校正处理。或者,图像处理设备可以为其他设备,拍摄设备在获取到长曝光图像和短曝光图像后,发送给图像处理设备,由图像处理设备进行校正处理。
该长曝光图像为采用第一配置参数拍摄得到的YUV图像,该短曝光图像为采用第二配置参数拍摄得到的YUV图像,该第一配置参数属于拍摄长曝光图像的配置参数范围,该第二配置参数属于拍摄短曝光图像的配置参数范围,且短曝光图像的曝光时间比长曝光图像的曝光时间短,该长曝光图像可提供信号灯的亮度信息和轮廓信息,该短曝光图像能够提供信号灯原有的颜色信息。
可选地,在确定第一配置参数和第二配置参数时,可以先确定一般情况下的长曝光图像的配置参数与短曝光图像的配置参数,确定预设边界配置参数,从而选取大于预设边界配置参数的任一配置参数,作为第一配置参数,选取小于预设边界配置参数的任一配置参数,作为第二配置参数。
进一步地,为了保证长曝光图像与短曝光图像之间的区别,在确定第一配置参数和第二配置参数时,可以先确定一般情况下的长曝光图像的最小配置参数,作为第一预设配置参数,确定一般情况下的短曝光图像的最大配置参数,作为第二预设配置参数,第二预设配置参数小于第一预设配置参数。则选取大于第一预设配置参数的任一配置参数,作为第一配置参数,选取小于第二预设配置参数的任一配置参数,作为第二配置参数。
其中,配置参数可以包括曝光快门和曝光增益,第一配置参数包括:第一曝光快门和第一曝光增益;第二配置参数包括:第二曝光快门和第二曝光增益,且第一曝光快门大于第二曝光快门,第一曝光增益大于第二曝光增益。其中,第一曝光快门在零到最大曝光快门之间,第一曝光增益在零到最大曝光增益之间,该最大曝光快门为预先设置的可采用的曝光快门的最大值,该最大曝光增益为预先设置的可采用的曝光增益的最大值。
例如,若第一预设配置参数包括第一预设曝光快门为x1和第一曝光增益为y1,第二预设配置参数包括第二预设曝光快门为x2和第二曝光增益为y2(x1>x2,y1>y2)。若配置的长曝光图像的曝光快门为x3,曝光增益为y3(x3>x1,y3>y1),那么可以从[x1,x3]之间选取任一曝光快门a作为第一曝光快门,从[y1,y3]之间选取任一曝光增益b作为第一曝光增益。若配置短曝光图像的曝光快门为c(c<x2),曝光增益为d(d<y2),那么第二曝光快门即为c,第二曝光增益即为d。
需要说明的是,配置第一配置参数时,可以直接以默认配置参数作为第一配置参数。配置第二配置参数时,可以由用户自行配置,以用户配置的参数作为第二配置参数。
需要说明的是,本发明实施例中拍摄设备按照第一配置参数置参数拍摄包括信号灯区域和车辆区域的长曝光图像,然后从包括信号灯区域和车辆区域的长曝光图像中,检测出信号灯区域的长曝光图像,将该图像作为本发明中的长曝光图像。相应地,获取本发明中的短曝光图像的过程与获取长曝光图像的过程类似,在此不再一一赘述。
另外,拍摄设备拍摄包括信号灯区域和车辆区域的长曝光图像和短曝光图像时,可以周期性地进行拍摄。如,每次可以按照周期先拍摄一帧长曝光图像,再拍摄一帧短曝光图像,以此类推,得到多帧图像。那么在执行步骤201时,可以获取信号灯区域的每帧长曝光图像和与每帧长曝光图像相邻一帧或两帧短曝光图像。当然,也可以先拍摄一帧长曝光图像,再拍摄至少两帧短曝光图像,以此类推,得到多帧图像。那么在执行步骤201时,可以获取信号灯区域的每帧长曝光图像和拍摄每帧长曝光图像前后拍摄的多帧短曝光图像。或者,也可以先拍摄一帧短曝光图像,再拍摄至少两帧长曝光图像,以此类推,得到多帧图像。那么,在执行步骤201时,获取该至少两帧长曝光图像中的每帧长曝光图像以及每帧长曝光图像的上一个短曝光图像和下一个短曝光图像。
本发明实施例应用于拍摄视频流的场景下,在拍摄视频流时,可以采用多快门技术拍摄多帧图像,得到视频流,该多帧图像包括长曝光图像和短曝光图像。采用多快门技术拍摄短曝光图像时,可以采用不同的曝光快门拍摄得到不同的短曝光图像,也即是不同短曝光图像的第二配置参数中的曝光快门不同,且均属于0到短曝光图像的最大曝光快门之间,而不同短曝光图像的第二配置参数中的曝光增益可以不同也可以相同,且均属于0到短曝光图像的最大曝光增益之间。采用多快门技术拍摄长曝光图像时可以采用不同的曝光快门拍摄不同的长曝光图像,即不同的长曝光图像的第一配置参数中的曝光快门不同,且均属于0到长曝光图像的最大曝光快门之间,而不同长曝光图像的第一配置参数中的曝光增益可以不同也可以相同,且均属于0到长曝光图像的最大曝光增益之间。
在本发明实施例中,采用多快门技术拍摄到可提供信号灯亮度信息和轮廓信息的长曝光图像,以及能够提供信号灯原有颜色信息的短曝光图像,然后通过步骤202-205对长曝光图像和短曝光图像进行后续处理,以对信号灯图像进行校正处理,从而实现对视频流中的信号灯图像的校正处理,使得视频流中的信号灯颜色准确、轮廓清晰。
步骤202:对该长曝光图像进行光晕抑制处理,并进行格式转换,得到第一图像,该第一图像为红绿蓝RGB图像。
拍摄设备在拍摄图像时,可能由于曝光时间的增大导致拍摄到的长曝光图像光晕过大,出现图像模糊的情况,通过对该长曝光图像进行光晕抑制处理,以对长曝光图像的光晕进行抑制,获取更清晰的图像。由于光晕抑制后的图像为YUV图像,YUV图像是通过亮度色度来表示的图像,为了保证后续进行融合处理时图像的格式一致,需要对光晕抑制处理后的图像进行格式转换,得到第一图像。
其中,上述格式转换是指将YUV图像转换为RGB图像,RGB图像是指通过RGB色彩模式表示的图像,RGB色彩模式为工业界的一种颜色标准,由于R、G、B三个颜色通道值的变化以及它们相互之间的叠加能够得到各种颜色,因此,每个像素点的RGB值可以表示该像素点的颜色。
可选地,如图3所示,对该长曝光图像进行光晕抑制处理时,可以先根据光晕抑制强度,获取目标映射函数,该目标映射函数用于确定光晕抑制强度下的光晕抑制处理方式;基于目标映射函数,对该长曝光图像进行光晕抑制处理,得到第六图像;对第六图像进行格式转换得到所述第一图像。
进一步地,如图3所示,目标映射函数用于对该长曝光图像中的每个色度值进行映射;基于目标映射函数,对该长曝光图像进行光晕抑制处理,得到第六图像时,可以对于该长曝光图像中的每个色度值,按照目标映射函数进行映射,得到每个色度值映射后的色度值;将该长曝光图像中的每个色度值与每个色度值映射后的色度值进行加权融合,得到每个色度值对应的融合后的色度值;采用每个色度值对应的融合后的色度值分别替换每个色度值,得到第六图像。
其中,该光晕抑制强度为预先设置的。将该长曝光图像中的每个色度值与每个色度值映射后的色度值进行加权融合时,可以将光晕抑制强度作为每个色度值映射后的色度值的权重,将1与光晕抑制强度的差值为该长曝光图像中原始的每个色度值的权重,分别计算原始的每个色度值和每个色度值映射后的色度值的加权和值,得到每个色度值对应的融合后的色度值。
可选地,根据光晕抑制强度,获取目标映射函数时,先获取第一色度值和第二色度值,并根据光晕抑制强度、第一色度值和第二色度值,确定第一色度值的映射值和第二色度值的映射值;然后根据第一色度值、第一色度值的映射值、第二色度值和第二色度值的映射值进行线性拟合,得到目标映射函数。
需要说明的是,第一色度值和第二色度值为预设值。由于每个色度值在不同光晕抑制强度情况下的映射值不同,光晕抑制强度越大,色度值的映射值越小。因此,在确定第一色度值的映射值时,需要先确定光晕抑制强度和第一色度值的映射值之间的关系,然后按照该关系,确定本次所采用的中预设的光晕抑制强度对应的第一色度值的映射值。其中,该关系可以根据预先设置的第一色度值在不同光晕抑制强度下的映射值拟合得到。相应地,确定第二色度值的映射值与上述确定第一色度值的映射值的过程类似,在此不再一一赘述。
例如,确定光晕抑制强度和第一色度值的映射值的关系时,可以获取预先设置的第一色度值的参数组UV1_PARAM{0,h1,h2,uv_ctr11,uv_ctrl2,uv_ctrl3},那么使用第一色度值UV1在光晕抑制强度为0时的映射值uv_ctr13、在光晕抑制强度为h1时的映射值uv_ctr12,以及在光晕抑制强度为h2时的映射值uv_ctr11进行拟合,得到光晕抑制强度和第一色度值的映射值之间的关系,如图4所示,图4中横坐标代表光晕抑制强度,纵坐标表示色度值的映射值。相应地,可以根据预先设置的第二色度值的参数组UV2_PARAM{0,h3,h4,uv_ctr14,uv_ctrl5,uv_ctrl6},按照上述方式得到光晕抑制强度和第二色度值UV2的映射值的关系。
在本发明实施例中,对第六图像进行格式转换时,按照如下公式(1)-(3)来将第六图像转化为第一图像,第六图像为YUV图像,第一图像为RGB图像。
Rp=Yp+1.403×(Vp-128) 公式(1)
Gp=Yp-0.343×(UP-128)-0.714×(Vp-128) 公式(2)
Bp=Yp+1.770×(Up-128) 公式(3)
其中,Yp、UP和VP分别为YUV图像(第六图像)像素点p处的Y通道值、U通道值和V通道值,Rp、Gp和Bp分别为RGB图像(第一图像)像素点p处的R通道值、G通道值和B通道值。
步骤203:对该短曝光图像进行格式转换,并进行色彩调整处理,得到第二图像,该第二图像为RGB图像。
其中,该短曝光图像为YUV图像,可以保留信号灯原有的颜色信息,拍摄设备在拍摄图像时,由于拍摄的时间不同,可能导致不同时间段拍摄的短曝光图像呈现的色彩不一致,所以需要进行色彩调整处理,使得不同时间段拍摄的短曝光图像的颜色信息尽可能保持一致,以符合实际的需求。而且,当拍摄到的短曝光图像颜色信息过亮或过暗时,为了保证短曝光图像的颜色信息能够更符合实际的需求,也需要进行色彩调整处理。而进行色彩调整处理之前,需要先通过格式转换将以亮度色度表示的YUV图像转换为以颜色信息表示的RGB图像,然后再进行色彩调整处理,得到第二图像。
本发明实施例中,该短曝光图像可以为一个图像,也可以包括多个图像。当该短曝光图像为一个图像时,直接对该图像进行膨胀处理,以使膨胀后的图像中的信号灯与该长曝光图像中的信号灯尺寸匹配;对该膨胀后的图像进行色彩调整处理,得到该第二图像。
可选地,当该短曝光图像包括多个图像时,可以先对该多个图像分别进行格式转换,得到多个第三图像,该第三图像为RGB格式;获取每个第三图像中每个像素点的饱和度,选取该多个第三图像中至少一个目标位置对应的像素点中饱和度最大的像素点,得到多个像素点,将该多个像素点的RGB值按照所处的位置生成第四图像,该多个像素点的数量与所述目标位置的数量相同;对该第四图像进行膨胀处理,以使膨胀后的图像中的信号灯与该长曝光图像中的信号灯尺寸匹配;对该膨胀后的图像进行色彩调整处理,得到该第二图像。
其中,每个图像由多个像素点生成,且该多个像素点位于不同的位置,该目标位置对应的像素点是指多个第三图像中均处于该目标位置的像素点,选取该多个第三图像中至少一个目标位置对应的像素点中饱和度最大的像素点,即是从该多个第三图像中的均处于该目标位置的像素点中,选取饱和度最大的像素点。
可选地,上述生成第四图像的过程中,也可以获取每个第三图像中每个像素点的饱和度,选取该多个第三图像中每个目标位置对应的像素点中饱和度最大的像素点,得到多个像素点,将该多个像素点的RGB值按照所处的位置生成第四图像。
其中,对第四图像进行膨胀处理时,将第四图像划分为多个目标区域,对于每个目标区域而言,选取该目标区域的像素点中饱和度最大的像素点,采用选取的像素点的RGB值替换该目标区域中心位置的像素点的RGB值,得到膨胀后的图像。其中,目标区域可以为任何形状和任意大小的区域,例如,目标区域可以为以预设数值个像素点为边长的正方形区域,或者也可以为以预设数值个像素点为半径的圆形区域。
本发明实施例通过选取该多个第三图像中至少一个目标位置对应的像素点中饱和度最大的像素点,综合考虑多个第三图像中每个像素点的饱和度,实现了对多个第三图像的饱和度调整,得到第四图像。通过对第四图像进行膨胀处理,使得膨胀后的图像中的信号灯尺寸与长曝光图像中的信号灯尺寸匹配,便于进行后续的处理。
其中,如图5所示,对膨胀后的图像进行色彩调整处理时,对于膨胀后的图像中的每个像素点,可以根据该像素点的饱和度或色彩调整强度计算出融合系数;按照融合系数,将该像素点的RGB值和该像素点RGB值的N分位值进行融合,得到该像素点融合后的RGB值,N为大于1的正整数;然后根据膨胀后的图像中的每个像素点融合后的RGB值,生成该第二图像。
需要说明的是,计算每个像素点的饱和度时,需要先计算该像素点的RGB值中的最大值与最小值之间的差值,以及该像素点的RGB值中的最大值与最小值之间的和值,将该差值和该和值之间的商作为该像素点的饱和度。
其中,色彩调整强度为预先设置的,且色彩调整强度可以为正值,也可以为负值。当色彩调整强度为正值时,表示进行饱和度增强处理,即色彩调整处理。当色彩调整强度为负值时,表示进行饱和度降低处理,即色彩减弱处理。
可选地,计算每个像素点的融合系数时,可以通过如下三种方式进行。第一种:以色彩调整强度作为该像素点的融合系数。第二种:通过色彩调整强度计算融合系数,色彩调整强度与该像素点的融合系数成正比。第三种:通过该像素点的饱和度计算该像素点的融合系数,该像素点的饱和度与该像素点的融合系数成反比。
需要说明的是,可以根据色彩调整强度的大小以及色彩调整强度与每个像素点的饱和度之间的和值是否小于1来确定选用上述三种方式中的哪一种来计算融合系数。当色彩增强强度小于0时,通过第一种方式计算该像素点的融合系数。当色彩增强强度大于0,且色彩调整强度与该像素点的饱和度之间的和值小于1时,表示该像素点的饱和度较小,可能不满足实际的需求,选用第一种方式通过色彩调整强度计算该像素点的融合系数,可以保证增强效果。当色彩增强强度大于0,且色彩调整强度与该像素点的饱和度之间的和值不小于1时,表示该像素点的饱和度较大,选用第二种方式通过该像素点的饱和度计算该像素点的融合系数,更符合实际需求。
之后,将该像素点的RGB值和该像素点RGB值的N分位值进行融合时,将该和值与N的商值作为该像素点的N分位值,以该融合系数为该像素点的N分位值的权重,以1与该融合系数的差值为该像素点的RGB值的权重,分别计算该像素点的N分位值和该像素点的RGB值的加权和值,得到该像素点融合后的RGB值。
这样,通过上述方式,对该短曝光图像进行格式转换,并进行色彩调整处理,以使得到的第二图像的颜色信息更加符合信号灯的真实颜色信息,避免了短曝光图像颜色信息与之前拍摄的短曝光图像的颜色信息不一致,以及拍摄的短曝光图像颜色信息过亮或过暗的问题。
步骤204:将该第一图像和该第二图像进行融合处理,并进行格式转换,得到校正处理后的信号灯图像。
通过将接近信号灯真实亮度信息和轮廓信息的第一图像和接近信号灯真实颜色信息的第二图像进行融合处理,以得到能表示信号灯亮度信息和轮廓信息以及真实颜色信息的图像。然后将得到的图像进行格式转换,得到与拍摄图像格式一致的信号灯图像。其中,上述格式转换是指将处理得到的RGB图像转换为对应的YUV图像。
可选地,将第一图像和第二图像进行融合处理时,对于每个目标位置,可以在当第一图像在该目标位置上的第一像素点和第二图像在该目标位置上的第二像素点满足预设条件时,将第一像素点的RGB值和第二像素点的RGB值进行加权融合,得到该目标位置上融合后的RGB值,或者,当第一图像在该目标位置上的第一像素点和第二图像在该目标位置上的第二像素点不满足所述预设条件时,将第一像素点的RGB值作为该目标位置上融合后的RGB值。之后,根据每个目标位置上融合后的RGB值,生成第五图像,对第五图像进行格式转换,得到校正处理后的信号灯图像。
其中,当第一像素点的第一数值大于第一阈值,且第二像素点的第二数值大于第二阈值时,确定第一像素点和第二像素点满足预设条件,该第一数值为第一像素点的颜色均值或者第一像素点的亮度值,该颜色均值为R、G、B三个颜色通道值的平均值,该第二数值为第二像素点的颜色均值或者第二像素点的亮度值;当第一像素点的第一数值不大于第一阈值,或者第二像素点的第二数值不大于第二阈值时,均确定第一像素点和第二像素点不满足预设条件。
当第一数值为第一像素点的颜色均值、第二数值为第二像素点的颜色均值时,第一阈值和第二阈值为与像素点的颜色均值对应的阈值;当第一数值为第一像素点的亮度值,第二数值为第二像素点的亮度值时,第一阈值和第二阈值为与像素点的亮度值对应的阈值。
其中,当第一数值为第一像素点的亮度值,第二数值为第二像素点的亮度值时,需要根据第一像素点的RGB值和第二像素点的RGB值分别计算出第一像素点的亮度值和第二像素点的亮度值,然后再分别与第一阈值和第二阈值进行比较。计算像素点的亮度值的过程可以如公式(4)所示:
Yp=0.299×Rp+0.587×Gp+0.114×Bp 公式(4)
其中,Rp、Gp和Bp分别为RGB图像(第一图像或第二图像)像素点p处的R通道值、G通道值和B通道值,Yp为像素点p处的Y通道值,即亮度值。
另外,如图6所示,将第一像素点的RGB值和第二像素点的RGB值进行加权融合的过程中,对于每个目标位置,即在确定第一图像在该目标位置上的第一像素点的第一数值大于第一阈值,第二图像在该目标位置上的第二像素点的第二数值大于第二阈值时,即确定第一像素点和第二像素点满足预设条件时,先计算第一像素点的RGB值的最大值和第二像素点的RGB值的最大值的商值,将该商值作为提亮倍数。计算提亮倍数与第二像素点的RGB值的乘积,以该目标位置的预设权重为该乘积的权重,以1与该预设权重的差值为第一像素点的RGB值的权重,分别计算该乘积和第一像素点的RGB值的加权和值,得到该目标位置上融合后的RGB值。
其中,每个目标位置的预设权重是根据第一图像和第二图像的尺寸确定的,第一图像和第二图像的尺寸相同。根据该尺寸确定每帧图像的边界区域,该边界区域为第一图像和第二图像的每个边从外到内预设数目个像素点的目标位置构成的环状区域。对于第一图像和第二图像的边界区域中的像素点,从内到外像素点的预设权重呈递减规律,即边界区域中从内到外的像素点的预设权重逐渐趋于0,对于第一图像和第二图像的非边界区域的像素点的预设权重均为1。
需要说明的是,对第五图像进行格式转换时可以按照如下公式(4)-(6)来转换,得到校正处理后的信号灯图像。
Yp=0.299×Rp+0.587×Gp+0.114×Bp 公式(4)
Up=-0.169×Rp-0.331×Gp+0.500×Bp+128 公式(5)
Vp=0.500×Rp-0.419×Gp-0.081×Bp+128 公式(6)
其中,Rp、Gp和Bp分别为RGB图像(第五图像)像素点p处的R通道值、G通道值和B通道值,Yp、UP和VP分别为YUV图像(校正处理后的信号灯图像)像素点p处的Y通道值、U通道值和V通道值。
在一种可能的实现方式中,在通过上述步骤201-204得到校正处理后的信号灯图像时,考虑到还可以通过如下步骤205对该信号灯图像进行锐化处理,以强化该信号灯图像的边缘信息,从而能够提升信号灯图像中的信号灯的轮廓可辨性。
步骤205:对该信号灯图像进行锐化处理。
对于该信号灯图像中每个位置的像素点,确定该像素点的亮度值和该像素点的邻域中所有像素点的亮度均值,确定该亮度均值和锐化系数的乘积,将该乘积和该像素点的亮度值作为该像素点锐化后的亮度值,使用该像素点锐化后的亮度值替换该信号灯图像中该像素点的亮度值,以将每个像素点的亮度值替换为每个像素点锐化后的亮度值,实现对该信号灯图像的锐化处理,如图7所示。
在本发明实施例中,可以按照如下公式(7)对该信号灯图像进行锐化处理。
y_sharpenp=yp+delta×(yp-y_blurp) 公式(7)
其中,yp为该信号灯图像中像素点p的亮度值,y_blurp为像素点p的邻域中所有像素点的亮度均值,y_sharpenp像素点p锐化后的亮度值,delta为锐化增强系数。
本发明实施例中,上述步骤201-205的信号灯图像处理方法的流程可以如图8所示,在获取到长曝光图像和短曝光图像后,并行执行对长曝光图像和短曝光图像的处理,得到第一图像和第二图像,然后对第一图像和第二图像进行融合处理,并进行格式转换,得到校正处理后的信号灯图像。
综上所述,由于长曝光图像可提供信号灯的亮度信息和轮廓信息,短曝光图像能够提供信号灯原有的颜色信息,本发明实施例通过获取对信号灯进行拍摄得到的长曝光图像和短曝光图像。然后对该长曝光图像进行光晕抑制处理并进行格式转换,得到第一图像,避免了长曝光图像中可能出现光晕过大的问题。对该短曝光图像进行格式转换,将该短曝光图像转换为以颜色信息表示的RGB图像,再进行色彩调整处理,以使得到的第二图像的颜色信息更加明确。之后通过融合第一图像和第二图像,得到校正处理后的信号灯图像,可以准确地恢复出信号灯的轮廓和颜色,实现对多种信号灯的校正,提高了信号灯图像的校正效果。本发明提供的信号灯图像处理方法可以实现对任一种颜色的信号灯的校正处理,提高了通用性,而且计算量小,处理效率高,能够满足实时处理的需求。
图9是本发明实施例提供的一种信号灯图像处理装置的结构示意图。参见图9,该装置包括:获取模块901、光晕抑制处理模块902、色彩调整处理模块903和融合处理模块904。
获取模块901,用于获取对信号灯进行拍摄得到的长曝光图像和短曝光图像,该长曝光图像为采用第一配置参数拍摄得到的亮度色度YUV图像,该短曝光图像为采用第二配置参数拍摄得到的YUV图像,该第一配置参数属于拍摄长曝光图像的配置参数范围,该第二配置参数属于拍摄短曝光图像的配置参数范围;
光晕抑制处理模块902,用于对该长曝光图像进行光晕抑制处理,并进行格式转换,得到第一图像,该第一图像为红绿蓝RGB图像;
色彩调整处理模块903,用于对该短曝光图像进行格式转换,并进行色彩调整处理,得到第二图像,该第二图像为RGB图像;
融合处理模块904,用于将该第一图像和该第二图像进行融合处理,并进行格式转换,得到校正处理后的信号灯图像。
可选地,当该短曝光图像包括多个图像时,色彩调整处理模块903,包括:
格式转换子模块,用于对该多个图像分别进行格式转换,得到多个第三图像,该第三图像为RGB格式;
生成子模块,用于选取该多个第三图像中至少一个目标位置对应的所有像素点中饱和度最大的像素点,得到多个像素点,将所述多个像素点的RGB值按照目标位置生成第四图像,所述多个像素点的数量与所述目标位置的数量相同;
膨胀处理子模块,用于对该第四图像进行膨胀处理,以使膨胀后的图像中的信号灯与该长曝光图像中的信号灯尺寸匹配;
色彩调整处理子模块,用于对该膨胀后的图像进行色彩调整处理,得到该第二图像。
可选地,色彩调整处理子模块用于:
对于该膨胀后的图像中的每个像素点,根据该像素点的饱和度或色彩调整强度计算出融合系数;
按照该融合系数,将该像素点的RGB值和该像素点RGB值的N分位值进行融合,得到该像素点融合后的RGB值,该N为大于1的正整数;
根据该膨胀后的图像中的每个像素点融合后的RGB值,生成该第二图像。
可选地,融合处理模块904,包括:
融合子模块,用于对于每个目标位置,当该第一图像在该目标位置上的第一像素点和该第二图像在该目标位置上的第二像素点满足预设条件时,将该第一像素点的RGB值和该第二像素点的RGB值进行加权融合,得到该目标位置上融合后的RGB值,或者,当该第一图像在该目标位置上的第一像素点和该第二图像在该目标位置上的第二像素点不满足该预设条件时,将该第一像素点的RGB值作为该目标位置上融合后的RGB值;
生成子模块,用于根据每个目标位置上融合后的RGB值,生成第五图像;
格式转换子模块,用于对该第五图像进行格式转换,得到该校正处理后的信号灯图像。
可选地,该装置还包括:
确定模块,用于当该第一像素点的第一数值大于第一阈值,且该第二像素点的第二数值大于该第二阈值时,确定该第一像素点和该第二像素点满足预设条件,该第一数值为该第一像素点的颜色均值或者第一像素点的亮度值,该颜色均值为R、G、B三个颜色通道值的平均值,该第二数值为该第二像素点的颜色均值或者第二像素点的亮度值;
确定模块,还用于当该第一像素点的第一数值不大于第一阈值,或该第二像素点的第二数值不大于该第二阈值时,确定该第一像素点和该第二像素点不满足预设条件。
可选地,光晕抑制处理模块902,包括:
获取子模块,用于根据光晕抑制强度,获取目标映射函数,所述目标映射函数用于确定所述光晕抑制强度下的光晕抑制处理方式;
光晕抑制处理子模块,用于基于所述目标映射函数,对所述长曝光图像进行光晕抑制处理,得到第六图像;
格式转换子模块,用于对所述第六图像进行格式转换得到所述第一图像。
可选地,光晕抑制处理子模块用于:
根据所述光晕抑制强度获取目标映射函数,该目标映射函数用于对该长曝光图像中的每个色度值进行映射;
对于该长曝光图像中的每个色度值,按照该目标映射函数进行映射,得到每个色度值映射后的色度值;
将该长曝光图像中的每个色度值与该每个色度值映射后的色度值进行加权融合,得到每个色度值对应的融合后的色度值;
采用该每个色度值对应的融合后的色度值分别替换该每个色度值,得到第六图像。
可选地,获取子模块用于:
获取第一色度值和第二色度值,并根据光晕抑制强度、第一色度值和第二色度值,确定第一色度值的映射值和第二色度值的映射值;
根据该第一色度值、该第一色度值的映射值、该第二色度值和该第二色度值的映射值进行线性拟合,得到该目标映射函数。
可选地,该装置还包括:
锐化处理模块,用于对该信号灯图像进行锐化处理。
综上所述,由于长曝光图像可提供信号灯的亮度信息和轮廓信息,短曝光图像能够提供号灯原有的颜色信息,本发明实施例通过获取对信号灯进行拍摄得到的长曝光图像和短曝光图像。然后对该长曝光图像进行光晕抑制处理并进行格式转换,得到第一图像,避免了长曝光图像中可能出现光晕过大的问题。对该短曝光图像进行格式转换,将该短曝光图像转换为以颜色信息表示的RGB图像,再进行色彩调整处理,以使得到的第二图像的颜色信息更加明确。之后通过融合第一图像和第二图像,得到校正处理后的信号灯图像,可以准确地恢复出信号灯的轮廓和颜色,实现对多种信号灯的校正,提高了信号灯图像的校正效果。本发明提供的信号灯图像处理方法可以实现对任一种颜色的信号灯的校正处理,提高了通用性,而且计算量小,处理效率高,且能够满足实时处理的需求。
需要说明的是:上述实施例提供的信号灯图像处理装置在进行信号灯图像处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的信号灯图像处理装置与信号灯图像处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图10示出了本发明的一个示例性实施例提供的图像处理设备的结构框图。该图像处理设备1000可因配置或性能不同而产生比较大的差异,可以包括处理器(centralprocessing units,CPU)1001、存储器1002和显示器1003。
其中,该存储器1002中存储有至少一条指令,该处理器1001用于加载并执行所述至少一条指令以实现上述信号灯图像处理方法的步骤,该显示器1003用于在上述信号灯图像处理方法中进行图像显示。当然,该图像处理设备1000还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该图像处理设备1000还可以包括其他用于实现设备功能的部件,在此不做赘述。
在本发明的示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由上述图像处理设备中的处理器执行以完成上述实施例中的信号灯图像处理方法。例如,所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种信号灯图像处理方法,其特征在于,方法包括:
获取对信号灯进行拍摄得到的长曝光图像和短曝光图像,所述长曝光图像为采用第一配置参数拍摄得到的亮度色度YUV图像,所述短曝光图像为采用第二配置参数拍摄得到的YUV图像,所述第一配置参数属于拍摄长曝光图像的配置参数范围,所述第二配置参数属于拍摄短曝光图像的配置参数范围;
对所述长曝光图像进行光晕抑制处理,并进行格式转换,得到第一图像,所述第一图像为红绿蓝RGB图像;
当所述短曝光图像包括多个图像时,对所述多个图像分别进行格式转换,得到多个第三图像,所述第三图像为RGB格式;选取所述多个第三图像中至少一个目标位置对应的所有像素点中饱和度最大的像素点,得到多个像素点,将所述多个像素点的RGB值按照目标位置生成第四图像,所述多个像素点的数量与所述目标位置的数量相同;对所述第四图像进行膨胀处理,以使膨胀后的图像中的信号灯与所述长曝光图像中的信号灯尺寸匹配;对所述膨胀后的图像进行色彩调整处理,得到第二图像;
将所述第一图像和所述第二图像进行融合处理,并进行格式转换,得到校正处理后的信号灯图像。
2.根据权利要求1所述的方法,其特征在于,所述对所述膨胀后的图像进行色彩调整处理,得到第二图像,包括:
对于所述膨胀后的图像中的每个像素点,根据所述像素点的饱和度或色彩调整强度计算出融合系数;
按照所述融合系数,将所述像素点的RGB值和所述像素点RGB值的N分位值进行融合,得到所述像素点融合后的RGB值,所述N为大于1的正整数;
根据所述膨胀后的图像中的每个像素点融合后的RGB值,生成所述第二图像。
3.根据权利要求1所述的方法,其特征在于,所述将所述第一图像和所述第二图像进行融合处理,并进行格式转换,得到校正处理后的信号灯图像,包括:
对于每个目标位置,当所述第一图像在所述目标位置上的第一像素点和所述第二图像在所述目标位置上的第二像素点满足预设条件时,将所述第一像素点的RGB值和所述第二像素点的RGB值进行加权融合,得到所述目标位置上融合后的RGB值,或者,当所述第一图像在所述目标位置上的第一像素点和所述第二图像在所述目标位置上的第二像素点不满足所述预设条件时,将所述第一像素点的RGB值作为所述目标位置上融合后的RGB值;
根据每个目标位置上融合后的RGB值,生成第五图像;
对所述第五图像进行格式转换,得到所述校正处理后的信号灯图像。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
当所述第一像素点的第一数值大于第一阈值,且所述第二像素点的第二数值大于第二阈值时,确定所述第一像素点和所述第二像素点满足预设条件,所述第一数值为所述第一像素点的颜色均值或者所述第一像素点的亮度值,所述颜色均值为R、G、B三个颜色通道值的平均值,所述第二数值为所述第二像素点的颜色均值或者所述第二像素点的亮度值;
当所述第一像素点的第一数值不大于第一阈值,或所述第二像素点的第二数值不大于所述第二阈值时,确定所述第一像素点和所述第二像素点不满足预设条件。
5.根据权利要求1所述的方法,其特征在于,所述对所述长曝光图像进行光晕抑制处理,并进行格式转换,得到第一图像,包括:
根据光晕抑制强度,获取目标映射函数,所述目标映射函数用于确定所述光晕抑制强度下的光晕抑制处理方式;
基于所述目标映射函数,对所述长曝光图像进行光晕抑制处理,得到第六图像;
对所述第六图像进行格式转换得到所述第一图像。
6.根据权利要求5所述的方法,其特征在于,所述目标映射函数用于对所述长曝光图像中的每个色度值进行映射;所述基于所述目标映射函数,对所述长曝光图像进行光晕抑制处理,得到第六图像,包括:
对于所述长曝光图像中的每个色度值,按照所述目标映射函数进行映射,得到每个色度值映射后的色度值;
将所述长曝光图像中的每个色度值与所述每个色度值映射后的色度值进行加权融合,得到所述每个色度值对应的融合后的色度值;
采用所述每个色度值对应的融合后的色度值分别替换所述每个色度值,得到所述第六图像。
7.根据权利要求6所述的方法,其特征在于,所述根据光晕抑制强度,获取目标映射函数,包括:
获取第一色度值和第二色度值,并根据所述光晕抑制强度、所述第一色度值和所述第二色度值,确定所述第一色度值的映射值和所述第二色度值的映射值;
根据所述第一色度值、所述第一色度值的映射值、所述第二色度值和所述第二色度值的映射值进行线性拟合,得到所述目标映射函数。
8.根据权利要求1所述的方法,其特征在于,所述将所述第一图像和所述第二图像进行融合处理,并进行格式转换,得到校正处理后的信号灯图像之后,所述方法还包括:
对所述信号灯图像进行锐化处理。
9.一种信号灯图像处理装置,其特征在于,装置包括:
获取模块,用于获取对信号灯进行拍摄得到的长曝光图像和短曝光图像,所述长曝光图像为采用第一配置参数拍摄得到的亮度色度YUV图像,所述短曝光图像为采用第二配置参数拍摄得到的YUV图像,所述第一配置参数属于拍摄长曝光图像的配置参数范围,所述第二配置参数属于拍摄短曝光图像的配置参数范围;
光晕抑制处理模块,用于对所述长曝光图像进行光晕抑制处理,并进行格式转换,得到第一图像,所述第一图像为红绿蓝RGB图像;
色彩调整处理模块,当所述短曝光图像包括多个图像时,所述色彩调整处理模块,包括:格式转换子模块,用于对所述多个图像分别进行格式转换,得到多个第三图像,所述第三图像为RGB格式;生成子模块,用于选取所述多个第三图像中至少一个目标位置对应的像素点中饱和度最大的像素点,得到多个像素点,将所述多个像素点的RGB值按照所处的位置生成第四图像,所述多个像素点的数量与所述目标位置的数量相同;膨胀处理子模块,用于对所述第四图像进行膨胀处理,以使膨胀后的图像中的信号灯与所述长曝光图像中的信号灯尺寸匹配;色彩调整处理子模块,用于对所述膨胀后的图像进行色彩调整处理,得到第二图像;
融合处理模块,用于将所述第一图像和所述第二图像进行融合处理,并进行格式转换,得到校正处理后的信号灯图像。
10.一种图像处理设备,其特征在于,所述图像处理设备包括:
处理器和存储器;
其中,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如权利要求1至8中任一个权利要求所述的信号灯图像处理方法。
11.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1至8中任一个权利要求所述的信号灯图像处理方法。
CN201811392227.XA 2018-11-21 2018-11-21 信号灯图像处理方法、装置、设备及存储介质 Active CN111209775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811392227.XA CN111209775B (zh) 2018-11-21 2018-11-21 信号灯图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811392227.XA CN111209775B (zh) 2018-11-21 2018-11-21 信号灯图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111209775A CN111209775A (zh) 2020-05-29
CN111209775B true CN111209775B (zh) 2023-10-20

Family

ID=70789187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811392227.XA Active CN111209775B (zh) 2018-11-21 2018-11-21 信号灯图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111209775B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741214A (zh) * 2020-05-13 2020-10-02 北京迈格威科技有限公司 图像处理方法、装置及电子设备
CN112508002B (zh) * 2020-12-11 2023-08-29 杭州海康威视数字技术股份有限公司 车灯红晕抑制方法、装置及电子设备
CN112822404B (zh) * 2021-01-12 2022-08-09 Oppo广东移动通信有限公司 一种图像处理方法及装置、存储介质
CN116744120B (zh) * 2022-09-15 2024-04-12 荣耀终端有限公司 图像处理方法和电子设备
CN116152784B (zh) * 2023-04-21 2023-07-07 深圳市夜行人科技有限公司 一种基于图像处理的信号灯预警方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970549A (zh) * 2012-09-20 2013-03-13 华为技术有限公司 图像处理方法及装置
WO2013084605A1 (ja) * 2011-12-08 2013-06-13 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN106060418A (zh) * 2016-06-29 2016-10-26 深圳市优象计算技术有限公司 基于imu信息的宽动态图像融合方法
CN107730481A (zh) * 2017-09-19 2018-02-23 浙江大华技术股份有限公司 一种交通信号灯图像处理方法及交通信号灯图像处理装置
CN108510557A (zh) * 2018-04-09 2018-09-07 湖南国科微电子股份有限公司 图像色调映射方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013084605A1 (ja) * 2011-12-08 2013-06-13 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN102970549A (zh) * 2012-09-20 2013-03-13 华为技术有限公司 图像处理方法及装置
CN106060418A (zh) * 2016-06-29 2016-10-26 深圳市优象计算技术有限公司 基于imu信息的宽动态图像融合方法
CN107730481A (zh) * 2017-09-19 2018-02-23 浙江大华技术股份有限公司 一种交通信号灯图像处理方法及交通信号灯图像处理装置
CN108510557A (zh) * 2018-04-09 2018-09-07 湖南国科微电子股份有限公司 图像色调映射方法及装置

Also Published As

Publication number Publication date
CN111209775A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN111209775B (zh) 信号灯图像处理方法、装置、设备及存储介质
EP2624204B1 (en) Image processing apparatus and method of controlling the same
EP3674967B1 (en) Image signal processing method, apparatus and device
US9852499B2 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
US10021313B1 (en) Image adjustment techniques for multiple-frame images
EP2426928B1 (en) Image processing apparatus, image processing method and program
CN106570838B (zh) 一种图像亮度优化方法及装置
CN106534677A (zh) 一种图像过曝优化方法及装置
CN112565636A (zh) 图像处理方法、装置、设备和存储介质
CN113163127B (zh) 图像处理方法、装置、电子设备及存储介质
US11880963B2 (en) Apparatus and method for image processing
KR101349968B1 (ko) 자동 영상보정을 위한 영상 처리 장치 및 방법
CN112258417B (zh) 一种图像生成方法、装置及设备
CN112598609A (zh) 一种动态图像的处理方法及装置
KR101437898B1 (ko) 단일 영상을 이용한 hdr 영상 생성 장치 및 방법
JP4359662B2 (ja) カラー画像の露出補正方法
JP5952574B2 (ja) 画像処理装置およびその制御方法
CN115578273A (zh) 图像多帧融合的方法、装置、电子设备及存储介质
US11153467B2 (en) Image processing
JP5050141B2 (ja) カラー画像の露出評価方法
US11696044B2 (en) Image capturing apparatus, control method, and storage medium
CN113822819B (zh) Hdr场景检测方法与装置、终端及可读存储介质
JP2019040382A (ja) 画像処理装置
CN116309096A (zh) 一种信号灯图像校正方法、装置、电子设备及存储介质
JP2017069871A (ja) 画像処理装置、その制御方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant