CN113222870A - 一种图像处理方法、装置及设备 - Google Patents

Abstract

本申请提供一种图像处理方法、装置及设备，该方法包括：获取信号灯区域粗帧和信号灯区域粗帧对应的信号灯区域细帧；确定所述信号灯区域细帧对应的细化掩码图，细化掩码图中的像素值为非指定数值或者指定数值；基于所述信号灯区域粗帧、所述信号灯区域细帧和所述细化掩码图生成信号灯融合图像；其中，基于像素点在信号灯区域粗帧中的像素值确定该像素点在信号灯融合图像中的像素值；或者，基于像素点在信号灯区域细帧中的像素值确定该像素点在信号灯融合图像中的像素值；基于信号灯融合图像生成目标图像。通过本申请的技术方案，避免信号灯区域出现色彩过爆和形状变粗等问题，准确识别信号灯的色彩和类型，提高信号灯的形状类型的辨识度。

Description

一种图像处理方法、装置及设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及设备。

背景技术

成像设备(如摄像机)的一种重要功能是采集车辆闯红灯的图像集合，该图像集合包括车辆驶过停止线、车辆驶到路口中和车辆到达路口对面的三帧图像，只有当这三帧图像均在红灯周期时，才能够成为车辆闯红灯的依据，也就是说，在图像集合中包括信号灯(即交通信号灯)，且信号灯为红灯亮起。

信号灯是高亮的自发光源，信号灯的成像效果往往会出现色彩过爆和形状变粗等问题，进而会影响到信号灯的色彩和类型识别。比如说，红色信号灯成像后色彩过爆为黄色，箭头类型信号灯成像后变粗为圆形信号灯，上述情况均会导致图像集合中的图像无法准确识别出信号灯的色彩和类型。

在夜晚时间段，由于环境漆黑以及相机曝光参数的增大，使得色彩过爆和形状变粗等问题更加明显，信号灯的形状类型的辨识度急剧下降，左转箭头灯、右转箭头灯、掉头箭头灯、倒计时灯等均无法正确辨识。

发明内容

本申请提供一种图像处理方法，所述方法包括：

获取信号灯区域粗帧和所述信号灯区域粗帧对应的信号灯区域细帧，所述信号灯区域细帧是所述信号灯区域粗帧中的信号灯形状细化后的图像；

确定所述信号灯区域细帧对应的细化掩码图；其中，针对信号灯区域细帧中每个像素点，该像素点在细化掩码图中的像素值为非指定数值或者指定数值；

基于所述信号灯区域粗帧、所述信号灯区域细帧和所述细化掩码图生成信号灯融合图像；其中，针对细化掩码图中像素值为指定数值的像素点，基于该像素点在信号灯区域粗帧中的像素值确定该像素点在信号灯融合图像中的像素值；针对细化掩码图中像素值为非指定数值的像素点，基于该像素点在信号灯区域细帧中的像素值确定该像素点在信号灯融合图像中的像素值；

基于所述信号灯融合图像生成目标图像。

示例性的，所述获取信号灯区域粗帧和所述信号灯区域粗帧对应的信号灯区域细帧，包括：获取原始图像，从所述原始图像中获取信号灯区域粗帧，对所述信号灯区域粗帧进行形态学腐蚀处理，得到信号灯区域细帧；或者，

获取原始图像，采用第一提亮程度对所述原始图像进行亮度增强，得到粗帧图像，从所述粗帧图像中获取信号灯区域粗帧；采用第二提亮程度对所述原始图像进行亮度增强，得到细帧图像，从所述细帧图像中获取信号灯区域细帧；其中，所述第一提亮程度大于所述第二提亮程度；或者，

获取第一原始图像和第二原始图像，所述第一原始图像的曝光时长大于所述第二原始图像的曝光时长；从所述第一原始图像中获取信号灯区域粗帧，从所述第二原始图像中获取信号灯区域细帧。

示例性的，所述确定所述信号灯区域细帧对应的细化掩码图，包括：

基于所述信号灯区域细帧确定信号灯的形状掩码图；其中，针对所述信号灯区域细帧中像素值大于目标阈值的像素点，该像素点在所述形状掩码图中的像素值为非指定数值；针对所述信号灯区域细帧中像素值不大于所述目标阈值的像素点，该像素点在所述形状掩码图中的像素值为指定数值；

将所述形状掩码图确定为所述细化掩码图；或者，

对所述形状掩码图进行形态学处理，得到二值形态学图，并将所述二值形态学图确定为所述细化掩码图。

示例性的，所述基于该像素点在信号灯区域细帧中的像素值确定该像素点在信号灯融合图像中的像素值，包括：基于该像素点在信号灯区域粗帧中的第一像素值确定第一通道最大值，第一通道最大值为第一像素值包括的R通道、G通道和B通道中的最大值；基于该像素点在信号灯区域细帧中的第二像素值确定第二通道最大值，第二通道最大值为第二像素值包括的R通道、G通道和B通道中的最大值；基于该像素点在信号灯区域细帧中的像素值、所述第一通道最大值和所述第二通道最大值，确定该像素点在信号灯融合图像中的像素值。

示例性的，所述方法还包括：获取信号灯周边区域的过渡区域粗帧和过渡区域细帧；对所述细化掩码图进行膨胀处理，得到所述过渡区域细帧对应的过渡掩码图；其中，所述过渡掩码图中的像素值为非指定数值或者指定数值；

基于所述过渡区域粗帧对应的过渡区域目标粗帧、所述过渡区域细帧对应的过渡区域目标细帧和所述过渡掩码图生成过渡区域融合图像；其中，针对所述过渡掩码图中像素值为指定数值的像素点，基于该像素点在过渡区域目标粗帧中的像素值确定该像素点在过渡区域融合图像中的像素值；针对所述过渡掩码图中像素值为非指定数值的像素点，基于该像素点在过渡区域目标细帧中的像素值确定该像素点在过渡区域融合图像中的像素值；

所述基于所述信号灯融合图像生成目标图像，包括：

基于所述信号灯融合图像和所述过渡区域融合图像生成目标图像。

示例性的，对所述细化掩码图进行膨胀处理，得到所述过渡区域细帧对应的过渡掩码图，包括：针对所述细化掩码图中的每个像素点，基于该像素点的像素值，该像素点的以半径r进行膨胀处理的第一调整值，该像素点的以半径(r-1)进行膨胀处理的第二调整值，及赋值因子确定该像素点在过渡掩码图中的像素值；基于每个像素点在过渡掩码图中的像素值生成所述过渡掩码图；

其中，半径r为目标结构元素的半径，且所述目标结构元素为矩形、椭圆形或圆形，r的取值范围为[1,w]，w为过渡区域宽度；

其中，若该像素点的像素值为第一取值，则第一调整值为第一取值，第二调整值为第一取值；若该像素点的像素值为第二取值，且该像素点周围的半径为r的目标结构元素内，存在像素值为第一取值的像素点，则第一调整值为第一取值，或，若该像素点周围的半径为r的目标结构元素内，不存在像素值为第一取值的像素点，则第一调整值为第二取值；若该像素点的像素值为第二取值，且该像素点周围的半径为(r-1)的目标结构元素内，存在像素值为第一取值的像素点，则第二调整值为第一取值，或，若该像素点周围的半径为(r-1)的目标结构元素内，不存在像素值为第一取值的像素点，则第二调整值为第二取值；

其中，所述赋值因子基于所述w和所述r确定。

示例性的，所述过渡区域粗帧对应的过渡区域目标粗帧的获取过程包括：对所述过渡区域粗帧进行模糊处理，得到过渡区域模糊粗帧；基于所述过渡区域模糊粗帧、已获取的第一权重图、所述过渡区域粗帧和已获取的第二权重图进行加权处理，得到过渡区域目标粗帧；其中，第一权重图表示过渡区域模糊粗帧中每个像素点的权重值，第二权重图表示过渡区域粗帧中每个像素点的权重值；所述过渡区域细帧对应的过渡区域目标细帧的获取过程包括：对所述过渡区域细帧进行模糊处理，得到过渡区域模糊细帧；基于所述过渡区域模糊细帧、已获取的第三权重图、所述过渡区域细帧和已获取的第四权重图进行加权处理，得到过渡区域目标细帧；其中，第三权重图表示过渡区域模糊细帧中每个像素点的权重值，第四权重图表示过渡区域细帧中每个像素点的权重值。

示例性的，第一权重图和第二权重图的获取过程包括：针对每个像素点，基于该像素点在所述过渡掩码图中的像素值确定该像素点在第一权重图中的权重值，基于该像素点在第一权重图中的权重值确定该像素点在第二权重图中的权重值；第三权重图和第四权重图的获取过程包括：针对每个像素点，基于该像素点在所述过渡掩码图中的像素值确定该像素点在第三权重图中的权重值，基于该像素点在第三权重图中的权重值确定该像素点在第四权重图中的权重值。

本申请实施例提出一种图像处理装置，所述装置包括：获取模块，用于获取信号灯区域粗帧和所述信号灯区域粗帧对应的信号灯区域细帧，所述信号灯区域细帧是所述信号灯区域粗帧中的信号灯形状细化后的图像；确定模块，用于确定所述信号灯区域细帧对应的细化掩码图；其中，针对信号灯区域细帧中每个像素点，该像素点在细化掩码图中的像素值为非指定数值或者指定数值；

融合模块，用于基于所述信号灯区域粗帧、所述信号灯区域细帧和细化掩码图生成信号灯融合图像；其中，针对细化掩码图中像素值为指定数值的像素点，基于该像素点在信号灯区域粗帧中的像素值确定该像素点在信号灯融合图像中的像素值；针对细化掩码图中像素值为非指定数值的像素点，基于该像素点在信号灯区域细帧中的像素值确定该像素点在信号灯融合图像中的像素值；

生成模块，用于基于所述信号灯融合图像生成目标图像。

本申请实施例提出一种图像处理设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现如下步骤：

获取信号灯区域粗帧和所述信号灯区域粗帧对应的信号灯区域细帧，所述信号灯区域细帧是所述信号灯区域粗帧中的信号灯形状细化后的图像；

确定所述信号灯区域细帧对应的细化掩码图；其中，针对信号灯区域细帧中每个像素点，该像素点在细化掩码图中的像素值为非指定数值或者指定数值；

基于所述信号灯区域粗帧、所述信号灯区域细帧和所述细化掩码图生成信号灯融合图像；其中，针对细化掩码图中像素值为指定数值的像素点，基于该像素点在信号灯区域粗帧中的像素值确定该像素点在信号灯融合图像中的像素值；针对细化掩码图中像素值为非指定数值的像素点，基于该像素点在信号灯区域细帧中的像素值确定该像素点在信号灯融合图像中的像素值；

基于所述信号灯融合图像生成目标图像。

由以上技术方案可见，本申请实施例中，可以基于细化掩码图对信号灯区域粗帧和信号灯区域细帧进行融合，得到信号灯融合图像，并基于信号灯融合图像生成目标图像，从而避免目标图像的信号灯区域出现色彩过爆和形状变粗等问题，准确识别信号灯的色彩和类型，提高信号灯的形状类型的辨识度，左转箭头灯、右转箭头灯、掉头箭头灯、倒计时灯等均能够正确辨识。上述方式有效还原了信号灯的色彩，可以很好的重现信号灯的色彩信息。有效提升了信号灯的形状辨识度，很好的再现信号灯的形状特征。有效提升了信号灯的形状边缘清晰度，有利于人眼主观辨识和识别。有效提升信号灯的形状清晰度和辨别度，便于后续信号灯形状类型的辨识和识别。上述方式的计算复杂度比较低，可以在嵌入式系统中实现，实现起来简单有效，易于推广落地。

附图说明

为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。

图1是本申请一种实施方式中的信号灯区域的示意图；

图2是本申请一种实施方式中的图像处理方法的流程示意图；

图3是本申请一种实施方式中的细化掩码图的示意图；

图4是本申请一种实施方式中的图像处理方法的流程示意图；

图5是本申请一种实施方式中的过渡掩码图的示意图；

图6是本申请一种实施方式中的图像处理装置的结构示意图。

具体实施方式

在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在介绍本申请实施例的技术方案之前，先介绍本申请实施例涉及的概念。

原始图像：原始图像可以是成像设备(也可以称为前端设备，如网络摄像机、模拟摄像机、相机等)采集的图像，原始图像可以是贝尔(Bayer)图像，也可以是RGB(Red GreenBlue，红色绿色蓝色)图像，还可以是YUV(Luminance Chrominance，明亮度色度)图像，对此原始图像的类型不做限制。

贝尔图像是指：传感器表面的红色、绿色和蓝色滤镜排列称为贝尔图案，光线通过贝尔图案，激发传感器，通过模数转换得到的图像称为贝尔图像。

ISP(Image Signal Processor，图像信号处理)：用于对原始图像进行后期处理，如黑电平矫正、镜头阴影校正、坏点去除、绿平衡、噪声去除、颜色插值、自动白平衡、颜色校正、Gamma校正、色彩空间转换、锐化、宽动态、亮度增强和自动曝光控制等，ISP的处理效果在很大程度上决定了摄像机的成像质量。

多曝光相间成像技术：分多种曝光参数依次间隔地对传感器(sensor)进行曝光处理，得到不同曝光时长的多路视频流，曝光较快(即曝光时长小)的一般称为短曝光视频流，曝光较慢(即曝光时长大)的一般称为长曝光视频流。

图像融合：图像融合是指将通过多种途径采集到的图像数据经过图像处理和计算机技术，合并成高质量的图像，从而提升图像质量的方法。

信号灯的ROI(Region Of Interest，感兴趣区域)：是图像中信号灯所对应的区域，一般为矩形区域，可以称之为信号灯的ROI区域。在实际使用时，可以由用户在Web端通过手动绘制得到信号灯的ROI区域，也可以由设备从图像中分析出信号灯的ROI区域，对此信号灯的ROI区域不做限制。

信号灯的ROI区域可以包括信号灯区域(即信号灯所对应区域)和信号灯周边区域(即信号灯区域之外的周边区域)，信号灯周边区域也称为过渡区域。

信号灯区域：通过二值化、形态学和区域标记等处理，可以获得信号灯的最小外接矩形区域，而这个最小外接矩形区域就可以是信号灯区域。

信号灯周边区域(即过渡区域)：可以将信号灯的ROI区域中除了信号灯区域之外的剩余区域，作为信号灯周边区域，即信号灯区域之外的周边区域。

示例性的，由于可能存在多个信号灯，每个信号灯对应一个信号灯区域和一个信号灯周边区域，且所有信号灯区域的处理过程相同，所有信号灯周边区域的处理过程相同，因此，为了方便描述，本实施例中以一个信号灯区域和一个信号灯周边区域(即与该信号灯区域对应的信号灯周边区域)为例。

参见图1所示，为原始图像的示例，示出了信号灯区域、信号灯周边区域和信号灯的ROI区域之间的关系，当然，图1只是一个示例，对此不做限制，只要图像中包括信号灯区域、信号灯周边区域和信号灯的ROI区域即可。

信号灯是高亮的自发光源，信号灯的成像效果往往会出现色彩过爆和形状变粗等问题，进而会影响到信号灯的色彩和类型识别。在夜晚时间段，由于环境漆黑以及相机曝光参数的增大，使得色彩过爆和形状变粗等问题更加明显，信号灯的形状类型的辨识度急剧下降，信号灯的色彩和类型均无法正确辨识。

针对上述发现，本申请实施例中，可以获取信号灯区域粗帧和该信号灯区域粗帧对应的信号灯区域细帧，并基于细化掩码图对该信号灯区域粗帧和该信号灯区域细帧进行融合，得到信号灯融合图像，并基于该信号灯融合图像生成目标图像，从而避免目标图像的信号灯区域出现色彩过爆和形状变粗等问题，能够准确识别信号灯的色彩和类型，提高信号灯的形状类型的辨识度。

以下结合具体实施例，对本申请实施例的技术方案进行说明。

本申请实施例中提出一种图像处理方法，该方法可以应用于前端设备(如模拟摄像机、网络摄像机等)，也可以应用于后端设备(如服务器，管理设备等)。若该方法应用于前端设备，则前端设备采集到原始图像后，基于该原始图像执行后续流程，若该方法应用于后端设备，则前端设备采集到原始图像后，将原始图像发送给后端设备，由后端设备基于该原始图像执行后续流程。

参见图2所示，为图像处理方法的流程示意图，该方法可以包括：

步骤201，获取信号灯区域粗帧和信号灯区域粗帧对应的信号灯区域细帧，该信号灯区域细帧是该信号灯区域粗帧中的信号灯形状细化后的图像。

示例性的，信号灯区域粗帧是信号灯形状的粗壮图，信号灯形状存在变粗等问题。信号灯区域细帧是信号灯形状的细化图，即采用形状细化方法对形状变粗的信号灯形状进行细化后的图像，信号灯形状不存在变粗等问题，或者，信号灯形状变粗的幅度低于信号灯区域粗帧的信号灯形状变粗的幅度。

示例性的，在成像过程中，与信号灯形状粗细有关的因素包括曝光时长和提亮程度。曝光时长越大，则信号灯形状越粗，曝光时长越小，则信号灯形状越细。提亮程度越强，则信号灯形状越粗，提亮程度越弱，则信号灯形状越细。基于上述原理，可以采用如下方式获取信号灯区域粗帧和信号灯区域细帧。

方式1：获取原始图像，从该原始图像中获取信号灯区域粗帧，并对该信号灯区域粗帧进行形态学腐蚀处理，得到信号灯区域细帧。

示例性的，可以将成像设备采集到的图像作为原始图像(也即粗帧图像)，并从原始图像中获取信号灯区域的子图像，信号灯区域的子图像即信号灯区域粗帧。然后，由于形态学腐蚀处理具有细化效果，因此，可以对信号灯区域粗帧进行形态学腐蚀处理，得到相对细化的信号灯形状图，即信号灯区域细帧。

方式2、获取原始图像，采用第一提亮程度对原始图像进行亮度增强，得到粗帧图像，从粗帧图像中获取信号灯区域粗帧，并采用第二提亮程度对原始图像进行亮度增强，得到细帧图像，从细帧图像中获取信号灯区域细帧。

示例性的，第一提亮程度可以大于第二提亮程度。

示例性的，可以将成像设备采集到的图像作为原始图像，基于该原始图像，第一路ISP用于生成信号灯形状粗壮的效果图，即粗帧图像，第一路ISP提亮程度较强，用于确保整个场景的亮度符合正常需求，从粗帧图像中获取信号灯区域的子图像，信号灯区域的子图像即信号灯区域粗帧。第二路ISP处理用于生成信号灯形状细化的效果图，即细帧图像，第二路ISP提亮程度较弱，或者不提亮，用于尽可能还原信号灯的原始形状，得到相对细化的信号灯形状图，从细帧图像中获取信号灯区域的子图像，信号灯区域的子图像即信号灯区域细帧。

比如说，基于该原始图像，第一路ISP用于对该原始图像进行后期处理，如黑电平矫正、镜头阴影校正、坏点去除、绿平衡、噪声去除、颜色插值、自动白平衡、颜色校正、Gamma校正、色彩空间转换、锐化、宽动态、亮度增强和自动曝光控制等，对这些处理过程不做限制。在对该原始图像进行亮度增强时，是采用第一提亮程度对原始图像进行亮度增强，得到粗帧图像，第一提亮程度表示较高的提亮程度，即亮度增强的程度比较大，使得亮度符合正常需求。

基于该原始图像，第二路ISP用于对该原始图像进行后期处理，如黑电平矫正、镜头阴影校正、坏点去除、绿平衡、噪声去除、颜色插值、自动白平衡、颜色校正、Gamma校正、色彩空间转换、锐化、宽动态、亮度增强和自动曝光控制等，对这些处理过程不做限制。在对该原始图像进行亮度增强时，是采用第二提亮程度对原始图像进行亮度增强，得到细帧图像，或者，不对原始图像进行亮度增强，得到细帧图像。第二提亮程度表示较低的提亮程度(即小于第一提亮程度)，即亮度增强的程度比较小，使得尽可能还原信号灯的原始形状。

方式3、获取第一原始图像(也即粗帧图像)和第二原始图像(也即细帧图像)，第一原始图像的曝光时长大于第二原始图像的曝光时长；从第一原始图像中获取信号灯区域粗帧，从第二原始图像中获取信号灯区域细帧。

示例性的，成像设备可以相间有序的输出长曝光帧图像以及短曝光帧图像，长曝光帧图像就是第一原始图像，短曝光帧图像就是第二原始图像，第一原始图像用于确保整个场景成像亮度正常，第二原始图像用于提供信号灯的清晰形状和色彩信息。在此基础上，可以从第一原始图像(即粗帧图像)中获取信号灯区域的子图像，信号灯区域的子图像即信号灯区域粗帧。可以从第二原始图像中获取信号灯区域的子图像，信号灯区域的子图像即信号灯区域细帧。

比如说，基于多曝光相间成像技术，成像设备依次输出曝光时长1的图像1，曝光时长2的图像2，曝光时长1的图像3，曝光时长2的图像4，假设曝光时长1大于曝光时长2，则将图像1和图像2分别作为第一原始图像和第二原始图像，将图像3和图像4分别作为第一原始图像和第二原始图像。在实际应用中，为了兼顾更多的信号灯效果，曝光时长2可以细分为多个不同的曝光时长，如曝光时长21、曝光时长22、曝光时长23等，对此曝光时长不做限制。

在此基础上，针对每组第一原始图像和第二原始图像，可以从第一原始图像中获取信号灯区域粗帧，从第二原始图像中获取信号灯区域细帧。

当然，上述方式1、方式2和方式3只是获取信号灯区域粗帧和信号灯区域细帧的示例，对此获取方式不做限制，只要能够得到信号灯区域粗帧和信号灯区域细帧即可。比如说，可以采用方式1和方式2获取信号灯区域粗帧和信号灯区域细帧，可以采用方式1和方式3获取信号灯区域粗帧和信号灯区域细帧。

在采用方式1和方式2获取信号灯区域粗帧和信号灯区域细帧时，可以采用如下方式：先获取原始图像，采用第一提亮程度对原始图像进行亮度增强，得到粗帧图像，从粗帧图像中获取信号灯区域粗帧。采用第二提亮程度对原始图像进行亮度增强，得到细帧图像，从细帧图像中获取信号灯区域子图像，然后，对该信号灯区域子图像进行形态学腐蚀处理，得到信号灯区域细帧。

在采用方式1和方式3获取信号灯区域粗帧和信号灯区域细帧时，可以采用如下方式：获取第一原始图像和第二原始图像，从第一原始图像中获取信号灯区域粗帧，并从第二原始图像中获取获取信号灯区域子图像，然后，对该信号灯区域子图像进行形态学腐蚀处理，得到信号灯区域细帧。

至此，可以得到信号灯区域粗帧和该信号灯区域粗帧对应的信号灯区域细帧，基于该信号灯区域粗帧和该信号灯区域细帧进行后续处理。

步骤202，确定信号灯区域细帧对应的细化掩码图；其中，针对信号灯区域细帧中每个像素点，该像素点在细化掩码图中的像素值为非指定数值或者指定数值。示例性的，指定数值可以为0，即细化掩码图中的像素值为非0或0。

示例性的，在得到信号灯区域细帧之后，可以对该信号灯区域细帧进行二值化的形态学处理，得到一个掩码图，为了区分方便，可以将该掩码图记为细化掩码图，该细化掩码图中的像素值可以为非0或者0。

在一种可能的方式方式中，可以采用如下方式确定细化掩码图：

方式1、基于信号灯区域细帧，采用如下步骤确定细化掩码图：

步骤S11、基于该信号灯区域细帧确定信号灯的形状掩码图。示例性的，针对信号灯区域细帧中像素值大于目标阈值的像素点，该像素点在该形状掩码图中的像素值为非指定数值(即非0)；针对信号灯区域细帧中像素值不大于目标阈值的像素点，该像素点在该形状掩码图中的像素值为指定数值(即0)。

示例性的，可以预先得到一个目标阈值，目标阈值可以是固定阈值，即根据经验配置的二值化阈值，目标阈值也可以是自适应阈值，即根据信号灯区域细帧，采用二值化方法确定的阈值，如双峰法、P参数法、迭代法和OTSU(大津)法等二值化方法确定的阈值，对此目标阈值的确定方式不做限制。

针对信号灯区域细帧中的像素点(x,y)来说，若像素点(x,y)的像素值大于目标阈值，则像素点(x,y)在形状掩码图中的像素值为非指定数值(即非0，如255)，也就是说，形状掩码图中的像素点(x,y)的像素值为255。或者，若像素点(x,y)的像素值不大于目标阈值，则像素点(x,y)在形状掩码图中的像素值为指定数值(即0)，也就是说，形状掩码图中的像素点(x,y)的像素值为0。

在对信号灯区域细帧中的所有像素点进行上述处理后，就可以得到所有像素点在形状掩码图中的像素值，这些像素点的像素值就组成形状掩码图，形状掩码图中的像素点的像素值为255或0，即形状掩码图是二值化图像。

步骤S12、将该形状掩码图确定为该细化掩码图。比如说，在得到形状掩码图后，可以将该形状掩码图直接确定为细化掩码图，也就是说，细化掩码图中的像素点的像素值为255或0，即细化掩码图是二值化图像。

方式2、基于信号灯区域细帧，采用如下步骤确定细化掩码图：

步骤S21、基于该信号灯区域细帧确定信号灯的形状掩码图。示例性的，针对信号灯区域细帧中像素值大于目标阈值的像素点，该像素点在该形状掩码图中的像素值为非指定数值(即非0)；针对信号灯区域细帧中像素值不大于目标阈值的像素点，该像素点在该形状掩码图中的像素值为指定数值(即0)。

步骤S22、对形状掩码图进行形态学处理，得到二值形态学图，该二值形态学图中的像素点的像素值为非指定数值或者指定数值。

示例性的，针对二值化后的形状掩码图来说，该形状掩码图往往存在一些孤立点或者形状不完整的情况，因此，可以对形状掩码图进行形态学处理，将形态学处理后的形状掩码图称为二值形态学图。显然，由于形状掩码图中的像素点的像素值为非指定数值或者指定数值，即形状掩码图是二值化图像，因此，对形状掩码图进行形态学处理后，二值形态学图中的像素点的像素值也为非指定数值(如255)或者指定数值(如0)，二值形态学图也是二值化图像。

对形状掩码图进行形态学处理时，可以对形状掩码图进行闭操作，闭操作是对形状掩码图进行先膨胀后腐蚀的形态学处理，比如说，填充形状掩码图中前景物体中的小洞，或者，可以对形状掩码图进行开操作，开操作是对形状掩码图进行先腐蚀后膨胀的形态学处理，比如说，抹去前景物体上孤立的点。在对形状掩码图进行形态学处理时，形状掩码图中前景物体的整体位置和形状不变。

显然，通过对形状掩码图进行形态学处理，就可以得到区域连通的二值形态学图，参见图3所示，为二值形态学图的示意图。

步骤S23、将该二值形态学图确定为细化掩码图。比如说，在得到二值形态学图后，可以将该二值形态学图确定为细化掩码图，也就是说，细化掩码图中的像素点的像素值为255或0，即细化掩码图是二值化图像。

当然，上述方式1和方式2只是获取细化掩码图的示例，对此获取方式不做限制，只要能够得到信号灯区域细帧对应的细化掩码图即可。

至此，可以得到细化掩码图，并基于该细化掩码图进行后续处理。

步骤203，基于该信号灯区域粗帧、该信号灯区域细帧和该细化掩码图生成信号灯融合图像(即信号灯区域的融合图像)。示例性的，针对该细化掩码图中像素值为指定数值(如0)的像素点，基于该像素点在该信号灯区域粗帧中的像素值确定该像素点在该信号灯融合图像中的像素值；针对该细化掩码图中像素值为非指定数值(如非0，即255)的像素点，基于该像素点在该信号灯区域细帧中的像素值确定该像素点该在信号灯融合图像中的像素值。

示例性的，针对细化掩码图中的像素点(x,y)来说，若像素点(x,y)的像素值为指定数值(如0)，则基于像素点(x,y)在信号灯区域粗帧中的像素值确定像素点(x,y)在信号灯融合图像中的像素值，即，先从信号灯区域粗帧中确定出像素点(x,y)的像素值K1，基于像素值K1确定信号灯融合图像中的像素点(x,y)的像素值。针对细化掩码图中的像素点(x,y)来说，若像素点(x,y)的像素值为非指定数值(如255)，则基于像素点(x,y)在信号灯区域细帧中的像素值确定像素点(x,y)在信号灯融合图像中的像素值，即，先从信号灯区域细帧中确定出像素点(x,y)的像素值K2，基于像素值K2确定信号灯融合图像中的像素点(x,y)的像素值。

在对细化掩码图中的所有像素点进行上述处理后，可以得到所有像素点在信号灯融合图像中的像素值，这些像素点的像素值就组成信号灯融合图像，显然，针对信号灯融合图像中的每个像素点，该像素点的像素值可能是基于该像素点在信号灯区域粗帧中的像素值确定，也可能是基于该像素点在信号灯区域细帧中的像素值确定，也就是说，以像素点为粒度，决策基于信号灯区域粗帧或者信号灯区域细帧中的像素值，确定信号灯融合图像中该像素点的像素值。

在一种可能的实施方式中，基于像素点在信号灯区域粗帧中的像素值确定该像素点在信号灯融合图像中的像素值，可以包括但不限于：将该像素点在信号灯区域粗帧中的像素值确定为该像素点在信号灯融合图像中的像素值。

比如说，基于像素点(x,y)在信号灯区域粗帧中的像素值K1确定信号灯融合图像中的像素值时，信号灯融合图像中的像素点(x,y)的像素值为像素值K1。

在一种可能的实施方式中，基于像素点在信号灯区域细帧中的像素值确定该像素点在信号灯融合图像中的像素值，可以包括但不限于如下步骤：

步骤S31、基于像素点在信号灯区域粗帧中的第一像素值确定第一通道最大值，第一通道最大值为第一像素值包括的R通道、G通道和B通道中的最大值。

比如说，基于像素点(x,y)在信号灯区域细帧中的像素值K2确定信号灯融合图像中的像素值时，先获取像素点(x,y)在信号灯区域粗帧中的像素值(为了区分方便，将该像素值记为第一像素值，即像素值K1)。假设信号灯区域粗帧是RGB类型的图像，则第一像素值包括R通道、G通道和B通道，从R通道、G通道和B通道中选取最大值，该最大值作为第一通道最大值。例如，假设R通道大于G通道，且R通道大于B通道，则第一通道最大值为第一像素值的R通道。

步骤S32、基于像素点在信号灯区域细帧中的第二像素值确定第二通道最大值，第二通道最大值为第二像素值包括的R通道、G通道和B通道中的最大值。

比如说，基于像素点(x,y)在信号灯区域细帧中的像素值K2确定信号灯融合图像中的像素值时，获取像素点(x,y)在信号灯区域细帧中的像素值(为了区分方便，将该像素值记为第二像素值，即像素值K2)。假设信号灯区域细帧是RGB类型的图像，则第二像素值包括R通道、G通道和B通道，从R通道、G通道和B通道中选取最大值，该最大值作为第二通道最大值。例如，假设B通道大于G通道，且B通道大于R通道，则第二通道最大值为第二像素值的B通道。

步骤S33、基于该像素点在信号灯区域细帧中的像素值、该第一通道最大值和该第二通道最大值，确定该像素点在信号灯融合图像中的像素值。

可以确定第一通道最大值与第二通道最大值的比值，该比值作为调整系数。基于该调整系数对该像素点在信号灯区域细帧中的像素值进行调整，得到该像素点在信号灯融合图像中的像素值。比如说，将调整系数与该像素点在信号灯区域细帧中的像素值的乘积，作为该像素点在信号灯融合图像中的像素值。

比如说，基于像素点(x,y)在信号灯区域细帧中的像素值K2确定信号灯融合图像中的像素值时，先确定第一通道最大值与第二通道最大值的比值，将该比值与像素值K2的乘积，作为像素点(x,y)在信号灯融合图像中的像素值。

在一种可能的实施方式中，基于信号灯区域粗帧、信号灯区域细帧和细化掩码图生成信号灯融合图像，是对信号灯区域的融合校正，信号灯区域的融合校正是指：针对信号灯区域，根据细化掩码图逐像素点对信号灯区域粗帧和信号灯区域细帧进行融合校正，得到亮度与信号灯区域粗帧接近，色彩与信号灯区域细帧接近的信号灯融合图像。信号灯区域粗帧、信号灯区域细帧和信号灯融合图像均是RGB图像。信号灯区域的融合校正过程可以通过公式(1)表示。

针对每个像素点来说，均可以采用公式(1)实现信号灯区域的融合校正，即公式(1)是针对每个像素点来说，为了方便描述，以一个像素点(x,y)为例。

掩码值表示像素点(x,y)在细化掩码图中的像素值，从公式(1)看出，若像素点(x,y)在细化掩码图中的像素值为非零值，则FusC为FineC*MaxThick/MaxFine，若像素点(x,y)在细化掩码图中的像素值为零值，则FusC为ThickC。

在公式(1)中，FusC表示像素点(x,y)在信号灯融合图像中的像素值，FineC表示像素点(x,y)在信号灯区域细帧中的像素值，ThickC表示像素点(x,y)在信号灯区域粗帧中的像素值，MaxThick表示像素点(x,y)在信号灯区域粗帧中的三通道最大值，即上述实施例的第一通道最大值，MaxFine表示像素点(x,y)在信号灯区域细帧中的三通道最大值，即上述实施例的第二通道最大值。

综上可以看出，若像素点(x,y)在细化掩码图中的像素值为非零值，则基于像素点(x,y)在信号灯区域细帧中的像素值FineC、第一通道最大值MaxThick和第二通道最大值MaxFine，确定像素点(x,y)在信号灯融合图像中的像素值FusC。若像素点(x,y)在细化掩码图中的像素值为零值，则基于像素点(x,y)在信号灯区域粗帧中的像素值ThickC，确定像素点(x,y)在信号灯融合图像中的像素值FusC。

公式(1)中，C为R通道值、或G通道值、或B通道值，若C为R通道值，则FusC表示像素点(x,y)在信号灯融合图像中的R通道值，FineC表示像素点(x,y)在信号灯区域细帧中的R通道值，ThickC表示像素点(x,y)在信号灯区域粗帧中的R通道值。若C为G通道值，则FusC表示像素点(x,y)在信号灯融合图像中的G通道值，FineC表示像素点(x,y)在信号灯区域细帧中的G通道值，ThickC表示像素点(x,y)在信号灯区域粗帧中的G通道值。若C为B通道值，则FusC表示像素点(x,y)在信号灯融合图像中的B通道值，FineC表示像素点(x,y)在信号灯区域细帧中的B通道值，ThickC表示像素点(x,y)在信号灯区域粗帧中的B通道值。

至此，可以得到信号灯融合图像，并基于该信号灯融合图像进行后续处理。

步骤204，基于该信号灯融合图像生成目标图像。

比如说，可以使用信号灯融合图像替换粗帧图像(即原始图像，参见步骤201，已经介绍粗帧图像的获取过程，粗帧图像是完整图像，而上述信号灯区域粗帧是粗帧图像中信号灯区域的子图像)中的信号灯区域(即信号灯区域粗帧所在的区域)，将更新后的粗帧图像作为目标图像。显然，由于信号灯融合图像是针对信号灯区域的融合图像，其信号灯形状不存在变粗等问题，且保留了整个场景的亮度信息，从而能够提高信号灯的形状类型的辨识度。

示例性的，上述执行顺序只是为了方便描述给出的示例，在实际应用中，还可以改变步骤之间的执行顺序，对此执行顺序不做限制。而且，在其它实施例中，并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其它实施例中可能被分解为多个步骤进行描述；本说明书中所描述的多个步骤，在其它实施例也可能被合并为单个步骤进行描述。

由以上技术方案可见，本申请实施例中，可以基于细化掩码图对信号灯区域粗帧和信号灯区域细帧进行融合，得到信号灯融合图像，并基于信号灯融合图像生成目标图像，从而避免目标图像的信号灯区域出现色彩过爆和形状变粗等问题，准确识别信号灯的色彩和类型，提高信号灯的形状类型的辨识度，左转箭头灯、右转箭头灯、掉头箭头灯、倒计时灯等均能够正确辨识。上述方式有效还原了信号灯的色彩，可以很好的重现信号灯的色彩信息。有效提升了信号灯的形状辨识度，很好的再现信号灯的形状特征。有效提升了信号灯的形状边缘清晰度，有利于人眼主观辨识和识别。有效提升信号灯的形状清晰度和辨别度，便于后续信号灯形状类型的辨识和识别。上述方式的计算复杂度比较低，可以在嵌入式系统中实现，实现起来简单有效，易于推广落地。

本申请实施例中提出另一种图像处理方法，首先，确定信号灯区域粗帧和信号灯区域细帧，例如，采用直接腐蚀、单帧双路ISP和多曝光相间成像等方式，确定信号灯区域细帧。然后，依据信号灯在图像中的高亮特点，生成细化掩码图。然后，基于细化掩码图对信号灯区域粗帧和信号灯区域细帧进行融合校正，得到信号灯融合图像。然后，在信号灯的周边区域生成形状自适应的过渡平滑掩码图(即过渡掩码图)。然后，根据过渡掩码图对过渡区域目标粗帧和过渡区域目标细帧进行融合校正，得到过渡区域融合图像。

参见图4所示，为图像处理方法的流程示意图，该方法可以包括：

步骤401，获取信号灯区域粗帧和信号灯区域粗帧对应的信号灯区域细帧。

步骤402，确定该信号灯区域细帧对应的细化掩码图。

步骤403，基于该信号灯区域粗帧、该信号灯区域细帧和该细化掩码图生成信号灯融合图像(即信号灯区域的融合图像)。

步骤401-步骤403可以参见步骤201-步骤203，在此不再赘述。

步骤404，获取信号灯周边区域的过渡区域粗帧和过渡区域细帧。

示例性的，信号灯周边区域是信号灯区域周边一定范围内的区域，可以将信号灯的ROI区域中除了信号灯区域之外的剩余区域，作为信号灯周边区域。

在一种可能的实施方式中，在步骤201中，若采用方式1获取信号灯区域粗帧和信号灯区域细帧，则步骤404中，可以从原始图像中获取过渡区域粗帧，并对该过渡区域粗帧进行形态学腐蚀处理，得到过渡区域细帧。比如说，可以从原始图像中获取信号灯周边区域的子图像，信号灯周边区域的子图像即过渡区域粗帧。然后，对过渡区域粗帧进行形态学腐蚀处理，得到过渡区域细帧。

在另一种可能的实施方式中，在步骤201中，若采用方式2获取信号灯区域粗帧和信号灯区域细帧，则步骤404中，可以从粗帧图像中获取过渡区域粗帧，并从细帧图像中获取过渡区域细帧。比如说，基于采用第一提亮程度对原始图像进行亮度增强得到的粗帧图像，可以从粗帧图像中获取信号灯周边区域的子图像，信号灯周边区域的子图像即过渡区域粗帧。基于采用第二提亮程度对原始图像进行亮度增强得到的细帧图像，可以从细帧图像中获取信号灯周边区域的子图像，信号灯周边区域的子图像即过渡区域细帧。

在另一种可能的实施方式中，在步骤201中，若采用方式3获取信号灯区域粗帧和信号灯区域细帧，则步骤404中，可以从第一原始图像中获取过渡区域粗帧，并从第二原始图像中获取过渡区域细帧。比如说，基于成像设备输出的长曝光帧图像(即第一原始图像，即粗帧图像)和短曝光帧图像(即第二原始图像，即细帧图像)，可以从第一原始图像中获取信号灯周边区域的子图像，信号灯周边区域的子图像即过渡区域粗帧。可以从第二原始图像中获取信号灯周边区域的子图像，信号灯周边区域的子图像即过渡区域细帧。

当然，上述方式只是获取过渡区域粗帧和过渡区域细帧的示例，对此获取方式不做限制，只要能够得到过渡区域粗帧和过渡区域细帧即可。

步骤405，对细化掩码图进行膨胀处理，得到该过渡区域细帧对应的过渡掩码图，该过渡掩码图中的像素值可以为非指定数值或者指定数值，该过渡掩码图可以是一个灰阶过渡图，即在255到0之间过渡，基于此，指定数值可以为0，即过渡掩码图中的像素值可以为非0或0。在过渡掩码图中的像素值为非0时，过渡掩码图中的不同像素值可以相同或者不同，如某个像素点的像素值为254，某个像素点的像素值为253，某个像素点的像素值为252等，以此类推。

可以在距离信号灯边缘宽度为r的区域内，采用目标结构元素对细化掩码图进行半径为r的膨胀处理，得到过渡掩码图，r为目标结构元素的半径，目标结构元素为矩形、椭圆形或圆形，r的取值范围为[1,w]，w为过渡区域宽度。

示例性的，针对细化掩码图中的每个像素点，基于该像素点的像素值，该像素点的以半径r进行膨胀处理的调整值(后续记为第一调整值)，该像素点的以半径(r-1)进行膨胀处理的调整值(后续记为第二调整值)，及赋值因子确定该像素点在过渡掩码图中的像素值。基于细化掩码图中的每个像素点在过渡掩码图中的像素值生成过渡掩码图，即这些像素点的像素值组成过渡掩码图。

针对细化掩码图中的每个像素点，以像素点(x,y)为例，若像素点(x,y)的像素值为第一取值(非0，如255)，则第一调整值为第一取值，第二调整值为第一取值。若像素点(x,y)的像素值为第二取值(0)，且像素点(x,y)周围的半径为r的目标结构元素(如矩形)内，存在像素值为第一取值的像素点，则第一调整值为第一取值。若像素点(x,y)的像素值为第二取值，且像素点(x,y)周围的半径为r的目标结构元素内，不存在像素值为第一取值的像素点，则第一调整值为第二取值。若像素点(x,y)的像素值为第二取值，且像素点(x,y)周围的半径为(r-1)的目标结构元素内，存在像素值为第一取值的像素点，第二调整值为第一取值。若像素点(x,y)的像素值为第二取值，且像素点(x,y)周围的半径为(r-1)的目标结构元素内，不存在像素值为第一取值的像素点，第二调整值为第二取值。

示例性的，赋值因子可以基于过渡区域宽度w和半径r确定。

示例性的，可以基于细化掩码图生成形状自适应的过渡掩码图，过渡掩码图对信号灯周边区域具有很好的平滑过渡效应，过渡掩码图具有形状和方向的自适应性，基于细化掩码图，可以采用公式(2)得到形状自适应的过渡掩码图。

在公式(2)中，X_in为细化掩码图，比如细化掩码图中像素点(x,y)的像素值，X_out为过渡掩码图，比如过渡掩码图中像素点(x,y)的像素值，像素点(x,y)是细化掩码图/过渡掩码图中的任意一个像素点，也就是针对每个像素点进行处理。

表示使用结构元素B对X_in进行半径为r的膨胀处理，结构元素B可以是矩形、椭圆或圆形等，

是像素点(x,y)的以半径r进行膨胀处理的调整值，

是像素点(x,y)的以半径(r-1)进行膨胀处理的调整值。半径r的取值范围为[1,w]，w为外设的过渡区域宽度，即过渡区域的宽度。(w-r)/w为过渡区域掩码图的赋值因子，半径r越小，则赋值因子越大，符合过渡区域的平滑特点。

可以表示距离信号灯边缘宽度为r的像素带。

比如说，若像素点(x,y)在细化掩码图中的像素值为255，则X_in为255，r为[1,w]之间的任意值时，

为255，

为255。若像素点(x,y)在细化掩码图中的像素值为0，则X_in为0，r为[1,w]之间的某个值时，若像素点(x,y)周围的半径为r的目标结构元素内，存在像素值为255的像素点，则

为255，若像素点(x,y)周围的半径为r的目标结构元素内，不存在像素值为255的像素点，则

为0，若像素点(x,y)周围的半径为r-1的目标结构元素内，存在像素值为255的像素点，则

为255，若像素点(x,y)周围的半径为r-1的目标结构元素内，不存在像素值为255的像素点，则

为0。

基于上述处理，在r依次取值为[1,w]之间的每个值后，就可以得到X_out，即像素点(x,y)在过渡掩码图中的像素值。显然，在得到过渡掩码图中每个像素点的像素值之后，就可以将这些像素点的像素值组成过渡掩码图。

比如说，针对图3所示的细化掩码图，该细化掩码图对应的形状自适应的过渡掩码图可以参见图5所示，即对非0的像素点进行了膨胀处理。

步骤406，基于过渡区域粗帧对应的过渡区域目标粗帧、过渡区域细帧对应的过渡区域目标细帧和过渡掩码图生成过渡区域融合图像(即过渡区域的融合图像)。示例性的，针对过渡掩码图中像素值为指定数值的像素点，基于该像素点在过渡区域目标粗帧中的像素值确定该像素点在过渡区域融合图像中的像素值；针对过渡掩码图中像素值为非指定数值的像素点，基于该像素点在过渡区域目标细帧中的像素值确定该像素点在过渡区域融合图像中的像素值。

示例性的，针对过渡掩码图中的像素点(x,y)来说，若像素点(x,y)的像素值为指定数值，则基于像素点(x,y)在过渡区域目标粗帧中的像素值确定像素点(x,y)在过渡区域融合图像中的像素值。针对过渡掩码图中的像素点(x,y)来说，若像素点(x,y)的像素值为非指定数值，则基于像素点(x,y)在过渡区域目标细帧中的像素值确定像素点(x,y)在过渡区域融合图像中的像素值。显然，在对过渡掩码图中的所有像素点进行上述处理后，就可以得到所有像素点在过渡区域融合图像中的像素值，而这些像素点的像素值就组成过渡区域融合图像。

在一种可能的实施方式中，基于像素点在过渡区域目标粗帧中的像素值确定该像素点在过渡区域融合图像中的像素值，可以包括：将该像素点在过渡区域目标粗帧中的像素值确定为该像素点在过渡区域融合图像中的像素值。

在一种可能的实施方式中，基于像素点在过渡区域目标细帧中的像素值确定该像素点在过渡区域融合图像中的像素值，可以包括：基于像素点在过渡区域目标粗帧中的第一像素值确定第一通道最大值，第一通道最大值为第一像素值包括的R通道、G通道和B通道中的最大值。基于像素点在过渡区域目标细帧中的第二像素值确定第二通道最大值，第二通道最大值为第二像素值包括的R通道、G通道和B通道中的最大值。基于该像素点在过渡区域目标细帧中的像素值、该第一通道最大值和该第二通道最大值，确定该像素点在过渡区域融合图像中的像素值。例如，确定第一通道最大值与第二通道最大值的比值，该比值作为调整系数。基于该调整系数对该像素点在过渡区域目标细帧中的像素值进行调整，得到该像素点在过渡区域融合图像中的像素值。

示例性的，基于过渡区域目标粗帧、过渡区域目标细帧和过渡掩码图生成过渡区域融合图像的过程，与步骤203类似，在此不再重复赘述。

在一种可能的实施方式中，针对过渡区域粗帧对应的过渡区域目标粗帧来说，该过渡区域目标粗帧可以为该过渡区域粗帧本身，也可以基于该过渡区域粗帧确定，比如说，采用如下步骤获取过渡区域粗帧对应的过渡区域目标粗帧：

步骤S41、对该过渡区域粗帧进行模糊处理，得到过渡区域模糊粗帧。

比如说，可以对该过渡区域粗帧进行高斯模糊处理，对此高斯模糊处理的方式不做限制，将高斯模糊处理后的过渡区域粗帧记为过渡区域模糊粗帧。

步骤S42、基于过渡区域模糊粗帧、已获取的第一权重图、过渡区域粗帧和已获取的第二权重图进行加权处理，得到过渡区域目标粗帧。

示例性的，第一权重图用于表示过渡区域模糊粗帧中的每个像素点的权重值，第二权重图用于表示过渡区域粗帧中的每个像素点的权重值。

比如说，针对像素点(x,y)来说，像素点(x,y)是过渡区域目标粗帧中的任意一个像素点，可以采用如下方式确定像素点(x,y)在过渡区域目标粗帧中的像素值S：S＝P1*W1+P2*W2。在上述公式中，P1表示像素点(x,y)在过渡区域模糊粗帧中的像素值，W1表示像素点(x,y)在第一权重图中的权重值，P2表示像素点(x,y)在过渡区域粗帧中的像素值，W2表示像素点(x,y)在第二权重图中的权重值。

显然，针对过渡区域目标粗帧中的每个像素点进行上述处理后，就可以得到该像素点在过渡区域目标粗帧中的像素值。然后，将所有像素点在过渡区域目标粗帧中的像素值组合起来，就可以得到过渡区域目标粗帧。

示例性的，第一权重图和第二权重图的获取过程可以包括：针对第一权重图中的每个像素点，基于该像素点在过渡掩码图中的像素值确定该像素点在第一权重图中的权重值。以及，针对第二权重图中的每个像素点，基于该像素点在第一权重图中的权重值确定该像素点在第二权重图中的权重值。

比如说，针对像素点(x,y)来说，像素点(x,y)是第一权重图中的任意一个像素点，可以获取像素点(x,y)在过渡掩码图中的像素值(即掩码值)，可以对该像素值进行归一化处理，从而将该像素值转换到位于[0,1]之间的数值，这个数值就是像素点(x,y)在第一权重图中的权重值，即权重值位于[0,1]之间。

显然，针对第一权重图中的每个像素点进行上述处理后，可以得到该像素点的权重值，然后，将所有像素点的权重值组合起来，得到第一权重图。

针对第二权重图中的像素点(x,y)来说，像素点(x,y)是第二权重图中的任意一个像素点，像素点(x,y)在第二权重图中的权重值为1-α，α表示像素点(x,y)在第一权重图中的权重值。显然，第二权重图中的权重值也位于[0,1]之间。

在一种可能的实施方式中，针对过渡区域细帧对应的过渡区域目标细帧来说，该过渡区域目标细帧可以为该过渡区域细帧本身，也可以基于该过渡区域细帧确定，比如说，采用如下步骤获取过渡区域细帧对应的过渡区域目标细帧：

步骤S51、对该过渡区域细帧进行模糊处理，得到过渡区域模糊细帧。

步骤S52、基于过渡区域模糊细帧、已获取的第三权重图、过渡区域细帧和已获取的第四权重图进行加权处理，得到过渡区域目标细帧。

示例性的，第三权重图用于表示过渡区域模糊细帧中的每个像素点的权重值，第四权重图用于表示过渡区域细帧中的每个像素点的权重值。

示例性的，第三权重图和第四权重图的获取过程可以包括：针对第三权重图中的每个像素点，基于该像素点在过渡掩码图中的像素值确定该像素点在第三权重图中的权重值。以及，针对第四权重图中的每个像素点，基于该像素点在第三权重图中的权重值确定该像素点在第四权重图中的权重值。

示例性的，过渡区域目标细帧的获取方式与过渡区域目标粗帧的获取方式类似，参见上述过渡区域目标粗帧的获取方式，在此不再重复赘述。

步骤407，基于信号灯融合图像和过渡区域融合图像生成目标图像。

比如说，可以使用信号灯融合图像替换粗帧图像(即原始图像，粗帧图像是完整图像)中的信号灯区域(即信号灯区域粗帧所在的区域)，并使用过渡区域融合图像替换粗帧图像中的信号灯周边区域(即过渡区域粗帧所在的区域)，将更新后的粗帧图像作为目标图像。至此，可以得到目标图像。

在上述实施例中，考虑到粗帧图像的信号灯形状比细帧图像的信号灯形状粗壮很多，以细帧图像的信号灯形状为主体进行形状细化融合，但最终的融合效果是要在粗帧图像中显示，因此，粗帧图像比细帧图像多出的形状区域可以进行平滑处理，平滑处理后的部分就是上述过渡区域融合图像。

示例性的，上述执行顺序只是为了方便描述给出的示例，在实际应用中，还可以改变步骤之间的执行顺序，对此执行顺序不做限制。而且，在其它实施例中，并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其它实施例中可能被分解为多个步骤进行描述；本说明书中所描述的多个步骤，在其它实施例也可能被合并为单个步骤进行描述。

基于与上述方法同样的申请构思，本申请实施例中提出一种图像处理装置，参见图6所示，为所述图像处理装置的结构示意图，所述装置可以包括：

获取模块61，用于获取信号灯区域粗帧和所述信号灯区域粗帧对应的信号灯区域细帧，所述信号灯区域细帧是所述信号灯区域粗帧中的信号灯形状细化后的图像；确定模块62，用于确定所述信号灯区域细帧对应的细化掩码图；针对信号灯区域细帧中每个像素点，该像素点在细化掩码图中的像素值为非指定数值或者指定数值；融合模块63，用于基于所述信号灯区域粗帧、所述信号灯区域细帧和细化掩码图生成信号灯融合图像；其中，针对细化掩码图中像素值为指定数值的像素点，基于该像素点在信号灯区域粗帧中的像素值确定该像素点在信号灯融合图像中的像素值；针对细化掩码图中像素值为非指定数值的像素点，基于该像素点在信号灯区域细帧中的像素值确定该像素点在信号灯融合图像中的像素值；生成模块64，用于基于所述信号灯融合图像生成目标图像。

示例性的，所述获取模块61获取信号灯区域粗帧和信号灯区域细帧时具体用于：获取原始图像，从所述原始图像中获取信号灯区域粗帧，对所述信号灯区域粗帧进行形态学腐蚀处理，得到信号灯区域细帧；或者，获取原始图像，采用第一提亮程度对所述原始图像进行亮度增强，得到粗帧图像，从所述粗帧图像中获取信号灯区域粗帧；采用第二提亮程度对所述原始图像进行亮度增强，得到细帧图像，从所述细帧图像中获取信号灯区域细帧；其中，所述第一提亮程度大于所述第二提亮程度；或者，获取第一原始图像和第二原始图像，所述第一原始图像的曝光时长大于所述第二原始图像的曝光时长；从所述第一原始图像中获取信号灯区域粗帧，从所述第二原始图像中获取信号灯区域细帧。

示例性的，所述确定模块62确定所述信号灯区域细帧对应的细化掩码图时具体用于：基于所述信号灯区域细帧确定信号灯的形状掩码图；其中，针对所述信号灯区域细帧中像素值大于目标阈值的像素点，该像素点在所述形状掩码图中的像素值为非指定数值；针对所述信号灯区域细帧中像素值不大于所述目标阈值的像素点，该像素点在所述形状掩码图中的像素值为指定数值；

将所述形状掩码图确定为所述细化掩码图；或者，

对所述形状掩码图进行形态学处理，得到二值形态学图，并将所述二值形态学图确定为所述细化掩码图。

示例性的，所述融合模块63基于该像素点在信号灯区域细帧中的像素值确定该像素点在信号灯融合图像中的像素值时具体用于：

基于该像素点在信号灯区域粗帧中的第一像素值确定第一通道最大值，第一通道最大值为第一像素值包括的R通道、G通道和B通道中的最大值；

基于该像素点在信号灯区域细帧中的第二像素值确定第二通道最大值，第二通道最大值为第二像素值包括的R通道、G通道和B通道中的最大值；

基于该像素点在信号灯区域细帧中的像素值、所述第一通道最大值和所述第二通道最大值，确定该像素点在信号灯融合图像中的像素值。

示例性的，所述获取模块61还用于：获取信号灯周边区域的过渡区域粗帧和过渡区域细帧；所述确定模块62还用于：对细化掩码图进行膨胀处理，得到所述过渡区域细帧对应的过渡掩码图；所述过渡掩码图中的像素值为非指定数值或者指定数值；所述融合模块63还用于：基于所述过渡区域粗帧对应的过渡区域目标粗帧、所述过渡区域细帧对应的过渡区域目标细帧和所述过渡掩码图生成过渡区域融合图像；针对过渡掩码图中像素值为指定数值的像素点，基于该像素点在过渡区域目标粗帧中的像素值确定该像素点在过渡区域融合图像中的像素值；针对过渡掩码图中像素值为非指定数值的像素点，基于该像素点在过渡区域目标细帧中的像素值确定该像素点在过渡区域融合图像中的像素值；

所述生成模块64基于所述信号灯融合图像生成目标图像时具体用于：基于所述信号灯融合图像和所述过渡区域融合图像生成目标图像。

基于与上述方法同样的申请构思，本申请实施例中提出一种图像处理设备，所述图像处理设备包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现如下步骤：

获取信号灯区域粗帧和所述信号灯区域粗帧对应的信号灯区域细帧，所述信号灯区域细帧是所述信号灯区域粗帧中的信号灯形状细化后的图像；

确定所述信号灯区域细帧对应的细化掩码图；其中，针对信号灯区域细帧中每个像素点，该像素点在细化掩码图中的像素值为非指定数值或者指定数值；

基于所述信号灯区域粗帧、所述信号灯区域细帧和所述细化掩码图生成信号灯融合图像；其中，针对细化掩码图中像素值为指定数值的像素点，基于该像素点在信号灯区域粗帧中的像素值确定该像素点在信号灯融合图像中的像素值；针对细化掩码图中像素值为非指定数值的像素点，基于该像素点在信号灯区域细帧中的像素值确定该像素点在信号灯融合图像中的像素值；

基于所述信号灯融合图像生成目标图像。

基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的图像处理方法。

其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取信号灯区域粗帧和所述信号灯区域粗帧对应的信号灯区域细帧，所述信号灯区域细帧是所述信号灯区域粗帧中的信号灯形状细化后的图像；

确定所述信号灯区域细帧对应的细化掩码图；其中，针对信号灯区域细帧中每个像素点，该像素点在细化掩码图中的像素值为非指定数值或者指定数值；

基于所述信号灯区域粗帧、所述信号灯区域细帧和所述细化掩码图生成信号灯融合图像；其中，针对细化掩码图中像素值为指定数值的像素点，基于该像素点在信号灯区域粗帧中的像素值确定该像素点在信号灯融合图像中的像素值；针对细化掩码图中像素值为非指定数值的像素点，基于该像素点在信号灯区域细帧中的像素值确定该像素点在信号灯融合图像中的像素值；

基于所述信号灯融合图像生成目标图像。

2.根据权利要求1所述的方法，其特征在于，所述获取信号灯区域粗帧和所述信号灯区域粗帧对应的信号灯区域细帧，包括：

获取原始图像，从所述原始图像中获取信号灯区域粗帧，对所述信号灯区域粗帧进行形态学腐蚀处理，得到信号灯区域细帧；或者，

获取原始图像，采用第一提亮程度对所述原始图像进行亮度增强，得到粗帧图像，从所述粗帧图像中获取信号灯区域粗帧；采用第二提亮程度对所述原始图像进行亮度增强，得到细帧图像，从所述细帧图像中获取信号灯区域细帧；其中，所述第一提亮程度大于所述第二提亮程度；或者，

获取第一原始图像和第二原始图像，所述第一原始图像的曝光时长大于所述第二原始图像的曝光时长；从所述第一原始图像中获取信号灯区域粗帧，从所述第二原始图像中获取信号灯区域细帧。

3.根据权利要求1所述的方法，其特征在于，

所述确定所述信号灯区域细帧对应的细化掩码图，包括：

基于所述信号灯区域细帧确定信号灯的形状掩码图；其中，针对所述信号灯区域细帧中像素值大于目标阈值的像素点，该像素点在所述形状掩码图中的像素值为非指定数值；针对所述信号灯区域细帧中像素值不大于所述目标阈值的像素点，该像素点在所述形状掩码图中的像素值为指定数值；

将所述形状掩码图确定为所述细化掩码图；或者，

对所述形状掩码图进行形态学处理，得到二值形态学图，并将所述二值形态学图确定为所述细化掩码图。

4.根据权利要求1所述的方法，其特征在于，所述基于该像素点在信号灯区域细帧中的像素值确定该像素点在信号灯融合图像中的像素值，包括：

基于该像素点在信号灯区域粗帧中的第一像素值确定第一通道最大值，第一通道最大值为第一像素值包括的R通道、G通道和B通道中的最大值；

基于该像素点在信号灯区域细帧中的第二像素值确定第二通道最大值，第二通道最大值为第二像素值包括的R通道、G通道和B通道中的最大值；

基于该像素点在信号灯区域细帧中的像素值、所述第一通道最大值和所述第二通道最大值，确定该像素点在信号灯融合图像中的像素值。

5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：

获取信号灯周边区域的过渡区域粗帧和过渡区域细帧；

对所述细化掩码图进行膨胀处理，得到所述过渡区域细帧对应的过渡掩码图；其中，所述过渡掩码图中的像素值为非指定数值或者指定数值；

基于所述过渡区域粗帧对应的过渡区域目标粗帧、所述过渡区域细帧对应的过渡区域目标细帧和所述过渡掩码图生成过渡区域融合图像；其中，针对所述过渡掩码图中像素值为指定数值的像素点，基于该像素点在过渡区域目标粗帧中的像素值确定该像素点在过渡区域融合图像中的像素值；针对所述过渡掩码图中像素值为非指定数值的像素点，基于该像素点在过渡区域目标细帧中的像素值确定该像素点在过渡区域融合图像中的像素值；

所述基于所述信号灯融合图像生成目标图像，包括：

基于所述信号灯融合图像和所述过渡区域融合图像生成目标图像。

6.根据权利要求5所述的方法，其特征在于，所述对所述细化掩码图进行膨胀处理，得到所述过渡区域细帧对应的过渡掩码图，包括：

针对所述细化掩码图中的每个像素点，基于该像素点的像素值，该像素点的以半径r进行膨胀处理的第一调整值，该像素点的以半径(r-1)进行膨胀处理的第二调整值，及赋值因子确定该像素点在过渡掩码图中的像素值；

基于每个像素点在过渡掩码图中的像素值生成所述过渡掩码图；

其中，半径r为目标结构元素的半径，且所述目标结构元素为矩形、椭圆形或圆形，r的取值范围为[1,w]，w为过渡区域宽度；

其中，若该像素点的像素值为第一取值，则第一调整值为第一取值，第二调整值为第一取值；若该像素点的像素值为第二取值，且该像素点周围的半径为r的目标结构元素内，存在像素值为第一取值的像素点，则第一调整值为第一取值，或，若该像素点周围的半径为r的目标结构元素内，不存在像素值为第一取值的像素点，则第一调整值为第二取值；若该像素点的像素值为第二取值，且该像素点周围的半径为(r-1)的目标结构元素内，存在像素值为第一取值的像素点，则第二调整值为第一取值，或，若该像素点周围的半径为(r-1)的目标结构元素内，不存在像素值为第一取值的像素点，则第二调整值为第二取值；

其中，所述赋值因子基于所述w和所述r确定。

7.根据权利要求5所述的方法，其特征在于，

所述过渡区域粗帧对应的过渡区域目标粗帧的获取过程包括：对所述过渡区域粗帧进行模糊处理，得到过渡区域模糊粗帧；基于所述过渡区域模糊粗帧、已获取的第一权重图、所述过渡区域粗帧和已获取的第二权重图进行加权处理，得到过渡区域目标粗帧；其中，第一权重图表示过渡区域模糊粗帧中每个像素点的权重值，第二权重图表示过渡区域粗帧中每个像素点的权重值；

所述过渡区域细帧对应的过渡区域目标细帧的获取过程包括：对所述过渡区域细帧进行模糊处理，得到过渡区域模糊细帧；基于所述过渡区域模糊细帧、已获取的第三权重图、所述过渡区域细帧和已获取的第四权重图进行加权处理，得到过渡区域目标细帧；其中，第三权重图表示过渡区域模糊细帧中每个像素点的权重值，第四权重图表示过渡区域细帧中每个像素点的权重值。

8.根据权利要求7所述的方法，其特征在于，

第一权重图和第二权重图的获取过程包括：针对每个像素点，基于该像素点在所述过渡掩码图中的像素值确定该像素点在第一权重图中的权重值，基于该像素点在第一权重图中的权重值确定该像素点在第二权重图中的权重值；

第三权重图和第四权重图的获取过程包括：针对每个像素点，基于该像素点在所述过渡掩码图中的像素值确定该像素点在第三权重图中的权重值，基于该像素点在第三权重图中的权重值确定该像素点在第四权重图中的权重值。

9.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取信号灯区域粗帧和所述信号灯区域粗帧对应的信号灯区域细帧，所述信号灯区域细帧是所述信号灯区域粗帧中的信号灯形状细化后的图像；

确定模块，用于确定所述信号灯区域细帧对应的细化掩码图；其中，针对信号灯区域细帧中每个像素点，该像素点在细化掩码图中的像素值为非指定数值或者指定数值；

融合模块，用于基于所述信号灯区域粗帧、所述信号灯区域细帧和细化掩码图生成信号灯融合图像；其中，针对细化掩码图中像素值为指定数值的像素点，基于该像素点在信号灯区域粗帧中的像素值确定该像素点在信号灯融合图像中的像素值；针对细化掩码图中像素值为非指定数值的像素点，基于该像素点在信号灯区域细帧中的像素值确定该像素点在信号灯融合图像中的像素值；

生成模块，用于基于所述信号灯融合图像生成目标图像。

10.一种图像处理设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现如下步骤：

获取信号灯区域粗帧和所述信号灯区域粗帧对应的信号灯区域细帧，所述信号灯区域细帧是所述信号灯区域粗帧中的信号灯形状细化后的图像；

确定所述信号灯区域细帧对应的细化掩码图；其中，针对信号灯区域细帧中每个像素点，该像素点在细化掩码图中的像素值为非指定数值或者指定数值；

基于所述信号灯区域粗帧、所述信号灯区域细帧和所述细化掩码图生成信号灯融合图像；其中，针对细化掩码图中像素值为指定数值的像素点，基于该像素点在信号灯区域粗帧中的像素值确定该像素点在信号灯融合图像中的像素值；针对细化掩码图中像素值为非指定数值的像素点，基于该像素点在信号灯区域细帧中的像素值确定该像素点在信号灯融合图像中的像素值；

基于所述信号灯融合图像生成目标图像。

Images