CN111080557A - 亮度均衡处理方法及相关装置 - Google Patents

亮度均衡处理方法及相关装置 Download PDF

Info

Publication number
CN111080557A
CN111080557A CN201911362987.0A CN201911362987A CN111080557A CN 111080557 A CN111080557 A CN 111080557A CN 201911362987 A CN201911362987 A CN 201911362987A CN 111080557 A CN111080557 A CN 111080557A
Authority
CN
China
Prior art keywords
overlapping
brightness
partition
currently processed
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911362987.0A
Other languages
English (en)
Other versions
CN111080557B (zh
Inventor
江涛
林敏�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN201911362987.0A priority Critical patent/CN111080557B/zh
Publication of CN111080557A publication Critical patent/CN111080557A/zh
Application granted granted Critical
Publication of CN111080557B publication Critical patent/CN111080557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70
    • G06T5/94
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

本申请实施例公开了一种亮度均衡处理方法及相关装置,方法针对环视场景的多个图像中每两个相邻环视分区对应的图像的重叠区域中的每个重叠分区,根据两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益,其中重叠分区通过重叠区域的交接缝分界线划分,该交接缝分界线为将重叠区域分成两个对称区域的中分线;并针对该重叠分区的每个像素点,判断当前处理的像素点是否与该交接缝分界线交叉;若否,则根据该像素点到该交接缝分界线的距离调整该初步增益得到参考增益;并按照该参考增益调整该像素点的亮度。本申请有利于提高图像中交接缝到未重叠区域亮度过渡的平滑度,对图像重叠区域产生的交接缝进行优化。

Description

亮度均衡处理方法及相关装置
技术领域
本申请涉及图像处理技术领域,具体涉及一种亮度均衡处理方法及相关装置。
背景技术
环视系统是目前高级驾驶辅助系统(Advanced Driver Assistance Systems,ADAS)落地的较为切合实际的场景实现,依次衍生的自动泊车以及代客泊车场景在当前国内落地较快,环视系统在车载领域应用主要采用多摄像头布置在车身周围,通过对采集的摄像头图像信号进行图像增强以及图像拼接技术,产生2D或3D的实景图像。
以乘用车为例,乘用车多采用4个摄像头,环视摄像头工作的光线环境较为复杂,泊车场景下,受摄像头单体差异、停车场环境、周围车辆灯光、路灯等光源影响,四个摄像头采集图像的平均亮度水平可能差异比较大,而环视拼接系统广泛采用的特征匹配法会产生四个重叠区域。重叠区域的亮度调整,以及调整拼接后的重叠区域与为拼接区的交接区由于四个摄像头的图像亮度的不一致性均会产生明显的交接缝效应,环视系统针对此种现象的调整能力是衡量环视系统质量的重要指标。
发明内容
本申请实施例提供了一种亮度均衡处理方法及相关装置,以期提高图像中交接缝到未重叠区域亮度过渡的平滑度,对图像重叠区域产生的交接缝进行优化。
第一方面,本申请实施例提供一种亮度均衡处理方法,包括:
通过多个摄像头采集当前环视场景的影像信息得到多个图像,每个图像对应所述当前环视场景的一个环视分区,任意两个相邻的环视分区对应的两个图像存在重叠区域;
针对每个重叠区域对应的两个重叠分区中每个重叠分区执行如下操作,所述两个重叠分区通过当前处理的重叠区域的交接缝分界线划分,所述交接缝分界线为将所述重叠区域分成两个对称区域的中分线:
根据所述两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益;以及针对当前处理的重叠分区的每个像素点,执行如下操作:
判断当前处理的像素点是否与所述交接缝分界线交叉;
若否,则根据所述当前处理的像素点到所述交接缝分界线的距离调整所述初步增益得到参考增益,所述参考增益与所述距离成正相关关系;并按照所述参考增益调整所述当前处理的像素点的亮度。
第二方面,本申请实施例提供一种亮度均衡处理装置,包括处理单元和通信单元,其中,
所述处理单元,用于通过多个摄像头采集当前环视场景的影像信息得到多个图像,每个图像对应所述当前环视场景的一个环视分区,任意两个相邻的环视分区对应的两个图像存在重叠区域;
针对每个重叠区域对应的两个重叠分区中每个重叠分区执行如下操作,所述两个重叠分区通过当前处理的重叠区域的交接缝分界线划分,所述交接缝分界线为将所述重叠区域分成两个对称区域的中分线:
根据所述两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益;以及针对当前处理的重叠分区的每个像素点,执行如下操作:
判断当前处理的像素点是否与所述交接缝分界线交叉;
若否,则根据所述当前处理的像素点到所述交接缝分界线的距离调整所述初步增益得到参考增益,所述参考增益与所述距离成正相关关系;并按照所述参考增益调整所述当前处理的像素点的亮度。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面,本申请实施例提供了一种芯片,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤
第五方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第六方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,本申请实施例中,针对环视场景的多个图像中每两个相邻环视分区对应的图像的重叠区域中的每个重叠分区,根据两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益,其中重叠分区通过重叠区域的交接缝分界线划分,该交接缝分界线为将重叠区域分成两个对称区域的中分线;并针对该重叠分区的每个像素点,判断当前处理的像素点是否与该交接缝分界线交叉;若否,则根据该像素点到该交接缝分界线的距离调整该初步增益得到参考增益;并按照该参考增益调整该像素点的亮度。可见,本申请实施例根据像素点与交接缝分界线之间的距离调整初步增益得到参考增益,并根据该参考增益对该像素点的亮度进行调整,有利于提高图像中交接缝到未重叠区域亮度过渡的平滑度,对图像重叠区域产生的交接缝进行优化。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种亮度均衡处理系统的示意图;
图2a是现有技术的图像拼接调整算法处理的图像区域的示意图;
图2b是现有技术处理后的图像中重叠区域拼接缝的示意图;
图2c是现有技术处理后的图像中重叠区域拼接缝的示意图;
图3是本申请实施例提供的一种亮度均衡处理方法的流程示意图;
图3a是本申请实施例提供的一个重叠区域的两个重叠分区的池化区域的示意图;
图3b是本申请实施例提供的将池化区域补齐为矩形并进行矩形池化的示意图;
图3c是对池化区域1对应的重叠分区中的像素点处理的流程示意图;
图3d是对池化区域2对应的重叠分区中的像素点处理的流程示意图;
图4本申请实施例提供的一种电子设备的结构示意图;
图5本申请实施例提供的一种亮度均衡处理装置的功能单元组成框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,图1为一个亮度均衡处理系统100的示意图,该亮度均衡处理系统100包括图像获取装置110、图像处理装置120,该图像获取装置110连接该图像处理装置120,图像获取装置110用于获取图像数据并发送给图像处理装置120处理,图像处理装置120用于对图像进行处理并输出处理结果,该亮度均衡处理系统100可以包括集成式单体设备或者多设备,为方便描述,本申请将亮度均衡处理系统100统称为电子设备。显然该电子设备可以包括各种具有无线通信功能的ADAS、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(User Equipment,UE),移动台(Mobile Station,MS),终端设备(terminal device)等等。
目前,对于环视的四方向亮度调整主要集中在拼接区域的调整,主要采用两个重叠区域的亮度差值产生相应的调整系数,重新确定重叠区域的亮度。如图2a所示,图2a中左侧的图像为经过坐标变换以及畸变校正前的四幅图像,图像1相应的拼接区域为O(1,4)、O(1,2),图像2相应的拼接区域为O(2,1)、O(2,3),图像3相应的拼接区域为O(3,2)、O(3,4),图像4相应的拼接区域为O(4,3)、O(4,1),现有的亮度调整算法为分别比较O(1,4)、O(4,1);O(1,2)、O(2,1);O(2,3)、O(3,2);O(4,3)、O(3,4)的亮度差异并得出相应的偏差系数,重新应用到各重叠区域中。
拼接后的算法主要有两种,一种是对拼接后的重叠矩形区域采用亮度均匀的方法,采用简单平均计算亮度,如图2b所示,此处理方法会产生拼接缝,图中采用虚线标示。另一种是将重叠矩形区域分成上下两个区域,如图2c所示,对于阴影部分标示的重叠区域,1区域三角形亮度均衡加大来自区域三角形2的亮度统计权重,2区域的亮度均衡加大来自区域1的亮度统计权重,此方法较上一方法实际的拼接效果更好,但在一些外部条件下仍然会出现拼接缝,图中采用虚线标示。
基于此,本申请实施例提出一种亮度均衡处理方法以解决上述问题,下面对本申请实施例进行详细介绍。
请参阅图3,图3是本申请实施例提供了一种亮度均衡处理方法的流程示意图,应用于如图1所示的亮度均衡处理系统,如图所示,本亮度均衡处理方法包括:
S301,通过多个摄像头采集当前环视场景的影像信息得到多个图像;
其中,每个图像对应所述当前环视场景的一个环视分区,任意两个相邻的环视分区对应的两个图像存在重叠区域。
S302,针对每个重叠区域对应的两个重叠分区中每个重叠分区,根据所述两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益;
其中,所述两个重叠分区通过当前处理的重叠区域的交接缝分界线划分,所述交接缝分界线为将所述重叠区域分成两个对称区域的中分线。
举例来说,对于矩形重叠区域,交接缝分界线的可处于矩形区域的对角方向。
其中,所述亮度均值统计信息可以包括重叠分区的所有像素点或者部分像素点的亮度的统计均值,或者加权平均值,此处不做唯一限定。
S303,针对当前处理的重叠分区的每个像素点,判断当前处理的像素点是否与所述交接缝分界线交叉;
S304,若否,则根据所述当前处理的像素点到所述交接缝分界线的距离调整所述初步增益得到参考增益;
其中,所述参考增益与所述距离成正相关关系。像素点距离交接缝分界线越远,该像素点的参考增益越大,根据距离来调整参考增益,以使得交接缝分界线到未重叠区域的亮度过渡平滑。
S305,按照所述参考增益调整所述当前处理的像素点的亮度。
可以看出,本申请实施例中,针对环视场景的多个图像中每两个相邻环视分区对应的图像的重叠区域中的每个重叠分区,根据两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益,其中重叠分区通过重叠区域的交接缝分界线划分,该交接缝分界线为将重叠区域分成两个对称区域的中分线;并针对该重叠分区的每个像素点,判断当前处理的像素点是否与该交接缝分界线交叉;若否,则根据该像素点到该交接缝分界线的距离调整该初步增益得到参考增益;并按照该参考增益调整该像素点的亮度。可见,本申请实施例根据两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益,并根据像素点与交接缝分界线之间的距离调整初步增益得到参考增益,并根据该参考增益对该像素点的亮度进行调整,有利于提高图像中交接缝到未重叠区域亮度过渡的平滑度,对图像重叠区域产生的交接缝进行优化。
在一个可能的示例中,所述根据所述两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益,包括:采用最值池化的方法统计每个重叠分区的池化区域内的亮度最大值和亮度最小值;根据所述每个重叠分区的池化区域内的亮度最大值和亮度最小值以及预设的权重分配机制,确定所述每个重叠分区的分区亮度统计均值;根据所述两个重叠分区的两个分区亮度统计均值,计算当前处理的重叠分区的初步增益。
具体实现中,考虑到硬件实现时对于算力的限制,由于最值池的大小可以调整,故采用最值池的方法统计池化区域内的亮度最大值和亮度最小值。可采用池化框在池化区域内进行平移遍历,例如针对3*3的最值池,以3为步长进行遍历,记录每个池化框覆盖的3*3区域中的亮度最大值和亮度最小值,对池化区域遍历完成之后取平均,得到亮度最大值的平均值和亮度最小值的平均值,之后根据该亮度最大值的平均值和亮度最小值的平均值以及各自对应的权重,确定出该池化区域对应的重叠分区的分区亮度统计均值。
可见,本示例中,采用最值池化的方法统计每个重叠分区的亮度最大值和亮度最小值,由于最值池的大小可以调整,便于做硬件算力优化。
在一个可能的示例中,所述池化区域包括对应的重叠分区和该重叠分区的拓展非重叠区域;所述对应的重叠分区和该重叠分区的拓展非重叠区域形成规则形状区域。
例如,针对矩形重叠区域,该重叠分区和该重叠分区的拓展非重叠区域形成平行四边形区域。重叠区域指的是两张图片的整体重叠区域,具体为矩形重叠区域时,重叠分区可以为两个三角形区域,每个三角形重叠分区又分别拓展成平行四边形区域,具体可以如图3a的池化区域1和池化区域2。
又例如,针对弧形重叠区域,该重叠分区和该重叠分区的拓展非重叠区域形成扇形对称区域。
可见,本示例中,池化区域除了包括对应的重叠分区之外,还包括该重叠分区的拓展非重叠分区,且二者形成规则形状区域,有利于均匀均光,方便做硬件算力优化。
在一个可能的示例中,所述权重分配机制中所述亮度最大值或所述亮度最小值的权重是根据引起拼接缝的光源类型进行调整的,所述拼接缝是指所述交接缝分界线所处区域的像素的差异性大于预设阈值。
其中,像素的差异包括像素点亮度或颜色等的差异。
举例来说,例如后期主要是强光源或白色物体引起拼接缝,亮度最大值的权重相应取大于亮度最小值的权重的值,用于加大该亮度最大值即强光源或者白色物体在整体亮度水平中的权重。
可见,本示例中,权重分配机制中亮度最大值或亮度最小值的权重,是根据实际情况中引起拼接缝的光源类型进行调整的,有利于根据实际情况调整权重,进而确定符合实际情况的初步增益,提高初步增益的适配性。
在一个可能的示例中,所述根据所述两个重叠分区的两个分区亮度统计均值,计算当前处理的重叠分区的初步增益,包括:通过两个分区亮度统计均值的和除以2得到区域亮度统计均值;通过区域亮度统计均值除以所述当前处理的重叠分区的分区亮度统计均值得到所述当前处理的重叠分区的初步增益。
举例来说,以得到了当前环视场景的四个图像为例,初步增益的计算公式如下:
a(i,j)=[Ylevel(i,j)+Ylevel(j,i)]/2*Ylevel(i,j)i,j=1,2,3,4
其中,Ylevel(i,j)和Ylevel(j,i)分别为两个重叠分区的分区亮度统计均值,a(i,j)为初步增益,i,j两变量的取值对应不同的图像,得到了四个图像,两变量的取值就可以是1,2,3,4中任一数值,例如a(1,2)为图像1和图像2重叠区域的一个重叠分区的初步增益,a(2,1)为图像1和图像2重叠区域的另一个重叠分区的初步增益。
可见,本示例中,根据两个分区亮度统计均值共同确定区域亮度统计均值,然后通过该区域亮度统计均值和当前处理的重叠分区的分区亮度统计均值确定当前处理的重叠分区的初步增益,有利于对图像亮度进行均匀调节。
在一个可能的示例中,所述方法还包括:若是,则按照所述初步增益调整所述当前处理的像素点的亮度。
具体实现中,判断当前处理的像素点与交接缝分界线交叉时,可直接按照当前重叠分区的初步增益对当前像素点的亮度进行调整。
可见,本示例中,对于与交接缝分界线交叉的像素点,按照当前处理重叠分区的初步增益调整处理像素点的亮度,由于该初步增益是根据两个分区亮度统计均值共同确定区域亮度统计均值,然后通过该区域亮度统计均值和当前处理的重叠分区的分区亮度统计均值确定的,有利于对图像中交接缝分界线区域的亮度进行均匀调节。
下面以车身周围设置有4个摄像头的乘用车为例,对上述的亮度均衡处理方法的过程进行说明。
请参阅图3a,图3a是一个重叠区域的两个重叠分区的池化区域的示意图,其中X和Y为坐标系的坐标轴,H1为图像1的高,H2为非重叠区域的高,W1为图像2的宽,W2为非重叠区域的宽,针对如图2c所示的拼接缝问题,考虑到矩形重叠区域的交接缝分界线处于对角区域,从人眼视觉角度出发,为了满足均匀的均光需求,可对每个重叠区域的交接缝分界线临近的平行四边形区域进行亮度调整,当然,根据实际情况的不同,重叠分区也可以是其他形状例如扇形,此处不做唯一限定,同时此处出于均匀分配区域处理的考虑,池化区域1一侧边的边长可为H2/2。以图像1和图像2重叠部分的交接缝的调整为例,具体步骤如下:
针对图像1和图像2重叠区域对应的两个重叠分区中每个重叠分区,根据该两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益,具体步骤如下:
如图3b所示,图3b是将池化区域补齐为矩形并进行矩形池化的示意图,以3*3的最值池为例,池化框在待统计区域内,以池化区边长为步长(此示例中即以3为步长)平移遍历,记录池化区域内的亮度最大值和最小值,由于平行四边形区域不便于做矩形池化,故采取补齐成矩形的方式,在统计池化区域内的亮度最大值时,平行四边形以外区域Y取0,统计池化区域内的亮度最小值时,平行四边形以外区域Y取255,遍历结束之后取平均,进而可得到池化区域1和池化区域2的最大亮度均值Ymax-av和最小亮度均值Ymin-av。最终池化区域1和池化区域2的亮度水平(即两个重叠分区的两个分区亮度统计均值),可根据每个重叠分区的池化区域内的亮度最大值和亮度最小值以及预设的权重分配机制确定,具体公式如下:
Ylevel(i,j)=m*Ymax-av(i,j)+n*Ymin-av(i,j)m,n>0(m+n=1)
其中m,n为权重值,选取可根据实际情况进行调整,例如可根据引起拼接缝的光源类型进行调整,如后期如果是主要强光源或白色物体引起拼接缝,m相应取大于n的值,用于加大所述亮度最大值即强光源或者白色物体在整体亮度水平中的权重。
根据两个重叠分区的两个分区亮度统计均值Ylevel(i,j)和Ylevel(j,i),可计算得到两个重叠分区中任意一个重叠分区的初步增益。例如可通过两个分区亮度统计均值的和除以2得到区域亮度统计均值,再通过区域亮度统计均值除以当前处理的重叠分区的分区亮度统计均值得到该当前处理的重叠分区的初步增益,计算公式如下:
a(i,j)=[Ylevel(i,j)+Ylevel(j,i)]/2*Ylevel(i,j)i,j=1,2,3,4
其中,[Ylevel(i,j)+Ylevel(j,i)]/2即为区域亮度统计均值,i,j取值对应不同的图像,举例来说,池化区域1对应的重叠分区属于图像1和图像2的重叠区域,初步增益为a(1,2),池化区域2对应的重叠分区的初步增益为a(2,1)。
确定当前处理的重叠分区的初步增益之后,针对当前处理的重叠分区的每个像素点进行相应的处理,从而完成对该当前处理的重叠分区的处理。以池化区域1对应的重叠分区中的像素点为例,具体操作如下:
请参见图3c,在池化区域1采用竖向内循环和横向外循环进行遍历,首先需要进行像素坐标和实际坐标转换,采用像素中心点实际坐标进行标定方便确定像素与交接缝分界线的距离,坐标转换公式为:(x,y)=(u+0.5,v+0.5),例如像素(1,1)实际中心坐标为(1.5,1.5)。
然后从(0,0)开始遍历,根据像素中心点到该交接缝分界线定义的直线的距离判断像素点与交接缝分界线是否交叉,具体可判断点(x,y)到直线y=(H1-H2)x/(W1-W2)距离是否小于sqrt(2)/2。
对于与交接缝分界线交叉的像素区域,采用平均增益[a(1,2)+a(2,1)]/2对亮度分量Y进行调整,即与交接缝分界线交叉的像素点按照初步增益调整亮度,调整后的亮度分量
Figure BDA0002333621600000101
其中Ybefore(x,y)为调整前的亮度分量。
对于池化区域1中其他区域(非交叉像素区域)进行遍历,在y方向上根据像素点距离交接缝分界线的y方向距离调整初步增益得到参考增益,参考增益与距离成正相关关系,即像素点距离交接缝分界线越远增益增量越大,增益增量的取值范围为0-1,临近交接线处采用初步增益a1叠加,而平行四边形的非重叠区域(池化区域1中为下半部分)采用原增益,即保持原像素亮度,池化区域1中非重叠分区中的像素点并未参与亮度调节。调整后的亮度分量Yafter(x,y)=Ybefore(x,y)*aadj,其中,
Figure BDA0002333621600000102
aadj是根据平行四边形的两个边界(其中一个边界是交接缝分界线,另一个是平行于交接缝分界线的边界)做的增益的线性适配。
根据像素点距离交接缝分界线的距离调整像素增益的目的是让图像拼接处理后产生的拼接缝衔接自然,同时平行四边形即池化区域与其他区域过渡自然,不会产生新的拼接缝。
请参见图3d,对于池化区域2的对应的重叠分区中的像素点的处理与上述池化区域1的处理类似,在池化区域2采用横向内循环和竖向外循环进行遍历。具体的,先对像素点进行坐标转换,将像素坐标转换为实际坐标,坐标转换公式为:(x,y)=(u+0.5,v+0.5)。
然后从(0,0)开始遍历,根据像素中心点到该交接缝分界线定义的直线的距离判断像素点与交接缝分界线是否交叉,具体可判断点(x,y)到直线y=(H1-H2)x/(W1-W2)距离是否小于sqrt(2)/2。
若判断结果为是,则该像素点与交接缝分界线交叉,对于与交接缝分界线交叉的像素区域,采用平均增益[a(1,2)+a(2,1)]/2对亮度分量Y进行调整,调整后的亮度分量
Figure BDA0002333621600000103
若判断结果为否,则该像素点未与交接缝分界线交叉,对于池化区域2中非交叉像素区域进行遍历时,在x方向上根据像素点距离交接缝分界线的x方向距离调整初步增益得到参考增益,参考增益与距离成正相关关系,即像素点距离交接缝分界线越远增益增量越大,增益增量的取值范围为0-1,临近交接线处采用初步增益叠加,而平行四边形的非重叠区域(池化区域2中为右半部分)采用原增益,即保持原像素亮度,池化区域2中非重叠分区中的像素点并未参与亮度调节。调整后的亮度分量Yafter(x,y)=Ybefore(x,y)*aadj,其中,
Figure BDA0002333621600000111
aadj是根据平行四边形的两个边界(其中一个边界是交接缝分界线,另一个是平行于交接缝分界线的边界)做的增益的线性适配。
与上述图3所示的实施例一致的,请参阅图4,图4是本申请实施例提供的一种电子设备400的结构示意图,如图所示,所述电子设备400包括应用处理器410、存储器420、通信接口430以及一个或多个程序421,其中,所述一个或多个程序421被存储在上述存储器420中,并且被配置由上述应用处理器410执行,所述一个或多个程序421包括用于执行以下步骤的指令;
通过多个摄像头采集当前环视场景的影像信息得到多个图像,每个图像对应所述当前环视场景的一个环视分区,任意两个相邻的环视分区对应的两个图像存在重叠区域;针对每个重叠区域对应的两个重叠分区中每个重叠分区执行如下操作,所述两个重叠分区通过当前处理的重叠区域的交接缝分界线划分,所述交接缝分界线为将所述重叠区域分成两个对称区域的中分线:根据所述两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益;以及针对当前处理的重叠分区的每个像素点,执行如下操作:判断当前处理的像素点是否与所述交接缝分界线交叉;若否,则根据所述当前处理的像素点到所述交接缝分界线的距离调整所述初步增益得到参考增益,所述参考增益与所述距离成正相关关系;并按照所述参考增益调整所述当前处理的像素点的亮度。
可以看出,本申请实施例中,电子设备针对环视场景的多个图像中每两个相邻环视分区对应的图像的重叠区域中的每个重叠分区,根据两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益,其中重叠分区通过重叠区域的交接缝分界线划分,该交接缝分界线为将重叠区域分成两个对称区域的中分线;并针对该重叠分区的每个像素点,判断当前处理的像素点是否与该交接缝分界线交叉;若否,则根据该像素点到该交接缝分界线的距离调整该初步增益得到参考增益;并按照该参考增益调整该像素点的亮度。可见,本申请实施例根据两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益,并根据像素点与交接缝分界线之间的距离调整初步增益得到参考增益,并根据该参考增益对该像素点的亮度进行调整,有利于提高图像中交接缝到未重叠区域亮度过渡的平滑度,对图像重叠区域产生的交接缝进行优化。
在一个可能的示例中,在所述根据所述两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益方面,所述程序421中的指令具体用于执行以下操作:采用最值池化的方法统计每个重叠分区的池化区域内的亮度最大值和亮度最小值;根据所述每个重叠分区的池化区域内的亮度最大值和亮度最小值以及预设的权重分配机制,确定所述每个重叠分区的分区亮度统计均值;根据所述两个重叠分区的两个分区亮度统计均值,计算当前处理的重叠分区的初步增益。
在一个可能的示例中,所述池化区域包括对应的重叠分区和该重叠分区的拓展非重叠区域;所述对应的重叠分区和该重叠分区的拓展非重叠区域形成规则形状区域。
在一个可能的示例中,所述权重分配机制中所述亮度最大值或所述亮度最小值的权重是根据引起拼接缝的光源类型进行调整的,所述拼接缝是指所述交接缝分界线所处区域的像素的差异性大于预设阈值。
在一个可能的示例中,在所述根据所述两个重叠分区的两个分区亮度统计均值,计算当前处理的重叠分区的初步增益方面,所述程序421中的指令具体用于执行以下操作:通过两个分区亮度统计均值的和除以2得到区域亮度统计均值;通过区域亮度统计均值除以所述当前处理的重叠分区的分区亮度统计均值得到所述当前处理的重叠分区的初步增益。
在一个可能的示例中,所述程序421中还包括用于执行以下操作的指令:若是,则按照所述初步增益调整所述当前处理的像素点的亮度。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图5是本申请实施例中所涉及的亮度均衡处理装置500的功能单元组成框图。该亮度均衡处理装置500应用于电子设备,所述亮度均衡处理装置500包括处理单元501和通信单元502,其中,
所述处理单元501,用于通过多个摄像头采集当前环视场景的影像信息得到多个图像,每个图像对应所述当前环视场景的一个环视分区,任意两个相邻的环视分区对应的两个图像存在重叠区域;针对每个重叠区域对应的两个重叠分区中每个重叠分区执行如下操作,所述两个重叠分区通过当前处理的重叠区域的交接缝分界线划分,所述交接缝分界线为将所述重叠区域分成两个对称区域的中分线:根据所述两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益;以及针对当前处理的重叠分区的每个像素点,执行如下操作:判断当前处理的像素点是否与所述交接缝分界线交叉;若否,则根据所述当前处理的像素点到所述交接缝分界线的距离调整所述初步增益得到参考增益,所述参考增益与所述距离成正相关关系;并按照所述参考增益调整所述当前处理的像素点的亮度。
其中,所述亮度均衡处理装置500还可以包括存储单元503,用于存储电子设备的程序代码和数据。所述处理单元501可以是处理器,所述通信单元502可以是内部通信接口,存储单元503可以是存储器。
可以看出,本申请实施例中,针对环视场景的多个图像中每两个相邻环视分区对应的图像的重叠区域中的每个重叠分区,根据两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益,其中重叠分区通过重叠区域的交接缝分界线划分,该交接缝分界线为将重叠区域分成两个对称区域的中分线;并针对该重叠分区的每个像素点,判断当前处理的像素点是否与该交接缝分界线交叉;若否,则根据该像素点到该交接缝分界线的距离调整该初步增益得到参考增益;并按照该参考增益调整该像素点的亮度。可见,本申请实施例根据两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益,并根据像素点与交接缝分界线之间的距离调整初步增益得到参考增益,并根据该参考增益对该像素点的亮度进行调整,有利于提高图像中交接缝到未重叠区域亮度过渡的平滑度,对图像重叠区域产生的交接缝进行优化。
在一个可能的示例中,在所述根据所述两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益方面,所述处理单元501具体用于:采用最值池化的方法统计每个重叠分区的池化区域内的亮度最大值和亮度最小值;根据所述每个重叠分区的池化区域内的亮度最大值和亮度最小值以及预设的权重分配机制,确定所述每个重叠分区的分区亮度统计均值;根据所述两个重叠分区的两个分区亮度统计均值,计算当前处理的重叠分区的初步增益。
在一个可能的示例中,所述池化区域包括对应的重叠分区和该重叠分区的拓展非重叠区域;所述对应的重叠分区和该重叠分区的拓展非重叠区域形成规则形状区域。
在一个可能的示例中,所述权重分配机制中所述亮度最大值或所述亮度最小值的权重是根据引起拼接缝的光源类型进行调整的,所述拼接缝是指所述交接缝分界线所处区域的像素的差异性大于预设阈值。
在一个可能的示例中,在所述根据所述两个重叠分区的两个分区亮度统计均值,计算当前处理的重叠分区的初步增益方面,所述处理单元501具体用于:通过两个分区亮度统计均值的和除以2得到区域亮度统计均值;通过区域亮度统计均值除以所述当前处理的重叠分区的分区亮度统计均值得到所述当前处理的重叠分区的初步增益。
在一个可能的示例中,所述处理单元501还用于:若是,则按照所述初步增益调整所述当前处理的像素点的亮度。
可以理解的是,由于方法实施例与装置实施例为相同技术构思的不同呈现形式,因此,本申请中方法实施例部分的内容应同步适配于装置实施例部分,此处不再赘述。
本申请实施例还提供了一种芯片,其中,该芯片包括处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如上述方法实施例中记载的任一方法的部分或全部步骤。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种亮度均衡处理方法,其特征在于,包括:
通过多个摄像头采集当前环视场景的影像信息得到多个图像,每个图像对应所述当前环视场景的一个环视分区,任意两个相邻的环视分区对应的两个图像存在重叠区域;
针对每个重叠区域对应的两个重叠分区中每个重叠分区执行如下操作,所述两个重叠分区通过当前处理的重叠区域的交接缝分界线划分,所述交接缝分界线为将所述重叠区域分成两个对称区域的中分线:
根据所述两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益;以及针对当前处理的重叠分区的每个像素点,执行如下操作:
判断当前处理的像素点是否与所述交接缝分界线交叉;
若否,则根据所述当前处理的像素点到所述交接缝分界线的距离调整所述初步增益得到参考增益,所述参考增益与所述距离成正相关关系;并按照所述参考增益调整所述当前处理的像素点的亮度。
2.根据权利要求1所述的方法,其特征在于,所述根据所述两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益,包括:
采用最值池化的方法统计每个重叠分区的池化区域内的亮度最大值和亮度最小值;
根据所述每个重叠分区的池化区域内的亮度最大值和亮度最小值以及预设的权重分配机制,确定所述每个重叠分区的分区亮度统计均值;
根据所述两个重叠分区的两个分区亮度统计均值,计算当前处理的重叠分区的初步增益。
3.根据权利要求2所述的方法,其特征在于,所述池化区域包括对应的重叠分区和该重叠分区的拓展非重叠区域;
所述对应的重叠分区和该重叠分区的拓展非重叠区域形成规则形状区域。
4.根据权利要求2或3所述的方法,其特征在于,所述权重分配机制中所述亮度最大值或所述亮度最小值的权重是根据引起拼接缝的光源类型进行调整的,所述拼接缝是指所述交接缝分界线所处区域的像素的差异性大于预设阈值。
5.根据权利要求2或3所述的方法,其特征在于,所述根据所述两个重叠分区的两个分区亮度统计均值,计算当前处理的重叠分区的初步增益,包括:
通过两个分区亮度统计均值的和除以2得到区域亮度统计均值;
通过区域亮度统计均值除以所述当前处理的重叠分区的分区亮度统计均值得到所述当前处理的重叠分区的初步增益。
6.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
若是,则按照所述初步增益调整所述当前处理的像素点的亮度。
7.一种亮度均衡处理装置,其特征在于,包括处理单元和通信单元,其中,
所述处理单元,用于通过多个摄像头采集当前环视场景的影像信息得到多个图像,每个图像对应所述当前环视场景的一个环视分区,任意两个相邻的环视分区对应的两个图像存在重叠区域;
针对每个重叠区域对应的两个重叠分区中每个重叠分区执行如下操作,所述两个重叠分区通过当前处理的重叠区域的交接缝分界线划分,所述交接缝分界线为将所述重叠区域分成两个对称区域的中分线:
根据所述两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益;以及针对当前处理的重叠分区的每个像素点,执行如下操作:
判断当前处理的像素点是否与所述交接缝分界线交叉;
若否,则根据所述当前处理的像素点到所述交接缝分界线的距离调整所述初步增益得到参考增益,所述参考增益与所述距离成正相关关系;并按照所述参考增益调整所述当前处理的像素点的亮度。
8.一种电子设备,其特征在于,包括处理器、存储器,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。
9.一种芯片,其特征在于,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法。
CN201911362987.0A 2019-12-24 2019-12-24 亮度均衡处理方法及相关装置 Active CN111080557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911362987.0A CN111080557B (zh) 2019-12-24 2019-12-24 亮度均衡处理方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911362987.0A CN111080557B (zh) 2019-12-24 2019-12-24 亮度均衡处理方法及相关装置

Publications (2)

Publication Number Publication Date
CN111080557A true CN111080557A (zh) 2020-04-28
CN111080557B CN111080557B (zh) 2023-10-27

Family

ID=70318110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911362987.0A Active CN111080557B (zh) 2019-12-24 2019-12-24 亮度均衡处理方法及相关装置

Country Status (1)

Country Link
CN (1) CN111080557B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915779A (zh) * 2020-07-31 2020-11-10 浙江大华技术股份有限公司 一种闸机控制方法、装置、设备和介质
CN112233154A (zh) * 2020-11-02 2021-01-15 影石创新科技股份有限公司 拼接图像的色差消除方法、装置、设备和可读存储介质
CN112954194A (zh) * 2021-01-27 2021-06-11 深圳市博维远景科技有限公司 一种图像采集装置调整方法、系统、终端及介质
CN113487484A (zh) * 2021-07-09 2021-10-08 上海智砹芯半导体科技有限公司 图像拼接方法、装置、电子设备及计算机可读存储介质
CN115460354A (zh) * 2021-11-22 2022-12-09 北京罗克维尔斯科技有限公司 图像亮度处理方法、装置、电子设备、车辆和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030234866A1 (en) * 2002-06-21 2003-12-25 Ross Cutler System and method for camera color calibration and image stitching
WO2011110366A1 (de) * 2010-03-12 2011-09-15 Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR) Verfahren und vorrichtung zur visualisierung von räumlich verteilten informationen in einem frühwarnsystem
CN109598673A (zh) * 2017-09-30 2019-04-09 深圳超多维科技有限公司 图像拼接方法、装置、终端及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030234866A1 (en) * 2002-06-21 2003-12-25 Ross Cutler System and method for camera color calibration and image stitching
WO2011110366A1 (de) * 2010-03-12 2011-09-15 Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR) Verfahren und vorrichtung zur visualisierung von räumlich verteilten informationen in einem frühwarnsystem
CN109598673A (zh) * 2017-09-30 2019-04-09 深圳超多维科技有限公司 图像拼接方法、装置、终端及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
席志芳,姚连壁: "道路线路GPS控制测量" *
林景亮;陈岳林;: "多摄像机图像拼接自动色彩均衡算法" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915779A (zh) * 2020-07-31 2020-11-10 浙江大华技术股份有限公司 一种闸机控制方法、装置、设备和介质
CN111915779B (zh) * 2020-07-31 2022-04-15 浙江大华技术股份有限公司 一种闸机控制方法、装置、设备和介质
CN112233154A (zh) * 2020-11-02 2021-01-15 影石创新科技股份有限公司 拼接图像的色差消除方法、装置、设备和可读存储介质
CN112954194A (zh) * 2021-01-27 2021-06-11 深圳市博维远景科技有限公司 一种图像采集装置调整方法、系统、终端及介质
CN113487484A (zh) * 2021-07-09 2021-10-08 上海智砹芯半导体科技有限公司 图像拼接方法、装置、电子设备及计算机可读存储介质
CN113487484B (zh) * 2021-07-09 2022-08-12 上海智砹芯半导体科技有限公司 图像拼接方法、装置、电子设备及计算机可读存储介质
WO2023279655A1 (zh) * 2021-07-09 2023-01-12 爱芯元智半导体(上海)有限公司 图像拼接方法、装置、电子设备及计算机可读存储介质
CN115460354A (zh) * 2021-11-22 2022-12-09 北京罗克维尔斯科技有限公司 图像亮度处理方法、装置、电子设备、车辆和存储介质

Also Published As

Publication number Publication date
CN111080557B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN111080557A (zh) 亮度均衡处理方法及相关装置
CN103745452B (zh) 相机外参评估方法、装置、相机外参标定方法和装置
CN111376895B (zh) 一种环视泊车感知方法、装置、自动泊车系统和车辆
US20100103194A1 (en) Method and system for fusing images
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
CN105023260A (zh) 一种全景图像融合方法及融合装置
CN106709878B (zh) 一种快速图像融合方法
CN104850847B (zh) 具有自动瘦脸功能的图像优化系统和方法
JP2022524806A (ja) 画像融合方法及び携帯端末
CN106994936A (zh) 一种3d全景泊车辅助系统
TWI553590B (zh) 包括至少第一視圖和第二視圖的3d內容之再標定方法及裝置以及電腦程式產品和處理器可讀取之媒體
CN112954194B (zh) 一种图像采集装置调整方法、系统、终端及介质
CN110866882B (zh) 基于深度置信度的分层联合双边滤波深度图修复方法
CN111369660A (zh) 一种三维模型的无接缝纹理映射方法
CN107346531A (zh) 一种图像优化方法、装置及终端
CN106023125B (zh) 一种基于图像覆盖和模糊重现的图像拼接方法
CN111641806A (zh) 光晕抑制的方法、设备、计算机设备和可读存储介质
US11089216B2 (en) Image processing apparatus and image processing method
CN111860632B (zh) 多路图像一致性融合方法
CN113114975A (zh) 图像拼接方法、装置、电子设备和存储介质
JPH0981746A (ja) 二次元表示画像生成方法
CN206436911U (zh) 全景倒车影像处理装置
KR100882085B1 (ko) 영상의 컨트라스트 향상 방법
CN111093029B (zh) 图像处理方法及相关装置
CN113965664A (zh) 一种图像虚化方法、存储介质以及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant