CN113421183B - 车辆环视全景图的生成方法、装置、设备和存储介质 - Google Patents
车辆环视全景图的生成方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN113421183B CN113421183B CN202110597291.7A CN202110597291A CN113421183B CN 113421183 B CN113421183 B CN 113421183B CN 202110597291 A CN202110597291 A CN 202110597291A CN 113421183 B CN113421183 B CN 113421183B
- Authority
- CN
- China
- Prior art keywords
- view
- brightness
- overlapping area
- aerial
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 89
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 62
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 239000004744 fabric Substances 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000905137 Veronica schmidtiana Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理领域,具体而言,涉及一种车辆环视全景图的生成方法、装置、设备和存储介质。方法包括:将各相机拍摄的图像进行投影变换,得到各图像对地面的鸟瞰图;确定各鸟瞰图中的重叠区域;从各鸟瞰图的重叠区域中分别提取各颜色通道的亮度,并计算相邻相机对应的鸟瞰图重叠区域中单一颜色通道的亮度比;根据所述亮度比计算各重叠区域各颜色通道的亮度调节系数,并按照亮度调节系数调节对应鸟瞰图相应颜色通道的亮度;将亮度调节后的相邻鸟瞰图进行拼接,生成环视全景图。本实施例可以高效率地对各鸟瞰图亮度进行适量的调节,与原图不失真,保持了原图的明暗基调。
Description
技术领域
本发明涉及图像处理领域,具体而言,涉及一种车辆环视全景图的生成方法、装置、设备和存储介质。
背景技术
目前环视全景系统已经在许多量产车型上普及,这一系统的关键在于有效地拼接来自不同摄像头的画面,消除画面中的拼缝和亮度差。
在目前已公开的专利中,采取的方法大致包括:将每个相机的画面分别去畸变,投影变换为对地面的鸟瞰图,然后再拼接起来。由于各相机的曝光不同,拼接得到的全景图亮度一般是不均衡的,需要进行亮度均衡调节,现有的调节方法采用复杂的亮度补偿函数,难以保证系统的实时流畅性;而且,只考虑了亮度整体的一致,而与原图存在较大失真。
发明内容
本发明提供了一种车辆环视全景图的生成方法、装置、设备和存储介质,以高效率地对各鸟瞰图亮度进行适量的调节,与原图不失真,保持了原图的明暗基调。
第一方面,本发明实施例提供了一种车辆环视全景图的生成方法,所述车辆上设置有多个相机,相邻相机拍摄的图像之间具有重叠区域,方法包括:
将各相机拍摄的图像进行投影变换,得到各图像对地面的鸟瞰图;
确定各鸟瞰图中的重叠区域;
从各鸟瞰图的重叠区域中分别提取各颜色通道的亮度,并计算相邻相机对应的鸟瞰图重叠区域中单一颜色通道的亮度比;
根据所述亮度比计算各重叠区域各颜色通道的亮度调节系数,并按照亮度调节系数调节对应鸟瞰图相应颜色通道的亮度;
将亮度调节后的相邻鸟瞰图进行拼接,生成环视全景图。
第二方面,本发明实施例提供了一种车辆环视全景图的生成装置,所述车辆上设置有多个相机,相邻相机拍摄的图像之间具有重叠区域,装置包括:
投影模块,用于将各相机拍摄的图像进行投影变换,得到各图像对地面的鸟瞰图;
确定模块,用于确定各鸟瞰图中的重叠区域;
计算模块,用于从各鸟瞰图的重叠区域中分别提取各颜色通道的亮度,并计算相邻相机对应的鸟瞰图重叠区域中单一颜色通道的亮度比;
调节模块,用于根据所述亮度比计算各重叠区域各颜色通道的亮度调节系数,并按照亮度调节系数调节对应鸟瞰图相应颜色通道的亮度;
拼接模块,用于将亮度调节后的相邻鸟瞰图进行拼接,生成环视全景图。
第三方面,本发明实施例还提供了一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现任一实施例所述的车辆环视全景图的生成方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行任一实施例所述的车辆环视全景图的生成方法。
本实施例通过在拼接之前,计算相邻相机对应的鸟瞰图重叠区域中单一颜色通道的亮度比,以此计算各重叠区域各颜色通道的亮度调节系数,考虑了鸟瞰图之间的亮度比,在原始亮度的基础上,对各鸟瞰图亮度进行适量的调节,与原图不失真,保持了原图的明暗基调。而且,本实施例采用亮度比值以及系数调节方式,不需要利用复杂函数和算法,计算效率更高,实时运行效率满足要求。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种车辆环视全景图的生成方法的流程图;
图2是本发明提供的鱼眼相机拍摄图像的示意图;
图3是本发明提供的投影参数,以及前方相机对应的投影区域示意图;
图4是本发明提供的亮度均衡对比图;
图5是本发明实施例提供的另一种车辆环视全景图的生成方法的流程图;
图6是本发明实施例提供的前侧相机和左侧相机对应鸟瞰图的重叠部分的示意图;
图7是本发明实施例提供的掩码图像的示意图;
图8是本发明实施例提供的左侧相机对应鸟瞰图中不重叠区域的边界示意图;
图9是本发明实施例提供的前侧相机对应鸟瞰图中不重叠区域的边界示意图;
图10是本发明实施例提供的灰度图;
图11是本发明实施例提供的车辆环视全景图的生成装置的结构图;
图12为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行清楚、完整的描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例,都属于本发明所保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
本发明实施例提供了一种车辆环视全景图的生成方法,适用于对车辆周围环境进行全景生成的情况,该方法由车辆环视全景图的生成装置执行,该装置由硬件和/或软件执行,并一般集成在电子设备中。
图1是本发明实施例提供的一种车辆环视全景图的生成方法的流程图,包括以下操作:
S110、将各相机拍摄的图像进行投影变换,得到各图像对地面的鸟瞰图。
本实施例使用了四个鱼眼相机,分别安装在车辆的正前、正后和两个后视镜下方,四个镜头的画面可以覆盖车身周围区域,且相邻相机拍摄的图像之间具有重叠区域。为了叙述方便,在本文中四个相机分别用front、back、left、right来称呼。
首先,对各相机进行标定,获取每个相机的内参,用于对鱼眼镜头传回的图像进行畸变校正,一个相机的内参包含一个3x3的内参矩阵和一个1x4的畸变向量。这一步使用张正友标定法即可。
然后获得各图像到地面的投影矩阵,包括以下操作:1)在车身周围铺设标定布,鱼眼相机拍摄的图像如图2所示。2)设置投影参数(以厘米为单位):标定板内侧边缘与车辆左右两侧的距离(internalShiftWidth),标定板内侧边缘与车辆前后方的距离(internalShiftHeight),鸟瞰图中向标定布的外侧视野的远近参数(shiftWidth,shiftHeight),鸟瞰图的总宽高(totalWidth,totalHeight),它等于(W+2*shiftWidth,H+2*shiftHeight),令每个像素对应1厘米,其中W,H为标定布的宽和高。CheckerBoard为正方形的标定板,编号分别为1、2、3和4,其边长为ChessboardWidth。CarWidth和CarHeight是车辆占据的矩形区域的尺寸,等于相邻标定板边缘之间的距离。
车辆所在矩形区域的四角坐标分别为(xl,yt),(xr,yt),(xl,yb),(xr,yb)。这个矩形区域相机是看不到的,在全景图中通常用一张车辆的图标来覆盖此处。
车辆区域四边的延长线将整个鸟瞰图分为前左(FL)、前中(F)、前右(FR)、左(L)、右(R)、后左(BL)、后中(B)、后右(BR)八个部分,其中FL(区域I)、FR(区域II)、BL(区域III)、BR(区域IV)是相邻相机视野的重合区域,也是重点需要进行融合处理的部分。F、R、L、R四个区域属于每个相机单独的视野,不需要进行融合处理。设置好参数以后,每个相机的投影区域也就确定了,比如前方相机对应的投影区域如图3粗实线边框所示。
3)在图像中手动选择标志点获得图像到地面的投影矩阵,其中图像中的点在最终鸟瞰图中的坐标是需要手动设定的。投影后这些标志点会被映射为对应的坐标点。由此获得了每个相机校正后的图像到地面的投影矩阵
按照该投影矩阵对各图像进行投影变换,得到各图像对地面的鸟瞰图。
S120、确定各鸟瞰图中的重叠区域。
由于不同相机的曝光度不同,导致全景图中不同的区域会出现明暗的亮度差,影响美观,所以在进行最终的拼接前还需要调整每个图像的亮度,使得拼接后图像的亮度趋于一致。本实施例利用重叠区域的亮度比确定整个图像的亮度调节程度,所以首先确定各鸟瞰图中的重叠区域。
各鸟瞰图中的重叠区域可以通过特征点匹配确定,具体参见现有技术此处不再赘述。
S130、从各鸟瞰图的重叠区域中分别提取各颜色通道的亮度,并计算相邻相机对应的鸟瞰图重叠区域中单一颜色通道的亮度比。
本实施例中的颜色通道包括RGB三个,对于每个颜色通道都执行S130和S140。现在以R颜色通道进行说明。我们称一个单通道图像的亮度为其各像素值的平均值。从4个鸟瞰图中分别提取重叠区域各像素R通道的亮度(0~255),并对各像素亮度进行平均,作为重叠区域R颜色通道的亮度。相邻相机对应的鸟瞰图(简称相邻鸟瞰图)具有重叠区域,假设鸟瞰图1、2、3和4的重叠区域的R颜色通道亮度值分别为R1、R2、R3和R4。计算R1和R2的亮度比r1,R2和R3的亮度比r2,R3和R4的亮度比r3,R4和R1的亮度比r4。
同理,计算相邻鸟瞰图重叠区域的G颜色通道的亮度比,计算相邻鸟瞰图重叠区域的B颜色通道的亮度比。
S140、根据所述亮度比计算各重叠区域各颜色通道的亮度调节系数,并按照亮度调节系数调节对应鸟瞰图相应颜色通道的亮度。
具体的,计算相邻鸟瞰图重叠区域中单一颜色通道的亮度比的平均值,即,计算r1,r2,r3和r4的平均值m;然后,计算各亮度比(r1,r2,r3和r4)与所述平均值m的占比,作为所述亮度调节系数。
将亮度调节系数乘以对应鸟瞰图相应颜色通道的亮度,得到各鸟瞰图调整后的颜色通道的亮度;合并各鸟瞰图调整后的各颜色通道的亮度。具体将亮度调节系数乘以对应鸟瞰图各像素相应颜色通道的亮度,得到各像素该颜色通道的亮度。具体的,过亮的颜色通道要调暗一些,所以乘的亮度调节系数小于1,过暗的颜色通道要调亮一些,所以乘的亮度调节系数大于1。
示例性的,将全景图的四个相机投影后、拼接前的画面分为RGB三个颜色通道,共12个颜色通道。对三个颜色通道都如此处理后,将调整后的12个通道合并回去,形成四个亮度均衡后的画面。
S150、将亮度调节后的相邻鸟瞰图进行拼接,生成环视全景图。
图4左侧是不进行亮度均衡的环视全景图,图4右侧是进行亮度均衡的环境全景图,可以看出调整后各鸟瞰图的亮度实现了衔接,而且与原图不失真,保持了原图的明暗基调。
可选的,在自动泊车功能或者辅助驾驶功能开启后,实时显示所述环视全景图,驾驶员可以实时监控环视全景图。
本实施例通过在拼接之前,计算相邻相机对应的鸟瞰图重叠区域中单一颜色通道的亮度比,以此计算各重叠区域各颜色通道的亮度调节系数,考虑了鸟瞰图之间的亮度比,在原始亮度的基础上,对各鸟瞰图亮度进行适量的调节,与原图不失真,保持了原图的明暗基调。而且,本实施例采用亮度比值以及系数调节方式,不需要利用复杂函数和算法,计算效率更高,实时运行效率满足要求。
图5是本发明实施例提供的另一种车辆环视全景图的生成方法的流程图,对拼接过程进行细化,具体包括以下操作:
S210、将各相机拍摄的图像进行投影变换,得到各图像对地面的鸟瞰图。
S220、确定各鸟瞰图中的重叠区域。
S230、从各鸟瞰图的重叠区域中分别提取各颜色通道的亮度,并计算相邻相机对应的鸟瞰图重叠区域中单一颜色通道的亮度比。
S240、根据所述亮度比计算各重叠区域各颜色通道的亮度调节系数,并按照亮度调节系数调节对应鸟瞰图相应颜色通道的亮度。
S250、计算本鸟瞰图的重叠区域中各像素与不重叠区域的第一距离,以及邻接鸟瞰图的重叠区域中对应像素与不重叠区域的第二距离。
为了方便描述和区分,与本鸟瞰图相邻的鸟瞰图称为邻接鸟瞰图,首先将各鸟瞰图中重叠部分提取出来,图6是前侧相机和左侧相机对应鸟瞰图的重叠部分。
对所述本鸟瞰图与邻接鸟瞰图进行二值化和去噪点,得到重叠区域的掩码图像(mask)。可以采用形态学操作去除噪点,图7是掩码图像的示意图。去噪点可以提高区域划分的准确性,不受深色像素点的干扰。
根据所述掩码图像分别提取所述本鸟瞰图和邻接鸟瞰图不重叠区域的边界,并确定边界围成的多边形。具体的,利用掩码图像对原图执行“与”操作,得到不重叠区域。对不重叠区域的轮廓像素点进行拟合,得到不重叠区域的边界。将各边界首尾相连得到边界围成的多边形。图8是本发明实施例提供的左侧相机对应鸟瞰图中不重叠区域的边界示意图,图9是本发明实施例提供的前侧相机对应鸟瞰图中不重叠区域的边界示意图。
根据几何算法,计算本鸟瞰图的重叠区域中各像素与多边形的第一距离,以及邻接鸟瞰图的重叠区域中对应像素与多边形的第二距离。需要说明的是,此处的本鸟瞰图的重叠区域与邻接鸟瞰图的重叠区域指的是本鸟瞰图与邻接鸟瞰图之间的重叠区域。该重叠区域在本鸟瞰图和邻接鸟瞰图中有相对应的像素点。
第一距离体现了重叠区域与在本鸟瞰图中的位置,第二距离体现了重叠区域在邻接鸟瞰图中的位置。
S260、根据所述第一距离和第二距离确定本鸟瞰图和邻接鸟瞰图重叠区域各像素的权值;将本鸟瞰图和邻接鸟瞰图中不重叠区域中各像素的权值设置为固定值。
根据下述公式计算本鸟瞰图重叠区域各像素的权值G。
G=W=(dB×dB)/(dA×dA+dB×dB); (1)
其中,dA为本鸟瞰图的重叠区域中各像素与不重叠区域的第一距离,dB为邻接鸟瞰图的重叠区域中对应像素与不重叠区域的第二距离。根据1-G计算邻接鸟瞰图重叠区域各像素的权值。
本实施例提供的权值计算方法,对距离计算了其到两多边形距离平方后的加权值,该权值能够放大不同的第一距离之间的差异,以及放大不同的第二距离之间的差异。在实际应用中,能够式接缝处更加平滑。
本鸟瞰图中不重叠区域中各像素的权值设置为1,邻接鸟瞰图中不重叠区域中各像素的权值设置为0。于是得到了一个连续变化的,取值范围在0~1之间的矩阵G,其灰度图参见图10。
S270、根据本鸟瞰图和邻接鸟瞰图中各像素的权值,对对应像素值进行加权求和,生成环视全景图。
根据下述公式生成环视全景图M。
M=P1×G+(1-G)×P2; (2)
其中,P1表示本鸟瞰图中各像素的像素值,P2表示邻接鸟瞰图中各像素的像素值。拼接效果图参见图11。
总而言之,本发明实施例提供的方法具有如下优点:
1)拼接流程简单,只需要相邻相机的画面有重叠即可;而且能够在拼接处显示出更平滑的效果。
2)亮度平衡效果较好,在不同相机感受光源亮度差异较大时仍能保持较好的亮度均衡性。
3)实时性好,基于C++和opencv的实现在AGX Xavier平台上对1200x1600分辨率大小的画面可以达到10fps。对640x800分辨率大小的画面可以达到25fps,满足实际应用的需求。
4)标定流程简单,对标定环境的要求较低。
图11是本发明实施例提供的车辆环视全景图的生成装置的结构图,适用于对车辆周围环境进行全景生成的情况,包括:投影模块301,确定模块302,计算模块303,调节模块304和拼接模块305。
投影模块301,用于将各相机拍摄的图像进行投影变换,得到各图像对地面的鸟瞰图;
确定模块302,用于确定各鸟瞰图中的重叠区域;
计算模块303,用于从各鸟瞰图的重叠区域中分别提取各颜色通道的亮度,并计算相邻相机对应的鸟瞰图重叠区域中单一颜色通道的亮度比;
调节模块304,用于根据所述亮度比计算各重叠区域各颜色通道的亮度调节系数,并按照亮度调节系数调节对应鸟瞰图相应颜色通道的亮度;
拼接模块305,用于将亮度调节后的相邻鸟瞰图进行拼接,生成环视全景图。
本实施例通过在拼接之前,计算相邻相机对应的鸟瞰图重叠区域中单一颜色通道的亮度比,以此计算各重叠区域各颜色通道的亮度调节系数,考虑了鸟瞰图之间的亮度比,在原始亮度的基础上,对各鸟瞰图亮度进行适量的调节,与原图不失真,保持了原图的明暗基调。而且,本实施例采用亮度比值以及系数调节方式,不需要利用复杂函数和算法,计算效率更高,实时运行效率满足要求。
可选的,调节模块304具体用于:计算相邻鸟瞰图重叠区域中单一颜色通道的亮度比的平均值;计算各亮度比与所述平均值的占比,作为所述亮度调节系数;将亮度调节系数乘以对应鸟瞰图相应颜色通道的亮度,得到各鸟瞰图调整后的颜色通道的亮度;合并各鸟瞰图调整后的各颜色通道的亮度。
可选的,拼接模块具体用于:计算本鸟瞰图的重叠区域中各像素与不重叠区域的第一距离,以及邻接鸟瞰图的重叠区域中对应像素与不重叠区域的第二距离;其中,本鸟瞰图与邻接鸟瞰图之间具有重叠区域;根据所述第一距离和第二距离确定本鸟瞰图和邻接鸟瞰图重叠区域各像素的权值;将本鸟瞰图和邻接鸟瞰图中不重叠区域中各像素的权值设置为固定值;根据本鸟瞰图和邻接鸟瞰图中各像素的权值,对对应像素值进行加权求和,生成环视全景图。
可选的,拼接模块在根据所述第一距离和第二距离确定本鸟瞰图和邻接鸟瞰图重叠区域各像素的权值时,具体用于:根据下述公式计算本鸟瞰图重叠区域各像素的权值G;G=W=(dB×dB)/(dA×dA+dB×dB);其中,dA为本鸟瞰图的重叠区域中各像素与不重叠区域的第一距离,dB为邻接鸟瞰图的重叠区域中对应像素与不重叠区域的第二距离;根据1-G计算邻接鸟瞰图重叠区域各像素的权值。
可选的,本鸟瞰图中不重叠区域中各像素的权值设置为1,邻接鸟瞰图中不重叠区域中各像素的权值设置为0;拼接模块在根据本鸟瞰图和邻接鸟瞰图中各像素的权值,对对应像素值进行加权求和,生成环视全景图时,具体用于:根据下述公式生成环视全景图M;M=P1×G+(1-G)×P2;其中,P1表示本鸟瞰图中各像素的像素值,P2表示邻接鸟瞰图中各像素的像素值。
可选的,拼接模块在计算本鸟瞰图的重叠区域中各像素与不重叠区域的第一距离,以及邻接鸟瞰图的重叠区域中对应像素与不重叠区域的第二距离时,具体用于:对所述本鸟瞰图与邻接鸟瞰图进行二值化和去噪点,得到重叠区域的掩码图像;根据所述掩码图像分别提取所述本鸟瞰图和邻接鸟瞰图不重叠区域的边界,并确定边界围成的多边形;计算本鸟瞰图的重叠区域中各像素与多边形的第一距离,以及邻接鸟瞰图的重叠区域中对应像素与多边形的第二距离。
可选的,该装置还包括显示模块,用于在所述将亮度调节后的相邻鸟瞰图进行拼接,生成环视全景图之后,在自动泊车功能或者辅助驾驶功能开启后,实时显示所述环视全景图。
车辆环视全景图的生成装置可以执行上述任一车辆环视全景图的生成方法,具备方法的技术效果。
图12为本发明实施例提供的一种电子设备的结构示意图,如图12所示,该设备包括处理器40、存储器41、输入装置42和输出装置43;设备中处理器40的数量可以是一个或多个,图12中以一个处理器40为例;设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接,图12中以通过总线连接为例。
存储器41作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的车辆环视全景图方法对应的程序指令/模块(例如,车辆环视全景图装置中的投影模块301,确定模块302,计算模块303,调节模块304和拼接模块305)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的车辆环视全景图方法。
存储器41可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器41可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器41可进一步包括相对于处理器40远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。
本发明实施例还提供一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行一种车辆环视全景图方法。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
值得注意的是,上述车辆环视全景图装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
Claims (9)
1.一种车辆环视全景图的生成方法,其特征在于,所述车辆上设置有多个相机,相邻相机拍摄的图像之间具有重叠区域;所述方法包括:
将各相机拍摄的图像进行投影变换,得到各图像对地面的鸟瞰图;
确定各鸟瞰图中的重叠区域;
从各鸟瞰图的重叠区域中分别提取各颜色通道的亮度,并计算相邻相机对应的鸟瞰图重叠区域中单一颜色通道的亮度比;
计算相邻鸟瞰图重叠区域中单一颜色通道的亮度比的平均值;计算各亮度比与所述平均值的占比,作为所述亮度调节系数;将亮度调节系数乘以对应鸟瞰图相应颜色通道的亮度,得到各鸟瞰图调整后的颜色通道的亮度;合并各鸟瞰图调整后的各颜色通道的亮度;
将亮度调节后的相邻鸟瞰图进行拼接,生成环视全景图。
2.根据权利要求1所述的方法,其特征在于,所述将亮度调节后的相邻鸟瞰图进行拼接,生成环视全景图,包括:
计算本鸟瞰图的重叠区域中各像素与不重叠区域的第一距离,以及邻接鸟瞰图的重叠区域中对应像素与不重叠区域的第二距离;其中,本鸟瞰图与邻接鸟瞰图之间具有重叠区域;
根据所述第一距离和第二距离确定本鸟瞰图和邻接鸟瞰图重叠区域各像素的权值;将本鸟瞰图和邻接鸟瞰图中不重叠区域中各像素的权值设置为固定值;
根据本鸟瞰图和邻接鸟瞰图中各像素的权值,对对应像素值进行加权求和,生成环视全景图。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一距离和第二距离确定本鸟瞰图和邻接鸟瞰图重叠区域各像素的权值,包括:
根据下述公式计算本鸟瞰图重叠区域各像素的权值G;
G=W=(dB×dB)/(dA×dA+dB×dB);
其中,dA为本鸟瞰图的重叠区域中各像素与不重叠区域的第一距离,dB为邻接鸟瞰图的重叠区域中对应像素与不重叠区域的第二距离;
根据1-G计算邻接鸟瞰图重叠区域各像素的权值。
4.根据权利要求3所述的方法,其特征在于,所述本鸟瞰图中不重叠区域中各像素的权值设置为1,邻接鸟瞰图中不重叠区域中各像素的权值设置为0;
根据本鸟瞰图和邻接鸟瞰图中各像素的权值,对对应像素值进行加权求和,生成环视全景图,包括:
根据下述公式生成环视全景图M;
M=P1×G+(1-G)×P2;
其中,P1表示本鸟瞰图中各像素的像素值,P2表示邻接鸟瞰图中各像素的像素值。
5.根据权利要求2所述的方法,其特征在于,所述计算本鸟瞰图的重叠区域中各像素与不重叠区域的第一距离,以及邻接鸟瞰图的重叠区域中对应像素与不重叠区域的第二距离,包括:
对所述本鸟瞰图与邻接鸟瞰图进行二值化和去噪点,得到重叠区域的掩码图像;
根据所述掩码图像分别提取所述本鸟瞰图和邻接鸟瞰图不重叠区域的边界,并确定边界围成的多边形;
计算本鸟瞰图的重叠区域中各像素与多边形的第一距离,以及邻接鸟瞰图的重叠区域中对应像素与多边形的第二距离。
6.根据权利要求1-5任一项所述的方法,其特征在于,在所述将亮度调节后的相邻鸟瞰图进行拼接,生成环视全景图之后,还包括:
在自动泊车功能或者辅助驾驶功能开启后,实时显示所述环视全景图。
7.一种车辆环视全景图的生成装置,其特征在于,所述车辆上设置有多个相机,相邻相机拍摄的图像之间具有重叠区域,所述装置包括:
投影模块,用于将各相机拍摄的图像进行投影变换,得到各图像对地面的鸟瞰图;
确定模块,用于确定各鸟瞰图中的重叠区域;
计算模块,用于从各鸟瞰图的重叠区域中分别提取各颜色通道的亮度,并计算相邻相机对应的鸟瞰图重叠区域中单一颜色通道的亮度比;
调节模块,用于计算相邻鸟瞰图重叠区域中单一颜色通道的亮度比的平均值;计算各亮度比与所述平均值的占比,作为所述亮度调节系数;将亮度调节系数乘以对应鸟瞰图相应颜色通道的亮度,得到各鸟瞰图调整后的颜色通道的亮度;合并各鸟瞰图调整后的各颜色通道的亮度;
拼接模块,用于将亮度调节后的相邻鸟瞰图进行拼接,生成环视全景图。
8.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一项所述的车辆环视全景图的生成方法。
9.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一所述的车辆环视全景图的生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110597291.7A CN113421183B (zh) | 2021-05-31 | 2021-05-31 | 车辆环视全景图的生成方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110597291.7A CN113421183B (zh) | 2021-05-31 | 2021-05-31 | 车辆环视全景图的生成方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113421183A CN113421183A (zh) | 2021-09-21 |
CN113421183B true CN113421183B (zh) | 2022-09-20 |
Family
ID=77713295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110597291.7A Active CN113421183B (zh) | 2021-05-31 | 2021-05-31 | 车辆环视全景图的生成方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113421183B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115460390A (zh) * | 2021-11-22 | 2022-12-09 | 北京罗克维尔斯科技有限公司 | 图像颜色处理方法、装置、车辆、电子设备和存储介质 |
CN117177076A (zh) * | 2022-05-24 | 2023-12-05 | 格兰菲智能科技有限公司 | 通道数值计算方法、环视图生成方法、装置、设备、介质 |
CN117237237B (zh) * | 2023-11-13 | 2024-07-05 | 深圳元戎启行科技有限公司 | 一种车载360度全景影像的光度均衡方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104618691A (zh) * | 2015-01-29 | 2015-05-13 | 桂林长海发展有限责任公司 | 一种全景亮度平衡调节系统及调节方法 |
CN109076167A (zh) * | 2016-06-17 | 2018-12-21 | 索尼公司 | 图像处理器、摄像装置和图像处理系统 |
CN109741455A (zh) * | 2018-12-10 | 2019-05-10 | 深圳开阳电子股份有限公司 | 一种车载立体全景显示方法、计算机可读存储介质及系统 |
CN110443771A (zh) * | 2019-08-16 | 2019-11-12 | 同济大学 | 车载环视相机系统中环视图亮度与颜色一致性调整方法 |
CN111614931A (zh) * | 2019-02-25 | 2020-09-01 | 上海博泰悦臻网络技术服务有限公司 | 车辆周边图像合成方法及系统 |
CN112070886A (zh) * | 2020-09-04 | 2020-12-11 | 中车大同电力机车有限公司 | 矿用自卸车的影像监控方法及相关设备 |
CN112738425A (zh) * | 2019-10-28 | 2021-04-30 | 天津工业大学 | 一种多摄像头采集的视频实时拼接系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103945087B (zh) * | 2013-01-22 | 2017-10-27 | 深圳市腾讯计算机系统有限公司 | 图像色调的调节方法和调节装置 |
CN103856727B (zh) * | 2014-03-24 | 2017-01-25 | 北京工业大学 | 一种多路实时视频拼接处理系统 |
CN109691091A (zh) * | 2016-09-08 | 2019-04-26 | Lg伊诺特有限公司 | 用于在多视图模式下显示图像的方法 |
US11158056B2 (en) * | 2019-06-26 | 2021-10-26 | Intel Corporation | Surround camera system with seamless stitching for arbitrary viewpoint selection |
CN112069980B (zh) * | 2020-09-03 | 2022-01-25 | 三一专用汽车有限责任公司 | 障碍物识别方法、障碍物识别系统和存储介质 |
CN112312106B (zh) * | 2020-11-03 | 2021-06-22 | 燕山大学 | 一种基于色彩空间转换的投影图像颜色校正方法 |
-
2021
- 2021-05-31 CN CN202110597291.7A patent/CN113421183B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104618691A (zh) * | 2015-01-29 | 2015-05-13 | 桂林长海发展有限责任公司 | 一种全景亮度平衡调节系统及调节方法 |
CN109076167A (zh) * | 2016-06-17 | 2018-12-21 | 索尼公司 | 图像处理器、摄像装置和图像处理系统 |
CN109741455A (zh) * | 2018-12-10 | 2019-05-10 | 深圳开阳电子股份有限公司 | 一种车载立体全景显示方法、计算机可读存储介质及系统 |
CN111614931A (zh) * | 2019-02-25 | 2020-09-01 | 上海博泰悦臻网络技术服务有限公司 | 车辆周边图像合成方法及系统 |
CN110443771A (zh) * | 2019-08-16 | 2019-11-12 | 同济大学 | 车载环视相机系统中环视图亮度与颜色一致性调整方法 |
CN112738425A (zh) * | 2019-10-28 | 2021-04-30 | 天津工业大学 | 一种多摄像头采集的视频实时拼接系统 |
CN112070886A (zh) * | 2020-09-04 | 2020-12-11 | 中车大同电力机车有限公司 | 矿用自卸车的影像监控方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113421183A (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113421183B (zh) | 车辆环视全景图的生成方法、装置、设备和存储介质 | |
CN106875339B (zh) | 一种基于长条形标定板的鱼眼图像拼接方法 | |
EP3340170B1 (en) | Multi-depth image fusion method and apparatus | |
US9549164B2 (en) | Image processing apparatus and method, and related computer program | |
CN112224132B (zh) | 一种车用全景环视障碍物预警方法 | |
US20180227478A1 (en) | Image preview method, apparatus and terminal | |
CN111986129B (zh) | 基于多摄图像融合的hdr图像生成方法、设备及存储介质 | |
EP3163535A1 (en) | Wide-area image acquisition method and device | |
US10827107B2 (en) | Photographing method for terminal and terminal | |
CN110264395B (zh) | 一种车载单目全景系统的镜头标定方法及相关装置 | |
CN109166076B (zh) | 多相机拼接的亮度调整方法、装置及便携式终端 | |
CN112640413B (zh) | 用于显示周围环境的模型的方法、控制设备和车辆 | |
CN115936995A (zh) | 一种车辆四路鱼眼摄像头全景拼接方法 | |
CN113114975B (zh) | 图像拼接方法、装置、电子设备和存储介质 | |
EP3701490B1 (en) | Method and system of fast image blending for overlapping regions in surround view | |
WO2018207402A1 (ja) | 画像処理装置、及び、画像処理方法 | |
CN111815752B (zh) | 图像处理方法、装置和电子设备 | |
CN112435161A (zh) | 全景环视图像拼接方法及系统、电子设备和存储介质 | |
CN107197134B (zh) | 一种用于多个鱼眼镜头的图像的曝光调整方法和装置 | |
CN116894773A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
JP2001197356A (ja) | 画像復元装置および画像復元方法 | |
CN111107303A (zh) | 行车图像系统及行车图像处理方法 | |
CN114663521A (zh) | 一种用于辅助泊车的环视拼接处理方法 | |
JP6825458B2 (ja) | 画像処理装置、撮影装置、及び画像処理方法 | |
CN107734246B (zh) | 一种图像处理方法、装置及相关电路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230413 Address after: 300392 1st Floor, Building B, New City Center, No. 3, Wanhui Road, Zhongbei Town, Xiqing District, Tianjin Patentee after: Zhongqi Zhilian Technology Co.,Ltd. Address before: Room 12-17, block B1, new city center, No.3 Wanhui Road, Zhongbei Town, Xiqing District, Tianjin, 300385 Patentee before: Sinotruk data (Tianjin) Co.,Ltd. |