CN116993591B - 用于全景汽车的图像拼接融合方法、电子设备及介质 - Google Patents

用于全景汽车的图像拼接融合方法、电子设备及介质 Download PDF

Info

Publication number
CN116993591B
CN116993591B CN202311242958.7A CN202311242958A CN116993591B CN 116993591 B CN116993591 B CN 116993591B CN 202311242958 A CN202311242958 A CN 202311242958A CN 116993591 B CN116993591 B CN 116993591B
Authority
CN
China
Prior art keywords
image
area
overlapping
channel
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311242958.7A
Other languages
English (en)
Other versions
CN116993591A (zh
Inventor
翟洋
孟佳旭
王强
赵鹏超
赵帅
杨永翌
王寅东
孙琪佳
侯全杉
武晓梦
陈旭亮
王剑飞
曹曼曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongqi Zhilian Technology Co ltd
Original Assignee
Zhongqi Zhilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongqi Zhilian Technology Co ltd filed Critical Zhongqi Zhilian Technology Co ltd
Priority to CN202311242958.7A priority Critical patent/CN116993591B/zh
Publication of CN116993591A publication Critical patent/CN116993591A/zh
Application granted granted Critical
Publication of CN116993591B publication Critical patent/CN116993591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，公开了一种用于全景汽车的图像拼接融合方法、电子设备及介质，方法包括：采集待拼接图像；确定采集待拼接图像的重叠区域；在每个重叠区域中，确定重叠区域的拼接区域和接缝线；在每个拼接区域中，确定接缝区域；确定融合权重，实现重叠图像的拼接融合。本发明通过在图像的重叠区域中定义拼接区域并进一步定义接缝区域，且接缝区域的边界动态变化，从而实现接缝线两侧的图像逐渐过渡，弱化了接缝区域，减少了融合图像的突变和畸变；同时，为图像的RGB通道赋予不同的融合权重，使图像融合更加自然，保留丰富的全局和局部图像特征。

Description

用于全景汽车的图像拼接融合方法、电子设备及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种用于全景汽车的图像拼接融合方法、电子设备及介质。
背景技术
伴随汽车保有量的日益增涨，交通拥挤、停车难等问题愈发明显，可辅助驾驶员实时观测车身的全景影像监测系统（AVM）受到广大消费者的青睐，对新司机十分友好。
在传统的拼接融合方法中，图像配准后，图像融合部分一般通过对两幅拼接图像做固定的权重分配来实现，对于图像接缝处稍作亮度处理。例如，直接将两幅图像A，B的重叠区域全部使用其中一幅图像来替代，或根据经验定义两幅图像的加权权重各占比50%进行融合。这种方式虽然简单易操作，但拼接图像存在着较为明显的接缝，严重影像了图像的一致性，尤其是在全景汽车图像拼接领域，不利于驾驶员对图像信息的理解。
同时，传统的全景汽车拼接图像的融合权重划分大多依据实验数据和人工经验，首先，一旦车型改变，会引起图像重叠区域的大小发生变化，接缝区域随之改变，图像融合的相关参数需要重新设定，直接影响接缝处的图像局部关键特征的获取；其次，当实验光照强度、角度等因素发生变化时，图像一致性波动较大，图像融合不自然，全景图像中拼接处的图像重叠位置色差与真实场景相差较大，获取图像全局特征不完整。
对于上述问题，虽然中国专利申请CN111080557A公开了根据对角线划分的两个重叠分区的亮度均值统计信息确定当前处理的重叠分区的初步增益，设置参考增益与像素点距离对角线成正相关关系，调整亮度分量。但该方法容易造成拼接图像接缝处的突变和融合图像的畸变，当实验光照强度、角度等因素发生变化时，图像一致性波动较大，图像融合不自然，全景图像中拼接处的图像重叠位置色差与真实场景相差较大，获取图像全局特征不完整。
因此，亟需一种用于全景汽车的图像拼接融合方法，不仅可以使接缝线两侧的图像逐渐过渡，弱化接缝区域，减少融合图像的突变和畸变，还可以使图像融合更加自然，保留丰富的全局和局部图像特征。
发明内容
为了解决上述技术问题，本发明提供了一种用于全景汽车的图像拼接融合方法、电子设备及介质，不仅可以使接缝线两侧的图像逐渐过渡，弱化接缝区域，减少融合图像的突变和畸变，还可以使图像融合更加自然，保留丰富的全局和局部图像特征。
本发明提供了一种用于全景汽车的图像拼接融合方法，包括如下步骤：
S1、采集待拼接图像：通过车载摄像头分别采集车辆前分区图像、后分区图像、左分区图像、右分区图像；
S2、确定采集待拼接图像的重叠区域：根据采集到的前分区图像、后分区图像、左分区图像、右分区图像确定相邻分区图像之间的重叠图像，确定重叠区域；
S3、在每个重叠区域中，确定重叠区域的拼接区域和接缝线：以重叠区域的中线为基准，向两侧分别延伸m/2宽度形成拼接区域的两侧边界b1,b2，拼接区域的宽度m小于等于重叠区域的宽度；接缝线位于拼接区域内，接缝线为不与拼接区域的两侧边界b1,b2垂直的线，且接缝线与平行于拼接区域的两侧边界b1,b2方向的任意直线均只有唯一交点；
S4、在每个拼接区域中，确定接缝区域：根据拼接图像的RGB比例关系和拼接区域的宽度m分别确定R、G、B通道下接缝区域的宽度，根据接缝线和R、G、B通道下接缝区域的宽度确定R、G、B通道下的接缝区域；
S5、确定融合权重，实现重叠图像的拼接融合：根据重叠图像像素点的坐标与R、G、B通道下的接缝区域的位置关系，确定重叠图像像素点的融合权重，根据融合权重，实现重叠图像的拼接融合。
进一步的，S2中, 根据采集到的前分区图像、后分区图像、左分区图像、右分区图像确定相邻分区图像之间的重叠图像，确定重叠区域,进一步包括：
将各重叠区域通过区域坐标变换，映射到同一个重叠区域，形成坐标变换后的重叠区域；其中，将坐标变换后的重叠区域的下边界作为x轴，左边界作为y轴，建立X-Y直角坐标系，重叠区域的宽度为d。
进一步的，S3中，接缝线为不与拼接区域的两侧边界b1,b2垂直的线，且接缝线与平行于拼接区域的两侧边界b1,b2方向的任意直线均只有唯一交点具体包括：
接缝线的起点位于拼接区域的左下方，接缝线的终点位于拼接区域的右上方或者接缝线的起点位于拼接区域的左上方，接缝线的终点位于拼接区域的右下方。
进一步的，S4中，根据拼接图像的RGB比例关系和拼接区域的宽度m分别确定R、G、B通道下接缝区域的宽度，具体包括：
当拼接图像的RGB比例关系为a:b:c，则R、G、B通道下接缝区域的宽度的计算公式如下：
WR=a/(a+b+c)×m，
WG=b/(a+b+c)×m，
WB=c/(a+b+c)×m，
其中，WR为R通道下接缝区域的宽度，WG为G通道下接缝区域的宽度，WB为B通道下接缝区域的宽度。
进一步的，S4中，根据接缝线和R、G、B通道下接缝区域的宽度确定R、G、B通道下的接缝区域，具体包括：
S41、以接缝线的每行像素的中心像素为起始点，向两侧各延长R、G、B通道下接缝区域的宽度的1/2宽度，分别得到R、G、B通道下每行接缝区域的两侧边界的坐标点；
S42、将R、G、B通道下每行接缝区域两侧边界的坐标点围成的区域作为R、G、B通道下的接缝区域。
进一步的，S41中，当该行的R、G、B通道下的接缝区域的边界坐标超出拼接区域的范围时，以拼接区域的坐标作为R、G、B通道下的接缝区域的坐标。
进一步的，S5中，根据重叠图像像素点的坐标与R、G、B通道下的接缝区域的位置关系，确定重叠图像像素点的融合权重，根据融合权重，实现重叠图像的拼接融合，具体包括：
S51、判断重叠图像像素点的坐标是否位于R、G、B通道下的接缝区域内；
S52、若重叠图像像素点的坐标位于R、G、B通道下的接缝区域内，分别计算在R、G、B通道下，像素点的坐标到此行接缝区域的可调左边界和可调右边界的坐标的欧式距离，根据欧式距离和在R、G、B通道下接缝区域的宽度分别计算在R、G、B通道下重叠图像像素点的图像融合权重；
S53、若重叠图像像素点的坐标位于R、G、B通道下的接缝区域外，根据重叠图像像素点的坐标的位置选择对应的预设图像融合权重；
S54、根据融合权重，计算重叠区域内图像的融合图像。
进一步的，步骤S54中，根据融合权重，计算重叠区域内图像的融合图像包括：
S541、根据重叠区域内的重叠图像像素点对应的两个待拼接图像为重叠图像像素点分别赋予在R、G、B通道下两个待拼接图像对应的RGB像素值；
S542、根据图像融合权重和RGB像素值得到每个重叠图像像素点在R、G、B通道下的融合图像；
S543、将每个重叠图像像素点在R、G、B通道下的融合图像进行叠加得到重叠区域内图像的融合图像。
本发明还提供了一种电子设备，电子设备包括：
处理器和存储器；
处理器通过调用存储器存储的程序或指令，用于执行如上述任一项所述的一种用于全景汽车的图像拼接融合方法的步骤。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储程序或指令，程序或指令使计算机执行如如上述任一项所述的一种用于全景汽车的图像拼接融合方法的步骤。
本发明实施例具有以下技术效果：
通过在图像的重叠区域中定义拼接区域并进一步定义接缝区域，且接缝区域的边界动态变化，从而实现接缝线两侧的图像逐渐过渡，弱化了接缝区域，减少了融合图像的突变和畸变；同时，为图像的RGB通道赋予不同的融合权重，使图像融合更加自然，保留丰富的全局和局部图像特征。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种用于全景汽车的图像拼接融合方法的流程图；
图2是本发明实施例提供的一种全景汽车及拼接图像的鸟瞰示意图；
图3是本发明实施例提供的一种A、B图像的拼接示意图；
图4是本发明实施例提供的一种A、B图像重叠区域每行像素的权重变化曲线示意图；
图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
图1是本发明实施例提供的一种用于全景汽车的图像拼接融合方法的流程图，参见图1，本发明实施例提供一种用于全景汽车的图像拼接融合方法，具体包括：
S1、采集待拼接图像。
具体的，图2是本发明实施例提供的一种全景汽车及拼接图像的鸟瞰示意图，参见图2，通过车载摄像头分别采集车辆前分区图像A、后分区图像C、左分区图像D、右分区图像B；其中，待拼接图像包括车辆前分区图像A、后分区图像C、左分区图像D和右分区图像B。
S2、确定采集待拼接图像的重叠区域。
具体的，根据采集到的前分区图像A、后分区图像C、左分区图像D、右分区图像B确定相邻分区图像之间的重叠图像，确定重叠区域。继续参见图2，根据采集到的前分区图像A、后分区图像C、左分区图像D、右分区图像B确定相邻分区图像之间的重叠图像，确定重叠区域，重叠区域包括：图像重叠区域AB、图像重叠区域BC、图像重叠区域CD和图像重叠区域DA。
进一步的，由于各个重叠区域的方向不同，为了便于统一计算，将各重叠区域通过区域坐标变换，映射到同一个重叠区域，形成坐标变换后的重叠区域。图3是本发明实施例提供的一种A、B图像的拼接示意图，参见图3，以图像重叠区域AB为例，将图像重叠区域BC、图像重叠区域CD和图像重叠区域DA通过区域坐标旋转变换，映射到图像重叠区域AB进行计算。其中，将坐标变换后的重叠区域的下边界作为x轴，左边界作为y轴，建立X-Y直角坐标系，x轴和y轴的交点作为原点o，重叠区域的宽度为d。
S3、在每个重叠区域中，确定重叠区域的拼接区域和接缝线。
具体的，继续参见图3，以图像重叠区域AB为例，以重叠区域的中线为基准，向两侧分别延伸m/2宽度形成拼接区域的两侧边界b1,b2，拼接区域的宽度m小于等于重叠区域的宽度；拼接区域的宽度m和形状可根据适配的车型、摄像头位置角度变化等进行设置。示例性地，可以选取重叠区域正中间m宽度的区域为拼接区域，拼接区域的宽度m为d的0.8倍，即拼接区域的左边界b1到右边界b2的宽度m为0.8d。接缝线位于拼接区域内，接缝线为不与拼接区域的两侧边界b1,b2垂直的线，且接缝线与平行于拼接区域的两侧边界b1,b2方向的任意直线均只有唯一交点，接缝线可以为直线、曲线、阶梯线等。
进一步的，接缝线的起点位于拼接区域的左下方，接缝线的终点位于拼接区域的右上方或者接缝线的起点位于拼接区域的左上方，接缝线的终点位于拼接区域的右下方；或接缝线的起点位于拼接区域的下边界，接缝线的终点位于拼接区域的上边界。
S4、在每个拼接区域中，确定接缝区域。
具体的，继续参见图3，以图像重叠区域AB为例，根据拼接图像的RGB比例关系和拼接区域的宽度m分别确定R、G、B通道下接缝区域的宽度，根据接缝线和R、G、B通道下接缝区域的宽度确定R、G、B通道下的接缝区域。其中，拼接图像的RGB比例关系可以通过人眼视觉成像、颜色空间、亮度分量等方法获得。当拼接图像的RGB比例关系为a:b:c，则R、G、B通道下接缝区域的宽度的计算公式如下：
WR=a/(a+b+c)×m，
WG=b/(a+b+c)×m，
WB=c/(a+b+c)×m，
其中，WR为R通道下接缝区域的宽度，WG为G通道下接缝区域的宽度，WB为B通道下接缝区域的宽度。当三个通道的比例关系使得接缝区域的宽度不满足整数时，向上取整处理。
示例性地，当拼接图像的RGB比例关系为3:6:1时，R、G、B通道下接缝区域的宽度分别为WR=0.3m，WG=0.6m，WB=0.1m。
S41、以接缝线的每行像素的中心像素为起始点，向两侧各延长R、G、B通道下接缝区域的宽度的1/2宽度，分别得到R、G、B通道下每行接缝区域的两侧边界的坐标点。
具体的，当接缝线的每行像素在x轴方向上为1个像素点，则该像素点为该行像素的中心像素x0，当接缝线的每行像素在x轴方向上多于1个像素点，则奇数个像素点时选择中心点作为中心像素x0，偶数个像素点时选择第（N/2）+1个像素点作为中心像素x0，其中，N为接缝线在该行的像素的总个数。
进一步的，当该行的R、G、B通道下的接缝区域的边界坐标超出拼接区域的范围时，以拼接区域的坐标作为R、G、B通道下的接缝区域的坐标。示例性地，继续参见图3，以R通道下的图像重叠区域AB为例，以接缝线的每行像素的中心像素为起始点x0，向两侧各延长1/2WR的宽度，得到接缝区域的左侧边界a1的坐标和右侧边界a2的坐标。当该行的接缝区域的左侧边界a1的坐标或右侧边界a2的坐标超出拼接区域的范围时，以拼接区域的两侧边界b1或b2的坐标作为该行接缝区域的左侧边界a1的坐标或右侧边界a2的坐标。当以拼接区域的两侧边界b1或b2的坐标作为该行接缝区域的左侧边界a1的坐标或右侧边界a2的坐标时，该行的接缝区域的右侧边界a2的坐标为b1的坐标加上R通道下接缝区域的宽度，即a1=b1时，a2=b1+WR，该行的接缝区域的左侧边界a1的坐标为b2的坐标减去R通道下接缝区域的宽度，即a2=b2时，a1=b2-WR。
S42、将R、G、B通道下每行接缝区域两侧边界的坐标点围成的区域作为R、G、B通道下的接缝区域。
S5、确定融合权重，实现重叠图像的拼接融合。
具体的，根据重叠图像像素点的坐标与R、G、B通道下的接缝区域的位置关系，确定重叠图像像素点的融合权重，根据融合权重，实现重叠图像的拼接融合。
S51、判断重叠图像像素点的坐标是否位于R、G、B通道下的接缝区域内。
S52、若重叠图像像素点的坐标位于R、G、B通道下的接缝区域内，分别计算在R、G、B通道下，像素点的坐标到此行接缝区域的可调左边界和可调右边界的坐标的欧式距离，根据欧式距离和在R、G、B通道下接缝区域的宽度分别计算在R、G、B通道下重叠图像像素点的图像融合权重。
具体的，当重叠图像像素点的坐标位于接缝区域内，分别计算在R、G、B通道下，重叠图像像素点pi的坐标到此行接缝区域的左侧边界a1和右侧边界a2的坐标的欧式距离|pi-a1|和|pi-a2|。根据欧式距离|pi-a1|、|pi-a2|和在R、G、B通道下接缝区域的宽度分别计算在R、G、B通道下重叠图像像素点对应的两个待拼接图像的图像融合权重。示例性地，以R通道下的图像重叠区域AB为例，定义接缝线处的重叠图像像素点对应的两个待拼接图像的图像融合权重各为50%，重叠图像像素点pi的坐标从接缝线开始，越接近接缝区域的左侧边界a1的坐标，前分区图像A的图像融合权重占比越大；反之，重叠图像像素点pi的坐标越接近接缝区域的右侧边界a2的坐标，右分区图像B的图像融合权重占比越大。即前分区图像A的图像融合权重为|pi-a1|/WR，右分区图像B的图像融合权重为|pi-a2|/WR。
S53、若重叠图像像素点的坐标位于R、G、B通道下的接缝区域外，根据重叠图像像素点的坐标的位置选择对应的预设图像融合权重。
具体的，由于重叠图像像素点pi的坐标从接缝线开始，越接近接缝区域的左侧边界a1的坐标，前分区图像A的图像融合权重占比越大；反之，重叠图像像素点pi的坐标越接近接缝区域的右侧边界a2的坐标，右分区图像B的图像融合权重占比越大。因此当重叠图像像素点pi的坐标位于重叠区域的左边界到R、G、B通道下的接缝区域的而左侧边界a1时，前分区图像A的图像融合权重为1，右分区图像B的图像融合权重为0；当重叠图像像素点pi的坐标位于重叠区域的右边界到R、G、B通道下的接缝区域的而右侧边界a2时，前分区图像A的图像融合权重为0，右分区图像B的图像融合权重为1。
示例性地，图4是本发明实施例提供的一种A、B图像重叠区域每行像素的权重变化曲线示意图，以图像重叠区域AB为例，根据重叠区域内的图像的每个像素点的坐标的位置计算图像融合权重的公式如下：
A图的融合权重为：（1）
B图的融合权重为：（2）
其中，W表示R、G、B通道下的接缝区域的宽度。
S54、根据融合权重，计算重叠区域内图像的融合图像。
S541、根据重叠区域内的重叠图像像素点对应的两个待拼接图像为重叠图像像素点分别赋予在R、G、B通道下两个图像对应的RGB像素值。
具体的，根据重叠区域内的重叠图像像素点对应的两个待拼接图像的R、G、B分量为重叠图像像素点分别赋予在R、G、B通道下两个待拼接图像对应的RGB像素值。
S542、根据图像融合权重和RGB像素值得到每个重叠图像像素点在R、G、B通道下的融合图像。
具体的，根据图像融合权重c1、c2和RGB像素值得到每个重叠图像像素点在R、G、B通道下的融合图像。以AB图像重叠区域1为例，每个重叠图像像素点的融合图像的计算公式为：
（3）
其中，I为重叠图像像素点的融合图像，c1为前分区图像A的重叠图像像素点的图像融合权重，c2为右分区图像B的重叠图像像素点的图像融合权重，A为前分区图像A中该重叠图像像素点在R、G、B通道下的RGB像素值，即R、G、B分量，B为右分区图像B中该重叠图像像素点在R、G、B通道下的RGB像素值，即R、G、B分量。
S543、将每个重叠图像像素点在R、G、B通道下的融合图像进行叠加得到重叠区域内图像的融合图像。
具体的，分别获取在R、G、B通道下每个重叠图像像素点的融合图像，并将R、G、B通道下的所有重叠图像像素点的融合图像进行叠加，得到重叠区域内图像的融合图像。
本发明实施例中，通过在图像的重叠区域中定义拼接区域并进一步定义接缝区域，且接缝区域的边界动态变化，从而实现接缝线两侧的图像逐渐过渡，弱化了接缝区域，减少了融合图像的突变和畸变；同时，为图像的RGB通道赋予不同的融合权重，使图像融合更加自然，保留丰富的全局和局部图像特征。
图5是本发明实施例提供的一种电子设备的结构示意图，电子设备500包括一个或多个处理器501和存储器502。
处理器501可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备500中的其他组件以执行期望的功能。
存储器502可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器501可以运行所述程序指令，以实现上文所说明的本申请任意实施例的一种用于全景汽车的图像拼接融合方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如初始外参、阈值等各种内容。
在一个示例中，电子设备500还可以包括：输入装置503和输出装置504，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。该输入装置503可以包括例如键盘、鼠标等等。该输出装置504可以向外部输出各种信息，包括预警提示信息、制动力度等。该输出装置504可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图5中仅示出了该电子设备500中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备500还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本申请任意实施例所提供的一种用于全景汽车的图像拼接融合方法的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本申请任意实施例所提供的一种用于全景汽车的图像拼接融合方法的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要说明的是，本发明所用术语仅为了描述特定实施例，而非限制本申请范围。如本发明说明书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
还需说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案。

Claims (9)

1.一种用于全景汽车的图像拼接融合方法，其特征在于，包括如下步骤：
S1、采集待拼接图像：通过车载摄像头分别采集车辆前分区图像、后分区图像、左分区图像、右分区图像；
S2、确定采集待拼接图像的重叠区域：根据采集到的所述前分区图像、后分区图像、左分区图像、右分区图像确定相邻分区图像之间的重叠图像，确定重叠区域；
S3、在每个所述重叠区域中，确定所述重叠区域的拼接区域和接缝线：以所述重叠区域的中线为基准，向左右两侧分别延伸m/2宽度形成所述拼接区域的两侧边界b1,b2，所述拼接区域的宽度m小于等于所述重叠区域的宽度；所述接缝线位于所述拼接区域内，所述接缝线为不与所述拼接区域的两侧边界b1,b2垂直的线，且所述接缝线与平行于所述拼接区域的两侧边界b1,b2方向的任意直线均只有唯一交点；
S4、在每个所述拼接区域中，确定接缝区域：根据所述拼接图像的RGB比例关系和所述拼接区域的宽度m分别确定R、G、B通道下接缝区域的宽度，根据所述接缝线和R、G、B通道下接缝区域的宽度确定R、G、B通道下的接缝区域；
S5、确定融合权重，实现所述重叠图像的拼接融合：根据所述重叠图像像素点的坐标与R、G、B通道下的接缝区域的位置关系，确定所述重叠图像像素点的融合权重，根据所述融合权重，实现所述重叠图像的拼接融合；
S51、判断所述重叠图像像素点的坐标是否位于所述R、G、B通道下的接缝区域内；
S52、若所述重叠图像像素点的坐标位于所述R、G、B通道下的接缝区域内，分别计算在R、G、B通道下，所述像素点的坐标到此行所述接缝区域的可调左边界和可调右边界的坐标的欧式距离，根据所述欧式距离和在R、G、B通道下所述接缝区域的宽度分别计算在R、G、B通道下所述重叠图像像素点的图像融合权重；
S53、若所述重叠图像像素点的坐标位于所述R、G、B通道下的接缝区域外，根据所述重叠图像像素点的坐标的位置选择对应的预设图像融合权重；
S54、根据所述融合权重，计算所述重叠区域内图像的融合图像。
2. 根据权利要求1所述的一种用于全景汽车的图像拼接融合方法，其特征在于，所述S2中, 根据采集到的所述前分区图像、后分区图像、左分区图像、右分区图像确定相邻分区图像之间的重叠图像，确定重叠区域,进一步包括：
将各所述重叠区域通过区域坐标变换，映射到同一个重叠区域，形成坐标变换后的重叠区域；其中，将坐标变换后的重叠区域的下边界作为x轴，左边界作为y轴，建立X-Y直角坐标系，所述重叠区域的宽度为d。
3.根据权利要求1所述的一种用于全景汽车的图像拼接融合方法，其特征在于，所述S3中，所述接缝线为不与所述拼接区域的两侧边界b1,b2垂直的线，且所述接缝线与平行于所述拼接区域的两侧边界b1,b2方向的任意直线均只有唯一交点具体包括：
前分区图像与右分区图像重叠区域以及后分区图像与左分区图像重叠区域的接缝线的起点位于所述拼接区域的左下方，终点位于所述拼接区域的右上方；前分区图像与左分区图像重叠区域以及后分区图像与右分区图像重叠区域的接缝线的起点位于所述拼接区域的左上方，终点位于所述拼接区域的右下方。
4.根据权利要求1所述的一种用于全景汽车的图像拼接融合方法，其特征在于，所述S4中，根据所述拼接图像的RGB比例关系和所述拼接区域的宽度m分别确定R、G、B通道下接缝区域的宽度，具体包括：
当所述拼接图像的RGB比例关系为a:b:c，则所述R、G、B通道下接缝区域的宽度的计算公式如下：
WR=[a/(a+b+c)]×m，
WG=[b/(a+b+c)]×m，
WB=[c/(a+b+c)]×m，
其中，WR为R通道下接缝区域的宽度，WG为G通道下接缝区域的宽度，WB为B通道下接缝区域的宽度。
5.根据权利要求4所述的一种用于全景汽车的图像拼接融合方法，其特征在于，所述S4中，根据所述接缝线和R、G、B通道下接缝区域的宽度确定R、G、B通道下的接缝区域，具体包括：
S41、以所述接缝线的每行像素的中心像素为起始点，向两侧各延长所述R、G、B通道下接缝区域的宽度的1/2宽度，分别得到R、G、B通道下每行所述接缝区域的两侧边界的坐标点；
S42、将R、G、B通道下每行所述接缝区域两侧边界的坐标点围成的区域作为R、G、B通道下的接缝区域。
6.根据权利要求5所述的一种用于全景汽车的图像拼接融合方法，其特征在于：
所述S41中，当该行的所述R、G、B通道下的接缝区域的边界坐标超出所述拼接区域的范围时，以所述拼接区域的坐标作为所述R、G、B通道下的接缝区域的坐标。
7.根据权利要求1所述的一种用于全景汽车的图像拼接融合方法，其特征在于，所述步骤S54中，所述根据所述融合权重，计算所述重叠区域内图像的融合图像包括：
S541、根据所述重叠区域内的重叠图像像素点对应的两个待拼接图像为所述重叠图像像素点分别赋予在R、G、B通道下两个待拼接图像对应的RGB像素值；
S542、根据所述图像融合权重和所述RGB像素值得到每个重叠图像像素点在R、G、B通道下的融合图像；
S543、将所述每个重叠图像像素点在R、G、B通道下的融合图像进行叠加得到所述重叠区域内图像的融合图像。
8.一种电子设备，其特征在于，所述电子设备包括：
处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至7任一项所述的一种用于全景汽车的图像拼接融合方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至7任一项所述的一种用于全景汽车的图像拼接融合方法的步骤。
CN202311242958.7A 2023-09-26 2023-09-26 用于全景汽车的图像拼接融合方法、电子设备及介质 Active CN116993591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311242958.7A CN116993591B (zh) 2023-09-26 2023-09-26 用于全景汽车的图像拼接融合方法、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311242958.7A CN116993591B (zh) 2023-09-26 2023-09-26 用于全景汽车的图像拼接融合方法、电子设备及介质

Publications (2)

Publication Number Publication Date
CN116993591A CN116993591A (zh) 2023-11-03
CN116993591B true CN116993591B (zh) 2024-01-02

Family

ID=88530469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311242958.7A Active CN116993591B (zh) 2023-09-26 2023-09-26 用于全景汽车的图像拼接融合方法、电子设备及介质

Country Status (1)

Country Link
CN (1) CN116993591B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574339A (zh) * 2015-02-09 2015-04-29 上海安威士科技股份有限公司 一种用于视频监控的多尺度柱面投影全景图像生成方法
CN107203965A (zh) * 2016-03-18 2017-09-26 中国科学院宁波材料技术与工程研究所 一种基于多通道图像融合的全景图像拼接方法
CN108510445A (zh) * 2018-03-30 2018-09-07 长沙全度影像科技有限公司 一种全景图像拼接方法
CN110223226A (zh) * 2019-05-07 2019-09-10 中国农业大学 全景图像拼接方法及系统
CN111047510A (zh) * 2019-12-17 2020-04-21 大连理工大学 一种基于标定的大视场角图像实时拼接方法
CN111798540A (zh) * 2020-05-25 2020-10-20 青海大学 图像融合方法和系统
CN113962859A (zh) * 2021-10-26 2022-01-21 北京有竹居网络技术有限公司 一种全景图生成方法、装置、设备及介质
CN113989112A (zh) * 2021-09-14 2022-01-28 武汉光庭信息技术股份有限公司 一种环视图像融合拼接方法、装置、电子设备及存储介质
CN116109681A (zh) * 2023-02-08 2023-05-12 湖南国科微电子股份有限公司 图像融合方法、装置、电子设备及可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574339A (zh) * 2015-02-09 2015-04-29 上海安威士科技股份有限公司 一种用于视频监控的多尺度柱面投影全景图像生成方法
CN107203965A (zh) * 2016-03-18 2017-09-26 中国科学院宁波材料技术与工程研究所 一种基于多通道图像融合的全景图像拼接方法
CN108510445A (zh) * 2018-03-30 2018-09-07 长沙全度影像科技有限公司 一种全景图像拼接方法
CN110223226A (zh) * 2019-05-07 2019-09-10 中国农业大学 全景图像拼接方法及系统
CN111047510A (zh) * 2019-12-17 2020-04-21 大连理工大学 一种基于标定的大视场角图像实时拼接方法
CN111798540A (zh) * 2020-05-25 2020-10-20 青海大学 图像融合方法和系统
CN113989112A (zh) * 2021-09-14 2022-01-28 武汉光庭信息技术股份有限公司 一种环视图像融合拼接方法、装置、电子设备及存储介质
CN113962859A (zh) * 2021-10-26 2022-01-21 北京有竹居网络技术有限公司 一种全景图生成方法、装置、设备及介质
CN116109681A (zh) * 2023-02-08 2023-05-12 湖南国科微电子股份有限公司 图像融合方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN116993591A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
EP2285109B1 (en) Vehicle image processor, and vehicle image processing system
JP5884439B2 (ja) 車両周辺監視用画像生成装置
CN112009371B (zh) 车内后视镜全视野动态显示方法、存储介质及电子设备
CN109389650A (zh) 一种车载相机的标定方法、装置、车辆和存储介质
JP2013110712A5 (zh)
EP2590397A2 (en) Automatic image equalization for surround-view video camera systems
CN112224132A (zh) 一种车用全景环视障碍物预警方法
EP4339938A1 (en) Projection method and apparatus, and vehicle and ar-hud
KR102057021B1 (ko) 패널 변환
CN113256739B (zh) 车载bsd摄像头的自标定方法、设备和存储介质
CN114913506A (zh) 一种基于多视角融合的3d目标检测方法及装置
KR102124298B1 (ko) 후방 교차 교통-퀵 룩스
CN116993591B (zh) 用于全景汽车的图像拼接融合方法、电子设备及介质
EP4068220A1 (en) Image processing device, image processing method, moving device, and storage medium
JP7075273B2 (ja) 駐車支援装置
Yeh et al. Driver assistance system providing an intuitive perspective view of vehicle surrounding
CN112435161A (zh) 全景环视图像拼接方法及系统、电子设备和存储介质
CN115861080B (zh) 环视透明车底图像的拼接方法和终端设备
CN110400255B (zh) 车辆全景影像的生成方法、系统和车辆
JP5305750B2 (ja) 車両周辺表示装置およびその表示方法
CN116486351A (zh) 行车预警方法、装置、设备及存储介质
JP5754214B2 (ja) 画像処理装置および画像処理プログラム
CN112389459B (zh) 基于全景环视的人机交互方法及装置
CN113516733B (zh) 一种填充车底盲区的方法和系统
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant