CN116051379A - Avm图像融合方法及装置、车辆、可读存储介质 - Google Patents

Avm图像融合方法及装置、车辆、可读存储介质 Download PDF

Info

Publication number
CN116051379A
CN116051379A CN202310091620.XA CN202310091620A CN116051379A CN 116051379 A CN116051379 A CN 116051379A CN 202310091620 A CN202310091620 A CN 202310091620A CN 116051379 A CN116051379 A CN 116051379A
Authority
CN
China
Prior art keywords
image
view projection
projection images
adjacent
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310091620.XA
Other languages
English (en)
Inventor
曾鑫
赵龙
王光甫
贾澜鹏
谭竞扬
叶年进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Wall Motor Co Ltd
Original Assignee
Great Wall Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Motor Co Ltd filed Critical Great Wall Motor Co Ltd
Priority to CN202310091620.XA priority Critical patent/CN116051379A/zh
Publication of CN116051379A publication Critical patent/CN116051379A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种AVM图像融合方法及装置、车辆、可读存储介质，本发明属于车辆技术领域，该AVM图像融合方法包括：获取车辆多个视角的鸟瞰投影图像；根据车辆的行驶场景确定每两个相邻视角的鸟瞰投影图像的拼接缝位置；基于每两个相邻视角的鸟瞰投影图像的拼接缝位置对每两个相邻视角的鸟瞰投影图像进行融合，得到所述车辆对应的全景影像。本发明通过动态的拼接缝方案实现了AVM图像融合方案的动态调整，进而使得本发明提供的全景影像能够适应多样化的行驶场景，更好地满足用户需求，方便用户行驶。

Description

AVM图像融合方法及装置、车辆、可读存储介质
技术领域
本发明属于车辆技术领域，更具体地说，是涉及一种AVM图像融合方法及装置、车辆、可读存储介质。
背景技术
AVM(Around View Monitoring，全车影像系统)已经广泛应用于辅助驾驶、自动驾驶领域。该系统包含多个鱼眼相机，其可通过联合标定多个鱼眼相机间的位姿、基于位姿信息对鱼眼相机的图像进行处理得到全景影像来为用户提供更多的车身周围信息。其中，AVM系统中最重要的过程之一即为AVM图像融合过程，在此过程中会对各个鱼眼相机对应的鸟瞰投影图像进行融合，得到全景影像。现有技术实现此过程时，通常会预先确定一融合方案，后续基于确定的融合方案进行图像融合。
然而，现有技术中基于一确定的融合方案进行图像融合的效果有时并不理想，导致不能很好地满足用户的需求，在实际驾驶过程中会给用户带来不便。
发明内容
本发明的目的在于提供一种AVM图像融合方法及装置、车辆、可读存储介质，以解决现有技术中图像融合的效果有时并不理想，导致给用户带来不便的问题。
本发明实施例的第一方面，提供了一种AVM图像融合方法，包括：
获取车辆多个视角的鸟瞰投影图像；
根据车辆的行驶场景确定每两个相邻视角的鸟瞰投影图像的拼接缝位置；
基于每两个相邻视角的鸟瞰投影图像的拼接缝位置对每两个相邻视角的鸟瞰投影图像进行融合，得到所述车辆对应的全景影像。
在一种可能的实现方式中，每两个相邻视角的鸟瞰投影图像都对应多个预设的拼接缝位置；根据车辆的行驶场景确定所述两个相邻视角的鸟瞰投影图像的拼接缝位置，包括：
根据车辆的行驶场景从所述多个预设的拼接缝位置中选取一目标拼接缝位置，将所述目标拼接缝位置确定为所述两个相邻视角的鸟瞰投影图像的拼接缝位置。
在一种可能的实现方式中，每两个相邻视角的鸟瞰投影图像都对应：
预设的第一拼接缝位置、第二拼接缝位置和第三拼接缝位置；
所述第一拼接缝位置为第一鸟瞰投影图像与第二鸟瞰投影图像的重叠区域的中心线位置；其中，所述第一鸟瞰投影图像与所述第二鸟瞰投影图像为所述多个视角的鸟瞰投影图像中任意两个相邻视角的鸟瞰投影图像；
所述第二拼接缝位置和所述第三拼接缝位置分别为所述中心线位置两侧的位置。
在一种可能的实现方式中，所述基于每两个相邻视角的鸟瞰投影图像的拼接缝位置对每两个相邻视角的鸟瞰投影图像进行融合，得到所述车辆对应的全景影像，包括：
基于每两个相邻视角的鸟瞰投影图像的拼接缝位置确定每两个相邻视角的鸟瞰投影图像的融合区域，并确定所述融合区域内各个像素点的融合权重；
基于所述各个像素点的融合权重对每两个相邻视角的鸟瞰投影图像进行融合，得到所述车辆对应的全景影像。
在一种可能的实现方式中，所述AVM融合方法还包括：为每个预设拼接缝位置对应生成一个掩膜mask图像；
所述基于每两个相邻视角的鸟瞰投影图像的拼接缝位置确定每两个相邻视角的鸟瞰投影图像的融合区域，包括：
基于每两个相邻视角的鸟瞰投影图像的拼接缝位置确定每两个相邻视角的鸟瞰投影图像对应的掩膜mask图像；
基于每两个相邻视角的鸟瞰投影图像对应的掩膜mask图像确定每两个相邻视角的鸟瞰投影图像的融合区域。
在一种可能的实现方式中，每两个相邻视角的鸟瞰投影图像的融合区域的融合图像由第一图像和第二图像加权融合得到；
所述第一图像为第一鸟瞰投影图像中与第二鸟瞰投影图像重叠的图像，所述第二图像为第二鸟瞰投影图像中与第一鸟瞰投影图像重叠的图像，所述第一鸟瞰投影图像与所述第二鸟瞰投影图像为所述多个视角的鸟瞰投影图像中任意两个相邻视角的鸟瞰投影图像。
在一种可能的实现方式中，所述每个像素点的融合权重包括第一权重和第二权重；所述第一权重与所述第二权重之和为1，所述第一权重对应每个像素点在所述第一图像中的分量取值，所述第二权重对应每个像素点在所述第二图像中的分量取值；
所述确定所述融合区域内各个像素点的融合权重，包括：
根据所述融合区域内各个像素点的目标距离确定各个像素点的第一权重；
其中，各个像素点的目标距离为各个像素点与所述融合区域中目标边界线的距离，所述目标边界线为所述融合区域中靠近所述第一鸟瞰投影图像的边界线，所述各个像素点的第一权重与各个像素点的目标距离负相关；
根据各个像素点的第一权重确定各个像素点的第二权重。
本发明实施例的第二方面，提供了一种AVM图像融合装置，包括：
数据获取模块，用于获取车辆多个视角的鸟瞰投影图像；
拼接缝确定模块，用于根据车辆的行驶场景确定每两个相邻视角的鸟瞰投影图像的拼接缝位置；
图像融合模块，用于基于每两个相邻视角的鸟瞰投影图像的拼接缝位置对每两个相邻视角的鸟瞰投影图像进行融合，得到所述车辆对应的全景影像。
本发明实施例的第三方面，提供了一种车辆，所述车辆包括处理终端，所述处理终端包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的AVM图像融合方法的步骤。
本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的AVM图像融合方法的步骤。
本发明实施例提供的AVM图像融合方法及装置、车辆、可读存储介质的有益效果在于：
本申请的发明人发现，现有技术中的图像融合效果有时不够理想是由于车辆的行驶场景是多样化的，而现有技术的融合方案却是单一的。车辆会转弯以及倒车、车辆行驶时可能会遇到遮挡物，在前述各个示例场景下，仅使用一单一化的融合方案可能会导致需着重显示的车身周围图像在图像融合过程中无法得到有效显示，进而导致图像融合效果不理想，并不能很好地满足用户的需求，在实际驾驶过程中会给用户带来不便。基于本申请发明人的发现，区别于现有技术中仅使用一单一化的融合方案进行图像融合的方法，本发明实施例会根据车辆的行驶场景去确定每两个相邻视角的鸟瞰投影图像的拼接缝位置，从而使得拼接缝位置能够根据车辆的行驶场景自适应调整，保证需着重显示的车身周围图像在图像融合过程中得到有效显示，从而有效解决现有技术的问题。也即，本发明实施例通过动态的拼接缝方案实现了AVM图像融合方案的动态调整，进而使得本发明实施例提供的全景影像能够适应多样化的行驶场景，在各个行驶场景下均获得更为理想的图像融合效果，从而更好地满足用户需求，方便用户行驶。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的AVM图像融合方法的流程示意图；
图2为本发明一实施例提供的鱼眼相机在车辆上的布置示意图；
图3为本发明一实施例提供的鱼眼相机的标定示意图；
图4为本发明一实施例提供的标定板对应的鸟瞰投影图像的示意图；
图5为本发明一实施例提供的第一拼接缝位置的示意图；
图6为本发明一实施例提供的第二拼接缝位置的示意图；
图7为本发明一实施例提供的第三拼接缝位置的示意图；
图8为本发明一实施例提供的现有技术在倒车场景下的全景影像示意图；
图9为本发明一实施例提供的本发明实施例在倒车场景下的全景影像示意图；
图10为本发明一实施例提供的拼接缝朝向示意图；
图11为本发明一实施例提供的现有技术的掩膜mask图像；
图12为本发明一实施例提供的本发明实施例的掩膜mask图像；
图13为本发明一实施例提供的AVM图像融合装置的结构框图；
图14为本发明一实施例提供的处理终端的示意框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。
请参考图1，图1为本发明一实施例提供的AVM图像融合方法的流程示意图，该方法包括：
S101：获取车辆多个视角的鸟瞰投影图像。
在本实施例中，可预先对车辆上各个鱼眼相机间的位姿进行标定，得到鱼眼相机拍摄图像至鸟瞰投影图像的转换矩阵。在此基础上，在获得鱼眼相机的拍摄图像后，基于拍摄图像以及预先确定的转换矩阵即可得到车辆多个视角的鸟瞰投影图像。其中，具体示例可参考图2至图4，图2中车辆上设置了四个鱼眼相机(对应图2的白色圆形部分)，其中，图2左侧的三个白色圆形从上至下分别为用于拍摄车辆右侧图像的右鱼眼相机、用于拍摄车辆前侧图像的前鱼眼相机、用于拍摄车辆左侧图像的左鱼眼相机，图2右侧的白色圆形为用于拍摄车辆后侧图像的后鱼眼相机。在此基础上，可参考图3，可在鱼眼相机的对应位置设置标定板，以对各个鱼眼相机间的位姿进行标定。基于标定板上的特征点可计算得到鱼眼相机拍摄图像至鸟瞰投影图像之间的转换矩阵。确定转换矩阵后，可得到如图4所示的(设置标定板时的)鸟瞰投影图像。
S102：根据车辆的行驶场景确定每两个相邻视角的鸟瞰投影图像的拼接缝位置。
在本实施例中，可预先构建映射关系，该映射关系为行驶场景与每两个相邻视角的拼接缝位置之间的对应关系。在此基础上，可基于预先构建的映射关系确定每两个相邻视角的鸟瞰投影图像的拼接缝位置。
在本实施例中，拼接缝位置可根据行驶场景自适应设置，也可由用户手动选择，本实施例不作限定。也就是说，步骤S102也可以为获取用户输入的每两个相邻视角的鸟瞰投影图像的拼接缝位置。
S103：基于每两个相邻视角的鸟瞰投影图像的拼接缝位置对每两个相邻视角的鸟瞰投影图像进行融合，得到车辆对应的全景影像。
在本实施例中，确定每两个相邻视角鸟瞰投影图像的拼接缝位置后，可对前述多个视角的鸟瞰投影图像进行两两融合，得到车辆对应的全景影像。
本申请的发明人发现，现有技术中的图像融合效果有时不够理想是由于车辆的行驶场景是多样化的，而现有技术的融合方案却是单一的。车辆会转弯以及倒车、车辆行驶时可能会遇到遮挡物，在前述各个示例场景下，仅使用一单一化的融合方案可能会导致需着重显示的车身周围图像在图像融合过程中无法得到有效显示，进而导致图像融合效果不理想，并不能很好地满足用户的需求，在实际驾驶过程中会给用户带来不便。基于本申请发明人的发现，，区别于现有技术中仅使用一单一化的融合方案进行图像融合的方法，本发明实施例会根据车辆的行驶场景去确定每两个相邻视角的鸟瞰投影图像的拼接缝位置，从而使得拼接缝位置能够根据车辆的行驶场景自适应调整，保证需着重显示的车身周围图像在图像融合过程中得到有效显示，从而有效解决现有技术的问题。也即，本发明实施例通过动态的拼接缝方案实现了AVM图像融合方案的动态调整，进而使得本发明实施例提供的全景影像能够适应多样化的行驶场景，在各个行驶场景下均获得更为理想的图像融合效果，从而更好地满足用户需求，方便用户行驶。
在一种可能的实现方式中，每两个相邻视角的鸟瞰投影图像都对应多个预设的拼接缝位置。根据车辆的行驶场景确定两个相邻视角的鸟瞰投影图像的拼接缝位置，包括：
根据车辆的行驶场景从多个预设的拼接缝位置中选取一目标拼接缝位置，将目标拼接缝位置确定为两个相邻视角的鸟瞰投影图像的拼接缝位置。
在本实施例中，可以为每两个相邻视角都预先设置多个拼接缝位置。比如，以图2中鱼眼相机的布置为例，可以为前鱼眼相机与左鱼眼相机预设多个拼接缝位置，为前鱼眼相机与右鱼眼相机预设多个拼接缝位置，为后鱼眼相机与左鱼眼相机预设多个拼接缝位置，为后鱼眼相机与右鱼眼相机预设多个拼接缝位置。在此基础上，确定当前图像融合时所采用的前鱼眼相机(对应的鸟瞰投影图像)与左鱼眼相机(对应的鸟瞰投影图像)的拼接缝位置时，可根据车辆的行驶场景从预设的多个拼接缝位置中选择一拼接缝位置作为当前的前鱼眼相机与左鱼眼相机的拼接缝位置。在此基础上，可逐渐得到所有相邻视角的鸟瞰投影图像对应的拼接缝位置。
在一种可能的实现方式中，每两个相邻视角的鸟瞰投影图像都对应：
预设的第一拼接缝位置、第二拼接缝位置和第三拼接缝位置。
第一拼接缝位置为第一鸟瞰投影图像与第二鸟瞰投影图像的重叠区域的中心线位置。其中，第一鸟瞰投影图像与第二鸟瞰投影图像为多个视角的鸟瞰投影图像中任意两个相邻视角的鸟瞰投影图像。
第二拼接缝位置和第三拼接缝位置分别为中心线位置两侧的位置。
为了更好地理解本实施例的方案，本实施例给出了具体示例，以第一鸟瞰投影图像为车辆前鱼眼相机对应鸟瞰投影图像、第二鸟瞰投影图像为车辆左鱼眼相机对应鸟瞰投影图像为例，图5至图7给出了拼接缝位置的示意图，其中第一拼接缝位置可参考图5，第二拼接缝位置可参考图6，第三拼接缝位置可参考图7。图5至图7中，方框区域可表示第一鸟瞰投影图像和第二鸟瞰投影图像的重叠区域，虚线位置即代表拼接缝位置，方框区域中除A区域和B区域之外的区域即为第一鸟瞰投影图像和第二鸟瞰投影图像的融合区域，A区域表示第一鸟瞰投影图像中的某一区域，B区域表示第二鸟瞰投影图像中的某一区域。
如图5至图7所示的，对于每两个相邻视角而言，可预先设置三类拼接缝位置，第一拼接缝位置可设置于第一鸟瞰投影图像与第二鸟瞰投影图像的重叠区域的中间位置，第二拼接缝位置可设置于前述重叠区域中更靠近第一鸟瞰投影图像的位置，第三拼接缝位置可设置于前述重叠区域中更靠近第二鸟瞰投影图像的位置。在此基础上，可根据车辆的行驶场景适应性选取对应的拼接缝位置进行图像融合，以避免需着重显示的车身周围图像在图像融合过程中得不到有效显示。
在本实施例中，还给出了一种具体示例来说明本实施例的效果，本发明背景技术提到，现有技术通常使用的是一单一化的融合方案，比如，现有技术中在进行鸟瞰投影图像的融合时固定采用的是第一拼接缝位置，在此基础上，如图8所示，图8给出了一种车辆的行驶场景，图8中车辆正在倒车，车辆后方左侧位置有一行人，若固定采用的是第一拼接缝位置，则最后图像融合得到的全景影像就无法将前述行人很好地显示出来，这显然不利于用户的行驶。而采用本发明实施例中的动态拼接缝方案，在进行左下方的图像融合(也即左鱼眼相机和后鱼眼相机的鸟瞰投影图像的融合)时，可选择拼接缝朝外的拼接缝位置，如图9所示，进而使得前述行人更好地被显示出来。其中，关于拼接缝的朝向可参考图10，图10中1为每两个相邻视角的鸟瞰投影图像的重叠区域的中间线位置(或者说中间位置)，当拼接缝位置相对于前述中间线位置更偏向于车辆外侧时，则该拼接缝位置是朝外的，也即图10中3即为朝外的拼接缝位置。同理，当拼接缝位置相对于前述中间线位置更偏向于车辆内侧时，则该拼接缝位置是朝内的，也即图10中2即为朝内的拼接缝位置。
在本实施例中，预设的拼接缝位置也可以包含更多，比如，可按照预设步长在第一鸟瞰投影图像与第二鸟瞰投影图像的重叠区域内设置多条等距离的拼接缝，也即按照预设步长在前述重叠区域内设置多个等距离的拼接缝位置，以适应更多的场景。
在上述示例的基础上，前述实施例提到，可预先构建映射关系，该映射关系为行驶场景与每两个相邻视角的拼接缝位置之间的对应关系。其中，该映射关系可以包括：
当车辆倒车时，设置左后方和右后方的拼接缝都是朝外的，进而可以更好地显示后方场景，避免撞到行人或其他遮挡物。其中，前方的拼接缝位置可以为默认的拼接缝位置，比如前述中间线位置。
当车辆左转弯时，可设置左前方的拼接缝是朝外的，以更好的显示左前方情形。其中，右前方、后方的拼接缝位置可以为默认的拼接缝位置，比如前述中间线位置。
当车辆右转弯时，可设置右前方的拼接缝是朝外的，以更好的显示右前方情形。其中，左前方、后方的拼接缝位置可以为默认的拼接缝位置，比如前述中间线位置。
当车辆直行时，所有拼接缝位置均可以为默认的拼接缝位置，比如前述中间线位置。
也就是说，本发明实施例可通过车身传感器采集的数据确定车辆的行驶场景，进而来实现各个方位拼接缝位置的自适应组合变化，具备较强的灵活性和实用性，可使用户拥有更好的视觉和驾驶体验。
在一种可能的实现方式中，基于每两个相邻视角的鸟瞰投影图像的拼接缝位置对每两个相邻视角的鸟瞰投影图像进行融合，得到车辆对应的全景影像，包括：
基于每两个相邻视角的鸟瞰投影图像的拼接缝位置确定每两个相邻视角的鸟瞰投影图像的融合区域，并确定融合区域内各个像素点的融合权重。
基于各个像素点的融合权重对每两个相邻视角的鸟瞰投影图像进行融合，得到车辆对应的全景影像。
在本实施例中，确定拼接缝位置后，可确定每两个相邻视角的鸟瞰投影图像的融合区域。其中，融合区域为每两个相邻视角的鸟瞰投影图像进行图像融合的区域，其在两个相邻视角的鸟瞰投影图像的重叠区域之内，可以为重叠区域的子集，也可以为全部的重叠区域。
在本实施例中，某个像素点的融合权重指的是该像素点在第一鸟瞰投影图像取值的权重和该像素点在第二鸟瞰投影图像取值的权重。
在本实施例中，确定融合区域后，可基于融合权重计算融合区域内每个像素点的取值，进而实现融合区域内的图像融合，也即实现每两个相邻视角的鸟瞰投影图像的融合。
在一种可能的实现方式中，AVM融合方法还包括：为每个预设拼接缝位置对应生成一个掩膜mask图像。
基于每两个相邻视角的鸟瞰投影图像的拼接缝位置确定每两个相邻视角的鸟瞰投影图像的融合区域，包括：
基于每两个相邻视角的鸟瞰投影图像的拼接缝位置确定每两个相邻视角的鸟瞰投影图像对应的掩膜mask图像。
基于每两个相邻视角的鸟瞰投影图像对应的掩膜mask图像确定每两个相邻视角的鸟瞰投影图像的融合区域。
在本实施例中，可以预先为每个预设拼接缝位置生成一个掩膜mask图像，该掩膜mask图像主要用于划定融合区域。
本发明背景技术提到，现有技术最通常使用的是一单一化的融合方案，比如，现有技术中在进行鸟瞰投影图像的融合时固定采用的是第一拼接缝位置，车辆上设置由前后左右四个鱼眼相机，在此基础上，车辆每个方位的掩膜mask图像可如图11所示。而根据本发明实施例的方案，本发明预设了多种拼接缝位置，以图5至图7的拼接缝位置为例，图5至图7的拼接缝对应的掩膜mask图像如图12所示，图12中从左至右依次为图5的掩膜mask图像、图6的掩膜mask图像、图7的掩膜mask图像。基于掩膜mask图像，即可实现每两个相邻视角的鸟瞰投影图像的融合区域的提取。
在一种可能的实现方式中，每两个相邻视角的鸟瞰投影图像的融合区域的融合图像由第一图像和第二图像加权融合得到。
第一图像为第一鸟瞰投影图像中与第二鸟瞰投影图像重叠的图像，第二图像为第二鸟瞰投影图像中与第一鸟瞰投影图像重叠的图像，第一鸟瞰投影图像与第二鸟瞰投影图像为多个视角的鸟瞰投影图像中任意两个相邻视角的鸟瞰投影图像。
在本实施例中，第一图像和第二图像的加权融合也可以理解为同一像素点在第一图像中的RGB值和在第二图像中的RGB值的加权融合，通过像素点RGB值的加权融合即可得到融合区域内的融合图像。
在一种可能的实现方式中，每个像素点的融合权重包括第一权重和第二权重。第一权重与第二权重之和为1，第一权重对应每个像素点在第一图像中的分量取值，第二权重对应每个像素点在第二图像中的分量取值。
确定融合区域内各个像素点的融合权重，包括：
根据融合区域内各个像素点的目标距离确定各个像素点的第一权重。
其中，各个像素点的目标距离为各个像素点与融合区域中目标边界线的距离，目标边界线为融合区域中靠近第一鸟瞰投影图像的边界线，各个像素点的第一权重与各个像素点的目标距离负相关。
根据各个像素点的第一权重确定各个像素点的第二权重。
在本实施例中，以图5至图7为例，A区域表示第一鸟瞰投影图像中的某一区域，B区域表示第二鸟瞰投影图像中的某一区域。“各个像素点的第一权重与各个像素点的目标距离负相关”也可以理解为：融合区域内的某个像素点距离A区域边界越近，则第一鸟瞰投影图像所对应的权重越大，融合区域内的某个像素点距离B区域边界越近，则第二鸟瞰投影图像所对应的权重越大。
在本实施例中，融合区域内各个像素点的融合RGB值可以为：P＝P1*k+P2*(1-k)，其中，P为前述融合RGB值，P1为第一图像中像素点的RGB值，P2为第二图像中像素点的RGB值，k1为第一权重，1-k1为第二权重。
在本实施例中，以车辆包含前后左右四个鱼眼相机为例，各个像素点的第一权重也可与各个像素点对应的夹角负相关。每个像素点对应的夹角指的是该像素点与目标点的连线与上述目标边界线的较小夹角。其中，目标点指的是上述重叠区域中更靠近车辆的顶点，也即图5至图7中右下角的点。
对应于上文实施例的AVM图像融合方法，图13为本发明一实施例提供的AVM图像融合装置的结构框图。为了便于说明，仅示出了与本发明实施例相关的部分。参考图13，该AVM图像融合装置20包括：数据获取模块21、拼接缝确定模块22和图像融合模块23。
其中，数据获取模块21，用于获取车辆多个视角的鸟瞰投影图像。
拼接缝确定模块22，用于根据车辆的行驶场景确定每两个相邻视角的鸟瞰投影图像的拼接缝位置。
图像融合模块23，用于基于每两个相邻视角的鸟瞰投影图像的拼接缝位置对每两个相邻视角的鸟瞰投影图像进行融合，得到车辆对应的全景影像。
在一种可能的实现方式中，每两个相邻视角的鸟瞰投影图像都对应多个预设的拼接缝位置。拼接缝确定模块22具体用于：
根据车辆的行驶场景从多个预设的拼接缝位置中选取一目标拼接缝位置，将目标拼接缝位置确定为两个相邻视角的鸟瞰投影图像的拼接缝位置。
在一种可能的实现方式中，每两个相邻视角的鸟瞰投影图像都对应：
预设的第一拼接缝位置、第二拼接缝位置和第三拼接缝位置。
第一拼接缝位置为第一鸟瞰投影图像与第二鸟瞰投影图像的重叠区域的中心线位置。其中，第一鸟瞰投影图像与第二鸟瞰投影图像为多个视角的鸟瞰投影图像中任意两个相邻视角的鸟瞰投影图像。
第二拼接缝位置和第三拼接缝位置分别为中心线位置两侧的位置。
在一种可能的实现方式中，图像融合模块23具体用于：
基于每两个相邻视角的鸟瞰投影图像的拼接缝位置确定每两个相邻视角的鸟瞰投影图像的融合区域，并确定融合区域内各个像素点的融合权重。
基于各个像素点的融合权重对每两个相邻视角的鸟瞰投影图像进行融合，得到车辆对应的全景影像。
在一种可能的实现方式中，图像融合模块23还用于：为每个预设拼接缝位置对应生成一个掩膜mask图像。
在此基础上，图像融合模块23具体用于：
基于每两个相邻视角的鸟瞰投影图像的拼接缝位置确定每两个相邻视角的鸟瞰投影图像对应的掩膜mask图像。
基于每两个相邻视角的鸟瞰投影图像对应的掩膜mask图像确定每两个相邻视角的鸟瞰投影图像的融合区域。
在一种可能的实现方式中，每两个相邻视角的鸟瞰投影图像的融合区域的融合图像由第一图像和第二图像加权融合得到。
第一图像为第一鸟瞰投影图像中与第二鸟瞰投影图像重叠的图像，第二图像为第二鸟瞰投影图像中与第一鸟瞰投影图像重叠的图像，第一鸟瞰投影图像与第二鸟瞰投影图像为多个视角的鸟瞰投影图像中任意两个相邻视角的鸟瞰投影图像。
在一种可能的实现方式中，每个像素点的融合权重包括第一权重和第二权重。第一权重与第二权重之和为1，第一权重对应每个像素点在第一图像中的分量取值，第二权重对应每个像素点在第二图像中的分量取值。
图像融合模块23具体用于：
根据融合区域内各个像素点的目标距离确定各个像素点的第一权重。
其中，各个像素点的目标距离为各个像素点与融合区域中目标边界线的距离，目标边界线为融合区域中靠近第一鸟瞰投影图像的边界线，各个像素点的第一权重与各个像素点的目标距离负相关。
根据各个像素点的第一权重确定各个像素点的第二权重。
本发明实施例还提供一种车辆，该车辆包括处理终端，参见图14，图14为本发明一实施例提供的处理终端的示意框图。如图14所示的本实施例中的终端300可以包括：一个或多个处理器301、一个或多个输入设备302、一个或多个输出设备303及一个或多个存储器304。上述处理器301、输入设备302、输出设备303及存储器304通过通信总线305完成相互间的通信。存储器304用于存储计算机程序，计算机程序包括程序指令。处理器301用于执行存储器304存储的程序指令。其中，处理器301被配置用于调用程序指令执行以下操作上述各装置实施例中各模块/单元的功能，例如图13所示模块21至23的功能。
应当理解，在本发明实施例中，所称处理器301可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备302可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出设备303可以包括显示器(LCD等)、扬声器等。
该存储器304可以包括只读存储器和随机存取存储器，并向处理器301提供指令和数据。存储器304的一部分还可以包括非易失性随机存取存储器。例如，存储器304还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器301、输入设备302、输出设备303可执行本发明实施例提供的AVM图像融合方法的第一实施例和第二实施例中所描述的实现方式，也可执行本发明实施例所描述的终端的实现方式，在此不再赘述。
在本发明的另一实施例中提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令被处理器执行时实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
计算机可读存储介质可以是前述任一实施例的终端的内部存储单元，例如终端的硬盘或内存。计算机可读存储介质也可以是终端的外部存储设备，例如终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，计算机可读存储介质还可以既包括终端的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序及终端所需的其他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种AVM图像融合方法，其特征在于，包括：
获取车辆多个视角的鸟瞰投影图像；
根据车辆的行驶场景确定每两个相邻视角的鸟瞰投影图像的拼接缝位置；
基于每两个相邻视角的鸟瞰投影图像的拼接缝位置对每两个相邻视角的鸟瞰投影图像进行融合，得到所述车辆对应的全景影像。
2.如权利要求1所述的AVM图像融合方法，其特征在于，每两个相邻视角的鸟瞰投影图像都对应多个预设的拼接缝位置；根据车辆的行驶场景确定所述两个相邻视角的鸟瞰投影图像的拼接缝位置，包括：
根据车辆的行驶场景从所述多个预设的拼接缝位置中选取一目标拼接缝位置，将所述目标拼接缝位置确定为所述两个相邻视角的鸟瞰投影图像的拼接缝位置。
3.如权利要求2所述的AVM图像融合方法，其特征在于，每两个相邻视角的鸟瞰投影图像都对应：
预设的第一拼接缝位置、第二拼接缝位置和第三拼接缝位置；
所述第一拼接缝位置为第一鸟瞰投影图像与第二鸟瞰投影图像的重叠区域的中心线位置；其中，所述第一鸟瞰投影图像与所述第二鸟瞰投影图像为所述多个视角的鸟瞰投影图像中任意两个相邻视角的鸟瞰投影图像；
所述第二拼接缝位置和所述第三拼接缝位置分别为所述中心线位置两侧的位置。
4.如权利要求2所述的AVM图像融合方法，其特征在于，所述基于每两个相邻视角的鸟瞰投影图像的拼接缝位置对每两个相邻视角的鸟瞰投影图像进行融合，得到所述车辆对应的全景影像，包括：
基于每两个相邻视角的鸟瞰投影图像的拼接缝位置确定每两个相邻视角的鸟瞰投影图像的融合区域，并确定所述融合区域内各个像素点的融合权重；
基于所述各个像素点的融合权重对每两个相邻视角的鸟瞰投影图像进行融合，得到所述车辆对应的全景影像。
5.如权利要求4所述的AVM图像融合方法，其特征在于，所述AVM融合方法还包括：为每个预设拼接缝位置对应生成一个掩膜mask图像；
所述基于每两个相邻视角的鸟瞰投影图像的拼接缝位置确定每两个相邻视角的鸟瞰投影图像的融合区域，包括：
基于每两个相邻视角的鸟瞰投影图像的拼接缝位置确定每两个相邻视角的鸟瞰投影图像对应的掩膜mask图像；
基于每两个相邻视角的鸟瞰投影图像对应的掩膜mask图像确定每两个相邻视角的鸟瞰投影图像的融合区域。
6.如权利要求4所述的AVM图像融合方法，其特征在于，每两个相邻视角的鸟瞰投影图像的融合区域的融合图像由第一图像和第二图像加权融合得到；
所述第一图像为第一鸟瞰投影图像中与第二鸟瞰投影图像重叠的图像，所述第二图像为第二鸟瞰投影图像中与第一鸟瞰投影图像重叠的图像，所述第一鸟瞰投影图像与所述第二鸟瞰投影图像为所述多个视角的鸟瞰投影图像中任意两个相邻视角的鸟瞰投影图像。
7.如权利要求6所述的AVM图像融合方法，其特征在于，所述每个像素点的融合权重包括第一权重和第二权重；所述第一权重与所述第二权重之和为1，所述第一权重对应每个像素点在所述第一图像中的分量取值，所述第二权重对应每个像素点在所述第二图像中的分量取值；
所述确定所述融合区域内各个像素点的融合权重，包括：
根据所述融合区域内各个像素点的目标距离确定各个像素点的第一权重；
其中，各个像素点的目标距离为各个像素点与所述融合区域中目标边界线的距离，所述目标边界线为所述融合区域中靠近所述第一鸟瞰投影图像的边界线，所述各个像素点的第一权重与各个像素点的目标距离负相关；
根据各个像素点的第一权重确定各个像素点的第二权重。
8.一种AVM图像融合装置，其特征在于，包括：
数据获取模块，用于获取车辆多个视角的鸟瞰投影图像；
拼接缝确定模块，用于根据车辆的行驶场景确定每两个相邻视角的鸟瞰投影图像的拼接缝位置；
图像融合模块，用于基于每两个相邻视角的鸟瞰投影图像的拼接缝位置对每两个相邻视角的鸟瞰投影图像进行融合，得到所述车辆对应的全景影像。
9.一种车辆，其特征在于，包括：处理终端；
所述处理终端包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202310091620.XA 2023-02-09 2023-02-09 Avm图像融合方法及装置、车辆、可读存储介质 Pending CN116051379A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310091620.XA CN116051379A (zh) 2023-02-09 2023-02-09 Avm图像融合方法及装置、车辆、可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310091620.XA CN116051379A (zh) 2023-02-09 2023-02-09 Avm图像融合方法及装置、车辆、可读存储介质

Publications (1)

Publication Number Publication Date
CN116051379A true CN116051379A (zh) 2023-05-02

Family

ID=86133124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310091620.XA Pending CN116051379A (zh) 2023-02-09 2023-02-09 Avm图像融合方法及装置、车辆、可读存储介质

Country Status (1)

Country Link
CN (1) CN116051379A (zh)

Similar Documents

Publication Publication Date Title
CN112224132B (zh) 一种车用全景环视障碍物预警方法
KR101389884B1 (ko) 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템
EP2042374B1 (en) Vehicle periphery monitoring apparatus and image displaying method
CN109754363B (zh) 基于鱼眼相机的环视图像合成方法和装置
CN110288527B (zh) 一种车载环视相机全景鸟瞰图生成方法
CN111179168B (zh) 一种车载360度全景环视监控系统及方法
KR20170135952A (ko) 차량의 주변 영역을 표시하기 위한 방법
CN110796711B (zh) 全景系统标定方法、装置、计算机可读存储介质及车辆
CN114972023A (zh) 图像拼接处理方法、装置、设备及计算机存储介质
CN109785390B (zh) 一种用于图像矫正的方法和装置
CN113421183B (zh) 车辆环视全景图的生成方法、装置、设备和存储介质
CN113002531B (zh) 车辆全景环视方法、系统、设备和计算机可读存储介质
KR101714213B1 (ko) 렌즈 영상 왜곡 보정 장치
CN112069862A (zh) 目标检测方法和装置
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
CN110400255B (zh) 车辆全景影像的生成方法、系统和车辆
CN113706624A (zh) 相机外参修正方法、装置及车载环视系统
CN115936995A (zh) 一种车辆四路鱼眼摄像头全景拼接方法
CN113114975B (zh) 图像拼接方法、装置、电子设备和存储介质
CN111815752B (zh) 图像处理方法、装置和电子设备
CN111860632B (zh) 多路图像一致性融合方法
CN111263951A (zh) 用于对全景视图中的重叠区进行快速图像融合的方法和系统
CN116051379A (zh) Avm图像融合方法及装置、车辆、可读存储介质
KR101230909B1 (ko) 차량용 광각 영상 처리장치 및 그 방법
CN111107303A (zh) 行车图像系统及行车图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination