CN114372919B - 一种双挂汽车列车全景环视图像拼接方法及系统 - Google Patents

一种双挂汽车列车全景环视图像拼接方法及系统 Download PDF

Info

Publication number
CN114372919B
CN114372919B CN202210279551.0A CN202210279551A CN114372919B CN 114372919 B CN114372919 B CN 114372919B CN 202210279551 A CN202210279551 A CN 202210279551A CN 114372919 B CN114372919 B CN 114372919B
Authority
CN
China
Prior art keywords
image
target
images
fisheye
splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210279551.0A
Other languages
English (en)
Other versions
CN114372919A (zh
Inventor
郑智宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eagle Drive Technology Shenzhen Co Ltd
Original Assignee
Eagle Drive Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eagle Drive Technology Shenzhen Co Ltd filed Critical Eagle Drive Technology Shenzhen Co Ltd
Priority to CN202210279551.0A priority Critical patent/CN114372919B/zh
Publication of CN114372919A publication Critical patent/CN114372919A/zh
Application granted granted Critical
Publication of CN114372919B publication Critical patent/CN114372919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

本发明提供了一种双挂汽车列车全景环视图像拼接方法及系统，其方法包括：基于无线鱼眼相机获取多组实时广角图像，并对所述多组实时广角图像进行预处理，得到多组目标鱼眼图像；对所述多组目标鱼眼图像进行配准，确定目标鱼眼图像之间的重叠区域以及重叠位置；基于所述重叠区域以及重叠位置对所述目标鱼眼图像进行拼接，并基于拼接结果对亮度色差以及拼接缝进行优化，得到全景环视图像。通过对采集到的实时广角图像进行处理并图像的重叠区域以及重叠位置，保证了图像拼接的准确率以及效率，同时对拼接结果中的亮度色差以及拼接缝进行优化，提高了全景环视图像的拼接效果，为驾驶员提供良好的环境视野，提升了驾驶安全系数。

Description

一种双挂汽车列车全景环视图像拼接方法及系统
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种双挂汽车列车全景环视图像拼接方法及系统。
背景技术
目前，随着国家经济的快速发展，汽车总数量不断增加，交通环境也变得日益拥堵，导致汽车经常在狭小的环境中行驶，因此基于全景环视系统的汽车辅助系统将成为未来汽车视觉辅助系统的主流，而全景环视系统的重要技术手段是进行全景环视图像的拼接；
传统的图像拼接并不能保证将采集到的图像进行无缝拼接，存在较大的失真情况，且传统汽车上采用的是有线摄像头，导致线路布局复杂，维修时费工费力；
因此，本发明提供了一种双挂汽车列车全景环视图像拼接方法及系统，用以通过对采集到的实时广角图像进行处理并图像的重叠区域以及重叠位置，保证了图像拼接的准确率以及效率，同时对拼接结果中的亮度色差以及拼接缝进行优化，提高了全景环视图像的拼接效果，为驾驶员提供良好的环境视野，提升了驾驶安全系数。
发明内容
本发明提供一种双挂汽车列车全景环视图像拼接方法及系统，用以通过对采集到的实时广角图像进行处理并图像的重叠区域以及重叠位置，保证了图像拼接的准确率以及效率，同时对拼接结果中的亮度色差以及拼接缝进行优化，提高了全景环视图像的拼接效果，为驾驶员提供良好的环境视野，提升了驾驶安全系数。
本发明提供了一种双挂汽车列车全景环视图像拼接方法，包括：
步骤1：基于无线鱼眼相机获取目标数量的实时广角图像，并对所述目标数量的实时广角图像进行预处理，得到对应的目标鱼眼图像；
步骤2：对所述目标鱼眼图像进行配准，确定目标鱼眼图像之间的重叠区域以及重叠位置；
步骤3：基于所述重叠区域以及重叠位置对所述目标鱼眼图像进行拼接，并基于拼接结果对亮度色差以及拼接缝进行优化，得到全景环视图像。
优选的，一种双挂汽车列车全景环视图像拼接方法，步骤1中，基于无线鱼眼相机获取目标数量的实时广角图像，包括：
获取双挂汽车列车的行驶状态，并基于所述行驶状态确定对所述无线鱼眼相机的目标控制模式，其中，所述行驶状态包括正在行驶和停止行驶；
基于所述目标控制模式生成目标控制指令，并基于无线传输方式将所述目标控制指令传输至所述无线鱼眼相机；
所述无线鱼眼相机基于所述目标控制指令对自身设备状态进行自检，并基于自检结果判定是否可以正常运行；
若可以正常运行，基于所述目标控制指令对双挂汽车列车周围环境进行图像采集，得到目标数量的实时广角图像；
否则，获取异常无线鱼眼相机的自检报告，并将所述自检报告传输至管理终端进行显示。
优选的，一种双挂汽车列车全景环视图像拼接方法，基于所述目标控制指令对双挂汽车列车周围环境进行图像采集，得到目标数量的实时广角图像，包括：
获取得到的多组实时广角图像，并确定所述多组实时广角图像对应的无线鱼眼相机的相机参数，其中，所述相机参数包括所述无线鱼眼相机的拍摄角度以及所述无线鱼眼相机在所述双挂汽车列车上的部署位置；
基于所述相机参数对所述多组实时广角图像进行标记，并基于标记结果将所述目标数量的实时广角图像基于顺时针顺序进行排序；
基于排序结果依次将所述目标数量的实时广角图像传输至图像处理终端进行图像预处理。
优选的，一种双挂汽车列车全景环视图像拼接方法，步骤1中，对所述目标数量的实时广角图像进行预处理，得到对应的目标鱼眼图像，包括：
获取采集得到的目标数量的实时广角图像，并构建图像去噪模型；
基于预设训练数据对所述图像去噪模型进行训练，并将所述目标数量的实时广角图像分别输入训练后的图像去噪模型；
基于训练后的图像去噪模型分别对所述目标数量的实时广角图像进行小波域的特征映射以及空间域的特征映射，得到所述目标数量的实时广角图像对应的特征图；
基于所述特征图确定所述目标数量的实时广角图像的去噪图像，并基于所述去噪图像对所述目标数量的实时广角图像进行去噪处理，得到对应的目标鱼眼图像。
优选的，一种双挂汽车列车全景环视图像拼接方法，步骤1中，对所述目标数量的实时广角图像进行预处理，得到对应的目标鱼眼图像，还包括：
构建平面直角坐标系，并将采集到的目标数量的实时广角图像分别放置于所述平面直角坐标系中，且基于所述平面直角坐标系分别在实时广角图像中设置矫正标记点，其中，所述矫正标记点至少为一个；
基于所述平面直角坐标系确定所述矫正标记点的畸变坐标，并基于鱼眼相机成像特点对所述畸变坐标进行分析，得到所述矫正标记点的矫正坐标；
基于所述畸变坐标以及矫正坐标确定所述实时广角图像的畸变特征，并基于所述畸变特征确定所述无线鱼眼相机的畸变参数；
基于所述畸变参数分别对所述实时广角图像中进行畸变矫正，得到对应的目标鱼眼图像。
优选的，一种双挂汽车列车全景环视图像拼接方法，步骤2中，对所述目标鱼眼图像进行配准，确定目标鱼眼图像之间的重叠区域以及重叠位置，包括：
获取得到的目标鱼眼图像，并在所述目标鱼眼图像中确定目标参考鱼眼图像，同时，将其余目标鱼眼图像判定为待处理目标鱼眼图像，其中，所述目标鱼眼图像不唯一；
将所述目标参考鱼眼图像与待处理目标鱼眼图像分别投影至预设三维球面坐标系，并基于所述预设三维球面坐标系确定对所述目标参考鱼眼图像与待处理目标鱼眼图像的平面变换矩阵；
基于所述平面变换矩阵对所述目标参考鱼眼图像与待处理目标鱼眼图像进行处理，得到对应的球面图像，并将所述球面图像展开为柱面图像，得到目标参考鱼眼柱面图像与待处理目标鱼眼柱面图像；
分别提取所述目标参考鱼眼柱面图像与待处理目标鱼眼柱面图像对应的第一图像特征与第二图像特征，并将所述第一图像特征与第二图像特征对应分割，得到第一子图像特征块集合以及第二子图像特征块集合；
基于预设特征匹配算法将所述第一子图像特征块集合以及第二子图像特征块集合进行特征匹配，得到第一子图像特征块集合以及第二子图像特征块集合中各个子图像特征块之间的相似度，并将相似度最高的第一子图像特征块以及第二子图像特征块进行标记；
基于标记结果确定所述目标参考鱼眼柱面图像与待处理目标鱼眼柱面图像之间的重叠区域，并提取所述重叠区域的重合像素点的属性信息；
基于所述属性信息对所述重合像素点进行配准，得到所述目标参考鱼眼柱面图像与待处理目标鱼眼柱面图的图像重合位置。
优选的，一种双挂汽车列车全景环视图像拼接方法，步骤3中，基于所述重叠区域以及重叠位置对所述目标鱼眼图像进行拼接，并基于拼接结果对亮度色差以及拼接缝进行优化，得到全景环视图像，包括：
获取目标鱼眼图像之间的重叠区域以及重叠位置，并将存在重叠区域的一张目标鱼眼图像作为基准图像，另一张目标鱼眼图像作为处理图像；
基于所述重叠区域以及重叠位置对所述处理图像进行超像素分割，得到超像素中每个像素点的亮度信息，同时，确定所述基准图像中与所述处理图像重合区域中每个像素点的基准亮度信息，其中，所述基准图像与处理图像重合区域中的像素点一一对应；
确定所述亮度信息与所述基准亮度信息的亮度差值，并基于所述亮度差值确定所述基准图像与所述处理图像之间的刚性变换关系；
基于所述刚性变换关系确定所述处理图像的亮度权重，并基于所述亮度权重以及刚性变换关系对所述处理图像中每个像素点的亮度信息进行调整；
确定调整后的所述处理图像中每个像素点的亮度信息与所述基准亮度信息之间的亮度差值，且当所述亮度差值小于或等于预设阈值时，将所述基准图像与所述处理图像变换至同一目标坐标系中；
基于所述目标坐标系确定所述基准图像与处理图像中重叠区域中每个像素点的坐标值，并基于所述坐标值将所述基准图像与所述处理图像进行拼接；
基于拼接结果提取所述基准图像与所述处理图像的边缘特征，并基于所述边缘特征对所述基准图像与所述处理图像的拼接缝进行平滑处理，得到初始全景环视图像；
基于预设方法将所述初始全景环视图像转换为透视图，并基于所述透视图确定双挂汽车列车周围环境的立体特征；
基于所述立体特征确定所述双挂汽车列车的俯瞰图，并基于所述俯瞰图得到所述双挂汽车列车最终的全景环视图像。
优选的，一种双挂汽车列车全景环视图像拼接方法，基于所述俯瞰图得到所述双挂汽车列车最终的全景环视图像，包括：
获取得到的全景环视图像，并将所述全景环视图像基于无线传输方式传输至车载显示屏终端进行显示；
同时，监测所述双挂汽车列车的当前驾驶操作以及当前行驶状态，并基于所述当前驾驶操作以及当前行驶状态确定所述双挂汽车列车所需的目标车辆视图类型，其中，所述目标车辆视图类型包括全景环视图像以及单侧拆分图像；
基于所述目标车辆视图类型对所述车载显示屏终端上的显示画面进行自动切换显示。
优选的，一种双挂汽车列车全景环视图像拼接方法，基于所述俯瞰图得到所述双挂汽车列车最终的全景环视图像，包括：
获取对所述全景环视图像的评价指标，并确定所述评价指标的权重系数，其中，所述评价指标至少为一个；
基于所述评价指标以及权重系数构建卷积神经网络模型，并基于预设训练图像集对所述卷积神经网络模型进行训练；
将所述全景环视图像输入训练后的卷积神经网络模型，得到所述全景环视图像的拼接评价值；
将所述拼接评价值与预设评价值进行比较；
若所述拼接评价值大于或等于所述预设评价值，判定得到的全景环视图像合格；
否则，重新对将所述基准图像与所述处理图像进行拼接，直至所述拼接评价值大于或等于所述预设评价值。
优选的，一种双挂汽车列车全景环视图像拼接系统，包括：
图像采集模块，用于基于无线鱼眼相机获取目标数量的实时广角图像，并对所述目标数量的实时广角图像进行预处理，得到对应的目标鱼眼图像；
图像处理模块，用于对所述目标鱼眼图像进行配准，确定目标鱼眼图像之间的重叠区域以及重叠位置；
图像拼接模块，用于基于所述重叠区域以及重叠位置对所述目标鱼眼图像进行拼接，并基于拼接结果对亮度色差以及拼接缝进行优化，得到全景环视图像。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种双挂汽车列车全景环视图像拼接方法的流程图；
图2为本发明实施例中一种双挂汽车列车全景环视图像拼接方法中步骤1的流程图；
图3为本发明实施例中一种双挂汽车列车全景环视图像拼接系统的结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1：
本实施例提供了一种双挂汽车列车全景环视图像拼接方法，如图1所示，包括：
步骤1：基于无线鱼眼相机获取目标数量的实时广角图像，并对所述目标数量的实时广角图像进行预处理，得到对应的目标鱼眼图像；
步骤2：对所述目标鱼眼图像进行配准，确定目标鱼眼图像之间的重叠区域以及重叠位置；
步骤3：基于所述重叠区域以及重叠位置对所述目标鱼眼图像进行拼接，并基于拼接结果对亮度色差以及拼接缝进行优化，得到全景环视图像。
该实施例中，无线鱼眼相机是提前在双挂汽车列车前、后、左、右分别设置好的，且每一面有1-2个，用于采集双挂汽车列车每一面的图像信息，且将采集到的图像信息通过无线传输方式传输至处理终端进行图像处理。
该实施例中，目标数量是提前设定好的，用于确定每个无线鱼眼相机对双挂汽车列车周围环境进行图像采集的次数。
该实施例中，实时广角图像指的是无线鱼眼相机采集到的双挂列车在行驶过程中四周的环境图像。
该实施例中，预处理指的是对实时广角图像进行图像去噪以及畸变矫正等处理。
该实施例中，目标鱼眼图像指的是对实时广角图像进行去噪以及畸变矫正后得到的能够直接进行拼接分析的图像。
该实施例中，配准指的是将不同的目标鱼眼图像进行格式转换，确保格式一致，从而便于确定两两目标鱼眼图像的相似度，最终便于确定目标鱼眼图像的重叠区域以及重叠位置。
该实施例中，对亮度色差以及拼接缝进行优化指的是通过确定重叠区域的像素值，并通过现有的优化算法对重叠区域的像素值处理，从而达到优化的目的。
上述技术方案的有益效果是：通过对采集到的实时广角图像进行处理并图像的重叠区域以及重叠位置，保证了图像拼接的准确率以及效率，同时对拼接结果中的亮度色差以及拼接缝进行优化，提高了全景环视图像的拼接效果，为驾驶员提供良好的环境视野，提升了驾驶安全系数。
实施例2：
在上述实施例1的基础上，本实施例提供了一种双挂汽车列车全景环视图像拼接方法，如图2所示，步骤1中，基于无线鱼眼相机获取目标数量的实时广角图像，包括：
步骤101：获取双挂汽车列车的行驶状态，并基于所述行驶状态确定对所述无线鱼眼相机的目标控制模式，其中，所述行驶状态包括正在行驶和停止行驶；
步骤102：基于所述目标控制模式生成目标控制指令，并基于无线传输方式将所述目标控制指令传输至所述无线鱼眼相机；
步骤103：所述无线鱼眼相机基于所述目标控制指令对自身设备状态进行自检，并基于自检结果判定是否可以正常运行；
步骤104：若可以正常运行，基于所述目标控制指令对双挂汽车列车周围环境进行图像采集，得到目标数量的实时广角图像；
步骤105：否则，获取异常无线鱼眼相机的自检报告，并将所述自检报告传输至管理终端进行显示。
该实施例中，行驶状态指的是双挂汽车列车当前是处于前进状态、倒车状态或是静止状态，不同的行驶状态对无线鱼眼相机的控制参数不同。
该实施例中，目标控制模式指的是确定双挂汽车列车行驶状态后，从预设控制模式策略中匹配出当前行驶状态对应的控制方式，例如但不局限于当双挂汽车列车前进时，控制前方无线鱼眼相机对前方的行驶路段的路面情况进行持续监测，并将得到的监控画面进行常亮显示，后方无线鱼眼相机对后方的行驶路段的路面情况进行间隔性监测，并将得到的监控画面间隔性显示等。
该实施例中，目标控制指令指的是控制无线鱼眼相机执行与行驶状态相对应的监控模式。
该实施例中，自检指的是对自身零件的运行状态、电路通路情况等进行检测。
上述技术方案的有益效果是：通过确定双挂汽车列车的行驶状态，从而确定对无线鱼眼相机的控制模式，实现根据行驶状态执行相应的图像采集任务，为得到双挂列车在不同状态下的全景环视图像提供了便利，同时也为保证图像拼接的准确率以及效率提供了保障。
实施例3：
在上述实施例2的基础上，本实施例提供了一种双挂汽车列车全景环视图像拼接方法，基于所述目标控制指令对双挂汽车列车周围环境进行图像采集，得到目标数量的实时广角图像，包括：
获取得到的多组实时广角图像，并确定所述多组实时广角图像对应的无线鱼眼相机的相机参数，其中，所述相机参数包括所述无线鱼眼相机的拍摄角度以及所述无线鱼眼相机在所述双挂汽车列车上的部署位置；
基于所述相机参数对所述多组实时广角图像进行标记，并基于标记结果将所述目标数量的实时广角图像基于顺时针顺序进行排序；
基于排序结果依次将所述目标数量的实时广角图像传输至图像处理终端进行图像预处理。
该实施例中，相机参数指的是双挂汽车列车上不同的鱼眼相机在列车上的部署位置以及当前的拍摄角度，例如可以是拍摄得到的图像与实际物体之间存在的角度偏差等。
该实施例中，标记指的是在实时广角图像上将该无线鱼眼相机的拍摄角度以及部署位置进行记录，可在广角图像的顶角进行标记等。
该实施例中，排序指的是按照无线鱼眼相机在双挂汽车列车上顺时针部署的顺序将采集到的图像进行排序，便于对相邻广角图像进行拼接。
上述技术方案的有益效果是：通过对无线鱼眼相机的相机参数进行确定且在实时广角图像上进行标记，便于根据标记结果对多组实时广角图像进行拼接，为提高图像的拼接效率提供了保障。
实施例4：
在上述实施例1的基础上，本实施例提供了一种双挂汽车列车全景环视图像拼接方法，步骤1中，对所述目标数量的实时广角图像进行预处理，得到对应的目标鱼眼图像，包括：
获取采集得到的目标数量的实时广角图像，并构建图像去噪模型；
基于预设训练数据对所述图像去噪模型进行训练，并将所述目标数量的实时广角图像分别输入训练后的图像去噪模型；
基于训练后的图像去噪模型分别对所述目标数量的实时广角图像进行小波域的特征映射以及空间域的特征映射，得到所述目标数量的实时广角图像对应的特征图；
基于所述特征图确定所述目标数量的实时广角图像的去噪图像，并基于所述去噪图像对所述目标数量的实时广角图像进行去噪处理，得到对应的目标鱼眼图像。
该实施例中，预设训练数据是提前设定好的，包括去噪前的图像以及去噪后的图像，其中，去噪前的图像与去噪后的图像一一对应，且为多组图像。
该实施例中，小波域变的特征映射指的是从时间频率的方向对实时广角图像进行分析。
该实施例中，空间域的特征映射指的是在图像空间中以长度为自变量直接对像元值进行处理的过程。
该实施例中，特征图指的是对实时广角图像从时间、空间上进行分析后，能够明显表征实时广角图像中环境特征的局部区域图像。
上述技术方案的有益效果是：通过构建去噪模型，实现对实时广角图像进行去噪处理，确保得到的鱼眼图像清晰可靠，为提高对鱼眼图像的拼接准确率以及拼接效率提供了便利。
实施例5：
在上述实施例1的基础上，本实施例提供了一种双挂汽车列车全景环视图像拼接方法，步骤1中，对所述目标数量的实时广角图像进行预处理，得到对应的目标鱼眼图像，还包括：
构建平面直角坐标系，并将采集到的目标数量的实时广角图像分别放置于所述平面直角坐标系中，且基于所述平面直角坐标系分别在实时广角图像中设置矫正标记点，其中，所述矫正标记点至少为一个；
基于所述平面直角坐标系确定所述矫正标记点的畸变坐标，并基于鱼眼相机成像特点对所述畸变坐标进行分析，得到所述矫正标记点的矫正坐标；
基于所述畸变坐标以及矫正坐标确定所述实时广角图像的畸变特征，并基于所述畸变特征确定所述无线鱼眼相机的畸变参数；
基于所述畸变参数分别对所述实时广角图像中进行畸变矫正，得到对应的目标鱼眼图像。
该实施例中，矫正标记点指的是在实时广角图像中选定目标个数的像素点进行具体分析，并对选中的像素点进行特殊标记。
该实施例中，畸变坐标指的是当前矫正标记点在平面直角坐标系中的坐标值。
该实施例中，矫正坐标指的是鱼眼相机无角度偏差情况下采集到的实时广角图像中该点的理论坐标值。
该实施例中，畸变特征指的是实时广角图像发生的角度偏差或是图像中记录的环境与实际环境之间的位置偏差等。
该实施例中，畸变参数指的是鱼眼相机部署时与基准方向之间的误差系数。
上述技术方案的有益效果是：通过对广角图像进行畸变矫正，便于将采集到的实时广角图像恢复至基准，从而便于为确定相邻图像之间的重叠区域以及重叠位置提供便利，同时也为保证拼接效果提供了保障。
实施例6：
在上述实施例1的基础上，本实施例提供了一种双挂汽车列车全景环视图像拼接方法，步骤2中，对所述目标鱼眼图像进行配准，确定目标鱼眼图像之间的重叠区域以及重叠位置，包括：
获取得到的目标鱼眼图像，并在所述目标鱼眼图像中确定目标参考鱼眼图像，同时，将其余目标鱼眼图像判定为待处理目标鱼眼图像，其中，所述目标鱼眼图像不唯一；
将所述目标参考鱼眼图像与待处理目标鱼眼图像分别投影至预设三维球面坐标系，并基于所述预设三维球面坐标系确定对所述目标参考鱼眼图像与待处理目标鱼眼图像的平面变换矩阵；
基于所述平面变换矩阵对所述目标参考鱼眼图像与待处理目标鱼眼图像进行处理，得到对应的球面图像，并将所述球面图像展开为柱面图像，得到目标参考鱼眼柱面图像与待处理目标鱼眼柱面图像；
分别提取所述目标参考鱼眼柱面图像与待处理目标鱼眼柱面图像对应的第一图像特征与第二图像特征，并将所述第一图像特征与第二图像特征对应分割，得到第一子图像特征块集合以及第二子图像特征块集合；
基于预设特征匹配算法将所述第一子图像特征块集合以及第二子图像特征块集合进行特征匹配，得到第一子图像特征块集合以及第二子图像特征块集合中各个子图像特征块之间的相似度，并将相似度最高的第一子图像特征块以及第二子图像特征块进行标记；
基于标记结果确定所述目标参考鱼眼柱面图像与待处理目标鱼眼柱面图像之间的重叠区域，并提取所述重叠区域的重合像素点的属性信息；
基于所述属性信息对所述重合像素点进行配准，得到所述目标参考鱼眼柱面图像与待处理目标鱼眼柱面图的图像重合位置。
该实施例中，目标参考鱼眼图像指的是按照预设顺序将相邻的两张目标鱼眼图像中的其中之一作为基准图像，另一张作为处理的图像，其中，预设顺序可以是从车头开始逆时针顺序或顺时针顺序。
该实施例中，待处理目标鱼眼图像指的是对相邻目标鱼眼图像中其中一张进行像素提取处理的目标鱼眼图像。
该实施例中，预设三维球面坐标系是提前设定好的，其成像原理与鱼眼相机成像原理一致，便于将目标参考鱼眼图像与待处理目标鱼眼图像转换至相同的坐标系，从而便于确定图像重叠区域。
该实施例中，平面变换矩阵指的是用来将目标参考鱼眼图像以及待处理目标鱼眼图像转换为相应的球面图像所需要的图像转换工具或图像转换规则。
该实施例中，球面图像指的是将目标参考鱼眼图像以及待处理目标鱼眼图像投影至球面坐标系后对应的图像。
该实施例中，柱面图像是为了将目标参考鱼眼图像与待处理目标鱼眼图像进行展开，从而便于确定目标参考鱼眼图像与待处理目标鱼眼图像之间的重合区域以及重合位置。
该实施例中，第一图像特征指的是目标参考鱼眼柱面图像中的图像特征，包括图像中记录的环境特征以及物体形态等。
该实施例中，第二图像特征指的是待处理目标鱼眼柱面图像中包含的物体形态等特征情况。
该实施例中，第一子图像特征块集合指的是将第一图像特征进行分割后得到的多个图像块集合。
该实施例中，第二子图像特征块集合指的是将第二图像特征进行分割后得到的多个图像块集合。
该实施例中，预设特征匹配算法是提前设定好的，用于确定各个图像特征块中特征之间的相似情况。
该实施例中，重合像素点的属性信息指的是重合像素点的位置信息以及重合像素点在目标参考鱼眼图像以及待处理目标鱼眼图像中的分布情况。
该实施例中，基于所述属性信息对所述重合像素点进行配准指的是将目标参考鱼眼图像中与待处理目标鱼眼图像中相重合的像素点进行一一对应，宠儿确定具体重合位置。
上述技术方案的有益效果是：通过将目标鱼眼图像转换至相同坐标系中，并根据转换结果确定相邻目标鱼眼图像的特征相似度，从而实现对相邻目标鱼眼图像中的重合区域进行准确判断，其次，确定重合区域中像素点的属性信息，并根据属性信息对重合的像素点进行配准，从而实现对相邻目标鱼眼图像之间的重合区域以及重合位置进行准确分析，为实现对目标鱼眼图像的拼接提供了便利，也确保了能够将目标鱼眼图像进行准确拼接，保障了全景环视图像的拼接效果。
实施例7：
在上述实施例1的基础上，本实施例提供了一种双挂汽车列车全景环视图像拼接方法，步骤3中，基于所述重叠区域以及重叠位置对所述目标鱼眼图像进行拼接，并基于拼接结果对亮度色差以及拼接缝进行优化，得到全景环视图像，包括：
获取目标鱼眼图像之间的重叠区域以及重叠位置，并将存在重叠区域的一张目标鱼眼图像作为基准图像，另一张目标鱼眼图像作为处理图像；
基于所述重叠区域以及重叠位置对所述处理图像进行超像素分割，得到超像素中每个像素点的亮度信息，同时，确定所述基准图像中与所述处理图像重合区域中每个像素点的基准亮度信息，其中，所述基准图像与处理图像重合区域中的像素点一一对应；
确定所述亮度信息与所述基准亮度信息的亮度差值，并基于所述亮度差值确定所述基准图像与所述处理图像之间的刚性变换关系；
基于所述刚性变换关系确定所述处理图像的亮度权重，并基于所述亮度权重以及刚性变换关系对所述处理图像中每个像素点的亮度信息进行调整；
确定调整后的所述处理图像中每个像素点的亮度信息与所述基准亮度信息之间的目标亮度差值，且当所述目标亮度差值小于或等于预设阈值时，将所述基准图像与所述处理图像变换至同一目标坐标系中；
基于所述目标坐标系确定所述基准图像与处理图像中重叠区域中每个像素点的坐标值，并基于所述坐标值将所述基准图像与所述处理图像进行拼接；
基于拼接结果提取所述基准图像与所述处理图像的边缘特征，并基于所述边缘特征对所述基准图像与所述处理图像的拼接缝进行平滑处理，得到初始全景环视图像；
基于预设方法将所述初始全景环视图像转换为透视图，并基于所述透视图确定双挂汽车列车周围环境的立体特征；
基于所述立体特征确定所述双挂汽车列车的俯瞰图，并基于所述俯瞰图得到所述双挂汽车列车最终的全景环视图像。
该实施例中，基准图像指的是将存在重叠区域的两张目标鱼眼图像中的其一作为参考对象，从而对另一张目标鱼眼图像的亮度以及饱和度等进行处理。
该实施例中，处理图像指的是将相邻目标鱼眼图像中的一者作为需要进行亮度调整的图像，从而便于保证与基准图像的亮度保持一致。
该实施例中，超像素分割指的是将处理图像细分为多个图像子区域的过程，其中，每个图像子区域包含有对应的像素点，且每一像素点具有相应的颜色、亮度、纹理等特征，且上述特征之间相似。
该实施例中，基准亮度信息指的是基准图像与处理图像重合区域中，基准图像中各个像素点的亮度信息。
该实施例中，刚性变换关系指的是基准图像与处理图像之间像素亮度不变的条件下，随着重合区域的变化需要对处理图像中重合区域像素点亮度信息进行调整的策略。
该实施例中，亮度权重指的是处理图像中重合区域中像素点相对整张处理图像的重要性。
该实施例中，目标亮度差值指的是对处理图像中重合区域中像素点的亮度信息进行调整后与基准亮度信息的差值。
该实施例中，预设阈值是提前设定好的，用于衡量亮度调整后的像素点是否能够达到与基准图像进行拼接的要求。
该实施例中，目标坐标系是提前设定好的，目的是为了便于对基准图像与处理图像进行拼接。
该实施例中，边缘特征指的是基准图像与处理图像进行拼接后，拼接缝的存在状态。
该实施例中，初始全景环境图像指的是对图像进行拼接，且亮度以及拼接缝都优化后得到的图像。
该实施例中，透视图指的是将初始全景环视图像进行图像格式转换，通过透视图便于确定初始全景环视图像中记录的环境的立体特征，从而便于实现获取对应的俯瞰图。
该实施例中，立体特征指的是双挂汽车列车周围环境的存在姿态、分布情况等。
该实施例中，基于拼接结果提取所述基准图像与所述处理图像的边缘特征，并基于所述边缘特征对所述基准图像与所述处理图像的拼接缝进行平滑处理，得到初始全景环视图像，包括：
获取处理图像在所述目标坐标系下的坐标值，基于所述坐标值计算所述处理图像重叠区域中像素点的权重分布函数，并基于所述权重分布函数计算将所述基准图像与处理图像拼接后得到的初始全景环视图像，具体步骤包括：
根据如下公式计算所述处理图像重叠区域中像素点的权重分布函数：
Figure 8236DEST_PATH_IMAGE001
；
其中，
Figure 987693DEST_PATH_IMAGE002
表示所述处理图像重叠区域中像素点的权重分布函数；
Figure 564168DEST_PATH_IMAGE003
表示所述 处理图像与基准图像重叠区域中像素点构成的横向宽度值；
Figure 756115DEST_PATH_IMAGE004
表示所述处理图像与基准图 像重叠区域中像素点构成的纵向长度值；
Figure 367225DEST_PATH_IMAGE005
表示所述处理图像与基准图像重叠区域的宽度 值；
Figure 720846DEST_PATH_IMAGE006
表示所述处理图像与基准图像重叠区域的长度值；
根据如下公式计算将所述基准图像与处理图像拼接后得到的初始全景环视图像：
Figure 253459DEST_PATH_IMAGE007
；
其中，
Figure 983517DEST_PATH_IMAGE008
表示将所述基准图像与处理图像拼接后得到的初始全景环视图像；
Figure 183554DEST_PATH_IMAGE009
表示所述处理图像与基准图像重叠区域中像素点的加权平均系数，且取值范围为（0.7， 0.85）；
Figure 708077DEST_PATH_IMAGE010
表示所述处理图像与基准图像重叠区域中当前像素点个数；
Figure 524723DEST_PATH_IMAGE011
表示所述处理图像 与基准图像重叠区域中像素点的总个数；
Figure 855210DEST_PATH_IMAGE012
表示所述处理图像与基准图像重叠区域中第
Figure 909754DEST_PATH_IMAGE010
个像素点的亮度值；
Figure 136336DEST_PATH_IMAGE013
表示处理图像与基准图像重叠区域中像素点至处理图像中心 的距离函数；
Figure 440278DEST_PATH_IMAGE014
表示处理图像与基准图像重叠区域中像素点至基准图像中心的距离 函数；
基于所述
Figure 512139DEST_PATH_IMAGE008
得到将所述基准图像与处理图像拼接后得到的初始全景环视图 像。
上述技术方案的有益效果是：通过根据重叠区域以及重叠位置对目标鱼眼图像进行分割处理，实现对相邻两张目标鱼眼图像之间的亮度差值进行准确判定，从而便于实现对亮度差值进行优化，提高了拼接效果，其次，通过确定拼接后拼接缝的边缘特征，并根据边缘特征对拼接缝进行平滑处理，提高了衔接效果，最终将拼接后的全景图像转换为俯瞰图，确保最终得到的全景环境图像准确可靠，为驾驶员提供良好的环境视野，提升了驾驶安全系数。
实施例8：
在上述实施例7的基础上，本实施例提供了一种双挂汽车列车全景环视图像拼接方法，基于所述俯瞰图得到所述双挂汽车列车最终的全景环视图像，包括：
获取得到的全景环视图像，并将所述全景环视图像基于无线传输方式传输至车载显示屏终端进行显示；
同时，监测所述双挂汽车列车的当前驾驶操作以及当前行驶状态，并基于所述当前驾驶操作以及当前行驶状态确定所述双挂汽车列车所需的目标车辆视图类型，其中，所述目标车辆视图类型包括全景环视图像以及单侧拆分图像；
基于所述目标车辆视图类型对所述车载显示屏终端上的显示画面进行自动切换显示。
该实施例中，车载显示屏终端是双挂汽车列车中提前搭载好的，用于显示通过鱼眼相机采集到的周围环境图像以及全景环视图像。
该实施例中，当前驾驶操作包括倒车、前进、转弯等。
该实施例中，当前行驶状态包括行驶以及静止。
该实施例中，单侧拆分图像指的是双挂汽车列车某一面的环境图像。
上述技术方案的有益效果是：通过确定当前双挂汽车列车的行驶状态以及驾驶操作行为，从而便于确定与行驶状态以及驾驶操作行为相匹配的图像显示类型，并进行自动切换，为驾驶员提供良好的环境视野，提升了驾驶安全系数。
实施例9：
在上述实施例7的基础上，本实施例提供了一种双挂汽车列车全景环视图像拼接方法，基于所述俯瞰图得到所述双挂汽车列车最终的全景环视图像，包括：
获取对所述全景环视图像的评价指标，并确定所述评价指标的权重系数，其中，所述评价指标至少为一个；
基于所述评价指标以及权重系数构建卷积神经网络模型，并基于预设训练图像集对所述卷积神经网络模型进行训练；
将所述全景环视图像输入训练后的卷积神经网络模型，得到所述全景环视图像的拼接评价值；
将所述拼接评价值与预设评价值进行比较；
若所述拼接评价值大于或等于所述预设评价值，判定得到的全景环视图像合格；
否则，重新对将所述基准图像与所述处理图像进行拼接，直至所述拼接评价值大于或等于所述预设评价值。
该实施例中，评价指标包括拼接缝的优化、亮度差异、图像清晰度等。
该实施例中，权重系数指的是用来表示各个评价指标在评价过程中所占的比重情况。
该实施例中，预设训练图像集是提前设定好的，且均为拼接得到的全景环视图像。
该实施例中，预设评价值是提前设定好的，用来衡量最终得到的全景环视图像是否合格，是可以根据不同情况对预设评价值的大小进行调整。
上述技术方案的有益效果是：通过对得到的全景环视图像进行评价，从事实现对拼接后的全景环视图像的有效性以及可靠性进行评估，确保了拼接后得到的全景环视图像的准确有效，从而为驾驶员提供良好的环境视野。
实施例10：
本实施例提供了一种双挂汽车列车全景环视图像拼接系统，如图3所示，包括：
图像采集模块，用于基于无线鱼眼相机获取目标数量的实时广角图像，并对所述目标数量的实时广角图像进行预处理，得到对应的目标鱼眼图像；
图像处理模块，用于对所述目标鱼眼图像进行配准，确定目标鱼眼图像之间的重叠区域以及重叠位置；
图像拼接模块，用于基于所述重叠区域以及重叠位置对所述目标鱼眼图像进行拼接，并基于拼接结果对亮度色差以及拼接缝进行优化，得到全景环视图像。
上述技术方案的有益效果是：通过对采集到的实时广角图像进行处理并图像的重叠区域以及重叠位置，保证了图像拼接的准确率以及效率，同时对拼接结果中的亮度色差以及拼接缝进行优化，提高了全景环视图像的拼接效果，为驾驶员提供良好的环境视野，提升了驾驶安全系数。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种双挂汽车列车全景环视图像拼接方法，其特征在于，包括：
步骤1：基于无线鱼眼相机获取目标数量的实时广角图像，并对所述目标数量的实时广角图像进行预处理，得到对应的目标鱼眼图像；
步骤2：对所述目标鱼眼图像进行配准，确定目标鱼眼图像之间的重叠区域以及重叠位置；
步骤3：基于所述重叠区域以及重叠位置对所述目标鱼眼图像进行拼接，并基于拼接结果对亮度色差以及拼接缝进行优化，得到全景环视图像；
其中，步骤3中，基于所述重叠区域以及重叠位置对所述目标鱼眼图像进行拼接，并基于拼接结果对亮度色差以及拼接缝进行优化，得到全景环视图像，包括：
获取目标鱼眼图像之间的重叠区域以及重叠位置，并将存在重叠区域的一张目标鱼眼图像作为基准图像，另一张目标鱼眼图像作为处理图像；
基于所述重叠区域以及重叠位置对所述处理图像进行超像素分割，得到超像素中每个像素点的亮度信息，同时，确定所述基准图像中与所述处理图像重合区域中每个像素点的基准亮度信息，其中，所述基准图像与处理图像重合区域中的像素点一一对应；
确定所述亮度信息与所述基准亮度信息的亮度差值，并基于所述亮度差值确定所述基准图像与所述处理图像之间的刚性变换关系；
基于所述刚性变换关系确定所述处理图像的亮度权重，并基于所述亮度权重以及刚性变换关系对所述处理图像中每个像素点的亮度信息进行调整；
确定调整后的所述处理图像中每个像素点的亮度信息与所述基准亮度信息之间的亮度差值，且当所述亮度差值小于或等于预设阈值时，将所述基准图像与所述处理图像变换至同一目标坐标系中；
基于所述目标坐标系确定所述基准图像与处理图像中重叠区域中每个像素点的坐标值，并基于所述坐标值将所述基准图像与所述处理图像进行拼接；
基于拼接结果提取所述基准图像与所述处理图像的边缘特征，并基于所述边缘特征对所述基准图像与所述处理图像的拼接缝进行平滑处理，得到初始全景环视图像；
基于预设方法将所述初始全景环视图像转换为透视图，并基于所述透视图确定双挂汽车列车周围环境的立体特征；
基于所述立体特征确定所述双挂汽车列车的俯瞰图，并基于所述俯瞰图得到所述双挂汽车列车最终的全景环视图像。
2.根据权利要求1所述的一种双挂汽车列车全景环视图像拼接方法，其特征在于，步骤1中，基于无线鱼眼相机获取目标数量的实时广角图像，包括：
获取双挂汽车列车的行驶状态，并基于所述行驶状态确定对所述无线鱼眼相机的目标控制模式，其中，所述行驶状态包括正在行驶和停止行驶；
基于所述目标控制模式生成目标控制指令，并基于无线传输方式将所述目标控制指令传输至所述无线鱼眼相机；
所述无线鱼眼相机基于所述目标控制指令对自身设备状态进行自检，并基于自检结果判定是否可以正常运行；
若可以正常运行，基于所述目标控制指令对双挂汽车列车周围环境进行图像采集，得到目标数量的实时广角图像；
否则，获取异常无线鱼眼相机的自检报告，并将所述自检报告传输至管理终端进行显示。
3.根据权利要求2所述的一种双挂汽车列车全景环视图像拼接方法，其特征在于，基于所述目标控制指令对双挂汽车列车周围环境进行图像采集，得到目标数量的实时广角图像，包括：
获取得到的多组实时广角图像，并确定所述多组实时广角图像对应的无线鱼眼相机的相机参数，其中，所述相机参数包括所述无线鱼眼相机的拍摄角度以及所述无线鱼眼相机在所述双挂汽车列车上的部署位置；
基于所述相机参数对所述多组实时广角图像进行标记，并基于标记结果将所述目标数量的实时广角图像基于顺时针顺序进行排序；
基于排序结果依次将所述目标数量的实时广角图像传输至图像处理终端进行图像预处理。
4.根据权利要求1所述的一种双挂汽车列车全景环视图像拼接方法，其特征在于，步骤1中，对所述目标数量的实时广角图像进行预处理，得到对应的目标鱼眼图像，包括：
获取采集得到的目标数量的实时广角图像，并构建图像去噪模型；
基于预设训练数据对所述图像去噪模型进行训练，并将所述目标数量的实时广角图像分别输入训练后的图像去噪模型；
基于训练后的图像去噪模型分别对所述目标数量的实时广角图像进行小波域的特征映射以及空间域的特征映射，得到所述目标数量的实时广角图像对应的特征图；
基于所述特征图确定所述目标数量的实时广角图像的去噪图像，并基于所述去噪图像对所述目标数量的实时广角图像进行去噪处理，得到对应的目标鱼眼图像。
5.根据权利要求1所述的一种双挂汽车列车全景环视图像拼接方法，其特征在于，步骤1中，对所述目标数量的实时广角图像进行预处理，得到对应的目标鱼眼图像，还包括：
构建平面直角坐标系，并将采集到的目标数量的实时广角图像分别放置于所述平面直角坐标系中，且基于所述平面直角坐标系分别在实时广角图像中设置矫正标记点，其中，所述矫正标记点至少为一个；
基于所述平面直角坐标系确定所述矫正标记点的畸变坐标，并基于鱼眼相机成像特点对所述畸变坐标进行分析，得到所述矫正标记点的矫正坐标；
基于所述畸变坐标以及矫正坐标确定所述实时广角图像的畸变特征，并基于所述畸变特征确定所述无线鱼眼相机的畸变参数；
基于所述畸变参数分别对所述实时广角图像中进行畸变矫正，得到对应的目标鱼眼图像。
6.根据权利要求1所述的一种双挂汽车列车全景环视图像拼接方法，其特征在于，步骤2中，对所述目标鱼眼图像进行配准，确定目标鱼眼图像之间的重叠区域以及重叠位置，包括：
获取得到的目标鱼眼图像，并在所述目标鱼眼图像中确定目标参考鱼眼图像，同时，将其余目标鱼眼图像判定为待处理目标鱼眼图像，其中，所述目标鱼眼图像不唯一；
将所述目标参考鱼眼图像与待处理目标鱼眼图像分别投影至预设三维球面坐标系，并基于所述预设三维球面坐标系确定对所述目标参考鱼眼图像与待处理目标鱼眼图像的平面变换矩阵；
基于所述平面变换矩阵对所述目标参考鱼眼图像与待处理目标鱼眼图像进行处理，得到对应的球面图像，并将所述球面图像展开为柱面图像，得到目标参考鱼眼柱面图像与待处理目标鱼眼柱面图像；
分别提取所述目标参考鱼眼柱面图像与待处理目标鱼眼柱面图像对应的第一图像特征与第二图像特征，并将所述第一图像特征与第二图像特征对应分割，得到第一子图像特征块集合以及第二子图像特征块集合；
基于预设特征匹配算法将所述第一子图像特征块集合以及第二子图像特征块集合进行特征匹配，得到第一子图像特征块集合以及第二子图像特征块集合中各个子图像特征块之间的相似度，并将相似度最高的第一子图像特征块以及第二子图像特征块进行标记；
基于标记结果确定所述目标参考鱼眼柱面图像与待处理目标鱼眼柱面图像之间的重叠区域，并提取所述重叠区域的重合像素点的属性信息；
基于所述属性信息对所述重合像素点进行配准，得到所述目标参考鱼眼柱面图像与待处理目标鱼眼柱面图的图像重合位置。
7.根据权利要求1所述的一种双挂汽车列车全景环视图像拼接方法，其特征在于，基于所述俯瞰图得到所述双挂汽车列车最终的全景环视图像，包括：
获取得到的全景环视图像，并将所述全景环视图像基于无线传输方式传输至车载显示屏终端进行显示；
同时，监测所述双挂汽车列车的当前驾驶操作以及当前行驶状态，并基于所述当前驾驶操作以及当前行驶状态确定所述双挂汽车列车所需的目标车辆视图类型，其中，所述目标车辆视图类型包括全景环视图像以及单侧拆分图像；
基于所述目标车辆视图类型对所述车载显示屏终端上的显示画面进行自动切换显示。
8.根据权利要求1所述的一种双挂汽车列车全景环视图像拼接方法，其特征在于，基于所述俯瞰图得到所述双挂汽车列车最终的全景环视图像，包括：
获取对所述全景环视图像的评价指标，并确定所述评价指标的权重系数，其中，所述评价指标至少为一个；
基于所述评价指标以及权重系数构建卷积神经网络模型，并基于预设训练图像集对所述卷积神经网络模型进行训练；
将所述全景环视图像输入训练后的卷积神经网络模型，得到所述全景环视图像的拼接评价值；
将所述拼接评价值与预设评价值进行比较；
若所述拼接评价值大于或等于所述预设评价值，判定得到的全景环视图像合格；
否则，重新对将所述基准图像与所述处理图像进行拼接，直至所述拼接评价值大于或等于所述预设评价值。
9.一种双挂汽车列车全景环视图像拼接系统，其特征在于，包括：
图像采集模块，用于基于无线鱼眼相机获取目标数量的实时广角图像，并对所述目标数量的实时广角图像进行预处理，得到对应的目标鱼眼图像；
图像处理模块，用于对所述目标鱼眼图像进行配准，确定目标鱼眼图像之间的重叠区域以及重叠位置；
图像拼接模块，用于基于所述重叠区域以及重叠位置对所述目标鱼眼图像进行拼接，并基于拼接结果对亮度色差以及拼接缝进行优化，得到全景环视图像；
其中，基于所述重叠区域以及重叠位置对所述目标鱼眼图像进行拼接，并基于拼接结果对亮度色差以及拼接缝进行优化，得到全景环视图像，包括：
获取目标鱼眼图像之间的重叠区域以及重叠位置，并将存在重叠区域的一张目标鱼眼图像作为基准图像，另一张目标鱼眼图像作为处理图像；
基于所述重叠区域以及重叠位置对所述处理图像进行超像素分割，得到超像素中每个像素点的亮度信息，同时，确定所述基准图像中与所述处理图像重合区域中每个像素点的基准亮度信息，其中，所述基准图像与处理图像重合区域中的像素点一一对应；
确定所述亮度信息与所述基准亮度信息的亮度差值，并基于所述亮度差值确定所述基准图像与所述处理图像之间的刚性变换关系；
基于所述刚性变换关系确定所述处理图像的亮度权重，并基于所述亮度权重以及刚性变换关系对所述处理图像中每个像素点的亮度信息进行调整；
确定调整后的所述处理图像中每个像素点的亮度信息与所述基准亮度信息之间的亮度差值，且当所述亮度差值小于或等于预设阈值时，将所述基准图像与所述处理图像变换至同一目标坐标系中；
基于所述目标坐标系确定所述基准图像与处理图像中重叠区域中每个像素点的坐标值，并基于所述坐标值将所述基准图像与所述处理图像进行拼接；
基于拼接结果提取所述基准图像与所述处理图像的边缘特征，并基于所述边缘特征对所述基准图像与所述处理图像的拼接缝进行平滑处理，得到初始全景环视图像；
基于预设方法将所述初始全景环视图像转换为透视图，并基于所述透视图确定双挂汽车列车周围环境的立体特征；
基于所述立体特征确定所述双挂汽车列车的俯瞰图，并基于所述俯瞰图得到所述双挂汽车列车最终的全景环视图像。
CN202210279551.0A 2022-03-22 2022-03-22 一种双挂汽车列车全景环视图像拼接方法及系统 Active CN114372919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210279551.0A CN114372919B (zh) 2022-03-22 2022-03-22 一种双挂汽车列车全景环视图像拼接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210279551.0A CN114372919B (zh) 2022-03-22 2022-03-22 一种双挂汽车列车全景环视图像拼接方法及系统

Publications (2)

Publication Number Publication Date
CN114372919A CN114372919A (zh) 2022-04-19
CN114372919B true CN114372919B (zh) 2022-07-12

Family

ID=81146066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210279551.0A Active CN114372919B (zh) 2022-03-22 2022-03-22 一种双挂汽车列车全景环视图像拼接方法及系统

Country Status (1)

Country Link
CN (1) CN114372919B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115412676A (zh) * 2022-09-13 2022-11-29 清华大学 一种基于权重掩膜的全景环视系统及全景图像融合方法
CN115239724B (zh) * 2022-09-22 2022-11-22 鹰驾科技（深圳）有限公司 一种360度全景环视拼接图像分析评价方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461963A (zh) * 2020-03-30 2020-07-28 南京泓众电子科技有限公司 一种鱼眼图像拼接方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
US10242400B1 (en) * 2013-10-25 2019-03-26 Appliance Computing III, Inc. User interface for image-based rendering of virtual tours
CA2940664C (en) * 2014-02-26 2022-08-30 Searidge Technologies Inc. Image stitching and automatic-color correction
CN105678729B (zh) * 2016-02-24 2018-03-09 段梦凡 鱼眼镜头全景图像拼接方法
CN107845056A (zh) * 2016-09-21 2018-03-27 西安英诺视通信息技术有限公司 基于柱面模型的鱼眼图像全景生成方法
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法
CN107071268A (zh) * 2017-01-20 2017-08-18 深圳市圆周率软件科技有限责任公司 一种多目全景相机全景拼接方法及系统
CN110390640B (zh) * 2019-07-29 2023-04-28 齐鲁工业大学 基于模板的泊松融合图像拼接方法、系统、设备及介质
CN112793564B (zh) * 2021-02-07 2022-07-22 杨东杰 一种基于全景鸟瞰图和深度学习的自主泊车辅助系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461963A (zh) * 2020-03-30 2020-07-28 南京泓众电子科技有限公司 一种鱼眼图像拼接方法及装置

Also Published As

Publication number Publication date
CN114372919A (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN106709436B (zh) 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
WO2022078156A1 (en) Method and system for parking space management
CN114372919B (zh) 一种双挂汽车列车全景环视图像拼接方法及系统
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
CN103400150B (zh) 一种基于移动平台进行道路边缘识别的方法及装置
CN113673444B (zh) 一种基于角点池化的路口多视角目标检测方法及系统
CN111141311B (zh) 一种高精度地图定位模块的评估方法及系统
CN111768332B (zh) 一种车载环视实时3d全景图像的拼接方法及图形采集装置
US11380111B2 (en) Image colorization for vehicular camera images
CN111462503A (zh) 车辆测速方法、装置及计算机可读存储介质
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
DE102013226476A1 (de) Bildverarbeitungsverfahren und -system eines rundumsichtüberwachungssystems
CN115239820A (zh) 一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法
CN111243034A (zh) 一种全景辅助泊车标定方法、装置、设备及存储介质
CN106803073B (zh) 基于立体视觉目标的辅助驾驶系统及方法
CN114897684A (zh) 车辆图像的拼接方法、装置、计算机设备和存储介质
CN110738696B (zh) 行车盲区透视视频的生成方法及行车盲区视野透视系统
CN110969135B (zh) 自然场景中的车标识别方法
CN113012239B (zh) 一种车路协同路侧感知相机的焦距变化定量计算方法
CN117237393B (zh) 基于流媒体后视镜的图像处理方法、装置及计算机设备
CN103399893A (zh) 一种基于分层感知的目标检索方法
CN106791325B (zh) 全景环视系统的色差测光区自动识别系统及自动识别方法
CN111767872A (zh) 基于cim及多视角图像处理的交互式应急车辆通行方法
CN115239748A (zh) 基于航拍视频的路径综合信息流生成方法及系统
CN113361453A (zh) 一种视觉模糊场景下红绿灯识别系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant