CN115412676A - 一种基于权重掩膜的全景环视系统及全景图像融合方法 - Google Patents

一种基于权重掩膜的全景环视系统及全景图像融合方法 Download PDF

Info

Publication number
CN115412676A
CN115412676A CN202211107863.XA CN202211107863A CN115412676A CN 115412676 A CN115412676 A CN 115412676A CN 202211107863 A CN202211107863 A CN 202211107863A CN 115412676 A CN115412676 A CN 115412676A
Authority
CN
China
Prior art keywords
image
mask
weight
panoramic
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211107863.XA
Other languages
English (en)
Inventor
王文军
孙兆聪
刘思宇
奉嘉明
王慷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuangzi Technology Beijing Co ltd
Tsinghua University
Original Assignee
Shuangzi Technology Beijing Co ltd
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shuangzi Technology Beijing Co ltd, Tsinghua University filed Critical Shuangzi Technology Beijing Co ltd
Priority to CN202211107863.XA priority Critical patent/CN115412676A/zh
Publication of CN115412676A publication Critical patent/CN115412676A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于权重掩膜的全景环视系及全景图像融合方法，属于辅助驾驶领域。系统包括多个鱼眼摄像头、角度传感器、图像数据采集器、图像数据处理器和显示屏；鱼眼摄像头用于采集车外环境图像；角度传感器用于采集车间夹角数据；图像数据采集器用于将收集到的车外环境图像和车间夹角数据传输至图像数据处理器；图像数据处理器用于采用权重掩膜处理方法对车外环境图像和车间夹角数据进行处理，生成全景环视图像；显示屏用于显示全景环视图像。本发明能够较好地将多个鱼眼摄像头的图像融合，视野范围大并且没有视野盲区，保障车辆的安全驾驶。

Description

一种基于权重掩膜的全景环视系统及全景图像融合方法
技术领域
本发明涉及辅助驾驶领域，特别是涉及一种基于权重掩膜的全景环视系统及全景图像融合方法。
背景技术
随着中国人均汽车保有量的增加，交通事故问题越来越严重。大多数交通事故发生的原因是驾驶员由于缺乏对车体周围环境的全面认知而导致操作失误。针对这一问题，2003年日本率先提出了车辆全景环视的概念。全景环视主要是利用多个广角摄像头采集车辆附件的环境图片，对同一个时刻采集的图片进行处理最终形成车辆附近360°的俯视图，最终在车辆里的显示屏上显示。目前市场上的全景环视系统主要针对于小型乘用车，将四个摄像头分别放置在车头、车尾和左右后视镜下方以实现全景环视。少部分商用车将摄像头放置于车辆顶部来实现对应功能。单节车厢在行驶过程中摄像头的相对位置是固定的，因此无论是商用车还是小型乘用车实现全景环视的方式本质上并没有区别。
目前单节车厢汽车已经不能完全满足人们对于交通运输与交通出行的需求，多编组汽车列车已经逐渐成为中国运输的主干力量。多编组汽车列车由于其车辆较长、视觉盲区多，相较于单节车厢更容易出现交通事故。因此将全景环视应用在多编组汽车列车中十分有必要。多编组汽车列车在行驶过程中车厢之间的夹角随时间不断变化，不同车厢上搭载的摄像头的相对位置也在不断变化。目前应用于单车厢的全景环视方法无法适用于多编组汽车列车对于无缝连接的车辆全景环视要求。
当前已有一些研究针对于多编组铰接车辆。专利CN108263283A提供了一种用于多编组铰接车辆的全景环视系统，主要通过采集和解析车辆铰接盘铰接角。在车厢相对转动即摄像头之间的位置在相对变化时，控制器通过实时修改全景拼接参数，实现多编组实时无缝全景拼接。专利CN112224132A提出通过查找并且获取原始图像中的像素点在全景图像里的对应位置，并根据原始图像之间的融合权重对原始图像的重叠区域进行像素融合，得到全景图像中各点的像素值，最终得到全景图像。这些方法在一定程度上能够实现多编组汽车列车的全景环视，但是在融合部分像素点的缺失过多会导致全景图像失真严重，不利于多编组汽车列车的安全行驶。
发明内容
本发明的目的是提供一种基于权重掩膜的全景环视系统及全景图像融合方法，以解决现有技术中融合后的全景图像失真严重，影响安全行驶的问题。
为实现上述目的，本发明提供了如下方案：
一种基于权重掩膜的全景环视系统，包括：多个鱼眼摄像头、角度传感器、图像数据采集器、图像数据处理器和显示屏；
多个所述鱼眼摄像头和所述角度传感器均与所述图像数据采集器连接；所述图像数据采集器与所述图像数据处理器连接；所述图像数据处理器与所述显示屏连接；
所述鱼眼摄像头用于采集车外环境图像；所述角度传感器用于采集车间夹角数据；所述图像数据采集器用于将收集到的所述车外环境图像和所述车间夹角数据传输至所述图像数据处理器；所述图像数据处理器用于采用权重掩膜处理方法对所述车外环境图像和所述车间夹角数据进行处理，生成全景环视图像；所述显示屏用于显示所述全景环视图像。
可选的，所述鱼眼摄像头的视场角为190°。
可选的，所述图像数据采集器包括图像采集单元与车间夹角数据采集单元；
所述图像采集单元与所述鱼眼摄像头连接；所述图像采集单元用于收集所述车外环境图像；
所述车间夹角数据采集单元与所述角度传感器连接；所述车间夹角数据采集单元用于收集所述车间夹角数据。
可选的，所述图像数据处理器包括图像标定单元、图像去畸变单元、图像投影单元、图像权重掩膜单元和图像融合单元；
所述图像标定单元与所述图像采集单元连接；所述图像标定单元用于对所述车外环境图像进行标定，得到所述车外环境图像与去畸变图像的映射关系；
所述图像去畸变单元与所述图像标定单元连接；所述图像去畸变单元用于根据所述映射关系对所述车外环境图像进行去畸变处理，得到去畸变图像；
所述图像投影单元分别与所述图像去畸变单元和所述车间夹角数据采集单元连接；所述图像投影单元用于根据所述车间夹角数据设置投影点的位置，对所述去畸变图像进行投影，得到投影图像；
所述图像权重掩膜单元与所述图像投影单元连接；所述图像权重掩膜单元用于对所述投影图像进行掩膜处理，得到权重掩膜图像；
所述图像融合单元与所述图像权重掩膜单元连接；所述图像融合单元用于将多个所述权重掩膜图像进行融合，得到全景环视图像。
一种基于权重掩膜的全景图像融合方法，所述方法应用于上述基于权重掩膜的全景环视系统，所述基于权重掩膜的全景图像融合方法包括：
获取车外环境图像和车间夹角数据；
对所述车外环境图像进行标定，得到所述车外环境图像与对应的标准位置的棋盘格图像的映射关系；
根据所述映射关系对所述车外环境图像进行去畸变处理，得到去畸变图像；
根据所述车间夹角数据设置投影点的位置，对所述去畸变图像进行投影，得到投影图像；
对所述投影图像进行掩膜处理，得到权重掩膜图像；
将多个所述权重掩膜图像进行融合，得到全景环视图像。
可选的，所述对所述投影图像进行掩膜处理，得到权重掩膜图像，具体包括：
测量车的尺寸，根据车的尺寸设计画布尺寸，确定感兴趣区的范围；
根据所述感兴趣区的范围确定缩放比例；
根据所述车间夹角数据确定所述投影图像中掩膜关键点的位置坐标；所述掩膜关键点包括定点、旋转变换点、投影边界点和铰接变换点；
根据所述掩膜关键点的位置坐标和所述缩放比例，确定掩膜图像；
利用内置算法计算所述掩膜图像中各个像素点的掩膜权重值；
根据所述掩膜权重值对所述掩膜图像进行处理，得到权重掩膜图像。
可选的，所述掩膜图像包含掩膜区和非掩膜区；所述非掩膜区的权重为1，所述掩膜区的权重根据像素点的权重确定。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明的基于权重掩膜的全景环视系统包括多个鱼眼摄像头、角度传感器、图像数据采集器、图像数据处理器和显示屏，通过获取车外环境图像和车间夹角数据，并对所述车外环境图像进行掩膜处理，得到全景环视图像，通过本发明的方法能够较好地将多个鱼眼摄像头的图像融合，视野范围大并且没有视野盲区，保障多铰接汽车列车的安全驾驶。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于权重掩膜的全景环视系统的结构图；
图2为本发明提供的一种基于权重掩膜的全景图像融合方法的流程图；
图3为本发明提供的系统组成布置图；
图4为本发明提供的图像标定所需的棋盘格图；
图5为本发明提供的原始图像去畸变后的图像；
图6为本发明提供的投影点位置图；其中，图6(a)为投影点的理论标定位置图；图6(b)为当各车的车间夹角为0时，对应的投影点位置图；如图6(c)为当车间夹角不为0时，对应的投影点位置图；
图7为本发明提供的图像权重掩膜图；其中，图7(a)为八个鱼眼摄像头的位置示意图；图7(b)为各鱼眼摄像头拍摄的图像进行权重掩膜的示意图；
图8为本发明提供的掩膜关键点设计图；
图9为本发明提供的图像掩膜区域图；
图10为本发明提供的掩膜坐标图；
图11为本发明提供的掩膜权重计算示意图；
图12为本发明提供的方法实施方案图；
图13为本发明提供的全景环视效果图。
符号说明：1～8为鱼眼摄像头；9～10为角度传感器；11为图像数据采集器；12为图像数据处理器；①～⑧为非掩膜区；
Figure BDA0003842102650000051
为掩膜区。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于权重掩膜的全景环视系统及全景图像融合方法，以解决现有技术中融合后的全景图像失真严重，影响安全行驶的问题。所述的全景环视系统主要应用于多编组汽车列车上，以保证其行驶安全。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明提供的一种基于权重掩膜的全景环视系统的结构图，如图1所示，所述系统包括：多个鱼眼摄像头、角度传感器、图像数据采集器、图像数据处理器和显示屏。
多个所述鱼眼摄像头和所述角度传感器均与所述图像数据采集器连接；所述图像数据采集器与所述图像数据处理器连接；所述图像数据处理器与所述显示屏连接。具体的，所述鱼眼摄像头的视场角为190°。
所述鱼眼摄像头用于采集车外环境图像；所述角度传感器用于采集车间夹角数据；所述图像数据采集器用于将收集到的所述车外环境图像和所述车间夹角数据传输至所述图像数据处理器；所述图像数据处理器用于采用权重掩膜处理方法对所述车外环境图像和所述车间夹角数据进行处理，生成全景环视图像；所述显示屏用于显示所述全景环视图像。
在实际应用中，利用安装在汽车列车上的图像数据采集器收集数据。数据主要包括八个视场角为190度的鱼眼摄像头采集的车外环境图像和角度传感器采集的车间夹角数据。在图像数据采集器收集数据后，将数据实时传输到图像数据处理器进行处理，得到汽车列车周围区域的全景环视图像。该图像最终传输到显示屏进行显示。
具体的，所述图像数据采集器包括图像采集单元与车间夹角数据采集单元；所述图像采集单元与所述鱼眼摄像头连接；所述图像采集单元用于收集所述车外环境图像；所述车间夹角数据采集单元与所述角度传感器连接；所述车间夹角数据采集单元用于收集所述车间夹角数据。
在实际应用中，由于鱼眼摄像头数目较多，需要按进程来分别采集数据。八个鱼眼摄像头各自对应一个进程，按照鱼眼摄像头的排列顺序对应进程0到进程7。每一个单独的进程都需要完成后续图像的标定、去畸变、投影和掩膜加权，保证最后进行进程图像融合时图像样式能够保持一致。车间夹角数据采集单元时刻对车间夹角数据进行采集，与图像的输入同步。
具体的，所述图像数据处理器包括图像标定单元、图像去畸变单元、图像投影单元、图像权重掩膜单元和图像融合单元。它主要完成全景环视图像的生成。这些单元分别对应图像处理的标定、去畸变、投影、权重掩膜生成和融合等步骤。
所述图像标定单元与所述图像采集单元连接；所述图像标定单元用于对所述车外环境图像进行标定，得到所述车外环境图像与去畸变图像的映射关系。在实际应用中，该单元从采集的图像中提取特征物图像，根据特征物图像对标定参数进行优化。在系统初次装车使用时需要进行一次标定，标定的主要工作为在车载摄像头的各个位置拍摄棋盘格，随后利用去畸变算法和透视变换算法进行标定。系统通过图像的标定可以得到鱼眼摄像头的镜头畸变参数，以及摄像头之间的投影关系。
所述图像去畸变单元与所述图像标定单元连接；所述图像去畸变单元用于根据所述映射关系对所述车外环境图像进行去畸变处理，得到去畸变图像。在实际应用中，鱼眼摄像头拍摄的原始图像(车外环境图像)会产生径向畸变，导致物体在原始图像上的位置坐标与实际情况不符。该单元拥有去畸变模型，能够在图像进一步处理之前根据原始图像与去畸变图像的映射对应关系消除畸变。在图像去畸变后，去畸变图像中棋盘格的位置与实际位置相同。
所述图像投影单元分别与所述图像去畸变单元和所述车间夹角数据采集单元连接；所述图像投影单元用于根据所述车间夹角数据设置投影点的位置，对所述去畸变图像进行投影，得到投影图像。在实际应用中，该单元利用算法在去畸变图像中设置投影点，投影后使去畸变图像能够尽可能多地保留清晰的部分。投影点的位置会随着车间夹角的变化而变化，因此可以直接将图像投影拼接。这种方式区别于传统方式的裁剪拼接，能够最大程度地保留鱼眼摄像头拍摄的周围环境区域，以减少视野盲区。
所述图像权重掩膜单元与所述图像投影单元连接；所述图像权重掩膜单元用于对所述投影图像进行掩膜处理，得到权重掩膜图像。在实际应用中，八个鱼眼摄像头由于放置位置不同，对环境中相同位置拍摄图片的清晰度也不同。该单元需要对投影后的图片做掩膜处理，即屏蔽图像不清晰的部分。本发明根据图像距离鱼眼摄像头的距离设置掩膜权重。具体实施方式为：在固定了单个鱼眼摄像头必须保留的环境区域后，其余环境区域的掩膜权重越远离摄像头越小。在掩膜权重越小的区域，图像的像素点越少，则图像越模糊。这种方式能够保证在图像融合时不同摄像头拍摄的图片像素没有冲突，使图像更清晰。
所述图像融合单元与所述图像权重掩膜单元连接；所述图像融合单元用于将多个所述权重掩膜图像进行融合，得到全景环视图像。在实际应用中，八个进程在经过标定、去畸变、投影和权重掩膜后，该单元将八个进程输出的图片进行融合拼接。利用算法进行全局度平衡后，最终得到清晰的全景环视图像。系统将全景环视图像传输到显示器，即可让驾驶员看到清晰的全景环视图像。
本发明的效果是明显的。目前传统的单车厢全景环视系统基本都是针对于摄像头相对位置不发生改变的情况，在进行基本的标定和去畸变后，直接进行拼接形成全景环视图像。多编组汽车列车在转弯或进行复杂的曲线行驶时，如果使用传统的单车厢全景环视方法，图像之间会产生严重的错动导致无法拼接。已有的多编组汽车列车的全景环视系统大多都要经过裁剪和拼接，这种方式使原始图像失去较多的像素点导致视野范围缩小、视野盲区增大。本发明的权重掩膜方法能够较好地将多个鱼眼摄像头的图像融合，视野范围大并且没有视野盲区，保障汽车列车的安全驾驶。
图2为本发明提供的一种基于权重掩膜的全景图像融合方法的流程图，图12为本发明提供的方法实施方案图，所述方法应用于上述基于权重掩膜的全景环视系统，如图2和图12所示，所述基于权重掩膜的全景图像融合方法包括：
步骤201：获取车外环境图像和车间夹角数据。在实际应用中，鱼眼摄像头按图3中的排列顺序对应进程0到进程7。每一个单独的进程都需要完成后续图像的标定、去畸变、投影和掩模加权，保证最后进行进程图像融合时图像样式能够保持一致。车间夹角数据采集单元时刻对车间夹角数据进行采集，与图像的输入同步。
步骤202：对所述车外环境图像进行标定，得到所述车外环境图像与对应的标准位置的棋盘格图像的映射关系。
在实际应用中，该系统标定时拍摄的棋盘格图如图4所示，标定主要包含镜头标定和鱼眼标定。镜头标定首先需要确定畸变的棋盘格横纵坐标上的角点数目；随后利用算法提取棋盘格角点。鱼眼标定需要首先初始化鱼眼摄像头外部参数值，随后根据雅克比矩阵进行迭代运算，计算这些外部参数的值，得到平移矩阵，旋转矩阵与旋转向量。其次将这些参数进行优化，反复调用外部参数进行鱼眼标定，直到所有的参数都达到最优化。同时利用不确定性评估得到误差参数，如果误差参数控制在一定的范围内，则确认通过。通过鱼眼标定能够将鱼眼摄像头的内参数和畸变系数计算出来，便于图像的去畸变。
步骤203：根据所述映射关系对所述车外环境图像进行去畸变处理，得到去畸变图像。
在实际应用中，在图像标定求出鱼眼摄像头的内参数矩阵和畸变参数后，将待校正的原始图像输入去畸变模型。通过透镜畸变前后坐标的对应关系对原始图像进行校正，得到最终校正的图像，原始图像去畸变后得到的图像如图5所示。
步骤204：根据所述车间夹角数据设置投影点的位置，对所述去畸变图像进行投影，得到投影图像。
在实际应用中，图像去畸变后，需要将去畸变图像投影到对应的位置，投影点的设置方式如图6所示。投影点的理论标定位置如图6(a)所示，在列车的四周布置棋盘格，对应于棋盘格的位置进行投影。当各车的车间夹角为0时，对应的投影点位置如图6(b)所示。单个鱼眼摄像头在车辆纵向上可以兼顾两个棋盘格，保证了投影的广度与清晰度。当车间夹角不为0时，对应的投影点位置如图6(c)所示。传统的多编组汽车列车全景环视系统的投影点固定不变，当车间夹角发生变化时投影位置会重叠。图像重叠后需要利用算法进行剪裁和拼接，这样会使图像丧失大量的像素点，导致视野盲区增加。在本发明中投影点的位置随着车间夹角的变化而变化，这样能够最大程度保留鱼眼摄像头拍摄的图像且更清晰。
步骤205：对所述投影图像进行掩膜处理，得到权重掩膜图像。
具体的，所述对所述投影图像进行掩膜处理，得到权重掩膜图像，具体包括：
测量车的尺寸，根据车的尺寸设计画布尺寸，确定感兴趣区的范围。
根据所述感兴趣区的范围确定缩放比例。
根据所述车间夹角数据确定所述投影图像中掩膜关键点的位置坐标；所述掩膜关键点包括定点、旋转变换点、投影边界点和铰接变换点。
根据所述掩膜关键点的位置坐标和所述缩放比例，确定掩膜图像。
利用内置算法计算所述掩膜图像中各个像素点的掩膜权重值。
具体的，所述掩膜图像包含掩膜区和非掩膜区；所述非掩膜区的权重为1，所述掩膜区的权重根据像素点的权重确定。
根据所述掩膜权重值对所述掩膜图像进行处理，得到权重掩膜图像。
在实际应用中，由投影得到的图像清晰程度不一致，需要将清晰的部分保留下来，本发明主要通过权重掩膜来做到这一点。图像都是由多个像素点排列构成的，清晰的地方像素点多，模糊的地方像素点少。不同摄像头拍摄同一位置的清晰程度不同，主要是构成该位置图像的像素点在不同的图片中有差异。本发明通过在投影后的图像设置掩膜权重，按照权重来确定图像每一个位置要保留的像素点的百分比。这种方式能够避开图像剪裁，并且不同摄像头拍摄的图像能够相互补充，提高整体成像效果。
图像权重掩膜图如图7所示，图中a-n以及A-T都表示掩膜区域的节点。图7(a)对应八个鱼眼摄像头的位置，图7(b)对应各摄像头拍摄的图像进行权重掩膜的示意图。掩膜主要分为非掩膜区和掩膜区，非掩膜区由于视野清晰将权重设置为1，掩膜区需要根据模型来设置权重。由图中可知，鱼眼摄像头1拍摄的图像非掩膜区为BCab；鱼眼摄像头2拍摄的图像非掩膜区为EGac；鱼眼摄像头3拍摄的图像非掩膜区为FHbd；鱼眼摄像头4拍摄的图像非掩膜区为IKeg；鱼眼摄像头5拍摄的图像非掩膜区为JLfh；鱼眼摄像头6拍摄的图像非掩膜区为MOim；鱼眼摄像头7拍摄的图像非掩膜区为NPjn；鱼眼摄像头8拍摄的图像非掩膜区为RSmn。这些部分需要将对应进程的投影图全部保留，不对图像进行掩膜。
掩膜区为不同摄像头拍摄图像的重叠部分，鱼眼摄像头1拍摄的图像与鱼眼摄像头2拍摄的图像在图像融合时需要进行权重掩膜的区域为EABa；鱼眼摄像头2拍摄的图像与鱼眼摄像头4拍摄的图像在图像融合时需要进行权重掩膜的区域为GIec；鱼眼摄像头4拍摄的图像与鱼眼摄像头6拍摄的图像在图像融合时需要进行权重掩膜的区域为KMig；鱼眼摄像头6拍摄的图像与鱼眼摄像头8拍摄的图像在图像融合时需要进行权重掩膜的区域为OQRm；鱼眼摄像头1拍摄的图像与鱼眼摄像头3拍摄的图像在图像融合时需要进行权重掩膜的区域为CDFb；鱼眼摄像头3拍摄的图像与鱼眼摄像头5拍摄的图像在图像融合时需要进行权重掩膜的区域为HJfd；鱼眼摄像头5拍摄的图像与鱼眼摄像头7拍摄的图像在图像融合时需要进行权重掩膜的区域为LNjh；鱼眼摄像头7拍摄的图像与鱼眼摄像头8拍摄的图像在图像融合时需要进行权重掩膜的区域为PTSn。这些部分的掩膜权重需要通过模型来进行判断，权重越小的部分保留的像素点越少，保证图像在融合时不会冲突。
在实际应用中，掩膜需要配置的参数有画布尺寸、车的尺寸和缩放比例。首先需要实际测量出车的尺寸，随后根据车的尺寸设计画布尺寸以确定感兴趣区的大小，最后确定缩放比例。掩膜生成需要确定掩膜关键点的位置。根据关键点的位置坐标的确定方式不同将掩膜关键点分为4种，分别是定点、旋转变换点、投影边界点和铰接变换点，如图8所示。
列车在运动过程中，本方案设置的掩膜点的位置会随车间夹角的变化发生相应变化。这能够保证掩膜生成的位置随着8个摄像头相对位置的变化而变化。其中定点的位置不会随车间夹角位置的变化而变化。旋转变换点、投影边界点和铰接变换点的位置都会随着车间夹角的变化而变化。根据图10中建立的坐标系，设置O(x0，y0)为坐标原点，下面将分别确定各点坐标的求法。设车间夹角不为0时各点坐标为O′k(x′k，y′k)，在车间夹角为0时各点的坐标为Ok(xk，yk)，在车间夹角为0是各点的坐标为已知量。车间夹角为θ时各旋转变换点的坐标计算如下式：
Figure BDA0003842102650000111
为了更好地表示投影边界点与铰接变换点需要已知点的个数和位置关系，将相应坐标绘制在图10中，具体对应关系如图10所示。车间夹角为θ时，由定点D1(xD1，yD1)的坐标求铰接变换点H1(xH1，yH1)与H2(xH2，yH2)，计算方式如下式，另外两个铰接变换点的坐标计算方法与该方法相同。
Figure BDA0003842102650000112
Figure BDA0003842102650000113
在得到了旋转变换点的坐标后，假设旋转变换点的坐标R1(xR1，yR1)，R2(xR2，yR2)，投影边界角点坐标O(x0，y0)，A(x1，y1)，B(x2，y2)，C(x3，y3)，则投影边界点P1(xP1，yP1)，P2(xP2，yP2)的计算方式为：
Figure BDA0003842102650000114
Figure BDA0003842102650000121
所有的掩膜坐标点确定后，即可生成每个摄像头对应的掩膜图。掩膜区域分为掩膜区和非掩膜区，掩膜区与非掩膜区如图9所示。图中非掩膜区的掩膜权重设置为1，即保留区域内的所有像素点。每个区域的序号对应于各鱼眼摄像头标号。掩膜区由不同摄像头拍摄的像素点组成，需要确定对应摄像头在掩膜区某一像素点的权重。如图11中M点像素的具体计算式如下。当M点是鱼眼摄像头5投影到掩膜区时,M点像素权重的表达式为：
Figure BDA0003842102650000122
当M点是鱼眼摄像头3投影到掩膜区时,M点像素权重的表达式子为:
Figure BDA0003842102650000123
随后在gray(M1)和gray(M2)取一个最大值即为M点的像素。
步骤206：将多个所述权重掩膜图像进行融合，得到全景环视图像。在实际应用中，将八个进程在权重掩膜后的图像进行拼接即可得到汽车列车的全景环视图像。融合后的图像将被发送到显示器进行实时显示。全景环视图像的效果图如图13所示，其中，图13(a)为直道工况下，无车间夹角的效果图，图13(b)为弯道工况下，有车间夹角的效果图。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于权重掩膜的全景环视系统，其特征在于，包括：多个鱼眼摄像头、角度传感器、图像数据采集器、图像数据处理器和显示屏；
多个所述鱼眼摄像头和所述角度传感器均与所述图像数据采集器连接；所述图像数据采集器与所述图像数据处理器连接；所述图像数据处理器与所述显示屏连接；
所述鱼眼摄像头用于采集车外环境图像；所述角度传感器用于采集车间夹角数据；所述图像数据采集器用于将收集到的所述车外环境图像和所述车间夹角数据传输至所述图像数据处理器；所述图像数据处理器用于采用权重掩膜处理方法对所述车外环境图像和所述车间夹角数据进行处理，生成全景环视图像；所述显示屏用于显示所述全景环视图像。
2.根据权利要求1所述的基于权重掩膜的全景环视系统，其特征在于，所述鱼眼摄像头的视场角为190°。
3.根据权利要求2所述的基于权重掩膜的全景环视系统，其特征在于，所述图像数据采集器包括图像采集单元与车间夹角数据采集单元；
所述图像采集单元与所述鱼眼摄像头连接；所述图像采集单元用于收集所述车外环境图像；
所述车间夹角数据采集单元与所述角度传感器连接；所述车间夹角数据采集单元用于收集所述车间夹角数据。
4.根据权利要求3所述的基于权重掩膜的全景环视系统，其特征在于，所述图像数据处理器包括图像标定单元、图像去畸变单元、图像投影单元、图像权重掩膜单元和图像融合单元；
所述图像标定单元与所述图像采集单元连接；所述图像标定单元用于对所述车外环境图像进行标定，得到所述车外环境图像与去畸变图像的映射关系；
所述图像去畸变单元与所述图像标定单元连接；所述图像去畸变单元用于根据所述映射关系对所述车外环境图像进行去畸变处理，得到去畸变图像；
所述图像投影单元分别与所述图像去畸变单元和所述车间夹角数据采集单元连接；所述图像投影单元用于根据所述车间夹角数据设置投影点的位置，对所述去畸变图像进行投影，得到投影图像；
所述图像权重掩膜单元与所述图像投影单元连接；所述图像权重掩膜单元用于对所述投影图像进行掩膜处理，得到权重掩膜图像；
所述图像融合单元与所述图像权重掩膜单元连接；所述图像融合单元用于将多个所述权重掩膜图像进行融合，得到全景环视图像。
5.一种基于权重掩膜的全景图像融合方法，其特征在于，所述方法应用于权利要求1-4任一项所述的基于权重掩膜的全景环视系统，所述基于权重掩膜的全景图像融合方法包括：
获取车外环境图像和车间夹角数据；
对所述车外环境图像进行标定，得到所述车外环境图像与对应的标准位置的棋盘格图像的映射关系；
根据所述映射关系对所述车外环境图像进行去畸变处理，得到去畸变图像；
根据所述车间夹角数据设置投影点的位置，对所述去畸变图像进行投影，得到投影图像；
对所述投影图像进行掩膜处理，得到权重掩膜图像；
将多个所述权重掩膜图像进行融合，得到全景环视图像。
6.根据权利要求5所述的基于权重掩膜的全景图像融合方法，其特征在于，所述对所述投影图像进行掩膜处理，得到权重掩膜图像，具体包括：
测量车的尺寸，根据车的尺寸设计画布尺寸，确定感兴趣区的范围；
根据所述感兴趣区的范围确定缩放比例；
根据所述车间夹角数据确定所述投影图像中掩膜关键点的位置坐标；所述掩膜关键点包括定点、旋转变换点、投影边界点和铰接变换点；
根据所述掩膜关键点的位置坐标和所述缩放比例，确定掩膜图像；
利用内置算法计算所述掩膜图像中各个像素点的掩膜权重值；
根据所述掩膜权重值对所述掩膜图像进行处理，得到权重掩膜图像。
7.根据权利要求6所述的基于权重掩膜的全景图像融合方法，其特征在于，所述掩膜图像包含掩膜区和非掩膜区；所述非掩膜区的权重为1，所述掩膜区的权重根据像素点的权重确定。
CN202211107863.XA 2022-09-13 2022-09-13 一种基于权重掩膜的全景环视系统及全景图像融合方法 Pending CN115412676A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211107863.XA CN115412676A (zh) 2022-09-13 2022-09-13 一种基于权重掩膜的全景环视系统及全景图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211107863.XA CN115412676A (zh) 2022-09-13 2022-09-13 一种基于权重掩膜的全景环视系统及全景图像融合方法

Publications (1)

Publication Number Publication Date
CN115412676A true CN115412676A (zh) 2022-11-29

Family

ID=84166482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211107863.XA Pending CN115412676A (zh) 2022-09-13 2022-09-13 一种基于权重掩膜的全景环视系统及全景图像融合方法

Country Status (1)

Country Link
CN (1) CN115412676A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法
WO2015043507A1 (zh) * 2013-09-27 2015-04-02 比亚迪股份有限公司 用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视系统
CN104851076A (zh) * 2015-05-27 2015-08-19 武汉理工大学 用于商用车的全景环视泊车辅助系统及摄像头安装方法
US20180035047A1 (en) * 2016-07-29 2018-02-01 Multimedia Image Solution Limited Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama
CN108263283A (zh) * 2018-01-25 2018-07-10 长沙立中汽车设计开发股份有限公司 多编组变角度车辆全景环视系统标定及拼接方法
CN109429039A (zh) * 2017-09-05 2019-03-05 中车株洲电力机车研究所有限公司 一种多编组铰接车辆周界视频全景显示系统及方法
CN110316086A (zh) * 2018-03-30 2019-10-11 比亚迪股份有限公司 车辆、车载显示终端系统及其控制方法
CN111369439A (zh) * 2020-02-29 2020-07-03 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法
CN111361502A (zh) * 2020-03-23 2020-07-03 长沙立中汽车设计开发股份有限公司 一种用于铰接工程车辆变角度全景环视系统的实现方法
CN112224132A (zh) * 2020-10-28 2021-01-15 武汉极目智能技术有限公司 一种车用全景环视障碍物预警方法
CN113518721A (zh) * 2019-03-12 2021-10-19 采埃孚商用车系统汉诺威有限公司 用于获知车辆组合的两个子车辆之间的扭折角的检测系统和方法以及车辆组合
CN114372919A (zh) * 2022-03-22 2022-04-19 鹰驾科技（深圳）有限公司 一种双挂汽车列车全景环视图像拼接方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法
WO2015043507A1 (zh) * 2013-09-27 2015-04-02 比亚迪股份有限公司 用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视系统
CN104851076A (zh) * 2015-05-27 2015-08-19 武汉理工大学 用于商用车的全景环视泊车辅助系统及摄像头安装方法
US20180035047A1 (en) * 2016-07-29 2018-02-01 Multimedia Image Solution Limited Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama
CN109429039A (zh) * 2017-09-05 2019-03-05 中车株洲电力机车研究所有限公司 一种多编组铰接车辆周界视频全景显示系统及方法
CN108263283A (zh) * 2018-01-25 2018-07-10 长沙立中汽车设计开发股份有限公司 多编组变角度车辆全景环视系统标定及拼接方法
CN110316086A (zh) * 2018-03-30 2019-10-11 比亚迪股份有限公司 车辆、车载显示终端系统及其控制方法
CN113518721A (zh) * 2019-03-12 2021-10-19 采埃孚商用车系统汉诺威有限公司 用于获知车辆组合的两个子车辆之间的扭折角的检测系统和方法以及车辆组合
CN111369439A (zh) * 2020-02-29 2020-07-03 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法
CN111361502A (zh) * 2020-03-23 2020-07-03 长沙立中汽车设计开发股份有限公司 一种用于铰接工程车辆变角度全景环视系统的实现方法
CN112224132A (zh) * 2020-10-28 2021-01-15 武汉极目智能技术有限公司 一种车用全景环视障碍物预警方法
CN114372919A (zh) * 2022-03-22 2022-04-19 鹰驾科技（深圳）有限公司 一种双挂汽车列车全景环视图像拼接方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吕晓聪等: "《一种智轨列车的全景环视图像生成方法》", 《铁道科学与工程学报》 *
李伟等: "《针对铰接工程车辆的变角度全景环视系统研究》", 《中国公路学报》 *

Similar Documents

Publication Publication Date Title
CN110381255B (zh) 应用360全景环视技术的车载视频监控系统及方法
CN111369439B (zh) 基于环视的自动泊车车位识别全景环视图像实时拼接方法
JP7054803B2 (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
CN108263283B (zh) 多编组变角度车辆全景环视系统标定及拼接方法
JP7245295B2 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
CN110341597B (zh) 一种车载全景视频显示系统、方法及车载控制器
CN111223038B (zh) 一种车载环视图像的自动拼接方法及显示装置
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
CN104512328B (zh) 汽车环视图像生成方法及汽车环视系统
CN108765496A (zh) 一种多视点汽车环视辅助驾驶系统及方法
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
JP2018191275A (ja) カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
CN202035096U (zh) 移动机械的移动操作监控系统
JP2018531530A5 (zh)
CN102163331A (zh) 采用标定方法的图像辅助系统
CN110719411B (zh) 车辆的全景环视图像生成方法及相关设备
CN102736634A (zh) 一种用于汽车全景图的摄像头角度调节方法
CN106855999A (zh) 汽车环视图像的生成方法及装置
CN107492125A (zh) 汽车鱼眼镜头环视图像的处理方法
CN111768332A (zh) 一种车载环视实时3d全景图像的拼接方法及图形采集装置
CN109345591A (zh) 一种车辆自身姿态检测方法和装置
CN113362232A (zh) 车辆全景环视图像生成方法和系统
CN115412676A (zh) 一种基于权重掩膜的全景环视系统及全景图像融合方法
CN111626227A (zh) 一种基于双目视觉车底透视全景系统的实现方法
JP5049304B2 (ja) 車両の周辺を画像表示するための装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination