CN111860632B - 多路图像一致性融合方法 - Google Patents

多路图像一致性融合方法 Download PDF

Info

Publication number
CN111860632B
CN111860632B CN202010671755.XA CN202010671755A CN111860632B CN 111860632 B CN111860632 B CN 111860632B CN 202010671755 A CN202010671755 A CN 202010671755A CN 111860632 B CN111860632 B CN 111860632B
Authority
CN
China
Prior art keywords
images
image
consistency
preprocessed
paths
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010671755.XA
Other languages
English (en)
Other versions
CN111860632A (zh
Inventor
王琰
徐起
叶盛
方彩婷
郑璧青
沈剑锋
张震
黎泽清
冯书谊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Spaceflight Institute of TT&C and Telecommunication
Original Assignee
Shanghai Spaceflight Institute of TT&C and Telecommunication
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Spaceflight Institute of TT&C and Telecommunication filed Critical Shanghai Spaceflight Institute of TT&C and Telecommunication
Priority to CN202010671755.XA priority Critical patent/CN111860632B/zh
Publication of CN111860632A publication Critical patent/CN111860632A/zh
Application granted granted Critical
Publication of CN111860632B publication Critical patent/CN111860632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种多路图像一致性融合方法，本发明根据球面成像模型进行360°全景图像拼接融合，并在此基础上通过FPGA进行颜色和亮度一致性的调整消除传感器差异性，达到多路图像一致性融合的目的。本发明适用于在太空拍摄背景单一，亮度动态范围广的情况下利用四路鱼眼相机360°环绕拍摄，根据球面成像模型进行360°全景图像拼接融合，并在此基础上通过FPGA进行颜色和亮度一致性的调整消除传感器差异性，实现实时传输360°高分辨率全景拼接图像，主要应用于航天、国防领域。

Description

多路图像一致性融合方法
技术领域
本发明涉及一种多路图像一致性融合方法。
背景技术
随着人类社会的发展和科学技术的进步，传统的图像视觉需求已无法满足人类需要。在实际的科研和生产中，越来越多的需要近距离获取超过人眼视角的场景，但使用普通照相机无法拍摄庞大的场景，调整焦距虽然可以得到宽视角图像，但是所拍摄到的物体会相对较小，而放大所拍摄的图像会出现马赛克现象，图像质量较差；在实际的科研和生产中，宽视角图像可以通过超广角镜头等直接获取宽视角的取景器材、成像设备获取，但此类设备价格昂贵，使用方法复杂，并不能满足普通生产和科研需要。随着计算机图形学的发展，全景图像拼接技术在宇宙空间探测、遥感测量、医学图像处理等领域具有非常重要的意义。
全景图像是指给人以宽视角、立体感觉的全场景图像，全景图像一般具有以下特点：①能够全面显示较多图像信息；②利用实际拍摄的图像拼接而成，原场景中的真实图像信息得到较好的保留；③平面的全景图像让观察者有身历其境的感觉，能够全面展示场景信息，给人以三维立体感。
目前获取全景图像的方法有：（1）普通视觉传感器+旋转云台的方法，普通视觉传感器视场有限，依靠云台旋转增大视场；（2）复眼技术+图像拼接的方法，利用多台视觉传感器同时获取视场不同角度的视觉图像，然后实现图像的无缝拼接；（3）利用鱼眼成像技术，鱼的眼睛可以一次观察到接近半球的视场范围，根据鱼眼成像的原理特殊制造的鱼眼镜头是利用多组透镜组合而成，成像原理复杂，价格也相对昂贵；（4）利用凸面反射镜+普通视觉传感器的方法。
目前在视频图像合成领域里基于全景图像拼接的多路图像一致性融合方法有：
陈蓉、马昊辰，“一种全景环视系统中的图像拼接方法”，专利申请号：201710237136.8，提出了一种亮度调和处理算法解决两两拼接图像间的亮度差别，将重叠区域的像素值相比后得出加权系数，图像中的每一个像素的像素值与该系数相乘加权，实现拼接图像之间的平滑过渡。
以上方法来提升全景图像一致性虽然可以部分消除拼接图像之间的亮度差异，但该方法过于简单，没有考虑到图像颜色不一致的问题，且全图乘以同一个系数，会造成拼接图像亮度的失真，并不能完全消除各路传感器之间的亮度差异性。
综上所述，利用目前现有多路图像一致性融合方法，不能满足消除不同传感器之间颜色和亮度差异性的需求。
发明内容
本发明的目的在于提供一种多路图像一致性融合方法。
为解决上述问题，本发明提供一种多路图像一致性融合方法，包括：
获取全景摄像机的四路鱼眼相机的360°环绕拍摄的四路原始Bayer图像；
对所述四路原始Bayer图像进行预处理，得到四路预处理后的图像；
根据鱼眼相机的鱼眼成像特点，利用球面成像模型对所述四路预处理后的图像进行360°拼接，得到拼接后的图像；
以第二路鱼眼相机为参考，调节四路鱼眼相机的配置参数，调节拼接后的图像中的相邻两路预处理后的图像的数字增益和白平衡参数，使拼接后的图像中的预处理后的图像的画面颜色接近一致；
统计所述拼接后的图像中的各路预处理后的图像的拼接区域的灰度直方图，采用线性渐进方式进行平滑过渡，对局部亮度差异较大场景进行优化，使四路预处理后的图像的画面的亮度接近一致，以得到一致性调整后的360°全景图像数据。
进一步的，在上述方法中，所述预处理包括：黑电平校正、坏点校正、图像差值、白平衡、gamma校正和自动曝光。
进一步的，在上述方法中，调节四路鱼眼相机的配置参数，包括：
调节四路鱼眼相机的Vramp寄存器、offset寄存器、模拟增益寄存器的配置参数。
进一步的，在上述方法中，鱼眼相机的光心夹角为90°，水平有效视场角度为120°。
进一步的，在上述方法中，所述鱼眼相机的型号为CMV4000，单路鱼眼相机的输出图像为分辨率2048*2048的Bayer格式图像。
进一步的，在上述方法中，获取全景摄像机的四路鱼眼相机的360°环绕拍摄的四路原始Bayer图像之前，还包括：
对四路鱼眼相机的参数进行配置，其中，通过FPGA对四路鱼眼相机的SPI接口按照传感器手册要求对相应寄存器写入预设值。
进一步的，在上述方法中，所述调节拼接后的图像中的相邻两路预处理后的图像的数字增益和白平衡参数，在图像的RGB格式下进行。
进一步的，在上述方法中，统计所述拼接后的图像中的各路预处理后的图像的拼接区域的灰度直方图之前，还包括：
将所述拼接后的图像中的各路预处理后的Bayer格式图像通过图像插值转换为RGB图像。
进一步的，在上述方法中，统计所述拼接后的图像中的各路预处理后的图像的拼接区域的灰度直方图，包括：
通过计算所述拼接后的图像中的各路预处理后的RGB图像中的R、G、B分量的均值来获得当前像素的灰度值。
与现有技术相比，本发明取得了如下有益效果：
第一，本发明实现了四路鱼眼相机组成的全景摄像机，通过FPGA硬件平台完成全景图像的一致性融合算法，整机结构简易，工程成本低，算法简单，易于FPGA实现；
第二，本发明成功实现了实时的高分辨率的360°全景图像拍摄，且成像一致性效果好，适用于太空环境下拍摄背景单一、视场开阔、亮度变化大的场景。
附图说明
图1：本发明的路图像一致性融合方法的流程图；
图2：本发明中全景摄像机视场图；
图3：本发明中传感器配置流程图；
图4：本发明中图像预处理流程图；
图5：本发明中图像拼接融合流程图；
图6：本发明中亮度一致性调节流程图；
图7：本发明中图像重叠区域示意图；
图8：本发明中校正权重系数示意图；
图9：本发明中无一致性调节的360°拼接图；
图10：本发明中一致性调节后的360°拼接图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供一种多路图像一致性融合方法，包括：
步骤S1，获取全景摄像机的四路传感器如四路鱼眼相机的360°环绕拍摄的四路原始Bayer图像；
步骤S2，对所述四路原始Bayer图像进行预处理，得到四路预处理后的图像，所述预处理包括：黑电平校正、坏点校正、图像差值、白平衡、gamma校正和自动曝光等操作；
步骤S3，根据鱼眼相机的鱼眼成像特点，利用球面成像模型对所述四路预处理后的图像进行360°拼接，得到拼接后的图像；
步骤S4，以第二路鱼眼相机为参考，调节四路鱼眼相机的Vramp寄存器、offset寄存器、模拟增益寄存器等的配置参数，调节拼接后的图像中的相邻两路预处理后的图像的数字增益和白平衡参数，使拼接后的图像中的预处理后的图像的画面颜色接近一致；
步骤S5，统计所述拼接后的图像中的各路预处理后的图像的拼接区域的灰度直方图，采用线性渐进方式进行平滑过渡，对局部亮度差异较大场景进行优化，使四路预处理后的图像的画面的亮度接近一致，以得到一致性调整后的360°全景图像数据。
本发明软件部分为Verilog代码，使用的平台为XILINX公司XC4VSX55-1148I芯片。
在此，所述的一致性融合方法在FPGA上实现，具有硬件资源受限、图像并行处理、较强实时性的特点。针对太空拍摄背景单一，亮度动态范围广的情况，通过四路鱼眼相机360°环绕拍摄，根据鱼眼成像特点，利用球面成像模型进行了360°全景图像拼接融合，并在此基础上通过FPGA进行颜色和亮度一致性的调整，实现了实时全景拼接。
本发明适用于在太空拍摄背景单一，亮度动态范围广的情况下利用四路鱼眼相机360°环绕拍摄，根据球面成像模型进行360°全景图像拼接融合，并在此基础上通过FPGA进行颜色和亮度一致性的调整消除传感器差异性，实现实时传输360°高分辨率全景拼接图像，主要应用于航天、国防领域。
本发明根据球面成像模型进行360°全景图像拼接融合，并在此基础上通过FPGA进行颜色和亮度一致性的调整消除传感器差异性，达到多路图像一致性融合的目的。
本发明的多路图像一致性融合方法一实施例中，所述的全景摄像机是由四路鱼眼相机360°环绕组成，各鱼眼相机的光心夹角为90°，水平有效视场角度为120°，保证了相邻相机之间的重叠区满足图像拼接条件。
在此，本发明针对太空环境下拍摄背景单一、视场开阔、亮度变化大、硬件资源有限、多路传感器输出之间的差异性等特殊情况，利用四路鱼眼相机360°环绕拍摄，根据球面成像模型进行360°全景图像拼接融合，并在此基础上通过FPGA进行颜色和亮度一致性的调整消除传感器差异性，实现实时传输360°高分辨率全景拼接图像。
为获取大视场、大景深的高分辨率图像，利用多路鱼眼相机进行360°x 180°视场的全景图像快速拼接。单个鱼眼相机的水平垂直视场角一致，均大于120°，成像特点是呈球面。由于太空环境中拍摄背景单一，四路传感器输出具有差异性，故提出了基于多路鱼眼相机360°环绕结构的多路图像一致性融合方法，基于FPGA硬件可以实现实时全景拼接。
本发明的多路图像一致性融合方法一实施例中，所述鱼眼相机的型号为CMV4000，单路鱼眼相机的输出图像为分辨率2048*2048的Bayer格式图像。
本发明的多路图像一致性融合方法一实施例中，获取全景摄像机的四路传感器如四路鱼眼相机的360°环绕拍摄的四路原始Bayer图像之前，还包括：
对四路鱼眼相机的参数进行配置，其中，通过FPGA对四路鱼眼相机的SPI接口按照传感器手册要求对相应寄存器写入预设值。
本发明的多路图像一致性融合方法一实施例中，所述调节拼接后的图像中的相邻两路预处理后的图像的数字增益和白平衡参数，在图像的RGB格式下进行。
本发明的多路图像一致性融合方法一实施例中，步骤S5，统计所述拼接后的图像中的各路预处理后的图像的拼接区域的灰度直方图之前，还包括：
将所述拼接后的图像中的各路预处理后的Bayer格式图像通过图像插值转换为RGB图像。
本发明的多路图像一致性融合方法一实施例中，步骤S5，统计所述拼接后的图像中的各路预处理后的图像的拼接区域的灰度直方图，包括：
通过计算所述拼接后的图像中的各路预处理后的RGB图像中的R、G、B分量的均值来获得当前像素的灰度值。
下面结合附图2对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述的实施例。该实施例子是空间站上装载的某型号全景摄像机，全景摄像机安装于空间站舱外，是一种带压缩的高清图像装置，用于实时、清晰地摄取舱外的图像。
如附图2所示，全景摄像机是由四路鱼眼相机360°环绕组成，各相机的光心夹角为90°，水平有效视场角度为120°，保证了相邻相机之间的重叠区满足图像拼接条件。四路相机分别进行了单目标定和相邻相机之间的双目标定，获取了相机的内外参数。在球面等距逆投影时，对待拼接的四路相机图像以光心为对称中心，截取得到四幅90°视场图，选择其中一路相机作为基础参考坐标系，再将另外三幅图像换算到该坐标系下，实现了360°全景拼接，最后对拼接缝进行渐入渐出融合，消除拼接缝后通过颜色和亮度的一致性调节得到最终的全景图像。
下面结合附图1说明本发明的实施方式。
步骤1，按附图3所示流程图分别通过SPI接口对四路传感器进行参数配置，配置成功后获取四路传感器输出原始2048*2048像素点的Bayer图像；
步骤2，按附图4所示流程图对各路图像进行预处理。
①黑电平校正：sensor的图像数据输出会有一定偏差，最低电平可能不为零。因此我们需要对图像数据范围进行调整，使其最小值为零，这就是黑电平校正。
②坏点校正：sensor上可能存在坏点，坏点校正根据当前点与周围点的差值判断此点是否为坏点，同时用插值算法插出此点的值。
③图像差值：通过插值将Bayer格式图像转为RGB格式图像。
④白平衡：主要解决图像偏色的问题，先找出图像白色参考点，根据自身的白色参考点来算出增益，通过增益调节自身亮度。
⑤gamma校正：通过查表方式校正显示设备和实际输出存在的颜色显示差异，从而使图像在显示器上呈现出本来的效果。
⑥自动曝光：先统计图像的亮度信息，在根据亮度信息来计算增益，通过增益来调节曝光时间。
步骤3，按附图5所示流程图进行360°图像拼接融合，该方法具体如下六个步骤：
①进行相机的标定试验，提取有效视场拍摄的标定图像上的角点；
②单目标定获取每个相机的内参数；
③双目标定获取相邻相机之间的外参数；
④球面逆投影成360°x180°视场的全景平面图像，选择其中一路相机作为基础参考坐标系，完成其他几路的图像坐标转换，实现同坐标系下图像像素点的索引；
⑤用渐入渐出融合算法消除拼接缝，对于近距离的大视差像素进行平滑处理；
⑥将全景图像对应四幅图像的像素点索引（即像素点的位置坐标）和缝合区的融合系数制成供FPGA使用的LUT表；
步骤4，对颜色一致性进行调节。涉及传感器的参数主要有Vramp寄存器，offset寄存器，模拟增益寄存器，数字增益寄存器。以及图像预处理中的白平衡GainR和GainB参数。调节步骤如下：
①关闭亮度一致性自动调节，黑水平设置成手动，将黑水平的值设置成0；将白平衡的GainR和GainB设置成1（0x400）。
②分别调节四个镜头的Vramp寄存器：若图像整体发绿，则需要调整Vramp的值（范围102~115），调整到图像能显示正常。
③分别调节四个镜头的offset寄存器：若图像不通透（黑色不彻底），则需要调整offset的值，将画面调整到一个合适的位置使图像黑色比较彻底，但需保留暗部细节。
④在全景模式下（视场角度为45°），以中间镜头的图像为参考，调节相邻两个镜头的模拟增益，和数字增益，使画面的颜色接近一致。
⑤将视场角度调成135°，以中间镜头图像为参考，调节右边镜头的模拟增益，和数字增益，使画面的颜色接近一致。
⑥在135°视场角度情况下，调节三个镜头的白平衡参数（GainR，GainB），调到颜色一致。
⑦在45°视场角度情况下，调节左边镜头的白平衡参数使得左边的颜色与中间的颜色一致。
步骤5，按照附图6流程图统计各路图像拼接区域的灰度直方图，采用线性渐进方式进行平滑过渡，进行亮度一致性调节。重叠区域见附图7所示，步骤如下：
①统计B0 和B1 块灰度直方图。
②分别寻找其灰度直方图峰值。
③先用平滑滤波器Fn= (xn-3*1+xn-2*2+xn-1*3+xn*4+xn+1*3+xn+2*2+xn+3*1)/16对灰度直方图进行滤波，去除伪峰值或毛刺峰值。
④定义凸点Pn= xn-1＜xn≤ xn-1，遍历平滑之后的灰度直方图，在灰度均值±32 范围内，寻找3 个最大凸点，判断与均值最接近的凸点为峰值点。
⑤计算峰值灰度均值。如果有峰值，如果大于计算峰值附近±8 范围灰阶灰度平均值。
⑥判断是否进行直方图校正。如果满足条件（A0>A1 && G0>G1 || A0<A1 && G0<G1） 且(|G1-G0|≤32 )|| (0.5 ≤G1 / G0 ≤2.0) 就进行直方图校正；反之，进行均值校正。
⑦按附图8计算校正权重系数表.
采用线性渐进方式进行平滑过渡.其中权重w1 = G1 / G0，图像宽度W，任意图像列x 权重系数w 计算公式如下：
w = x / W *(w1-1.0)+1.0，按此系数表并对图像亮度进行加权调整。
步骤6，输出基于FPGA查找表的360°实时全景图像：
下面结合附图9和10对本发明的一致性融合算法的性能进行说明。
如图9所示，若是不进行一致性调节，由于各路传感器的差异性，输出拼接图像内容上无误，但能看出四路图像明显的边界；如图10所示，在加入了一致性调节后，拼接图像整体效果明显增强，实现了提高多路图像一致性融合的目的。由上所述，本发明实现了一种多路图像一致性融合算法。
本发明与现有技术相比较，取得了如下有益效果：
第一，本发明实现了四路鱼眼相机组成的全景摄像机，通过FPGA硬件平台完成全景图像的一致性融合算法，整机结构简易，工程成本低，算法简单，易于FPGA实现；
第二，本发明成功实现了实时的高分辨率的360°全景图像拍摄，且成像一致性效果好，适用于太空环境下拍摄背景单一、视场开阔、亮度变化大的场景。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (9)

1.一种多路图像一致性融合方法，其特征在于，包括：
获取全景摄像机的四路鱼眼相机的360°环绕拍摄的四路原始Bayer图像；
对所述四路原始Bayer图像进行预处理，得到四路预处理后的图像；
根据鱼眼相机的鱼眼成像特点，利用球面成像模型对所述四路预处理后的图像进行360°拼接，得到拼接后的图像；
以第二路鱼眼相机为参考，调节四路鱼眼相机的配置参数，调节拼接后的图像中的相邻两路预处理后的图像的数字增益和白平衡参数，使拼接后的图像中的预处理后的图像的画面颜色接近一致；
统计所述拼接后的图像中的各路预处理后的图像的拼接区域的灰度直方图，采用线性渐进方式进行平滑过渡，对局部亮度差异较大场景进行优化，使四路预处理后的图像的画面的亮度接近一致，以得到一致性调整后的360°全景图像数据。
2.如权利要求1所述的多路图像一致性融合方法，其特征在于，所述预处理包括：黑电平校正、坏点校正、图像差值、白平衡、gamma校正和自动曝光。
3.如权利要求1所述的多路图像一致性融合方法，其特征在于，调节四路鱼眼相机的配置参数，包括：
调节四路鱼眼相机的Vramp寄存器、offset寄存器、模拟增益寄存器的配置参数。
4.如权利要求1所述的多路图像一致性融合方法，其特征在于，鱼眼相机的光心夹角为90°，水平有效视场角度为120°。
5.如权利要求1所述的多路图像一致性融合方法，其特征在于，所述鱼眼相机的型号为CMV4000，单路鱼眼相机的输出图像为分辨率2048*2048的Bayer格式图像。
6.如权利要求1所述的多路图像一致性融合方法，其特征在于，获取全景摄像机的四路鱼眼相机的360°环绕拍摄的四路原始Bayer图像之前，还包括：
对四路鱼眼相机的参数进行配置，其中，通过FPGA对四路鱼眼相机的SPI接口按照传感器手册要求对相应寄存器写入预设值。
7.如权利要求1所述的多路图像一致性融合方法，其特征在于，所述调节拼接后的图像中的相邻两路预处理后的图像的数字增益和白平衡参数，在图像的RGB格式下进行。
8.如权利要求1所述的多路图像一致性融合方法，其特征在于，统计所述拼接后的图像中的各路预处理后的图像的拼接区域的灰度直方图之前，还包括：
将所述拼接后的图像中的各路预处理后的Bayer格式图像通过图像插值转换为RGB图像。
9.如权利要求8所述的多路图像一致性融合方法，其特征在于，统计所述拼接后的图像中的各路预处理后的图像的拼接区域的灰度直方图，包括：
通过计算所述拼接后的图像中的各路预处理后的RGB图像中的R、G、B分量的均值来获得当前像素的灰度值。
CN202010671755.XA 2020-07-13 2020-07-13 多路图像一致性融合方法 Active CN111860632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010671755.XA CN111860632B (zh) 2020-07-13 2020-07-13 多路图像一致性融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010671755.XA CN111860632B (zh) 2020-07-13 2020-07-13 多路图像一致性融合方法

Publications (2)

Publication Number Publication Date
CN111860632A CN111860632A (zh) 2020-10-30
CN111860632B true CN111860632B (zh) 2022-07-22

Family

ID=72984371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010671755.XA Active CN111860632B (zh) 2020-07-13 2020-07-13 多路图像一致性融合方法

Country Status (1)

Country Link
CN (1) CN111860632B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637505A (zh) * 2020-12-25 2021-04-09 江西裕丰智能农业科技有限公司 一种720°全景图像、视频拼接方法
CN113962859B (zh) * 2021-10-26 2023-05-09 北京有竹居网络技术有限公司 一种全景图生成方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005963A (zh) * 2015-06-30 2015-10-28 重庆市勘测院 一种多相机图像拼接匀色方法
CN105979238A (zh) * 2016-07-05 2016-09-28 深圳市德赛微电子技术有限公司 一种多摄像头全局成像一致性控制方法
CN105981367A (zh) * 2014-02-11 2016-09-28 罗伯特·博世有限公司 对来自多摄像机系统的视频的亮度和颜色匹配
CN106713755A (zh) * 2016-12-29 2017-05-24 北京疯景科技有限公司 全景图像的处理方法及装置
CN109246416A (zh) * 2018-09-21 2019-01-18 福州大学 车载六路摄像头的全景拼接方法
CN109493273A (zh) * 2018-10-09 2019-03-19 江苏裕兰信息科技有限公司 一种色彩一致性调节方法
CN111161148A (zh) * 2019-12-30 2020-05-15 上海闻泰电子科技有限公司 一种全景图像生成方法、装置、设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10136055B2 (en) * 2016-07-29 2018-11-20 Multimedia Image Solution Limited Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105981367A (zh) * 2014-02-11 2016-09-28 罗伯特·博世有限公司 对来自多摄像机系统的视频的亮度和颜色匹配
CN105005963A (zh) * 2015-06-30 2015-10-28 重庆市勘测院 一种多相机图像拼接匀色方法
CN105979238A (zh) * 2016-07-05 2016-09-28 深圳市德赛微电子技术有限公司 一种多摄像头全局成像一致性控制方法
CN106713755A (zh) * 2016-12-29 2017-05-24 北京疯景科技有限公司 全景图像的处理方法及装置
CN109246416A (zh) * 2018-09-21 2019-01-18 福州大学 车载六路摄像头的全景拼接方法
CN109493273A (zh) * 2018-10-09 2019-03-19 江苏裕兰信息科技有限公司 一种色彩一致性调节方法
CN111161148A (zh) * 2019-12-30 2020-05-15 上海闻泰电子科技有限公司 一种全景图像生成方法、装置、设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
The algorithm of fast image stitching based on multi-feature extraction;Chunde Yang，et al.;《CDMMS 2018》;20180523;全文 *
多摄像头全景图像拼接的实时视频处理技术研究;张献;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20190115;全文 *
多相机图像拼接匀色算法;吕楠，等.;《测绘通报》;20160731;全文 *

Also Published As

Publication number Publication date
CN111860632A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
US6778207B1 (en) Fast digital pan tilt zoom video
CN107424118A (zh) 基于改进径向畸变校正的球状全景拼接方法
US8885067B2 (en) Multocular image pickup apparatus and multocular image pickup method
CN108154514B (zh) 图像处理方法、装置及设备
CN106815805A (zh) 基于Bayer图像的快速畸变校正方法
CN108055452A (zh) 图像处理方法、装置及设备
KR101915729B1 (ko) 360도 전방향 뷰 영상 생성 장치 및 방법
CN109598673A (zh) 图像拼接方法、装置、终端及计算机可读存储介质
CN108712608A (zh) 终端设备拍摄方法和装置
CN111860632B (zh) 多路图像一致性融合方法
CN105488766B (zh) 鱼眼镜头图像校正方法及装置
US20180268521A1 (en) System and method for stitching images
CN108200360A (zh) 一种多鱼眼镜头全景摄像机的实时视频拼接方法
TWI703872B (zh) 影像色彩還原與增強電路
TWI599809B (zh) 鏡頭模組陣列、影像感測裝置與數位縮放影像融合方法
CN109166076B (zh) 多相机拼接的亮度调整方法、装置及便携式终端
CN109785390B (zh) 一种用于图像矫正的方法和装置
CN109428987A (zh) 一种头戴式全景360度立体摄像装置及摄像处理方法
KR101233948B1 (ko) 회전 대칭형의 광각 렌즈를 이용하여 디지털 팬·틸트 영상을 얻는 방법 및 그 영상 시스템
CN113114975B (zh) 图像拼接方法、装置、电子设备和存储介质
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
CN108765292A (zh) 基于空间三角面片拟合的图像拼接方法
CN111541886A (zh) 一种应用于浑浊水下的视觉增强系统
CN110958444A (zh) 一种720度视场环境态势感知方法及态势感知系统
CN116245722A (zh) 一种应用于重高型车辆的全景影像拼接系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant