CN113645443B - 基于fpga的环绕视频拼接显示方法及系统 - Google Patents

基于fpga的环绕视频拼接显示方法及系统 Download PDF

Info

Publication number
CN113645443B
CN113645443B CN202110803991.7A CN202110803991A CN113645443B CN 113645443 B CN113645443 B CN 113645443B CN 202110803991 A CN202110803991 A CN 202110803991A CN 113645443 B CN113645443 B CN 113645443B
Authority
CN
China
Prior art keywords
feature points
image
target
points
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110803991.7A
Other languages
English (en)
Other versions
CN113645443A (zh
Inventor
富容国
于紫木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202110803991.7A priority Critical patent/CN113645443B/zh
Publication of CN113645443A publication Critical patent/CN113645443A/zh
Application granted granted Critical
Publication of CN113645443B publication Critical patent/CN113645443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于FPGA的环绕视频拼接显示方法及系统，包括步骤：获取目标视频数据，并将其转换为YUV空间8:4:4格式编码的视频数据，对视频数据进行暗角矫正和畸变矫正得到相同亮度的目标图像；通过ORB算法对目标图像进行特征点提取，对提取的特征点采用比值匹配法获取匹配特征点，根据目标图像的重叠区域对匹配特征点筛选获取最终特征点；对最终特征点进行柱状投影；将已经进行过柱状投影的目标图像采用最佳缝合线算法进行图像融合获取目标拼接图像；根据显示终端的大小对目标拼接图像进行裁剪输出目标图像。本发明能够用于实现环绕视频的拼接和自定义区域显示，且提高了系统运行效率。

Description

基于FPGA的环绕视频拼接显示方法及系统
技术领域
本发明属于视频图像处理领域，尤其涉及一种基于FPGA的环绕视频拼接显示方法及系统。
背景技术
视觉是人们获取信息最直接也是最重要的方式，80％以上的信息都是经由视觉获得、随着电子信息技术和数字媒体技术的不断发展，人们对信息的获取也更加依赖于图像和视频。
但是单独的相机本身的局限性，其视野一般比较小，远不及人眼视场，已经很难满足大视场、高分辨率的视频应用场景的需求。同时传统的广角镜头和鱼眼镜头虽然视角相对较大但画面畸变严重无法满足使用需求。因此视频拼接技术就成为探索更加优秀的全景图像显示方案的关键。
视频拼接技术在学术研究领域有了很多成果，但是应用于FPGA平台上的多路高帧率视频的环绕拼接技术研究和实现还是一个新的研究方向，目前的应用研究还很少。
发明内容
本发明的目的在于提出一种基于FPGA的环绕视频拼接显示方法及系统，能够实现环绕视频的拼接和自定义位置视频的高清显示输出，且提高了系统运行效率。
实现本发明目的的技术解决方案为：
一种基于FPGA的环绕视频拼接显示方法，包括步骤：
获取目标视频数据，并将其转换为YUV空间8:4:4格式编码的视频数据，对视频数据进行暗角矫正和畸变矫正得到相同亮度的目标图像；
通过ORB算法对目标图像进行特征点提取，对提取的特征点采用比值匹配法获取匹配特征点，根据目标图像的重叠区域对匹配特征点筛选获取最终特征点；
对最终特征点进行柱状投影；
将已经进行过柱状投影的目标图像采用最佳缝合线算法进行图像融合获取目标拼接图像；
根据显示终端的大小对目标拼接图像进行裁剪输出目标图像。
进一步的，所述获取目标视频数据具体为：
对摄像头视频数据编号，获得序列{c1,c2,c3,…,ci…,cn}，其中n为摄像头总数，ci为第i个摄像头的视频数据；
计算环绕视频画面长度并以c1为原点建立坐标系；
判断用户需要显示的视频在坐标系的位置，进而确定获取哪两个编号的摄像头视频数据；
获取两个编号的摄像头视频数据。
进一步的，所述n＝6，所述环绕视频画面长度＝6*(w-d)，w为单路视频宽度，d为两个摄像头的重合区域宽度。
进一步的，通过ORB算法对目标图像进行特征点提取具体为：
步骤1，对两个目标图像分别进行区域分割，将每一帧图像划分为M*N个矩形子区域；
步骤2，依照先行后列的排序对子区域进行特征点提取，对于检测不到特征点的子区域直接舍去；对于可以检测到特征点的子区域aij标记为感兴趣区，aij为第i行第j列的子区域，并将子区域aij检测到的特征点个数记为nij；
步骤3，比较nij和设定值k的大小，当nij＜k时，将nij个点记为特征点；若ni＞k则采用Harris角点检测算法排序选出最优的k个点记为特征点，其余点作为待选特征点；
步骤4，重复步骤2～3遍历子区域直到获得的特征点数量达到设定的特征点数量后停止，若遍历全部子区域后得到的特征点数量小于设定的特征点数量则从待选特征点中顺序选取作为特征点。
进一步的，所述对提取的特征点采用比值匹配法获取匹配特征点具体包括：
将一幅目标图像作为样本；
对样本的每个特征点在另一幅目标图像特征点中寻找与它距离不大于第一阈值T1的最近特征点和次近特征点，然后分别计算最近特征点和次近特征点与样本特征点之间汉明距离的比值，对于比值大于第二阈值T2的特征点，则判定为匹配特征点。
进一步的，根据目标图像的重叠区域对匹配特征点筛选获取最终特征点具体为：确定两幅目标图像的重叠宽度d，然后设定一个宽度f，计算每个匹配特征点到图像边缘像素的距离s，当s＞d+f时该特征点舍去，否则保留。
进一步的，所述k＝4，第一阈值T1为50，第二阈值T2为0.8。
进一步的，采用最佳缝合线算法进行图像融合获取目标拼接图像具体为：
依求解准则分别计算进行过柱面投影的两幅目标图像的图像差值E(x,y)：
E(x,y)＝Ecolor(x,y)2+Egeometry(x,y)
式中，Ecolor表示拼接图像I1(x,y)和I2(x,y)重合部分像素的颜色差值，Egeometry表示拼接图像I1(x,y)和I2(x,y)重合部分的结构差值，颜色差值Ecolor和Egeometry分别为；
Ecolor＝|I1(x,y)-I2(x,y)|
Egeometry＝Sx·Sy
Sx和Sy为利用Sobel算子求得拼接图像I1(x,y)和I2(x,y)在x和y两个方向上的梯度值：
Figure BDA0003165668100000031
根据最终特征点和图像差值E(x,y)找出一条规避重合区域色彩差异的折线即最佳缝合线。
一种基于FPGA的环绕视频拼接显示系统，包括视频采集模块、视频拼接模块以及图像输出模块，所述视频采集模块包括帧图像采集单元和模数转换单元，其中：
帧图像采集单元包含覆盖360度视角的多个摄像头，用于采集环绕视频数据，模数转换单元用于将指定位置的视频数据转换为YUV空间8:4:4格式编码的视频数据并发送至视频拼接模块；
所述视频拼接模块基于FPGA芯片，包括预处理单元、配准单元和融合单元，预处理单元对视频数据进行暗角矫正和畸变矫正得到相同亮度的目标图像，配准单元用于获取匹配特征点，融合单元采用最佳缝合线算法进行图像融合获取拼接图像；
图像输出模块用于输出全景视频中指定位置的拼接图像。
进一步的，所述摄像头采用六个高帧率平面摄像头，所述高帧率为视频帧率不小于60帧。
本发明与现有技术相比，其显著优点为：(1)本发明通过对所需显示区域的位置进行判断得到其视频输入源对应的摄像头，然后只将相关摄像头的视频信息载入内存中进行图片处理，实现了环绕视频的指定位置输出；(2)对特征匹配过程中的特征点提取进行了优化，根据相邻摄像头待匹配图像的重叠区域来对匹配特征点进行筛选，减少特征点筛选的错误概率同时提高了系统运行效率，即使在处理高帧率视频时，结合该优化算法也可以实现拼接视频的近实时输出；(3)提出了在输出设备只显示所需部分拼接好的视频的显示方案，并可以随时移动显示位置，可以在不影响显示效果情况下输出视频结果；(4)本发明借助安装于平台四周的六个摄像头进行周边环境的拍摄，并对这些拍摄的视频进行匹配融合，实现根据用户的需求输出环绕图像或者输出自定义区域的部分图像。
附图说明
图1是本发明基于FPGA的环绕视频拼接显示方法流程示意图。
图2是本发明系统中六个高帧率平面摄像头安装示意图。
具体实施方式
下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1，本发明的一种基于FPGA的环绕视频拼接显示方法包括以下步骤：
步骤1，首先对所有摄像头的重合区域宽度进行设置(假定为d)，然后计算出实现完整环绕拼接后的图像总长度为6*(w-d)，其中w为单路视频宽度，摄像头个数为6个。然后给所有摄像头进行编号排序，获得一个一维序列{c1,c2,c3,…,cn}，其中n为摄像头总数，本实施例中n＝6。以c1为原点建立坐标系，然后根据用户输入的控制信号和坐标系得到需要输出的视频画面的位置信息并判断其由哪两个摄像头的画面拼接获得。最后将两路视频信号缓存到内存中进行后续处理，同时将所有摄像头采集到的信息传输到存储单元进行保存。
步骤2，利用优化ORB算法进行特征点的提取和匹配：
步骤2-1，在进行特征点的提取之前对目标图像进行区域分割，将一帧图像划分为M*N个矩形子区域；
步骤2-2，将子区域依照先行后列的原则排序，然后分别针对子区域构建图像金字塔并采用用OFAST检测算法进行特征点检测，对于检测不到特征点的子区域设为不感兴趣区，后续处理中不再选择该区域；对于可以检测到特征点的子区域aij标记为感兴趣区，并将检测到的特征点个数记为nij，然后设定一个常数k，该值可根据图像大小和所需特征点个数要求进行选择(此处举例k＝4)。比较nij和k值的大小，当nij＜k时，将全部nij个点记为检测点；若nij＞k则应用Harris角点检测算法排序操作选出最优的k的点记为检测点，其余点作为待选检测点。
遍历子区域直到获得所需数量检测点(设定的)后停止，若遍历全部子区域后得到的特征点个数不满足需求则从待选检测点中选择足够数量的特征点完成特征提取。然后应用比值匹配法，将一幅图像作为样本，对样本的每个特征点在另外一幅图像特征点中寻找与该样本特征点距离最近且不大于阈值(一般为50)的最近特征点和次近特征点，然后计算这两个特征点与该样本特征点之间汉明距离的比值，对于比值大于阈值(一般取值0.8)的最近特征点或次近特征点，则判定是正确匹配的特征点。
步骤3，根据相邻摄像头待匹配图像的重叠区域来对匹配特征点进行筛选。首先确定两幅图像的重叠宽度d，然后定义一个宽度f(本实施例中设定为d的一半)，计算匹配特征点到图像边缘像素的距离s，当s＞d+f时该特征点舍去，否则保留。
本发明提出一种改进的特征点筛选方法，减少特征点的错误匹配概率同时提高运算效率。首先确定两幅图像的重叠宽度d，然后计算匹配特征点到图像边缘像素的距离s，当s＞d+f时，该特征点舍去，否则保留。该方法舍弃了离重叠区域较远的特征点，这样既减少了特征点误匹配的概率，也在保证匹配效果的前提下减少了运算量，提高了效率。
步骤4，在图像融合前为了保证拼接出的环绕视频的视觉一致性，根据步骤3筛选的特征点进行柱状投影。
步骤5，图像融合：将已经进行过柱面投影的两幅待拼接图像依照多分辨率的最佳缝合线算法进行融合。最佳缝合线算法的核心思想就是在重合部分，找出一条能尽可能的规避重合区域色彩差异的折线，然后将线两侧的图像缝合成一幅拼接图像，依求解准则计算得到图像差值E(x,y)：
E(x,y)＝Ecolor(x,y)2+Egeometry(x,y)
式中，Ecolor表示重合部分像素的颜色差值，Egeometry表示重合部分的结构差值。颜色差值主要是针对待拼接图像I1(x,y)和I2(x,y)在重合部分的像素值做差得到的差值图像：
Ecolor＝|I1(x,y)-I2(x,y)|
结构差值则是利用Sobel算子实现，求x和y两个方向上的梯度值Sx和Sy：
Figure BDA0003165668100000061
然后计算待拼接图像I1(x,y)和I2(x,y)的重合部分在x和y方向上的梯度差值的乘积，最后得到Egeometry：
Egeometry＝Diff(I1(x,y),I2(x,y))
根据筛选的特征点和图像差值E(x,y)找出一条规避重合区域色彩差异的折线即最佳缝合线。
步骤6，图像输出：在完成视频拼接后，需要将缓存的图像转换为模拟信号输出。如果要实现自定义位置视频图像的单独输出就像需要对缓存在内存中的图像数据进行处理。即根据显示终端的大小对完成拼接的图像进行裁剪以输出目标区域图像。最后将目标区域拼接图像的输出到DA转换芯片进行输出。
基于上述方法的环绕视频拼接显示系统基于FPGA芯片进行设计。FPGA芯片利用硬件并行的优势，打破了顺序执行的模式，在每个时钟周期内完成更多的处理任务，超越了数字信号处理器(DSP)的运算能力。
所述基于FPGA的环绕视频拼接显示系统基于上述方法，其相同特征不再累述。基于FPGA的环绕视频拼接显示系统包括视频采集模块、视频拼接模块以及图像输出模块，所述视频采集模块包括帧图像采集单元和模数转换单元，其中：
视频采集模块主要包括帧图像采集单元和模数转换单元两部分。其中帧图像采集部分包括六路高帧率平面摄像头和输入端口以实现对待拼接图像的采集，采集的视频帧率为60帧或更高，采集的数据经过数模转换模块得到YUV空间8:4:4格式编码的视频数据，然后将视频数据发送到拼接模块；
视频拼接模块主要是基于FPGA芯片完成，包括预处理单元、配准单元和融合单元，负责对采集到的视频图像进行预处理、配准和融合，预处理单元对视频数据进行暗角矫正和畸变矫正得到相同亮度的目标图像，配准单元用于获取匹配特征点，融合单元采用最佳缝合线算法进行图像融合获取拼接图像，其中配准和融合是视频拼接的核心步骤；
本系统所述平面高帧率摄像头为六个，分别安装于平台四角和两侧位置以覆盖360度视角，如图2所示。
本发明提出的一种基于FPGA的环绕视频拼接显示方法及系统，通过首先对显示区域进行判断得到其视频输入源对应的摄像头，然后只将相关摄像头的视频信息载入内存中进行后续处理，实现了环绕视频的指定位置输出，进行匹配时只对画面重合区域以及其附近区域特征点进行匹配以降低误匹配概率，提高准确度。

Claims (5)

1.一种基于FPGA的环绕视频拼接显示方法，其特征在于，包括步骤：
获取目标视频数据，并将其转换为YUV空间8:4:4格式编码的视频数据，对视频数据进行暗角矫正和畸变矫正得到相同亮度的目标图像；
通过ORB算法对目标图像进行特征点提取，对提取的特征点采用比值匹配法获取匹配特征点，根据目标图像的重叠区域对匹配特征点筛选获取最终特征点；
对最终特征点进行柱状投影；
将已经进行过柱状投影的目标图像采用最佳缝合线算法进行图像融合获取目标拼接图像；
根据移动显示终端的大小对目标拼接图像进行裁剪输出显示目标图像；
所述获取目标视频数据具体为：
对摄像头视频数据编号，获得序列{c1,c2,c3,…,ci…,cn}，其中n为摄像头总数，ci为第i个摄像头的视频数据；
计算环绕视频画面长度并以c1为原点建立坐标系；
判断用户需要显示的视频在坐标系的位置，进而确定获取哪两个编号的摄像头视频数据；
获取两个编号的摄像头视频数据；
通过ORB算法对目标图像进行特征点提取具体为：
步骤1，对两个目标图像分别进行区域分割，将每一帧图像划分为M*N个矩形子区域；
步骤2，依照先行后列的排序对子区域构建图像金字塔并采用用OFAST检测算法进行特征点检测，对于检测不到特征点的子区域直接舍去；对于可以检测到特征点的子区域aij标记为感兴趣区，aij为第i行第j列的子区域，并将子区域aij检测到的特征点个数记为nij；
步骤3，比较nij和设定值k的大小，当nij＜k时，将nij个点记为特征点；若nij＞k则采用Harris角点检测算法排序选出最优的k个点记为特征点，其余点作为待选特征点；
步骤4，重复步骤2～3遍历子区域直到获得的特征点数量达到设定的特征点数量后停止，若遍历全部子区域后得到的特征点数量小于设定的特征点数量则从待选特征点中顺序选取作为特征点；
所述对提取的特征点采用比值匹配法获取匹配特征点具体包括：
将一幅目标图像作为样本；
对样本的每个特征点在另一幅目标图像特征点中寻找与它距离不大于第一阈值T1的最近特征点和次近特征点，然后分别计算最近特征点和次近特征点与样本特征点之间汉明距离的比值，对于比值大于第二阈值T2的特征点，则判定为匹配特征点；
根据目标图像的重叠区域对匹配特征点筛选获取最终特征点具体为：确定两幅目标图像的重叠宽度d，然后设定一个宽度f，计算每个匹配特征点到图像边缘像素的距离s，当s>d+f时该特征点舍去，否则保留；
采用最佳缝合线算法进行图像融合获取目标拼接图像具体为：
依求解准则分别计算进行过柱面投影的两幅目标图像的图像差值E(x,y)：
E(x,y)＝Ecolor(x,y)2+Egeometry(x,y)
式中，Ecolor表示拼接图像I1(x,y)和I2(x,y)重合部分像素的颜色差值，Egeometry表示拼接图像I1(x,y)和I2(x,y)重合部分的结构差值，颜色差值Ecolor和Egeometry分别为；
Ecolor＝|I1(x,y)-I2(x,y)|
Egeometry＝Sx·Sy
Sx和Sy为利用Sobel算子求得拼接图像I1(x,y)和I2(x,y)在x和y两个方向上的梯度值：
Figure FDA0003530571890000021
根据最终特征点和图像差值E(x,y)找出一条规避重合区域色彩差异的折线即最佳缝合线。
2.根据权利要求1所述的环绕视频拼接显示方法，其特征在于，所述n＝6，所述环绕视频画面长度＝6*(w-d)，w为单路视频宽度，d为两个摄像头的重合区域宽度。
3.根据权利要求1所述的环绕视频拼接显示方法，其特征在于，所述k＝4，第一阈值T1为50，第二阈值T2为0.8，f＝d/2。
4.一种基于FPGA的环绕视频拼接显示系统，其特征在于，包括视频采集模块、视频拼接模块以及图像输出模块，所述视频采集模块包括帧图像采集单元和模数转换单元，其中：
帧图像采集单元包含覆盖360度视角的多个摄像头，用于采集目标视频数据，模数转换单元用于将指定位置的视频数据转换为YUV空间8:4:4格式编码的视频数据并发送至视频拼接模块；所述采集目标视频数据具体为：
对摄像头视频数据编号，获得序列{c1,c2,c3,…,ci…,cn}，其中n为摄像头总数，ci为第i个摄像头的视频数据；
计算环绕视频画面长度并以c1为原点建立坐标系；
判断用户需要显示的视频在坐标系的位置，进而确定获取哪两个编号的摄像头视频数据；
获取两个编号的摄像头视频数据；
所述视频拼接模块基于FPGA芯片，包括预处理单元、配准单元和融合单元，预处理单元对视频数据进行暗角矫正和畸变矫正得到相同亮度的目标图像，配准单元用于获取匹配特征点，融合单元采用最佳缝合线算法进行图像融合获取拼接图像；所述获取匹配特征点包括通过ORB算法对目标图像进行特征点提取，对提取的特征点采用比值匹配法获取匹配特征点，根据目标图像的重叠区域对匹配特征点筛选获取最终特征点；其中通过ORB算法对目标图像进行特征点提取具体为：
步骤1，对两个目标图像分别进行区域分割，将每一帧图像划分为M*N个矩形子区域；
步骤2，依照先行后列的排序对子区域构建图像金字塔并采用用OFAST检测算法进行特征点检测，对于检测不到特征点的子区域直接舍去；对于可以检测到特征点的子区域aij标记为感兴趣区，aij为第i行第j列的子区域，并将子区域aij检测到的特征点个数记为nij；
步骤3，比较nij和设定值k的大小，当nij＜k时，将nij个点记为特征点；若nij＞k则采用Harris角点检测算法排序选出最优的k个点记为特征点，其余点作为待选特征点；
步骤4，重复步骤2～3遍历子区域直到获得的特征点数量达到设定的特征点数量后停止，若遍历全部子区域后得到的特征点数量小于设定的特征点数量则从待选特征点中顺序选取作为特征点；
所述对提取的特征点采用比值匹配法获取匹配特征点具体包括：
将一幅目标图像作为样本；
对样本的每个特征点在另一幅目标图像特征点中寻找与它距离不大于第一阈值T1的最近特征点和次近特征点，然后分别计算最近特征点和次近特征点与样本特征点之间汉明距离的比值，对于比值大于第二阈值T2的特征点，则判定为匹配特征点；
根据目标图像的重叠区域对匹配特征点筛选获取最终特征点具体为：确定两幅目标图像的重叠宽度d，然后设定一个宽度f，计算每个匹配特征点到图像边缘像素的距离s，当s>d+f时该特征点舍去，否则保留；
所述采用最佳缝合线算法进行图像融合获取拼接图像具体为：
依求解准则分别计算进行过柱面投影的两幅目标图像的图像差值E(x,y)：
E(x,y)＝Ecolor(x,y)2+Egeometry(x,y)
式中，Ecolor表示拼接图像I1(x,y)和I2(x,y)重合部分像素的颜色差值，Egeometry表示拼接图像I1(x,y)和I2(x,y)重合部分的结构差值，颜色差值Ecolor和Egeometry分别为；
Ecolor＝|I1(x,y)-I2(x,y)|
Egeometry＝Sx·Sy
Sx和Sy为利用Sobel算子求得拼接图像I1(x,y)和I2(x,y)在x和y两个方向上的梯度值：
Figure FDA0003530571890000041
根据最终特征点和图像差值E(x,y)找出一条规避重合区域色彩差异的折线即最佳缝合线；
图像输出模块用于输出全景视频中指定位置的拼接图像。
5.根据权利要求4所述的环绕视频拼接显示系统，其特征在于，所述摄像头采用六个高帧率平面摄像头，所述高帧率为视频帧率不小于60帧。
CN202110803991.7A 2021-07-16 2021-07-16 基于fpga的环绕视频拼接显示方法及系统 Active CN113645443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110803991.7A CN113645443B (zh) 2021-07-16 2021-07-16 基于fpga的环绕视频拼接显示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110803991.7A CN113645443B (zh) 2021-07-16 2021-07-16 基于fpga的环绕视频拼接显示方法及系统

Publications (2)

Publication Number Publication Date
CN113645443A CN113645443A (zh) 2021-11-12
CN113645443B true CN113645443B (zh) 2022-05-13

Family

ID=78417512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110803991.7A Active CN113645443B (zh) 2021-07-16 2021-07-16 基于fpga的环绕视频拼接显示方法及系统

Country Status (1)

Country Link
CN (1) CN113645443B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968777A (zh) * 2012-11-20 2013-03-13 河海大学 一种基于重叠区域sift特征点的图像拼接方法
CN104167003A (zh) * 2014-08-29 2014-11-26 福州大学 一种遥感影像的快速配准方法
CN109544447A (zh) * 2018-10-26 2019-03-29 广西师范大学 一种图像拼接方法、装置及存储介质
CN110020985A (zh) * 2019-04-12 2019-07-16 广西师范大学 一种双目机器人的视频拼接系统及方法
CN110390640A (zh) * 2019-07-29 2019-10-29 齐鲁工业大学 基于模板的泊松融合图像拼接方法、系统、设备及介质
CN110544202A (zh) * 2019-05-13 2019-12-06 燕山大学 一种基于模板匹配与特征聚类的视差图像拼接方法及系统
CN112037193A (zh) * 2020-08-28 2020-12-04 长安大学 一种电力线路特征标记方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100194851A1 (en) * 2009-02-03 2010-08-05 Aricent Inc. Panorama image stitching
CN112637519A (zh) * 2020-11-18 2021-04-09 合肥市卓迩无人机科技服务有限责任公司 多路4k准实时拼接视频的全景拼接算法
CN112365407B (zh) * 2021-01-13 2021-04-20 西南交通大学 视角可配置的摄像机全景拼接方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968777A (zh) * 2012-11-20 2013-03-13 河海大学 一种基于重叠区域sift特征点的图像拼接方法
CN104167003A (zh) * 2014-08-29 2014-11-26 福州大学 一种遥感影像的快速配准方法
CN109544447A (zh) * 2018-10-26 2019-03-29 广西师范大学 一种图像拼接方法、装置及存储介质
CN110020985A (zh) * 2019-04-12 2019-07-16 广西师范大学 一种双目机器人的视频拼接系统及方法
CN110544202A (zh) * 2019-05-13 2019-12-06 燕山大学 一种基于模板匹配与特征聚类的视差图像拼接方法及系统
CN110390640A (zh) * 2019-07-29 2019-10-29 齐鲁工业大学 基于模板的泊松融合图像拼接方法、系统、设备及介质
CN112037193A (zh) * 2020-08-28 2020-12-04 长安大学 一种电力线路特征标记方法及装置

Also Published As

Publication number Publication date
CN113645443A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
US7424218B2 (en) Real-time preview for panoramic images
WO2018225967A1 (en) Device having cameras with different focal lengths and method of implementing cameras
CN108965742B (zh) 异形屏显示方法、装置、电子设备及计算机可读存储介质
US7375745B2 (en) Method for digital image stitching and apparatus for performing the same
EP2323374B1 (en) Image pickup apparatus, image pickup method, and program
AU2011205087B2 (en) Multi-hypothesis projection-based shift estimation
US20030234907A1 (en) Compound eye image pickup apparatus and electronic apparatus equipped therewith
WO2021184302A1 (zh) 图像处理方法、装置、成像设备、可移动载体及存储介质
WO2014023231A1 (zh) 宽视场超高分辨率光学成像系统及方法
WO2022170824A1 (zh) 图像拼接的处理方法、装置、电子系统和设备、可读介质
US20090185056A1 (en) Electronic camera
US11587259B2 (en) Fixed pattern calibration for multi-view stitching
JP2007074578A (ja) 画像処理装置、撮影装置、及びプログラム
CN113160053B (zh) 一种基于位姿信息的水下视频图像复原与拼接方法
BR112020002770A2 (pt) processamento de imagem pós-captura de multi-câmeras
CN117114997B (zh) 基于缝合线搜索算法的图像拼接方法及装置
CN116760937B (zh) 一种基于多机位的视频拼接方法、装置、设备及存储介质
CN113645443B (zh) 基于fpga的环绕视频拼接显示方法及系统
CN111669547A (zh) 全景视频结构化方法
CN115619636A (zh) 图像拼接方法、电子设备以及存储介质
CN116132610A (zh) 一种综采面视频拼接方法及系统
KR101132976B1 (ko) 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법
WO2020259444A1 (zh) 一种图像处理方法及相关设备
CN115734086A (zh) 基于屏下摄像的图像处理方法、设备、系统和存储介质
CN117479025A (zh) 视频处理方法、视频处理装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant