CN113808059A - 阵列图像融合方法、装置、介质及设备 - Google Patents
阵列图像融合方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN113808059A CN113808059A CN202111085872.9A CN202111085872A CN113808059A CN 113808059 A CN113808059 A CN 113808059A CN 202111085872 A CN202111085872 A CN 202111085872A CN 113808059 A CN113808059 A CN 113808059A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel point
- determining
- images
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 66
- 238000005520 cutting process Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000007526 fusion splicing Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本文是关于一种阵列图像融合方法、装置、介质及设备。阵列图像融合方法包括:获取待融合的阵列图像;确定相邻图像的重合区域;基于重合区域,确定阵列图像中相邻两行或两列图像的分割线;根据重合区域内各像素点到分割线的距离,确定重合区域内的各像素点在相邻图像中的权重值;基于各像素点在相邻图像中的权重值,确定相邻图像的重合区域内各像素点融合后的像素值;以每个图像中的重合区域内的分割线线段为边,确定图像的内接矩形,使用内接矩形对图像进行裁剪,将裁剪后的图像进行拼接,形成融合后的图像。在现有硬件条件下,可实现对亿级像素视频的快速融合,且计算量小,融合速度快,融合效果好。
Description
技术领域
本文涉及图像处理领域,尤其涉及一种阵列图像融合方法、装置、介质及设备。
背景技术
阵列相机包含多个相机组成阵列,负责拍摄特定区域的高分辨率细节视频,多个高分辨率视频构成亿级像素视频。亿级像素阵列相机视频的数据量是4K超高清视频的12倍以上。当需要显示高分辨率全幅视频或任意区域的高分辨率局部视频时,需要对多个高分辨率细节视频进行融合拼接。在对亿级像素阵列相机拍摄的多路视频进行融合时,需要处理大量的视频数据,对处理设备的性能要求很高。
相关技术中,在进行多路视频拼接时,基于光流对视频图像进行拼接,数据处理量大,使得处理设备不能对超过一定数量的视频进行融合。且融合拼接后的视频图像,融合处的图像过度生硬,视觉效果差。而且在视频图像中存在运动物体时,画面拼接处容易出现“鬼影”,影响合成视频的质量和视觉效果。
发明内容
为克服相关技术中存在的问题,本文提供一种阵列图像融合方法、装置、介质及设备。
根据本文的第一方面,提供一种阵列图像融合方法,包括:
获取待融合的阵列图像;
确定相邻图像的重合区域;
基于重合区域,确定阵列图像中相邻两行或两列图像的分割线;
根据重合区域内各像素点到分割线的距离,确定重合区域内的各像素点在相邻图像中的权重值;
基于各像素点在相邻图像中的权重值,确定相邻图像的重合区域内各像素点融合后的像素值;
以每个图像中的重合区域内的分割线线段为边,确定图像的内接矩形,使用内接矩形对图像进行裁剪,将裁剪后的图像进行拼接,形成融合后的图像。
在本申请的一些实施例中,基于前述方案,阵列图像融合方法还包括:
对阵列图像进行网格变换,以使阵列图像共心。
在本申请的一些实施例中,基于前述方案,基于重合区域,确定多个阵列图像中相邻两行或两列图像的分割线包括:
相邻两行或两列图像包括一个或多个重合区域,使分割线在水平方向或者竖直方向分割所有重合区域。
在本申请的一些实施例中,基于前述方案,根据重合区域内各像素点到分割线的距离,确定重合区域内的各像素点在相邻图像中的权重值包括:
设置位于分割线上的像素点的权重值为0.5,位于重合区域边缘线上的像素点的权重值为1;
分割线与边缘线之间的像素点,根据像素点与分割线的位置关系,确定同侧的图像为主图像,在主图像中根据像素点与分割线的距离与同侧边缘线与分割线的距离的比值,确定像素点的在主图像中的权重值,再根据主图像中的权重值,确定像素点在相邻图像中的权重值。
在本申请的一些实施例中,基于前述方案,基于各像素点的权重值,确定相邻图像的重合区域内各像素点融合后的像素值包括:
任一像素点融合后的像素值为VMIX,像素点在第一图像中的像素值为V1,在第一图像中的权重值为W1,像素点在第二图像中的像素值为V2,在第二图像中的权重值为W2,则VMIX=V1×W1+V2×W2。
根据本文的另一方面,提供一种阵列图像融合装置,包括:
待融合图像获取模块,用于获取待融合的阵列图像;
重合区域确定模块,用于确定相邻图像的重合区域;
分割模块,用于基于重合区域,确定阵列图像中相邻两行或两列图像的分割线;
融合权重确定模块,用于根据重合区域内各像素点到分割线的距离,确定重合区域内的各像素点在相邻图像中的权重值;
融合模块,用于基于各像素点的权重值,确定相邻图像的重合区域内各像素点融合后的像素值;
裁剪拼接模块,用于以每个图像中的重合区域内的分割线线段为边,确定图像的内接矩形,使用内接矩形对图像进行裁剪,将裁剪后的图像进行拼接,形成融合后的图像。
在本申请的一些实施例中,基于前述方案,阵列图像融合装置还包括:
变换模块,用于对阵列图像进行网格变换,以使阵列图像共心。
在本申请的一些实施例中,基于前述方案,融合模块基于各像素点的权重值,确定相邻图像的重合区域内各像素点融合后的像素值包括:
任一像素点融合后的像素值为VMIX,像素点在第一图像中的像素值为V1,在第一图像中的权重值为W1,像素点在第二图像中的像素值为V2,在第二图像中的权重值为W2,则VMIX=V1×W1+V2×W2。
根据本文的另一方面,提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被执行时实现阵列图像融合方法的步骤。
根据本文的另一方面,提供一种计算机设备,包括处理器、存储器和存储于所述存储器上的计算机程序,处理器执行计算机程序时实现阵列图像融合方法的步骤。
本文通过确定相邻图像的重合区域,由重合区域确定相邻两行或两列图像的分割线,基于分割线确定重合区域内像素点权重,根据权重确定像素点融合后像素值,最后对相邻图像进行裁剪拼接,获得融合图像,只需很小的计算量完成重合区域内像素点的权重计算,并完成基于像素点的图像融合。在现有硬件条件下,可实现对亿级像素视频的快速融合,且计算量小,融合速度快,融合效果好。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本文。
附图说明
构成本文的一部分的附图用来提供对本文的进一步理解,本文的示意性实施例及其说明用于解释本文,并不构成对本文的不当限定。在附图中:
图1是根据一示例性实施例示出的阵列图像融合方法的流程图。
图2是根据一实例性实施例示出的1×2阵列图像的示意图。
图3是根据一示例性实施例示出的1×2阵列图像分割线示意图。
图4是根据一示例性实施例示出的2×2阵列图像的示意图。
图5是根据一示例性实施例示出的相邻图像融合前的示意图。
图6是根据一实例性实施例示出的对相邻图像进行裁剪的示意图。
图7是根据一示例性实施例示出的阵列图像融合装置的框图。
图8是根据一示例性实施例示出的阵列图像融合装置的框图。
图9是根据一示例性实施例示出的一种计算机设备的框图。
具体实施方式
为使本文实施例的目的、技术方案和优点更加清楚,下面将结合本文实施例中的附图,对本文实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本文一部分实施例,而不是全部的实施例。基于本文中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本文保护的范围。需要说明的是,在不冲突的情况下,本文中的实施例及实施例中的特征可以相互任意组合。
阵列相机包含多个相机组成阵列,负责拍摄特定区域的高分辨率细节视频,多个高分辨率视频构成亿级像素视频。当需要显示高分辨率全幅视频或任意区域的高分辨率局部视频时,需要对多个高分辨率细节视频进行融合拼接。如何保证在进行多路视频融合拼接时,减少数据处理量,提高设备处理效率和处理能力,并实现满帧融合,并使相邻图像拼接后,过度自然,是本文所要解决的技术问题。
图1是根据一示例性实施例示出的阵列图像融合方法的流程图。参考图1,阵列图像融合方法至少包括步骤S11至步骤S16,详细介绍如下:
步骤S11,获取待融合的阵列图像。
阵列相机包括多个按顺序排列的相机,分别获取不同视场的高分辨率图像。多个高分辨率图像按对应的相机的排列顺序排列,组成亿级像素的阵列图像。为保证阵列相机拍摄图像包括目标区域的全部内容,多个相机拍摄的图像中,相邻图像会有部分重合区域。当用户请求观看其中的两路或两路以上的视频图像内容时,需要对相邻的两路视频图像或两路以上视频图像进行融合,融合为一路视频图像。例如,将阵列相机拍摄的多路视频图像的缩略图提供给用户,用户在缩略图中选择感兴趣的区域,该区域可能为单路视频中的部分区域,也可能包括多路视频的多个部分区域,还可能包括全部视频的全部区域。负责图像融合的服务器接收用户的观看请求,获取观看请求中的区域包括的图像内容,获取与观看区域包括的图像内容对应的多个阵列图像。本领域技术人员应该清楚,为实现视频的融合,需要获取各个视频中相同时间戳对应的视频图像,以帧为单位,进行图像融合,进而实现视频的融合。本文以相同时间戳的视频图像的融合进行说明。
步骤S12,确定相邻图像的重合区域。
基于步骤S11中获取的待融合的多个阵列图像,确定相邻图像的重合区域。由于待融合的阵列图像的数量不同,重合区域的数量也会不同。例如,如果待融合的阵列图像为1×2或2×1的2个图像,只有一个重合区域。如果待融合的图像为2×2的4个阵列图像,在水平方向会有两个重合区域,在竖直方向也会有两个重合区域。
步骤S13,基于重合区域,确定多个阵列图像中相邻两行或两列图像的分割线。
根据待融合的多个阵列图像中,任意相邻的两行图像或两列图像的重合区域,确定分割线。分割线为相临两个图像融合时的参考线。
在一示例性实施例中,基于重合区域,确定多个阵列图像中相邻两行或两列图像的分割线包括:
相邻两行或两列图像包括一个或多个重合区域,使分割线在水平方向或者竖直方向分割所有重合区域。
根据待融合的图像数量,确定一条或多条分割线。
例如,图2是根据一实例性实施例示出的1×2阵列图像的示意图。参考图2,当相邻的两幅图像1和图像2为水平排列时,可以看作两列图像,在两个图像中重合区域为11和21,大小相同,内容一致。
图3是根据一示例性实施例示出的1×2阵列图像分割线示意图。参考图3,因为两个图像为两列,分割线为竖直线,并贯穿重合区域。分割线可以设置在重合区域的中心位置,也可以偏于一侧。同样地,如果将两行图像进行融合,分割线为水平线。
再如,图4是根据一示例性实施例示出的2×2阵列图像的示意图。在确定两列图像的分割线时,需要综合考虑两列图像形成的两个重合区域,竖直分割线需要贯穿两个重合区域,如图4中5所示。同样地,在融合2×2阵列图像时,还要考虑两行图像的融合,两行图像也会形成两个重合区域,水平分割线也要贯穿两个水平方向的重合区。水平分割线在图中未示出。
步骤S14,根据重合区域内各像素点到分割线的距离,确定重合区域内的各像素点在相邻图像中的权重值。
相邻两个图像的融合,主要是重合区域内的像素点融合。如图3所示,如果将两个图像进行拼接,为了保证在拼接后的图像中,两个图像的图像内容连续,只需将两个图像中的重合区域重合在一起。但由于不同的相机的参数的差异,会导致两个相机拍摄的两个图像色调和亮度不同,如果根据重合区域,将两个图像直接进行拼接,就会导致拼接处两侧的像素亮度和色调差别过大,图像过度生硬,影响融合效果。本实施例中,根据重合区域内的像素点到分割线的距离,确定该像素点在两个图像中的权重,基于权重对相邻图像中对应像素点进行融合,可实现像素级别的融合拼接,不会出现图像过度生硬的现象。可使拼接后的图像自然平滑的过渡,更适合人眼的观看。
在一示例性实施例中,根据重合区域内各像素点到分割线的距离,确定重合区域内的各像素点在相邻图像中的权重值包括:
设置位于分割线上的像素点的权重值为0.5,位于重合区域边缘线上的像素点的权重值为1;
分割线与边缘线之间的像素点,根据像素点与分割线的位置关系,确定同侧的图像为主图像,在主图像中根据像素点与分割线的距离与同侧边缘线与分割线的距离的比值,确定像素点的在主图像中的权重值,再根据主图像中的权重值,确定像素点在相邻图像中的权重值。
例如,参考图3和图5。图3可以为将图像1和图像2的重合区域融合后的示意图。
图5是根据一示例性实施例示出的相邻图像融合前的示意图。
对于融合后的图像中的像素点A,在图像1中对应像素点A1,在图像2中对应像素点A2。在进行图像1和图像2的融合时,即是将图像1中的像素点A1与图像2中的像素点A2进行融合。
参考图3,重合区域包括4条边缘线和一条分割线。
设置位于分割线上的像素点的权重值为0.5,使分割线上的像素点在图像1和图像2中的权重值相同,分割线上的像素点融合后的像素值取值为该像素点在图像1和图像2中的像素值的均值。位于重合区域边缘线上的像素点权重值为1。而对于重合区域中即不在中心线上也不在边缘线上的像素点,即分割线与边缘线之间的像素点,先根据该像素点与分割线的位置关系,确定同侧的图像为主图像。
例如,图3中的像素点A,位于重合区域中分割线与边缘线之间,且位于分割线的左侧。同侧的图像为图像1,以图像1为主图像。如图5所示,在图像1中,假设同侧边缘线距分割线的距离为50个像素,A1像素点到分割线的距离为25个像素,由分割线上的像素点的权重为0.5,边缘线上的像素点的权重为1,可以确定出A1像素点的权重为0.75。使待融合的两个像素点的权重值之和为1,进而可以确定A2像素点的权重值为0.25。同理,如果同侧边缘线距分割线的距离为50像素,A1像素点到分割线的距离为20像素,由分割线上的像素点的权重为0.5,边缘线上的像素点的权重为1,可以确定出A1像素点的权重为0.7。进而可以确定A2像素点的权重值为0.3。
假设像素点B在重合区域中位于分割线的右侧,像素点B在图像1中对应像素点B1,在图像2中对应像素点B2。则以分割线右侧图像2为主图像,首先在图像2中计算像素点B2的权重值,然后在确定图像1中像素点B1的权重值。像素点B在图中未示出。
步骤S15,基于各像素点在相邻图像中的权重值,确定相邻图像的重合区域内各像素点融合后的像素值。
在确定了重合区域内的各个像素点在相邻图像中的权重值,即可以基于各自的权重值对相邻图像中的对应的像素点进行融合,确定各像素点融合后的像素值。
在一示例性实施例中,基于各像素点的权重值,确定相邻图像的重合区域内各像素点融合后的像素值包括:
任一像素点融合后的像素值为VMIX,该像素点在第一图像中的像素值为V1,在第一图像中的权重值为W1,该像素点在第二图像中的像素值为V2,在第二图像中的权重值为W2,则VMIX=V1×W1+V2×W2。
仍以图3中的像素点A为例进行说明,像素点A融合后的像素值为VMIX,像素点A1在图像1中的像素值为V1,假设为80,在图像1中的权重值为0.75;像素点A2在图像2中的像素值为V2,假设为100,在图像2中的权重值为0.25,则VMIX=80×0.75+100×0.25=85。由于像素点A在分割线的左侧,更接近图像1,因此像素点A融合后的像素值也更接近图像1中的像素点A1的像素值。
对于两个图像中分割线上的像素点,融合权重相同,而对于分割线两侧的像素点,则以同侧图像中的像素点为主,且距离分割线越远,权重值越高。对重合区域中的像素点进行融合后,再以分割线为边界对两个图像进行拼接,可以实现重合区域中像素级别的自然过度,提高融合效果。
步骤S16,以每个图像中的重合区域内的分割线线段为边,确定图像的内接矩形,使用内接矩形对图像进行裁剪,将裁剪后的图像进行拼接,形成融合后的图像。
图6是根据一实例性实施例示出的对相邻图像进行裁剪的示意图。如图6所示,以每个图像中的重合区域内的分割线线段为边,确定内接矩形,如图中灰色部分,使用内接矩形对图像进行裁剪,保留图中灰色部分。
经过裁剪后,可以得到在拼接方向上宽度或高度一致的图像,便于后续的融合。例如,在对2×2的阵列图像进行融合时,可以分别对第一行或第二行的两个图像进行融合,裁剪得到高度一致的两个图像。将各行的两个图像拼接后,得到上下两张图像,再对上下两张图像进行融合和裁剪,裁剪得到宽度一致的两个图像。最后拼接后的图像为矩形,实现图像满帧融合,提高视觉效果。避免在一帧视频中出现图像交错的现象。
在进行图像融合时,还需要保证被融合的图像共心,也就是被融合图像需要为同一视点的图像。如果阵列相机位于球形表面,通过调整内部参数和外部参数,使各个相机的中心重合,从而拍摄共心的阵列视频图像,即可通过以上实施例所提供的阵列图像融合方法对阵列图像进行融合。然而实际应用中,阵列相机的多个相机安装在安装架上,在平面上排列,各个相机所拍摄的图像并不共心。
在一示例性实施例中,阵列图像融合方法还包括:
对阵列图像进行网格变换,以使阵列图像共心。
因此需要对非共心的阵列图像进行网格变换,将阵列图像变换为同一视点的图像,使阵列图像共心。
在一实施例中,对阵列图像进行网格变换可以在步骤S11之后,例如,在接收到用户的请求数据,根据用户请求观看的区域,确定待融合的视频,获取待融合视频中相同时间戳的视频帧的图像,作为待融合的阵列图像,根据对应的相机的位置和相互间的距离,对待融合的阵列图像进行网格变换,变换为共心的阵列图像。然后执行步骤S12至步骤S16,完成对阵列图像的融合。
在一实施例中,对阵列图像进行网格变换可以在步骤S13后进行。即在确定阵列图像中相邻两行或两列图像的分割线后,再对阵列图像进行网格变换,基于共心的阵列图像确定重合区域内的各像素点在相邻图像中的权重值;再执行步骤S14至步骤S16,完成对阵列图像的融合。
以上实施例中的各个实施方案,是针对各个视频中同一时间戳的视频图像来静态描述的,虽然每个相机拍摄的视频画面内容会有所变化,但由于各个相机间的位置关系是固定不变的,因此两个相邻视频图像的重合区域是不变的,在确定了分割线后,该重合区域内各个像素点到分割线的距离也是固定的,因此对应的各个像素点的权重值也不会变化。因此只需在对待融合视频的初始帧图像进行计算,就可以确定重合区域内各个像素点的权重值。在对后续视频帧进行融合时,只需根据每帧中像素点的像素值,代入融合公式VMIX=V1×W1+V2×W2,快速计算出该像素点的融合后的像素值。从而大大降低了视频融合时的数据处理量,提高融合速度,并提高现有服务器的融合能力,实现亿级像素的视频融合。
图7是根据一示例性实施例示出的阵列图像融合装置的框图。参考图7,阵列图像融合装置包括:待融合图像获取模块701,重合区域确定模块702,分割模块703,融合权重确定模块704,融合模块705,裁剪拼接模块706。
该待融合图像获取模块701被配置为用于获取待融合的阵列图像。
该重合区域确定模块702被配置为用于确定相邻图像的重合区域。
该分割模块703被配置为用于基于重合区域,确定阵列图像中相邻两行或两列图像的分割线。
该融合权重确定模块704被配置为用于根据重合区域内各像素点到分割线的距离,确定重合区域内的各像素点在相邻图像中的权重值。
该融合模块705被配置为用于基于各像素点的权重值,确定相邻图像的重合区域内各像素点融合后的像素值。
该裁剪拼接模块706被配置为用于以每个图像中的重合区域内的分割线线段为边,确定图像的内接矩形,使用内接矩形对所述图像进行裁剪,将裁剪后的图像进行拼接,形成融合后的图像。
融合模块705基于各像素点的权重值,确定相邻图像的重合区域内各像素点融合后的像素值包括:
任一像素点融合后的像素值为VMIX,像素点在第一图像中的像素值为V1,在第一图像中的权重值为W1,像素点在第二图像中的像素值为V2,在第二图像中的权重值为W2,则VMIX=V1×W1+V2×W2。
图8是根据一示例性实施例示出的阵列图像融合装置的框图。参考图8,阵列图像融合装置还包括:变换模块801。
该变换模块801被配置为用于对阵列图像进行网格变换,以使阵列图像共心。
图9是根据一示例性实施例示出的一种用于阵列图像融合的计算机设备900的框图。例如,计算机设备900可以被提供为一服务器。参照图9,计算机设备900包括处理器901,处理器的个数可以根据需要设置为一个或者多个。计算机设备900还包括存储器902,用于存储可由处理器901的执行的指令,例如应用程序。存储器的个数可以根据需要设置一个或者多个。其存储的应用程序可以为一个或者多个。处理器901被配置为执行指令,以执行阵列图像融合方法。
本领域技术人员应明白,本文的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本文可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质,包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
本文是参照根据本文实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
尽管已描述了本文的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本文范围的所有变更和修改。
显然,本领域的技术人员可以对本文进行各种改动和变型而不脱离本文的精神和范围。这样,倘若本文的这些修改和变型属于本文权利要求及其等同技术的范围之内,则本文的意图也包含这些改动和变型在内。
Claims (10)
1.一种阵列图像融合方法,其特征在于,包括:
获取待融合的阵列图像;
确定相邻图像的重合区域;
基于所述重合区域,确定所述阵列图像中相邻两行或两列图像的分割线;
根据重合区域内各像素点到所述分割线的距离,确定所述重合区域内的各像素点在相邻图像中的权重值;
基于所述各像素点在相邻图像中的权重值,确定相邻图像的重合区域内各像素点融合后的像素值;
以每个图像中的重合区域内的分割线线段为边,确定所述图像的内接矩形,使用所述内接矩形对所述图像进行裁剪,将裁剪后的图像进行拼接,形成融合后的图像。
2.如权利要求1所述的阵列图像融合方法,其特征在于,还包括:
对所述阵列图像进行网格变换,以使所述阵列图像共心。
3.如权利要求1所述的阵列图像融合方法,其特征在于,所述基于所述重合区域,确定所述多个阵列图像中相邻两行或两列图像的分割线包括:
所述相邻两行或两列图像包括一个或多个重合区域,使所述分割线在水平方向或者竖直方向分割所有重合区域。
4.如权利要求1所述的阵列图像融合方法,其特征在于,所述根据重合区域内各像素点到所述分割线的距离,确定所述重合区域内的各像素点在相邻图像中的权重值包括:
设置位于所述分割线上的像素点的权重值为0.5,位于所述重合区域边缘线上的像素点的权重值为1;
所述分割线与所述边缘线之间的像素点,根据所述像素点与分割线的位置关系,确定同侧的图像为主图像,在主图像中根据所述像素点与分割线的距离与同侧边缘线与分割线的距离的比值,确定所述像素点的在所述主图像中的权重值,再根据所述主图像中的权重值,确定所述像素点在相邻图像中的权重值。
5.如权利要求4所述的阵列图像融合方法,其特征在于,所述基于所述各像素点的权重值,确定相邻图像的重合区域内各像素点融合后的像素值包括:
任一像素点融合后的像素值为VMIX,所述像素点在第一图像中的像素值为V1,在第一图像中的权重值为W1,所述像素点在第二图像中的像素值为V2,在第二图像中的权重值为W2,则VMIX=V1×W1+V2×W2。
6.一种阵列图像融合装置,其特征在于,包括:
待融合图像获取模块,用于获取待融合的阵列图像;
重合区域确定模块,用于确定相邻图像的重合区域;
分割模块,用于基于所述重合区域,确定所述阵列图像中相邻两行或两列图像的分割线;
融合权重确定模块,用于根据重合区域内各像素点到所述分割线的距离,确定所述重合区域内的各像素点在相邻图像中的权重值;
融合模块,用于基于所述各像素点的权重值,确定相邻图像的重合区域内各像素点融合后的像素值;
裁剪拼接模块,用于以每个图像中的重合区域内的分割线线段为边,确定所述图像的内接矩形,使用所述内接矩形对所述图像进行裁剪,将裁剪后的图像进行拼接,形成融合后的图像。
7.如权利要求6所述的阵列图像融合装置,其特征在于,还包括:
变换模块,用于对所述阵列图像进行网格变换,以使所述阵列图像共心。
8.如权利要求6所述的阵列图像融合装置,其特征在于,所述融合模块基于所述各像素点的权重值,确定相邻图像的重合区域内各像素点融合后的像素值包括:
任一像素点融合后的像素值为VMIX,所述像素点在第一图像中的像素值为V1,在第一图像中的权重值为W1,所述像素点在第二图像中的像素值为V2,在第二图像中的权重值为W2,则VMIX=V1×W1+V2×W2。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被执行时实现如权利要求1-5中任意一项所述方法的步骤。
10.一种计算机设备,包括处理器、存储器和存储于所述存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-5中任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111085872.9A CN113808059A (zh) | 2021-09-16 | 2021-09-16 | 阵列图像融合方法、装置、介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111085872.9A CN113808059A (zh) | 2021-09-16 | 2021-09-16 | 阵列图像融合方法、装置、介质及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113808059A true CN113808059A (zh) | 2021-12-17 |
Family
ID=78941238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111085872.9A Pending CN113808059A (zh) | 2021-09-16 | 2021-09-16 | 阵列图像融合方法、装置、介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113808059A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105205781A (zh) * | 2015-08-24 | 2015-12-30 | 电子科技大学 | 输电线路航拍图像拼接方法 |
CN105657268A (zh) * | 2016-01-11 | 2016-06-08 | 塔里木大学 | 一种基于多分辨率的多视点视频拼接融合算法 |
CN106127690A (zh) * | 2016-07-06 | 2016-11-16 | 李长春 | 一种无人机遥感图像快速拼接方法 |
CN106960414A (zh) * | 2016-12-12 | 2017-07-18 | 天津大学 | 一种多视角ldr图像生成高分辨率hdr图像的方法 |
CN107958441A (zh) * | 2017-12-01 | 2018-04-24 | 深圳市科比特航空科技有限公司 | 图像拼接方法、装置、计算机设备和存储介质 |
CN111105351A (zh) * | 2019-12-13 | 2020-05-05 | 华中科技大学鄂州工业技术研究院 | 一种视频序列影像拼接方法及装置 |
CN111179199A (zh) * | 2019-12-31 | 2020-05-19 | 展讯通信(上海)有限公司 | 图像处理方法、装置及可读存储介质 |
CN111798540A (zh) * | 2020-05-25 | 2020-10-20 | 青海大学 | 图像融合方法和系统 |
CN112508831A (zh) * | 2020-12-02 | 2021-03-16 | 深圳开立生物医疗科技股份有限公司 | 一种超声宽景图像生成方法、装置、设备及存储介质 |
CN113079325A (zh) * | 2021-03-18 | 2021-07-06 | 北京拙河科技有限公司 | 暗光条件下的十亿级像素成像方法、装置、介质及设备 |
CN113301274A (zh) * | 2021-07-28 | 2021-08-24 | 北京海兰信数据科技股份有限公司 | 一种船舶实时视频全景拼接方法及系统 |
-
2021
- 2021-09-16 CN CN202111085872.9A patent/CN113808059A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105205781A (zh) * | 2015-08-24 | 2015-12-30 | 电子科技大学 | 输电线路航拍图像拼接方法 |
CN105657268A (zh) * | 2016-01-11 | 2016-06-08 | 塔里木大学 | 一种基于多分辨率的多视点视频拼接融合算法 |
CN106127690A (zh) * | 2016-07-06 | 2016-11-16 | 李长春 | 一种无人机遥感图像快速拼接方法 |
CN106960414A (zh) * | 2016-12-12 | 2017-07-18 | 天津大学 | 一种多视角ldr图像生成高分辨率hdr图像的方法 |
CN107958441A (zh) * | 2017-12-01 | 2018-04-24 | 深圳市科比特航空科技有限公司 | 图像拼接方法、装置、计算机设备和存储介质 |
CN111105351A (zh) * | 2019-12-13 | 2020-05-05 | 华中科技大学鄂州工业技术研究院 | 一种视频序列影像拼接方法及装置 |
CN111179199A (zh) * | 2019-12-31 | 2020-05-19 | 展讯通信(上海)有限公司 | 图像处理方法、装置及可读存储介质 |
CN111798540A (zh) * | 2020-05-25 | 2020-10-20 | 青海大学 | 图像融合方法和系统 |
CN112508831A (zh) * | 2020-12-02 | 2021-03-16 | 深圳开立生物医疗科技股份有限公司 | 一种超声宽景图像生成方法、装置、设备及存储介质 |
CN113079325A (zh) * | 2021-03-18 | 2021-07-06 | 北京拙河科技有限公司 | 暗光条件下的十亿级像素成像方法、装置、介质及设备 |
CN113301274A (zh) * | 2021-07-28 | 2021-08-24 | 北京海兰信数据科技股份有限公司 | 一种船舶实时视频全景拼接方法及系统 |
Non-Patent Citations (2)
Title |
---|
刘旭春;刘杨;刘津;李德龙;: "基于GDAL的无人机影像快速拼接方法研究", 地理信息世界, no. 06 * |
胡天正;侯少博;: "石窟建筑三维数字图像形貌拼接方法优化仿真", 计算机仿真, no. 12 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102013978B1 (ko) | 이미지들의 융합을 위한 방법 및 장치 | |
WO2017210987A1 (en) | High resolution (hr) panorama generation without ghosting artifacts using multiple hr images mapped to a low-resolution 360-degree image | |
CN113079325B (zh) | 暗光条件下的十亿级像素成像方法、装置、介质及设备 | |
CN105205796A (zh) | 广域图像获取方法和装置 | |
US20200349734A1 (en) | Virtual image processing method, image processing system, and storage medium | |
CN112468832A (zh) | 一种十亿级像素全景视频直播方法、装置、介质及设备 | |
CN111193937A (zh) | 一种直播视频数据的处理方法、装置、设备和介质 | |
US20180268521A1 (en) | System and method for stitching images | |
CN112087571A (zh) | 图像采集方法和装置、电子设备、计算机可读存储介质 | |
CN108391116B (zh) | 基于3d成像技术的全身扫描装置及扫描方法 | |
US11393076B2 (en) | Blurring panoramic image blurring method, terminal and computer readable storage medium | |
US11659157B2 (en) | Systems for measuring naked-eye stereoscopic image, methods and apparatuses for processing image and display devices | |
CN108156383A (zh) | 基于相机阵列的高动态十亿像素视频采集方法及装置 | |
CN113891111B (zh) | 十亿像素视频的直播方法、装置、介质及设备 | |
CN114897683A (zh) | 车侧图像的获取方法及其装置、系统和计算机设备 | |
CN113808059A (zh) | 阵列图像融合方法、装置、介质及设备 | |
CN112926385A (zh) | 监控设备的视频处理方法及相关产品 | |
CN114500849B (zh) | 一种多视角环绕拍摄矫正方法及系统 | |
CN116456191A (zh) | 图像生成方法、装置、设备及计算机可读存储介质 | |
JP6089742B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
CN112437253B (zh) | 一种视频拼接方法、装置、系统、计算机设备和存储介质 | |
WO2020259444A1 (zh) | 一种图像处理方法及相关设备 | |
CN113395434B (zh) | 一种预览图像虚化方法、存储介质及终端设备 | |
CN114022562A (zh) | 一种保持行人完整性的全景视频拼接方法和装置 | |
CN112637573A (zh) | 一种多镜头切换的显示方法、系统、智能终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |