CN109688336B - 多张图像的拼接方法、直播服务器及计算机存储介质 - Google Patents

多张图像的拼接方法、直播服务器及计算机存储介质 Download PDF

Info

Publication number
CN109688336B
CN109688336B CN201811556439.7A CN201811556439A CN109688336B CN 109688336 B CN109688336 B CN 109688336B CN 201811556439 A CN201811556439 A CN 201811556439A CN 109688336 B CN109688336 B CN 109688336B
Authority
CN
China
Prior art keywords
pixel value
image
weight
mask
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811556439.7A
Other languages
English (en)
Other versions
CN109688336A (zh
Inventor
王福滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Information Technology Co Ltd
Original Assignee
Guangzhou Huya Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Information Technology Co Ltd filed Critical Guangzhou Huya Information Technology Co Ltd
Publication of CN109688336A publication Critical patent/CN109688336A/zh
Application granted granted Critical
Publication of CN109688336B publication Critical patent/CN109688336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种多张图像的拼接方法、直播服务器及计算机存储介质。该拼接方法应用于直播服务器，所述直播服务器与多个拍摄装置建立连接，所述拼接方法包括：从多个所述拍摄装置获取多张待拼接的图像；初始化每张所述图像，对每张所述图像进行整体曝光补偿；对完成整体曝光补偿的多张图像进行并行匀色处理，以生成拼接图。通过上述方式，本申请在直播过程中对多张图像进行并行均色处理，能够满足直播所需求的实时性。

Description

多张图像的拼接方法、直播服务器及计算机存储介质
技术领域
本申请涉及计算机应用技术领域，特别是涉及一种多张图像的拼接方法、直播服务器及计算机存储介质。
背景技术
随着图像、视频采集技术以及图像、视频处理技术的不断发展，多个摄像机的图像拼接技术也得到了越来越广泛的应用，例如全景地图、全景拍摄、测绘遥感等。多个摄像头图像拼接就是将多摄像头在同一时刻不同角度、相邻的具有一定重叠区域的两幅或者多幅图像拼接成一幅大图像。在多摄像机多图像拼接过程中，因为不同相机参数、不同光照、色彩差异导致生成的拼接图中产生的明显的接缝。
现有技术通过匀色技术消除上述接缝，现有的匀色技术包括中值滤波法、直接平均法或加权平均法，但是现有的匀色技术无法满足直播所需求的实时性。
发明内容
本申请提供了一种多张图像的拼接方法、直播服务器及计算机存储介质，以解决现有的匀色技术无法满足直播所需求的实时性。
为解决上述技术问题，本申请提供了一种多张图像的拼接方法，所述拼接方法应用于直播服务器，所述直播服务器与多个拍摄装置建立连接，所述拼接方法包括：
从多个所述拍摄装置获取多张待拼接的图像；
初始化每张所述图像，对每张所述图像进行整体曝光补偿；
对完成整体曝光补偿的多张图像进行并行匀色处理，以生成拼接图。
为解决上述技术问题，本申请还提供了一种直播服务器，所述直播服务器与多个拍摄装置建立连接，所述直播服务器包括通信器和处理器，其中，所述通信器与所述处理器耦接；
所述通信器用于从多个所述拍摄装置获取多张待拼接的图像；
所述处理器用于初始化每张所述图像，对每张所述图像进行整体曝光补偿；并且对完成整体曝光补偿的多张图像进行并行匀色处理，以生成拼接图。
为解决上述技术问题，本申请还提供了一种计算机存储介质，所述计算机存储介质存储有程序数据，所述程序数据能够被执行以实现上述的拼接方法。
与现有技术相比，本申请的有益效果是：直播服务器与多个拍摄装置建立连接，并从多个拍摄装置获取多张待拼接的图像，初始化每张图像，对每张图像进行整体曝光补偿；对完成整体曝光补偿的多张图像进行并行匀色处理，以生成拼接图；本申请在直播过程中对多张图像进行并行均色处理，能够满足直播所需求的实时性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请第一实施例的拼接方法的流程示意图；
图2是图1中拼接方法的应用场景示意图；
图3是图1中初始化每张图像的流程示意图；
图4a是图1中图像的示意图；
图4b是图3中映射图的示意图；
图4c是图3中掩膜图的示意图；
图4d是图3中高斯模糊掩膜图的示意图；
图5是图1中对每张图像进行整体曝光补偿的流程示意图；
图6是本申请第二实施例的拼接方法的流程示意图；
图7是图6中步骤S605的流程示意图；
图8是图7中第一重叠区域的示意图；
图9是本申请第三实施例的拼接方法的流程示意图；
图10是图9中步骤S905的流程示意图；
图11是图10中第二重叠区域的示意图；
图12是本申请第一实施例的直播服务器的结构示意图；
图13是本申请第一实施例的计算机存储介质的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参见图1-2，图1是本申请第一实施例的拼接方法的流程示意图；图2是图1中拼接方法的应用场景示意图。本申请提出了一种多张图像的拼接方法，该拼接方法应用于直播服务器21，该直播服务器21与多个拍摄装置22建立连接。在主播进行直播时，主播可以通过多个拍摄装置22在同一时刻拍摄不同角度的图像，得到多张待拼接的图像。该拍摄装置22可以为手机、具有拍摄功能的电脑或者平板电脑等。
如图1所示，该拼接方法可以包括以下步骤：
S101：从多个拍摄装置获取多张待拼接的图像。
在直播中，多个拍摄装置22可以在同一时刻以不同角度进行拍摄，以得到多张待拼接的图像。主播可以在每个拍摄装置22设置相同的拍摄时间，以实现多个拍摄装置22在同一时刻进行拍摄。每个拍摄装置22在拍摄到图像时将该图像发送至直播服务器21，以使直播服务器21从多个拍摄装置22获取多张待拼接的图像，如图4a所示。
S102：初始化每张图像，对每张图像进行整体曝光补偿。
直播服务器21在获取到多张待拼接的图像时初始化每张图像，如图3所示，初始化每张图像的具体步骤可以包括以下步骤：
S301：获取图像在拼接图上对应位置的映射图。
直播服务器21初始化每帧的图像在拼接图上对应位置的映射图，以获取图像在拼接图上对应位置的映射图，如图4b所示。
S302：获取与映射图对应的掩膜图。
直播服务器21初始化在拼接图对应位置的映射图的掩膜图，以获取与映射图对应的掩膜图，如图4c所示。其中，掩膜图具有图像内容的区域的像素值为第一像素值；掩膜图的其他区域的像素值为第二像素值，第一像素值可以为255(白色)，第二像素值可为0(黑色)。
S303：根据高斯公式得到与掩膜图对应的高斯模糊掩膜图。
直播服务器21对所述掩膜图的像素值进行高斯公式计算，以得到与掩膜图对应的高斯模糊掩膜图，如图4d所示。
由于每个拍摄装置22的拍摄环境都是具有差异的，可能导致多张图像在拼接过程中产生接缝。为了减少多张图像曝光的差异，本实施的直播服务器21在初始化每张图像时对每张图像进行整体曝光补偿。如图5所示，对每张图像进行整体曝光补偿的步骤可以包括以下步骤：
S501：对拼接图进行曝光补偿算法计算，得到曝光补偿后的映射图。
在直播服务器21初始化每张图像时，直播服务器21对拼接图进行曝光补偿算法计算，得到曝光补偿后的映射图。
S502：根据曝光补偿后的映射图和对应的映射图得到曝光补偿的差值。
直播服务器21根据曝光补偿后的映射图和对应的映射图得到曝光补偿的差值，该曝光补偿的差值满足以下公式：
Figure BDA0001912039920000041
其中，WRi为映射图在R分量上的像素值；WGi为映射图在G分量上的像素值；WBi为映射图在B分量上的像素值；WexposureRi为曝光补偿后的映射图在R分量上的像素值；WexposureGi为曝光补偿后的映射图在G分量上的像素值；WexposureBi为曝光补偿后的映射图在B分量上的像素值；diffRi为在R分量上的曝光补偿的差值；diffGi为在G分量上的曝光补偿的差值；diffBi为在B分量上的曝光补偿的差值。
本实施例的直播服务器21在初始化每张图像时同时计算得出曝光补偿的差值，避免在步骤S103计算曝光补偿的差值而增加耗时，提高直播服务器21的处理效率。
S103：对完成整体曝光补偿的多张图像进行并行匀色处理，以生成拼接图。
直播服务器21对完成整体曝光补偿的多张图像进行并行匀色处理，以生成拼接图。与现有的匀色技术仅能两张图像之间的均色相对比，本申请的直播服务器21能够对多张图像进行并行匀色处理，实现高速处理，能够满足直播所需求的实时性。
本申请进一步提供第二实施例的拼接方法，其在第一实施例的拼接方法的基础上进行描述。如图6所示，该拼接方法可以包括以下步骤：
S601：从多个拍摄装置获取多张待拼接的图像。
S602：初始化每张图像，对每张图像进行整体曝光补偿。
其中，步骤S601-S602与上述实施例的步骤S101-S102相同，在此不再赘述。
S603：初始化拼接图的权值数组。
直播服务器21将拼接图的权值数组定义为Weight(i,j)k，其中0≤i≤dstrows，0≤j≤dstcols，0≤k≤n，i为拼接图的行数；j为拼接图的列数；k为第k个拍摄装置22；n为拍摄装置22的总数量；dstrows为拼接图的总行数；dstcols为拼接图的总列数。权值数组Weight(i,j)k表示拼接图的第i行第j列的像素点在第k个拍摄装置22中的权值。直播服务器21初始化拼接图的权值数组Weight(i,j)k，以使权值数组Weight(i,j)k为0。
此外，直播服务器21进一步计算权值数组Weight(i,j)k的大小Wsize＝dstcols*dstrows*n，以使得直播服务器21根据Wsize分配存储空间，用于存储权值数组Weight(i,j)k。
S604：根据曝光补偿的差值对每张映射图进行曝光补偿。
直播服务器21根据曝光补偿的差值对每张映射图进行曝光补偿，即直播服务器21根据公式(1)和每张映射图的像素值进行曝光补偿。其中，曝光补偿后的映射图满足以下公式：
Figure BDA0001912039920000061
其中，W'exposureRi为曝光补偿后的映射图在R分量上的像素值，W'exposureGi为曝光补偿后的映射图在G分量上的像素值，W'exposureBi为曝光补偿后的映射图在B分量上的像素值；W'Ri为映射图在R分量上的像素值，W'Gi为映射图在G分量上的像素值，W'Bi为映射图在B分量上的像素值。
S605：对完成整体曝光补偿的多张图像进行并行匀色处理，以生成拼接图。
如图7所示，直播服务器21通过单边匀色对完成整体曝光补偿的多张图像进行并行匀色处理的步骤，可以包括以下步骤：
S701：获取图像的高斯模糊掩膜图在对应的掩膜图的边界上的最小像素值为第三像素值。
其中，直播服务器21计算每个图像的高斯模糊掩膜图在对应掩膜图的边界上的最小像素值，该最小像素值为第三像素值minval。如图8所示，掩膜图81为实线区域，直播服务器21由内虚线821到外虚线822进行模糊，以得到高斯模糊掩膜图；第三像素值minval位于掩膜图81的边界。
S702：获取拼接图的第一掩膜图，初始化第一掩膜图的像素值和权值，其中高斯模糊掩膜图与第一掩膜图形成第一重叠区域。
如图8所示，直播服务器21获取拼接图的第一掩膜图83，并初始化第一掩膜图83的像素值和权值，以使得第一掩膜图83的像素值为0，第一掩膜图83的权值为0。其中，图像的高斯模糊掩膜图与第一掩膜图83形成第一重叠区域831。
S703：获取掩膜图的像素值为第四像素值，获取掩膜图的权值为第一权值，对第四像素值进行高斯公式计算，得出高斯模糊像素值。
其中，该掩膜图为上述步骤S302所得到的掩膜图。直播服务器21获取掩膜图的像素值为第四像素值mask(i,j)k，获取掩膜图的权值为第一权值Wmask(i,j)k，并且对第四像素值mask(i,j)k进行高斯公式计算，得出高斯模糊像素值gaussianmask(i,j)k。
S704：根据图像和第一重叠区域的位置，计算得到权值数组和第一掩膜图的像素值。
直播服务器21获取图像拼接到拼接图的位置，并根据图像和第一重叠区域831的位置，计算得到权值数组Weight(i,j)k和第一掩膜图的像素值dstmask(i,j)。
具体地，在直播服务器21判断到图像位于第一重叠区域831内时，直播服务器21计算高斯模糊像素值gaussianmask(i,j)k和第三像素值minval的比值，并将比值与预设阈值进行比较，该预设阈值可为1。
若直播服务器21判断到比值大于预设阈值时，则直播服务器21将权值数组Weight(i,j)k的权值设置为1。
若直播服务器21判断到比值小于或等于预设阈值时，则直播服务器21将权值数组Weight(i,j)k的权值设置为高斯模糊像素值gaussianmask(i,j)k和第三像素值minval的比值，并将第一掩膜图的像素值dstmask(i,j)设置为该比值乘以255。
在直播服务器21判断到图像位于第一重叠区域831外时，则直播服务器21将权值数组Weight(i,j)k的权值设置为第一权值Wmask(i,j)k，将第一掩膜图的像素值dstmask(i,j)设置为第四像素值mask(i,j)k。
因此，权值数组Weight(i,j)k满足以下公式：
Figure BDA0001912039920000071
第一掩膜图的像素值dstmask(i,j)满足以下公式：
Figure BDA0001912039920000081
if(dstmask(i,j)/255.0)&&(gaussianmask(i,j)k/minval)表示第一掩膜图的像素值dstmask(i,j)除以255不等于0，并且比值gaussianmask(i,j)k/minval不等于0。if(dstmask(i,j)/255)&&(！gaussianmask(i,j)k/minval)表示第一掩膜图的像素值dstmask(i,j)除以255不等于0，并且比值gaussianmask(i,j)k/minval等于0；if(！dstmask(i,j)/255)&&(mask(i,j)k)表示第一掩膜图的像素值dstmask(i,j)除以255等于0，并且第四像素值mask(i,j)k不等于0。
直播服务器21可以根据公式(3)和(4)，得到拼接图的每个像素点对应所有拍摄装置22的权值数组Weight(i,j)k。
S705：根据权值数组，获取拼接图中每个像素点对应所有摄像装置的权值计数值。
直播服务器21根据权值数组Weight(i,j)k，获取拼接图中每个像素点对应所有摄像装置的权值计数值count。
S706：在权值计数值等于1时，拼接图的像素值等于图像的像素值。
直播服务器21在权值计数值等于1时，即每个像素点对应所有摄像装置的权值中仅有一个权值不等于0，其他权值均为0，直播服务器21判断该像素点为非重叠区，则拼接图的像素值等于图像的像素值。
S707：在权值计数值大于1时，将图像的权值乘以图像的像素值得到第一数值，将1减去图像的权值得到第二数值，将第二数值乘以拼接图的像素值得到第三数值，根据第一数值和第三数值之和得到拼接图的像素值。
直播服务器21在权值计数值大于1时，即每个像素点对应所有摄像装置的权值中超过一个权值不等于0，其他权值均为0，直播服务器21判断该像素点为重叠区，则直播服务器21将图像的权值乘以图像的像素值得到第一数值，将1减去图像的权值得到第二数值，将第二数值乘以拼接图的像素值得到第三数值，根据第一数值和第三数值之和得到拼接图的像素值。
因此，拼接图的像素值满足以下公式：
Figure BDA0001912039920000091
Figure BDA0001912039920000092
Figure BDA0001912039920000093
其中，直播服务器21根据公式(2)计算得出We'xposureRk、We'xposureGk、We'xposureBk；dst(i,j)R为拼接图在R分量上的像素值，dst(i,j)G为拼接图在G分量上的像素值，dst(i,j)B为拼接图在B分量上的像素值，k为权值不为0的图像，count为权值计数值。
此时，直播服务器21根据拼接图的像素值过生成拼接图。
本实施例直播服务器21通过单边匀色对完成整体曝光补偿的多张图像进行并行匀色处理，以生成拼接图，实现高速处理，能够满足直播所需求的实时性。
本申请进一步提供第三实施例的拼接方法，其在第二实施例的拼接方法的基础上进行描述。如图9所示，该拼接方法可以包括以下步骤：
S901：从多个拍摄装置获取多张待拼接的图像。
S902：初始化每张图像，对每张图像进行整体曝光补偿。
S903：初始化拼接图的权值数组。
S904：根据曝光补偿的差值对每张映射图进行曝光补偿。
其中，步骤S901-S904与上述实施例的步骤S601-S604相同，在此不再赘述。
S905：对完成整体曝光补偿的多张图像进行并行匀色处理，以生成拼接图。
如图10所示，直播服务器21通过双边匀色对完成整体曝光补偿的多张图像进行并行匀色处理的步骤，可以包括以下步骤：
S11：获取图像的高斯模糊掩膜图的最大像素值为第五像素值，图像的高斯模糊掩膜图与拼接图的高斯模糊掩膜图形成第二重叠区域。
其中，直播服务器21获取图像的高斯模糊掩膜图的最大像素值为第五像素值maxval。如图11所示，图像的掩膜图111为实线区域，直播服务器21由内虚线112到外虚线113进行模糊，以得到图像的高斯模糊掩膜图114；第五像素值maxval位于内虚线112的范围内。拼接图的高斯模糊掩膜图115和图像的高斯模糊掩膜图114形成第二重叠区域116。
S12：初始化拼接图的第一掩膜图的像素值和权值。
直播服务器21获取拼接图的第一掩膜图，并初始化第一掩膜图的像素值和权值，以使得第一掩膜图的像素值为0，第一掩膜图的权值为0。
S13：获取掩膜图的像素值为第四像素值，对第四像素值进行高斯公式计算，得出高斯模糊像素值。
其中，该掩膜图为上述步骤S302所得到的掩膜图。直播服务器21获取掩膜图的像素值为第四像素值mask(i,j)k，并且对第四像素值mask(i,j)k进行高斯公式计算，得出高斯模糊像素值gaussianmask(i,j)k。
S14：根据图像和第二重叠区域的位置，计算得到权值数组和第一掩膜图的像素值。
直播服务器21获取图像拼接到拼接图的位置，根据图像和第二重叠区域116的位置，计算得到权值数组Weight(i,j)k和第一掩膜图的像素值dstmask(i,j)。
具体地，在直播服务器21判断到图像位于第二重叠区域116内时，直播服务器21计算第一掩膜图的像素值dstmask(i,j)和高斯模糊像素值gaussianmask(i,j)k之和。
若直播服务器21判断到第一掩膜图的像素值dstmask(i,j)和高斯模糊像素值gaussianmask(i,j)k之和大于第五像素值maxval，则直播服务器21设置权值数组Weight(i,j)k的权值为1。
若直播服务器21判断到第一掩膜图的像素值dstmask(i,j)和高斯模糊像素值gaussianmask(i,j)k之和小于或等于第五像素值maxval，则直播服务器21设置权值数组Weight(i,j)k的权值为第一掩膜图的像素值dstmask(i,j)和高斯模糊像素值gaussianmask(i,j)k之和除于第五像素值maxval，第一掩膜图的像素值dstmask(i,j)更新为第一掩膜图的像素值dstmask(i,j)和高斯模糊像素值gaussianmask(i,j)k之和。
在直播服务器21判断到图像位于第二重叠区域116外时，直播服务器21设置权值数组Weight(i,j)k的权值为高斯模糊像素值gaussianmask(i,j)k除于第五像素值maxval，第一掩膜图的像素值dstmask(i,j)为高斯模糊像素值gaussianmask(i,j)k。
因此，权值数组Weight(i,j)k满足以下公式：
Figure BDA0001912039920000111
第一掩膜图的像素值dstmask(i,j)满足以下公式：
Figure BDA0001912039920000112
其中，if(dstmask(i,j)/maxval)&&(gaussianmask(i,j)k/maxval)表示第一掩膜图的像素值dstmask(i,j)除以第五像素值maxval不等于0，并且(gaussianmask(i,j)k/maxval)不等于0。
if(dstmask(i,j)/maxval)&&(！gaussianmask(i,j)k/maxval)表示第一掩膜图的像素值dstmask(i,j)除以第五像素值maxval不等于0，并且(gaussianmask(i,j)k/maxval)等于0。if(！dstmask(i,j)/maxval)&&(mask(i,j)k)表示第一掩膜图的像素值dstmask(i,j)除以第五像素值maxval等于0，并且第四像素值mask(i,j)k不等于0。
直播服务器21可以根据公式(5)和(6)，得到拼接图的每个像素点对应所有拍摄装置22的权值数组Weight(i,j)k。
S15：根据权值数组，获取拼接图中每个像素点对应所有摄像装置的权值计数值。
S16：在权值计数值等于1时，拼接图的像素值等于图像的像素值。
S17：在权值计数值大于1时，将图像的权值乘以图像的像素值得到第一数值，将1减去图像的权值得到第二数值，将第二数值乘以拼接图的像素值得到第三数值，根据第一数值和第三数值之和得到拼接图的像素值。
其中，步骤S15-S17与第二实施例所揭示的步骤S705-S706相同，在此不再赘述。因此，直播服务器21可以根据拼接图的像素值过生成拼接图。
本实施例直播服务器21通过双边匀色对完成整体曝光补偿的多张图像进行并行匀色处理，以生成拼接图，实现高速处理，能够满足直播所需求的实时性。
本申请进一步提供一种直播服务器，如图12所示，该直播服务器21与多个拍摄装置22建立连接，直播服务器21包括通信器211和处理器212，其中通信器211与处理器212耦接。
其中，通信器211用于从多个拍摄装置22获取多张待拼接的图像；处理器212用于初始化每张图像，对每张图像进行整体曝光补偿；并且对完成整体曝光补偿的多张图像进行并行匀色处理，以生成拼接图。
其中，处理器212根据上述实施例所揭示的拼接方法对多张图像进行并行匀色处理，以生成拼接图，在此不再赘述。
在本实施例中，处理器212还可以称为CPU(Central Processing Unit，中央处理单元)。处理器212可能是一种集成电路芯片，具有信号的处理能力。处理器212还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器212也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，如图13所示，计算机存储介质300存储有程序数据，程序数据能够被执行以实现如本申请消息推送方法实施例中所述的方法。
本申请消息推送方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种多张图像的拼接方法，其特征在于，所述拼接方法应用于直播服务器，所述直播服务器与多个拍摄装置建立连接，所述拼接方法包括：
从多个所述拍摄装置获取多张待拼接的图像；
初始化每张所述图像，对每张所述图像进行整体曝光补偿；
对完成整体曝光补偿的多张图像进行并行匀色处理，以生成拼接图；
所述初始化每张所述图像的步骤包括：
获取所述图像在所述拼接图上对应位置的映射图；
获取与所述映射图对应的掩膜图，其中所述掩膜图具有图像内容的区域的像素值为第一像素值，所述掩膜图的其他区域的像素值为第二像素值；
根据高斯公式得到与所述掩膜图对应的高斯模糊掩膜图；
对完成曝光补偿的多张图像进行并行匀色处理的步骤包括：
根据所述图像和第一重叠区域或第二重叠区域的位置，计算得到所拼接图的权值数组和所述拼接图的第一掩膜图的像素值；
所述高斯模糊掩膜图与所述第一掩膜图形成所述第一重叠区域；
所述图像的高斯模糊掩膜图与所述拼接图的高斯模糊掩膜图形成所述第二重叠区域。
2.根据权利要求1所述的拼接方法，其特征在于，对每张所述图像进行整体曝光补偿的步骤包括：
对所述拼接图进行曝光补偿算法计算，得到曝光补偿后的映射图；
根据所述曝光补偿后的映射图和对应的映射图得到曝光补偿的差值；
其中，所述曝光补偿的差值满足以下公式：
Figure FDA0002886476320000021
其中，WRi为所述映射图在R分量上的像素值；WGi为所述映射图在G分量上的像素值；WBi为所述映射图在B分量上的像素值；WexposureRi为所述曝光补偿后的映射图在R分量上的像素值；WexposureGi为所述曝光补偿后的映射图在G分量上的像素值；WexposureBi为所述曝光补偿后的映射图在B分量上的像素值；diffRi为在R分量上的曝光补偿的差值；diffGi为在G分量上的曝光补偿的差值；diffBi为在B分量上的曝光补偿的差值。
3.根据权利要求2所述的拼接方法，其特征在于，在对完成曝光补偿的多张图像进行并行匀色处理的步骤之前，所述拼接方法进一步包括：
初始化所述拼接图的权值数组；
根据所述曝光补偿的差值对每张所述映射图进行曝光补偿；
所述曝光补偿后的映射图满足以下公式：
Figure FDA0002886476320000022
其中，W'exposureRi为所述曝光补偿后的映射图在R分量上的像素值，W'exposureGi为所述曝光补偿后的映射图在G分量上的像素值，W'exposureBi为所述曝光补偿后的映射图在B分量上的像素值；W'Ri为所述映射图在R分量上的像素值，W'Gi为所述映射图在G分量上的像素值，W'Bi为所述映射图在B分量上的像素值。
4.根据权利要求3所述的拼接方法，其特征在于，对完成曝光补偿的多张图像进行并行匀色处理的步骤包括：
获取所述图像的高斯模糊掩膜图在对应的掩膜图的边界上的最小像素值为第三像素值；
获取所述拼接图的第一掩膜图，初始化所述第一掩膜图的像素值和权值；
获取所述掩膜图的像素值为第四像素值，获取所述掩膜图的权值为第一权值，对所述第四像素值进行高斯公式计算，得出高斯模糊像素值。
5.根据权利要求4所述的拼接方法，其特征在于，根据所述图像和所述第一重叠区域的位置，计算得到所述权值数组和所述第一掩膜图的像素值的步骤包括：
在所述图像位于所述第一重叠区域内时，计算所述高斯模糊像素值和所述第三像素值的比值，并将所述比值与预设阈值进行比较；
若所述比值大于所述预设阈值，则所述权值数组的权值为1；
若所述比值小于或等于所述预设阈值时，则所述权值数组的权值为所述比值，所述第一掩膜图的像素值为所述比值乘以255；
在所述图像位于所述第一重叠区域外时，所述权值数组的权值为所述第一权值，所述第一掩膜图的像素值为所述第四像素值；
其中，所述权值数组满足以下公式：
Figure FDA0002886476320000031
所述第一掩膜图的像素值满足以下公式：
Figure FDA0002886476320000032
mask(i,j)k为所述第四像素值；Wmask(i,j)k为所述第一权值；gaussianmask(i,j)k为所述高斯模糊像素值；Weight(i,j)k为所述权值数组；dstmask(i,j)为所述第一掩膜图的像素值；i为所述拼接图的行数；j为所述拼接图的列数；k为第k个所述拍摄装置；minval为所述第三像素值。
6.根据权利要求3所述的拼接方法，其特征在于，对完成曝光补偿的多张图像进行匀色处理的步骤包括：
获取所述图像的高斯模糊掩膜图的最大像素值为第五像素值；
初始化所述拼接图的第一掩膜图的像素值和权值；
获取所述掩膜图的像素值为第四像素值，对所述第四像素值进行高斯公式计算，得出高斯模糊像素值。
7.根据权利要求6所述的拼接方法，其特征在于，根据所述图像和所述第二重叠区域的位置，计算得到所述权值数组和所述第一掩膜图的像素值的步骤包括：
在所述图像位于所述第二重叠区域内时，计算所述第一掩膜图的像素值和所述高斯模糊像素值之和；
若所述第一掩膜图的像素值和所述高斯模糊像素值之和大于所述第五像素值，则所述权值数组的权值为1；
若所述第一掩膜图的像素值和所述高斯模糊像素值之和小于或等于所述第五像素值，则所述权值数组的权值为所述第一掩膜图的像素值和所述高斯模糊像素值之和除于所述第五像素值，所述第一掩膜图的像素值更新为所述第一掩膜图的像素值和所述高斯模糊像素值之和；
在所述图像位于所述第二重叠区域外时，所述权值数组的权值为所述高斯模糊像素值除于所述第五像素值，所述第一掩膜图的像素值为所述高斯模糊像素值；
其中，所述权值数组满足以下公式：
Figure FDA0002886476320000041
所述第一掩膜图的像素值满足以下公式：
Figure FDA0002886476320000042
gaussianmask(i,j)k为所述高斯模糊像素值；Weight(i,j)k为所述权值数组；dstmask(i,j)为所述第一掩膜图的像素值；i为所述拼接图的行数；j为所述拼接图的列数；k为第k个所述拍摄装置；maxval为所述第五像素值。
8.根据权利要求6或7任一所述的拼接方法，其特征在于，在计算得到所述权值数组和所述第一掩膜图的像素值的步骤之后，所述拼接方法进一步包括：
根据所述权值数组，获取所述拼接图中每个像素点对应所有摄像装置的权值计数值；
在所述权值计数值等于1时，所述拼接图的像素值等于所述图像的像素值；
在所述权值计数值大于1时，将所述图像的权值乘以所述图像的像素值得到第一数值，将1减去所述图像的权值得到第二数值，将所述第二数值乘以所述拼接图的像素值得到第三数值，根据所述第一数值和所述第三数值之和得到所述拼接图的像素值。
9.根据权利要求8所述的拼接方法，其特征在于，所述拼接图的像素值满足以下公式：
Figure FDA0002886476320000051
Figure FDA0002886476320000052
Figure FDA0002886476320000053
其中，dst(i,j)R为所述拼接图在R分量上的像素值，dst(i,j)G为所述拼接图在G分量上的像素值，dst(i,j)B为所述拼接图在B分量上的像素值，k为权值不为0的图像，count为所述权值计数值。
10.一种直播服务器，其特征在于，所述直播服务器与多个拍摄装置建立连接，所述直播服务器包括通信器和处理器，其中，所述通信器与所述处理器耦接；
所述通信器用于从多个所述拍摄装置获取多张待拼接的图像；
所述处理器用于初始化每张所述图像，对每张所述图像进行整体曝光补偿；并且对完成整体曝光补偿的多张图像进行并行匀色处理，以生成拼接图；
所述处理器用于获取所述图像在所述拼接图上对应位置的映射图，获取与所述映射图对应的掩膜图，其中所述掩膜图具有图像内容的区域的像素值为第一像素值，所述掩膜图的其他区域的像素值为第二像素值；并根据高斯公式得到与所述掩膜图对应的高斯模糊掩膜图。
11.一种计算机存储介质，其特征在于，所述计算机存储介质存储有程序数据，所述程序数据能够被执行以实现权利要求1～9中任一项所述的拼接方法。
CN201811556439.7A 2018-12-07 2018-12-19 多张图像的拼接方法、直播服务器及计算机存储介质 Active CN109688336B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811496438 2018-12-07
CN2018114964388 2018-12-07

Publications (2)

Publication Number Publication Date
CN109688336A CN109688336A (zh) 2019-04-26
CN109688336B true CN109688336B (zh) 2021-03-19

Family

ID=66186421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811556439.7A Active CN109688336B (zh) 2018-12-07 2018-12-19 多张图像的拼接方法、直播服务器及计算机存储介质

Country Status (1)

Country Link
CN (1) CN109688336B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005963A (zh) * 2015-06-30 2015-10-28 重庆市勘测院 一种多相机图像拼接匀色方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7398016B2 (en) * 2005-11-04 2008-07-08 Seiko Epson Corporation Backlight compensation using threshold detection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005963A (zh) * 2015-06-30 2015-10-28 重庆市勘测院 一种多相机图像拼接匀色方法

Also Published As

Publication number Publication date
CN109688336A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
US11055827B2 (en) Image processing apparatus and method
CN111353948B (zh) 一种图像降噪方法、装置及设备
US10708525B2 (en) Systems and methods for processing low light images
US9998666B2 (en) Systems and methods for burst image deblurring
CN106027851B (zh) 用于处理图像的方法和系统
KR101956151B1 (ko) 사용자 단말기에 이용되는 전경 영상 생성 방법 및 장치
CN109712102B (zh) 一种图像融合方法、装置及图像采集设备
CN104349066B (zh) 一种生成高动态范围图像的方法、装置
WO2018176925A1 (zh) Hdr图像的生成方法及装置
CN111563552B (zh) 图像融合方法以及相关设备、装置
CN109584179A (zh) 一种卷积神经网络模型生成方法及图像质量优化方法
CN107749944A (zh) 一种拍摄方法及装置
KR20120099713A (ko) 장면 내에서의 정확한 피사체 거리 및 상대적인 피사체 거리를 추정하는 알고리즘
CN105023260A (zh) 一种全景图像融合方法及融合装置
CN101543056A (zh) 使用多曝光模式的图像稳定化
US20170032503A1 (en) System and method for images distortion correction
Yu et al. Joint learning of blind video denoising and optical flow estimation
CN110689565B (zh) 一种深度图确定的方法、装置及电子设备
TWI741305B (zh) 圖像處理方法和裝置
JP5900017B2 (ja) 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム
US20210327026A1 (en) Methods and apparatus for blending unknown pixels in overlapping images
CN109688336B (zh) 多张图像的拼接方法、直播服务器及计算机存储介质
US11158026B1 (en) Field of view extension in a stereo camera system
CN109727193B (zh) 图像虚化方法、装置及电子设备
CN110689502B (zh) 一种图像处理方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant