CN110047061A - 一种多角度多背景的图像融合方法、装置和介质 - Google Patents

一种多角度多背景的图像融合方法、装置和介质 Download PDF

Info

Publication number
CN110047061A
CN110047061A CN201910343778.5A CN201910343778A CN110047061A CN 110047061 A CN110047061 A CN 110047061A CN 201910343778 A CN201910343778 A CN 201910343778A CN 110047061 A CN110047061 A CN 110047061A
Authority
CN
China
Prior art keywords
image
card
coordinate
fused
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910343778.5A
Other languages
English (en)
Other versions
CN110047061B (zh
Inventor
张敏飞
赵明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Intelligent Intelligence Information Technology Co Ltd
Original Assignee
Hangzhou Intelligent Intelligence Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Intelligent Intelligence Information Technology Co Ltd filed Critical Hangzhou Intelligent Intelligence Information Technology Co Ltd
Priority to CN201910343778.5A priority Critical patent/CN110047061B/zh
Publication of CN110047061A publication Critical patent/CN110047061A/zh
Application granted granted Critical
Publication of CN110047061B publication Critical patent/CN110047061B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/564Depth or shape recovery from multiple images from contours

Abstract

本发明实施例公开了一种多角度多背景的图像融合方法、装置和计算机可读介质,获取标注有各顶点坐标的待融合卡片图像;根据各顶点坐标,在纯色背景图上构建待融合卡片的轮廓图。从预先建立的图像库中获取目标顶点坐标;根据待融合卡片的各顶点坐标以及目标顶点坐标,计算出目标透视变换矩阵;利用目标透视变换矩阵对待融合卡片图像以及轮廓图进行透视变换,得到角度变换后的目标卡片图像以及目标轮廓图。依据目标轮廓图,可以将目标卡片图像填充至预先设定的背景板,以实现待融合卡片和背景板的融合。根据该技术方案只需要一张卡片图像以及多张不同的背景板,便可以快速获取到卡片在不同背景板不同角度下的图像。

Description

一种多角度多背景的图像融合方法、装置和介质
技术领域
本发明涉及图像处理技术领域,特别是涉及一种多角度多背景的图像融合方法、装置和计算机可读介质。
背景技术
卡片图像指的是具有规则边框物品的平面图像,例如,身份证图像、银行卡图像等。根据应用场景的需求,往往需要获取卡片在不同背景下的图像信息,以及卡片在同一背景下不同角度的图像信息。
传统方式中,需要人工拍摄的方式获取所需的图像,例如,需要获取卡片在不同背景下的图像时,需要人工将卡片放置在不同的背景板下,从而人工一张张拍摄卡片在不同背景下的图像。需要获取卡片在同一背景下不同角度的图像时,需要人工移动卡片在背景板下的位置,从而人工一张张拍摄卡片在该背景板下不同角度的图像。人工拍摄需要消耗较大的人力资源,并且拍摄的效率较低。
可见,如何快速的获取不同背景不同角度下的图像信息,是本领域技术人员亟待解决的问题。
发明内容
本发明实施例的目的是提供一种多角度多背景的图像融合方法、装置和计算机可读介质,可以快速的获取不同背景不同角度下的图像信息。
为解决上述技术问题,本发明实施例提供一种多角度多背景的图像融合方法,包括:
获取待融合卡片图像;其中,所述待融合卡片图像标注有待融合卡片的各顶点坐标;
根据各所述顶点坐标,在纯色背景图上构建所述待融合卡片的轮廓图;
从预先建立的图像库中获取目标顶点坐标;其中,所述图像库中存储有不同拍摄角度下图像的顶点坐标;
根据所述待融合卡片的各顶点坐标以及所述目标顶点坐标,计算出目标透视变换矩阵;
利用所述目标透视变换矩阵对所述待融合卡片图像以及所述轮廓图进行透视变换,得到角度变换后的目标卡片图像以及目标轮廓图;
依据所述目标轮廓图,将所述目标卡片图像填充至预先设定的背景板,以实现待融合卡片和背景板的融合。
可选的,所述图像库的建立过程包括:
获取不同拍摄角度下的样本卡片图像;其中,样本卡片与待融合卡片的高宽比例相匹配;所述样本卡片图像的背景图像为纯色图像;
将目标样本卡片图像转换为二值图;其中,所述目标样本卡片图像为所有所述样本卡片图像中的任意一张样本卡片图像;
利用轮廓查找算法,确定出所述二值图的顶点坐标信息;
根据预先设定的标准顶点坐标以及所述二值图的顶点坐标信息,确定出所述目标样本卡片图像的目标顶点坐标;
根据各样本卡片图像所对应的拍摄角度,建立包含不同拍摄角度下图像的顶点坐标的图像库。
可选的,所述从预先建立的图像库中获取目标顶点坐标包括:
判断预先建立的图像库中是否存在与用户输入的旋转角度相匹配的拍摄角度;
若是,则将所述拍摄角度所对应的顶点坐标作为目标顶点坐标;
若否,则将与所述旋转角度在预设偏差范围内相匹配的拍摄角度所对应的顶点坐标作为目标顶点坐标。
可选的,在所述将与所述旋转角度在预设偏差范围内相匹配的拍摄角度所对应的顶点坐标作为目标顶点坐标之后还包括:
展示未匹配到目标顶点坐标的提示信息。
本发明实施例还提供了一种多角度多背景的图像融合装置,包括图像获取单元、构建单元、坐标获取单元、计算单元、变换单元和融合单元;
所述图像获取单元,用于获取待融合卡片图像;其中,所述待融合卡片图像标注有待融合卡片的各顶点坐标;
所述构建单元,用于根据各所述顶点坐标,在纯色背景图上构建所述待融合卡片的轮廓图;
所述坐标获取单元,用于从预先建立的图像库中获取目标顶点坐标;其中,所述图像库中存储有不同拍摄角度下图像的顶点坐标;
所述计算单元,用于根据所述待融合卡片的各顶点坐标以及所述目标顶点坐标,计算出目标透视变换矩阵;
所述变换单元,用于利用所述目标透视变换矩阵对所述待融合卡片图像以及所述轮廓图进行透视变换,得到角度变换后的目标卡片图像以及目标轮廓图;
所述融合单元,用于依据所述目标轮廓图,将所述目标卡片图像填充至预先设定的背景板,以实现待融合卡片和背景板的融合。
可选的,针对于所述图像库的建立过程,所述装置还包括样本获取单元、二值图转换单元、顶点坐标确定单元、矩阵确定单元和建立单元;
所述样本获取单元,用于获取不同拍摄角度下的样本卡片图像;其中,样本卡片与待融合卡片的高宽比例相匹配;所述样本卡片图像的背景图像为纯色图像;
所述二值图转换单元,用于将目标样本卡片图像转换为二值图;其中,所述目标样本卡片图像为所有所述样本卡片图像中的任意一张样本卡片图像;
所述顶点坐标确定单元,用于利用轮廓查找算法,确定出所述二值图的顶点坐标信息;
所述矩阵确定单元,用于根据预先设定的标准顶点坐标以及所述二值图的顶点坐标信息,确定出所述目标样本卡片图像的目标顶点坐标;
所述建立单元,用于根据各样本卡片图像所对应的拍摄角度,建立包含不同拍摄角度下图像的顶点坐标的图像库。
可选的,所述坐标获取单元包括判断子单元、第一作为子单元和第二作为子单元;
所述判断子单元,用于判断预先建立的图像库中是否存在与用户输入的旋转角度相匹配的拍摄角度;若是,则触发所述第一作为子单元;若否,则触发所述第二作为子单元;
所述第一作为子单元,用于将所述拍摄角度所对应的顶点坐标作为目标顶点坐标;
所述第二作为子单元,用于将与所述旋转角度在预设偏差范围内相匹配的拍摄角度所对应的顶点坐标作为目标顶点坐标。
可选的,还包括展示单元;
所述展示单元,用于在所述将与所述旋转角度在预设偏差范围内相匹配的拍摄角度所对应的顶点坐标作为目标顶点坐标之后,展示未匹配到目标顶点坐标的提示信息。
本发明实施例还提供了一种多角度多背景的图像融合装置,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序以实现如上述多角度多背景的图像融合方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述多角度多背景的图像融合方法的步骤。
由上述技术方案可以看出,获取待融合卡片图像;其中,待融合卡片图像标注有待融合卡片的各顶点坐标;根据各顶点坐标,在纯色背景图上构建待融合卡片的轮廓图。当需要调整卡片在背景图中的角度时,可以从预先建立的图像库中获取目标顶点坐标;根据待融合卡片的各顶点坐标以及目标顶点坐标,计算出目标透视变换矩阵;利用目标透视变换矩阵对待融合卡片图像以及轮廓图进行透视变换,得到角度变换后的目标卡片图像以及目标轮廓图。目标轮廓图反映了卡片在原先的背景图像中所对应的外边框,依据目标轮廓图,可以将目标卡片图像填充至预先设定的背景板,以实现待融合卡片和背景板的融合。在该技术方案中,依据透视变换矩阵可以实现待融合卡片的多角度调整,并且根据卡片所对应的轮廓图,可以将卡片填充在不同的背景板下。按照该种图像融合方法,只需要一张卡片图像以及多张不同的背景板,便可以快速获取到卡片在不同背景板不同角度下的图像,极大的降低了拍摄不同背景不同角度图像所需花费的时间。
附图说明
为了更清楚地说明本发明实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种多角度多背景的图像融合方法的流程图;
图2a为本发明实施例提供的一张身份证图像;
图2b为本发明实施例提供的一张图2a所示的身份证图像的轮廓图;
图2c为本发明实施例提供的一张将图2a所示的身份证图像透视变换之后的图像;
图2d为本发明实施例提供的一张将图2b所示的轮廓图透视变换之后的图像;
图3a为本发明实施例提供的一张背景板图像;
图3b为本发明实施例提供的一种将图2c所示的身份证图像填充至图3a所示的背景板图像后得到的融合图像;
图4为本发明实施例提供的一种图像库的建立方法的流程图;
图5为本发明实施例提供的一种多角度多背景的图像融合装置的结构示意图;
图6为本发明实施例提供的一种多角度多背景的图像融合装置的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本发明保护范围。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。
接下来,详细介绍本发明实施例所提供的一种多角度多背景的图像融合方法。图1为本发明实施例提供的一种多角度多背景的图像融合方法的流程图,该方法包括:
S101:获取待融合卡片图像。
其中,待融合卡片图像标注有待融合卡片的各顶点坐标。
待融合卡片图像指的是包含有卡片信息的图像。为了便于描述,在本发明实施例中,均以身份证图像为例展开说明。
以图2a所示的身份证图像为例,考虑到身份证的四个顶角有一定的弧度,在标注顶点坐标时,可以针对于每个顶角标注3个顶点坐标。
S102:根据各顶点坐标,在纯色背景图上构建待融合卡片的轮廓图。
结合图2a所示的身份证图像可知,在该图像中除了身份证外,还包括身份证所在的原背景板图像。在后续将身份证与不同的背景板图像融合时,需要依据于轮廓图将身份证从原背景板图像中分离出来。
通过在纯色背景图上构建待融合卡片的轮廓图,可以清楚的区分待融合卡片和背景图。
以图2a所示的身份证图像为例,在具体实现中,可以调用OpenCV的drawContours函数在一张新的黑色背景图上,画出由这12个点连接起来的轮廓,并用值1填充身份证区域,得到如图2b所示的身份证的轮廓图。
S103:从预先建立的图像库中获取目标顶点坐标。
图像库中存储有不同拍摄角度下图像的顶点坐标。图像库的建立过程可以参见图3所示的流程图,在此不再赘述。
在实际应用中,可以依次获取图像库中各拍摄角度下图像的顶点坐标,该顶点坐标可以看作是待融合卡片图像的目标顶点坐标。待融合卡片图像标注的顶点坐标相当于初始顶点坐标。根据初始顶点坐标和目标顶点坐标,可以计算出透视变换矩阵,从而实现待融合卡片与背景板的不同角度的融合。
图像库中包含有多个拍摄角度的图像,在实际应用中,用户可以根据需要设置待融合卡片图像在背景板上的旋转角度。考虑到图像库中包含的拍摄角度有限,在实际应用中,可能无法获取到与旋转角度完全匹配的拍摄角度,因此,在选取顶点坐标时可以针对于旋转角度设置偏差范围。
具体的,可以判断预先建立的图像库中是否存在与用户输入的旋转角度相匹配的拍摄角度。
每个拍摄角度下的图像有其对应的顶点坐标。当图像库中存在与旋转角度相同的拍摄角度时,则可以直接将拍摄角度所对应的顶点坐标作为目标顶点坐标。
当无法查找到与旋转角度相匹配的拍摄角度时,则可以将与旋转角度在预设偏差范围内相匹配的拍摄角度所对应的顶点坐标作为目标顶点坐标。
预设偏差范围可以依据实际需求设定,例如,可以将预设偏差范围设置为5。相应的,可以将与旋转角度的差值在5度之内的拍摄角度所对应的顶点坐标作为目标顶点坐标。当拍摄角度与旋转角度的差值在5度之内的顶点坐标有多个时,则选取差值最小的拍摄角度所对应的顶点坐标作为目标顶点坐标。
当选取与旋转角度在预设偏差范围内相匹配的拍摄角度所对应的顶点坐标作为目标顶点坐标之后,可以展示未匹配到目标顶点坐标的提示信息,以便于用户可以及时了解选取的目标顶点坐标存在偏差。
S104:根据待融合卡片的各顶点坐标以及目标顶点坐标,计算出目标透视变换矩阵。
透视变换矩阵用于实现待融合卡片顶点坐标的调整,从而调整待融合卡片在背景板上的角度。
透视变换矩阵的目的是让从一个角度拍摄的物体,变换到另外一个拍摄角度,其是在立体xyz中的旋转,对应的矩阵形式如下:
以不同拍摄角度下身份证的顶点坐标为例,假设拍摄角度A下拍摄的身份证四个角的坐标A(i)=(xi,yi),i=1,2,3,4,拍摄角度B下拍摄的身份证四个角的坐标B(i)=(ai,bi),i=1,2,3,4。如果需要计算从A到B的透视变换矩阵,则可以按如下矩阵运算建立方程组求解:
在该方程组中包含有10个未知数,而每个图像有4个顶角,每个顶角设置有3个顶点坐标,相应的可以建立4×3=12个方程,可以求解出透视变换矩阵。
S105:利用目标透视变换矩阵对待融合卡片图像以及轮廓图进行透视变换,得到角度变换后的目标卡片图像以及目标轮廓图。
以待融合卡片的顶点坐标(ai,bi)为例,调用OpenCV的getPerspectiveTransform函数找到(ai,bi)到(xi,yi)的透视变换矩阵M,用OpenCV的warpPerspective函数将待融合卡片图像G和轮廓图B进行M透视变换,分别得到新图用OpenCV的perspectiveTransform函数将(ai,bi),i=1,2,3,4进行M透视变换,得到4个点在的坐标
结合图2a所示的身份证图像,将其进行透视变换后的目标卡片图像如图2c所示,将2b所示的轮廓图进行透视变换后的目标轮廓图如图2d所示。
S106:依据目标轮廓图,将目标卡片图像填充至预先设定的背景板,以实现待融合卡片和背景板的融合。
在实际应用中,可以预先拍摄并存储不同的背景板,根据需求选取相应的背景板。
以身份证作为卡片图像为例,可以用手机拍摄一段不含身份证的视频,用OpenCV的VideoCapture函数从视频中随机取一张图片I作为背景板,在I上随机取一点,设坐标为(p,q),将图上左上角的顶点对齐到(p,q),根据合成新图 同时更新身份证四点在图中的位置,就是将待融合卡片和背景板融合后的图像。
如图3a所示为一张背景板的图像,将图2c所示的目标卡片图像融合至图3a所示的背景板后,得到如图3b所示的融合图像。
结合上述介绍可知,图像库是实现待融合图像以及轮廓图角度变换的基础,接下来将对图像库的建立过程展开介绍。如图4所示为图像库的建立方法的流程图,该建立过程包括:
S401:获取不同拍摄角度下的样本卡片图像。
其中,样本卡片与待融合卡片的高宽比例相匹配。
在实际应用中,可以将样本卡片放置于纯色背景板下进行拍摄,通过调整摄像角度,可以获取不同拍摄角度下的样本卡片图像。
在本发明实施例中,样本卡片和待融合卡片属于同种规格的卡片,即样本卡片和待融合卡片的尺寸规格相匹配。
S402:将目标样本卡片图像转换为二值图。
样本卡片图像的个数较多,每张样本卡片图像的处理方式类似,在本发明实施例中,以所有样本卡片图像中的任意一张样本卡片图像即目标样本卡片图像为例展开介绍。
S403:利用轮廓查找算法,确定出二值图的顶点坐标信息。
在实际应用中,可以调用OpenCV的VideoCapture类读取视频,对视频的每一帧彩色图,用OpenCV的cvtColor转换成灰度图,然后根据固定阈值90转换为二值图,用OpenCV库的findContours函数找到4个顶点(xi,yi),i=1,2,3,4,可以将这4个顶点按顺时针排序。
S404:根据预先设定的标准顶点坐标以及二值图的顶点坐标信息,确定出目标样本卡片图像的目标顶点坐标。
标准顶点坐标可以是卡片所在的长边与背景板所在的长边相平行时,即卡片在背景板上正向放置时卡片的顶点坐标。通过计算二值图的顶点坐标信息与标准顶点坐标的偏差,可以确定出目标样本卡片图像的目标顶点坐标。
根据S403确定出二值图的4个顶点坐标后,可以找到4个点的最小外接框(x0,y0,w,h),其中(x0,y0)是外接框左上点坐标,x0=min(x1,x2,x3,x4),y0=min(y1,y2,y3,y4),(w,h)是外接框的高和宽w=max(x1,x2,x3,x4)-x0,h=max(y1,y2,y3,y4)-y0,从原图中截出外接框区域,记新图为T,更新4个顶点在T上的坐标xi:=xi-x0,yi:=yi-y0,i=1,2,3,4。
S405:根据各样本卡片图像所对应的拍摄角度,建立包含不同拍摄角度下图像的顶点坐标的图像库。
拍摄角度用于表示待融合卡片在背景板图像上的角度,该拍摄角度可以用最小外接矩的高和宽,以及四个顶点的坐标间接表示。因为在不同的拍摄角度下,这些值都是不完全相同的。
由上述技术方案可以看出,获取待融合卡片图像;其中,待融合卡片图像标注有待融合卡片的各顶点坐标;根据各顶点坐标,在纯色背景图上构建待融合卡片的轮廓图。当需要调整卡片在背景图中的角度时,可以从预先建立的图像库中获取目标顶点坐标;根据待融合卡片的各顶点坐标以及目标顶点坐标,计算出目标透视变换矩阵;利用目标透视变换矩阵对待融合卡片图像以及轮廓图进行透视变换,得到角度变换后的目标卡片图像以及目标轮廓图。目标轮廓图反映了卡片在原先的背景图像中所对应的外边框,依据目标轮廓图,可以将目标卡片图像填充至预先设定的背景板,以实现待融合卡片和背景板的融合。在该技术方案中,依据透视变换矩阵可以实现待融合卡片的多角度调整,并且根据卡片所对应的轮廓图,可以将卡片填充在不同的背景板下。按照该种图像融合方法,只需要一张卡片图像以及多张不同的背景板,便可以快速获取到卡片在不同背景板不同角度下的图像,极大的降低了拍摄不同背景不同角度图像所需花费的时间。
图5为本发明实施例提供的一种多角度多背景的图像融合装置的结构示意图,包括图像获取单元51、构建单元52、坐标获取单元53、计算单元54、变换单元55和融合单元56;
图像获取单元51,用于获取待融合卡片图像;其中,待融合卡片图像标注有待融合卡片的各顶点坐标;
构建单元52,用于根据各顶点坐标,在纯色背景图上构建待融合卡片的轮廓图;
坐标获取单元53,用于从预先建立的图像库中获取目标顶点坐标;其中,图像库中存储有不同拍摄角度下图像的顶点坐标;
计算单元54,用于根据待融合卡片的各顶点坐标以及目标顶点坐标,计算出目标透视变换矩阵;
变换单元55,用于利用目标透视变换矩阵对待融合卡片图像以及轮廓图进行透视变换,得到角度变换后的目标卡片图像以及目标轮廓图;
融合单元56,用于依据目标轮廓图,将目标卡片图像填充至预先设定的背景板,以实现待融合卡片和背景板的融合。
可选的,针对于图像库的建立过程,装置还包括样本获取单元、二值图转换单元、顶点坐标确定单元、矩阵确定单元和建立单元;
样本获取单元,用于获取不同拍摄角度下的样本卡片图像;其中,样本卡片与待融合卡片的高宽比例相匹配;样本卡片图像的背景图像为纯色图像;
二值图转换单元,用于将目标样本卡片图像转换为二值图;其中,目标样本卡片图像为所有样本卡片图像中的任意一张样本卡片图像;
顶点坐标确定单元,用于利用轮廓查找算法,确定出二值图的顶点坐标信息;
矩阵确定单元,用于根据预先设定的标准顶点坐标以及二值图的顶点坐标信息,确定出目标样本卡片图像的目标顶点坐标;
建立单元,用于根据各样本卡片图像所对应的拍摄角度,建立包含不同拍摄角度下图像的顶点坐标的图像库。
可选的,坐标获取单元包括判断子单元、第一作为子单元和第二作为子单元;
判断子单元,用于判断预先建立的图像库中是否存在与用户输入的旋转角度相匹配的拍摄角度;若是,则触发第一作为子单元;若否,则触发第二作为子单元;
第一作为子单元,用于将拍摄角度所对应的顶点坐标作为目标顶点坐标;
第二作为子单元,用于将与旋转角度在预设偏差范围内相匹配的拍摄角度所对应的顶点坐标作为目标顶点坐标。
可选的,还包括展示单元;
展示单元,用于在将与旋转角度在预设偏差范围内相匹配的拍摄角度所对应的顶点坐标作为目标顶点坐标之后,展示未匹配到目标顶点坐标的提示信息。
图5所对应实施例中特征的说明可以参见图1和图4所对应实施例的相关说明,这里不再一一赘述。
由上述技术方案可以看出,获取待融合卡片图像;其中,待融合卡片图像标注有待融合卡片的各顶点坐标;根据各顶点坐标,在纯色背景图上构建待融合卡片的轮廓图。当需要调整卡片在背景图中的角度时,可以从预先建立的图像库中获取目标顶点坐标;根据待融合卡片的各顶点坐标以及目标顶点坐标,计算出目标透视变换矩阵;利用目标透视变换矩阵对待融合卡片图像以及轮廓图进行透视变换,得到角度变换后的目标卡片图像以及目标轮廓图。目标轮廓图反映了卡片在原先的背景图像中所对应的外边框,依据目标轮廓图,可以将目标卡片图像填充至预先设定的背景板,以实现待融合卡片和背景板的融合。在该技术方案中,依据透视变换矩阵可以实现待融合卡片的多角度调整,并且根据卡片所对应的轮廓图,可以将卡片填充在不同的背景板下。按照该种图像融合方法,只需要一张卡片图像以及多张不同的背景板,便可以快速获取到卡片在不同背景板不同角度下的图像,极大的降低了拍摄不同背景不同角度图像所需花费的时间。
图6为本发明实施例提供的一种多角度多背景的图像融合装置60的硬件结构示意图,包括:
存储器61,用于存储计算机程序;
处理器62,用于执行计算机程序以实现如上述多角度多背景的图像融合方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述多角度多背景的图像融合方法的步骤。
以上对本发明实施例所提供的一种多角度多背景的图像融合方法、装置和计算机可读介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

Claims (10)

1.一种多角度多背景的图像融合方法,其特征在于,包括:
获取待融合卡片图像;其中,所述待融合卡片图像标注有待融合卡片的各顶点坐标;
根据各所述顶点坐标,在纯色背景图上构建所述待融合卡片的轮廓图;
从预先建立的图像库中获取目标顶点坐标;其中,所述图像库中存储有不同拍摄角度下图像的顶点坐标;
根据所述待融合卡片的各顶点坐标以及所述目标顶点坐标,计算出目标透视变换矩阵;
利用所述目标透视变换矩阵对所述待融合卡片图像以及所述轮廓图进行透视变换,得到角度变换后的目标卡片图像以及目标轮廓图;
依据所述目标轮廓图,将所述目标卡片图像填充至预先设定的背景板,以实现待融合卡片和背景板的融合。
2.根据权利要求1所述的方法,其特征在于,所述图像库的建立过程包括:
获取不同拍摄角度下的样本卡片图像;其中,样本卡片与待融合卡片的高宽比例相匹配;所述样本卡片图像的背景图像为纯色图像;
将目标样本卡片图像转换为二值图;其中,所述目标样本卡片图像为所有所述样本卡片图像中的任意一张样本卡片图像;
利用轮廓查找算法,确定出所述二值图的顶点坐标信息;
根据预先设定的标准顶点坐标以及所述二值图的顶点坐标信息,确定出所述目标样本卡片图像的目标顶点坐标;
根据各样本卡片图像所对应的拍摄角度,建立包含不同拍摄角度下图像的顶点坐标的图像库。
3.根据权利要求1所述的方法,其特征在于,所述从预先建立的图像库中获取目标顶点坐标包括:
判断预先建立的图像库中是否存在与用户输入的旋转角度相匹配的拍摄角度;
若是,则将所述拍摄角度所对应的顶点坐标作为目标顶点坐标;
若否,则将与所述旋转角度在预设偏差范围内相匹配的拍摄角度所对应的顶点坐标作为目标顶点坐标。
4.根据权利要求3所述的方法,其特征在于,在所述将与所述旋转角度在预设偏差范围内相匹配的拍摄角度所对应的顶点坐标作为目标顶点坐标之后还包括:
展示未匹配到目标顶点坐标的提示信息。
5.一种多角度多背景的图像融合装置,其特征在于,包括图像获取单元、构建单元、坐标获取单元、计算单元、变换单元和融合单元;
所述图像获取单元,用于获取待融合卡片图像;其中,所述待融合卡片图像标注有待融合卡片的各顶点坐标;
所述构建单元,用于根据各所述顶点坐标,在纯色背景图上构建所述待融合卡片的轮廓图;
所述坐标获取单元,用于从预先建立的图像库中获取目标顶点坐标;其中,所述图像库中存储有不同拍摄角度下图像的顶点坐标;
所述计算单元,用于根据所述待融合卡片的各顶点坐标以及所述目标顶点坐标,计算出目标透视变换矩阵;
所述变换单元,用于利用所述目标透视变换矩阵对所述待融合卡片图像以及所述轮廓图进行透视变换,得到角度变换后的目标卡片图像以及目标轮廓图;
所述融合单元,用于依据所述目标轮廓图,将所述目标卡片图像填充至预先设定的背景板,以实现待融合卡片和背景板的融合。
6.根据权利要求5所述的装置,其特征在于,针对于所述图像库的建立过程,所述装置还包括样本获取单元、二值图转换单元、顶点坐标确定单元、矩阵确定单元和建立单元;
所述样本获取单元,用于获取不同拍摄角度下的样本卡片图像;其中,样本卡片与待融合卡片的高宽比例相匹配;所述样本卡片图像的背景图像为纯色图像;
所述二值图转换单元,用于将目标样本卡片图像转换为二值图;其中,所述目标样本卡片图像为所有所述样本卡片图像中的任意一张样本卡片图像;
所述顶点坐标确定单元,用于利用轮廓查找算法,确定出所述二值图的顶点坐标信息;
所述矩阵确定单元,用于根据预先设定的标准顶点坐标以及所述二值图的顶点坐标信息,确定出所述目标样本卡片图像的目标顶点坐标;
所述建立单元,用于根据各样本卡片图像所对应的拍摄角度,建立包含不同拍摄角度下图像的顶点坐标的图像库。
7.根据权利要求5所述的装置,其特征在于,所述坐标获取单元包括判断子单元、第一作为子单元和第二作为子单元;
所述判断子单元,用于判断预先建立的图像库中是否存在与用户输入的旋转角度相匹配的拍摄角度;若是,则触发所述第一作为子单元;若否,则触发所述第二作为子单元;
所述第一作为子单元,用于将所述拍摄角度所对应的顶点坐标作为目标顶点坐标;
所述第二作为子单元,用于将与所述旋转角度在预设偏差范围内相匹配的拍摄角度所对应的顶点坐标作为目标顶点坐标。
8.根据权利要求7所述的装置,其特征在于,还包括展示单元;
所述展示单元,用于在所述将与所述旋转角度在预设偏差范围内相匹配的拍摄角度所对应的顶点坐标作为目标顶点坐标之后,展示未匹配到目标顶点坐标的提示信息。
9.一种多角度多背景的图像融合装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序以实现如权利要求1至4任意一项所述多角度多背景的图像融合方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述多角度多背景的图像融合方法的步骤。
CN201910343778.5A 2019-04-26 2019-04-26 一种多角度多背景的图像融合方法、装置和介质 Expired - Fee Related CN110047061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910343778.5A CN110047061B (zh) 2019-04-26 2019-04-26 一种多角度多背景的图像融合方法、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910343778.5A CN110047061B (zh) 2019-04-26 2019-04-26 一种多角度多背景的图像融合方法、装置和介质

Publications (2)

Publication Number Publication Date
CN110047061A true CN110047061A (zh) 2019-07-23
CN110047061B CN110047061B (zh) 2021-05-07

Family

ID=67279676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910343778.5A Expired - Fee Related CN110047061B (zh) 2019-04-26 2019-04-26 一种多角度多背景的图像融合方法、装置和介质

Country Status (1)

Country Link
CN (1) CN110047061B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582268A (zh) * 2020-04-13 2020-08-25 浙江大华技术股份有限公司 一种车牌图像处理方法、装置以及计算机存储介质
CN112581371A (zh) * 2021-01-27 2021-03-30 仲恺农业工程学院 基于四路摄像头新型结构的全景实时成像拼接方法
WO2022017261A1 (zh) * 2020-07-24 2022-01-27 华为技术有限公司 图像合成方法和电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098241A (zh) * 2006-06-26 2008-01-02 腾讯科技(深圳)有限公司 虚拟形象实现方法及其系统
CN102426705A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种视频场景行为拼接方法
CN102567727A (zh) * 2010-12-13 2012-07-11 中兴通讯股份有限公司 一种背景目标替换方法和装置
CN103473780A (zh) * 2013-09-22 2013-12-25 广州市幸福网络技术有限公司 一种人像背景抠图的方法
CN106934386A (zh) * 2017-03-30 2017-07-07 湖南师范大学 一种基于自启发式策略的自然场景文字检测方法及系统
CN107920213A (zh) * 2017-11-20 2018-04-17 深圳市堇茹互动娱乐有限公司 视频合成方法、终端和计算机可读存储介质
CN108320290A (zh) * 2017-12-29 2018-07-24 中国银联股份有限公司 目标图片提取矫正方法及装置、计算机设备和记录介质
CN109101963A (zh) * 2018-08-10 2018-12-28 深圳市碧海扬帆科技有限公司 证件图像自动正向的方法、图像处理装置和可读存储介质
WO2019061048A1 (zh) * 2017-09-27 2019-04-04 深圳传音通讯有限公司 一种双摄像头及其融合成像方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098241A (zh) * 2006-06-26 2008-01-02 腾讯科技(深圳)有限公司 虚拟形象实现方法及其系统
CN102567727A (zh) * 2010-12-13 2012-07-11 中兴通讯股份有限公司 一种背景目标替换方法和装置
CN102426705A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种视频场景行为拼接方法
CN103473780A (zh) * 2013-09-22 2013-12-25 广州市幸福网络技术有限公司 一种人像背景抠图的方法
CN106934386A (zh) * 2017-03-30 2017-07-07 湖南师范大学 一种基于自启发式策略的自然场景文字检测方法及系统
WO2019061048A1 (zh) * 2017-09-27 2019-04-04 深圳传音通讯有限公司 一种双摄像头及其融合成像方法
CN107920213A (zh) * 2017-11-20 2018-04-17 深圳市堇茹互动娱乐有限公司 视频合成方法、终端和计算机可读存储介质
CN108320290A (zh) * 2017-12-29 2018-07-24 中国银联股份有限公司 目标图片提取矫正方法及装置、计算机设备和记录介质
CN109101963A (zh) * 2018-08-10 2018-12-28 深圳市碧海扬帆科技有限公司 证件图像自动正向的方法、图像处理装置和可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NIKOLAOS MITIANOUDIS,AND ETC: "Multi-spectral document image binarization using image fusion and background subtraction techniques", 《2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
安世全等: "视频序列中的一种微动目标提取与背景替换算法", 《计算机应用与软件》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582268A (zh) * 2020-04-13 2020-08-25 浙江大华技术股份有限公司 一种车牌图像处理方法、装置以及计算机存储介质
CN111582268B (zh) * 2020-04-13 2023-05-12 浙江大华技术股份有限公司 一种车牌图像处理方法、装置以及计算机存储介质
WO2022017261A1 (zh) * 2020-07-24 2022-01-27 华为技术有限公司 图像合成方法和电子设备
CN112581371A (zh) * 2021-01-27 2021-03-30 仲恺农业工程学院 基于四路摄像头新型结构的全景实时成像拼接方法
CN112581371B (zh) * 2021-01-27 2022-03-22 仲恺农业工程学院 基于四路摄像头新型结构的全景实时成像拼接方法

Also Published As

Publication number Publication date
CN110047061B (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN107301620B (zh) 基于相机阵列的全景成像方法
CN110047061A (zh) 一种多角度多背景的图像融合方法、装置和介质
CN107590453B (zh) 增强现实场景的处理方法、装置及设备、计算机存储介质
CN105957007B (zh) 基于特征点平面相似度的图像拼接方法
CN104966270B (zh) 一种多图像拼接方法
CN104898832B (zh) 一种基于智能终端的3d实时眼镜试戴方法
CN107633526A (zh) 一种图像跟踪点获取方法及设备、存储介质
CN110211043A (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
CN109474780A (zh) 一种用于图像处理的方法和装置
CN105516597B (zh) 一种全景拍摄处理方法及装置
CN104104867A (zh) 控制摄像装置进行拍摄的方法和装置
CN108848367A (zh) 一种图像处理的方法、装置及移动终端
CN109101963A (zh) 证件图像自动正向的方法、图像处理装置和可读存储介质
CN109146781A (zh) 激光切割中的图像校正方法及装置、电子设备
CN107623819B (zh) 一种拍照的方法及移动终端和相关介质产品
CN110400278A (zh) 一种图像颜色和几何畸变的全自动校正方法、装置及设备
CN105141872B (zh) 一种缩时处理视频图像的方法
CN108805124B (zh) 图片处理方法及装置、计算机可读存储介质
CN104994280B (zh) 一种预览图像处理方法及用户终端
CN106447735A (zh) 一种全景相机几何标定处理方法
CN113505799B (zh) 显著性检测方法及其模型的训练方法和装置、设备、介质
CN110276717A (zh) 一种图像的拼接方法及终端
CN110415171B (zh) 图像处理方法、装置及存储介质、电子设备
CN105893578A (zh) 一种照片选择的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210507