CN109949218B - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN109949218B
CN109949218B CN201711392414.3A CN201711392414A CN109949218B CN 109949218 B CN109949218 B CN 109949218B CN 201711392414 A CN201711392414 A CN 201711392414A CN 109949218 B CN109949218 B CN 109949218B
Authority
CN
China
Prior art keywords
matching
image
keypoints
image processing
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711392414.3A
Other languages
English (en)
Other versions
CN109949218A (zh
Inventor
刘威
孙俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201711392414.3A priority Critical patent/CN109949218B/zh
Publication of CN109949218A publication Critical patent/CN109949218A/zh
Application granted granted Critical
Publication of CN109949218B publication Critical patent/CN109949218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本公开涉及图像处理装置和方法。所述图像处理装置包括粗匹配单元,其配置成对第一图像和第二图像进行粗匹配以获得相应的匹配区域,其中,所述匹配区域包括所述第一图像的关键点;确定单元,其配置成通过所述关键点的匹配的概率分布,在所述第二图像的匹配区域中确定可靠的匹配关键点和不可靠的匹配关键点;第一选取单元,其配置成从所述不可靠的匹配关键点中选取多个作为候选关键点;以及第二选取单元,其配置成使用约束条件来从所述候选关键点中选取一个作为最终匹配点。使用根据本公开的图像处理装置可以实现高精度关键点匹配和高鲁棒性的性能,并且拼接图像可以实现无缝的结果。

Description

图像处理装置和方法
技术领域
本公开涉及图像处理的技术领域,具体地涉及图像拼接的技术领域。
背景技术
这个部分提供了与本公开有关的背景信息,这不一定是现有技术。
在诸如大规模旧报纸拼接、多聚焦图像融合和图书馆文件数字化之类的各种领域中,已应用了文件图像拼接技术。而关键点匹配在文件图像拼接中起着最重要的作用。
发明内容
这个部分提供了本公开的一般概要,而不是其全部范围或其全部特征的全面披露。
本公开的目的在于提供一种新的关键点匹配的方法。首先,获得图像中一行或一列中的关键点,查找相应的匹配区域。然后,通过概率分布查找可靠的匹配关键点和不可靠的匹配关键点。对于不可靠的匹配关键点,从中选择多个候选成员,并使用一些限制来从中查找最可能的点作为最终匹配点。使用根据本公开的图像处理装置可以实现高精度关键点匹配和高鲁棒性的性能,并且拼接图像可以实现无缝的结果。
根据本公开的一方面,提供了一种图像处理装置,该装置包括:粗匹配单元,其配置成对第一图像和第二图像进行粗匹配以获得相应的匹配区域,其中,所述匹配区域包括所述第一图像的关键点;确定单元,其配置成通过所述关键点的匹配的概率分布,在所述第二图像的匹配区域中确定可靠的匹配关键点和不可靠的匹配关键点;第一选取单元,其配置成从所述不可靠的匹配关键点中选取多个作为候选关键点;以及第二选取单元,其配置成使用约束条件来从所述候选关键点中选取一个作为最终匹配点。
根据本公开的另一方面,提供了一种图像处理方法,该方法包括:对第一图像和第二图像进行粗匹配以获得相应的匹配区域,其中,所述匹配区域包括所述第一图像的关键点;通过所述关键点的匹配的概率分布,在所述第二图像的匹配区域中确定可靠的匹配关键点和不可靠的匹配关键点;从所述不可靠的匹配关键点中选取多个作为候选关键点;以及使用约束条件来从所述候选关键点中选取一个作为最终匹配点。
根据本公开的另一方面,提供了一种扫描仪,该扫描仪包括根据本公开所述的图像处理装置。
根据本公开的另一方面,提供了一种程序产品,该程序产品包括存储在其中的机器可读指令代码,其中,所述指令代码当由计算机读取和执行时,能够使所述计算机执行根据本公开的图像处理方法。
根据本公开的另一方面,提供了一种机器可读存储介质,其上携带有根据本公开的程序产品。
使用根据本公开的图像处理装置和方法可以实现高精度关键点匹配和高鲁棒性的性能,并且拼接图像可以实现无缝的结果。
从在此提供的描述中,进一步的适用性区域将会变得明显。这个概要中的描述和特定例子只是为了示意的目的,而不旨在限制本公开的范围。
附图说明
在此描述的附图只是为了所选实施例的示意的目的而非全部可能的实施,并且不旨在限制本公开的范围。在附图中:
图1为根据本公开的实施例的图像处理装置的框图;
图2为根据本公开的实施例的图像处理装置的匹配过程的示例图;
图3为根据本公开的实施例的匹配区域的一个示例图;
图4为根据本公开的实施例的匹配区域的另一个示例图;
图5为根据本公开的实施例的图像处理方法的流程图;以及
图6为其中可以实现根据本公开的实施例的图像处理装置和方法的通用个人计算机的示例性结构的框图。
虽然本公开容易经受各种修改和替换形式,但是其特定实施例已作为例子在附图中示出,并且在此详细描述。然而应当理解的是,在此对特定实施例的描述并不打算将本公开限制到公开的具体形式,而是相反地,本公开目的是要覆盖落在本公开的精神和范围之内的所有修改、等效和替换。要注意的是,贯穿几个附图,相应的标号指示相应的部件。
具体实施方式
现在参考附图来更加充分地描述本公开的例子。以下描述实质上只是示例性的,而不旨在限制本公开、应用或用途。
提供了示例实施例,以便本公开将会变得详尽,并且将会向本领域技术人员充分地传达其范围。阐述了众多的特定细节如特定部件、装置和方法的例子,以提供对本公开的实施例的详尽理解。对于本领域技术人员而言将会明显的是,不需要使用特定的细节,示例实施例可以用许多不同的形式来实施,它们都不应当被解释为限制本公开的范围。在某些示例实施例中,没有详细地描述众所周知的过程、众所周知的结构和众所周知的技术。
为了更好地理解本公开的技术方案,下面针对本公开的图像处理装置和方法进行更加详细地描述。
图1示出了根据本公开的实施例的图像处理装置100的框图。如图1所示,根据本公开的实施例的图像处理装置100可以包括粗匹配单元101、确定单元102、第一选取单元103以及第二选取单元104。
粗匹配单元101可以配置成对第一图像和第二图像进行粗匹配以获得相应的匹配区域,其中,所述匹配区域包括所述第一图像的关键点;接下来,确定单元102可以配置成通过所述关键点的匹配的概率分布,在所述第二图像的匹配区域中确定可靠的匹配关键点和不可靠的匹配关键点;接下来,第一选取单元103可以配置成从所述不可靠的匹配关键点中选取多个作为候选关键点;然后第二选取单元104可以配置成使用约束条件来从所述候选关键点中选取一个作为最终匹配点。
使用根据本公开的图像处理装置可以实现高精度关键点匹配和高鲁棒性的性能,并且拼接图像可以实现无缝的结果。
具体地,根据本公开的一个实施例,粗匹配单元101可以配置成对第一图像和第二图像进行粗匹配,以获得相应的匹配区域,例如,图3所示的图像的左、右两个区域,其为粗匹配后获得的相应的匹配区域。其中,所述匹配区域包括所述第一图像的关键点,例如图3左侧图像中的白色空心点所示。
根据本公开的一个实施例,所述关键点可以位于所述第一图像的强梯度区域上。本领域技术人员可以理解的是,强梯度区域指的是梯度变化剧烈的区域。当图像上的区域的梯度变化剧烈时,往往意味着该区域处于图像中的前景对象的边缘。
接下来,确定单元102可以配置成通过所述关键点的匹配的概率分布,在所述第二图像的匹配区域中确定可靠的匹配关键点和不可靠的匹配关键点。
根据本公开的一个实施例,所述确定单元102可以进一步配置成从所述匹配区域中选取一个包括所述第一图像的关键点的区域作为特征区域(如图2所示的左侧小方块),然后,将所述特征区域与所述第二图像的匹配区域(如图2所示的右侧大方块)逐每个像素点进行匹配,以获得每一次匹配的概率值。这里,本领域技术人员应该清楚,可以根据实际需要或本领域技术人员的经验对所述特征区域的大小进行选取。
根据本公开的一个实施例,如图2所示,假定所选取的特征区域的大小为m×n即左侧小方块的大小为m×n,而所述第二图像的匹配区域的大小为M×N即右侧大方块的大小为M×N。由此,左侧小方块将在右侧大方块中沿着图2中箭头所示的方向匹配(M-m)×(N-n)次。这里,本领域技术人员应该清楚,所述匹配可以基于选取的特征区域的中心点进行,或者基于选取的特征区域的某个顶点进行匹配。然而,本公开并不限于此,本领域技术人员可以根据实际情况的需要进行上述匹配。
然后,每一次匹配将返回一个概率值。根据本公开的一个实施例,所述确定单元102可以进一步配置成:对所述概率值进行排序;然后获取其中概率值在前的N个匹配位置,其中N为大于1的整数;接下来,分别计算所述N个匹配位置的横坐标的方差和纵坐标的方差;最后,将所述横坐标的方差和纵坐标的方差均小于预定阈值的N个匹配位置中的一个确定为所述可靠的匹配关键点。
根据本公开的一个实施例,可以获取其中概率值在前的8个匹配位置。然后,可以计算这8个匹配位置的横坐标x的方差,并且计算这8个匹配位置的纵坐标y的方差。根据本公开的一个实施例,当所述横坐标的方差和纵坐标的方差均小于预定阈值时,将这8个匹配位置中的一个匹配位置确定为可靠的匹配位置。
这里,本领域技术人员应该清楚,本公开并不限于此。获取前8个匹配位置是本公开的一个优选实施例,这是因为一个像素具有8个相邻像素。当然,本领域技术人员可以根据实际情况的需要获取更多或更少的匹配位置。此外,本领域技术人员应该清楚,当所述横、纵坐标的方差均小于预定阈值时,所获取的匹配位置将围绕一个位置,而当所述横、纵坐标的方差中的一个或两者都大于预定阈值时,所获取的匹配位置将位于多个位置亦即不可靠的匹配。这里,本领域技术人员应该清楚,所述预定阈值可以根据实际情况或需要而设定。
接下来,第一选取单元103可以配置成从所述不可靠的匹配关键点中选取多个点作为候选关键点。然后,第二选取单元104可以配置成使用约束条件来从所述候选关键点中选取一个点作为最终匹配点即可靠的匹配关键点。
根据本公开的一个实施例,所述第一图像的关键点可以在一条直线上。这样,根据本公开的可靠的匹配关键点也应当在一条直线上或近似一条直线。
由此,根据本公开的一个实施例的图像处理装置100可以进一步包括拟合单元,所述拟合单元可以配置成将所述可靠的匹配关键点拟合成一条直线。
这样,根据本公开的一个实施例,所述约束条件可以包括关于所述候选关键点中的每一个距所拟合的直线的距离的约束。并且,所述约束条件可以包括水平方向和垂直方向的约束。
具体地,根据本公开的一个实施例,对于不可靠的匹配关键点,所述第一选取单元103可以从中选取N个点作为候选关键点。然后,可以分别计算所述候选关键点中的每一个距所拟合的直线的距离。这里,本领域技术人员应该清楚,在计算所述候选关键点距所拟合的直线的距离时,所述候选关键点可能具有x轴方向上和y轴方向上两者的差异。
如图3和图4所示,根据本公开的一个实施例,在左侧图像上的关键点在纵向的一条直线上时,右侧图像上通过可靠的匹配关键点所拟合的直线也应该在纵向的一条直线上。然而,在此情况下,在右侧图像中,除了不可靠的匹配关键点(其由图4的右侧图像中的+符号所表示)距所拟合的直线具有x轴方向上的差异外,左侧图像和右侧图像无论是可靠的匹配关键点还是不可靠的匹配关键点都在y轴方向上具有差异。类似地,在左侧图像上的关键点在横向的一条直线上时,右侧图像上通过可靠的匹配关键点所拟合的直线应该在横向的一条直线上。同样地,在此情况下,在右侧图像中,除了不可靠的匹配关键点距所拟合的直线具有y轴方向上的差异外,左侧图像和右侧图像无论是可靠的匹配关键点还是不可靠的匹配关键点都在x轴方向上具有差异。
这里,将以第一种情况即左侧图像上的关键点在纵向的一条直线上为例描述根据本公开的一个实施例。但本领域技术人员应该清楚,左侧图像上的关键点在横向的一条直线上可以采用类似的方法。本公开在此不再赘述。
首先,根据本公开的一个实施例,所述候选关键点距所拟合的直线在x轴方向上的距离可以表示为'xDis'。然后,可以通过可靠的匹配关键点在y轴方向上的差异来计算所述候选关键点在y轴上的距离,其可以表示为'yDis'。
这里,可靠的匹配关键点在y轴方向上的差异可以表示为yDiff=lefty-righty。其中,lefty表示可靠的匹配关键点在第一图像(左侧图像)上的y轴的坐标值,而righty表示其在第二图像(右侧图像)上的y轴的坐标值。由此,可以计算所有的可靠的匹配关键点的y轴上的平均差异meanDiff。
由此,对于当前的不可靠的匹配关键点在y轴上的距离可以表示为yDis=yDiffCur-meanDiff。这里,yDiffCur表示当前的不可靠的匹配关键点在y轴上的差异。
这样,所述候选关键点距所拟合的直线的距离可以表示为Dis=xDis*xDis+yDis*yDis。当然,本领域技术人员应该清楚,所述候选关键点距所拟合的直线的距离的计算并不限于此,本领域技术人员可以采用本领域公知的任何计算距离的方法。
接下来,根据本公开的一个实施例,所述第二选取单元104可以进一步配置成从所述候选关键点中选取具有最小距离的一个作为最终匹配点。
如上所述,所述第二选取单元104可以将计算所得到的具有最小Dis的候选关键点选取作为不可靠点中的最佳匹配点即可靠的匹配关键点。
使用根据本公开的图像处理装置可以实现高精度关键点匹配和高鲁棒性的性能,并且拼接图像可以实现无缝的结果。
此外,根据本公开的另一个实施例,提供了一种扫描仪,其包括根据本公开所述的图像处理装置100。使用根据本公开的扫描仪可以实现拼接图像无缝的结果。
下面将结合图5来描述根据本公开的实施例的图像处理方法。如图5所示,根据本公开的实施例的图像处理方法开始于步骤S510。
在步骤S510中,对第一图像和第二图像进行粗匹配以获得相应的匹配区域,其中,所述匹配区域包括所述第一图像的关键点。
接下来,在步骤S520中,通过所述关键点的匹配的概率分布,在所述第二图像的匹配区域中确定可靠的匹配关键点和不可靠的匹配关键点。
接下来,在步骤S530中,从所述不可靠的匹配关键点中选取多个作为候选关键点。
最后,在步骤S540中,使用约束条件来从所述候选关键点中选取一个作为最终匹配点。
根据本公开的一个实施例的图像处理方法,所述第一图像的关键点在一条直线上。
根据本公开的一个实施例的图像处理方法,进一步包括将所述可靠的匹配关键点拟合成一条直线的步骤。
根据本公开的一个实施例的图像处理方法,所述约束条件包括关于所述候选关键点中的每一个距所拟合的直线的距离的约束。
根据本公开的一个实施例的图像处理方法,所述约束条件包括水平方向和垂直方向的约束。
根据本公开的一个实施例的图像处理方法,进一步包括从所述候选关键点中选取具有最小距离的一个最为最终匹配点的步骤。
根据本公开的一个实施例的图像处理方法,确定可靠的匹配关键点和不可靠的匹配关键点的步骤进一步包括从所述匹配区域中选取一个包括所述第一图像的关键点的区域作为特征区域以及将所述特征区域与所述第二图像的匹配区域逐每个像素点进行匹配,以获得每一次匹配的概率值的步骤。
根据本公开的一个实施例的图像处理方法,确定可靠的匹配关键点和不可靠的匹配关键点的步骤进一步包括对所述概率值进行排序;获取其中概率值在前的N个匹配位置,其中N为大于1的整数;分别计算所述N个匹配位置的横坐标的方差和纵坐标的方差;以及将所述横坐标的方差和纵坐标的方差均小于预定阈值的N个匹配位置中的一个确定为所述可靠的匹配关键点的步骤。
根据本公开的一个实施例的图像处理方法,进一步包括从所述不可靠的匹配关键点中选取匹配概率最大的M个点作为候选关键点的步骤,其中M为大于1的整数。
根据本公开的一个实施例的图像处理方法,所述匹配位置为所述特征区域的中心点在所述第二图像的匹配区域中的位置。
根据本公开的实施例的图像处理方法的上述步骤的各种具体实施方式前面已经作过详细描述,在此不再重复说明。
显然,根据本公开的图像处理方法的各个操作过程可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。
而且,本公开的目的也可以通过下述方式实现:将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备,并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。此时,只要该系统或者设备具有执行程序的功能,则本公开的实施方式不局限于程序,并且该程序也可以是任意的形式,例如,目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。
上述这些机器可读存储介质包括但不限于:各种存储器和存储单元,半导体设备,磁盘单元例如光、磁和磁光盘,以及其他适于存储信息的介质等。
另外,计算机通过连接到因特网上的相应网站,并且将依据本公开的计算机程序代码下载和安装到计算机中然后执行该程序,也可以实现本公开的技术方案。
图6为其中可以实现根据本公开的实施例的图像处理装置和方法的通用个人计算机1300的示例性结构的框图。
如图6所示,CPU 1301根据只读存储器(ROM)1302中存储的程序或从存储部分1308加载到随机存取存储器(RAM)1303的程序执行各种处理。在RAM 1303中,也根据需要存储当CPU 1301执行各种处理等等时所需的数据。CPU 1301、ROM 1302和RAM 1303经由总线1304彼此连接。输入/输出接口1305也连接到总线1304。
下述部件连接到输入/输出接口1305:输入部分1306(包括键盘、鼠标等等)、输出部分1307(包括显示器,比如阴极射线管(CRT)、液晶显示器(LCD)等,以及扬声器等)、存储部分1308(包括硬盘等)、通信部分1309(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1309经由网络比如因特网执行通信处理。根据需要,驱动器1310也可连接到输入/输出接口1305。可拆卸介质1311比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1310上,使得从中读出的计算机程序根据需要被安装到存储部分1308中。
在通过软件实现上述系列处理的情况下,从网络比如因特网或存储介质比如可拆卸介质1311安装构成软件的程序。
本领域的技术人员应当理解,这种存储介质不局限于图6所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1311。可拆卸介质1311的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者,存储介质可以是ROM 1302、存储部分1308中包含的硬盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。
在本公开的系统和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上虽然结合附图详细描述了本公开的实施例,但是应当明白,上面所描述的实施方式只是用于说明本公开,而并不构成对本公开的限制。对于本领域的技术人员来说,可以对上述实施方式作出各种修改和变更而没有背离本公开的实质和范围。因此,本公开的范围仅由所附的权利要求及其等效含义来限定。
关于包括以上实施例的实施方式,还公开下述的附记:
附记1.一种图像处理装置,包括:
粗匹配单元,其配置成对第一图像和第二图像进行粗匹配以获得相应的匹配区域,其中,所述匹配区域包括所述第一图像的关键点;
确定单元,其配置成通过所述关键点的匹配的概率分布,在所述第二图像的匹配区域中确定可靠的匹配关键点和不可靠的匹配关键点;
第一选取单元,其配置成从所述不可靠的匹配关键点中选取多个作为候选关键点;以及
第二选取单元,其配置成使用约束条件来从所述候选关键点中选取一个作为最终匹配点。
附记2.根据附记1所述的图像处理装置,其中,所述第一图像的关键点在一条直线上。
附记3.根据附记2所述的图像处理装置,进一步包括拟合单元,其配置成将所述可靠的匹配关键点拟合成一条直线。
附记4.根据附记3所述的图像处理装置,其中,所述约束条件包括关于所述候选关键点中的每一个距所拟合的直线的距离的约束。
附记5.根据附记4所述的图像处理装置,其中,所述约束条件包括水平方向和垂直方向的约束。
附记6.根据附记5所述的图像处理装置,其中,所述第二选取单元进一步配置成从所述候选关键点中选取具有最小距离的一个最为最终匹配点。
附记7.根据附记2所述的图像处理装置,其中,所述确定单元进一步配置成:
从所述匹配区域中选取一个包括所述第一图像的关键点的区域作为特征区域,以及
将所述特征区域与所述第二图像的匹配区域逐每个像素点进行匹配,以获得每一次匹配的概率值。
附记8.根据附记7所述的图像处理装置,其中,所述确定单元进一步配置成:
对所述概率值进行排序;
获取其中概率值在前的N个匹配位置,其中N为大于1的整数;
分别计算所述N个匹配位置的横坐标的方差和纵坐标的方差;以及
将所述横坐标的方差和纵坐标的方差均小于预定阈值的N个匹配位置中的一个确定为所述可靠的匹配关键点。
附记9.根据附记8所述的图像处理装置,其中,所述第一选取单元进一步配置成从所述不可靠的匹配关键点中选取匹配概率最大的M个点作为候选关键点,其中M为大于1的整数。
附记10.根据附记8所述的图像处理装置,其中,所述匹配位置为所述特征区域的中心点在所述第二图像的匹配区域中的位置。
附记11.一种图像处理方法,包括:
对第一图像和第二图像进行粗匹配以获得相应的匹配区域,其中,所述匹配区域包括所述第一图像的关键点;
通过所述关键点的匹配的概率分布,在所述第二图像的匹配区域中确定可靠的匹配关键点和不可靠的匹配关键点;
从所述不可靠的匹配关键点中选取多个作为候选关键点;以及
使用约束条件来从所述候选关键点中选取一个作为最终匹配点。
附记12.根据附记11所述的方法,其中,所述第一图像的关键点在一条直线上。
附记13.根据附记12所述的方法,进一步包括将所述可靠的匹配关键点拟合成一条直线。
附记14.根据附记13所述的方法,其中,所述约束条件包括关于所述候选关键点中的每一个距所拟合的直线的距离的约束。
附记15.根据附记14所述的方法,其中,所述约束条件包括水平方向和垂直方向的约束。
附记16.根据附记15所述的方法,其中,从所述候选关键点中选取具有最小距离的一个最为最终匹配点。
附记17.根据附记12所述的方法,其中,确定可靠的匹配关键点和不可靠的匹配关键点包括:
从所述匹配区域中选取一个包括所述第一图像的关键点的区域作为特征区域,以及
将所述特征区域与所述第二图像的匹配区域逐每个像素点进行匹配,以获得每一次匹配的概率值。
附记18.根据附记17所述的方法,其中,确定可靠的匹配关键点和不可靠的匹配关键点进一步包括:
对所述概率值进行排序;
获取其中概率值在前的N个匹配位置,其中N为大于1的整数;
分别计算所述N个匹配位置的横坐标的方差和纵坐标的方差;以及
将所述横坐标的方差和纵坐标的方差均小于预定阈值的N个匹配位置中的一个确定为所述可靠的匹配关键点。
附记19.根据附记18所述的方法,其中,从所述不可靠的匹配关键点中选取匹配概率最大的M个点作为候选关键点,其中M为大于1的整数。
附记20.一种程序产品,包括存储在其中的机器可读指令代码,其中,所述指令代码当由计算机读取和执行时,能够使所述计算机执行根据附记11-19中任何一项所述的方法。

Claims (7)

1.一种图像处理装置,包括:
粗匹配单元,其配置成对第一图像和第二图像进行粗匹配以获得相应的匹配区域,其中,所述匹配区域包括所述第一图像的关键点;
确定单元,其配置成通过所述关键点的匹配的概率分布,在所述第二图像的匹配区域中确定可靠的匹配关键点和不可靠的匹配关键点;
第一选取单元,其配置成从所述不可靠的匹配关键点中选取多个作为候选关键点;以及
第二选取单元,其配置成使用约束条件来从所述候选关键点中选取一个作为最终匹配点,
其中,所述第一图像的关键点在一条直线上,并且
其中,所述确定单元进一步配置成:
从所述匹配区域中选取一个包括所述第一图像的关键点的区域作为特征区域;
将所述特征区域与所述第二图像的匹配区域逐每个像素点进行匹配,以获得每一次匹配的概率值;
对所述概率值进行排序;
获取其中概率值在前的N个匹配位置,其中N为大于1的整数;
分别计算所述N个匹配位置的横坐标的方差和纵坐标的方差;以及
将所述横坐标的方差和纵坐标的方差均小于预定阈值的N个匹配位置中的一个确定为所述可靠的匹配关键点。
2.根据权利要求1所述的图像处理装置,进一步包括拟合单元,其配置成将所述可靠的匹配关键点拟合成一条直线。
3.根据权利要求2所述的图像处理装置,其中,所述约束条件包括关于所述候选关键点中的每一个距所拟合的直线的距离的约束。
4.根据权利要求3所述的图像处理装置,其中,所述约束条件包括水平方向和垂直方向的约束。
5.根据权利要求4所述的图像处理装置,其中,所述第二选取单元进一步配置成从所述候选关键点中选取具有最小距离的一个最为最终匹配点。
6.一种图像处理方法,包括:
对第一图像和第二图像进行粗匹配以获得相应的匹配区域,其中,所述匹配区域包括所述第一图像的关键点;
通过所述关键点的匹配的概率分布,在所述第二图像的匹配区域中确定可靠的匹配关键点和不可靠的匹配关键点;
从所述不可靠的匹配关键点中选取多个作为候选关键点;以及
使用约束条件来从所述候选关键点中选取一个作为最终匹配点,
其中,所述第一图像的关键点在一条直线上,并且
其中,所述图像处理方法还包括:
从所述匹配区域中选取一个包括所述第一图像的关键点的区域作为特征区域;
将所述特征区域与所述第二图像的匹配区域逐每个像素点进行匹配,以获得每一次匹配的概率值;
对所述概率值进行排序;
获取其中概率值在前的N个匹配位置,其中N为大于1的整数;
分别计算所述N个匹配位置的横坐标的方差和纵坐标的方差;以及
将所述横坐标的方差和纵坐标的方差均小于预定阈值的N个匹配位置中的一个确定为所述可靠的匹配关键点。
7.一种扫描仪,其包括根据权利要求1至5中任一项所述的图像处理装置。
CN201711392414.3A 2017-12-21 2017-12-21 图像处理装置和方法 Active CN109949218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711392414.3A CN109949218B (zh) 2017-12-21 2017-12-21 图像处理装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711392414.3A CN109949218B (zh) 2017-12-21 2017-12-21 图像处理装置和方法

Publications (2)

Publication Number Publication Date
CN109949218A CN109949218A (zh) 2019-06-28
CN109949218B true CN109949218B (zh) 2023-04-18

Family

ID=67004968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711392414.3A Active CN109949218B (zh) 2017-12-21 2017-12-21 图像处理装置和方法

Country Status (1)

Country Link
CN (1) CN109949218B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794439A (zh) * 2010-03-04 2010-08-04 哈尔滨工程大学 基于边缘分类信息的图像拼接方法
CN104794701A (zh) * 2014-01-21 2015-07-22 富士通株式会社 图像拼接装置、方法以及图像处理设备
CN107154017A (zh) * 2016-03-03 2017-09-12 重庆信科设计有限公司 一种基于sift特征点匹配的图像拼接方法
CN107305682A (zh) * 2016-04-22 2017-10-31 富士通株式会社 用于对图像进行拼接的方法和装置
CN107424181A (zh) * 2017-04-12 2017-12-01 湖南源信光电科技股份有限公司 一种改进的图像拼接关键帧快速提取方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7289662B2 (en) * 2002-12-07 2007-10-30 Hrl Laboratories, Llc Method and apparatus for apparatus for generating three-dimensional models from uncalibrated views
US7865019B2 (en) * 2005-07-27 2011-01-04 Siemens Corporation On optimizing template matching via performance characterization
US20100303354A1 (en) * 2009-06-01 2010-12-02 Qualcomm Incorporated Efficient coding of probability distributions for image feature descriptors
EP2507744A2 (en) * 2009-12-02 2012-10-10 QUALCOMM Incorporated Feature matching by clustering detected keypoints in query and model images
US9229956B2 (en) * 2011-01-10 2016-01-05 Microsoft Technology Licensing, Llc Image retrieval using discriminative visual features
US20150310601A1 (en) * 2014-03-07 2015-10-29 Digimarc Corporation Methods and arrangements for identifying objects
CN104933755B (zh) * 2014-03-18 2017-11-28 华为技术有限公司 一种静态物体重建方法和系统
CN104081435A (zh) * 2014-04-29 2014-10-01 中国科学院自动化研究所 一种基于级联二值编码的图像匹配方法
US10210427B2 (en) * 2014-07-09 2019-02-19 Slyce Acquisition Inc. Systems, methods, and devices for image matching and object recognition in images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794439A (zh) * 2010-03-04 2010-08-04 哈尔滨工程大学 基于边缘分类信息的图像拼接方法
CN104794701A (zh) * 2014-01-21 2015-07-22 富士通株式会社 图像拼接装置、方法以及图像处理设备
CN107154017A (zh) * 2016-03-03 2017-09-12 重庆信科设计有限公司 一种基于sift特征点匹配的图像拼接方法
CN107305682A (zh) * 2016-04-22 2017-10-31 富士通株式会社 用于对图像进行拼接的方法和装置
CN107424181A (zh) * 2017-04-12 2017-12-01 湖南源信光电科技股份有限公司 一种改进的图像拼接关键帧快速提取方法

Also Published As

Publication number Publication date
CN109949218A (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
US9053361B2 (en) Identifying regions of text to merge in a natural image or video frame
JP5775225B2 (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
JP5298831B2 (ja) 画像処理装置及びプログラム
US7885482B2 (en) Coverage-based image relevance ranking
EP2660753B1 (en) Image processing method and apparatus
CN103577818A (zh) 一种图像文字识别的方法和装置
US20180089525A1 (en) Method for line and word segmentation for handwritten text images
WO2013104432A1 (en) Detecting video copies
JP7026165B2 (ja) テキスト認識方法及びテキスト認識装置、電子設備、記憶媒体
KR101549792B1 (ko) 문서 자동 작성 장치 및 방법
JP2011065643A (ja) 文字認識方法及び文字認識装置
CN107305682B (zh) 用于对图像进行拼接的方法和装置
US20130050765A1 (en) Method and apparatus for document authentication using image comparison on a block-by-block basis
CN108846398B (zh) Cad识图方法和装置
CN103955713A (zh) 一种图标识别方法和装置
CN109949218B (zh) 图像处理装置和方法
CN112001389A (zh) 一种多场景视频中文本信息识别方法、装置及电子设备
US20070016567A1 (en) Searching device and program product
US10354409B2 (en) Image processing device, image processing method, and non-transitory computer-readable recording medium
CN112487943B (zh) 关键帧去重的方法、装置和电子设备
CN107305683B (zh) 图像处理方法、图像处理设备及图像处理装置
JP2016009395A (ja) 文書ファイル生成装置及び文書ファイル生成方法
JP5278093B2 (ja) 記事関連情報提供方法、装置、プログラム、記録媒体
JP2021028770A (ja) 情報処理装置及び表認識方法
JP5298830B2 (ja) 画像処理プログラム、画像処理装置及び画像処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant