CN104778682B - 对特征点采样的方法、图像匹配方法和图像匹配设备 - Google Patents

对特征点采样的方法、图像匹配方法和图像匹配设备 Download PDF

Info

Publication number
CN104778682B
CN104778682B CN201510018840.5A CN201510018840A CN104778682B CN 104778682 B CN104778682 B CN 104778682B CN 201510018840 A CN201510018840 A CN 201510018840A CN 104778682 B CN104778682 B CN 104778682B
Authority
CN
China
Prior art keywords
image
point
distance
characteristic point
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510018840.5A
Other languages
English (en)
Other versions
CN104778682A (zh
Inventor
吴哉仑
李准性
朴宰佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwha Techwin Co Ltd
Original Assignee
Hanwha Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020140004711A priority Critical patent/KR102170689B1/ko
Priority to KR10-2014-0004711 priority
Application filed by Hanwha Techwin Co Ltd filed Critical Hanwha Techwin Co Ltd
Publication of CN104778682A publication Critical patent/CN104778682A/zh
Application granted granted Critical
Publication of CN104778682B publication Critical patent/CN104778682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6201Matching; Proximity measures
    • G06K9/6202Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06K9/6203Shifting or otherwise transforming the patterns to accommodate for positional errors
    • G06K9/6211Matching configurations of points or features, e.g. constellation matching

Abstract

公开了一种对特征点采样的方法、图像匹配方法和图像匹配设备。一种对特征点采样以进行图像匹配的方法包括:将第一图像划分为与将被采样的特征点的数量相应的多个区域;从每个区域提取采样特征点,使得一个区域的采样特征点与另一区域的采样特征点之间的距离满足预定条件;在提取出的采样特征点和将与第一图像匹配的第二图像的对应采样特征点的基础上,估计单应性矩阵。

Description

对特征点采样的方法、图像匹配方法和图像匹配设备
本申请要求于2014年1月14日提交到韩国知识产权局的第10-2014-0004711号韩国专利申请的优先权,其中,所述专利申请的公开通过引用全部合并于此。
技术领域
与示例性实施例一致的方法和设备涉及对特征点采样和图像匹配。
背景技术
近年来,为了提高在监视系统、医学成像等领域中对于变化检测、运动检测、超分辨率图像恢复的算法的准确度和可靠性,已对使用两个或更多个传感器来相互融合互补信息的领域进行了研究。
在监视系统领域、医学图像领域等,在通过获取两个或更多个图像来产生一个融合图像的系统中,需要执行图像匹配(校准)。
发明内容
本发明构思的示例性实施例包括一种随机采样方法和使用所述随机采样方法的图像匹配方法,所述随机采样方法解决了在用于图像匹配的随机采样处理期间由于特征点的分布是线性的或在特定区域聚集而产生的问题。
本发明构思的各方面将部分地在随后的描述中被阐述,部分地,通过描述将是清楚的,或者可通过呈现的实施例的实践而获知。
根据一个或更多个示例性实施例,提供了一种对特征点采样以进行图像匹配的方法,所述方法可包括:将第一图像划分为与将被采样的特征点的数量相应的多个区域;从每个区域提取采样特征点,使得一个区域的采样特征点与另一区域的采样特征点之间的距离满足预定条件;在提取出的采样特征点和将与第一图像匹配的第二图像的对应采样特征点的基础上,估计单应性矩阵。
提取一个采样特征点的步骤可包括:在第一区域的多个特征点之中提取第一采样特征点;在与第一采样特征点相隔第一距离或更长距离的第二区域中的多个特征点之中,提取第二采样特征点;在与第二采样特征点相隔第二距离或更长距离的第三区域中的多个特征点之中,提取第三采样特征点;在与第三采样特征点相隔第三距离或更长距离的第四区域中的多个特征点之中,提取第四采样特征点。
提取第三采样特征点的步骤可包括:在第三区域中的与第一采样特征点相隔第一距离或更长距离并且与第二采样特征点相隔第二距离或更长距离的多个特征点之中,提取第三采样特征点。
提取第四采样特征点的步骤可包括:在第四区域中的与第一采样特征点相隔第一距离或更长距离并且与第二采样特征点相隔第二距离或更长距离并且与第三采样特征点相隔第三距离或更长距离的多个特征点之中,提取第四采样特征点。
第一距离可比从第一采样特征点到第一图像的中心点的距离大,第二距离可比从第二采样特征点到第一图像的中心点的距离大,第三距离可比从第三采样特征点到第一图像的中心点的距离大。
第一图像和第二图像可由同一图像传感器或不同的图像传感器获取。
根据一个或更多个示例性实施例,提供一种图像匹配方法,所述方法可包括:从第一图像和将与第一图像匹配的第二图像提取多个特征点;在第一图像的特征点和第二图像的特征点之中,选择至少一对应特征点对;将第一图像划分为与将被采样的特征点的数量相应的多个区域;从第一图像的每个区域提取采样特征点,使得一个区域的采样特征点与另一区域的采样特征点之间的距离满足预定条件;在提取出的采样特征点和第二图像的对应采样特征点的基础上,估计单应性矩阵。
根据一个或更多个示例性实施例,提供一种图像匹配设备,所述设备可包括:区域划分器,被配置为将第一图像划分为与将被采样的特征点的数量相应的多个区域;采样特征点提取器,被配置为从每个区域提取采样特征点,使得一个区域的采样特征点与另一区域的采样特征点之间的距离满足预定条件;估计器,被配置为在提取出的采样特征点和将与第一图像匹配的第二图像的对应采样特征点的基础上,估计单应性矩阵。
采样特征点提取器可在第一区域中的多个特征点之中提取第一采样特征点;在与第一采样特征点相隔第一距离或更长距离的第二区域中的多个特征点之中,提取第二采样特征点;在与第二采样特征点相隔第二距离或更长距离的第三区域中的多个特征点之中,提取第三采样特征点;在与第三采样特征点相隔第三距离或更长距离的第四区域中的多个特征点之中,提取第四采样特征点。
采样特征点提取器可在第三区域中的与第一采样特征点相隔第一距离或更长距离并且与第二采样特征点相隔第二距离或更长距离的多个特征点之中,提取第三采样特征点。
采样特征点提取器可在第四区域中的与第一采样特征点相隔第一距离或更长距离并且与第二采样特征点相隔第二距离或更长距离并且与第三采样特征点相隔第三距离或更长距离的多个特征点之中,提取第四采样特征点。
第一距离可比从第一采样特征点到第一图像的中心点的距离大,第二距离可比从第二采样特征点到第一图像的中心点的距离大,第三距离可比从第三采样特征点到第一图像的中心点的距离大。
第一图像和第二图像可由同一图像传感器或不同的图像传感器获取。
所述图像匹配设备还可包括:特征点提取器,被配置为提取第一图像和第二图像的多个特征点;特征点对选择器,被配置为在第一图像和第二图像的所述多个特征点之中选择至少一对应特征点对。
附图说明
通过以下结合附图对实施例的描述,这些和/或其它方面将变得清楚和更容易理解,其中:
图1是根据示例性实施例的图像融合系统的框图;
图2是根据示例性实施例的图像匹配处理器的框图;
图3是根据示例性实施例的图像匹配方法的流程图;
图4A至图4K示出在图3的图像匹配方法中的随机采样方法。
具体实施方式
现在将详细参照示例性实施例(其在附图中被示出),其中,相同的标号始终表示相同的元件。关于这方面,这些实施例可具有不同的形式,并且不应被解释为受限于在此的描述。因此,以下通过参照附图仅对示例性实施例进行描述以解释本发明构思的多个方面。
虽然诸如“第一”、“第二”的术语可被用于描述各种元件,但这些元件并非受这些术语限制。这些术语可用于将特定元件与另一元件进行分类。
在下面实施例中使用的术语仅用于描述特定实施例,并不意图限制本发明构思。除非单数形式的表述和复数形式的表述在上下文中显然是不同形式,否则单数形式的表述包括复数形式的表述。在下面的实施例中,应理解诸如“包括”和“具有”的术语被用于指示实施的特征、数量、步骤、操作、元件、部件或上述项的组合的存在,而不意在提前排除一个或更多个其它特征、数量、步骤、操作、元件、部件或上述项的组合的存在或添加的可能性。
可使用功能块和各种处理步骤来表示实施例。这些功能块可通过许多用于执行特定功能的硬件配置和/或软件配置来实现。例如,实施例可采用直通电路配置(例如,存储器、处理、逻辑、查找表),其中,所述直通电路配置可在一个或更多个处理器的控制下或由其它控制装置执行各种功能。所述实施例的相同组件能够使用软件编程或软件元素来执行各种功能,可通过编程或脚本语言(诸如,C、C++、Java、汇编程序等)使用各种算法来实现所述实施例,其中,使用数据结构、处理、例行程序和/或其它编程组件的组合来实现所述各种算法。可使用在一个或更多个处理器中执行的算法来实现各功能方面。此外,所述实施例可采用用于电子环境设置、信号处理和/或数据处理的现有技术。诸如“机械结构”、“元件”、“装置”和“配置”的术语可被广泛使用,并且不限于机械配置和物理配置。所述术语可包括与处理器相关联的一系列软件的例行程序的含义。
如在此使用,术语“和/或”包括相关联的列出项中的一项或更多项的任意组合和所有组合。
现在将参照附图,对本发明构思进行更充分地描述,在附图中,示出了本发明构思的示例性实施例。说明书和附图中相同的标号表示相同的元件,因此,将省略对它们重复的描述。
图1是根据示例性实施例的图像融合系统1的框图。
参照图1,图像融合系统1可包括图像传感器20、图像匹配处理器40、图像融合处理器60和显示装置80。
图像传感器20可以是用于拍摄场景并提供图像信息的相机。图像传感器20可以是用于获取不同视点或不同时刻的图像的一个传感器。可选地,图像传感器20可包括具有不同特性并被配置为获得不同图像的两个或更多个的传感器。例如,图像传感器20可包括可见光相机和红外光相机(或热成像相机)。
图像传感器20可具有摇摄倾斜变焦(PTZ)功能。图像传感器20可作为一个整体被安装在需要安全的办公室、住宅、医院、银行、公共建筑等的内部和外部,图像传感器20可被用于进入管理或犯罪预防,并且图像传感器20可根据安装地点及其使用目的而具有各种形状(诸如,直线形、圆顶形等)。
图像匹配处理器40执行图像匹配,以通过对一个坐标系统中的两个或更多个图像的位置关系进行匹配来对这两个或更多个图像进行校准。图像匹配处理器40对由图像传感器20捕捉的两个图像(即,第一图像和第二图像)进行匹配。第一图像和第二图像可以由传感器在不同的视点或不同的时刻获取,或由具有不同特性的传感器获取。
图像匹配处理器40通过对从第一图像和第二图像提取出的特征点进行随机采样来估计单应性矩阵(homograph)。单应性矩阵是指示第一图像的特征点与第二图像的特征点之间的对应关系的矩阵。图像匹配处理器40通过使用估计的单应性矩阵来对第一图像和第二图像进行匹配。
图像融合处理器60执行信号处理以将接收到的图像信号输出为适合显示标准的信号。图像融合处理器60将匹配的第一图像和第二图像进行融合。
图像融合处理器60可执行图像信号处理以提高第一图像和第二图像的图像质量(诸如,降噪、伽马校正、彩色滤波阵列内插(color filter array interpolation)、颜色矩阵、颜色校正、颜色增强等)。此外,图像融合处理器60可通过在执行用于提高图像质量的图像信号处理之后对融合图像的数据进行压缩来产生图像文件或从图像文件恢复图像数据。图像压缩格式可包括可逆格式和不可逆格式。
此外,图像融合处理器60可执行如下的功能性处理:颜色处理、模糊处理、边缘增强处理、图像分析处理、图像识别处理、图像效果处理等。图像识别处理可包括人脸识别处理、场景识别处理等。虽然图1示出图像融合处理器60与图像匹配处理器40分开布置,但是根据示例性实施例,图像融合处理器60可被包括在图像匹配处理器40中。
显示装置80向用户提供从图像融合处理器60输出的融合图像,从而用户对显示的图像进行监视。显示装置80可显示第一图像与第二图像相互重叠的融合图像。显示装置80可包括液晶显示器(LCD)面板、有机发光显示器(OLED)面板、电泳显示(EPD)面板等。显示装置80可包括触摸屏,经由该触摸屏接收由用户输入的触摸,从而显示装置80用作用户输入接口。
图2是根据示例性实施例的图像匹配处理器40的框图。
参照图2,图像匹配处理器40可包括特征点提取器401、特征点对选择器403和单应性矩阵估计器405。
特征点提取器401可提取第一图像和第二图像的特征点。特征点提取器401可顺序地或并行地检测第一图像和第二图像的特征点。
特征点提取器401可通过使用尺度不变特征变换(SIFT)算法、Harris角点算法、最小核值相似区(SUSAN)算法等来从第一图像和第二图像中的每个图像提取角点、边缘、轮廓、线相交等作为特征点。然而,特征点提取算法并非特别地限于此,可以使用其它的特征点提取算法。
特征点对选择器403可从第一图像和第二图像的特征点选择对应特征点。特征点对选择器403可将第一图像或第二图像确定为参考图像,并对于参考图像的每个特征点,将另一图像中相似度高的特征点选择为对应特征点。
单应性矩阵估计器405可通过使用随机采样一致性(RANSAC)算法或局部优化RANSAC(LO-RANSAC)算法来估计单应性矩阵。单应性矩阵可包括指示旋转角的旋转信息、指示x方向、y方向和z方向上的移动的平移信息和指示x方向、y方向和z方向上的缩放量的缩放信息。然而,本实施例不限于此,可使用其它算法,其中,通过所述其它算法,使用随机采样来估计单应性矩阵。
RANSAC算法包括随机采样操作:从多个特征点对之中随机选择用于估计单应性矩阵的n个特征点对,其中,从一对图像中提取并匹配所述多个特征点对。因此,当从总共N个特征点中采样n个特征点(N≥n)时,采样的数量与下面等式1所示一样大,因此,总的算法处理速度非常慢。
采样数量=NCn=N!/n!(N-n)! (1)
此外,当在RANSAC算法的随机采样操作中选择的特征点是线性的或在特定区域聚集时,无法估计出准确的单应性矩阵,因此,RANSAC算法的效率会由于错误选择的特征点而估计不必要的单应性矩阵而降低。
在本实施例中,通过在将被采样的特征点的数量n的基础上对采样区域进行划分并对将被采样的特征点之间的距离进行限制,可减少在RANSAC算法中的采样的数量,并可统一获取随机采样,因此,可显著地提高匹配系统/融合系统的性能。
单应性矩阵估计器405可包括区域划分器406、采样特征点提取器407和估计器408。
区域划分器406可将第一图像和第二图像的参考图像的特征点分类为与采样特征点的数量n相应的区域。由于使用四个采样特征点来估计二维单应性矩阵,所以区域划分器406可将参考图像划分为四个区域(即,第一区域至第四区域)。
采样特征点提取器407可从每个区域提取一个采样特征点,使得满足距离限制条件,其中,所述距离限制条件是指从区域中提取出的采样特征点彼此相隔特定距离或更长距离。下面将参照图4A至图4K对提取采样特征点的方法进行描述。
估计器408可在从参考图像提取出的采样特征点和另一图像的对应采样特征点的基础上来估计单应性矩阵。
现在将对图2的图像匹配处理器40的随机采样方法和图像匹配方法进行描述。
图3是根据示例性实施例的图像匹配方法的流程图。图4A至图4K示出在图3的图像匹配方法中的随机采样方法。
参照图3,在操作S31中,图像匹配处理器40提取第一图像和第二图像的特征点。特征点可包括角点、边缘、轮廓、线相交等。
在操作S33中,图像匹配处理器40从提取出的第一图像和第二图像的特征点选择对应特征点。图像匹配处理器40可在相似性确定的基础上来选择第一图像和第二图像的对应特征点对。例如,图像匹配处理器40可将与第一图像和第二图像中的参考图像的特征点最相似的另一图像的特征点选择为参考图像的特征点的对应特征点。
图像匹配处理器40可对对应特征点对执行随机采样以估计单应性矩阵。
在操作S35中,图像匹配处理器40将参考图像划分为与将被采样的特征点的数量相应的区域。例如,图像匹配处理器40可将参考图像划分为与将被采样的四个特征点相应的四个区域(即,第一区域至第四区域),这被用于估计二维单应性矩阵。
参照图4A,参考图像可被均匀地顺时针划分为第一区域A1、第二区域A2、第三区域A3和第四区域A4。
在操作S37中,图像匹配处理器40从每个区域提取一个采样特征点,使得满足距离限制条件,其中,所述距离限制条件是指从区域中提取出的采样特征点彼此相隔特定距离或更长距离。
图像匹配处理器40可从参考图像的第一区域至第四区域中的一个区域中的特征点之中提取第一采样特征点。参照图4A,第一区域A1被设置为第一采样区域R1,第一采样特征点S1是通过在第一采样区域R1中执行随机采样而被随机提取出的。
图像匹配处理器40可从与第一采样特征点S1相隔第一距离或更长距离的第二区域A2中的特征点之中提取第二采样特征点。参照图4B,设置了第一距离D1,其中,第一距离D1比从第一采样特征点S1到参考图像的中心点的距离更长。第一距离D1可被设置为是从第一采样特征点S1到参考图像的中心点的距离的固定倍数,或者被设置为通过将从第一采样特征点S1到参考图像的中心点的距离增加常量而获得的值。参照图4C,距第一采样特征点S1比第一距离D1更远的区域与第二区域A2之间的相交区域被设置为第二采样区域R2。参照图4D,第二采样特征点S2是通过在第二采样区域R2中执行随机采样而被随机提取出的。
图像匹配处理器40可从与第二采样特征点S2相隔第二距离或更长距离的第三区域中的特征点之中提取第三采样特征点。参照图4E,设置了第二距离D2,其中,第二距离D2比从第二采样特征点S2到参考图像的中心点的距离更长。第二距离D2可被设置为是从第二采样特征点S2到参考图像的中心点的距离的固定倍数,或者被设置为通过将从第二采样特征点S2到参考图像的中心点的距离增加常量而获得的值。参照图4F,将从第二采样特征点S2比第二距离D2更远的区域与第三区域A3之间的相交区域设置为第三采样区域R3。参照图4G,第三采样特征点S3是通过在第三采样区域R3中执行随机采样而被随机提取出的。可选地,图像匹配处理器40可将距第一采样特征点S1比第一距离D1更远的区域、距第二采样特征点S2比第二距离D2更远的区域和第三区域之间的相交区域设置为第三采样区域R3。
图像匹配处理器40可从与第三采样特征点S3相隔第三距离或更长距离的第四区域A4中的特征点之中提取第四采样特征点。参照图4H,设置了第三距离D3,其中,第三距离D3比从第三采样特征点S3到参考图像的中心点的距离更长。第三距离D3可被设置为从第三采样特征点S3到参考图像的中心点的距离的固定倍数,或者被设置为通过将从第三采样特征点S3到参考图像的中心点的距离增加常量而获得的值。参照图4I,将从第三采样特征点S3比第三距离D3更远的区域与第四区域A4之间的相交区域设置为第四采样区域R4。参照图4J,第四采样特征点S4是通过在第四采样区域R4中执行随机采样而被随机提取出的。可选地,图像匹配处理器40可将距第一采样特征点S1比第一距离D1更远的区域、距第二采样特征点S2比第二距离D2更远的区域、距第三采样特征点S3比第三距离D3更远的区域和第四区域A4之间的相交区域设置为第四采样区域R4。
图4K示出了根据本实施例选择的第一采样特征点S1、第二采样特征点S2、第三采样特征点S3和第四采样特征点S4。参照图4K,第一采样特征点S1、第二采样特征点S2、第三采样特征点S3和第四采样特征点S4在并非线性或在特定区域聚集的情况下被选择。
在操作S39中,图像匹配处理器40在选择的对应特征点对的基础上估计单应性矩阵。图像匹配处理器40通过使用估计的单应性矩阵来对第一图像和第二图像进行匹配。
根据按照本实施例的用于图像匹配的随机采样方法,可以解决由于特征点的分布是线性的或在特定区域聚集而产生的问题,并且可减少随机采样的数量,并可降低单应性矩阵估计的不准确性。因此,可提高图像匹配效率。
如上所述,根据按照以上示例性实施例的一个或更多个示例性实施例的用于图像匹配的随机采样方法,随机采样可被统一获取,并且可减少随机采样的数量,并可降低单应性矩阵估计的不准确性。
此外,还可通过介质(例如,计算机可读记录介质)中/上的计算机可读代码/指令来实现其它实施例以控制至少一个处理元件实现以上描述的任何实施例。所述介质可与准许计算机可读代码的存储和/或传输的任意介质/媒介对应。
根据示例性实施例,图1中示出的图像匹配处理器40和图像融合处理器60以及用于构成图像匹配处理器40的由图2中示出的块表示的组件、元件和单元中的至少一个可被实现为不同数量的执行以上描述的各个功能的硬件结构、软件结构和/或固件结构。例如,图像匹配处理器40、图像融合处理器60和图2的组件、元件和单元中的至少一个可使用直通电路结构(诸如,存储器、处理、逻辑、查找表等),其中,所述直通电路结构可通过一个或更多个微处理器或其它控制设备的控制来执行各个功能。此外,图像匹配处理器40、图像融合处理器60和图2的组件、元件和单元中的至少一个可通过包含用于执行指定的逻辑功能的一个或更多个可执行指令的模块、程序或代码段来被特定实现。此外,图像匹配处理器40、图像融合处理器60和图2的组件、元件和单元中的至少一个可还包括执行各个功能的处理器(诸如,中央处理器(CPU))、微处理器等。此外,虽然在以上的框图中没有示出总线,但是可通过总线来执行在组件、元件或单元之间的通信。以上示例性实施例的功能方面可在算法中被实现,其中,所述算法可在一个或更多个处理器上执行。此外,由块表示的组件、元件或单元或处理步骤可采用用于电子配置、信号处理和/或控制、数据处理等的任意数量的相关领域技术。
计算机可读代码可以以各种方式在介质上被记录/传送,介质的示例包括记录介质(诸如,磁存储介质(例如,只读存储器(ROM)、软盘、硬盘等)、光记录介质(例如,压缩盘(CD)-ROM或数字通用盘(DVD))以及传输介质(诸如,互联网传输介质)。因此,所述介质可以是包括或携带信号或信息的这种被定义的和可测量的结构,诸如根据一个或更多个示例性实施例的携带比特流的装置。所述介质还可以是分布式网络,从而计算机可读代码以分布的形式被存储/传送并执行。此外,处理元件可包括处理器或计算机处理器,并且处理元件可被分布和/或包括在单个装置中。
应理解:在此描述的示例性实施例应该被视为描述性意义而不是为了限制的目的。在每个实施例内的特征或方面的描述通常应被视为可用于其它实施例中的其它相似特征或方面。
虽然已参照示图描述了一个或更多个示例性实施例,但本领域中的普通技术人员将理解,在不脱离由权利要求限定的本发明构思的精神和范围的情况下,可对其在形式和细节上进行各种改变。

Claims (18)

1.一种对特征点采样的方法,所述方法包括:
将第一图像划分为与将被采样的特征点的数量相应的多个区域;
从每个区域提取特征点,使得一个区域的提取出的特征点与另一区域的提取出的特征点之间的距离满足预定条件;
基于第一图像的提取出的特征点和将与第一图像匹配的第二图像的对应特征点,估计单应性矩阵,
其中,提取特征点的步骤包括:
从第一区域中的多个特征点之中提取第一特征点;
从与第一特征点相隔第一距离或更长距离的第二区域中的多个特征点之中,提取第二特征点;
从与第二特征点相隔第二距离或更长距离的第三区域中的多个特征点之中,提取第三特征点;
从与第三特征点相隔第三距离或更长距离的第四区域中的多个特征点之中,提取第四特征点。
2.如权利要求1所述的方法,其中,在从每个区域提取特征点的步骤中,所述另一区域的特征点在所述一个区域的特征点被提取之后被提取。
3.如权利要求1所述的方法,其中,提取第三特征点的步骤包括:从第三区域中的与第一特征点相隔第一距离或更长距离并且与第二特征点相隔第二距离或更长距离的多个特征点之中,提取第三特征点。
4.如权利要求1所述的方法,其中,提取第四特征点的步骤包括:从第四区域中的与第一特征点相隔第一距离或更长距离,与第二特征点相隔第二距离或更长距离并且与第三特征点相隔第三距离或更长距离的多个特征点之中,提取第四特征点。
5.如权利要求1所述的方法,其中,第一距离比从第一特征点到第一图像的中心点的距离大,第二距离比从第二特征点到第一图像的中心点的距离大,第三距离比从第三特征点到第一图像的中心点的距离大。
6.如权利要求1所述的方法,其中,第一图像和第二图像由同一图像传感器或不同的图像传感器获取。
7.如权利要求1所述的方法,其中,如果第一图像和第二图像由同一图像传感器获取,则第一图像和第二图像是从不同视点捕捉的或是在不同时刻捕捉的同一对象的图像,
其中,如果第一图像和第二图像由不同的图像传感器获取,则所述不同的图像传感器具有不同的特性并被配置为捕捉同一对象的不同图像。
8.一种图像匹配方法,包括:
从第一图像和将与第一图像匹配的第二图像提取多个特征点;
从第一图像的特征点和第二图像的特征点之中,选择至少一对应特征点对;
将第一图像划分为与将被采样的特征点的数量相应的多个区域;
从第一图像的每个区域提取特征点,使得一个区域的提取出的特征点与另一区域的提取出的特征点之间的距离满足预定条件;
基于第一图像的提取出的特征点和第二图像的对应特征点,估计单应性矩阵,
其中,提取特征点的步骤包括:
从第一区域中的多个特征点之中提取第一特征点;
从与第一特征点相隔第一距离或更长距离的第二区域中的多个特征点之中,提取第二特征点;
从与第二特征点相隔第二距离或更长距离的第三区域中的多个特征点之中,提取第三特征点;
从与第三特征点相隔第三距离或更长距离的第四区域中的多个特征点之中,提取第四特征点。
9.如权利要求8所述的图像匹配方法,还包括:
使用估计的单应性矩阵,对第一图像和第二图像进行匹配;
对匹配的第一图像和第二图像进行融合以产生融合图像。
10.一种图像匹配处理器,包括:
区域划分器,被配置为将第一图像划分为与将被采样的特征点的数量相应的多个区域;
特征点提取器,被配置为从每个区域提取特征点,使得一个区域的提取出的特征点与另一区域的提取出的特征点之间的距离满足预定条件;
估计器,被配置为基于提取出的特征点和将与第一图像匹配的第二图像的对应特征点,估计单应性矩阵,
其中,特征点提取器被配置为:从第一区域中的多个特征点之中提取第一特征点;从与第一特征点相隔第一距离或更长距离的第二区域中的多个特征点之中,提取第二特征点;从与第二特征点相隔第二距离或更长距离的第三区域中的多个特征点之中,提取第三特征点;从与第三特征点相隔第三距离或更长距离的第四区域中的多个特征点之中,提取第四特征点。
11.如权利要求10所述的图像匹配处理器,其中,特征点提取器被配置为在提取所述一个区域的特征点之后,提取所述另一区域的特征点。
12.如权利要求10所述的图像匹配处理器,其中,特征点提取器被配置为:从第三区域中的与第一特征点相隔第一距离或更长距离并且与第二特征点相隔第二距离或更长距离的多个特征点之中,提取第三特征点。
13.如权利要求10所述的图像匹配处理器,其中,特征点提取器被配置为:从第四区域中的与第一特征点相隔第一距离或更长距离,与第二特征点相隔第二距离或更长距离并且与第三特征点相隔第三距离或更长距离的多个特征点之中,提取第四特征点。
14.如权利要求10所述的图像匹配处理器,其中,第一距离比从第一特征点到第一图像的中心点的距离大,第二距离比从第二特征点到第一图像的中心点的距离大,第三距离比从第三特征点到第一图像的中心点的距离大。
15.如权利要求10所述的图像匹配处理器,其中,第一图像和第二图像由同一图像传感器或不同的图像传感器获取。
16.如权利要求10所述的图像匹配处理器,其中,如果第一图像和第二图像由同一图像传感器获取,则第一图像和第二图像是从不同视点捕捉的或是在不同时刻捕捉的同一对象的图像,
其中,如果第一图像和第二图像由不同的图像传感器获取,则所述不同的图像传感器具有不同的特性并被配置为捕捉同一对象的不同图像。
17.如权利要求10所述的图像匹配处理器,还包括:
特征点提取器,被配置为提取第一图像和第二图像的多个特征点;
特征点对选择器,被配置为在第一图像的特征点和第二图像的特征点之中选择至少一对应特征点对。
18.如权利要求10所述的图像匹配处理器,还包括:图像融合处理器,被配置为通过使用估计的单应性矩阵对第一图像和第二图像进行融合以产生融合图像。
CN201510018840.5A 2014-01-14 2015-01-14 对特征点采样的方法、图像匹配方法和图像匹配设备 Active CN104778682B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140004711A KR102170689B1 (ko) 2014-01-14 2014-01-14 영상 정합을 위한 특징점 샘플링 방법
KR10-2014-0004711 2014-01-14

Publications (2)

Publication Number Publication Date
CN104778682A CN104778682A (zh) 2015-07-15
CN104778682B true CN104778682B (zh) 2019-04-19

Family

ID=53521673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510018840.5A Active CN104778682B (zh) 2014-01-14 2015-01-14 对特征点采样的方法、图像匹配方法和图像匹配设备

Country Status (3)

Country Link
US (1) US9704063B2 (zh)
KR (1) KR102170689B1 (zh)
CN (1) CN104778682B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101598399B1 (ko) * 2015-10-30 2016-03-02 공간정보기술 주식회사 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템
CN105354851B (zh) * 2015-11-20 2018-07-17 中国安全生产科学研究院 对距离自适应的红外与可见光视频融合方法
GB2549074B (en) * 2016-03-24 2019-07-17 Imagination Tech Ltd Learned feature motion detection
CN107527368B (zh) * 2016-06-20 2020-08-11 电子科技大学 基于二维码的三维空间姿态定位方法与装置
CN107292872A (zh) * 2017-06-16 2017-10-24 艾松涛 图像处理方法/系统、计算机可读存储介质及电子设备
JP2020526818A (ja) 2017-06-28 2020-08-31 マジック リープ, インコーポレイテッドMagic Leap,Inc. 畳み込み画像変換を使用して同時位置特定およびマッピングを実施する方法およびシステム
CN107480710B (zh) * 2017-08-01 2020-05-22 歌尔股份有限公司 特征点匹配结果处理方法和装置
CN108304870A (zh) * 2018-01-30 2018-07-20 河南理工大学 点线特征融合的错误匹配剔除方法
CN108875780A (zh) * 2018-05-07 2018-11-23 广东省电信规划设计院有限公司 基于图像数据的图像间差异对象的获取方法以及装置
CN108876783B (zh) * 2018-06-27 2021-02-05 上海联影医疗科技股份有限公司 图像融合方法及系统、医疗设备和图像融合终端
CN109285136B (zh) * 2018-08-31 2021-06-08 清华-伯克利深圳学院筹备办公室 一种图像的多尺度融合方法、装置、存储介质及终端
CN112119426A (zh) * 2018-11-28 2020-12-22 华为技术有限公司 一种图像特征点匹配方法及装置
CN110782459B (zh) * 2019-01-08 2021-02-19 北京嘀嘀无限科技发展有限公司 一种图像处理方法及装置
CN110503108A (zh) * 2019-07-11 2019-11-26 平安科技(深圳)有限公司 违章建筑识别方法及装置、存储介质、计算机设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6990221B2 (en) * 1998-02-07 2006-01-24 Biodiscovery, Inc. Automated DNA array image segmentation and analysis
JP2006510985A (ja) 2002-12-20 2006-03-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィKoninklijke Philips Electronics N.V. 照明不変条件での顔認識
US7403641B2 (en) * 2004-05-28 2008-07-22 Matsushita Electric Works, Ltd. Object recognition system
US7609887B2 (en) * 2004-06-07 2009-10-27 Siemens Medical Solutions Usa, Inc. System and method for toboggan-based object segmentation using distance transform
US20060125920A1 (en) * 2004-12-10 2006-06-15 Microsoft Corporation Matching un-synchronized image portions
JP2006309455A (ja) 2005-04-27 2006-11-09 Tokai Rika Co Ltd 特徴点検出装置及び距離測定装置
JP4760801B2 (ja) * 2007-08-07 2011-08-31 ソニー株式会社 画像判定装置、画像判定方法、およびプログラム
JP4636146B2 (ja) * 2008-09-05 2011-02-23 ソニー株式会社 画像処理方法、画像処理装置、プログラム及び画像処理システム
EP2192546A1 (en) * 2008-12-01 2010-06-02 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO Method for recognizing objects in a set of images recorded by one or more cameras
CN101771825B (zh) * 2008-12-19 2011-12-21 华为终端有限公司 图像亮色补偿的方法和装置
KR101225626B1 (ko) 2010-07-19 2013-01-24 포항공과대학교 산학협력단 차선 인식 시스템 및 방법
KR101175097B1 (ko) 2010-08-12 2012-08-21 금오공과대학교 산학협력단 파노라마 영상 생성 방법
CN102270348B (zh) * 2011-08-23 2013-08-07 中国科学院自动化研究所 基于视频流的对变形手势进行跟踪的方法
CN102446356A (zh) * 2011-09-24 2012-05-09 中国测绘科学研究院 一种获取均匀分布匹配点的遥感影像并行自适应匹配方法
US20140037189A1 (en) 2012-08-02 2014-02-06 Qualcomm Incorporated Fast 3-D point cloud generation on mobile devices
CN103077527A (zh) * 2013-02-05 2013-05-01 湖北工业大学 一种稳健的多源卫星遥感影像配准方法

Also Published As

Publication number Publication date
US9704063B2 (en) 2017-07-11
KR20150084574A (ko) 2015-07-22
US20150199585A1 (en) 2015-07-16
CN104778682A (zh) 2015-07-15
KR102170689B1 (ko) 2020-10-27

Similar Documents

Publication Publication Date Title
CN104778682B (zh) 对特征点采样的方法、图像匹配方法和图像匹配设备
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US9275464B2 (en) Method for determining the extent of a foreground object in an image
KR102144394B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
JP6551226B2 (ja) 情報処理システム、情報処理方法及びプログラム
Scheerlinck et al. Asynchronous spatial image convolutions for event cameras
Karaküҫük et al. Recent advances in counter PRNU based source attribution and beyond
WO2018098862A1 (zh) 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备
US20190073813A1 (en) Image processing apparatus, image providing apparatus,control methods thereof, and medium
US10970876B2 (en) Methods and apparatus for image locating relative to the global structure
KR102050418B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
CN110199316A (zh) 相机和相机的图像处理方法
KR20150126768A (ko) 이미지 합성 방법 및 그 전자 장치
CN110300253B (zh) 图像处理装置和方法及存储指令的存储介质
JP2016081095A (ja) 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
US20190294887A1 (en) Image processing apparatus and method and storage medium storing instructions
US10706561B2 (en) Systems and methods to track objects in video
JP6780639B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP2019169145A (ja) 画像処理装置および方法、並びに、命令を格納する記憶媒体
TW202042249A (zh) 循血綠螢光影像分析方法及裝置
KR101923962B1 (ko) 의료 영상의 열람을 지원하는 방법 및 이를 이용한 장치
JP2018160722A (ja) 映像異常停止検出装置、映像記録装置、および、映像異常停止検出方法
KR20200145379A (ko) 해상도가 다른 영상을 정합하는 장치 및 방법
Vishnyakov et al. Fast interframe transformation with local binary patterns
JP6198105B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

Free format text: CORRECT: APPLICANT; FROM: SAMSUNG TAI KEWEI CO., LTD. TO: HANWHA TECHWIN CO., LTD.

C53 Correction of patent for invention or patent application
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: SAMSUNG TECHWIN CO., LTD.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: Samsung Techwin Co., Ltd.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: South Korea and China Aerospace Corporation

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA TECHWIN CO., LTD.

TA01 Transfer of patent application right

Effective date of registration: 20190222

Address after: Gyeonggi Do city of South Korea

Applicant after: HANWHA TECHWIN CO., LTD.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: South Korea and China Aerospace Corporation

GR01 Patent grant
GR01 Patent grant