CN113436263A - 一种基于图像处理的特征点提取方法及系统 - Google Patents
一种基于图像处理的特征点提取方法及系统 Download PDFInfo
- Publication number
- CN113436263A CN113436263A CN202110977834.8A CN202110977834A CN113436263A CN 113436263 A CN113436263 A CN 113436263A CN 202110977834 A CN202110977834 A CN 202110977834A CN 113436263 A CN113436263 A CN 113436263A
- Authority
- CN
- China
- Prior art keywords
- image
- local
- region
- optimization
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于图像处理的特征点提取方法及系统,其包括图像分区,基于原始图像进行区域分割,确定若干个局部区域;分区优化,基于各个局部区域进行对比度调整,确定分区优化总集;分区合并,根据各个局部区域在原始图像中的位置,基于分区优化总集内的各个像素点组成优化图像;特征提取,基于优化图像,确定最终特征集合。由于每一个局部区域都能体现原始图像的局部图像特征,因此对各个局部区域分别进行对比度调整,可以对原始图像的多个局部部分同时进行对比度调整,进而提高局部区域的局部对比度,突出局部区域的纹理部细节,使得图像中的多个过曝部分和欠曝部分均能得到缓解,使得图像中的特征点不易被忽略。
Description
技术领域
本申请涉及图像特征点提取的领域,尤其是涉及一种基于图像处理的特征点提取方法及系统。
背景技术
目前,SLAM(即时定位与地图构建)技术主要应用于定位导航,是解决自主移动机器人运动路线规划的关键技术。在机器人自主移动时,搭载在机器人上的图像传感器可以对实际环境实时采集图像,而SLAM则可以通过提取分析图像中的特征点和特征点对应的描述子,来估算机器人的自身位姿和构建周边环境的地图,进而推算出合理的运动轨迹。
现有技术中如申请公布号为CN112862803A的中国发明专利申请公开的基于边缘和特征点融合的红外成像SLAM方法和装置,其包括以下步骤:
(1)提取当前帧的特征点和边缘;
(2)跟踪所述特征点和所述边缘,得到所述特征点和所述边缘的跟踪结果;
(3)融合所述跟踪结果,估计当前帧的位姿;
(4)判断是否插入新的关键帧;
(5)对所述新的关键帧依次进行特征点局部建图、回环检测。
针对上述技术方案,发明人认为,在实时采集图像的过程中,随着机器人的移动,采集图像的场景也会持续发生变化,而场景的亮度突变会影响图像本身的质量,导致图像中的很多特征点在后续算法中容易被忽略,不利于视觉特征的发现和提取。
发明内容
本申请目的一是提供一种基于图像处理的特征点提取方法,具有便于图像特征点的提取的特点。
本申请的上述发明目的一是通过以下技术方案得以实现的:
一种基于图像处理的特征点提取方法,包括:
图像分区,基于原始图像进行区域分割,确定若干个局部区域;其中,各个所述局部区域能够组成原始图像;
分区优化,基于各个局部区域进行对比度调整,确定分区优化总集;
分区合并,根据各个局部区域在原始图像中的位置,基于分区优化总集内的各个像素点组成优化图像;其中,所述优化图像与原始图像相对应;
特征提取,基于优化图像,确定最终特征集合。
通过采用上述技术方案,原始图像分割成各个局部区域后,由于每一个局部区域都能体现原始图像的局部图像特征,因此对各个局部区域分别进行对比度调整,可以对原始图像的多个局部部分同时进行对比度调整,进而提高局部区域的局部对比度,突出局部区域的纹理部细节,使得图像中的多个过曝部分和欠曝部分均能得到缓解,使得图像中的特征点不易被忽略,因此,在后续的特征点提取算法中提取出较多的特征点。
可选的,相邻的多个所述局部区域之间具有重叠部分;
在图像分区步骤的具体方法中,还包括:
基于各个局部区域,确定若干个外围子区域和若干个重叠子区域;其中,所述外围子区域对应于其中一个局部区域与相邻局部区域非重叠的部分;所述重叠子区域对应于至少两个局部区域之间重叠的部分;
所述分区优化总集包括外围优化子集和重叠优化子集;其中,所述外围优化子集对应于进行对比度调整后的外围子区域,所述重叠优化子集对应于进行对比度调整后的重叠子区域。
通过采用上述技术方案,由于相邻的多个局部区域之间具有重叠的部分,因此局部区域存在外围子区域和重叠子区域,其中外围子区域是没有发生重叠的部分,重叠子区域是已经发生重叠的部分,同时,重叠子区域也为相邻的多个局部区域之间的边缘交界处,因此,对重叠子区域进行另外的过渡优化处理,可以使相邻的各个局部区域的边缘部分能够更为和谐地合并,减少各个局部区域的边界处存在对比度突变的情况,提高后续算法中提取特征点的准确性。
可选的,在分区优化的具体方法中,包括:
对局部区域进行对比度调整,确定初始优化集合;
基于外围子区域所在的局部区域的初始优化集合,确定外围优化子集;其中,各个外围子区域与各个外围优化子集一一对应;
基于重叠子区域所关联于的各个局部区域的初始优化集合,确定重叠优化子集;其中,各个重叠子区域与各个重叠优化子集一一对应;
在分区合并的具体方法中,包括:
基于各个重叠优化子集,确定各个过渡子区域;各个所述过渡子区域与各个重叠子区域一一对应;
基于各个外围优化子集,确定各个均衡子区域;各个所述均衡子区域与各个外围子区域一一对应;
基于各个过渡子区域和各个均衡子区域进行合并,确定优化图像。
通过采用上述技术方案,将各个重叠优化子集转换为过渡子区域,相当于将各个重叠子区域内的像素点进行优化;将各个外围优化子集转换为均衡子区域,相当于将各个外围子区域内的像素点进行优化,在完成过渡子区域和均衡子区域的转换后,将各个过渡子区域和各个均衡子区域进行合并则可以获取优化图像。各个过渡子区域和各个均衡子区域之间的合并顺序与各个重叠子区域和各个外围子区域的分隔顺序一致,从而确保优化图像为原来的原始图像进行优化后的图像,减少图像信息的缺失。
可选的,在基于重叠子区域所关联于的各个局部区域的初始优化集合,确定重叠优化子集的具体方法中,包括:
基于重叠子区域所对应的所有初始优化集合内的各个像素点灰度值的均值,确定重叠优化子集内的各个像素点的灰度值。
通过采用上述技术方案,由于各个局部区域通过改变像素灰度的方式调整对比度,各个局部区域的灰度分布可能不相同,导致各个局部区域的边缘交界处之间可能存在对比度突变,因此当若干个局部区域之间存在重叠时,重叠位置的各个像素点的像素灰度值采用各个局部区域对应的像素点的灰度值的均值,能够使各个局部区域的边缘交界处之间灰度变化更加平缓。
可选的,在基于各个局部区域进行对比度调整的具体方法中,包括:对各个局部区域分别进行直方图均衡化。
通过采用上述技术方案,直方图均衡化能够同时处理欠曝光和过曝光的区域,并且计算量较小,处理速度较快。
可选的,当两个相邻的所述局部区域具有重叠部分时,所述重叠部分的高度为其中一个局部区域高度的50%,和/或,所述重叠部分的宽度为其中一个局部区域宽度的50%。
通过采用上述技术方案,使发生重叠的任意两个局部区域中,任意一个局部区域都有25%或50%的部分处于重叠部分,并且可以达到无论重叠子区域关联的局部区域的数量,使各个重叠子区域的面积均为一致的效果,使过渡处理的效果更加具有均匀性,增强过渡效果。
可选的,在特征提取步骤的具体方法中,包括:
基于优化图像进行特征点提取,确定初始特征集合;
基于优化图像进行区域分割,确定若干个提取区域;
基于初始特征集合内的各个特征点在各个提取区域中的分布,确定若干个与各个提取区域一一对应的特征分布子集;
基于各个特征分布子集进行筛选,确定最终特征集合。
通过采用上述技术方案,在特征点提取的方法中,将优化图像均匀分割成多个不重叠的提取区域,并筛选出各个提取区域中最为突出的若干个特征点作为均布特征点,以使最终得到的各个均布特征点在优化图像中的分布更加趋于均匀化,从而提高SLAM后期基于特征点进行分析定位时的准确性。
本申请目的二是提供一种基于图像处理的特征点提取系统,具有便于图像特征点的提取的特点。
本申请的上述发明目的二是通过以下技术方案得以实现的:
一种基于图像处理的特征点提取系统,包括:
图像分区模块,用于基于原始图像进行区域分割,确定若干个局部区域;其中,各个所述局部区域能够组成原始图像;
分区优化模块,用于基于各个局部区域进行对比度调整,确定分区优化总集;
分区合并模块,用于根据各个局部区域在原始图像中的位置,基于分区优化总集内的各个像素点组成优化图像;其中,所述优化图像与原始图像相对应;以及,
特征提取模块,用于基于优化图像,确定最终特征集合。
本申请目的三是提供一种智能终端,具有便于图像特征点的提取的特点。
本申请的上述发明目的三是通过以下技术方案得以实现的:
一种智能终端,包括存储器和处理器,所述存储器上存储有能够被处理器加载并执行上述一种基于图像处理的特征点提取方法的计算机程序。
本申请目的四是提供一种计算机存储介质,能够存储相应的程序,具有便于图像特征点的提取的特点。
本申请的上述发明目的四是通过以下技术方案得以实现的:
一种计算机可读存储介质,存储有能够被处理器加载并执行上述任一种基于图像处理的特征点提取方法的计算机程序。
附图说明
图1是本申请的基于图像处理的特征点提取方法的流程示意图。
图2是本申请的特征点提取方法中分区优化步骤和分区合并步骤的子流程示意图。
图3是原始图像、局部区域和优化图像之间的关系示意图。
图4是重叠子区域与外围子区域之间的关系示意图。
图5是本申请的特征点提取方法中特征提取步骤的子流程示意图。
图6是优化图像和提取区域之间的分布示意图。
图7是本申请的基于图像处理的特征点提取系统的模块示意图。
图8是本申请的一种智能终端的示意图。
图9是本申请的一种计算机可读存储介质的示意图。
图中,1、图像分区模块;2、分区优化模块;3、分区合并模块;4、特征提取模块。
具体实施方式
在工程应用如SLAM的算法应用中,机器人需要实时采集图像和分析提取图像特征点,来估算机器人的自身位姿和构建周边环境的地图。但是,在实时采集图像的过程中,随着机器人的移动,采集图像的场景的亮度也会持续发生变化,使场景的变换可能会出现过曝光(图像亮度过大)或欠曝光(图像亮度过小)的问题。当过曝光或欠曝光发生时,尤其是当场景中同时存在过于明亮的区域和过于阴暗的区域的情况时,场景整体的对比度较大,图像采集时非常容易发生过曝光或欠曝光,而在后续算法中,图像中对应于过曝光区域或对应于欠曝光区域的特征点容易被忽略,不利于视觉特征的发现和提取,影响了SLAM的精准性。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图1-图9对本申请实施例作进一步详细描述。
实施例一:
本申请实施例提供一种基于图像处理的特征点提取方法,所述方法的主要流程描述如下。
参照图1,S01、图像分区,基于原始图像进行区域分割,确定若干个局部区域。
其中,原始图像指的是图像传感器实时采集的图像信息,图像信息在后续步骤中供系统进行特征点提取分析,从而能够估算机器人的自身位姿和构建周边环境的地图。在本实施例中,原始图像为灰度图,原始图像的对比度可以通过原始图像内各个像素点的灰度值来体现。
局部区域指的是从原始图像上分割出来的图像区域,能够反映原始图像的局部特征。在本实施例中,原始图像呈矩形,局部区域也呈矩形;原始图像均等分隔出多个局部区域,各个局部区域的面积一致,且各个局部区域按照原来的位置可以重新合并形成原始图像。
在后续算法中,各个局部区域均会独立地进行对比度调整,以对原始图像的各个局部特征进行优化处理,以使原始图像的各个局部部位的纹理细节更加清晰、易于识别。
参照图2,在步骤S01中,包括:
S011、基于分割模板对原始图像进行区域分割,确定若干个局部区域。
其中,分割模板指的是用于指示原始图像的区域分割方式的模板,分割模板直接决定各个局部区域的形成方式,能够限定局部区域的数量、局部区域的高度和局部区域的宽度。
具体的,按照分割模板所指定的区域分割方式,原始图像会从宽度方向均等分割形成N个局部区域,同时,原始图像会从高度方向均等分割形成M个局部区域。优选的,N、M均为正整数。
在本实施例中,分割模板由使用者预设于系统中,使用者可根据原始图像的实际大小或者实际场景的应用进行调整。
S012、基于各个局部区域,确定若干个外围子区域和若干个重叠子区域。
其中,无论从原始图像的宽度方向,还是从原始图像的高度方向,任意相邻的两个局部区域之间均具有重叠的部分,因此,局部区域会同时存在有重叠于相邻局部区域的部分和非重叠于相邻局部区域的部分,从而可以区分出多个外围子区域和多个重叠子区域。
具体的,外围子区域指的是原始图像中非重叠于相邻局部区域的部分,由于外围子区域只会存在于其中一个局部区域内,因此每一个外围子区域均对应于一个局部区域。重叠子区域指的是原始图像中重叠于各个局部区域之间的部分,由于各个局部区域在高度方向和宽度方向均可能会发生重叠,因此一个重叠区域对应于至少两个局部区域、至多对应于四个局部区域。
在本实施例中,分割模板还包括有用于指示各个局部区域的重叠方式的比例参数,比例参数包括有宽度比例系数和高度比例系数。其中,宽度比例系数用于指示在原始图像的宽度方向上,当相邻两个局部区域之间具有重叠部分时,重叠部分的宽度占其中一个局部区域的宽度的比例;高度比例系数用于指示在原始图像的高度方向上,当相邻两个局部区域之间具有重叠部分时,重叠部分的高度占其中一个局部区域的高度的比例。
具体的,原始图像的宽度、宽度比例系数的数值、局部区域在原始图像宽度方向上的数量、局部区域的宽度、重叠子区域的宽度之间的转换关系,可通过公式(1)反映出,
其中,W为原始图像的宽度,Qw为重叠子区域的宽度,w为局部区域的宽度,K1为宽度比例系数,N为局部区域在原始图像宽度方向上的数量。
原始图像的高度、高度比例系数的数值、局部区域在原始图像高度方向上的数量、局部区域的高度、重叠子区域的高度之间的转换关系,可通过公式(2)反映出,
其中,H为原始图像的高度,Qh为重叠子区域的高度,h为局部区域的高度,K2为高度比例系数,M为局部区域在原始图像高度方向上的数量。
参照图3和图4,为了方便理解,以下以一具体实列进行说明。设定宽度比例系数K1为50%,高度比例系数K2为50%,数量N为3,数量M为3。注意,50%的比例系数可以保证图像中绝大多数区域都被覆盖4次,从两个方向上消除局部曝光的影响。有:
局部区域总共有9个,分别为:L1、L2、L3、L4、L5、L6、L7、L8、L9;
外围子区域总共有4个,分别为:P1、P2、P3、P4;
其中,外围子区域P1对应于局部区域L1,外围子区域P2对应于局部区域L3,外围子区域P3对应于局部区域L7,外围子区域P4对应于局部区域L9;
重叠子区域总共有12个,分别为:Q1、Q2、Q3、Q4、Q5、Q6、Q7、Q8、Q9、Q10、Q11、Q12;
其中,重叠子区域Q1由局部区域L1和局部区域L2重叠形成;
重叠子区域Q2由局部区域L2和局部区域L3重叠形成;
重叠子区域Q3由局部区域L1和局部区域L4重叠形成;
重叠子区域Q4由局部区域L1、局部区域L2、局部区域L4和局部区域L5重叠形成;
重叠子区域Q5由局部区域L2、局部区域L3、局部区域L5和局部区域L6重叠形成;
重叠子区域Q6由局部区域L3和局部区域L6重叠形成;
重叠子区域Q7由局部区域L4和局部区域L7重叠形成;
重叠子区域Q8由局部区域L4、局部区域L5、局部区域L7和局部区域L8重叠形成;
重叠子区域Q9由局部区域L5、局部区域L6、局部区域L8和局部区域L9重叠形成;
重叠子区域Q10由局部区域L6和局部区域L9重叠形成;
重叠子区域Q11由局部区域L7和局部区域L8重叠形成;
重叠子区域Q12由局部区域L8和局部区域L9重叠形成;
在后续的算法中,所有局部区域均会独立进行对比度优化,导致各个局部区域的像素点的灰度值分布会被重新调整,而在优化后,相邻两个局部区域的边缘之间会因两个局部区域的灰度值分布不同而造成对比度异常,影响对特征点的提取的准确,因此需要在各个局部区域之间进行过渡处理。由于重叠子区域为相邻的各个局部区域之间的交界处,因此重叠子区域可直接被指定为进行过渡处理的区域。
参照图2,S02、分区优化,基于各个局部区域进行对比度调整,确定分区优化总集。
其中,对各个局部区域分别进行对比度调整,可以提高各个局部区域的清晰度,凸显各个局部区域中的纹理细节,从而使原始图像的各个局部特征的特征点更加容易被识别提取。对比度调整的方式选用为局部区域的像素点进行灰度变换的方式。
分区优化总集指的是包含各个局部区域内的所有像素点在进行灰度变换后的集合,分区优化总集内的像素点可以重新合并成一个与原始图像相对应的图像。
在本实施例中,各个局部区域之间形成了多个外围子区域和多个重叠子区域,对应于外围子区域和重叠子区域,分区优化总集可以分为多个外围优化子集和多个重叠优化子集,其中各个外围子区域与各个外围优化子集一一对应,各个重叠子区域与各个重叠优化子集一一对应。
在步骤S02中,包括:
S021、对各个局部区域进行对比度调整,确定若干个初始优化集合。
其中,当局部区域进行对比度调整后,局部区域内的所有的像素点包含在初始优化集合内;各个初始优化集合与各个局部区域一一对应。
在本实施例中,局部区域进行对比度调整的方式为直方图均衡化。直方图均衡化能够筛选出灰度图中较为集中不易区分的部分像素点,并将该部分像素点的灰度值映射为分布均匀的新灰度值,进而提高局部区域的对比度,突出局部区域中的暗部细节和亮部细节。
直方图均衡化的具体计算方法如公式(3)所示,
其中,I为像素点的原灰度值,I’为像素点灰度转换后的灰度值,h为局部区域的高度,w为局部区域的宽度,Cj表示局部区域中灰度值为j的像素点的数量,floor为向下取整函数。
直方图均衡化能够将像素点的原灰度值I映射为新灰度值I’,在此变换后,局部区域的灰度值累计概率分布基本呈一条直线,从而提高局部区域的局部对比度,突出局部区域的纹理部细节,使得各个局部区域内的过曝部分和欠曝部分均能得到缓解。
S022、基于外围子区域所在的局部区域的初始优化集合,确定外围优化子集。
其中,外围优化子集包含与其对应的外围子区域内的所有像素点。外围优化子集内的各个像素点的灰度值均为局部区域进行对比度调整后的灰度值。
在本实施例中,外围优化子集的各个像素点可以从外围子区域所在的局部区域的初始优化集合中获取,外围优化子集的各个像素点的灰度值与该初始优化集合中的对应像素点的灰度值一致。
参照图3和图4,例如,外围子区域P1所对应的外围优化子集内的各个像素点的灰度值,则为局部区域L1对应的初始优化集合中的对应像素点的灰度值。
因此,外围优化子集相当于为对应的初始优化集合的一个子集,外围子区域的灰度分布相当于直接采用与其对应的局部区域进行直方图均衡后的灰度分布。
参照图2,S023、基于重叠子区域所关联于的各个局部区域的初始优化集合,确定重叠优化子集。
其中,重叠优化子集包含与其对应的重叠子区域内的所有像素点。
在步骤S012的描述中,可以得知,若各个局部区域在进行直方图均衡后直接合并,各个局部区域的边界处可能会存在对比度突变导致后续无法正常提取特征点,因此,在各个局部区域在进行直方图均衡后,需要对各个局部区域的边缘部进行过渡处理再进行合并,而各个重叠子区域位于与其对应的各个局部区域的边缘部。
在本实施例中,过渡处理的具体方法为,重叠子区域内的各个像素点的灰度值采用重叠子区域所对应的各个局部区域的对应像素点的灰度值的均值。
参照图3和图4,例如,重叠子区域Q4所对应的重叠优化子集内的各个像素点的灰度值,则为局部区域L1、局部区域L2、局部区域L4和局部区域L5分别对应的四个初始优化集合中的对应像素点的灰度值的均值。
通过多个灰度值求均值的方式,重叠子区域的灰度分布相当于与其邻近的各个局部区域之间的灰度分布的均值,从而在各个局部区域之间达到过渡效果。
参照图2,S03、分区合并,根据各个局部区域在原始图像中的位置,基于分区优化总集内的各个像素点组成优化图像。
其中,优化图像与原始图像相对应,优化图像为原始图像进行优化处理后获取的图像。
分区优化总集内的各个像素点均为进行灰度值变换后的像素点,根据各个局部区域在原始图像中的位置,可以确定分区优化总集内的所有像素点在原始图像中的分布,而通过排列组合分区优化总集内的所有像素点,即可以得到优化图像。
在本实施例中,原始图像可以划分为多个外围子区域和多个重叠子区域;同理,优化图像也可以划分为多个区域,其中包括有多个与各个外围子区域相对应的均衡子区域和多个与各个重叠子区域相对应的过渡子区域。
在步骤S03中,包括:
S031、基于各个重叠优化子集,确定各个过渡子区域。
其中,各个过渡子区域与各个重叠子区域一一对应。按照重叠子区域中各个像素点的分布,对重叠优化子集内的各个像素点进行配列,可以得到对应于重叠子区域的过渡子区域,因此,过渡子区域能够反映与其对应的重叠子区域进行图像优化后得到的部分图像。
S032、基于各个外围优化子集,确定各个均衡子区域。
其中,各个均衡子区域与各个外围子区域一一对应。按照外围子区域中各个像素点的分布,对外围优化子集内的各个像素点进行配列,可以得到对应于外围子区域的均衡子区域,因此,均衡子区域能够反映与其对应的外围子区域进行图像优化后得到的部分图像。
S033、基于各个过渡子区域和各个均衡子区域进行合并,确定优化图像。
其中,根据各个过渡子区域所对应的重叠子区域在原始图像中的位置分布,以及各个均衡子区域所对应的外围子区域在原始图像中的位置分布,合并各个过渡子区域和各个均衡子区域,可以得到完整的优化图像。
S04、特征提取,基于优化图像,确定最终特征集合。
其中,最终特征集合指的是包含优化图像中能够提取出来的所有特征点的集合。特征点指的是优化图像中一些显著区别于其他像素的像素点,特征点能够与周围像素构成相应的纹理信息。特征点是机器人视觉SLAM系统的主要处理对象,具备可以被提取和匹配关联的特性。常见的特征点往往具备亮度特别高或低、周围像素呈现围绕分布、像素梯度在多个方向上处于极值等特点。特征提取步骤的目的即是从优化图像中找到这些特别的像素点作为特征点,并记录各个特征点的坐标信息。
具体的,每一个特征点具有对应的特征描述,特征描述指的是分配于特征点的一个具有特定性、可识别的ID,特征点与特征描述之间的关系可类比为人与身份证号码之间的关系。特征描述关联于特征点所在的周围像素的灰度有关,即关联于特征点周围环境的明暗程度,在本实施例中,特征描述包含有强度值和描述子。
其中,强度值用于表明此特征点的突出程度,强度值越高,则说明特征点对于环境亮度变化的影响越不敏感、特征点越稳定;反之,则表示此特征点越不可靠,受环境亮度变化的影响后可能会变得并不突出。描述子则为固定大小的矩阵。
在本实施例中,优化图像为数字化灰度图像,可以被定义为一个具有宽度W像素、高度H像素的矩阵,其中宽度W和高度H均为正整数,矩阵中的每一个元素对应一个像素点的灰度,且灰度值I为[0, 255]中的某一个整数,则样本图像可以表示为:{I(u,v)},
其中,u表示像素的横坐标值,u为整数,且0 ≤ u < W;v表示像素的纵坐标值,v为整数,且0 ≤ v < H。
其中,其中(u,v)表示特征点的位置坐标,s为特征点的强度值,d为特征点的描述子。
参照图5和图6,在步骤S04中,包括:
S041、基于优化图像进行特征点提取,确定初始特征集合。
其中,对优化图像进行特征点提取,可以从优化图像中获取多个特征点,这部分最初提取出来的特征点为初始特征点,各个初始特征点组成初始特征集合。特征点提取算法可以为ORB(Oriented FAST and Rotated BRIEF)算法,可以为Harris算法(点角检测算法),可以为SIFT算法(尺度不变特征变换匹配算法),也可以为SURF算法(加速稳健特征算法)。其中,ORB算法具有计算量小、描述子简单等特点,适合数量和速度优先的场景,因此在本实施例中,特征点提取算法优选为ORB算法。
利用ORB算法在优化图像中尽可能地提取较多的初始特征点之后,可以得到初始特征集合,初始特征集合可以表示为:{(u,v)i,si,di},其中,i为初始特征点的标号。
S042、基于优化图像进行区域分割,确定若干个提取区域。
其中,提取区域指的是从优化图像上分割出来的区域,每一个提取区域内均包含有多个像素点,因此,每一个提取区域内均可能会分布有多个初始特征点。
优选的,提取区域呈矩形,任意相邻两个提取区域之间没有重叠的部分,各个提取区域的面积和形状均为一致,且各个提取区域在优化图像上均等分布。在本实施例中,提取区域的数量为4,即将优化图像均等分割成四部分,每一部分代表一个提取区域。
在SLAM算法的应用中,特征点的分布性质对定位的精确度也有影响,如当大部分特征点集中于图像中的某一窄小区域时,SLAM算法对特征点的定计算容易陷入病态或者局部最优,导致定位结果不够可靠、准确性较差。在理想的状态中,为了使SLAM算法对特征点的定计更加准确,各个特征点应较为均匀地分布在整个图像画面中,在本实施例中,由于各个提取区域面积相等、均匀分布且相互不重叠,因此,只要各个提取区域内的初始特征点的数量接近一致,则能够使优化图像最终提取出来的各个初始特征点的分布对应整个图像而言更加均匀。
S043、基于初始特征集合内的各个初始特征点在各个提取区域中的分布,确定若干个特征分布子集。
其中,各个特征分布子集与各个提取区域一一对应,每一个特征分布子集均为初始特征集合的子集,特征分布子集包含初始特征集合中位于对应的提取区域内的所有初始特征点。
因此,每一个特征分布子集均代表了与其对应的提取区域中初步提取出来的所有初始特征点。值得注意的是,初始特征点和均布特征点均为特征点,其中初始特征点为在步骤S041中被提取出的特征点,均布特征点为在步骤S044中被筛选过滤出来的特征点,两者是特征点在不同步骤中的表述,便于区分。
S044、基于各个特征分布子集进行筛选,确定最终特征集合。
其中,最终特征集合内包含有多个均布特征点,各个均布特征点由原有的各个初始特征点进行筛选过滤之后得到,各个均布特征点在优化图像上能够较为均匀地分布。最终特征集合可以表示为:{(u,v)j,sj,dj},其中,j为均布特征点的标号。
具体的,对均布特征点进行筛选的具体方法为:
(1)基于初始特征点的强度值,对特征分布子集内的所有初始特征点进行排列;
(2)确定特征分布子集内的强度值最大的X个初始特征点为均布特征点。
其中,对各个提取区域内的所有初始特征点进行强度排序,可以保留强度值最大的前X个初始特征点为均布特征点,从而过滤掉各个提取区域中较为不稳定的初始特征点,并且把控各个提取区域内的特征点的数量。每一个提取区域内的均布特征点的数量X,可以由使用者根据工程实际进行调整。
由于每一个提取区域均只有X个强度最大的特征点,且各个提取区域对于优化图像整体而言均匀分布,因此,最终特征集合内的各个均布特征点对于优化图像整体而言能够较为均匀的分布,从而提高SLAM后期基于特征点进行分析定位时的准确性。可以理解的是,数量X决定了提取区域的数量,同时也决定了提取区域的分布密度;数量X越大,则最后得到的各个均布特征点的分布也越均匀,相对应的,系统的计算量也会越大,使用者需要根据场景应用的需求来确定数量X。
值得注意的是,步骤S044中能够顺利地在各个提取区域中分别筛选出X个强度最大的特征点的前提是,各个提取区域内至少存在X个稳定性较强的特征点,由于各个提取区域均匀分布在优化图像上,每一个提取区域均代表了优化图像的一处局部部位,因此对优化图像各个部位的纹理细节的清晰度要求较大。在本实施例中,通过步骤S01至步骤S03对原始图像进行优化处理,不仅能够调整优化图像的对比度、使优化图像各个局部部位的清晰度更优,还能够通过过渡处理减少对比度调整中产生的副作用,从而使优化图像中能够被提取出足够多的强度值较大的初始特征点,为最终特征集合的形成提高保障。
本申请实施例一的实施原理为:原始图像分割成各个局部区域后,由于每一个局部区域都能体现原始图像的局部图像特征,因此对各个局部区域分别进行对比度调整,可以对原始图像的多个局部部分同时进行对比度调整,进而提高局部区域的局部对比度,突出局部区域的纹理部细节,使得图像中的多个过曝部分和欠曝部分均能得到缓解,使得图像中的特征点不易被忽略,因此,在后续的特征点提取算法中,优化图像能够提取出较多的特征点。
在各个局部区域进行对比度优化后,各个局部区域之间的重叠子区域会进行过渡处理,重叠子区域内的像素点的灰度值取对应的各个局部区域的像素点的灰度值的均值,缓解相邻的多个局部区域的边界之间的对比度异常,进而提高后续算法中对特征点的提取的准确性。
在特征点提取的方法中,将优化图像均匀分割成多个不重叠的提取区域,并筛选出各个提取区域中最为突出的若干个特征点作为均布特征点,以使最终得到的各个均布特征点在优化图像中的分布更加趋于均匀化,从而提高SLAM后期基于特征点进行分析定位时的准确性。
实施例二:
参照图7,在一个实施例中,提供一种基于图像处理的特征点提取系统,与上述实施例一中的基于图像处理的特征点提取方法一一对应,该系统包括图像分区模块1、分区优化模块2、分区合并模块3、以及特征提取模块4。各功能模块详细说明如下:
图像分区模块1,用于基于原始图像进行区域分割,确定若干个局部区域,输出图像分区信号;其中,各个所述局部区域能够组成原始图像;
分区优化模块2,用于接收图像分区信号,基于各个局部区域进行对比度调整,确定分区优化总集,并输出分区优化信号;
分区合并模块3,用于接收分区优化信号,根据各个局部区域在原始图像中的位置,基于分区优化总集内的各个像素点组成优化图像,并输出分区合并信号;其中,所述优化图像与原始图像相对应;以及,
特征提取模块4,用于接收分区合并信号,基于优化图像,确定最终特征集合。
实施例三:
参照图8,在一个实施例中,提供了一种智能终端,其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中存储器存储训练模型中的训练数据、算法公式以及滤波机制等。处理器用于提供计算和控制能力,处理器执行计算机程序时实现以下步骤:
S01、图像分区,基于原始图像进行区域分割,确定若干个局部区域。
在步骤S01中,包括:
S011、基于分割模板对原始图像进行区域分割,确定若干个局部区域。
S012、基于各个局部区域,确定若干个外围子区域和若干个重叠子区域。
S02、分区优化,基于各个局部区域进行对比度调整,确定分区优化总集。
在步骤S02中,包括:
S021、对各个局部区域进行对比度调整,确定若干个初始优化集合。
S022、基于外围子区域所在的局部区域的初始优化集合,确定外围优化子集。
S023、基于重叠子区域所关联于的各个局部区域的初始优化集合,确定重叠优化子集。
S03、分区合并,根据各个局部区域在原始图像中的位置,基于分区优化总集内的各个像素点组成优化图像。
在步骤S03中,包括:
S031、基于各个重叠优化子集,确定各个过渡子区域。
S032、基于各个外围优化子集,确定各个均衡子区域。
S033、基于各个过渡子区域和各个均衡子区域进行合并,确定优化图像。
S04、特征提取,基于优化图像,确定最终特征集合。
在步骤S04中,包括:
S041、基于优化图像进行特征点提取,确定初始特征集合。
S042、基于优化图像进行区域分割,确定若干个提取区域。
S043、基于初始特征集合内的各个初始特征点在各个提取区域中的分布,确定若干个特征分布子集。
S044、基于各个特征分布子集进行筛选,确定最终特征集合。
实施例四:
参照图9,在一个实施例中,提供了一种计算机可读存储介质,其存储有能够被处理器加载并执行上述基于图像处理的特征点提取方法的计算机程序,计算机程序被处理器执行时实现以下步骤:
S01、图像分区,基于原始图像进行区域分割,确定若干个局部区域。
在步骤S01中,包括:
S011、基于分割模板对原始图像进行区域分割,确定若干个局部区域。
S012、基于各个局部区域,确定若干个外围子区域和若干个重叠子区域。
S02、分区优化,基于各个局部区域进行对比度调整,确定分区优化总集。
在步骤S02中,包括:
S021、对各个局部区域进行对比度调整,确定若干个初始优化集合。
S022、基于外围子区域所在的局部区域的初始优化集合,确定外围优化子集。
S023、基于重叠子区域所关联于的各个局部区域的初始优化集合,确定重叠优化子集。
S03、分区合并,根据各个局部区域在原始图像中的位置,基于分区优化总集内的各个像素点组成优化图像。
在步骤S03中,包括:
S031、基于各个重叠优化子集,确定各个过渡子区域。
S032、基于各个外围优化子集,确定各个均衡子区域。
S033、基于各个过渡子区域和各个均衡子区域进行合并,确定优化图像。
S04、特征提取,基于优化图像,确定最终特征集合。
在步骤S04中,包括:
S041、基于优化图像进行特征点提取,确定初始特征集合。
S042、基于优化图像进行区域分割,确定若干个提取区域。
S043、基于初始特征集合内的各个初始特征点在各个提取区域中的分布,确定若干个特征分布子集。
S044、基于各个特征分布子集进行筛选,确定最终特征集合。
所述计算机可读存储介质例如包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
具体实施方式的实施例均为本申请的较佳实施例,并非依此限制本申请的保护范围,故:凡依本申请的方法、原理所做的等效变化,均应涵盖于本申请的保护范围之内。
Claims (10)
1.一种基于图像处理的特征点提取方法,其特征在于,包括:
图像分区,基于原始图像进行区域分割,确定若干个局部区域;其中,各个所述局部区域能够组成原始图像;
分区优化,基于各个局部区域进行对比度调整,确定分区优化总集;
分区合并,根据各个局部区域在原始图像中的位置,基于分区优化总集内的各个像素点组成优化图像;其中,所述优化图像与原始图像相对应;
特征提取,基于优化图像,确定最终特征集合。
2.根据权利要求1所述的基于图像处理的特征点提取方法,其特征在于:
相邻的多个所述局部区域之间具有重叠部分;
在图像分区步骤的具体方法中,还包括:
基于各个局部区域,确定若干个外围子区域和若干个重叠子区域;其中,所述外围子区域对应于其中一个局部区域与相邻局部区域非重叠的部分;所述重叠子区域对应于至少两个局部区域之间重叠的部分;
所述分区优化总集包括外围优化子集和重叠优化子集;其中,所述外围优化子集对应于进行对比度调整后的外围子区域,所述重叠优化子集对应于进行对比度调整后的重叠子区域。
3.根据权利要求2所述的基于图像处理的特征点提取方法,其特征在于,在分区优化的具体方法中,包括:
对局部区域进行对比度调整,确定初始优化集合;
基于外围子区域所在的局部区域的初始优化集合,确定外围优化子集;其中,各个外围子区域与各个外围优化子集一一对应;
基于重叠子区域所关联于的各个局部区域的初始优化集合,确定重叠优化子集;其中,各个重叠子区域与各个重叠优化子集一一对应;
在分区合并的具体方法中,包括:
基于各个重叠优化子集,确定各个过渡子区域;各个所述过渡子区域与各个重叠子区域一一对应;
基于各个外围优化子集,确定各个均衡子区域;各个所述均衡子区域与各个外围子区域一一对应;
基于各个过渡子区域和各个均衡子区域进行合并,确定优化图像。
4.根据权利要求3所述的基于图像处理的特征点提取方法,其特征在于,在基于重叠子区域所关联于的各个局部区域的初始优化集合,确定重叠优化子集的具体方法中,包括:
基于重叠子区域所对应的所有初始优化集合内的各个像素点灰度值的均值,确定重叠优化子集内的各个像素点的灰度值。
5.根据权利要求3所述的基于图像处理的特征点提取方法,其特征在于,在基于各个局部区域进行对比度调整的具体方法中,包括:对各个局部区域分别进行直方图均衡化。
6.根据权利要求2所述的基于图像处理的特征点提取方法,其特征在于:当两个相邻的所述局部区域具有重叠部分时,所述重叠部分的高度为其中一个局部区域高度的50%,和/或,所述重叠部分的宽度为其中一个局部区域宽度的50%。
7.根据权利要求1所述的基于图像处理的特征点提取方法,其特征在于,在特征提取步骤的具体方法中,包括:
基于优化图像进行特征点提取,确定初始特征集合;
基于优化图像进行区域分割,确定若干个提取区域;
基于初始特征集合内的各个特征点在各个提取区域中的分布,确定若干个与各个提取区域一一对应的特征分布子集;
基于各个特征分布子集进行筛选,确定最终特征集合。
8.一种基于图像处理的特征点提取系统,其特征在于,包括:
图像分区模块(1),用于基于原始图像进行区域分割,确定若干个局部区域;其中,各个所述局部区域能够组成原始图像;
分区优化模块(2),用于基于各个局部区域进行对比度调整,确定分区优化总集;
分区合并模块(3),用于根据各个局部区域在原始图像中的位置,基于分区优化总集内的各个像素点组成优化图像;其中,所述优化图像与原始图像相对应;以及,
特征提取模块(4),用于基于优化图像,确定最终特征集合。
9.一种智能终端,其特征在于,包括存储器和处理器,所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
10.一种计算机可读存储介质,其特征在于,存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110977834.8A CN113436263B (zh) | 2021-08-25 | 2021-08-25 | 一种基于图像处理的特征点提取方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110977834.8A CN113436263B (zh) | 2021-08-25 | 2021-08-25 | 一种基于图像处理的特征点提取方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113436263A true CN113436263A (zh) | 2021-09-24 |
CN113436263B CN113436263B (zh) | 2021-12-21 |
Family
ID=77797778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110977834.8A Active CN113436263B (zh) | 2021-08-25 | 2021-08-25 | 一种基于图像处理的特征点提取方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113436263B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101408973A (zh) * | 2007-10-10 | 2009-04-15 | 奇景光电股份有限公司 | 图像处理方法及其装置 |
US20090252396A1 (en) * | 2008-04-04 | 2009-10-08 | Fujifilm Corporation | Image processing apparatus and image processing method, and recording medium |
CN105303531A (zh) * | 2015-10-15 | 2016-02-03 | 深圳市华星光电技术有限公司 | 一种对比度调整方法及装置 |
CN109191395A (zh) * | 2018-08-21 | 2019-01-11 | 深圳创维-Rgb电子有限公司 | 图像对比度增强方法、装置、设备及存储介质 |
CN111683192A (zh) * | 2020-06-11 | 2020-09-18 | 展讯通信(上海)有限公司 | 图像处理方法及相关产品 |
CN112700456A (zh) * | 2020-12-29 | 2021-04-23 | 深圳创维-Rgb电子有限公司 | 图像区域对比度优化方法、装置、设备及存储介质 |
-
2021
- 2021-08-25 CN CN202110977834.8A patent/CN113436263B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101408973A (zh) * | 2007-10-10 | 2009-04-15 | 奇景光电股份有限公司 | 图像处理方法及其装置 |
US20090252396A1 (en) * | 2008-04-04 | 2009-10-08 | Fujifilm Corporation | Image processing apparatus and image processing method, and recording medium |
CN105303531A (zh) * | 2015-10-15 | 2016-02-03 | 深圳市华星光电技术有限公司 | 一种对比度调整方法及装置 |
CN109191395A (zh) * | 2018-08-21 | 2019-01-11 | 深圳创维-Rgb电子有限公司 | 图像对比度增强方法、装置、设备及存储介质 |
CN111683192A (zh) * | 2020-06-11 | 2020-09-18 | 展讯通信(上海)有限公司 | 图像处理方法及相关产品 |
CN112700456A (zh) * | 2020-12-29 | 2021-04-23 | 深圳创维-Rgb电子有限公司 | 图像区域对比度优化方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113436263B (zh) | 2021-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107452010B (zh) | 一种自动抠图算法和装置 | |
EP1318475B1 (en) | A method and system for selectively applying enhancement to an image | |
US8594439B2 (en) | Image processing | |
CN111415363B (zh) | 一种图像边缘识别方法 | |
US7050646B2 (en) | Image processing system and method for image segmentation using intensity contrast and depth contrast values | |
CN107945111B (zh) | 一种基于surf特征提取结合cs-lbp描述符的图像拼接方法 | |
CN107944403B (zh) | 一种图像中的行人属性检测方法及装置 | |
CN113112519B (zh) | 基于感兴趣目标分布的关键帧筛选方法 | |
CN109146832B (zh) | 一种视频图像的拼接方法、装置、终端设备及存储介质 | |
CN113449606B (zh) | 一种目标对象识别方法、装置、计算机设备及存储介质 | |
CN111524145A (zh) | 图片智能裁剪方法、系统、计算机设备及存储介质 | |
CN112418087B (zh) | 一种基于神经网络的水下视频鱼类识别方法 | |
CN109685045A (zh) | 一种运动目标视频跟踪方法及系统 | |
KR102262671B1 (ko) | 비디오 영상에 보케 효과를 적용하는 방법 및 기록매체 | |
JP2013025650A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN111695373B (zh) | 斑马线的定位方法、系统、介质及设备 | |
Chibber et al. | Smart traffic light controller using edge detection in digital signal processing | |
Wang et al. | An efficient method for image dehazing | |
JP2013025651A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN116228757B (zh) | 一种基于图像处理算法的深海网箱网衣检测方法 | |
CN113436263B (zh) | 一种基于图像处理的特征点提取方法及系统 | |
US10706499B2 (en) | Image processing using an artificial neural network | |
JP3962517B2 (ja) | 顔面検出方法及びその装置、コンピュータ可読媒体 | |
CN116310889A (zh) | 无人机环境感知数据的处理方法、控制终端以及存储介质 | |
CN113728357B (zh) | 图像处理方法、图像处理装置以及图像处理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: 519000 room 510, building 5, No. 16, Jinxing Road, Tangjiawan Town, high tech Zone, Zhuhai, Guangdong Province Patentee after: Guangdong Dadao Zhichuang Technology Co.,Ltd. Address before: 518000 room 310b, building F, Tianyou maker Industrial Park, 2 Lixin Road, Qiaotou community, Fuhai street, Bao'an District, Shenzhen City, Guangdong Province Patentee before: SHENZHEN DADAO ZHICHUANG TECHNOLOGY CO.,LTD. |