CN110673607B - 动态场景下的特征点提取方法、装置、及终端设备 - Google Patents
动态场景下的特征点提取方法、装置、及终端设备 Download PDFInfo
- Publication number
- CN110673607B CN110673607B CN201910911044.2A CN201910911044A CN110673607B CN 110673607 B CN110673607 B CN 110673607B CN 201910911044 A CN201910911044 A CN 201910911044A CN 110673607 B CN110673607 B CN 110673607B
- Authority
- CN
- China
- Prior art keywords
- point
- points
- projection
- image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Abstract
本申请实施例适用于视觉图像处理领域,提供了动态场景下的特征点提取方法、装置、终端设备及可读存储介质。其中,方法包括:获取待处理图像,提取待处理图像的第一特征点,检测待处理图像中的动态物体区域,剔除待处理图像中落在动态物体区域上的第一特征点,并将剩余的第一特征点作为落在非动态物体区域上的目标特征点。本申请实施例通过从获取到的待处理图像中提取第一特征点,检测待处理图像中的动态物体区域,剔除待处理图像中落在动态物体区域的第一特征点,避免了从待处理图像中提取动态物体对应的特征点,达到在动态场景下合理的提取特征点的效果。
Description
技术领域
本申请属于视觉图像处理领域,尤其涉及一种动态场景下的特征点提取方法、装置、终端设备及计算机可读存储介质。
背景技术
目前,机器人或者无人汽车通过SLAM系统实现在陌生环境下自主移动。
其中,能够实现机器人或者无人汽车在陌生环境下自主移动的原理是,
先通过拍摄到的两张图像之间的特征点改变来计算出机器人或者无人汽车在陌生环境中的位置,完成定位步骤;
然后根据计算出的机器人或者无人汽车在陌生环境中的位置以及从图像上提取的特征点映射出3D云图,将3D云图转换成八叉树地图,完成建图步骤;
最后在八叉树地图上根据机器人或者无人汽车的位置以及由图像上提取出的特征点生成的障碍物规划一条最适合机器人或者无人汽车在陌生环境里面自主移动的路径,完成路径规划步骤。
但是,当SLAM系统应用在陌生动态环境下时,在SLAM系统的定位建图步骤中无法识别出陌生动态环境中的动态物体,会出现从图像上提取出动态物体对应的特征点的情况。这样,由图像上的特征点生成的障碍物构建的八叉树地图上出现了多余的障碍物,由于动态物体处于移动状态,实际上多余的障碍物是不存在的,导致SLAM系统无法在八叉树地图上规划出一条最适合机器人或者无人汽车在陌生动态环境里面自主移动的路径。
发明内容
有鉴于此,本申请实施例提供了一种动态场景下的特征点提取方法,以解决现有技术中在动态场景下提取特征点不合理的问题。
本申请实施例的第一方面提供了一种方法,包括:
获取待处理图像;
提取待处理图像的第一特征点;
检测待处理图像中的动态物体区域;
剔除待处理图像中落在动态物体区域上的第一特征点,并将剩余的第一特征点作为落在非动态物体区域上的目标特征点。
可选地,剔除待处理图像中落在动态物体区域上的第一特征点,并将剩余的第一特征点作为落在非动态物体区域上的目标特征点之后,还包括:
检测目标特征点中的动态点;
剔除动态点,并将剩余的目标特征点作为非动态点。
可选地,检测目标特征点中的动态点,包括:
获取参考图像的第二特征点;
将参考图像的第二特征点与目标特征点进行匹配,其中,每一个第二特征点对应一个目标特征点;
投影与目标特征点匹配的第二特征点到待处理图像,获得第二特征点在待处理图像中的第一投影点,其中,待处理图像的目标特征点与第一投影点对应同一非动态物体;
筛选第一投影点中的有效特征点;
计算目标特征点到非动态物体之间的第一距离值,计算有效特征点到非动态物体之间的第二距离值,根据第一距离值以及第二距离值计算距离差值;
判断第一距离值与第二距离值之间的距离差值是否大于距离差阈值,若是,则将距离差值对应的目标特征点作为动态点。
可选地,投影与目标特征点匹配的第二特征点到待处理图像,获得第二特征点在待处理图像中的第一投影点,包括:
投影与目标特征点匹配的第二特征点到非动态物体对应的世界坐标系,获得第二特征点在世界坐标系中的第二投影点;
投影第二投影点到待处理图像,获得第二投影点在待处理图像中的第一投影点。
可选地,筛选第一投影点中的有效特征点,包括:
以第二投影点为公共端,计算第二特征点、第二投影点以及第一投影点之间的夹角值;
判断夹角值是否大于夹角阈值,若是,剔除夹角值对应的第一投影点,并将剩余的第一投影点作为有效特征点。
可选地,投影与目标特征点匹配的第二特征点到非动态物体对应的世界坐标系,获得第二特征点在世界坐标系中的第二投影点,包括:
投影第二投影点到待处理图像对应的相机坐标系,获得第二投影点在相机坐标系中的第三投影点;
计算第三投影点到非动态物体之间的第三距离值;
判断第三距离值是否大于第一距离阈值,若是,剔除第三距离值对应第三投影点;
投影剩余的第三投影点到待处理图像,获得第三投影点在待处理图像中的第一投影点。
可选地,筛选第一投影点中的有效特征点,包括:
计算第一投影点到待处理图像边缘的第四距离值;
判断第四距离值是否小于第二距离阈值,若是,则剔除第四距离值对应的第一投影点,并将剩余的第一投影点作为有效特征点。
可选地,筛选第一投影点中的有效特征点,包括:
以一个第一投影点为中心点设置预设形状区域;
计算预设形状区域中的第一投影点到非动态物体之间的第五距离值;
根据第五距离值计算出第五距离方差值;
判断预设形状区域中的第一投影点的第五距离方差值是否小于距离方差阈值,若是,则将预设形状区域中第五距离值为最小值对应的第一投影点作为有效特征点。
本申请实施例的第二方面提供了一种动态场景下的特征点提取方法装置,包括:
获取模块,用于获取待处理图像;
提取模块,用于提取待处理图像的第一特征点;
第一检测模块,用于检测待处理图像中的动态物体区域;
第一剔除模块,用于剔除待处理图像中落在动态物体区域上的第一特征点,并将剩余的第一特征点作为落在非动态物体区域上的目标特征点。
可选地,动态场景下的特征点提取装置还包括:
第二检测模块,用于检测目标特征点中的动态点;
第二剔除模块,用于剔除动态点,并将剩余的目标特征点作为非动态点。
具体地,第二检测模块包括:
获取单元,用于获取参考图像的第二特征点;
匹配单元,用于将参考图像的第二特征点与目标特征点进行匹配,其中,每一个第二特征点对应一个目标特征点。
第一投影单元,用于投影与目标特征点匹配的第二特征点到待处理图像,获得第二特征点在待处理图像中的第一投影点,待处理图像的目标特征点与第一投影点对应同一非动态物体。
筛选单元,用于筛选第一投影点中的有效特征点;
第一计算单元,用于计算所述目标特征点到所述非动态物体之间的第一距离值,计算所述有效特征点到所述非动态物体之间的第二距离值,根据所述第一距离值以及所述第二距离值计算距离差值。
第一判断单元,用于判断第一距离值与第二距离值之间的距离差值是否大于距离差阈值,若是,则将距离差值对应的目标特征点作为动态点。
可选地,第一投影单元,包括:
第一投影子单元,用于投影与目标特征点匹配的第二特征点到非动态物体对应的世界坐标系,获得第二特征点在世界坐标系中的第二投影点;
第二投影子单元,用于投影第二投影点到待处理图像,获得第二投影点在待处理图像中的第一投影点。
可选地,第一投影子单元具体用于投影第二投影点到待处理图像对应的相机坐标系,获得第二投影点在相机坐标系中的第三投影点,计算第三投影点到非动态物体之间的第三距离值,判断第三距离值是否大于第一距离阈值,若是,剔除第三距离值对应第三投影点,投影剩余的第三投影点到待处理图像,获得第三投影点在待处理图像中的第一投影点。
进一步可选地,筛选单元包括:
第一筛选子单元,用于以第二投影点为公共端,计算第二特征点、第二投影点以及第一投影点之间的夹角值,判断夹角值是否大于夹角阈值,若是,剔除夹角值对应的第一投影点,并将剩余的第一投影点作为有效特征点。
第二筛选子单元,用于计算第一投影点到待处理图像边缘的第四距离值,判断第四距离值是否小于第二距离阈值,若是,则剔除第四距离值对应的第一投影点,并将剩余的第一投影点作为有效特征点。
第三筛选子单元,用于以一个第一投影点为中心点设置预设形状区域,计算预设形状区域中的第一投影点到非动态物体之间的第五距离值,根据第五距离值计算出第五距离方差值,判断预设形状区域中的第一投影点的第五距离方差值是否小于距离方差阈值,若是,则将预设形状区域中第五距离值为最小值对应的第一投影点作为有效特征点。
本申请实施例的第三方面提供了一种终端设备,包括:存储器、处理器、摄像装置以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述动态场景下的特征点提取方法的各个步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质,包括:计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如上述动态场景下的特征点提取方法的各个步骤。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中任一项的动态场景下的特征点提取方法。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是:本申请实施例通过从获取待处理图像中提取第一特征点,检测待处理图像中的动态物体区域,剔除待处理图像中落在动态物体区域的第一特征点,避免了从待处理图像中提取动态物体对应的特征点,有效解决了现有技术的SLAM系统在动态场景下提取特征点不合理的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的动态场景下的提取特征点方法的一种流程示意图;
图2是本申请实施例提供的动态场景下的提取特征点方法的另一种流程示意图;
图3是本申请实施例提供的动态场景下的特征点提取方法的图2中步骤S205具体的实现流程图。
图4是本申请实施例提供的动态场景下的特征点提取方法的图3中步骤S304具体的实现流程图。
图5是本申请实施例提供的动态场景下的特征点提取方法应用于机器人或无人汽车在陌生动态环境下自主移动的场景下的流程示意图。
图6是本申请实施例提供的动态场景下的提取特征点方法的结构示意图。
图7是本申请实施例提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
本申请实施例应用的终端设备可以是但不限于机器人或者无人汽车,本申请实施例具体应用的动态场景可以是机器人或者无人汽车通过SLAM系统在陌生动态环境下进行自主移动的场景,其中,动态场景中的物体包括动态物体和非动态物体。
下面通过具体实施例对本申请实施例提供的技术方案进行说明。
实施例一
图1是本申请实施例提供的动态场景下的特征点提取方法的一种流程示意图,本实施例的流程执行主体是终端设备,该终端设备可以是例如机器人或无人汽车,其过程详述如下:
步骤101、获取待处理图像。
例如,待处理图像可以是指终端设备在动态场景下通过摄像装置例如单目相机、双目相机或者RGB-D相机实时采集到的图像,使得本申请实施例能够应用于机器人或者无人汽车在陌生场景下进行自主移动的场景中;待处理图像还可以是指终端设备直接调用预先采集的图像。
步骤102、提取待处理图像的第一特征点。
需要说明的是,上述第一特征点是指待处理图像中具有特征性质的像素点,第一特征点的类型可以是任意的,不同类型的第一特征点对应不同的提取过程。例如,该第一特征点为ORB特征点时,终端设备通过预设算法例如ORB算法提取待处理图像的第一特征点。
具体地,本申请实施例通过ORB算法提取待处理图像的第一特征点实现方式可以是:从待处理图像中选取一个候选子特征点即一个像素点,以该候选子特征点为中心设置预设范围,检测预设范围内候选子特征以及其他像素点的灰度值,当预设范围内有预设数量像素点的灰度值分别与候选子特征的灰度值之间的灰度值差值大于预设灰度差阈值,则确认该候选子特征点为第一特征点,通过这种提取方式可以达到快速的提取出待处理图像的第一特征点的效果。
步骤103、检测待处理图像中的动态物体区域。
需要说明的是,上述动态物体区域是指待处理图像中动态物体所在的区域,该区域的大小可以与动态物体所占面积等同,也可以略大于动态物体所占面积。
例如,终端设备将待处理图像输入至预设实例分割模型,例如Maskrcnn实例分割模型,使得预设实例分割模型检测待处理图像中动态物体区域以及非动态物体区域。
其中,上述非动态物体区域是指待处理图像中非动态物体所在的区域,该区域的大小可以与非动态物体所占面积等同,也可以略大于非动态物体所占面积。
步骤104、剔除待处理图像中落在动态物体区域上的第一特征点,并将剩余的第一特征点作为落在非动态物体区域上的目标特征点。
其中,上述目标特征点是指落在非动态物体区域上的第一特征点。
需说明的是,上述落在动态物体区域上的第一特征点是指落在动态物体区域的边缘和/或内部上的第一特征点,上述落在非动态物体区域上的目标特征点是指指落在非动态物体区域的边缘和/或内部上的目标特征点。
本申请实施例中,通过从采集到的待处理图像中提取第一特征点,检测待处理图像中的动态物体区域,剔除待处理图像中落在动态物体区域的第一特征点,避免了从待处理图像中提取动态物体对应的特征点,达到在动态场景下合理的提取特征点的效果。
实施例二
上述实施例二虽然剔除待处理图像中动态物体对应的第一特征点,但是在待处理图像中非动态物体对应的目标特征点中仍然存在动态点即位置和/或角度发生改变的像素点,本实施例的目的是剔除目标特征点中的动态点。
图2是本申请实施例二提供的动态场景下的特征点提取方法的另一种流程示意图,本实施例的流程执行主体是终端设备,该终端设备可以是机器人或无人汽车,其过程详述如下:
步骤201、获取待处理图像。
步骤202、提取待处理图像的第一特征点。
步骤203、检测待处理图像中的动态物体区域。
步骤204、剔除待处理图像中落在动态物体区域上的第一特征点,并将剩余的第一特征点作为落在非动态物体区域上的目标特征点。
需说明的是,本实施例的步骤201至步骤204与上述实施例一的步骤101至步骤104内容相同,相关介绍请参见上文相应内容。
步骤205、检测目标特征点中的动态点。
其中,动态点是指待处理图像中位置和/或角度发生改变的像素点。
可以理解的是,待处理图像中落在非动态物体区域的目标特征点也存在动态点,即非动态物体区域对应的非动态物体存在局部或微小的移动,所以需要将目标特征点中的动态点检测出来。
步骤206、剔除动态点,并将剩余的目标特征点作为非动态点。
需说明的是,非动态点是指待处理图像中位置和/或角度没有发生改变的像素点。
本申请实施例中,通过检测目标特征点中的动态点,剔除动态点,并将剩余的目标特征点作为非动态点,对落在非动态物体区域的目标特征点进一步的检测,并将检测目标特征点中的动态点剔除,避免了从待处理图像中提取非动态物体对应的动态点,进一步达到在动态场景下合理的提取特征点的效果。
实施例三
图3是本申请实施例提供的动态场景下的特征点提取方法的图2中步骤S205具体的实现流程图,本实施例的流程执行主体是终端设备,该终端设备可以是例如机器人或无人汽车,其过程详述如下:
步骤S301、获取参考图像的第二特征点。
需说明的是,上述参考图像是指与待处理图像为对应同一物体的不同时刻的图像,且参考图像中的第二特征点数量为预设数量,使得参考图像中有足够数量的第二特征点。
其中,上述第二特征点是指参考图像中具有特征性质的像素点,第二特征点的类型可以是任意的,不同类型的第二特征点对应不同的提取过程。
例如,第二特征点是ORB特征点时,终端设备通过预设算法例如ORB算法提取参考图像的第二特征点;或者,终端设备调用从参考图像预先提取的第二特征点。
可选地,第二特征点到动态场景中的物体之间的距离大于预设距离值,使得第二特征点与动态场景中的物体之间有足够的距离。
步骤S302、将参考图像的第二特征点与目标特征点进行匹配。
其中,每一个第二特征点对应一个目标特征点,上述目标特征点是指待处理图像中落在非动态物体区域上的具有特征性质的像素点。
例如,上述将第二特征点与目标特征点进行匹配的方式可以是:终端设备采用预设算法例如ORB算法来分别计算出第二特征点的第一属性参数值以及目标特征点的第二属性参数值,当检测到一个第二特征点的第一属性参数值与一个目标特征点的第二属性参数值之间的属性参数差值大于预设属性参数差阈值,则将上述一个第二特征点与上述一个目标特征点进行匹配。
其中,第二特征点的第一属性参数值是根据第二特征点周围领域的像素点计算出的二进制串,目标特征点的第二属性参数值是根据目标特征点周围领域的像素点计算出的二进制串。
步骤S303、投影与目标特征点匹配的第二特征点到待处理图像,获得第二特征点在待处理图像中的第一投影点。
其中,上述第一投影点是指投影到待处理图像中的第二特征点,上述第一投影点与目标特征点对应同一非动态物体。
需说明的是,现有技术中将一个像素点从像素坐标系投影到世界坐标系需要经过的坐标系依次分别是像素坐标系-图像坐标系-相机坐标系-世界坐标系。对应的,现有技术中将世界坐标系的一个真实点从世界坐标系投影到像素坐标系需要经过的坐标系依次分别是世界坐标系-相机坐标系-图像坐标系-像素坐标系。
由于图像坐标系与像素坐标系都是对应一个图像平面的二维坐标系,不同的是图像坐标系的原点是在图像平面的中心点,像素坐标系的原点在图像平面的一个角上。由于本申请实施例的待处理图像以及参考图像所在的坐标系指的是像素坐标系,这样,本申请实施例将世界坐标系的一个真实点从世界坐标系投影到像素坐标系需要经过的坐标系依次分别是世界坐标系-相机坐标系-像素坐标系,相对于现有技术中少了世界坐标系的一个真实点从世界坐标系投影到像素坐标系的过程少了经过图像坐标系的步骤。
可以理解的是,待处理图像与参考图像是终端设备通过摄像装置在不同时刻拍摄同一个动态场景中的物体采集到的图像,通过将参考图像中与目标特征点匹配的第二特征点投影到待处理图像,获得第二特征点在待处理图像中的第一投影点,只需要比较待处理图像中的目标特征点和第一投影点分别到同一非动态物体之间的距离是否发生改变,从而检测出目标特征点是否是动态点。
具体地,将第二特征点投影到待处理图像中的过程可以是,
首先,终端设备将与目标特征点匹配的第二特征点投影到非动态物体对应的世界坐标系,获得第二特征点在世界坐标系中的第二投影点;
然后,终端设备将第二投影点投影到待处理图像对应的相机坐标系,获得第二投影点在相机坐标系中的第三投影点;
可选地,在相机坐标系中可以进行对第三投影点的筛选,具体方式是计算第三投影点到非动态物体之间的第三距离值,判断第三距离值是否大于第一距离阈值,若是,剔除第三距离值对应第三投影点。可以理解的是,由于摄像装置随着终端设备移动,为了避免摄像装置与非动态物体之间的距离过近的情况,剔除了与非动态物体之间距离过近的第三投影点;
最后,将剩余的第三投影点投影到待处理图像,获得第三投影点在待处理图像中的第一投影点。
步骤S304、筛选第一投影点中的有效特征点。
其中,上述有效特征点是指正确投影到待处理图像中的第二特征点。
需说明的是,第二特征点从参考图像中投影到待处理图像的过程中会出现投影错误,使得部分第一投影点投影失败,需要筛选第一投影点中的有效特征点。
作为示例而非限定,第一种筛选第一投影点中的有效特征点的方式可以是如图4所示的流程,包括:
步骤S401、以第二投影点为公共端,计算第二特征点、第二投影点以及第一投影点之间的夹角值。
需说明的是,第二投影点是指投影到世界坐标系的第二特征点,第二特征点是指参考图像中的第二特征点,第一投影点是指投影到待处理图像的第二特征点。
步骤S402、判断夹角值是否大于夹角阈值,若是,剔除夹角值对应的第一投影点,并将剩余的第一投影点作为第一候选有效特征点;
其中,第一候选有效特征点是指大于夹角阈值的夹角值对应的第一投影点。
可以理解的是,第二投影、第二特征点、第一投影点是对应同一非动态物体的一个点,但是,第二投影的位置是在世界坐标系中,第二特征点的位置是在参考图像中,第一投影点是在待处理图像中。这样,以第二投影点为公共端,形成的第二特征点、第二投影点以及第一投影点之间的夹角值大于预设阈值时则表示该夹角值对应的第一投影点投影错误,不能作为有效特征点,达到有效避免误差的效果。
步骤S403、计算第一候选有效特征点到待处理图像边缘的第四距离值。
可以理解的是,处于待处理图像内部的第一候选有效特征点才可以作为有效特征点。
步骤S404、判断第四距离值是否小于第二距离阈值,若是,则剔除第四距离值对应的第一候选有效特征点,并将剩余的第一候选有效特征点作为第二候选有效特征点。
其中,第二候选有效特征点指的是小于第二距离阈值的第四距离值对应的第一候选有效特征点。
可以理解的是,第一候选有效特征点到待处理图像边缘距离过近或者第一特征点在边缘上则表示投影失败,该第一候选有效特征点不能作为有效特征点并将这些投影失败的第一特征点剔除。
步骤S405、以任意一个第二候选有效特征点为中心点设置预设形状区域;
其中,预设形状区域是预先设置的固定面积的形状区域,例如固定面积的正方形区域。
步骤S406、计算预设形状区域中的第二候选有效特征点到非动态物体之间的第五距离值;
步骤S407、根据第五距离值计算出第五距离方差值;
步骤S408、判断预设形状区域中的第二候选有效特征点的第五距离方差值是否小于距离方差阈值,若是,则将预设形状区域中第五距离值为最小值对应的第二候选有效特征点作为有效特征点。
可以理解的是,有效特征点、第一候选有效特征点、第二候选有效特征点是指符合筛选条件的第一投影点,上述文本中有分别说明,在此不再重复说明。由于第一投影点是作为参考点来判断目标特征点到非动态物体的距离相对于第一投影点到非动态物体是否发生较大改变,达到确认出目标特征点是否为动态点的目的。理论上投影到待处理图像的第二候选有效特征点都是同一个点,但是实际上会存在误差,所以当判断预设形状区域中的多个第二候选有效特征点的第五距离方差值小于距离方差阈值,则表示投影没有出现错误,以预设形状区域中第五距离值为最小值对应的第二候选有效特征点作为有效特征点,达到有效避免误差的效果。
可选的,第二种筛选第一投影点中有效特征点的方式可以是:
以第二投影点为公共端,计算第二特征点、第二投影点以及第一投影点之间的夹角值;
判断夹角值是否大于夹角阈值,若是,剔除夹角值对应的第一投影点,并将剩余的第一投影点作为有效特征点。
由于第二种筛选方式与第一中筛选方式中的步骤S401至步骤S402相同,在此不再赘述。
可选的,第三种筛选第一投影点中有效特征点的方式可以是:
以第二投影点为公共端,计算第二特征点、第二投影点以及第一投影点之间的夹角值;
判断夹角值是否大于夹角阈值,若是,剔除夹角值对应的第一投影点,并将剩余的第一投影点作为第三候选有效特征点;
计算第三候选有效特征点到待处理图像边缘的第四距离值;
判断第四距离值是否小于第二距离阈值,若是,则剔除第四距离值对应的第三候选有效特征点,并将剩余的第三候选有效特征点作为有效特征点。
由于第三种筛选方式与第一种筛选方式中的步骤S401至步骤S404相同,在此不再赘述。
可选的,第四种筛选第一投影点中有效特征点的方式可以是:
以第二投影点为公共端,计算第二特征点、第二投影点以及第一投影点之间的夹角值;
判断夹角值是否大于夹角阈值,若是,剔除夹角值对应的第一投影点,并将剩余的第一投影点作为第四候选有效特征点;
以任意一个第四候选有效特征点为中心点设置预设形状区域;
计算预设形状区域中的第四候选有效特征点到非动态物体之间的第五距离值;
根据第五距离值计算出第五距离方差值;
判断预设形状区域中的第四候选有效特征点的第五距离方差值是否小于距离方差阈值,若是,则将预设形状区域中第五距离值为最小值对应的第四候选有效特征点作为有效特征点。
由于第四种筛选方式与第一种筛选方式中的步骤S401至步骤S402以及步骤S405至步骤S408相同,在此不再赘述。
可选的,第五种筛选第一投影点中有效特征点的方式可以是:
计算第一投影点到待处理图像边缘的第四距离值;
判断第四距离值是否小于第二距离阈值,若是,则剔除第四距离值对应的第一投影点,并将剩余的第一投影点作为有效特征点。
由于第四种筛选方式与第一种筛选方式中的步骤S403至步骤S404相同,在此不再赘述。
可选的,第六种筛选第一投影点中有效特征点的方式可以是:
计算第一投影点到待处理图像边缘的第四距离值;
判断第四距离值是否小于第二距离阈值,若是,则剔除第四距离值对应的第一投影点,并将剩余的第一投影点作为第五候选有效特征点;
以任意一个第五候选有效特征点为中心点设置预设形状区域;
计算预设形状区域中的第五候选有效特征点到非动态物体之间的第五距离值;
根据第五距离值计算出第五距离方差值;
判断预设形状区域中的第五候选有效特征点的第五距离方差值是否小于距离方差阈值,若是,则将预设形状区域中第五距离值为最小值对应的第五候选有效特征点作为有效特征点。
由于第六种筛选方式与第一种筛选方式中的步骤S403至步骤S408相同,在此不再赘述。
可选的,第七种筛选第一投影点中有效特征点的方式可以是:
以任意一个第一投影点为中心点设置预设形状区域;
计算预设形状区域中的第一投影点到非动态物体之间的第五距离值;
根据第五距离值计算出第五距离方差值;
判断预设形状区域中的第一投影点的第五距离方差值是否小于距离方差阈值,若是,则将预设形状区域中第五距离值为最小值对应的第一投影点作为有效特征点。
由于第七种筛选方式与第一种筛选方式中的步骤S405至步骤S408相同,在此不再赘述。
步骤S305、计算目标特征点到非动态物体之间的第一距离值,计算有效特征点到非动态物体之间的第二距离值,根据第一距离值以及第二距离值计算距离差值。
其中,第一距离值为目标特征点到非动态物体之间的距离,第二距离值为有效特征点到非动态物体之间的距离。
步骤S306、判断第一距离值与第二距离值之间的距离差值是否大于距离差阈值,若是,则将距离差值对应的目标特征点作为动态点。
可以理解的是,由于有效特征点与目标特征点实际上是不同时刻对应非动态物体上的同一个点,目标特征点到非动态物体的第一距离值相对于目标特征点到非动态物体的距离值存在较大改变,则确认该目标特征点为动态点。
本申请实施例中,先将参考图像中的与目标特征点匹配的第二特征点投影到待处理图像获得第一投影点,筛选出第一投影点中的有效特征点,计算目标特征点到非动态物体之间的第一距离值,计算有效特征点到非动态物体之间的第二距离值,由于第一投影点与目标特征点实际上是不同时刻对应同一非动态物体的不同点,通过比较目标特征点到非动态物体之间的第一距离值相对于有效特征点到非动态物体之间的第二距离值是否有较大改变来检测出目标特征点中的动态点,即检测出非动态物体上是否存在有局部或微小的移动,将目标特征点钟的动态点剔除,达到进一步合理的提取特征点的效果。
实施例四,图5是本申请实施例提供的动态场景下的特征点提取方法应用于机器人或无人汽车在陌生动态环境下自主移动的场景下的流程示意图,本实施例的流程执行主体是终端设备,该终端设备可以是例如机器人或无人汽车,其过程详述如下:
步骤S501、终端设备获取当前图像。
其中,当前图像是指终端设备实施采集到的图像。
可以理解的是,终端设备要实现陌生动态环境下自主移动需要实时采集当前图像。
步骤S502、终端设备提取当前图像的第一特征点。
其中,第一特征点是指当前图像中的具有特征性质的像素点。
步骤S503、终端设备剔除当前图像中落在动态物体区域上的第一特征点,并将剩余的第一特征点作为落在非动态物体区域上的目标特征点。
其中,上述目标特征点是指落在非动态物体区域上的第一特征点。
需要说明的是,上述动态物体区域是指待处理图像中动态物体所在的区域,该区域的大小可以与动态物体所占面积等同,也可以略大于动态物体所占面积。
上述非动态物体区域是指待处理图像中非动态物体所在的区域,该区域的大小可以与非动态物体所占面积等同,也可以略大于非动态物体所占面积。
上述落在动态物体区域上的第一特征点是指落在动态物体区域边缘和/或内部上的第一特征点,上述落在非动态物体区域上的目标特征点是指指落在非动态物体区域边缘和/或内部上的目标特征点。
可以理解的是,终端设备构建地图的过程中是通过第一特征点生成的障碍物,由于动态物体实际上是移动的,根据动态物体对应的第一特征点生成的障碍物实际上是不存在的,将当前图像中落在动态物体区域上的第一特征点剔除,避免了终端设备构建地图中出现了多余障碍物的情况,达到合理构建地图的目的。
步骤S504、终端设备检测目标特征点中的动态点;
其中,动态点是指当前图像中位置和或角度发生改变的像素点,可以理解的是,目标特征点中的动态点对应非动态物体中存在局部或微小移动的部位。
步骤S505、终端设备剔除动态点,并将剩余的目标特征点作为非动态点。
其中,非动态点是指当前图像中位置和或角度没有发生改变的像素点。
可以理解的是,非动态物体上也存在局部或微小的移动,通过将动态点剔除,进一步避免了终端设备构建地图中出现了多余障碍物的情况,达到合理构建地图的目的。
步骤S506、终端设备获取下一图像。
其中,下一图像是指终端设备在当前图像之后采集的图像。
步骤S507、终端设备提取下一图像的与非动态点匹配的第二特征点。
可以理解的是,下一图像与当前图像是终端设备在不同时刻拍摄同一非动态物体采集到的。
步骤S508、终端设备通过当前图像的非动态点以及下一图像的第二特征点计算出终端设备的位置信息。
可以理解的是,通过非动态点以及与非动态点匹配的第二特征点来计算出当前图像与下一图像之间的旋转角度以及移动位移即计算出终端设备的位置信息。其中,终端设备的位置信息包括终端设备在不同时刻的位置以及移动路径。
步骤S509、终端设备根据终端设备的位置信息以及非动态点映射成3D云图,将3D云图转换成八叉树地图。
可以理解的是,通过根据终端设备的位置信息、非动态点就可以映射成3D云图,然后再将3D云图转换成八成树地图,就可以在八成树地图上直观地形成终端设备的移动路径以及由非动态点生成的终端设备移动路径上的障碍物。
步骤S510、终端设备在八叉树地图上根据位置信息以及由非动态点生成的障碍物规划一条最适合终端设备在陌生动态场景下自主移动的路径。
可以理解的是,终端设备可以根据终端设备的位置信息在构建的八叉树地图上规划一条合理的路径使得终端设备在陌生场景下可以自主移动。
本申请实施例中,在提取当前图像的特征点的阶段剔除了动态物体对应的特征点以及非动态物体对应的动态点,避免了终端设备构建地图中出现了多余障碍物的情况,达到合理的构建地图的效果,进一步达到使得终端设备能够在构建地图中规划一条最适合终端设备在陌生场景下自主移动的路径。
实施例五
下面将对本申请实施例提供的动态场景下的特征点提取方法装置进行介绍说明。本实施例的动态场景下的特征点提取方法装置与上述动态场景下的特征点提取方法相互对应。
图6是本申请实施例提供的一种动态场景下的特征点提取装置的结构示意图,该装置可以具体集成于终端设备例如机器人或者无人汽车,该装置可以包括:
获取模块61,用于获取待处理图像;
提取模块62,用于提取待处理图像的第一特征点;
第一检测模块63,用于检测待处理图像中的动态物体区域;
第一剔除模块64,用于剔除待处理图像中落在动态物体区域上的第一特征点,并将剩余的第一特征点作为落在非动态物体区域上的目标特征点。
可选地,动态场景下的特征点提取装置还包括:
第二检测模块,用于检测目标特征点中的动态点;
第二剔除模块,用于剔除动态点,并将剩余的目标特征点作为非动态点。
具体地,第二检测模块包括:
获取单元,用于提取参考图像的第二特征点或调用从参考图像预先提取的第二特征点;
匹配单元,用于将参考图像的第二特征点与目标特征点进行匹配,其中,每一个第二特征点对应一个目标特征点。
第一投影单元,用于投影与目标特征点匹配的第二特征点到待处理图像,获得第二特征点在待处理图像中的第一投影点,待处理图像的目标特征点与第一投影点对应同一非动态物体。
筛选单元,用于筛选第一投影点中的有效特征点;
第一计算单元,用于计算所述目标特征点到所述非动态物体之间的第一距离值,计算所述有效特征点到所述非动态物体之间的第二距离值,根据所述第一距离值以及所述第二距离值计算距离差值。
第一判断单元,用于判断第一距离值与第二距离值之间的距离差值是否大于距离差阈值,若是,则将距离差值对应的目标特征点作为动态点。
可选地,第一投影单元,还可以包括:
第一投影子单元,用于投影与目标特征点匹配的第二特征点到非动态物体对应的世界坐标系,获得第二特征点在世界坐标系中的第二投影点;
第二投影子单元,用于投影第二投影点到待处理图像,获得第二投影点在待处理图像中的第一投影点。
可选地,第一投影子单元具体用于投影第二投影点到待处理图像对应的相机坐标系,获得第二投影点在相机坐标系中的第三投影点,计算第三投影点到非动态物体之间的第三距离值,判断第三距离值是否大于第一距离阈值,若是,剔除第三距离值对应第三投影点,投影剩余的第三投影点到待处理图像,获得第三投影点在待处理图像中的第一投影点。
进一步可选地,筛选单元包括:
第一筛选子单元,用于以第二投影点为公共端,计算第二特征点、第二投影点以及第一投影点之间的夹角值,判断夹角值是否大于夹角阈值,若是,剔除夹角值对应的第一投影点,并将剩余的第一投影点作为有效特征点。
第二筛选子单元,用于计算第一投影点到待处理图像边缘的第四距离值,判断第四距离值是否小于第二距离阈值,若是,则剔除第四距离值对应的第一投影点,并将剩余的第一投影点作为有效特征点。
第三筛选子单元,用于以一个第一投影点为中心点设置预设形状区域,计算预设形状区域中的第一投影点到非动态物体之间的第五距离值,根据第五距离值计算出第五距离方差值,判断预设形状区域中的第一投影点的第五距离方差值是否小于距离方差阈值,若是,则将预设形状区域中第五距离值为最小值对应的第一投影点作为有效特征点。
需要说明,本实施例与上述各个实施例的相似或相同之处,可相互参见,在此不再赘述。
本申请实施例中,通过从采集到的待处理图像中提取第一特征点,检测待处理图像中的动态物体区域,剔除待处理图像中落在动态物体区域的第一特征点,避免了从待处理图像中提取动态物体对应的特征点,达到在动态场景下合理的提取特征点的效果。
实施例六
图7是本申请实施例提供的终端设备7的示意图。如图7所示,该实施例的终端设备7包括:处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72,例如推送消息程序。所述处理器70执行所述计算机程序72时实现上述各个动态场景下的特征点提取方法实施例中的步骤,例如图1所示的步骤S101至S104。或者,所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能,例如图6所示模块61至64的功能。
示例性的,所述计算机程序72可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器71中,并由所述处理器70执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序72在所述终端设备7中的执行过程。例如,所述计算机程序72可以被分割成获取模块、解析模块、查找模块、推送模块,各模块具体功能如下:
获取模块,获取待处理图像;
提取模块,用于提取待处理图像的第一特征点;
第一检测模块,用于检测待处理图像中的动态物体区域;
第一剔除模块,用于剔除待处理图像中落在动态物体区域上的第一特征点,并将剩余的第一特征点作为落在非动态物体区域上的目标特征点。
所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备7可包括,但不仅限于,处理器70、存储器71。本领域技术人员可以理解,图6仅仅是终端设备7的示例,并不构成对终端设备7的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备7还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述终端设备7的内部存储单元,例如终端设备7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备,例如所述终端设备7上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述终端设备7所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的终端设备和方法,可以通过其它的方式实现。例如,以上所描述的终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (9)
1.动态场景下的特征点提取方法,其特征在于,包括:
获取待处理图像;
提取所述待处理图像的第一特征点;
检测所述待处理图像中的动态物体区域;
剔除所述待处理图像中落在动态物体区域上的第一特征点,并将剩余的第一特征点作为落在非动态物体区域上的目标特征点;
获取参考图像的第二特征点;
将所述参考图像的第二特征点与所述目标特征点进行匹配,其中,每一个所述第二特征点对应一个所述目标特征点;
投影与所述目标特征点匹配的所述第二特征点到所述待处理图像,获得所述第二特征点在所述待处理图像中的第一投影点,其中,所述待处理图像的目标特征点与所述第一投影点对应同一非动态物体;
筛选所述第一投影点中的有效特征点;
计算所述目标特征点到所述非动态物体之间的第一距离值,计算所述有效特征点到所述非动态物体之间的第二距离值,根据所述第一距离值以及所述第二距离值计算距离差值;
判断所述第一距离值与所述第二距离值之间的距离差值是否大于距离差阈值,若是,则将所述距离差值对应的目标特征点作为动态点;
剔除所述动态点,并将剩余的目标特征点作为非动态点。
2.根据权利要求1所述的动态场景下的特征点提取方法,其特征在于,投影与所述目标特征点匹配的所述第二特征点到所述待处理图像,获得所述第二特征点在所述待处理图像中的第一投影点,包括:
投影与所述目标特征点匹配的所述第二特征点到所述非动态物体对应的世界坐标系,获得所述第二特征点在世界坐标系中的第二投影点;
投影所述第二投影点到所述待处理图像,获得所述第二投影点在待处理图像中的所述第一投影点。
3.根据权利要求2所述的动态场景下的特征点提取方法,其特征在于,筛选所述第一投影点中的有效特征点,包括:
以所述第二投影点为公共端,计算所述第二特征点、所述第二投影点以及所述第一投影点之间的夹角值;
判断所述夹角值是否大于夹角阈值,若是,剔除所述夹角值对应的第一投影点,并将剩余的所述第一投影点作为有效特征点;
或者,以所述第二投影点为公共端,计算所述第二特征点、所述第二投影点以及所述第一投影点之间的夹角值;
判断所述夹角值是否大于夹角阈值,若是,剔除所述夹角值对应的第一投影点,并将剩余的所述第一投影点作为第一候选有效特征点;
计算所述第一候选有效特征点到所述待处理图像边缘的第四距离值;
判断所述第四距离值是否小于第二距离阈值,若是,则剔除所述第四距离值对应的第一候选有效特征点,并将剩余的第一候选有效特征点作为有效特征点;
或者,以所述第二投影点为公共端,计算所述第二特征点、所述第二投影点以及所述第一投影点之间的夹角值;
判断所述夹角值是否大于夹角阈值,若是,剔除所述夹角值对应的第一投影点,并将剩余的所述第一投影点作为第二候选有效特征点;
以任意一个所述第二候选有效特征点为中心点设置预设形状区域;
计算所述预设形状区域中的第二候选有效特征点到所述非动态物体之间的第五距离值;
根据所述第五距离值计算出第五距离方差值;
判断所述预设形状区域中的第二候选有效特征点的第五距离方差值是否小于距离方差阈值,若是,则将所述预设形状区域中第五距离值为最小值对应的第二候选有效特征点作为有效特征点;
或者,以所述第二投影点为公共端,计算所述第二特征点、所述第二投影点以及所述第一投影点之间的夹角值;
判断所述夹角值是否大于夹角阈值,若是,剔除所述夹角值对应的第一投影点,并将剩余的所述第一投影点作为第三候选有效特征点;
计算所述第三候选有效特征点到所述待处理图像边缘的第四距离值;
判断所述第四距离值是否小于所述第二距离阈值,若是,则剔除所述第四距离值对应的第三候选有效特征点,并将剩余的第三候选有效特征点作为第四候选有效特征点;
以任意一个所述第四候选有效特征点为中心点设置预设形状区域;
计算所述预设形状区域中的第四候选有效特征点到所述非动态物体之间的第五距离值;
根据所述第五距离值计算出第五距离方差值;
判断所述预设形状区域中的第四候选有效特征点的第五距离方差值是否小于距离方差阈值,若是,则将所述预设形状区域中第五距离值为最小值对应的第四候选有效特征点作为有效特征点。
4.根据权利要求2所述的动态场景下的特征点提取方法,其特征在于,投影与所述目标特征点匹配的所述第二特征点到所述待处理图像,获得所述第二特征点在所述待处理图像中的第一投影点,包括:
投影所述第二投影点到所述待处理图像对应的相机坐标系,获得所述第二投影点在所述相机坐标系中的第三投影点;
计算所述第三投影点到所述非动态物体之间的第三距离值;
判断所述第三距离值是否大于第一距离阈值,若是,剔除所述第三距离值对应第三投影点;
投影剩余的所述第三投影点到所述待处理图像,获得所述第三投影点在所述待处理图像中的所述第一投影点。
5.根据权利要求1所述的动态场景下的特征点提取方法,其特征在于,筛选所述第一投影点中的有效特征点,包括:
计算所述第一投影点到所述待处理图像边缘的第四距离值;
判断所述第四距离值是否小于第二距离阈值,若是,则剔除所述第四距离值对应的第一投影点,并将剩余的第一投影点作为有效特征点;
或者,计算所述第一投影点到所述待处理图像边缘的第四距离值;
判断所述第四距离值是否小于所述第二距离阈值,若是,则剔除所述第四距离值对应的第一投影点,并将剩余的第一投影点作为第一候选有效特征点;
以任意一个所述第一候选有效特征点为中心点设置预设形状区域;
计算所述预设形状区域中的第一候选有效特征点到所述非动态物体之间的第五距离值;
根据所述第五距离值计算出第五距离方差值;
判断所述预设形状区域中的第一候选有效特征点的第五距离方差值是否小于距离方差阈值,若是,则将所述预设形状区域中第五距离值为最小值对应的第一候选有效特征点作为有效特征点。
6.根据权利要求1所述的动态场景下的特征点提取方法,其特征在于,筛选所述第一投影点中的有效特征点,包括:
以任意一个所述第一投影点为中心点设置预设形状区域;
计算所述预设形状区域中的第一投影点到所述非动态物体之间的第五距离值;
根据所述第五距离值计算出第五距离方差值;
判断所述预设形状区域中的第一投影点的第五距离方差值是否小于距离方差阈值,若是,则将所述预设形状区域中第五距离值为最小值对应的第一投影点作为有效特征点。
7.动态场景下的特征点提取装置,其特征在于,包括:
获取模块,用于获取待处理图像;
提取模块,用于提取所述待处理图像的第一特征点;
第一检测模块,用于检测所述待处理图像中的动态物体区域;
第一剔除模块,用于剔除所述待处理图像中落在动态物体区域上的第一特征点,并将剩余的第一特征点作为落在非动态物体区域上的目标特征点;
第二检测模块,用于获取参考图像的第二特征点;将所述参考图像的第二特征点与所述目标特征点进行匹配,其中,每一个所述第二特征点对应一个所述目标特征点;投影与所述目标特征点匹配的所述第二特征点到所述待处理图像,获得所述第二特征点在所述待处理图像中的第一投影点,其中,所述待处理图像的目标特征点与所述第一投影点对应同一非动态物体;筛选所述第一投影点中的有效特征点;计算所述目标特征点到所述非动态物体之间的第一距离值,计算所述有效特征点到所述非动态物体之间的第二距离值,根据所述第一距离值以及所述第二距离值计算距离差值;判断所述第一距离值与所述第二距离值之间的距离差值是否大于距离差阈值,若是,则将所述距离差值对应的目标特征点作为动态点;
第二剔除模块,用于剔除动态点,并将剩余的目标特征点作为非动态点。
8.终端设备,包括存储器、处理器、摄像装置以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述动态场景下的特征点提取方法的各个步骤。
9.计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述动态场景下的特征点提取方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910911044.2A CN110673607B (zh) | 2019-09-25 | 2019-09-25 | 动态场景下的特征点提取方法、装置、及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910911044.2A CN110673607B (zh) | 2019-09-25 | 2019-09-25 | 动态场景下的特征点提取方法、装置、及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110673607A CN110673607A (zh) | 2020-01-10 |
CN110673607B true CN110673607B (zh) | 2023-05-16 |
Family
ID=69079409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910911044.2A Active CN110673607B (zh) | 2019-09-25 | 2019-09-25 | 动态场景下的特征点提取方法、装置、及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110673607B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111369560B (zh) * | 2020-04-26 | 2023-04-28 | 成都大熊猫繁育研究基地 | 一种圈养大熊猫体温快速测量方法 |
CN113313112B (zh) * | 2021-05-31 | 2023-02-07 | 浙江商汤科技开发有限公司 | 一种图像处理方法、装置、计算机设备及存储介质 |
CN113673524A (zh) * | 2021-07-05 | 2021-11-19 | 北京物资学院 | 一种仓库半结构化环境动态特征点祛除方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014023231A1 (zh) * | 2012-08-07 | 2014-02-13 | 泰邦泰平科技(北京)有限公司 | 宽视场超高分辨率光学成像系统及方法 |
CN109711246A (zh) * | 2018-09-30 | 2019-05-03 | 鲁东大学 | 一种动态物体识别方法、计算机装置及可读存储介质 |
CN110084850A (zh) * | 2019-04-04 | 2019-08-02 | 东南大学 | 一种基于图像语义分割的动态场景视觉定位方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101527046B (zh) * | 2009-04-28 | 2012-09-05 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 一种运动检测方法、装置和系统 |
CN103150728A (zh) * | 2013-03-04 | 2013-06-12 | 北京邮电大学 | 一种动态环境中的视觉定位方法 |
CN104809738B (zh) * | 2015-05-18 | 2019-04-23 | 长春工业大学 | 一种基于双目视觉的安全气囊轮廓尺寸检测方法 |
US10712556B2 (en) * | 2015-12-31 | 2020-07-14 | Huawei Technologies Co., Ltd. | Image information processing method and augmented reality AR device |
CN105550670B (zh) * | 2016-01-27 | 2019-07-12 | 兰州理工大学 | 一种目标物体动态跟踪与测量定位方法 |
CN107833236B (zh) * | 2017-10-31 | 2020-06-26 | 中国科学院电子学研究所 | 一种动态环境下结合语义的视觉定位系统和方法 |
CN110462683B (zh) * | 2018-03-06 | 2022-04-12 | 斯坦德机器人(深圳)有限公司 | 紧耦合视觉slam的方法、终端及计算机可读存储介质 |
CN108596959A (zh) * | 2018-05-21 | 2018-09-28 | 深圳大学 | 一种视频图像时空特征点的提取方法 |
US11074706B2 (en) * | 2019-04-12 | 2021-07-27 | Intel Corporation | Accommodating depth noise in visual slam using map-point consensus |
-
2019
- 2019-09-25 CN CN201910911044.2A patent/CN110673607B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014023231A1 (zh) * | 2012-08-07 | 2014-02-13 | 泰邦泰平科技(北京)有限公司 | 宽视场超高分辨率光学成像系统及方法 |
CN109711246A (zh) * | 2018-09-30 | 2019-05-03 | 鲁东大学 | 一种动态物体识别方法、计算机装置及可读存储介质 |
CN110084850A (zh) * | 2019-04-04 | 2019-08-02 | 东南大学 | 一种基于图像语义分割的动态场景视觉定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110673607A (zh) | 2020-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10573018B2 (en) | Three dimensional scene reconstruction based on contextual analysis | |
CN110587597B (zh) | 一种基于激光雷达的slam闭环检测方法及检测系统 | |
CN110673607B (zh) | 动态场景下的特征点提取方法、装置、及终端设备 | |
CN109658454B (zh) | 一种位姿信息确定方法、相关装置及存储介质 | |
CN111222395A (zh) | 目标检测方法、装置与电子设备 | |
JP2004334819A (ja) | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 | |
US11233983B2 (en) | Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium | |
CN112097732A (zh) | 一种基于双目相机的三维测距方法、系统、设备及可读存储介质 | |
CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
CN111213154A (zh) | 一种车道线检测方法、设备、移动平台及存储介质 | |
WO2024087962A1 (zh) | 车厢姿态识别系统、方法、电子设备及存储介质 | |
JP7351892B2 (ja) | 障害物検出方法、電子機器、路側機器、及びクラウド制御プラットフォーム | |
CN112001357B (zh) | 目标识别检测方法及系统 | |
CN111161348A (zh) | 一种基于单目相机的物体位姿估计方法、装置及设备 | |
CN110827340B (zh) | 地图的更新方法、装置及存储介质 | |
JP2007200364A (ja) | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 | |
US20220335732A1 (en) | Method and system for recognizing surrounding driving environment based on svm original image | |
CN112802112B (zh) | 视觉定位方法、装置、服务器及存储介质 | |
WO2022205841A1 (zh) | 机器人导航方法、装置、终端设备及计算机可读存储介质 | |
KR101934317B1 (ko) | 선형정보의 연관분석을 이용한 영상의 자동등록 시스템 | |
CN111656404B (zh) | 图像处理方法、系统及可移动平台 | |
CN112509058A (zh) | 外参的计算方法、装置、电子设备和存储介质 | |
CN111223139A (zh) | 目标定位方法及终端设备 | |
CN113330275B (zh) | 相机信息计算装置、系统、相机信息计算方法及记录介质 | |
CN116703952B (zh) | 过滤遮挡点云的方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |