CN108960012A - 特征点检测方法、装置及电子设备 - Google Patents
特征点检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN108960012A CN108960012A CN201710366545.8A CN201710366545A CN108960012A CN 108960012 A CN108960012 A CN 108960012A CN 201710366545 A CN201710366545 A CN 201710366545A CN 108960012 A CN108960012 A CN 108960012A
- Authority
- CN
- China
- Prior art keywords
- target image
- feature
- points
- depth
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 230000004044 response Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 238000005316 response function Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种特征点检测方法、装置及电子设备,涉及图像处理技术领域,能够解决现有技术中特征点识别的实时性和准确性问题。本发明实施例的特征点检测方法包括:获取目标图像的深度特征信息;基于所述深度特征信息,将在所述目标图像上提取的快速特征点区分为前景特征点和后景特征点;对所述前景特征点进行强特征检测,得到所述目标图像的强特征点;将所述强特征点作为所述目标图像的目标特征点。此外,本发明实施例还公开了特征点检测装置、电子设备。通过上述方案,能够兼顾特征点识别的实时性和准确性,提高了特征点识别的效率。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及图像中的特征点检测技术。
背景技术
在对视频中的运动目标进行检测的过程中,运动目标可能出现在画面的任意位置,而用于表示运动目标的各个像素点都有可能出现在运动目标上。由于大量像素点的运动矢量具有一致性,为了减少运动目标像素的计算量,运动矢量相同的区域可以用若干图形表示,该图形的特征点可以用图像角点表示,基于角点技术的目标图像特征点检测是运动目标识别的关键技术。对于应用刷新帧率较高(尤其以游戏应用)的场景中,为了保证视频动作的连贯性,组成帧的每个图像的处理时间很短,因此对于角点检测技术的实时性提出了更高的要求。
发明人在实现本发明的过程中发现,现有技术的Fast角点检测技术由于不必计算全图的水平梯度、垂直梯度,计算效率较高,可以在较短的时间内快速获取大量的角点。但该算法检测角点质量不高,准确性差。除此之外,现有技术中还存在使用Harris角点、ShiTomasi角点来确定目标图像特征点的方案。Harris角点、Shi Tomasi角点均是利用梯度信息,通过计算海瑟矩阵,以及角点响应函数,搜索角点,角点响应越高,则置信度越高。通过非极大值抑制或其他类似方法,搜索强角点。该方法检测角点准确率高,且中间产出海瑟矩阵、梯度信息可以被运动目标检测中的下游算法利用。但是该算法计算梯度的过程中,涉及卷积操作非常耗时,不满足移动设备的实时性要求。此外,现有技术中还存在采用Fast角点与基于梯度特征相结合的方法,通过Fast特征预选待检测角点,之后在Fast角点中基于梯度特征筛选角点。但是此算法依然难以解决时间开销较大的问题。
在对于图像渲染的实时性、快速性、准确性要求较高的图像处理场景中,亟需一种快速、准确的特征点检测技术。
发明内容
有鉴于此,本发明实施例提供一种基于客户端/服务器的特征点检测方法、装置、电子设备、非暂态计算机可读存储介质及计算机程序,至少部分的解决现有技术中存在的问题。
第一方面,本发明实施例提供了一种特征点检测方法,包括:
获取目标图像的深度特征信息;
基于所述深度特征信息,将在所述目标图像上提取的快速特征点区分为前景特征点和后景特征点;
对所述前景特征点进行强特征检测,得到所述目标图像的强特征点;
将所述强特征点作为所述目标图像的目标特征点。
根据本发明实施例的一种具体实现方式,在所述基于所述深度特征信息,将在所述目标图像上提取的快速特征点区分为前景特征点和后景特征点之前,所述方法还包括:
获取需要进行特征点检测的目标图像;
对所述目标图像执行快速特征点提取操作,确定所述目标图像的快速特征点。
根据本发明实施例的一种具体实现方式,所述对所述目标图像执行快速特征点提取操作,确定所述目标图像的快速特征点,包括:
选取所述目标图像中的任一像素点作为中心像素点;
获取以所述中心像素点为原点、半径为r个像素、宽度为1个像素的像素圆环;
判断所述像素圆环上是否存在n个灰度值均大于或小于所述中心像素点的像素;
若存在,则将所述中心像素点确定为快速特征点。
根据本发明实施例的一种具体实现方式,所述基于所述深度特征信息,将在所述目标图像上提取的快速特征点区分为前景特征点和后景特征点,包括:
获取所述快速特征点的深度值;
判断所述深度值是否大于预设阈值;
将所述深度值大于所述预设阈值的快速特征点确定为前景特征点;
将所述深度值小于等于所述预设阈值的快速特征点确定为后景特征点。
根据本发明实施例的一种具体实现方式,所述对所述前景特征点进行强特征检测,得到所述目标图像的强特征点,包括:
获取所述前景特征点的梯度信息;
基于所述梯度信息,计算所述前景特征点的角点响应;
将角点响应大于预设阈值的前景特征点确定为强特征点。
根据本发明实施例的一种具体实现方式,所述获取所述前景特征点的梯度信息,包括:
遍历所述前景特征点;
生成所述前景特征点的邻域掩模;
在所述邻域掩模内计算所述前景特征点的水平梯度和垂直梯度,进而得到所述前景特征点的梯度信息。
根据本发明实施例的一种具体实现方式,在所述对所述前景特征点进行强特征检测,得到所述目标图像的强特征点之前,该方法还包括:
基于所述目标图像的深度特征信息,将所述目标图像进行区域划分,得到所述目标图像的深度区间;
在所述深度区间内提取所述深度图像的边缘数据;
基于所述边缘数据对所述目标图像进行边缘增强。
根据本发明实施例的一种具体实现方式,所述基于所述目标图像的深度特征信息,将所述目标图像进行区域划分,包括:
在所述深度特征信息对应的深度数据中生成随机种子点;
获取所述随机种子点的直方图的峰谷值;
利用所述峰谷值确定所述深度数据的聚类中心,并根据所述聚类中心完成对所述随机种子点的聚类;
基于聚类的结果,确定所述目标图像的划分区域。
根据本发明实施例的一种具体实现方式,在所述获取目标图像的深度特征信息之前,所述方法还包括:
对所述目标图像进行预处理。
第二方面,本发明实施例还提供了一种特征点检测装置,包括:
第一获取模块,用于获取目标图像的深度特征信息;
区分模块,用于基于所述深度特征信息,将在所述目标图像上提取的快速特征点区分为前景特征点和后景特征点;
检测模块,用于对所述前景特征点进行强特征检测,得到所述目标图像的强特征点;
执行模块,用于将所述强特征点作为所述目标图像的目标特征点。
根据本发明实施例的一种具体实现方式,所述装置还包括:
第二获取模块,用于获取需要进行特征点检测的目标图像;
确定模块,用于对所述目标图像执行快速特征点提取操作,确定所述目标图像的快速特征点。
根据本发明实施例的一种具体实现方式,所述确定模块还用于:
选取所述目标图像中的任一像素点作为中心像素点;
获取以所述中心像素点为原点、半径为r个像素、宽度为1个像素的像素圆环;
判断所述像素圆环上是否存在n个灰度值均大于或小于所述中心像素点的像素;
若存在,则将所述中心像素点确定为快速特征点。
根据本发明实施例的一种具体实现方式,所述区分模块还用于:
获取所述快速特征点的深度值;
判断所述深度值是否大于预设阈值;
将所述深度值大于所述预设阈值的快速特征点确定为前景特征点;
将所述深度值小于等于所述预设阈值的快速特征点确定为后景特征点。
根据本发明实施例的一种具体实现方式,所述检测模块还用于:
获取所述前景特征点的梯度信息;
基于所述梯度信息,计算所述前景特征点的角点响应;
将角点响应大于预设阈值的前景特征点确定为强特征点。
根据本发明实施例的一种具体实现方式,所述检测模块还用于:
遍历所述前景特征点;
生成所述前景特征点的邻域掩模;
在所述邻域掩模内计算所述前景特征点的水平梯度和垂直梯度,进而得到所述前景特征点的梯度信息。
根据本发明实施例的一种具体实现方式,所述装置还包括:
划分模块,用于基于所述目标图像的深度特征信息,将所述目标图像进行区域划分,得到所述目标图像的深度区间;
提取模块,用于在所述深度区间内提取所述深度图像的边缘数据;
边缘增强模块,用于基于所述边缘数据对所述目标图像进行边缘增强。
根据本发明实施例的一种具体实现方式,所述划分模块还用于:
在所述深度特征信息对应的深度数据中生成随机种子点;
获取所述随机种子点的直方图的峰谷值;
利用所述峰谷值确定所述深度数据的聚类中心,并根据所述聚类中心完成对所述随机种子点的聚类;
基于聚类的结果,确定所述目标图像的划分区域。
根据本发明实施例的一种具体实现方式,所述装置还包括:
预处理模块,用于对所述目标图像进行预处理。
第三方面,本发明实施例还提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述任第一方面或第一方面的任一实现方式所述的特征点检测方法。
第四方面,本发明实施例还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行前述第一方面或第一方面的任一实现方式所述的特征点检测方法。
第五方面,本发明实施例还提供了一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行前述第一方面或第一方面的任一实现方式所述的特征点检测方法。
本发明实施例提供的特征点检测方法、装置、电子设备、非暂态计算机可读存储介质及计算机程序,通过利用深度特征信息,将在目标图像上提取的快速特征点区分为前景特征点和后景特征点,而在进行强特征点识别时,仅识别前景特征点,进而提高了识别的实时性和准确性。通过预先定义的快速特征点识别方法以及基于深度特征信息的前/后特征点区分方法,能够提高计算的时间;在进行强角点识别之前,利用深度特征信息对目标图像进行边缘增强,降低了强角点识别的复杂性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种特征点检测流程示意图;
图2为本发明实施例提供的另一种特征点检测流程示意图;
图3为本发明实施例提供的一种确定快速特征点的流程示意图;
图4为本发明实施例提供的一种区分前景特征点和后景特征点的流程示意图;
图5为本发明实施例提供的一种确定强特征点的流程示意图;
图6为本发明实施例提供的一种确定前景特征点梯度信息的流程示意图;
图7为本发明实施例提供的一种对目标图像进行边缘增强的流程示意图;
图8为本发明实施例提供的一种对目标图像进行区域划分的流程示意图;
图9为本发明实施例提供的一种特征点检测装置结构示意图;
图10为本发明实施例提供的另一种特征点检测装置结构示意图;
图11为本发明实施例提供的另一种特征点检测装置结构示意图;
图12为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1为本发明的实施例的特征点检测的流程示意图,如图1所示,本实施例的方法可以包括以下步骤:
S101,获取目标图像的深度特征信息。
图像深度是指存储每个像素所用的位数,也用于量度图像的色彩分辨率。图像深度确定彩色图像的每个像素可能有的颜色数,或者确定灰度图像的每个像素可能有的灰度级数.它决定了彩色图像中可出现的最多颜色数,或灰度图像中的最大灰度等级。
目标图像的深度特征数据通常可以采用带有深度图像信息采集功能的摄像装置获得,也可以在图像生成时,根据固定的模型算法计算产生。
目标图像中存储有图像的深度特征数据,具体的,可以在目标图像对应的深度缓存(depthbuffer)中获取目标图像的深度特征信息。
S102,基于所述深度特征信息,将在所述目标图像上提取的快速特征点区分为前景特征点和后景特征点。
具体的,可以获取目标图像上提取的快速特征点的深度值,将该深度值与预设阈值进行比较,对于大于该预设阈值的快速特征点,可以将该特征点标记为前景特征点。对于小于或等于该预设阈值的快速特征点,可以将该特征点标记为后景特征点
S103,对所述前景特征点进行强特征检测,得到所述目标图像的强特征点。
强特征点区别于快速特征点,具有更高的准确性。常见的快速特征点包括fast角点,常见的强特征点包括harris角点、Shi Tomasi角点等。
以fast角点和harris角点为例,对所述前景特征点进行强特征检测的计算过程如下:为提高计算速度,首先生成前景fast角点邻域掩膜,在掩膜对应的区块内计算水平、垂直梯度。根据梯度数据,计算Hessian矩阵,并求取其角点响应。若该点响应值为邻域局部极值,且大于阈值t时,标记该点为强角点。特别地,阈值t与邻域尺寸可以为预设值,也可根据深度数据动态生成。
S104,将所述强特征点作为所述目标图像的目标特征点。
通过将所述强特征点作为所述目标图像的目标特征点,可以基于该强特征点构建出目标图像中的物体的特征轮廓,通过分析强特征点的变化趋势,可以分析目标图像上物体的运动趋势。
通过本实施例中的方法,通过基于深度信息将快速特征点进行区分,在进行强特征点识别时,仅识别快速特征点中的前景特征点,在保证了特征点识别实时性的前提下,提高了特征点识别的准确性。
根据本发明另一实施例的方案,参见图2,除了执行图1所对应的实施例之外,可选择性的,特征点检测方法还可以包括:
S201,获取需要进行特征点检测的目标图像。
具体的,获取目标图像中的色彩缓存(colorbuffer)中的数据,色彩缓存中保存着目标图像在平面上的图像信息,基于该图像信息,可以方便的获取物体的形状。
S202,对所述目标图像执行快速特征点提取操作,确定所述目标图像的快速特征点。
在实际的应用中,需要兼顾目标图像处理的实时性和准确性,为此,先进行快速特征点提取,参见图3,对所述目标图像执行快速特征点提取操作,确定所述目标图像的快速特征点可以包括如下步骤:
S301,选取所述目标图像中的任一像素点作为中心像素点;
S302,获取以所述中心像素点为原点、半径为r个像素、宽度为1个像素的像素圆环;
S303,判断所述像素圆环上是否存在n个灰度值均大于或小于所述中心像素点的像素;
S304,若是,则将所述中心像素点确定为快速特征点。
在实际的执行过程中,快速特征点可以是Fast角点。
通过对目标图像进行快速特征点识别,提高了目标图像特征点识别的实时性。
可选的,参见图4,本发明实施例还提供了一种区分前景特征点和后景特征点的方法,包括:
S401,获取所述快速特征点的深度值。
具体的,在深度缓冲中获取所述快速特征点的深度值。深度缓冲(DepthBuffer)是在三维图形中处理图像深度坐标的过程,这个过程通常在硬件中完成,它也可以在软件中完成,当三维图形卡渲染物体的时候,每一个所生成的像素的深度(即z坐标)就保存在一个缓冲区中。这个缓冲区叫作深度缓冲区,这个缓冲区通常组织成一个保存每个屏幕像素深度的x-y二维数组。
深度缓冲的分辨率对于场景质量有很大的影响:当两个物体非常接近的时候,16位的深度缓冲区可能会导致“缓冲区打架(fighting)”的人为噪声,为此,本申请中使用24位或者32位的深度缓冲区。
S402,判断所述深度值是否大于预设阈值。
具体的,可以在确定Fast角点的基础上判断其对应的深度值是否大于阈值t,t的数值可以根据实际的需要进行设置。作为一个例子,t的范围可以在0~255的范围内选取。
S403,将所述深度值大于所述预设阈值的快速特征点确定为前景特征点。
S404,将所述深度值小于等于所述预设阈值的快速特征点确定为后景特征点。
通过将特征点区分为前景特征点和后景特征点,简化了后续强特征点识别的工作量,减少了强特征点识别的时间。
可选的,参见图5,本发明实施例还提供了一种确定强特征点的方法,包含如下步骤:
S501,获取所述前景特征点的梯度信息。
在获取所述前景特征点的梯度信息的过程中,参见图5,可以具体包括如下步骤:
S601,遍历所述前景特征点。
获取步骤S403中获得的所有前景特征点,按照一定的顺序依次对前景特征点的梯度信息进行计算。
S602,生成所述前景特征点的邻域掩模。
具体的实现过程中,可以将掩模设计为由0和1组成的一个二进制图像。当应用掩模时,1值区域被处理,被屏蔽的0值区域不被包括在计算中。选定了前景特征点之后,可以通过指定的数据值、数据范围、有限或无限值、感兴趣区和注释文件来定义图像掩模,也可以应用上述选项的任意组合作为输入来建立掩模。
S603,在所述邻域掩模内计算所述前景特征点的水平梯度和垂直梯度,进而得到所述前景特征点的梯度信息。
图像函数f(x,y)在像素点(x,y)的梯度是一个具有大小和方向的矢量,设为Gx和Gy分别表示x方向和v方向的梯度,这个梯度的矢量可以表示为:
这个矢量的幅度为
方向角为:
数字图像中,更多的使用差分来近似导数,最简单的梯度近似表达式如下:
Gx=f(x,y)-f(x-1,y)
Gy=f(x,y)-f(x,y-1)
梯度的方向是函数f(x,y)变化最快的方向,当图像中存在边缘时,一定有较大的梯度值,相反,当图像中有比较平滑的部分时,灰度值变化较小,则相应的梯度也较小,图像处理中把梯度的模简称为梯度,由图像梯度构成的图像成为梯度图像。可以采用小区域模板进行卷积来计算,常见的计算算子包括:Sobel算子、Robinson算子、Laplace算子等。
S502,基于所述梯度信息,计算所述前景特征点的角点响应。
具体的,可以定义角点响应函数,通过角点响应函数计算所述前景特征点的角点响应。
S503,将角点响应大于预设阈值的前景特征点确定为强特征点。
通过对前景特征点进行强特征点检测,保证了特征点检测的准确性。
可选的,参见图7,本发明实施例还提供的一种对目标图像进行边缘增强的方法,包括如下步骤:
S701,基于所述目标图像的深度特征信息,将所述目标图像进行区域划分,得到所述目标图像的深度区间。
在实现S701的过程中,可以包括如下步骤:
S801,在所述深度特征信息对应的深度数据中生成随机种子点。
为提高计算速度,在深度缓存(depthbuffer)中生成若干种子点。举例而言,可以采用随机数发生器产生随机种子点,随机数发生器可以采用固定尺寸的种子,也可以使种子的尺寸可变。也可以直接使用数据熵,直接从深度缓存的熵源产生密钥,即,作为结果的m位种子直接用作密钥。
S802,获取所述随机种子点的直方图的峰谷值。
图像直方图是反映一个图像像素分布的统计表,横坐标代表了图像像素的种类,可以是灰度的,也可以是彩色的。纵坐标代表了每一种颜色值在图像中的像素总数或者占所有像素个数的百分比。可以采用多种方式及函数计算随机种子点的直方图,以OpenCV为例,OpenCV中计算图像直方图像函数是calcHist。
S803,利用所述峰谷值确定所述深度数据的聚类中心,并根据所述聚类中心完成对所述随机种子点的聚类。
对上述种子点统计深度直方图,对直方图平滑滤波后计算其峰谷值,进而初始化若干聚类中心。
S804,基于聚类的结果,确定所述目标图像的划分区域。
具体的,可以使用kmeans算法对各种子点聚类,最终将完整的深度数据,划分为若干深度层、深度区间,在图像上表现为若干区块。
S702,在所述深度区间内提取所述深度图像的边缘数据。
边缘检测可以采用多种方法。举例而言,可以通过计算某一位置的像素点与其四周相邻像素点的相关程度来实现:将中心点像素值与其相邻像素点分别相减,并取其绝对值;当相邻像素差值的绝对值小于设定的相关阈值时判定此两点相关;与四周相邻像素点都相关的像素点位于目标内部,与周围三个像素点相关的像素点位于目标边缘,与周围两个像素点相关的像素点位于目标边界交点
S703,基于所述边缘数据对所述目标图像进行边缘增强。
可以采用高通滤波进行边缘增强。图像的边缘或线条的细节(边缘)部分与图像频谱的高频分量相对应,采用高通滤波让高频分量顺利通过,并适当抑制中低频分量,是图像的细节变得清楚,实现图像的边缘增强。
另外,也可以基于深度区间使用边缘检测算子提取深度图像边缘数据,最终使用边缘增强算子对色彩缓存(colorbuffer)实现边缘增强。
通过该实施例中的方案,能够基于深度数据对目标图像进行边缘增强,增强后的目标图像能够提高为后续的强特征点的效率。
上述实施例中的快速特征点可以是Fast角点,强特征点可以是harris角点、ShiTomasi角点。
与前述特征点检测方法实施例相对应,本发明实施例还提供了一种特征点检测装置,如图9所示,特征点检测装置10,包括:
第一获取模块101,用于获取目标图像的深度特征信息。
图像深度是指存储每个像素所用的位数,也用于量度图像的色彩分辨率。图像深度确定彩色图像的每个像素可能有的颜色数,或者确定灰度图像的每个像素可能有的灰度级数.它决定了彩色图像中可出现的最多颜色数,或灰度图像中的最大灰度等级。
目标图像的深度特征数据通常可以采用带有深度图像信息采集功能的摄像装置获得,也可以在图像生成时,根据固定的模型算法计算产生。
目标图像中存储有图像的深度特征数据,具体的,可以在目标图像对应的深度缓存(depthbuffer)中获取目标图像的深度特征信息。
区分模块102,用于基于所述深度特征信息,将在所述目标图像上提取的快速特征点区分为前景特征点和后景特征点。
具体的,可以获取目标图像上提取的快速特征点的深度值,将该深度值与预设阈值进行比较,对于大于该预设阈值的快速特征点,可以将该特征点标记为前景特征点。对于小于或等于该预设阈值的快速特征点,可以将该特征点标记为后景特征点
检测模块103,用于对所述前景特征点进行强特征检测,得到所述目标图像的强特征点。
强特征点区别于快速特征点,具有更高的准确性。常见的快速特征点包括fast角点,常见的强特征点包括harris角点、Shi Tomasi角点等。
以fast角点和harris角点为例,对所述前景特征点进行强特征检测的计算过程如下:为提高计算速度,首先生成前景fast角点邻域掩膜,在掩膜对应的区块内计算水平、垂直梯度。根据梯度数据,计算Hessian矩阵,并求取其角点响应。若该点响应值为邻域局部极值,且大于阈值t时,标记该点为强角点。特别地,阈值t与邻域尺寸可以为预设值,也可根据深度数据动态生成。
执行模块104,用于将所述强特征点作为所述目标图像的目标特征点。
通过将所述强特征点作为所述目标图像的目标特征点,可以基于该强特征点构建出目标图像中的物体的特征轮廓,通过分析强特征点的变化趋势,可以分析目标图像上物体的运动趋势。
通过本实施例中的方法,通过基于深度信息将快速特征点进行区分,在进行强特征点识别时,仅识别快速特征点中的前景特征点,在保证了特征点识别实时性的前提下,提高了特征点识别的准确性。
参见图10,除了图9所示的结构之外,特征点检测装置还可以包括第二获取模块201、确定模块202。
参见图11,除了图9所示的结构之外,特征点检测装置还可以包括划分模块701、提取模块702、边缘增强模块703。
上述实施例中各功能模块所执行的功能及内容与其对应的方法实施例一一对应,在此不再赘述。
图12示出了本发明实施例提供的电子设备120的结构示意图,电子设备120包括至少一个处理器1201(例如CPU),至少一个输入输出接口1204,存储器1202,和至少一个通信总线1203,用于实现这些部件之间的连接通信。至少一个处理器1201用于执行存储器1202中存储的可执行模块,例如计算机程序。存储器1202为非暂态存储器(non-transitorymemory),其可以包含易失性存储器,例如高速随机存取存储器(RAM:Random AccessMemory),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个输入输出接口1204(可以是有线或者无线通信接口)实现与至少一个其他网元之间的通信连接。
在一些实施方式中,存储器1202存储了程序12021,处理器1201执行程序12021,用于执行前述任一基于电子设备的特征点检测方法的实施例。
该电子设备可以以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)特定服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将
一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些。
实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。
在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种特征点检测方法,其特征在于,包括:
获取目标图像的深度特征信息;
基于所述深度特征信息,将在所述目标图像上提取的快速特征点区分为前景特征点和后景特征点;
对所述前景特征点进行强特征检测,得到所述目标图像的强特征点;
将所述强特征点作为所述目标图像的目标特征点。
2.根据权利要求1所述的特征点检测方法,其特征在于,在所述基于所述深度特征信息,将在所述目标图像上提取的快速特征点区分为前景特征点和后景特征点之前,所述方法还包括:
获取需要进行特征点检测的目标图像;
对所述目标图像执行快速特征点提取操作,确定所述目标图像的快速特征点。
3.根据权利要求1所述的特征点检测方法,其特征在于,所述对所述目标图像执行快速特征点提取操作,确定所述目标图像的快速特征点,包括:
选取所述目标图像中的任一像素点作为中心像素点;
获取以所述中心像素点为原点、半径为r个像素、宽度为1个像素的像素圆环;
判断所述像素圆环上是否存在n个灰度值均大于或小于所述中心像素点的像素;
若存在,则将所述中心像素点确定为快速特征点。
4.根据权利要求1所述的特征点检测方法,其特征在于,所述基于所述深度特征信息,将在所述目标图像上提取的快速特征点区分为前景特征点和后景特征点,包括:
获取所述快速特征点的深度值;
判断所述深度值是否大于预设阈值;
将所述深度值大于所述预设阈值的快速特征点确定为前景特征点;
将所述深度值小于等于所述预设阈值的快速特征点确定为后景特征点。
5.根据权利要求1所述的特征点检测方法,其特征在于,所述对所述前景特征点进行强特征检测,得到所述目标图像的强特征点,包括:
获取所述前景特征点的梯度信息;
基于所述梯度信息,计算所述前景特征点的角点响应;
将角点响应大于预设阈值的前景特征点确定为强特征点。
6.根据权利要求5所述的特征点检测方法,其特征在于,所述获取所述前景特征点的梯度信息,包括:
遍历所述前景特征点;
生成所述前景特征点的邻域掩模;
在所述邻域掩模内计算所述前景特征点的水平梯度和垂直梯度,进而得到所述前景特征点的梯度信息。
7.根据权利要求1所述的特征点检测方法,其特征在于,在所述对所述前景特征点进行强特征检测,得到所述目标图像的强特征点之前,该方法还包括:
基于所述目标图像的深度特征信息,将所述目标图像进行区域划分,得到所述目标图像的深度区间;
在所述深度区间内提取所述深度图像的边缘数据;
基于所述边缘数据对所述目标图像进行边缘增强。
8.根据权利要求7所述的特征点检测方法,其特征在于,所述基于所述目标图像的深度特征信息,将所述目标图像进行区域划分,包括:
在所述深度特征信息对应的深度数据中生成随机种子点;
获取所述随机种子点的直方图的峰谷值;
利用所述峰谷值确定所述深度数据的聚类中心,并根据所述聚类中心完成对所述随机种子点的聚类;
基于聚类的结果,确定所述目标图像的划分区域。
9.根据权利要求1所述的特征点检测方法,其特征在于,在所述获取目标图像的深度特征信息之前,所述方法还包括:
对所述目标图像进行预处理。
10.一种特征点检测装置,其特征在于,包括:
第一获取模块,用于获取目标图像的深度特征信息;
区分模块,用于基于所述深度特征信息,将在所述目标图像上提取的快速特征点区分为前景特征点和后景特征点;
检测模块,用于对所述前景特征点进行强特征检测,得到所述目标图像的强特征点;
执行模块,用于将所述强特征点作为所述目标图像的目标特征点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710366545.8A CN108960012B (zh) | 2017-05-22 | 2017-05-22 | 特征点检测方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710366545.8A CN108960012B (zh) | 2017-05-22 | 2017-05-22 | 特征点检测方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108960012A true CN108960012A (zh) | 2018-12-07 |
CN108960012B CN108960012B (zh) | 2022-04-15 |
Family
ID=64461605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710366545.8A Active CN108960012B (zh) | 2017-05-22 | 2017-05-22 | 特征点检测方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108960012B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816645A (zh) * | 2019-01-18 | 2019-05-28 | 创新奇智(广州)科技有限公司 | 一种钢卷松卷的自动检测方法 |
CN110097576A (zh) * | 2019-04-29 | 2019-08-06 | 腾讯科技(深圳)有限公司 | 图像特征点的运动信息确定方法、任务执行方法和设备 |
CN110189242A (zh) * | 2019-05-06 | 2019-08-30 | 百度在线网络技术(北京)有限公司 | 图像处理方法和装置 |
CN111899149A (zh) * | 2020-07-09 | 2020-11-06 | 浙江大华技术股份有限公司 | 基于算子融合的图像处理方法和装置、存储介质 |
CN112652004A (zh) * | 2020-12-31 | 2021-04-13 | 珠海格力电器股份有限公司 | 一种图像处理方法、装置、设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060171594A1 (en) * | 2005-02-01 | 2006-08-03 | Shmuel Avidan | Detecting moving objects in videos with corner-based background model |
CN102799883A (zh) * | 2012-06-29 | 2012-11-28 | 广州中国科学院先进技术研究所 | 一种从视频图像中提取运动目标的方法及装置 |
CN103020632A (zh) * | 2012-11-20 | 2013-04-03 | 北京航空航天大学 | 一种室内环境中移动机器人定位标志点的快速识别方法 |
CN103198319A (zh) * | 2013-04-11 | 2013-07-10 | 武汉大学 | 用于矿山井筒环境下的模糊图像角点提取方法 |
CN103810718A (zh) * | 2012-11-15 | 2014-05-21 | 浙江大华技术股份有限公司 | 一种剧烈运动目标检测方法和装置 |
CN105809619A (zh) * | 2015-01-19 | 2016-07-27 | 株式会社理光 | 用于线性全景图像拼接的图像获取用户界面 |
WO2017049994A1 (zh) * | 2015-09-25 | 2017-03-30 | 深圳大学 | 一种高光谱图像角点检测方法与系统 |
-
2017
- 2017-05-22 CN CN201710366545.8A patent/CN108960012B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060171594A1 (en) * | 2005-02-01 | 2006-08-03 | Shmuel Avidan | Detecting moving objects in videos with corner-based background model |
CN102799883A (zh) * | 2012-06-29 | 2012-11-28 | 广州中国科学院先进技术研究所 | 一种从视频图像中提取运动目标的方法及装置 |
CN103810718A (zh) * | 2012-11-15 | 2014-05-21 | 浙江大华技术股份有限公司 | 一种剧烈运动目标检测方法和装置 |
CN103020632A (zh) * | 2012-11-20 | 2013-04-03 | 北京航空航天大学 | 一种室内环境中移动机器人定位标志点的快速识别方法 |
CN103198319A (zh) * | 2013-04-11 | 2013-07-10 | 武汉大学 | 用于矿山井筒环境下的模糊图像角点提取方法 |
CN105809619A (zh) * | 2015-01-19 | 2016-07-27 | 株式会社理光 | 用于线性全景图像拼接的图像获取用户界面 |
WO2017049994A1 (zh) * | 2015-09-25 | 2017-03-30 | 深圳大学 | 一种高光谱图像角点检测方法与系统 |
Non-Patent Citations (4)
Title |
---|
ETHAN RUBLEE ET AL: "ORB: An efficient alternative to SIFT or SURF", 《2011 INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
张永强: "机载光电平台的机动目标跟踪系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
王丽芳: "基于ORB和GroupSAC复杂场景视频图像的快速角点检测", 《科学技术与工程》 * |
白雪冰等: "结合快速鲁棒性特征改进ORB的特征点匹配算法", 《计算机应用》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816645A (zh) * | 2019-01-18 | 2019-05-28 | 创新奇智(广州)科技有限公司 | 一种钢卷松卷的自动检测方法 |
CN110097576A (zh) * | 2019-04-29 | 2019-08-06 | 腾讯科技(深圳)有限公司 | 图像特征点的运动信息确定方法、任务执行方法和设备 |
CN110097576B (zh) * | 2019-04-29 | 2022-11-18 | 腾讯科技(深圳)有限公司 | 图像特征点的运动信息确定方法、任务执行方法和设备 |
CN110189242A (zh) * | 2019-05-06 | 2019-08-30 | 百度在线网络技术(北京)有限公司 | 图像处理方法和装置 |
CN111899149A (zh) * | 2020-07-09 | 2020-11-06 | 浙江大华技术股份有限公司 | 基于算子融合的图像处理方法和装置、存储介质 |
CN112652004A (zh) * | 2020-12-31 | 2021-04-13 | 珠海格力电器股份有限公司 | 一种图像处理方法、装置、设备及介质 |
CN112652004B (zh) * | 2020-12-31 | 2024-04-05 | 珠海格力电器股份有限公司 | 一种图像处理方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108960012B (zh) | 2022-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960012B (zh) | 特征点检测方法、装置及电子设备 | |
US10373380B2 (en) | 3-dimensional scene analysis for augmented reality operations | |
CN115699114B (zh) | 用于分析的图像增广的方法和装置 | |
CN109272016B (zh) | 目标检测方法、装置、终端设备和计算机可读存储介质 | |
CN108446694B (zh) | 一种目标检测方法及装置 | |
CN108596944B (zh) | 一种提取运动目标的方法、装置及终端设备 | |
CN111815755A (zh) | 虚拟物体被遮挡的区域确定方法、装置及终端设备 | |
CN106920233B (zh) | 基于图像处理的划痕检测方法、装置及电子设备 | |
CN110070551B (zh) | 视频图像的渲染方法、装置和电子设备 | |
US10062195B2 (en) | Method and device for processing a picture | |
CN106062824B (zh) | 边缘检测装置和边缘检测方法 | |
CN110751620B (zh) | 估算体积和重量的方法、电子设备及计算机可读存储介质 | |
CN107871321B (zh) | 图像分割方法及装置 | |
CN107808388B (zh) | 包含运动目标的图像处理方法、装置及电子设备 | |
WO2017070923A1 (zh) | 一种人脸识别方法和装置 | |
EP3410389A1 (en) | Image processing method and device | |
US9959672B2 (en) | Color-based dynamic sub-division to generate 3D mesh | |
CN113570725A (zh) | 基于聚类的三维表面重建方法、装置、服务器及存储介质 | |
CN108960247B (zh) | 图像显著性检测方法、装置以及电子设备 | |
CN108537868A (zh) | 信息处理设备和信息处理方法 | |
CN110619597A (zh) | 一种半透明水印去除方法、装置、电子设备及存储介质 | |
CN114187333A (zh) | 一种图像对齐方法、图像对齐装置及终端设备 | |
CN108682021B (zh) | 快速手部跟踪方法、装置、终端及存储介质 | |
CN113793349A (zh) | 目标检测方法及装置、计算机可读存储介质、电子设备 | |
CN116778015A (zh) | 模型描边的方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |