CN106097356B - 一种基于Spiking的图像角点检测方法 - Google Patents

一种基于Spiking的图像角点检测方法 Download PDF

Info

Publication number
CN106097356B
CN106097356B CN201610427938.0A CN201610427938A CN106097356B CN 106097356 B CN106097356 B CN 106097356B CN 201610427938 A CN201610427938 A CN 201610427938A CN 106097356 B CN106097356 B CN 106097356B
Authority
CN
China
Prior art keywords
image
neuron
detection
point
spiking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610427938.0A
Other languages
English (en)
Other versions
CN106097356A (zh
Inventor
屈鸿
陈常乐
解修蕊
陈珊
马桂垚
丁小云
张马路
曾志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201610427938.0A priority Critical patent/CN106097356B/zh
Publication of CN106097356A publication Critical patent/CN106097356A/zh
Application granted granted Critical
Publication of CN106097356B publication Critical patent/CN106097356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Spiking图像角点检测方法，属于图像处理技术领域，解决现有技术对角点检测精度不高，缺乏对时间和空间特征的解释问题。本发明提出了一种基于Spiking神经网络的图像角点检测方法，该算法使用Spiking神经元模板对图像进行扫描，并根据检测神经元的电压变化等情况来确定图像角点，可以较好的对图像角点进行检测。Spiking神经网络使用电压表示信息强度，使用脉冲传递信息，由于这种基于脉冲的信息表示方法具有很强的时序性，因此本发明借助于Spiking神经网络的优势，研究基于Spiking神经网络的图像角点特征检测。本发明应用于图像角点特征提取、光流计算、目标识别、跟踪、运动估计和三维重构等涉及角点应用的计算机视觉场合。涉及Spiking神经网络、机器学习。

Description

一种基于Spiking的图像角点检测方法
技术领域
一种基于Spiking的角点检测方法，本发明应用于图像角点特征提取、光流计算、目标识别、跟踪、运动估计和三维重构等涉及角点应用的计算机视觉场合。涉及Spiking神经网络、机器学习。
背景技术
图像的角点特征是图像处理时的重要特征，其特征具有很强的鲁棒性，及具有旋转不变性和不随光照变化的特性。这种特性在运动目标追踪、流光计算、运动评估分析以及三维场景的构建等场合有非常重要的作用。有关角点的定义，截止目前较为统一的说法为：局部曲率最大的边缘点，对于一般的图像而言，都具有很多角点，所以有关研究的方法具有很强的普遍性和通用性。对此，大量国内外学者开始了关于此特征检测方法的研究。
当前，对于角点检测比较经典的算法有MIC方法、SUSAN方法、Harris方法等，目前使用最多的是Harris与SUSAN。学者Harris的Plessey算子，该算法的优点是操作实施较为简单，当前在角点检测应用中被广泛使用，缺点主要在于检测定位的精度不是特别理想，尤其在一些特殊的角点检测上容易丢失梯度信息或者大钝角模糊型的角点，而且在计算时间上也不是很理想。之后，Smith首次提出了USAN的概念，并基于此设计了SUSAN的角点检测方法，其最大优点是方法十分简单，具有积分特性，抗噪性能良好，定位精度不受角点类型的影响；缺点是由于实际图像存在大量模糊性边缘，容易产生伪响应或者易丢失真实角点，导致实际图像的检测率一般不及Harris算法，此外积分过程也导致耗时较多。MiroslavTrajkovic应快速要求提出了MIC算法。该算法有可能是目前灰度图像处理中最快的角点检测方法。令人遗憾的是该方法虽然简单，却易产生伪响应，尤其在斜直边缘或者模糊性边缘处；检测水平一般，对噪声也相当敏感。不过它的快速性思想却得到了很好的推广，纳入其它算法中可以加快速度。
综上所述，这些经典的算法虽然有很多的优点，但是存在的共同缺点是执行的时间较长，在角点的定位准确性上水平不高，并且在检测的执行性能方面较差，所以设计一种能够精确定位角点信息并且执行速度和时间短的方法显的十分必要，尤其在角点时间信息和空间信息应用的计算机视觉场合更具有很高的实用价值。
被誉为“第三代神经网络模型”的Spiking神经网络，是能够有效模拟生物神经元之间信息随时间连续传递的动力系统。该模型采用时间编码方式组织信息，可以模拟真实生物中的编码机制，采用脉冲发放的精确时间进行编码，比传统神经网络的脉冲发放频率对信息编码方式更接近实际生物神经系统，无论是处理能力和计算速度都得到了巨大提升。研究表明，Spiking神经元本身就具备对外部输入信息的非线性处理能力，相比前两代人工神经网络，Spiking具备更强的计算能力。Spiking神经元模型在生物、神经等学科中有较多的研究，而在工程领域的应用尚处于起步阶段。
发明内容
本发明针对现有技术的不足之处提供了一种基于Spiking的图像角点检测方法，可以很好的利用生物神经系统的空间和时间特性，并采用Spiking生物机制进行处理，有效捕获图像的时空信息，比现有技术更具仿生性和时空特性，从而图像的角点特征可以更好的应用于图像特征的表示以及其他有关角点的应用。
为了实现上述目的，本发明采用的技术方案为：
一种基于图像轮廓的Spiking角点检测方法，包括以下步骤：
步骤1:提取图像边缘，得到提取边缘的图像；
步骤2：对图像进行预处理
步骤2a：图像边缘脉冲编码
采用线性延迟编码对步骤1提取边缘的图像进行时间编码，得到图像脉冲点火时间；
步骤2b：初始化圆形权值检测模板
首先将圆形权值检测模板的上半圆按照角度分为N等分，N的取值为4-180之间，第i等份中神经元权值由外到内分别为(1-i/N)w1，(1-i/N)w2，(1-i/N)w3，其中，i＝1,2,3…N-1，w1、w2、w3取值范围为0-1之间的随机值，规定第i等份内的神经元为兴奋性神经元，其他等份内的神经元为抑制性神经元；
下半圆的权值取值与上半圆对称，下半圆内均为抑制性神经元，圆心位置的中心神经元没有权值，完成圆形权值检测模板初始化；
步骤3：检测的实施与检测神经网络的构建
找到步骤2a编码后的图像边缘像素点pi，将图像边缘像素点pi对应圆形权值检测模板的圆心，像素点左侧的像素点对应兴奋性神经元，右侧像素点对应抑制性神经元；
根据步骤2b的圆形权值检测模板，将检测像素点周围图像像素点与圆形权值检测模板进行全连接，图像边缘像素点设为相同的点火时间，以去除像素点先后顺序的影响；
通过一个判别神经元，即网络中第三层神经元来判断该图像边缘的像素点pi是否为角点；
若判别神经元电压超过一定阈值，则表明此像素点是角点，否则不是，可以对阈值进行调整来得到不同角度的角点。
与现有技术相比，本发明的优点在于：
一、运用Spiking脉冲电压阈值的检测模板，优化了网络连接方式，降低权重复杂度，提高了计算速度；
二、具有Spiking时序机制的处理方式，能够高效捕获时间信息。同时具有空间旋转位移不变性，高度仿生物大脑系统功能，捕获图像角点信息；
三、算法思想简单，操作较为容易，角点检测较为准确。
附图说明
图1线性延迟编码；
图2为本发明基于Spiking的角点检测模板；
图3为本发明基于Spiking的角点检测方法；
图4为本发明标准光学数字字符图像；
图5为本发明标准数字字符图像边缘提取；
图6为本发明基于图像轮廓的Spiking角点检测结果；
图7为本发明基于图像轮廓的Spiking角点检测结果，注意图7为一幅幅图；
图8为本发明基于灰度图像的Spiking角点检测结果。
具体实施方式
基于图像的Spiking角点检测方法如下所示：
(1)基于传统方法提取图像边缘，得到图像边缘，实验结果如图5、图7，简单数字图像、复杂图像的边缘提取结果。
(2)采用线性延迟编码对步骤(1)提取边缘的图像进行时间编码，得到图像脉冲点火时间，具体编码结构图如下图1所示，其脉冲时间编码公式如下，对图像像素点按照下面公式进行编码得到图像脉冲点火时间。
a＝T-|xi-Ts|
此编码方案以一个相对时间Ts为衡量标准，将带编码的任意实数xi，编码到其相对于Ts的点火时间上。其中ti为编码后的时间值，T为常数时间编码衡量标准，Ts设为当前像素值pi。脉冲时间编码后，时间编码为点火时间ti＝1，和不点火时间，ti＝0。
(3)初始化权值检测模板：具体模板如下图2所示，首先将圆形权值检测模板的上半圆按照角度分为N等分，N的取值为4-180之间，第i等份中神经元权值由外到内分别为(1-i/N)w1，(1-i/N)w2，(1-i/N)w3，其中，i＝1,2,3…N-1，w1、w2、w3取值范围为0-1之间的随机值，规定第i等份内的神经元为兴奋性神经元，如图中红色神经元所示，其他等份内的神经元为抑制性神经元，如图中蓝色神经元；
(3)首先在上述提取的边缘像素点上找一点pi，，将像素点pi对应到检测模板的中心，像素点pi左侧的像素点的方向对应检测模板的兴奋性神经元，相反一侧对应抑制性神经元。
(4)然后，将图2中的红色神经元对准检测图像角点的一边，将圆形区域内的图像像素点与定义的检测模板进行全连接，相关权值按照图3所示设置并进行全连接。除了定义的正方向左侧为兴奋性神经元外，其他方向均为抑制性神经元，并对神经元的脉冲点火时间进行设置，让神经元统一点火，从而去除像素点先后顺序变化的影响。
(4)其次，通过图3中的判别神经元对图像像素点pi是否为角点进行判断，如果判别神经元的电压累计值超过了设定的阈值，则说明此像素点为角点，否则不是，还可以通过不同的阈值调整对不同角度的角点进行检测。
(5)对于检测到的角点，根据角点之间的距离，对于距离较近的角点进行删除，减少角点的冗余。实验结果如下图6、图8，图6是对简单的数字图像进行角点检测，图8对复杂的图像进行角点检测，从而验证本文提出的方法的有效性，不仅对简单的图像，对复杂的图像的角点也有很好的作用。

Claims (1)

1.一种基于图像的Spiking角点检测方法，包括以下步骤：
步骤1:提取图像边缘，得到提取边缘的图像；
步骤2：对提取边缘的图像进行预处理
步骤2a：图像边缘脉冲编码
采用线性延迟编码对步骤1提取边缘的图像进行时间编码，得到提取边缘的图像的脉冲点火时间；
步骤2b：初始化圆形权值检测模板
首先将圆形权值检测模板的上半圆按照角度分为N等分，N的取值为4-180之间，第i等份中神经元权值由外到内分别为(1-i/N)w1，(1-i/N)w2，(1-i/N)w3，其中，i＝1,2,3…N-1，w1、w2、w3取值范围为0-1之间的随机值，规定第i等份内的神经元为兴奋性神经元，其他等份内的神经元为抑制性神经元；
下半圆的权值取值与上半圆对称，下半圆内均为抑制性神经元，圆心位置的中心神经元没有权值，完成圆形权值检测模板初始化；
步骤3：检测的实施与检测神经网络的构建
找到步骤2a编码后的图像边缘像素点pi，将图像边缘像素点pi对应圆形权值检测模板的圆心，图像边缘像素点pi左侧的像素点对应兴奋性神经元，右侧的像素点对应抑制性神经元；
根据步骤2b的圆形权值检测模板，将检测像素点周围图像像素点与圆形权值检测模板进行全连接，图像边缘像素点设为相同的点火时间，以去除图像边缘像素点、左侧的像素点、右侧的像素点先后顺序的影响；
通过一个判别神经元，即网络中第三层神经元来判断该图像边缘像素点pi是否为角点；
若判别神经元电压超过一定阈值，则表明此像素点是角点，否则不是，对阈值进行调整来得到不同角度的角点。
CN201610427938.0A 2016-06-15 2016-06-15 一种基于Spiking的图像角点检测方法 Active CN106097356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610427938.0A CN106097356B (zh) 2016-06-15 2016-06-15 一种基于Spiking的图像角点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610427938.0A CN106097356B (zh) 2016-06-15 2016-06-15 一种基于Spiking的图像角点检测方法

Publications (2)

Publication Number Publication Date
CN106097356A CN106097356A (zh) 2016-11-09
CN106097356B true CN106097356B (zh) 2018-07-06

Family

ID=57235857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610427938.0A Active CN106097356B (zh) 2016-06-15 2016-06-15 一种基于Spiking的图像角点检测方法

Country Status (1)

Country Link
CN (1) CN106097356B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764248B (zh) * 2018-04-18 2021-11-02 广州视源电子科技股份有限公司 图像特征点的提取方法和装置
CN113516676B (zh) * 2021-09-14 2021-12-28 成都时识科技有限公司 角点检测方法、脉冲神经网络处理器、芯片及电子产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513037A (zh) * 2014-09-30 2016-04-20 展讯通信（上海）有限公司 角点检测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011074014A2 (en) * 2009-12-16 2011-06-23 Tata Consultancy Services Ltd. A system for lip corner detection using vision based approach

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513037A (zh) * 2014-09-30 2016-04-20 展讯通信（上海）有限公司 角点检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于脉冲神经网络的边缘检测;蔡荣太 等;《微电子学与计算机》;20101031;第27卷(第10期);第178-185页 *

Also Published As

Publication number Publication date
CN106097356A (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
CN105957095B (zh) 一种基于灰度图像的Spiking角点检测方法
CN105205455B (zh) 一种移动平台上人脸识别的活体检测方法及系统
Miura et al. Feature extraction of finger vein patterns based on iterative line tracking and its application to personal identification
CN111027464B (zh) 对卷积神经网络和序特征编码联合优化的虹膜识别方法
CN103714322A (zh) 一种实时手势识别方法及装置
CN108090451B (zh) 一种人脸识别方法及系统
CN112989889B (zh) 一种基于姿态指导的步态识别方法
CN113361542A (zh) 一种基于深度学习的局部特征提取方法
CN110084830B (zh) 一种视频运动目标检测与跟踪方法
CN106097356B (zh) 一种基于Spiking的图像角点检测方法
CN110009680A (zh) 基于圆特征及异面特征点的单目图像位置、姿态测量方法
CN108875497B (zh) 活体检测的方法、装置及计算机存储介质
EP4105895A3 (en) Human-object interaction detection method, neural network and training method therefor, device, and medium
EP4123591A3 (en) Human-object interaction detection method, neural network and training method therefor, device, and medium
Cui et al. Monocular 3D fingerprint reconstruction and unwarping
Imani et al. Histogram of the node strength and histogram of the edge weight: two new features for RGB-D person re-identification
CN113034526B (zh) 一种抓取方法、抓取装置及机器人
Amiri et al. RASIM: a novel rotation and scale invariant matching of local image interest points
KR101450247B1 (ko) Ｓｉｆｔ 특징점에 기반한 손가락 정맥 인증 방법
CN117173792A (zh) 一种基于三维人体骨架的多人步态识别系统
CN104156956B (zh) 一种基于高斯小波一维峰值识别的多角度边缘检测方法
CN106778831B (zh) 基于高斯混合模型的刚体目标在线特征分类与跟踪方法
CN109146861A (zh) 一种改进的orb特征匹配方法
Liu et al. An image registration algorithm based on FREAK-FAST for visual SLAM
Punyani et al. Iris recognition system using morphology and sequential addition based grouping

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant