CN106780611A

CN106780611A - 一种使用智能终端摄像头角点检测方法

Info

Publication number: CN106780611A
Application number: CN201611134074.XA
Authority: CN
Inventors: 吴锦青; 王雪峰
Original assignee: GUANGDONG WENXUN TECHNOLOGY Co Ltd
Current assignee: GUANGDONG WENXUN TECHNOLOGY Co Ltd
Priority date: 2016-12-10
Filing date: 2016-12-10
Publication date: 2017-05-31

Abstract

本发明涉及一种使用智能终端摄像头角点检测方法，包括以下步骤：在进行角点检测前首先提取角点区域，具体实现步骤通过运用3x3 大小的相邻两个区域的灰度值之和的差值大小做比较来判别该区域是否有角点存在，若两个区域灰度变化之差达到给定的值，就认为该区域存在角点，否则为平坦区域。本发明算法简单，高效，稳定；通过简单数据循环(在垂直和水平方向)，就可以确定全部角点的点坐标，再根据角点坐标，找出最左上角，最右上角，最左下角及最右下角这4个点作为定位坐标；根据区域的判断，找出最合适的阀值，还对图像进行二值化的处理；算法中亮点是在确定了定位孔以后，清除该区域数据，避免不要的二次查找。

Description

一种使用智能终端摄像头角点检测方法

技术领域

本发明涉及一种使用智能终端摄像头角点检测方法。

背景技术

传统的手工阅卷给老师们造成很大的工作负担，尤其是考试繁多的中学老师，操作复杂的传统阅卷系统浪费了老师们大量的时间，以往的答题卡识别主要依靠线扫描技术，由上至下进行扫描，答题卡距离扫描点的位置是基本固定的，如图1所示。而采用移动式智能终端，答题卡与扫描点是不固定的，有近有远，有各种的偏离，如图2所示，因此为了减少对图像拍摄的依赖性，必须快速识别出图像的处理范围。

基于图像识别多点定位技术，能够快速完成对图像的4点定位判断，只在在这个定位的基础上才可以完成后面的图像畸形矫正及识别后续工作，为了减少对图像拍摄的依赖性，必须快速识别出图像的处理范围，比较通用的图像算法是使用角点分析方法，充分利用手机摄像头的彩色图像中边框的分布颜色处理，使得角点数目变少，算法原理比较简单，核心就是在众多角点分析出最边沿的4个角。

发明内容

本发明的首要目的在于提供一种使用智能终端摄像头角点检测方法，以解决智能终端进行扫描时答题卡与扫描点不固定的问题，并且在图形处理方法上更加简单、高效、稳定，为实现上述目的本发明的具体方案如下：

一种使用智能终端摄像头角点检测方法，包括以下步骤：

在进行角点检测前首先提取角点区域，具体实现步骤通过运用3x3 大小的相邻两个区域的灰度值之和的差值大小做比较来判别该区域是否有角点存在，公式如下：

其中(x₀,y₀)与(x₁,y₁)均表示一个模板的中心点的位置，

表示一个模板的像素灰度值之和， P(X ₁ ,Y ₁ )表示其相邻的另一个模板的区域的像素值的和，T ₁为给定阈值；

若两个区域灰度变化之差Δp达到给定的值T ₁，就认为该区域存在角点，否则为平坦区域。

优选的，所述可变阈值。

优选的，还包括以下步骤：

给定阈值T ₂，选取n*n大小的模板，计算角点区域中像素点(x，y)的角点化测量值C _简化(x，y)，若C _简化(x，y) ≥T ₂，计算交互角点测量值：

标记 C _交互(x, y) ≥ T ₂的像素点为初选点，所有满足该条件的点构成集合K；

给定阈值T ₃，对集合K中的初选点，以核心点为中心对初选点进行再判断，消除错误的角点分别计算：

；

若ΔI≤T ₃，认为该点是一个错误的角点，剔除该点。

优选的，还包括以下步骤：

用NMS 方法找到的具有局部最大角点响应值的候选点即为所求角点。

本发明提供的使用智能终端摄像头角点检测方法具有如下优点:

(1)算法简单，高效，稳定；

(2)通过简单数据循环(在垂直和水平方向)，就可以确定全部角点的点坐标，再根据角点坐标，找出最左上角，最右上角，最左下角及最右下角这4个点作为定位坐标；

(3)根据区域的判断，找出最合适的阀值，还对图像进行二值化的处理；

(4)算法中亮点是在确定了定位孔以后，清除该区域数据，避免不要的二次查找。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：

图1为采用线扫描技术的答题卡扫描结果示意图；

图2为现有技术采用移动式智能终端的答题卡偏离后扫描结果示意图；

图3为本发明实施例中将核心的划分为四个区域示意图；

图4为本发明实施例中将三种错误初选点示意图；

图5为本发明实施例中获得的角点示意图；

图6为Trajkovic角点检测算法过核心点直线与模板交点示意图；

图7为Trajkovic角点检测算法过核心点直线与坐标轴交点示意图。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

实施例

一种使用智能终端摄像头角点检测方法，包括以下步骤：

A.初步判断（大筛选）

在进行角点检测前首先提取角点区域，具体实现步骤通过运用3x3大小的相邻两个区域（即像素灰度值变化在一定范围内）的灰度值之和的差值大小做比较来判别该区域是否有角点存在，公式如下：

其中(x0,y0)与(x1,y1)均表示一个模板的中心点的位置，表示一个模板的像素灰度值之和， P(X1,Y1)表示其相邻的另一个模板的区域的像素值的和，T₁为给定阈值。

若两个区域灰度变化之差Δp达到给定的值T₁,就认为该区域存在角点,否则为平

坦区域，由于图像中灰度变化的不确定性，这里采用可变阈值：。

消除错误的角点

这部分算法是主要针对 Trajkovic 角点检测算法中将普通像素点错误的检测为角点的情况进行改进，将核心点的区域分为四区域，如图3所示，以3x3 大小的模板为例，分为( 1,2,3,4)四个区域，分别计算这四个区域中所有像素点的灰度值之和，公式如下：

求四个区域像素点灰度值之和的最大差值：

运用 Trajkovic 算法得到角点化测量值C交互(x, y)并将其比较给定阈值T ₂，可以得到一个初选点集K ，对(x c, y c ) ∈K 中的点进行进一步判断以剔除错误的初选点，给定阈值T ₃,如图4所示，本文分三种情况讨论：

(1) 如子图4(1)所示,如果初选点为角点，则ΔI = I cmax−Icmin有较大值，此时ΔI > T3;

(2)如子图4(2)所示,若初选点是边缘点且边缘存在噪声点,该情况下ΔI值较小,由给定阈值有ΔI <T3；

(3)如子图4(3)，(4)所示，初选点位于斜边中，该情况下由于四个区域的Ici(1,2,3,4)值差别不大，ΔI的值非常小，由给定阈值有ΔI<T3。

最后Trajkovic 角点算法通过此角点化测量值判别初选点是否为角点

综上所述,消除错误角点方法可以总结为：

标记 C _交互(x, y) ≥ T ₂的像素点为初选点，所有满足该条件的点构成集合K ；

；

若ΔI≤T ₃，认为该点是一个错误的角点，剔除该点。

用NMS 方法找到的具有局部最大角点响应值的候选点即为所求角点，如图5所示。

补充Trajkovic 角点检测算法.

如图6、7所示，Trajkovic角点检测算法角点判定准则是在模板内CRF亮度变化大小，即CRF值。

(1).考察(a)模板当核心点是角点，USAN 区域面积很小时，任意过核心点的一条直

线与模板的交点至多有一个，此时CRF 值较大；

(2).考察模板(b)当核心点位于图形中物体的内部区，任意一条过核心点的直线与模板的交点至少由一个交点，此时CRF 值较小；

(3).考察模板(c), 这时交点的情况，是与(1)相同的，不同之处是核心点位于USAN外部区域，此时CRF 值较大；

(4).考察模板(d)，核心点位于边缘上，过核心点的直线与模板的交点为两个的只有一条，其它任意直线都与模板只有一个交点，不存在有零个交点的情况，此时CRF值较小。

由于p 和p′点的位置任意，具有不确定性，所以Trajkovic 角点检测算法通过给出一个角点化测量值C(x a, y a)来间接求出核心点的CRF 值大小，Trajkovic 角点检测算法以核心点为原点创建一个直角坐标系，则穿过核心点的任意两条直线与坐标系的几何关系表示。角点化测量值公式如下：

可以看出过核心点的直线PP′和QQ′与坐标轴的关系，其中B和B′为模板

边缘上关于a 点在x方向对称的两点，C和C′为a 点在y方向对称的两点。

当这两条直线分别于两个坐标轴重合，则有简化的角点化测量，公式如下：

若这两条直线不与坐标轴重合，则利用这两条过核心点的直线与模板的交点的灰度值可以由通过已知的四点C,C′, B, B′处的灰度值表示：

本实施例中的代码实现如下：

'从灰度图像中快速找出全部的角点

Sub Find_AllConcentricCircles(StartX As Int ,StartY As Int ,EndX As Int ,EndY As Int ) As Int

Dim i As Int

Dim j As Int

Dim Adjust As Int

Dim compIndex As Int

Dim IsAddNewPoint As Boolean '是否增加新的标记点.

Dim XX_Length As Int

Dim YY_Length As Int

Dim XY_Length As Int

'Dim merect As Rect

PointCount=0

For j= StartY+20 To EndY-20 Step 2 'Y方向.[20-->(640-20)]

For i=StartX To EndX 'Step 3 'X方向.[ 0-->480]

Adjust= Find_ONEConcentricCircle(i,j,15,15) '在15X15的块中找出是否为角点特性

If (Adjust=1) Then '表明当前块确定为角点的特性.

'**********************************************************************

'根据当前块的坐标，与前面的所有数据比对，计算出距离.如果距离太小的，就不再添加.

'**********************************************************************

IsAddNewPoint=True

For compIndex=1 To PointCount

XX_Length =Abs(ORG_POINTXY(compIndex-1,0)-tmpNowPointX) '计算X方向的绝对差值

YY_Length =Abs(ORG_POINTXY(compIndex-1,1)-tmpNowPointY) '计算Y方向的绝对差值

Adjust=XX_Length*XX_Length+YY_Length*YY_Length

XY_Length=Sqrt(Adjust)

If(XY_Length<40) Then '距离太近了.就不添加这条记录了.

IsAddNewPoint=False

Exit

End If

If IsAddNewPoint=True Then

medraw.DrawLine(i,j,i+40,j,Colors.Red,1) '正确的坐标点使用红色.

' SP_Camera_INFO.Text =SP_Camera_INFO.Text & "(" &tmpNowPointX & "," & tmpNowPointY & ") "

'存贮当前的坐标点.

ORG_POINTXY(PointCount,0) = tmpNowPointX 'X坐标.

ORG_POINTXY(PointCount,1) = tmpNowPointY 'Y坐标.

PointCount=PointCount+1

'medraw.DrawText(PointCount,tmpNowPointX,tmpNowPointY,Typeface.DEFAULT_BOLD,10,Colors.Blue,"CENTER")

If(PointCount>50) Then

'Msgbox ("查找原点数据太多了,异常!","info")

Return 0 '数据是乱的，不处理.

End If

Else '还是将这个原始数据用文本形式显示出来.

' medraw.DrawLine(i,j,i+40,j,Colors.Blue,1) '与其它坐标点合并的使用蓝色.

' SP_Camera_INFO.Text =SP_Camera_INFO.Text & "(*" &tmpNowPointX & "," & tmpNowPointY & "*) "

End If

i=i+40 '表明当前找到了正确的数据，就在水平方向进行到下一段.避免重复添加.

End If

' If PointCount>=4 Then Exit

'根据前面找出的点位,

Return PointCount '表明未找到正确的定位点

End Sub

'判断当前位置是否存在角点特性(将采用动态的阀值)

Sub Find_ONEConcentricCircle( XX As Int , YY As Int,DETE_W As Int,DETE_HAs Int) As Int

Dim i As Int

Dim j As Int

Dim bright_1 As Int '是1的判断

Dim bright_0 As Int '是0的判断

Dim FIND_BIT_1 As Int

Dim FIND_BIT_2 As Int

Dim FIND_BIT_3 As Int

Dim FIND_BIT_4 As Int

Dim FIND_BIT_5 As Int

Dim ORG_X1 As Int

Dim ORG_X2 As Int

Dim ORG_Y1 As Int

Dim ORG_Y2 As Int

Dim tmpORGdata(45) As Int

Dim tmp_FZ_1 As Int =100 '为白色的阀值

Dim tmp_FZ_0 As Int =50 '为黑色的阀值.

'######################################################################

'第一步..从左到右进行查找

'######################################################################

'++++++++++++++++++++++++++++++++++++++++++++++++++

'1a.预处理，在X方向找到一个合适的阀值

'++++++++++++++++++++++++++++++++++++++++++++++++++

j=0

For i=1 To DETE_W

j=j+SPBMP_DATA(i+XX,YY)

tmp_FZ_1=1.2*i: '大于此值为1: 1.2*100=120

tmp_FZ_0=0.8*i '小于此值为0: 0.8*100=80

'++++++++++++++++++++++++++++++++++++++++++++++++++

'1b.下面将开始进行特征分布数据比对

'++++++++++++++++++++++++++++++++++++++++++++++++++

bright_0=0:bright_1=0'清除计数器

FIND_BIT_1=0: FIND_BIT_2=0: FIND_BIT_3=0: FIND_BIT_4=0: FIND_BIT_5=0:

For i=1 To DETE_W

'++++++++++++++++++++++++++++++++++++++++++++++++++

If SPBMP_DATA(XX,YY) > tmp_FZ_1 Then '白色累计.

'++++++++++++++++++++++++++++++++++++++++++++++++++

' SPBMP_DATA(XX,YY)=1 '直接二值化.

bright_1=bright_1+1

If(bright_1>3) Then '白色累计连续出现了４次,标记数据为1

bright_0=0

If FIND_BIT_1=0 Then

FIND_BIT_1=1 '第1次阶段出现1[1]

Else IF FIND_BIT_2=1 And FIND_BIT_3=0 Then

FIND_BIT_3=1 '第3阶段出现1[101]

Else IF FIND_BIT_4=1 And FIND_BIT_5=0 Then

FIND_BIT_5=1 '第5阶段出现1

Exit '成功找到数据了,就退出FOR

End If

'++++++++++++++++++++++++++++++++++++++++++++++++++

ELSE If SPBMP_DATA(XX,YY) < tmp_FZ_0 Then '黑色累计.

'++++++++++++++++++++++++++++++++++++++++++++++++++

bright_0=bright_0+1

If(bright_0>3) Then '黑色累计连续出现了４次，标记为数据0

bright_1=0

If FIND_BIT_1=1 And FIND_BIT_2=0 Then

FIND_BIT_2=1 '第2阶段出现0[10]

ORG_X1=XX '记录下X,中心起始点.

else If FIND_BIT_3=1 And FIND_BIT_4=0 Then

FIND_BIT_4=1 '第４价段出现0 [1010]

ORG_X2=XX '中心结束点.

End If

If XX<480 Then XX=XX+1 '向右移动

Return 0 '在水平方向未找到匹配，就直接退出了.

Else

' Return 1

End If

'+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

'第二步..从上往下进行查找

'###################################################################

XX=(ORG_X2-ORG_X1)/2:XX=XX+ORG_X1:

tmpNowPointX=XX '此点作为X方向的中心点.

tmpNowPointY=YY '此点作为Y方向的中心点.

YY=YY-DETE_H/3

'++++++++++++++++++++++++++++++++++++++++++++++++++

'2a.预处理，在X方向找到一个合适的阀值

'++++++++++++++++++++++++++++++++++++++++++++++++++

j=0

For i=1 To DETE_H

j=j+SPBMP_DATA(XX,YY+i)

tmp_FZ_1=1.2*i: '大于此值为1: 1.2*100=120

tmp_FZ_0=0.8*i: '小于此值为0: 0.8*100=80

'++++++++++++++++++++++++++++++++++++++++++++++++++

'2b.下面将开始进行特征分布数据比对

'++++++++++++++++++++++++++++++++++++++++++++++++++

bright_0=0:bright_1=0'清除计数器

FIND_BIT_1=0: FIND_BIT_2=0: FIND_BIT_3=0: FIND_BIT_4=0: FIND_BIT_5=0:

For j=ORG_X1 To ORG_X2 'X的距离从ORGX1到ORGX2进行判断.

For i=1 To DETE_H

tmpORGdata(i)=SPBMP_DATA(j,YY)

'++++++++++++++++++++++++++++++++++++++++++++++++++

If SPBMP_DATA(XX,YY) > tmp_FZ_1 Then '白色累计.

'++++++++++++++++++++++++++++++++++++++++++++++++++

bright_1=bright_1+1

If(bright_1>3) Then '白色累计连续出现了４次,标记数据为1

bright_0=0

If FIND_BIT_1=0 Then

FIND_BIT_1=1 '第1阶段

Else IF FIND_BIT_2=1 And FIND_BIT_3=0 Then

FIND_BIT_3=1 '第3阶段

' Exit

Else IF FIND_BIT_4=1 And FIND_BIT_5=0 Then

FIND_BIT_5=1 '第5阶段

Exit '成功找到数据了,就退出FOR

End If

'++++++++++++++++++++++++++++++++++++++++++++++++++

ELSE If SPBMP_DATA(XX,YY) < tmp_FZ_0 Then '黑色累计.

'++++++++++++++++++++++++++++++++++++++++++++++++++

bright_0=bright_0+1

If(bright_0>3) Then '黑色累计连续出现了４次，标记为数据0

bright_1=0

If FIND_BIT_1=1 And FIND_BIT_2=0 Then

FIND_BIT_2=1 '(2)第2阶段出现0[10]

ORG_Y1=YY '记录下y,中心起始点.

else If FIND_BIT_3=1 And FIND_BIT_4=0 Then

FIND_BIT_4=1 '(4)第４价段出现0 [1010]

ORG_Y2=YY '记录下yy,中心结束点.

'Exit

End If

If YY<640 Then YY=YY+1 '向右移动

If FIND_BIT_5=1 Then Exit

'############################################

'第三步..清除矩形的数据,不让后面在垂直方向进行重复判断。

'############################################

For j=ORG_Y1 To ORG_Y2

For i= ORG_X1 To ORG_X2

SPBMP_DATA(i,j)=0

Return 1

Else

Return 0

End If

End Sub

以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种使用智能终端摄像头角点检测方法，其特征在于包括以下步骤：

其中(x₀,y₀)与(x₁,y₁)均表示一个模板的中心点的位置，

2.如前面要求1所述的一种使用智能终端摄像头角点检测方法，其特征在于：

所述可变阈值。

3.如前面要求1或2所述的一种使用智能终端摄像头角点检测方法，其特征在于还包括以下步骤：

；

若ΔI≤T ₃，认为该点是一个错误的角点，剔除该点。

4.如权利要求3所述的一种使用智能终端摄像头角点检测方法，其特征在于还包括以下步骤：