CN105488512B - 基于Sift特征匹配和形状上下文的试卷阅卷方法 - Google Patents

基于Sift特征匹配和形状上下文的试卷阅卷方法 Download PDF

Info

Publication number
CN105488512B
CN105488512B CN201510848900.6A CN201510848900A CN105488512B CN 105488512 B CN105488512 B CN 105488512B CN 201510848900 A CN201510848900 A CN 201510848900A CN 105488512 B CN105488512 B CN 105488512B
Authority
CN
China
Prior art keywords
picture
paper
characteristic point
answered
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510848900.6A
Other languages
English (en)
Other versions
CN105488512A (zh
Inventor
唐金辉
李泽超
王学明
曹通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201510848900.6A priority Critical patent/CN105488512B/zh
Publication of CN105488512A publication Critical patent/CN105488512A/zh
Application granted granted Critical
Publication of CN105488512B publication Critical patent/CN105488512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于Sift特征匹配和形状上下文的试卷阅卷方法，包括：输入两张图片，包括未作答试卷和已作答试卷；分别对图片进行Sift特征匹配；计算旋转角平均差值，对已作答试卷的图片依照旋转角平均差值旋转；对旋转后的已作答试卷的图片，与未旋转的已作答试卷的图片惊醒Sift特征匹配，获取两幅图像的特征点；对获得的特征点，获取特征点在x轴方向的差值和y轴方向的差值，根据产值对旋转后的已作答试卷图片进行平移；平移后的图片和未作答试卷图片相减获取两张图片的不同区域；在上述不同区域中获得答案区域；计算形状上下文特征；对形状上下文特征，根据手写字母训练集，分别提取像素特征，根据邻近算法得到识别出来的类别。

Description

基于Sift特征匹配和形状上下文的试卷阅卷方法
技术领域
本发明涉及图像识别及图像处理技术，特别是一种基于Sift特征匹配和形状上下文的试卷阅卷方法。
背景技术
随着手机，数码摄像机等数字成像设备普及和大储存设备价格的下降。大量的图片信息来到我们的身边。人眼看到的信息都可以通过这些设备记录。图像处理和识别的技术就应用而生。本发明就是图像处理和图像识别在日常生活中提出来的，为了减轻老师的阅卷负担，根据相关技术，发明一种基于Sift特征匹配和形状上下文的试卷阅卷系统。相关技术包括了图像的二值化、膨胀与腐蚀和轮廓追踪和图像sift特征匹配和形状上下文特征匹配等方法。
发明内容
本发明的目的在于提供一种基于Sift特征匹配和形状上下文的试卷阅卷方法。该方法包括：
步骤1，输入两张图片，包括未作答试卷和已作答试卷；
步骤2，分别对图片进行Sift特征匹配，其中，统计匹配的特征点集合为M{m1,m2,...mi,...}，两幅图像的特征点分别为K1{k11,k12,...}，K2{k21,k22,...}；
步骤3，选取两个不同的匹配特征点，计算旋转角平均差值，对已作答试卷的图片依照旋转角平均差值旋转；
步骤4，对旋转后的已作答试卷的图片，与未旋转的已作答试卷的图片进行Sift特征匹配，获取两幅图像的特征点；
步骤5，对步骤4获得的特征点，获取特征点在x轴方向的差值和y轴方向的差值，根据差值对旋转后的已作答试卷图片进行平移；
步骤6，平移后的图片和未作答试卷图片相减获取两张图片的不同区域；
步骤7，在上述不同区域中获得答案区域；
步骤8，计算形状上下文特征；
步骤9，对形状上下文特征，根据手写字母训练集，分别提取像素特征，根据邻近算法得到识别出来的类别。
本发明与现有技术相比，具有以下优点：本系统就是根据上述相关的技术再结合日常需求，设计了自动阅卷系统。目的是减少老师的工作量，使图像识别和图像处理技术应用到实际之中。
下面结合说明书附图对本发明做进一步描述。
附图说明
图1是本发明基于sift特征匹配和形状上下文的试卷阅卷系统流程图。
图2是基于sift特征匹配和形状上下文的试卷阅卷系统中计算旋转角度示意图。
图3是说明sift特征匹配具有很好的可行性。图中的圆圈表示sift特征值，直线表示特征点匹配的结果。
图4是基于sift特征匹配和形状上下文的试卷阅卷系统的效果实例图。其中图4(a)、(d)表示输入的未作答的试卷，图4(b)、(e)表示画出答案区域的效果图。图4(c)、(f)表示最后检测出的结果。
具体实施方式
一种基于Sift特征匹配和形状上下文的试卷阅卷方法，包括以下步骤：
步骤1，输入两张图片。这两张图片包括未作答试卷和已作答的试卷，其中已经作答的试卷不能乱涂乱画，要在相应区域作答。
步骤2，特征匹配。为了减少计算量，将两张图片调整为450*800,然后对两张图片进行sift特征匹配。统计匹配的特征点集合为M{m1,m2,...mi,...}，两幅图像的特征点分别为K1{k11,k12,...}，K2{k21,k22,...}。
步骤3，计算旋转角。从集合M中选取mi、mj，i≠j。分别计算角
αi＝arctan(K1[mi(y)]-K1[mj(y)]/K1[mi(x)]-K1[mj(x)])
αj＝arctan(K2[mi(y)]-K2[mj(y)]/K2[mi(x)]-K2[mj(x)])
其中K1[mi(x)]、K1[mi(y)]、K1[mj(x)]、K1[mj(y)]、K2[mi(x)]、K2[mi(y)]、K2[mj(x)]、K2[mj(y)]分别为两幅图片匹配的特征点的纵横坐标，p为集合M中选取不同两个匹配特征点索引值。αi、αj分别为两张图片的匹配特征点的梯度方向，取遍集合M的所以组合(αi，αj)最后计算旋转角平均差值所述K为集合M的所有两个元素组合数，k为集合M的所有两个元素组合的索引值。
步骤4，得到两张图的不同区域。
4.1)根据β值，对作答图片进行旋转，旋转之后再与原图进行Sift特征匹配，重复步骤三得到两张图片的匹配点。
4.2)分别计算匹配点x轴方向的差值，和y轴方向的差值，根据差值进行平移。最后将旋转和平移好的图与未作答的图进行相减，得到两张图的不同区域。
步骤5，获得答案区域。把相减得到图片，进行二值化和腐蚀与膨胀，最后根据轮廓追踪得到相应的答案区域。
步骤6，计算形状上下文特征。假设两张图片为SrcI和DstP，SrcI为未作答图片，DstP为已作答图片，通过边缘检测和轮廓追踪算法分别得到两张图片的特征点集合P{p1,p2,...,pn}，Q{q1,q2,...,qn}。对于集合P中的每个特征点pi，需要在集合Q中找到与其匹配的代价最小的特征点qj，假设j＝r(i)。那么计算两个图像形状之间的相似问题可以转化成，求解其中i、j＝r(i)，r(i)表示pi特征点在集合Q中找到与其匹配的代价最小的特征点qj的映射关系。其中两个特征点的代价通过汉明距离表示。为了方便计算，计算特征点的形状直方图。
6.1)将整个平面空间从方向上平均划出12个方向，同时在半径上均匀的划分3份，整个平面被划分为36个区域，然后统计其他特征点落在每个区域的个数。
6.2)两点的匹配代价cost值可以记作Cij＝C(pi,qj)，则则整个形状代价为其中qπ(i)表示pi在Q集合中找到的最小代价特征点，n表示Q集合的元素个数。找到一个对应关系，需要进一步用一个变换T来衡量形状之间的转变，所以，最后的形状距离可以用估计的变换来表示：
其中Dsc(P,Q)表示两个形状之间的代价，T(.)表示TPS形状变换，m、n表示P、Q集合元素个数，p、q表示P、Q集合的元素，最后根据最优匹配算法得到最优解，例如匈牙利算法。
步骤7，根据形状上下文特征，通过网上的手写字母训练集，分别提取它们的像素特征，然后通过距离计算得到knn，通过knn来得到识别出来的类别。

Claims (2)

1.一种基于Sift特征匹配和形状上下文的试卷阅卷方法，其特征在于，包括：
步骤1，输入两张图片，包括未作答试卷和已作答试卷；
步骤2，分别对图片进行Sift特征匹配，其中，统计匹配的特征点集合为M{m1,m2,...mi,...}，两幅图像的特征点分别为K1{k11,k12,...}，K2{k21,k22,...}；
步骤3，选取两个不同的匹配特征点，计算旋转角平均差值，对已作答试卷的图片依照旋转角平均差值旋转；
步骤4，对旋转后的已作答试卷的图片，与未旋转的已作答试卷的图片进行Sift特征匹配，获取两幅图像的特征点；
步骤5，对步骤4获得的特征点，获取特征点在x轴方向的差值和y轴方向的差值，根据差值对旋转后的已作答试卷图片进行平移；
步骤6，平移后的图片和未作答试卷图片相减获取两张图片的不同区域；
步骤7，在上述不同区域中获得答案区域；
步骤8，计算形状上下文特征；
步骤9，对形状上下文特征，根据手写字母训练集，分别提取像素特征，根据邻近算法得到识别出来的类别；
步骤3包括：
步骤3.1，遍历集合M，选取集合M中不同的任意元素mi、mj，i≠j；
步骤3.2，分别计算两张图片上的匹配特征点的梯度方向αi、αj，其中
αi＝arctan(K1[mi(y)]-K1[mj(y)]/K1[mi(x)]-K1[mj(x)])
αj＝arctan(K2[mi(y)]-K2[mj(y)]/K2[mi(x)]-K2[mj(x)])
其中，K1[mi(x)]、K1[mi(y)]、K1[mj(x)]、K1[mj(y)]、K2[mi(x)]、K2[mi(y)]、K2[mj(x)]、K2[mj(y)]分别为两幅图片匹配的特征点的纵横坐标；
步骤3.3，重复执行步骤3.1和3.2，获取集合M的所有两个元素组合的梯度方向；
步骤3.4，计算旋转角平均差值所述K为集合M的所有两个元素组合数，k为集合M的所有两个元素组合的索引值；
步骤8包括：
步骤8.1，通过边缘检测和轮廓追踪算法分别得到步骤7得到的未作答和已作答的两张图片的特征点集合P{p1,p2,...,pn}，Q{q1,q2,...,qn}；
步骤8.2，对于集合P中的每个特征点pi，i∈[1,n]，在集合Q中找到与其匹配的代价最小的特征点qj，j∈[1,n]；
步骤8.3，将整个平面空间从方向上平均划出12个方向，同时在半径上均匀的划分3份，整个平面被划分为36个区域，统计特征点落在每个区域的个数；
步骤8.4，计算特征点pi与匹配的代价最小的特征点qj两点的匹配代价cost值其中hi(.)为未作答图片中特征点pi的形状直方图，hj(.)为已作答图片中特征点qj的形状直方图；
步骤8.5，采用TPS形状变换获取形状距离
其中Dsc(P,Q)表示两个形状之间的代价，T(.)表示TPS形状变换，m、n表示P、Q集合元素个数，p、q表示P、Q集合的元素；
步骤8.6，根据最优匹配算法得到最优解。
2.根据权利要求1所述的方法，其特征在于，步骤8.6的最优匹配算法为匈牙利算法。
CN201510848900.6A 2015-11-27 2015-11-27 基于Sift特征匹配和形状上下文的试卷阅卷方法 Active CN105488512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510848900.6A CN105488512B (zh) 2015-11-27 2015-11-27 基于Sift特征匹配和形状上下文的试卷阅卷方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510848900.6A CN105488512B (zh) 2015-11-27 2015-11-27 基于Sift特征匹配和形状上下文的试卷阅卷方法

Publications (2)

Publication Number Publication Date
CN105488512A CN105488512A (zh) 2016-04-13
CN105488512B true CN105488512B (zh) 2019-07-12

Family

ID=55675484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510848900.6A Active CN105488512B (zh) 2015-11-27 2015-11-27 基于Sift特征匹配和形状上下文的试卷阅卷方法

Country Status (1)

Country Link
CN (1) CN105488512B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485256A (zh) * 2016-10-10 2017-03-08 宋育锋 基于sift特征点的双标签相对位置信息构建方法
CN107506746A (zh) * 2017-09-08 2017-12-22 电子科技大学中山学院 智能阅卷系统无定位点图像识别方法及系统
CN110008858B (zh) * 2019-03-20 2021-11-16 联想(北京)有限公司 试卷展示方法及装置、计算机系统和计算机可读存储介质
CN109948572A (zh) * 2019-03-27 2019-06-28 联想(北京)有限公司 一种自动阅卷方法及系统
CN111666882B (zh) * 2020-06-08 2023-04-25 武汉唯理科技有限公司 一种手写体试题答案提取方法
CN112700414B (zh) * 2020-12-30 2024-08-30 广东德诚科教有限公司 一种用于考试阅卷的空白作答检测方法及系统
CN113095187A (zh) * 2021-04-01 2021-07-09 杭州云梯科技有限公司 一种基于图像特征匹配对齐的试卷批改方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143094A (zh) * 2014-07-08 2014-11-12 北京彩云动力教育科技有限公司 一种无需答题卡的试卷自动阅卷处理方法及系统
CN104866851A (zh) * 2015-03-01 2015-08-26 江西科技学院 一种图像匹配的sift算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090185746A1 (en) * 2008-01-22 2009-07-23 The University Of Western Australia Image recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143094A (zh) * 2014-07-08 2014-11-12 北京彩云动力教育科技有限公司 一种无需答题卡的试卷自动阅卷处理方法及系统
CN104866851A (zh) * 2015-03-01 2015-08-26 江西科技学院 一种图像匹配的sift算法

Also Published As

Publication number Publication date
CN105488512A (zh) 2016-04-13

Similar Documents

Publication Publication Date Title
CN105488512B (zh) 基于Sift特征匹配和形状上下文的试卷阅卷方法
US10289924B2 (en) System and method for scanned document correction
AU2015317344B2 (en) Mobility empowered biometric appliance a tool for real-time verification of identity through fingerprints
EP2372310A3 (en) Image processing system and position measurement system
CN105654421B (zh) 基于变换不变低秩纹理的投影变换图像匹配方法
CN104809436A (zh) 一种弯曲书面文字识别方法
JP6859765B2 (ja) 画像処理装置、画像処理方法およびプログラム
Hong et al. Rectification of elemental image set and extraction of lens lattice by projective image transformation in integral imaging
US10977511B2 (en) Optical character recognition of series of images
CN103080979A (zh) 从照片合成肖像素描的系统和方法
Merino-Gracia et al. Fast perspective recovery of text in natural scenes
Chen et al. Method on water level ruler reading recognition based on image processing
CN108961182B (zh) 针对视频图像的竖直方向灭点检测方法及视频扭正方法
Zhou et al. Identifying designs from incomplete, fragmented cultural heritage objects by curve-pattern matching
Chang et al. Generating 360 outdoor panorama dataset with reliable sun position estimation
CN115082935A (zh) 用于对文档图像进行矫正的方法、设备及存储介质
CN104751139A (zh) 基于汗腺特征点和指纹图像特征点的快速指纹识别方法
Zhang et al. An improved SIFT underwater image stitching method
JP6086491B2 (ja) 画像処理装置およびそのデータベース構築装置
Cheng et al. Automatic registration of coastal remotely sensed imagery by affine invariant feature matching with shoreline constraint
CN104156952B (zh) 一种抵抗形变的图像匹配方法
CN115660995A (zh) 一种利用直线图案的相机正畸方法及系统
Chazalon et al. A semi-automatic groundtruthing tool for mobile-captured document segmentation
JP6478282B2 (ja) 情報端末装置及びプログラム
Rajeev et al. Method for modeling post-mortem biometric 3D fingerprints

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant