CN112288058B - 一种基于增强现实的答案智能填写方法 - Google Patents

一种基于增强现实的答案智能填写方法 Download PDF

Info

Publication number
CN112288058B
CN112288058B CN202011224248.8A CN202011224248A CN112288058B CN 112288058 B CN112288058 B CN 112288058B CN 202011224248 A CN202011224248 A CN 202011224248A CN 112288058 B CN112288058 B CN 112288058B
Authority
CN
China
Prior art keywords
dimensional code
answer
brackets
picture
question
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011224248.8A
Other languages
English (en)
Other versions
CN112288058A (zh
Inventor
姚争为
叶丽丽
徐光涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Normal University
Original Assignee
Hangzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Normal University filed Critical Hangzhou Normal University
Priority to CN202011224248.8A priority Critical patent/CN112288058B/zh
Publication of CN112288058A publication Critical patent/CN112288058A/zh
Application granted granted Critical
Publication of CN112288058B publication Critical patent/CN112288058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明涉及一种基于增强现实的答案智能填写方法，属于计算机与计算机视觉技术领域。包括：1)为习题制作含有答案及题目类型的二维码，将二维码粘贴在对应的习题旁；2)用摄像头扫描二维码，获取二维码边长及二维码偏转角度；3)根据二维码中包含的答案类型、数量及答案内容确定题目括号数量；4)根据二维码位置划定题目所在的ROI；5)识别指定数量的括号，将左右括号进行排序配对；6)将答案信息转为包含答案的图片；7)根据二维码偏转角度对答案图片进行仿射变换；8)将答案图片填入对应的括号中。整个过程操作简单，查找效率高，大大提高了学习效率。

Description

一种基于增强现实的答案智能填写方法
技术领域
本发明涉及计算机与计算机视觉技术领域，具体地说，涉及一种基于增强现实的答案智能填写方法。
背景技术
增强现实(Augmented Reality，简称AR)技术是使真实世界信息与虚拟世界信息巧妙融合的技术，其虚实结合，实时交互的特点给使用者带来独特的感官体验，随着AR技术与教育的结合，出现了AR课本等学习辅助工具。
目前，学生对于答案的查阅多是通过上网查找，如公布号为CN108021691A的发明专利申请文献公开的一种案查找方法，或查找纸质答案，但是往往效率都不高。很多练习册的制造商为了方便学生查阅，常将答案册与习题册分开，这容易增加答案丢失的概率，影响查找答案的效率。
另外，传统的答案查找方法比较枯燥，没有趣味性。在做完习题后对答案进行翻找，还容易找错，影响学习效果。
发明内容
本发明的目的是提供一种基于增强现实的答案智能填写方法，可以将一本含有习题的普通教材变成具有增强现实效果的智能读本，提高查找答案的效率以及学习趣味性，进而提高学习效率。
为了实现上述目的，本发明提供的基于增强现实的答案智能填写方法包括以下步骤：
1)为习题制作含有答案及题目类型的而二维码，将二维码粘贴在对应的习题旁；
2)用摄像头扫描二维码，获取二维码边长及二维码偏转角度；
3)根据二维码中包含的答案类型、数量及答案内容确定题目括号数量；
4)根据二维码位置划定题目所在的ROI；
5)识别指定数量的括号，将左右括号进行排序配对；
6)将答案信息转为包含答案的图片；
7)根据二维码偏转角度对答案图片进行仿射变换；
8)将答案图片填入对应的括号中。
上述技术方案中，用户启动软件对二维码进行扫描，其中二维码是为习题制作的含有答案等信息的二维码，并将二维码放置于习题旁。当识别到符合要求的二维码时，二维码旁的题目括号中会自动填入答案。整个过程操作简单，查找效率高，大大提高了学习效率。
可选地，步骤2)包括：
2-1)对摄入的图像每一帧进行分解，对图像帧进行灰度处理、去燥处理、二值化处理以及阈值化处理；
2-2)对处理过的图像进行轮廓提取，得到所有轮廓；
2-3)对轮廓进行筛选，得到二维码的三个定位角轮廓，对第四个角进行预估处理，得到二维码位置；
2-4)获取二维码与水平线的偏转角度，得到所述的二维码偏转角度；
2-5)计算二维码边上两点的距离得到所述的二维码边长。
步骤2-1)中，首先需要对图像帧进行通道处理，将图像转换为单通道图像，在阈值化操作和轮廓提取操作时，相关函数仅对单通道图像进行处理。
对图像进行去噪处理时，可采用具有边缘保存特性的双边滤波对图像进行处理。其好处是在去除大量噪声的同时保证二维码图像的边缘不受影响。
对图像进行阈值化处时，可以采用最大类间方差法(Otsu)进行图像的二值化操作，可以基于整幅图像的统计特性来实现阈值的自动选取。
对图像帧预处理过后，对图像帧的轮廓进行提取，目的是找到二维码的三个定位角，实现二维码的定位，二维码的三个定位图形是大矩形内嵌套小矩形构成了相互包含的轮廓区域，而在自然图片中是不容易出现这样的区域的，因此可以对二维码的三个定位点进行准确的定位，具体包括以下步骤：
采用OpenCV提供的轮廓查找算法对进行轮廓提取，在查找定位角轮廓时，可设置轮廓获取模式为树模式，这样可以获取到所有轮廓并建立网状轮廓结构，更易于找到轮廓间的包含关系；
对轮廓进行提取后，当轮廓满足一定的包含关系与比例关系后，认为该轮廓为二维码的定位角；
通过定位角定位到二维码后，获取二维码的偏转角度及边长，为后面的操作打下基础；
其中，当图像中有多个二维码，会随机识取其中的一个二维码。
可选地，步骤3)中，采用ZBar对二维码内容进行提取，获取到二维码中的题目类型信息，括号数量信息及答案内容信息，从二维码获取到的信息一般存储在String字符串中，容易出现中文乱码的情况，对于这种情况，可将字符串映射到宽字符(unicode)，然后进行转码。
可选地，步骤4)中，根据二维码位置划定题目所在的ROI中，还包括：根据所述二维码位置，对题目所在的位置进行预估，得到题目所在的矩形区域；在该区域进行步骤5)中左右括号的识别，并对识别到的所有括号进行先后排序。
已知二维码的位置，预估出题目所在位置，划出ROI，题目间距离较小时，可以减小其他题目误判为本题的可能。
可选地，步骤5)包括：用模板匹配算法中的归一化相关系数匹配法对括号进行匹配，获取到括号的位置；对括号进行排序，确定答案填入的先后顺序。
步骤3)已获取题目括号的数量，由于括号是成对存在的，通过模板匹配算法识别到该指定数量的括号对，具体细节如下：
模板匹配是通过在输入图像上滑动图像块，对实际的图像块和输入图像进行匹配的一种匹配方法。可以使用OpenCV提供的归一化相关系数匹配法进行模板匹配，能降低模板与识别图片之间由于光照不同引起的效果；
假设括号模板的灰度矩阵为T[M][N]，灰度均值为μr，均方差为εγ，输入图像帧区域的灰度矩阵为R[M][N]，灰度均值与均方差分别为μR，εR，那么它们之间的相关系数r(T，R)为归一化相关系数匹配法计算出的相关系数r为：
Figure BDA0002763118530000051
通过对左右括号“(”，“)”模板的平移，识别出所标定ROI 区域内的所有括号。由于括号都是成对存在的，仅识别到左括号或右括号，答案都无法准确的填入括号内，所以仅在识别到的括号数量与二维码中获取到的题目数量成二倍正比时，继续进行识别。
本发明应用的是模板匹配中的化相关系数匹配法，匹配的结果是以相似度最大的作为返回结果，而不是由上至下有顺序的识取，所以识别出的括号顺序就存在不确定性，需要对识别到的括号进行排序。
可选地，步骤6)包括：从后台获取答案图片；将二维码中的答案信息输出到图片；掩膜反色使图片除答案外的部分变为透明，生成所需要的答案图片。
可选地，步骤7)包括：获取所述二维码偏转角度；根据二维码偏转角度对答案进行旋转处理。
可选地，在一个实施例中，步骤8)包括：获取二维码存储的答案信息；根据所述的二维码边长对答案大小进行处理，并填入对应的括号中。
与现有技术相比，本发明的有益之处在于：
本发明只需一台有照相功能的手机或电脑即可实现扫描二维码智能填充答案，十分方便快捷。可以提高查找答案的效率，提高学习趣味性，提高学习效率。
附图说明
图1为本发明实施例中基于增强现实的答案智能填写方法的流程图；
图2为本发明实施例中对多选题的识别效果图；
图3为本发明实施例中对旋转一定角度的单选题的识别效果图；
图4为本发明实施例中对题目中有多个空的情况时的识别效果图；
图5为本发明实施例中对含有多个空的填空题的识别效果；
图6为本发明实施例中不划定题目ROI的识别效果；
图7为本发明实施例中无标记的识别效果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
实施例
参见图1，本实施例中基于增强现实的答案智能填写方法包括：
步骤S1，为习题制作含有答案及题目类型的二维码，并把二维码粘贴在学习资料对应的习题旁。
本实施例中，二维码的制作可以使用网站制作，或使用二维码制作的app进行制作，本实施例不作限定。将制作好的二维码粘贴在学习资料对应的习题旁，粘贴位置基本与题目在同一水平线上，不宜过高或过低，如图2所示。
可以理解，上述学习资料可以是任何科目的书籍，也可以是任何科目的练习册，本实施例不作限定。
步骤S2，使用学习设备启动软件，通过学习设备扫描二维码，获取二维码边长及偏转角度信息。
本实施例中，学习设备可以是电脑，也可以是手机等具有拍摄功能的用于学习的电子设备，本实施例不作限定。
可以理解，设备获取到二维码边长后能够预估设备与学习资料之间的距离，进一步的，可以对将要填入括号的答案信息的大小进行估算，就可以生成一个大小合适的答案信息，使答案填入的大小随学习设备的镜头的远近而实时调整。
可以理解，设备获取到二维码偏转角度，即获取到了题目文字的偏转角度，进一步的，可以对答案信息进行旋转再填入括号，使答案填入的角度随学习设备角度的旋转而调整，如图3所示。
步骤S3，学习设备对二维码进行识别，将二维码中包含答案类型、数量及答案内容的信息进行处理以确定题目括号数量。
可以理解，答案的内容需要通过提取获得，进一步的，当二维码中包含的答案类别为多选或填空时，则需要将多个答案都提取出来。
举例来说，当题目为选择题多选题时，二维码中会存储多个答案信息，需要全部取出后填入，如图2所示，题目有三个答案，需要全部取出再填入括号；当题目为包含多个空的填空题时，需要将二维码中的答案全部取出后填入，如图5的填空题，包含四个待填答案的位置，则需要将四个长度不定的答案全部取出后填入括号中。
步骤S4，根据二维码位置划定题目所在ROI。
本实施例中，题目可以是单选题、判断题也可以是填空题，本实施例不作限定。
可以理解，选择或填空题目的距离都比较近，需要根据二维码的位置预估题目所在位置，否则答案填入的位置识别会发生错误
举个例子，如图6所示，本应识别二维码旁的括号，但由于题目间的距离比较近，识别就发生了错误。
可见，识别到二维码后需要对题目的位置进行预估，提高识别的准确率。
步骤S5，识别指定数量的括号，将左右括号进行排序配对。
本实施例中，识别的括号数量为二维码中获取的数量信息，左括号的识别与右括号的识别是分开进行的，所以在识别时，会发生左括号与右括号识别结果的不匹配。
举个例子，类似于图6，对于括号的识别是根据识别目标与括号模板的相似程度进行匹配的，选取识别匹配率最高的作为识别结果，所以识别结果与位置没有关系，就会造成左右括号不匹配，如图4所示，括号下面的标号是没有进行排序处理时的识别结果标示，可以看出，题目中需要识别出三对括号。在识别第一对括号时，系统识别出了第三个括号的左括号与第二个括号的右括号，显然这并不是一对括号；在识别第二对括号时，系统识别出了第二个括号的左括号与第一个括号的右括号，显然这也不是一对括号。
可见，单纯的识别出括号并不能满足需求，还需要对识别出的括号结果进行排序，得到图4中括号的排序结果，用上方的数字标示排序结果，得到正确的括号顺序。
步骤S6，答案信息转为包含答案的图片。
步骤S7，根据二维码偏转角度对答案图片进行仿射变换。
可以理解，实施步骤S6-S7，对填入括号的答案进行调整，使答案填入时更加智能，能够随镜头的旋转与远近进行实时调整，得到更适合括号大小与角度的答案。
举个例子，如图3所示，随着学习设备的镜头的旋转，摄入镜头的题目信息也发生了旋转，若不对答案进行调整，则答案的填入将过于生硬，而图3中的答案根据二维码的偏转角度进行了调整，提高了用户的沉浸感。
步骤S8，将答案图片居中填入括号中，答案的大小视距离智能调整。
可以理解，步骤S7中已经将识别的括号进行了排序，其中，对左右括号的位置进行获取计算，得到括号的居中位置，进一步的，将步骤S6旋转过后的答案信息填入括号的居中位置，实现对答案的智能调整。如图7所示，为本实施例的识别结果。

Claims (6)

1.一种基于增强现实的答案智能填写方法，其特征在于，包括以下步骤：
1）为习题制作含有答案及题目类型的二维码，将二维码粘贴在对应的习题旁，粘贴位置与题目在同一水平线上；
2）用摄像头扫描二维码，获取二维码边长及二维码偏转角度；
3）根据二维码中包含的答案类型、数量及答案内容确定题目括号数量；
4）根据二维码位置划定题目所在的ROI；
5）识别指定数量的括号，将左右括号进行排序配对；
6）将答案信息转为包含答案的图片；
7）根据二维码偏转角度对答案图片进行仿射变换；
8）将答案图片填入对应的括号中；
步骤7）包括：获取所述二维码偏转角度；根据二维码偏转角度对答案进行旋转处理；
步骤8）包括：获取二维码存储的答案信息；根据所述的二维码边长对答案大小进行处理，并填入对应的括号中。
2.根据权利要求1所述的基于增强现实的答案智能填写方法，其特征在于，步骤2）包括：
2-1）对摄入的图像每一帧进行分解，对图像帧进行灰度处理、去燥处理、二值化处理以及阈值化处理；
2-2）对处理过的图像进行轮廓提取，得到所有轮廓；
2-3）对轮廓进行筛选，得到二维码的三个定位角轮廓，对第四个角进行预估处理，得到二维码位置；
2-4）获取二维码与水平线的偏转角度，得到所述的二维码偏转角度；
2-5）计算二维码边上两点的距离得到所述的二维码边长。
3.根据权利要求2所述的基于增强现实的答案智能填写方法，其特征在于，步骤2-1）中，先对图像帧进行通道处理，将图像转换为单通道图像，在阈值化操作和轮廓提取操作时，相关函数仅对单通道图像进行处理。
4.根据权利要求2所述的基于增强现实的答案智能填写方法，其特征在于，步骤4）中，根据二维码位置划定题目所在的ROI中，还包括：根据所述二维码位置，对题目所在的位置进行预估，得到题目所在的矩形区域；在该区域进行步骤5）中左右括号的识别，并对识别到的所有括号进行先后排序。
5.根据权利要求1所述的基于增强现实的答案智能填写方法，其特征在于，步骤5）包括：用模板匹配算法中的归一化相关系数匹配法对括号进行匹配，获取到括号的位置；对括号进行排序，确定答案填入的先后顺序。
6.根据权利要求1所述的基于增强现实的答案智能填写方法，其特征在于，步骤6）包括：从后台获取答案图片；将二维码中的答案信息输出到图片；掩膜反色使图片除答案外的部分变为透明，生成所需要的答案图片。
CN202011224248.8A 2020-11-05 2020-11-05 一种基于增强现实的答案智能填写方法 Active CN112288058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011224248.8A CN112288058B (zh) 2020-11-05 2020-11-05 一种基于增强现实的答案智能填写方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011224248.8A CN112288058B (zh) 2020-11-05 2020-11-05 一种基于增强现实的答案智能填写方法

Publications (2)

Publication Number Publication Date
CN112288058A CN112288058A (zh) 2021-01-29
CN112288058B true CN112288058B (zh) 2022-07-01

Family

ID=74351422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011224248.8A Active CN112288058B (zh) 2020-11-05 2020-11-05 一种基于增强现实的答案智能填写方法

Country Status (1)

Country Link
CN (1) CN112288058B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201086486Y (zh) * 2007-09-30 2008-07-16 王会臣 带注解的出版物
CN104598638A (zh) * 2015-02-09 2015-05-06 深圳市菁优网络科技有限公司 一种基于互联网题库和二维码的试题解答方法
CN109583401A (zh) * 2018-12-05 2019-04-05 广东小天才科技有限公司 一种自动生成答案的搜题方法及用户设备
CN109871525A (zh) * 2019-02-18 2019-06-11 南京红松信息技术有限公司 一种易于ocr识别的印刷排版的批阅系统及实现方法
WO2020174826A1 (ja) * 2019-02-25 2020-09-03 日本電信電話株式会社 回答生成装置、回答学習装置、回答生成方法、及び回答生成プログラム
CN110705442B (zh) * 2019-09-27 2023-07-18 集美大学 一种试卷答案自动获取方法、终端设备及存储介质
CN111553211A (zh) * 2020-04-16 2020-08-18 深圳中兴网信科技有限公司 试卷答案识别方法、系统、装置和计算机可读存储介质
CN111563512B (zh) * 2020-04-30 2024-03-08 广东小天才科技有限公司 一种答案自动涂抹的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112288058A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
US10032072B1 (en) Text recognition and localization with deep learning
Mahmood et al. EAR: Enhanced augmented reality system for sports entertainment applications
CN111753767A (zh) 一种作业自动批改的方法、装置、电子设备和存储介质
CN108229397A (zh) 基于Faster R-CNN的图像中文本检测方法
CN113033711A (zh) 题目批改方法、装置、电子设备及计算机存储介质
CN111783757A (zh) 一种基于ocr技术的复杂场景下身份证识别方法
CN112749696B (zh) 一种文本检测方法及装置
CN110443235B (zh) 一种智能纸质试卷总分识别方法及系统
CN112966685B (zh) 用于场景文本识别的攻击网络训练方法、装置及相关设备
CN112949649B (zh) 一种文本图像的识别方法、装置及计算设备
CN105184294B (zh) 一种基于像素追踪的倾斜文字判断识别方法
CN111753120A (zh) 一种搜题的方法、装置、电子设备和存储介质
CN110853053A (zh) 一种以多候选对象为语义知识的显著对象检测方法
CN111915635A (zh) 支持自阅卷的试题解析信息生成方法及系统
CN111652140A (zh) 基于深度学习的题目精准分割方法、装置、设备和介质
CN110766645B (zh) 基于人物识别与分割的目标人物复现图生成方法
CN111144411A (zh) 一种基于显著图的不规则文本修正与识别方法及系统
CN116308530A (zh) 一种广告植入方法、装置、设备和可读存储介质
CN109284702B (zh) 一种基于图像模式的答题卷给分及阅卷系统
CN112132750B (zh) 一种视频处理方法与装置
CN107958261B (zh) 一种盲文点检测方法及系统
CN112288058B (zh) 一种基于增强现实的答案智能填写方法
CN112991410A (zh) 一种文本图像配准方法、电子设备及其存储介质
CN109101973B (zh) 文字识别方法、电子设备、存储介质
CN111008295A (zh) 书页检索方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant