CN111711757B - 防手指遮挡的试题拍摄方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种防手指遮挡的试题拍摄方法、装置、电子设备和存储介质。该方法包括：在电子设备处于指读场景下，发送互动指令，以使图像采集装置对准承载体且指读装置发出的光线落入承载体上；接收拍照指令，利用图像采集装置对承载体进行拍照，得到初始图像；获取初始图像中各个题目的文本轮廓，以及识别光线的位置；根据文本轮廓和位置确定目标图像；对目标图像进行OCR识别，并利用识别的结果在数据库中搜索匹配的试题。实施本发明实施例，可以完全避免手指在指读场景下对试题内容遮挡造成的识别内容损失，从而提高裁取试图片的识别内容完整性，进而提高推送用户试题原题率，提高用户学习的交互体验。

Description

防手指遮挡的试题拍摄方法、装置、电子设备和存储介质

技术领域

本发明涉及智能终端技术领域，具体涉及一种防手指遮挡的试题拍摄方法、装置、电子设备和存储介质。

背景技术

当前很多电子教辅设备，大多具有指读场景，现有的指读场景是指用户通过手指指向书本、练习册或试卷等承载体时，教辅设备会通过图像采集装置对承载体进行拍照，并识别手指的位置，从而根据手指位置确定用户意图，进而得到用户意图对应的图像，用于原题搜索等。目前拍摄得到的承载体图像都为用户手指指读时的图片，手指(手掌、握笔等)不可避免的会遮挡一部分有效试题数据，造成部分数据丢失，影响OCR识别和根据识别内容进行试题搜索的匹配度，导致最终推送给用户的试题原题率较低。

发明内容

针对所述缺陷，本发明实施例公开了一种防手指遮挡的试题拍摄方法、装置、电子设备和存储介质，其可以避免手指遮挡承载体图像，提高推送用户试题原题率。

本发明实施例第一方面公开一种防手指遮挡的试题拍摄方法，所述方法包括：

在电子设备处于指读场景下，发送互动指令，以使图像采集装置对准承载体且指读装置发出的光线落入所述承载体上；

接收拍照指令，利用图像采集装置对所述承载体进行拍照，得到初始图像；

获取所述初始图像中各个题目的文本轮廓，以及识别所述光线的位置；

根据所述文本轮廓和位置确定目标图像；

对所述目标图像进行OCR识别，并利用所述识别的结果在数据库中搜索匹配的试题。

作为一种可选的实施方式，在本发明实施例第一方面中，所述指读装置包括光源和充电电池，所述充电电池为所述光源供电，所述指读装置与电子设备具有相同的充电接口和充电电压。

作为一种可选的实施方式，在本发明实施例第一方面中，所述指读装置通过按压或触摸或指点方式发出光线，或/和所述指读装置激发十字型光线，或/和所述指读装置为指读指环或指读笔。

作为一种可选的实施方式，在本发明实施例第一方面中，获取所述初始图像中各个题目的文本轮廓，以及识别所述光线的位置，包括：

将所述初始图像输入预先训练的文本检测模型，得到各个题目的文本轮廓；

利用颜色特征的光线识别模型识别所述光线的中心位置，将所述中心位置坐标作为所述光线的位置坐标。

作为一种可选的实施方式，在本发明实施例第一方面中，根据所述文本轮廓和位置确定目标图像，包括：

确定所述光线的位置和文本轮廓的位置关系；

在所述位置坐标落入其中一个文本轮廓时，所述其中一个文本轮廓为目标文本轮廓；

在所述位置坐标落入多个文本轮廓时，将所述多个文本轮廓中置信度最大的一个文本轮廓作为目标文本轮廓；

在所述位置坐标不落入任何一个文本轮廓时，选择所述位置坐标距离最近的文本轮廓作为目标文本轮廓；

利用所述目标文本轮廓对所述初始图像进行分割，分割得到目标文本轮廓内的图像作为目标图像。

作为一种可选的实施方式，在本发明实施例第一方面中，对所述目标图像进行OCR识别，并利用所述识别的结果在数据库中搜索匹配的试题，包括：

对所述目标图像进行OCR识别，得到识别结果；

在数据库中搜索，得到目标试题，所述目标试题与所述识别结果的相似度大于或等于预设阈值；

在所述数据库中的试题与所述识别结果的相似度均小于预设阈值，则选取与所述识别结果相似度最高的预设个数的试题作为目标试题。

本发明实施例第二方面公开一种防手指遮挡的试题拍摄装置，所述装置包括：

发送单元，用于在电子设备处于指读场景下，发送互动指令，以使图像采集装置对准承载体且指读装置发出的光线落入所述承载体上；

接收单元，用于接收拍照指令，利用图像采集装置对所述承载体进行拍照，得到初始图像；

获取单元，用于获取所述初始图像中各个题目的文本轮廓，以及识别所述光线的位置；

确定单元，用于根据所述文本轮廓和位置确定目标图像；

识别单元，用于对所述目标图像进行OCR识别，并利用所述识别的结果在数据库中搜索匹配的试题。

作为一种可选的实施方式，在本发明实施例第二方面中，所述指读装置包括光源和充电电池，所述充电电池为所述光源供电，所述指读装置与电子设备具有相同的充电接口和充电电压；或/和，所述指读装置通过按压或触摸或指点方式发出光线；或/和，所述指读装置激发十字型光线；或/和，所述指读装置为指读指环或指读笔。

作为一种可选的实施方式，在本发明实施例第二方面中，所述获取单元，包括：

轮廓识别子单元，用于将所述初始图像输入预先训练的文本检测模型，得到各个题目的文本轮廓；

位置识别子单元，用于利用颜色特征的光线识别模型识别所述光线的中心位置，将所述中心位置坐标作为所述光线的位置坐标。

作为一种可选的实施方式，在本发明实施例第二方面中，所述确定单元，包括：

位置关系确定子单元，用于确定所述光线的位置和文本轮廓的位置关系；

第一判断子单元，用于在所述位置坐标落入其中一个文本轮廓时，所述其中一个文本轮廓为目标文本轮廓；

第二判断子单元，用于在所述位置坐标落入多个文本轮廓时，将所述多个文本轮廓中置信度最大的一个文本轮廓作为目标文本轮廓；

第三判断子单元，用于在所述位置坐标不落入任何一个文本轮廓时，选择所述位置坐标距离最近的文本轮廓作为目标文本轮廓；

分割子单元，用于利用所述目标文本轮廓对所述初始图像进行分割，分割得到目标文本轮廓内的图像作为目标图像。

作为一种可选的实施方式，在本发明实施例第二方面中，所述识别单元，包括：

OCR识别子单元，用于对所述目标图像进行OCR识别，得到识别结果；

搜索子单元，用于在数据库中搜索，得到目标试题，所述目标试题与所述识别结果的相似度大于或等于预设阈值；

推送子单元，用于在所述数据库中的试题与所述识别结果的相似度均小于预设阈值，则选取与所述识别结果相似度最高的预设个数的试题作为目标试题。

本发明实施例第三方面公开一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面公开的一种防手指遮挡的试题拍摄方法的部分或全部步骤。

本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种防手指遮挡的试题拍摄方法的部分或全部步骤。

本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的一种防手指遮挡的试题拍摄方法的部分或全部步骤。

本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的一种防手指遮挡的试题拍摄方法的部分或全部步骤。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例中，在电子设备处于指读场景下，发送互动指令，以使图像采集装置对准承载体且指读装置发出的光线落入所述承载体上；接收拍照指令，利用图像采集装置对所述承载体进行拍照，得到初始图像；获取所述初始图像中各个题目的文本轮廓，以及识别所述光线的位置；根据所述文本轮廓和位置确定目标图像；对所述目标图像进行OCR识别，并利用所述识别的结果在数据库中搜索匹配的试题。可见，实施本发明实施例，可以完全避免手指(手掌、握笔等)在指读场景下对试题内容遮挡造成的识别内容损失，从而提高裁取试图片的识别内容完整性，进而提高推送用户试题原题率，最大限度的满足用户意向，提高用户学习的交互体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种防手指遮挡的试题拍摄方法的流程示意图；

图2为本发明实施例公开的使用指读环实现试题拍摄的示意图；

图3为本发明实施例公开的使用指读笔实现试题拍摄的示意图；

图4是本发明实施例公开的一种承载体的页面结构图；

图5是本发明实施例公开的另一种承载体的页面结构图；

图6是本发明实施例公开的又一种承载体的页面结构图；

图7为本发明实施例公开的一种防手指遮挡的试题拍摄装置的结构示意图；

图8为本发明实施例公开的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种防手指遮挡的试题拍摄方法、装置、电子设备和存储介质，可以完全避免手指(手掌、握笔等)在指读场景下对试题内容遮挡造成的识别内容损失，从而提高裁取试图片的识别内容完整性，进而提高推送用户试题原题率，最大限度的满足用户意向，提高用户学习的交互体验，以下结合附图进行详细描述。

实施例一

请参阅图1，图1是本发明实施例公开的一种防手指遮挡的试题拍摄方法的流程示意图。如图1所示，该防手指遮挡的试题拍摄方法包括以下步骤：

110、在电子设备处于指读场景下，发送互动指令，以使图像采集装置对准承载体且指读装置发出的光线落入所述承载体上。

电子设备可以是家教机、学习机、带有学习功能的手机或平板电脑等智能设备。启动相应的指读APP例如搜题APP或题目收录APP等时可以自动进入指读场景，也可以是图像采集装置与电子设备完成通讯连接时自动进入指读场景，或者图像采集装置与电子设备完成通讯连接且启动相应的指读APP时自动进入指读场景。承载体为书本、练习册以及作业本等纸质学习文档，通过对承载体拍照以及意图定位获取目标题目的图像，进而通过OCR识别在数据库中匹配对应的原题。

指读装置是为电子设备配备的指读配件，无需与电子设备连接，遗失或损坏可补，补后可立即使用，在满足颜色特征识别的情况下，也可以使用一些玩具类或其他方面的光源替代。指读装置主要用于替代指读环境下手指直接在承载体上的指读操作，从而实现去手指遮挡的目的。指读装置可以激发十字型光线(当然也可以是其他形状的光线，例如点光源，光线颜色可以是红色或蓝色等)，将该十字型光线对准对应的题目，从而将该十字型光线呈现在拍摄的承载体图像中作为意图坐标，确定目标题目图像。

示例性地，指读装置具有光源和小体积的可充电电池例如锂电池，锂电池为光源供电，为避免需增配充电器、充电线等，造成资源浪费及增加成本，指读装置可以具有与电子设备相同的充电接口和充电电压。

示例性地，指读装置可以是指读环或指读笔等，其中，指读环的环体为魔术带，可调大小，适应大多数用户的手指指围。指读笔结构类似于现有的中性笔，光源设置于指读笔的底部。指读装置可以通过按压(机械按键)、触摸(触控按键)以及指点(触控按键或机械按键)的方式控制光源的启动。

互动指令可以是语音指令或者文字指令，可以是服务器经过电子设备向用户发出，也可以是电子设备发出的指令。例如指令为：“请摆放好书本，用指读装置定位你需要解答的试题”。

在指读场景下且发出相应的互动指令后，用户可以通过按压/触摸/食指指点动作启动指读装置，激发出十字红外光线，并将激发的十字红外光线移动指向目标题目区域，完成题目定位，短时间保持在该区域内不要移出。

图2和图3分别示出了通过指读环和指读笔对目标题目定位的示意图。

120、接收拍照指令，利用图像采集装置对所述承载体进行拍照，得到初始图像。

为了避免用户未启动指读装置或者启动指读装置但是激发的十字红外光线并未移动指向目标题目区域，在本发明实施例中，用户在发送拍照指令后，图像采集装置才会对承载体进行拍照。

拍照指令可以是“请拍照”或者“请搜题”等语音指令，也可以是通过机械按键或触控按键触发的拍照命令。在用户发出拍照指令后，图像采集装置对准承载体并对承载体进行拍照，得到的初始图像视为存在指读装置的光线。当然，如果在步骤130中未识别到光线，还可以通过互动指令的方式重新执行步骤110和120的操作，直至能够识别所述光线。

130、获取所述初始图像中各个题目的文本轮廓，以及识别所述光线的位置。

初始图像可以尽可能的覆盖承载体的所有内容，如果承载体图像过大，在步骤110中的互动指令的指引下，也视为用户将承载体移动到图像采集装置可以获取到目标题目区域的位置。当然，在进入指读场景后，可以先开启图像采集装置的预览模式，使得用户在移动承载时能够确定目标题目区域在图像采集装置的拍摄范围内。

在对初始图像进行识别之前，还可以先对初始图像进行预处理，预处理包括但不限于图像增强和形状矫正等。识别初始图像中各个题目的文本轮廓的方式有多种，示例性地，可以通过实例分割的方式确定文本轮廓，例如通过MASK R-CNN分割模型确定每个题目的文本轮廓。

可以通过人工标注有题目边框的样本对MASK R-CNN分割初始模型进行训练，得到MASK R-CNN分割模型。将初始图像输入MASK R-CNN分割模型可以得到初始图像对应的各个题目的文本轮廓，理论上讲，每个题目对应一个文本轮廓，为了避免存在多余的文本轮廓，可以通过题号检测模型获取每个题目的题号框，根据题号框剔除多余的文本轮廓，具体是将与所有题号框均不存在交并比的文本轮廓删除。

光线识别模型也可以是基于机器学习的模型，通过颜色特征或形状特征对光线识别模型进行训练，从而确定光线的位置，如果是十字型光线，则再确定光线的中心。颜色特征可以较为准确地确定光线的位置坐标，而形状特征在一些情况下，可能会因为承载体的不平整或其他因素造成光线的弯曲使得识别结果存在一定的误差。

140、根据所述文本轮廓和位置确定目标图像。

确定了拍摄图像中承载体图像的各个题目的轮廓以及光线的位置坐标，则可以确定对目标题目进行分割。在光线的位置位于某一个文本轮廓中时，则该文本轮廓记为目标文本轮廓。当光线的位置位于多个文本轮廓中时，则选取这些文本轮廓中置信度最大的一个文本轮廓作为目标文本轮廓。由于通过机器学习的方式获得的文本轮廓，光线的位置存在位于多个文本轮廓的可能性，文本轮廓的置信度为文本分割模型输出的文本轮廓的概率值，在前期筛选时会将置信度低于一定阈值的文本轮廓删除。如果光线的位置未落入任何一个文本轮廓中，可以根据预设规则确定目标文本轮廓，例如选取光线位置的上侧或右侧等预设规则的文本轮廓作为目标文本轮廓，或者选取距离光线位置最近的文本轮廓作为目标文本轮廓。

目标文本轮廓对应的图像记为目标图像，将目标文本轮廓内的初始图像部分分割，可以得到目标图像，在一些场景中，可以实现题目收录，例如错题本功能，或者使用目标图像进行搜答案、搜语音或近义词、反义词等，实现搜题功能。在本发明实施例中，获取的目标图像用于原题搜索，即在数据库中搜索与目标图像相同的题目，这个题目优选为文本格式，搜索到的文本格式的原题可以用于题目收录，便于后续打印错题本，也可以在原题搜索中附带或关联答案或/和答题思路，将原题和答案或/和答题思路均展示给用户，用于对用户学习给予一定的启发。也可以是先将搜索得到的原题发送给电子设备的触控屏进行显示，待用户做题完成并确认后，根据原题关联的答案对用户的做题结果进行批改，在用户做错的情况下，再将答题思路展示给用户。

150、对所述目标图像进行OCR识别，并利用所述识别的结果在数据库中搜索匹配的试题。

原题搜索的方法是先对目标图像进行传统的OCR技术进行字符识别，得到字符的识别结果。由于OCR识别的识别率和准确率并不能保证100％，因此，在与原题进行相似度匹配时，需要设定一个阈值，该预设阈值根据需要设定，也可以设置为OCR技术的常规识别率例如98％。数据库可以是事先创建的教学资源库，为了降低搜索时间，可以根据用户的基础信息例如年级或/和科目信息或/和所在地区使用的版本号等构建多个小数据库，然后可以根据承载体的页眉页脚信息等识别得到相应的搜索关键词，通过关键词匹配小数据库，再通过小数据库进行识别结果和原题的相似度比对。

示例性地，识别所述初始图像中的页眉部分和页脚部分，并根据所述页眉部分和页脚部分确定搜索关键词，所述搜索关键词为第一条件，或者第一条件和第二条件；所述第一条件为年级和科目，所述第二条件为书名、出版社、版本号和品牌名的一种或多种。

图4所示的承载体图像中，在页眉部分可以获取年级信息211(即七年级上)、科目信息212(即语文)、版本信息213(即人教版)以及品牌名信息214(即教材全解)。图5所示的承载体图像中，在页脚部分可以获取年级信息221(即六年级上册)、科目信息222(即语文)、品牌名信息223(即英才教程)以及书名信息224(即“快乐读书吧”导读与精炼)。图6所示的承载体图像中，在页脚部分可以获得年级信息231(即三年级下)、科目信息232(即数学)以及版本信息233(即R，R指代人教版)，在页脚部分可以获得品牌名信息234(即带有博士帽的小孩图像，指代品牌名为黄冈小状元)。

由此可知，部分承载体的页眉和页脚中会覆盖年级和科目信息，因此，将此部分信息作为第一条件，部分承载体还会存在书名、出版社、版本号和品牌名的一种或多种，将这些作为辅助的第二条件，当存在第二条件时，将第一条件和第二条件查询，不存在第二条件时，可以直接通过第一条件去查询。

具体地，识别所述页眉部分或/和页脚部分中的字符，从所述字符中筛选年级和科目，作为第一条件。示例性地，识别页眉部分和页脚部分的字符可以通过成熟的OCR(Optical Character Recognition，光学字符识别)技术实现，这里的字符主要为汉字。因为年级和科目是可以穷举的，因此，从所述字符中筛选年级和科目就是通过设置第一搜索库，穷举所有的年级信息和科目信息，去遍历页眉部分或/和页脚部分中的字符，即可得到年级和科目信息。

检测所述页眉部分或/和页脚部分中的字符是否包括版本号、书名以及品牌名中的一种或多种，如果包括，将所述版本号、书名以及品牌名中的一种或多种作为第二条件。与第一条件同样的方法，将常见的版本名、书名以及品牌名设置第二搜索库，遍历页眉部分或/和页脚部分中的字符，如果存在第二条件，则得到具体的第二条件信息。事实上，对于不同地区，其版本号是统一地，因此，在用户使用搜题应用程序或错题收集应用程序时，根据用户输入的基本信息也可以确定版本号，相当于版本号是已知的。

存在一些承载体，其出版社和品牌名使用图标实现例如图6中的品牌名信息234，在这种情况下，可以检测所述页眉部分或/和页脚部分中的非字符部分中是否包括出版社以及品牌名中的一种或多种，如果包括，将所述出版社以及品牌名中的一种或多种作为第二条件。其实现方式是将页眉部分或/和页脚部分中非字符部分通过以图搜图的方式确定出版社信息或品牌名信息，例如相似度达到90％以上，则认为识别出了对应的出版社信息或品牌名信息。

为每个小数据库建立相应的标签，这些标签与上述的第一条件或/和第二条件相匹配，通过第一条件或/和第二条件遍历这些小数据库的标签，可以确定该承载体对应的小数据库，进而可以从该小数据库中匹配相应的试题，大大降低搜索花费的时间。

当某一个试题与识别结果相似度大于或等于预设阈值时，则该试题即为目标试题，搜索完成。可以根据目标试题再确定关联的答案或答题思路等，答案或答题思路也可以存在对应的小数据库中或其他数据库中，通过映射关系或索引搜索方式得到。

如果数据库或对应的小数据库中的所有试题与识别结果的相似度均小于预设阈值，可以在互联网中进行相应的搜索，也未找到与识别结果的相似度大于或等于预设阈值的试题，或者在数据库或对应的小数据库中以及互联网等中搜索时间达到预设时间时，未找到与识别结果相似度大于或等于预设阈值的试题，则对搜索记录中的各个相似度由大到小进行排序，选取这些相似度中排序靠前的预设个数的试题作为目标试题，发送给用户进行展示，给予用户一定的启示，同样地，也可以获取这些目标试题的答案或/和答题思路。当然，如果用户认为这些目标试题均与其意图无关，还可以再重新进行步骤110-150的操作。

实施本发明实施例，可以完全避免手指(手掌、握笔等)在指读场景下对试题内容遮挡造成的识别内容损失，从而提高裁取试图片的识别内容完整性，进而提高推送用户试题原题率，最大限度的满足用户意向，提高用户学习的交互体验。

实施例二

请参阅图7，图7是本发明实施例公开的一种防手指遮挡的试题拍摄装置的结构示意图。如图7所示，该防手指遮挡的试题拍摄装置可以包括：

发送单元310，用于在电子设备处于指读场景下，发送互动指令，以使图像采集装置对准承载体且指读装置发出的光线落入所述承载体上；

接收单元320，用于接收拍照指令，利用图像采集装置对所述承载体进行拍照，得到初始图像；

获取单元330，用于获取所述初始图像中各个题目的文本轮廓，以及识别所述光线的位置；

确定单元340，用于根据所述文本轮廓和位置确定目标图像；

识别单元350，用于对所述目标图像进行OCR识别，并利用所述识别的结果在数据库中搜索匹配的试题。

作为一种可选的实施方式，所述指读装置可以包括光源和充电电池，所述充电电池为所述光源供电，所述指读装置可以与电子设备具有相同的充电接口和充电电压；或/和，所述指读装置可以通过按压或触摸或指点方式发出光线；或/和，所述指读装置可以激发十字型光线；或/和，所述指读装置可以为指读指环或指读笔。

作为一种可选的实施方式，所述获取单元330，可以包括：

轮廓识别子单元331，用于将所述初始图像输入预先训练的文本检测模型，得到各个题目的文本轮廓；

位置识别子单元332，用于利用颜色特征的光线识别模型识别所述光线的中心位置，将所述中心位置坐标作为所述光线的位置坐标。

作为一种可选的实施方式，所述确定单元340，可以包括：

位置关系确定子单元341，用于确定所述光线的位置和文本轮廓的位置关系；

第一判断子单元342，用于在所述位置坐标落入其中一个文本轮廓时，所述其中一个文本轮廓为目标文本轮廓；

第二判断子单元343，用于在所述位置坐标落入多个文本轮廓时，将所述多个文本轮廓中置信度最大的一个文本轮廓作为目标文本轮廓；

第三判断子单元344，用于在所述位置坐标不落入任何一个文本轮廓时，选择所述位置坐标距离最近的文本轮廓作为目标文本轮廓；

分割子单元345，用于利用所述目标文本轮廓对所述初始图像进行分割，分割得到目标文本轮廓内的图像作为目标图像。

作为一种可选的实施方式，所述识别单元350，可以包括：

OCR识别子单元351，用于对所述目标图像进行OCR识别，得到识别结果；

搜索子单元352，用于在数据库中搜索，得到目标试题，所述目标试题与所述识别结果的相似度大于或等于预设阈值；

推送子单元353，用于在所述数据库中的试题与所述识别结果的相似度均小于预设阈值，则选取与所述识别结果相似度最高的预设个数的试题作为目标试题。

图7所示的防手指遮挡的试题拍摄装置，可以完全避免手指(手掌、握笔等)在指读场景下对试题内容遮挡造成的识别内容损失，从而提高裁取试图片的识别内容完整性，进而提高推送用户试题原题率，最大限度的满足用户意向，提高用户学习的交互体验。

实施例三

请参阅图8，图8是本发明实施例公开的一种电子设备的结构示意图。如图8所示，该电子设备可以包括：

存储有可执行程序代码的存储器410；

与存储器410耦合的处理器420；

其中，处理器420调用存储器410中存储的可执行程序代码，执行实施例一中防手指遮挡的试题拍摄方法中的部分或全部步骤。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行实施例一中防手指遮挡的试题拍摄方法中的部分或全部步骤。

本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中防手指遮挡的试题拍摄方法中的部分或全部步骤。

本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中防手指遮挡的试题拍摄方法中的部分或全部步骤。

在本发明的各种实施例中，应理解，所述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。

在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种防手指遮挡的试题拍摄方法、装置、电子设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种防手指遮挡的试题拍摄方法，其特征在于，包括：

在电子设备处于指读场景下，发送互动指令，以使图像采集装置对准承载体且指读装置发出的光线落入所述承载体上；

接收拍照指令，利用图像采集装置对所述承载体进行拍照，得到初始图像；

获取所述初始图像中各个题目的文本轮廓，以及识别所述光线的位置；

根据所述文本轮廓和位置确定目标图像；

对所述目标图像进行OCR识别，并利用所述识别的结果在数据库中搜索匹配的试题；

所述数据库是事先创建的教学资源库，根据用户的基础信息构建多个小数据库，然后根据承载体的页眉页脚信息识别得到相应的搜索关键词，通过关键词匹配小数据库，再通过小数据库进行识别结果和原题的相似度比对；所述用户的基础信息为年级或/和科目信息或/和所在地区使用的版本号。

2.根据权利要求1所述的试题拍摄方法，其特征在于，所述指读装置包括光源和充电电池，所述充电电池为所述光源供电，所述指读装置与电子设备具有相同的充电接口和充电电压。

3.根据权利要求1所述的试题拍摄方法，其特征在于，所述指读装置通过按压或触摸或指点方式发出光线，或/和所述指读装置激发十字型光线，或/和所述指读装置为指读指环或指读笔。

4.根据权利要求1-3任一项所述的试题拍摄方法，其特征在于，获取所述初始图像中各个题目的文本轮廓，以及识别所述光线的位置，包括：

将所述初始图像输入预先训练的文本检测模型，得到各个题目的文本轮廓；

利用颜色特征的光线识别模型识别所述光线的中心位置，将所述中心位置坐标作为所述光线的位置坐标。

5.根据权利要求4所述的试题拍摄方法，其特征在于，根据所述文本轮廓和位置确定目标图像，包括：

确定所述光线的位置和文本轮廓的位置关系；

在所述位置坐标落入其中一个文本轮廓时，所述其中一个文本轮廓为目标文本轮廓；

在所述位置坐标落入多个文本轮廓时，将所述多个文本轮廓中置信度最大的一个文本轮廓作为目标文本轮廓；

在所述位置坐标不落入任何一个文本轮廓时，选择所述位置坐标距离最近的文本轮廓作为目标文本轮廓；

利用所述目标文本轮廓对所述初始图像进行分割，分割得到目标文本轮廓内的图像作为目标图像。

6.根据权利要求1所述的试题拍摄方法，其特征在于，对所述目标图像进行OCR识别，并利用所述识别的结果在数据库中搜索匹配的试题，包括：

对所述目标图像进行OCR识别，得到识别结果；

在数据库中搜索，得到目标试题，所述目标试题与所述识别结果的相似度大于或等于预设阈值；

在所述数据库中的试题与所述识别结果的相似度均小于预设阈值，则选取与所述识别结果相似度最高的预设个数的试题作为目标试题。

7.一种防手指遮挡的试题拍摄装置，其特征在于，所述装置包括：

发送单元，用于在电子设备处于指读场景下，发送互动指令，以使图像采集装置对准承载体且指读装置发出的光线落入所述承载体上；

接收单元，用于接收拍照指令，利用图像采集装置对所述承载体进行拍照，得到初始图像；

获取单元，用于获取所述初始图像中各个题目的文本轮廓，以及识别所述光线的位置；

确定单元，用于根据所述文本轮廓和位置确定目标图像；

识别单元，用于对所述目标图像进行OCR识别，并利用所述识别的结果在数据库中搜索匹配的试题；

所述数据库是事先创建的教学资源库，根据用户的基础信息构建多个小数据库，然后根据承载体的页眉页脚信息识别得到相应的搜索关键词，通过关键词匹配小数据库，再通过小数据库进行识别结果和原题的相似度比对；所述用户的基础信息为年级或/和科目信息或/和所在地区使用的版本号。

8.根据权利要求7所述的试题拍摄装置，其特征在于，所述指读装置包括光源和充电电池，所述充电电池为所述光源供电，所述指读装置与电子设备具有相同的充电接口和充电电压；或/和，所述指读装置通过按压或触摸或指点方式发出光线；或/和，所述指读装置激发十字型光线；或/和，所述指读装置为指读指环或指读笔。

9.根据权利要求7或8所述的试题拍摄装置，其特征在于，所述获取单元，包括：

轮廓识别子单元，用于将所述初始图像输入预先训练的文本检测模型，得到各个题目的文本轮廓；

位置识别子单元，用于利用颜色特征的光线识别模型识别所述光线的中心位置，将所述中心位置坐标作为所述光线的位置坐标。

10.根据权利要求9所述的试题拍摄装置，其特征在于，所述确定单元，包括：

位置关系确定子单元，用于确定所述光线的位置和文本轮廓的位置关系；

第一判断子单元，用于在所述位置坐标落入其中一个文本轮廓时，所述其中一个文本轮廓为目标文本轮廓；

第二判断子单元，用于在所述位置坐标落入多个文本轮廓时，将所述多个文本轮廓中置信度最大的一个文本轮廓作为目标文本轮廓；

第三判断子单元，用于在所述位置坐标不落入任何一个文本轮廓时，选择所述位置坐标距离最近的文本轮廓作为目标文本轮廓；

分割子单元，用于利用所述目标文本轮廓对所述初始图像进行分割，分割得到目标文本轮廓内的图像作为目标图像。

11.根据权利要求7所述的试题拍摄装置，其特征在于，所述识别单元，包括：

OCR识别子单元，用于对所述目标图像进行OCR识别，得到识别结果；

搜索子单元，用于在数据库中搜索，得到目标试题，所述目标试题与所述识别结果的相似度大于或等于预设阈值；

推送子单元，用于在所述数据库中的试题与所述识别结果的相似度均小于预设阈值，则选取与所述识别结果相似度最高的预设个数的试题作为目标试题。

12.一种电子设备，其特征在于，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至6任一项所述的一种防手指遮挡的试题拍摄方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至6任一项所述的一种防手指遮挡的试题拍摄方法。

Images