CN110069206A - 一种获取题目图片的方法及装置 - Google Patents

一种获取题目图片的方法及装置 Download PDF

Info

Publication number
CN110069206A
CN110069206A CN201910328723.7A CN201910328723A CN110069206A CN 110069206 A CN110069206 A CN 110069206A CN 201910328723 A CN201910328723 A CN 201910328723A CN 110069206 A CN110069206 A CN 110069206A
Authority
CN
China
Prior art keywords
topic
rectangle frame
picture
image
touch signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910328723.7A
Other languages
English (en)
Inventor
裴曾妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201910328723.7A priority Critical patent/CN110069206A/zh
Publication of CN110069206A publication Critical patent/CN110069206A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations

Abstract

本发明属于智能终端领域，公开了一种获取题目图片的方法及装置，其方法包括：在触摸屏上显示包含题目的图像；接收在触摸屏上对图像的触摸信号；当触摸信号为连续触摸信号，且触摸信号的起点和终点不在同一水平线上时，以触摸信号的起点和终点构成的直线为对角线构建矩形框；根据图像与矩形框的夹角，对矩形框进行矫正；获取矫正后的矩形框内的题目的图片。本发明通过用户的连续触摸操作来形成框选题目的矩形框，不仅操作方便，省去了不停调整框选区的操作，而且框选的精确度较高；此外通过对构建的矩形框进行自动校正，使用户在获取包含题目的图像时可随意放置智能终端或书本，而不需要保证智能终端与书本保持平行，具有较强的易用性和实用性。

Description

一种获取题目图片的方法及装置
技术领域
本发明属于智能终端技术领域，特别涉及一种获取题目图片的方法及装置。
背景技术
为了解决中小学的作业难题，目前，市场上出现了很多解决学生作业难题的搜题类应用程序，这些搜题APP的拍照搜题功能都是通过摄像头拍摄题目图片以搜索对应的答案。现有的拍照搜题功能的实现方法一般为以下两种：第一种方式是启动摄像头→拍照→手动拖动裁剪框以框选自己想要的题目→点击上传题目，该方式需要多次操作裁剪框，以使裁剪框变大或变小，才能精确获取题目图片，该方式操作不方便，比较繁琐；第二种方式是启动摄像头→拍摄照片→在照片上选取一个点，识别信息通常集中在点的范围内，即上传点的范围内的题目，但是该方式搜索出来的结果不精确，容易出错。
发明内容
本发明的目的是提供一种获取题目图片的方法及装置，不仅操作方便，而且获取的题目图片较精确。
本发明提供的技术方案如下：
一方面，提供了一种获取题目图片的方法，包括：
在触摸屏上显示包含至少一道题目的图像；
接收在所述触摸屏上对所述图像的触摸信号；
当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点不在同一水平线上时，以所述触摸信号的起点和终点构成的直线为对角线构建矩形框；
根据所述图像与所述矩形框的夹角，对所述矩形框进行矫正；
获取矫正后的所述矩形框内的题目的图片。
进一步地，所述根据所述图像与所述矩形框的夹角，对所述矩形框进行矫正具体包括：
在所述图像中获取处于同一行的多个文字形成第一直线；
获取所述矩形框的上边框或下边框，并将所述上边框或下边框作为第二直线；
计算所述第一直线与所述第二直线的夹角；
根据所述夹角，对所述矩形框进行旋转矫正，使所述第一直线与所述第二直线平行。
进一步地，所述在触摸屏上显示包含至少一道题目的图像具体包括：
当摄像头对准题目时，在触摸屏上显示包含至少一道题目的图像；
所述获取矫正后的所述矩形框内的题目的图片具体包括：
通过所述摄像头拍摄获取矫正后的所述矩形框内的题目的图片。
进一步地，所述在触摸屏上显示包含至少一道题目的图像具体包括：
通过摄像头拍摄包含至少一道题目的图像；
在触摸屏上显示拍摄得到包含至少一个的题目的图像；
所述获取矫正后的所述矩形框内的题目的图片具体包括：
在拍摄得到的所述图像中截取矫正后的所述矩形框内显示的题目的图片。
进一步地，还包括：
当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点在同一水平线上时，获取所述触摸信号移动时所经过区域的题目的图片。
另一方面，还提供一种获取题目图片的装置，包括：
图像显示模块，用于在触摸屏上显示包含至少一道题目的图像；
信号接收模块，用于接收在所述触摸屏上对所述图像的触摸信号；
矩形框构建模块，用于当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点不在同一水平线上时，以所述触摸信号的起点和终点构成的直线为对角线构建矩形框；
矫正模块，用于根据所述图像与所述矩形框的夹角，对所述矩形框进行矫正；
题目图片获取模块，用于获取矫正后的所述矩形框内的题目的图片。
进一步地，所述矫正模块包括：
第一直线获取单元，用于在所述图像中获取处于同一行的多个文字形成第一直线；
第二直线获取单元，用于获取所述矩形框的上边框或下边框，并将所述上边框或下边框作为第二直线；
夹角计算单元，用于计算所述第一直线与所述第二直线的夹角；
旋转矫正单元，用于根据所述夹角，对所述矩形框进行旋转矫正，使所述第一直线与所述第二直线平行。
进一步地，所述图像显示模块包括：
第一图像显示单元，用于当摄像头对准题目时，在触摸屏上显示包含至少一道题目的图像；
所述题目图片获取模块包括：
题目图片获取单元，用于通过所述摄像头拍摄获取矫正后的所述矩形框内的题目的图片。
进一步地，所述图像显示模块包括：
图像拍摄单元，用于拍摄包含至少一道题目的图像；
第二图像显示单元，用于在触摸屏上显示拍摄得到包含至少一个的题目的图像；
所述题目图片获取模块包括：
题目图片获取单元，用于在拍摄得到的所述图像中截取矫正后的所述矩形框内显示的题目的图片。
进一步地，所述题目图片获取模块，还用于当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点在同一水平线上时，获取所述触摸信号移动时所经过区域的题目的图片。
通过本发明提供的一种获取题目图片的方法及装置，能够带来的有益效果为：
本发明通过用户的连续触摸操作来形成框选题目的矩形框，不仅操作方便，省去了不停调整框选区的操作，而且框选的精确度较高；此外通过对构建的矩形框进行自动校正，使用户在获取包含题目的图像时可随意放置智能终端或书本，而不需要保证智能终端与书本保持平行，具有较强的易用性和实用性。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种获取题目图片的方法及装置的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种获取题目图片的方法的实施例一的流程示意图；
图2是本发明一种获取题目图片的方法的实施例二的流程示意图；
图3是本发明一种获取题目图片的方法的实施例三的流程示意图；
图4是本发明一种获取题目图片的方法的实施例三的矩形框矫正前后的示意图；
图5是本发明一种获取题目图片的方法的实施例四的流程示意图；
图6是本发明一种获取题目图片的方法的实施例四的矩形框矫正前后的示意图；
图7是本发明一种获取题目图片的方法的实施例五的流程示意图；
图8是本发明一种获取题目图片的装置的一个实施例的结构示意框图；
图9是本发明一种获取题目图片的装置的另一个实施例的结构示意框图。
附图标号说明
100、图像显示模块；110、第一图像显示单元；120、图像拍摄单元；130、第二图像显示单元；200、信号接收模块；300、矩形框构建模块；400、矫正模块；410、第一直线获取单元；420、第二直线获取单元；430、夹角计算单元；440、旋转矫正单元；500、题目图片获取模块；510、题目图片获取单元；1、书本；2、触摸屏；3、矫正前矩形框；4、矫正后矩形框；5、题目图像。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
根据本发明提供的第一实施例，如图1所示，一种获取题目图片的方法，包括：
S100在触摸屏上显示包含至少一道题目的图像；
具体地，本实施例的获取题目图片的方法可用于平板电脑、智能手机、家教机等智能终端上。当用户开启搜题功能时，先获取包含至少一道题目的图像，然后将该图像显示在智能终端的触摸屏上。获取图像的方式有很多，可以是通过外接的拍摄设备拍摄得到的，也可以是通过自带的拍摄设备拍摄得到的，本实施例对获取图像的方式不进行限定。
一般在书本的同一页上包含多道题目，在使用拍照搜题功能时，会拍摄到其它不需要搜索的题目，需要在所有题目中框选出用户需要的那道题，本实施例中先通过摄像头在触摸屏上显示包含至少一道题目的图像，然后通过下面的步骤来实现题目的框选。
S200接收在所述触摸屏上对所述图像的触摸信号；
具体地，智能终端实时接收用户在触摸屏显示的图像上进行的触摸操作，以便通过用户的触摸操作在图像上框选出题目。
S300当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点不在同一水平线上时，以所述触摸信号的起点和终点构成的直线为对角线构建矩形框；
具体地，智能终端接收到触摸信号后，先判断该触摸信号是否为连续触摸信号，若是，则进一步判断触摸信号的起点和终点是否在同一水平线上，若否，则以触摸信号的起点和终点构成的直线为对角线构建矩形框。检测连续的触摸信号，可防止出现失误操作，减少错误率的发生；如用户因失误操作而在触摸屏上形成两个点触摸，然后以该两个点触摸构成的直线为对角线构建框选题目的矩形框。
触摸信号的起点和终点是指用户在触摸屏上连续滑动时，开始触摸时的点和终止触摸时的点，根据两点构成一条直线，然后以该直线为对角线构建矩形框。水平线是指与智能终端的上边框平行的线。
S400根据所述图像与所述矩形框的夹角，对所述矩形框进行矫正；
具体地，由于用户在通过智能终端获取包含题目的图像时，可能存在智能终端倾斜的情况，而矩形框的上边框一般与智能终端的上边框平行，因此，当智能终端倾斜时，矩形框与图像也存在夹角，即矩形框的上边框与图像中的题目的某一行文字存在夹角，为了准确获取题目信息，需要对矩形框进行角度矫正，即对矩形框进行旋转，以使矩形框的上边框与题目的某一行文字平行。
S500获取矫正后的所述矩形框内的题目的图片。
具体地，对矩形框进行矫正后，获取矫正后的矩形框内的题目的图片，获取的该题目的图片即为需要进行搜题的题目。然后将该题目图片上传到服务器进行识别并进行试题匹配。
服务器在对题目图片进行文字识别时，使用的文字识别技术包括但不限于光学字符识别和场景文本识别技术等。服务器通过文字识别技术对题目图片进行文字识别后，将识别后的文字放入题库进行搜索匹配，并将匹配后的结果反馈给智能终端。智能终端接收并显示匹配到的解题结果。解题结果包括解题思路、详细解题过程和答案。
本实施例中，通过用户的连续触摸操作来形成框选题目的矩形框，不仅操作方便，省去了不停调整框选区的操作，而且框选的精确度较高；此外通过对构建的矩形框进行自动校正，使用户在获取包含题目的图像时可随意放置智能终端或书本，而不需要保证智能终端与书本保持平行，具有较强的易用性和实用性。
根据本发明提供的第二实施例，如图2所示，一种获取题目图片的方法，包括：
S100在触摸屏上显示包含至少一道题目的图像；
S200接收在所述触摸屏上对所述图像的触摸信号；
S300当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点不在同一水平线上时，以所述触摸信号的起点和终点构成的直线为对角线构建矩形框；
S410在所述图像中获取处于同一行的多个文字形成第一直线；
具体地，一道题目一般包含一行或多行文字，因此，在图像中也包含一行或多行文字。通过在图像中获取处于同一行的多个文字形成第一直线。
S420获取所述矩形框的上边框或下边框，并将所述上边框或下边框作为第二直线；
具体地，然后获取构建的矩形框的上边框或下边框，并将上边框或下边框作为第二直线。若在获取图像时，智能终端的上边框与题目中的任意一行文字平行(默认书本中的题目的每一行文字都是互相平行的)，则矩形框的上边框或下边框也与题目中的任意一行文字平行，此时第一直线与第二直线平行，即第一直线与第二直线之间的夹角为零。一般在构建矩形框时，默认构建的矩形框的上下边框与智能终端的上下边框平行，矩形框的左右边框与智能终端的左右边框平行。
若在获取图像时，智能终端的上边框与题目中的任意一行文字不平行，即智能终端或书本倾斜放置，则矩形框的上边框或下边框也与题目中的任意一行文字不平行，此时第一直线与第二直线之间的夹角不为零。
S430计算所述第一直线与所述第二直线的夹角；
具体地，当第一直线与第二直线之间的夹角不为零时，即说明矩形框的上边框与题目中的任意一行文字都不平行，需要对矩形框进行矫正，因此，需要先计算第一直线与第二直线之间的夹角。
S440根据所述夹角，对所述矩形框进行旋转矫正，使所述第一直线与所述第二直线平行；
具体地，计算出第一直线与第二直线之间的夹角后，根据计算得到的夹角对矩形框进行旋转矫正，即对整个矩形框进行旋转，以使矩形框的上下边框与题目中任意一行文字平行，从而使待获取的题目全部位于矩形框内。使用户在使用时无需反复矫正智能终端与书本的角度，简化操作条件。
S500获取矫正后的所述矩形框内的题目的图片。
根据本发明提供的第三实施例，如图3和4所示，一种获取题目图片的方法，包括：
S110当摄像头对准题目时，在触摸屏上显示包含至少一道题目的图像；
具体地，当智能终端接收到启动拍照搜题功能的指令时，智能终端上的摄像头启动，然后由用户将摄像头对准题目，触摸屏上即可显示题目的图像，此时，还并未对题目进行拍照。
启动拍照搜题功能的指令可以是某一特定的语音指令，例如，“拍照搜题”；也可以是在智能终端上的某一特定的触摸操作，例如，当监测到用户在触摸屏上的触摸动作为在某一特定方向上两点触摸且两点触摸的滑动轨迹为相对滑动，且相对滑动的位移大于第一阈值，两点触摸结束时两点间的距离小于第二阈值时，则触发拍照搜题功能；还可以是摇动智能终端的操作。
S200接收在所述触摸屏上对所述图像的触摸信号；
S300当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点不在同一水平线上时，以所述触摸信号的起点和终点构成的直线为对角线构建矩形框；
具体地，当触摸屏上显示题目的图像，且接收到连续触摸信号时，根据连续触摸信号在触摸屏上显示构建的矩形框，此矩形框类似于通过摄像头扫码时的矩形框。此时，仅仅是通过摄像头将题目显示在触摸屏上了，触摸屏上还根据对应的题目位置显示了一个矩形框。
S400根据所述图像与所述矩形框的夹角，对所述矩形框进行矫正；
具体地，触摸屏上显示矩形框后，对显示的矩形框进行旋转矫正，使矩形框的上下边框与题目中任意一行文字都平行。用户在使用智能终端拍摄题目时，可将智能终端任意放置，然后再对矩形框进行自动矫正即可，无需反复矫正智能终端与题目的角度，简化用户的操作。
S510通过所述摄像头拍摄获取矫正后的所述矩形框内显示的题目的图片。
具体地，将矩形框进行角度矫正后，再通过智能终端上的摄像头拍摄获取矩形框内显示的题目的图片。
本实施例的矩形框是在打开摄像头后拍照完成前生成，即打开摄像头后，先根据触摸屏上显示的需要获取的题目的位置生成矩形框，然后对矩形框进行角度矫正，最后点击拍照按钮，完成拍摄，获取矩形框内的题目的图片。
如图4所示，当智能终端上的摄像头对准书本1上的题目时，触摸屏2上会显示书本1的题目内容；根据触摸信号在触摸屏2上生成矫正前矩形框3，经过矫正后，变为矫正后矩形框4，最后通过拍照获取矫正后矩形框4内的显示的题目的图片。
根据本发明提供的第四实施例，如图5和6所示，一种获取题目图片的方法，包括：
S120通过摄像头拍摄包含至少一道题目的图像；
S130在触摸屏上显示拍摄得到包含至少一个的题目的图像；
S200接收在所述触摸屏上对所述图像的触摸信号；
S300当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点不在同一水平线上时，以所述触摸信号的起点和终点构成的直线为对角线构建矩形框；
S400根据所述图像与所述矩形框的夹角，对所述矩形框进行矫正；
S520在拍摄得到的所述图像中截取矫正后的所述矩形框内的题目的图片。
具体地，本实施例是先通过摄像头拍摄获取包含至少一道题目的图像，然后在图像上根据图像上需要截取的题目的位置，生成矩形框。用户在拍摄图像时，不能保证智能终端的上下边框与题目的任意一行文字都平行，因此，在图像上生成矩形框后，仍然需要对矩形框进行角度矫正，以使得矩形框的上下边框与题目的任意一行文字都平行，最后截取矩形框内的题目图片。
如图6所示，当智能终端上的摄像头拍摄书本上的题目得到题目图像5时，在触摸屏2上显示题目图像5，然后根据触摸信号在触摸屏2上生成矫正前矩形框3，经过矫正后，变为矫正后矩形框4，最后截取题目图像中矫正后矩形框4内的题目的图片。
本实施例是先开启摄像头，通过摄像头拍摄获取包含至少一道题目的图像，并将拍摄获取的该图像显示在触摸屏上，然后在图像上根据需要截取的题目的位置生成矩形框，再对矩形框进行角度矫正，最后在图像中截取矩形框内的题目图片。先拍摄生成图片，再在图片上生成矩形框进行截取操作，相比于在拍摄过程中生成矩形框，可防止因抖动而出现截取不准确的情况，从而提高题目获取的准确率，并简化操作难度。
根据本发明提供的第五实施例，如图7所示，一种获取题目图片的方法，包括：
S100在触摸屏上显示包含至少一道题目的图像；
S200接收在所述触摸屏上对所述图像的触摸信号；
S300当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点不在同一水平线上时，以所述触摸信号的起点和终点构成的直线为对角线构建矩形框；
S400根据所述图像与所述矩形框的夹角，对所述矩形框进行矫正；
S500获取矫正后的所述矩形框内的题目的图片；
S600当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点在同一水平线上时，获取所述触摸信号移动时所经过区域的题目的图片。
具体地，在框选题目时，还会出现一种特殊的情况，即题目仅包含一行文字，此时并不需要在题目上划对角线，只需要在该题目的文字上画一条直线就好，画完直线后，直线获取该直线所对应的文字的图片即可。所画的直线是通过触摸操作来实现的，即用户在触摸屏显示的某一行文字上连续滑动手指，然后智能终端获取该滑动操作所经过区域的文字的图片，该图片即为需要获取的题目的图片。
根据本发明提供的第六实施例，如图8所示，一种获取题目图片的装置，包括：
图像显示模块100，用于在触摸屏上显示包含至少一道题目的图像；
具体地，本实施例的获取题目图片的方法可用于平板电脑、智能手机、家教机等智能终端上。当用户开启搜题功能时，先获取包含至少一道题目的图像，然后将该图像显示在智能终端的触摸屏上。获取图像的方式有很多，可以是通过外接的拍摄设备拍摄得到的，也可以是通过自带的拍摄设备拍摄得到的，本实施例对获取图像的方式不进行限定。
一般在书本的同一页上包含多道题目，在使用拍照搜题功能时，会拍摄到其它不需要搜索的题目，需要在所有题目中框选出用户需要的那道题，本实施例中先通过摄像头在触摸屏上显示包含至少一道题目的图像，然后通过下面的步骤来实现题目的框选。
信号接收模块200，用于接收在所述触摸屏上对所述图像的触摸信号；
具体地，智能终端实时接收用户在触摸屏显示的图像上进行的触摸操作，以便通过用户的触摸操作在图像上框选出题目。
矩形框构建模块300，用于当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点不在同一水平线上时，以所述触摸信号的起点和终点构成的直线为对角线构建矩形框；
具体地，智能终端接收到触摸信号后，先判断该触摸信号是否为连续触摸信号，若是，则进一步判断触摸信号的起点和终点是否在同一水平线上，若否，则以触摸信号的起点和终点构成的直线为对角线构建矩形框。检测连续的触摸信号，可防止出现失误操作，减少错误率的发生；如用户因失误操作而在触摸屏上形成两个点触摸，然后以该两个点触摸构成的直线为对角线构建框选题目的矩形框。
触摸信号的起点和终点是指用户在触摸屏上连续滑动时，开始触摸时的点和终止触摸时的点，根据两点构成一条直线，然后以该直线为对角线构建矩形框。水平线是指与智能终端的上边框平行的线。
矫正模块400，用于根据所述图像与所述矩形框的夹角，对所述矩形框进行矫正；
具体地，由于用户在通过智能终端获取包含题目的图像时，可能存在智能终端倾斜的情况，而矩形框的上边框一般与智能终端的上边框平行，因此，当智能终端倾斜时，矩形框与图像也存在夹角，即矩形框的上边框与图像中的题目的某一行文字存在夹角，为了准确获取题目信息，需要对矩形框进行角度矫正，即对矩形框进行旋转，以使矩形框的上边框与题目的某一行文字平行。
题目图片获取模块500，用于获取矫正后的所述矩形框内的题目的图片。
具体地，对矩形框进行矫正后，获取矫正后的矩形框内的题目的图片，获取的该题目的图片即为需要进行搜题的题目。然后将该题目图片上传到服务器进行识别并进行试题匹配。
服务器在对题目图片进行文字识别时，使用的文字识别技术包括但不限于光学字符识别和场景文本识别技术等。服务器通过文字识别技术对题目图片进行文字识别后，将识别后的文字放入题库进行搜索匹配，并将匹配后的结果反馈给智能终端。智能终端接收并显示匹配到的解题结果。解题结果包括解题思路、详细解题过程和答案。
本实施例中，通过用户的连续触摸操作来形成框选题目的矩形框，不仅操作方便，省去了不停调整框选区的操作，而且框选的精确度较高；此外通过对构建的矩形框进行自动校正，使用户在获取包含题目的图像时可随意放置智能终端或书本，而不需要保证智能终端与书本保持平行，具有较强的易用性和实用性。
优选地，矫正模块400包括：
第一直线获取单元410，用于在所述图像中获取处于同一行的多个文字形成第一直线；
具体地，一道题目一般包含一行或多行文字，因此，在图像中也包含一行或多行文字。通过在图像中获取处于同一行的多个文字形成第一直线。
第二直线获取单元420，用于获取所述矩形框的上边框或下边框，并将所述上边框或下边框作为第二直线；
具体地，然后获取构建的矩形框的上边框或下边框，并将上边框或下边框作为第二直线。若在获取图像时，智能终端的上边框与题目中的任意一行文字平行(默认书本中的题目的每一行文字都是互相平行的)，则矩形框的上边框或下边框也与题目中的任意一行文字平行，此时第一直线与第二直线平行，即第一直线与第二直线之间的夹角为零。一般在构建矩形框时，默认构建的矩形框的上下边框与智能终端的上下边框平行，矩形框的左右边框与智能终端的左右边框平行。
若在获取图像时，智能终端的上边框与题目中的任意一行文字不平行，即智能终端或书本倾斜放置，则矩形框的上边框或下边框也与题目中的任意一行文字不平时，此时第一直线与第二直线之间的夹角不为零。
夹角计算单元430，用于计算所述第一直线与所述第二直线的夹角；
具体地，当第一直线与第二直线之间的夹角不为零时，即说明矩形框的上边框与题目中的任意一行文字都不平行，需要对矩形框进行矫正，因此，需要先计算第一直线与第二直线之间的夹角。
旋转矫正单元440，用于根据所述夹角，对所述矩形框进行旋转矫正，使所述第一直线与所述第二直线平行。
具体地，计算出第一直线与第二直线之间的夹角后，根据计算得到的夹角对矩形框进行旋转矫正，即对整个矩形框进行旋转，以使矩形框的上下边框与题目中任意一行文字平行，从而使待获取的题目全部位于矩形框内。使用户在使用时无需反复矫正智能终端与书本的角度，简化操作条件。
优选地，图像显示模块100包括：
第一图像显示单元110，用于当摄像头对准题目时，在触摸屏上显示包含至少一道题目的图像；
具体地，当智能终端接收到启动拍照搜题功能的指令时，智能终端上的摄像头启动，然后由用户将摄像头对准题目，触摸屏上即可显示题目的图像，此时，还并未对题目进行拍照。
启动拍照搜题功能的指令可以是某一特定的语音指令，例如，“拍照搜题”；也可以是在智能终端上的某一特定的触摸操作，例如，当监测到用户在触摸屏上的触摸动作为在某一特定方向上两点触摸且两点触摸的滑动轨迹为相对滑动，且相对滑动的位移大于第一阈值，两点触摸结束时两点间的距离小于第二阈值时，则触发拍照搜题功能；还可以是摇动智能终端的操作。
题目图片获取模块500包括：
题目图片获取单元510，用于通过所述摄像头拍摄获取矫正后的所述矩形框内的题目的图片。
具体地，将矩形框进行角度矫正后，再通过智能终端上的摄像头拍摄获取矩形框内显示的题目的图片。
本实施例的矩形框是在打开摄像头后拍照完成前生成，即打开摄像头后，先根据触摸屏上显示的需要获取的题目的位置生成矩形框，然后对矩形框进行角度矫正，最后点击拍照按钮，完成拍摄，获取矩形框内的题目的图片。
优选地，题目图片获取模块500，还用于当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点在同一水平线上时，获取所述触摸信号移动时所经过区域的题目的图片。
具体地，在框选题目时，还会出现一种特殊的情况，即题目仅包含一行文字，此时并不需要在题目上划对角线，只需要在该题目的文字上画一条直线就好，画完直线后，直线获取该直线所对应的文字的图片即可。所画的直线是通过触摸操作来实现的，即用户在触摸屏显示的某一行文字上连续滑动手指，然后智能终端获取该滑动操作所经过区域的文字的图片，该图片即为需要获取的题目的图片。
根据本发明提供的第七实施例，如图9所示，一种获取题目图片的装置，包括：
图像显示模块100，用于在触摸屏上显示包含至少一道题目的图像；
信号接收模块200，用于接收在所述触摸屏上对所述图像的触摸信号；
矩形框构建模块300，用于当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点不在同一水平线上时，以所述触摸信号的起点和终点构成的直线为对角线构建矩形框；
矫正模块400，用于根据所述图像与所述矩形框的夹角，对所述矩形框进行矫正；
题目图片获取模块500，用于获取矫正后的所述矩形框内的题目的图片。
优选地，矫正模块400包括：
第一直线获取单元410，用于在所述图像中获取处于同一行的多个文字形成第一直线；
第二直线获取单元420，用于获取所述矩形框的上边框或下边框，并将所述上边框或下边框作为第二直线；
夹角计算单元430，用于计算所述第一直线与所述第二直线的夹角；
旋转矫正单元440，用于根据所述夹角，对所述矩形框进行旋转矫正，使所述第一直线与所述第二直线平行。
优选地，图像显示模块100包括：
图像拍摄单元120，用于拍摄包含至少一道题目的图像；
第二图像显示单元130，用于在触摸屏上显示拍摄得到包含至少一个的题目的图像；
题目图片获取模块500包括：
题目图片获取单元510，用于在拍摄得到的所述图像中截取矫正后的所述矩形框内显示的题目的图片。
具体地，本实施例是先通过摄像头拍摄获取包含至少一道题目的图像，然后在图像上根据图像上需要截取的题目的位置，生成矩形框。用户在拍摄图像时，不能保证智能终端的上下边框与题目的任意一行文字都平行，因此，在图像上生成矩形框后，仍然需要对矩形框进行角度矫正，以使得矩形框的上下边框与题目的任意一行文字都平行，最后截取矩形框内的题目图片。
本实施例是先开启摄像头，通过摄像头拍摄获取包含至少一道题目的图像，并将拍摄获取的该图像显示在触摸屏上，然后在图像上根据需要截取的题目的位置生成矩形框，再对矩形框进行角度矫正，最后在图像中截取矩形框内的题目图片。先拍摄生成图片，再在图片上生成矩形框进行截取操作，相比于在拍摄过程中生成矩形框，可防止因抖动而出现截取不准确的情况，从而提高题目获取的准确率，并简化操作难度。
优选地，题目图片获取模块500，还用于当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点在同一水平线上时，获取所述触摸信号移动时所经过区域的题目的图片。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种获取题目图片的方法，其特征在于，包括：
在触摸屏上显示包含至少一道题目的图像；
接收在所述触摸屏上对所述图像的触摸信号；
当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点不在同一水平线上时，以所述触摸信号的起点和终点构成的直线为对角线构建矩形框；
根据所述图像与所述矩形框的夹角，对所述矩形框进行矫正；
获取矫正后的所述矩形框内的题目的图片。
2.根据权利要求1所述的一种获取题目图片的方法，其特征在于，所述根据所述图像与所述矩形框的夹角，对所述矩形框进行矫正具体包括：
在所述图像中获取处于同一行的多个文字形成第一直线；
获取所述矩形框的上边框或下边框，并将所述上边框或下边框作为第二直线；
计算所述第一直线与所述第二直线的夹角；
根据所述夹角，对所述矩形框进行旋转矫正，使所述第一直线与所述第二直线平行。
3.根据权利要求1或2所述的一种获取题目图片的方法，其特征在于，所述在触摸屏上显示包含至少一道题目的图像具体包括：
当摄像头对准题目时，在触摸屏上显示包含至少一道题目的图像；
所述获取矫正后的所述矩形框内的题目的图片具体包括：
通过所述摄像头拍摄获取矫正后的所述矩形框内的题目的图片。
4.根据权利要求1或2所述的一种获取题目图片的方法，其特征在于，所述在触摸屏上显示包含至少一道题目的图像具体包括：
通过摄像头拍摄包含至少一道题目的图像；
在触摸屏上显示拍摄得到包含至少一个的题目的图像；
所述获取矫正后的所述矩形框内的题目的图片具体包括：
在拍摄得到的所述图像中截取矫正后的所述矩形框内显示的题目的图片。
5.根据权利要求1所述的一种获取题目图片的方法，其特征在于，还包括：当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点在同一水平线上时，获取所述触摸信号移动时所经过区域的题目的图片。
6.一种获取题目图片的装置，其特征在于，包括：
图像显示模块，用于在触摸屏上显示包含至少一道题目的图像；
信号接收模块，用于接收在所述触摸屏上对所述图像的触摸信号；
矩形框构建模块，用于当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点不在同一水平线上时，以所述触摸信号的起点和终点构成的直线为对角线构建矩形框；
矫正模块，用于根据所述图像与所述矩形框的夹角，对所述矩形框进行矫正；
题目图片获取模块，用于获取矫正后的所述矩形框内的题目的图片。
7.根据权利要求6所述的一种获取题目图片的装置，其特征在于，所述矫正模块包括：
第一直线获取单元，用于在所述图像中获取处于同一行的多个文字形成第一直线；
第二直线获取单元，用于获取所述矩形框的上边框或下边框，并将所述上边框或下边框作为第二直线；
夹角计算单元，用于计算所述第一直线与所述第二直线的夹角；
旋转矫正单元，用于根据所述夹角，对所述矩形框进行旋转矫正，使所述第一直线与所述第二直线平行。
8.根据权利要求6或7所述的一种获取题目图片的装置，其特征在于，所述图像显示模块包括：
第一图像显示单元，用于当摄像头对准题目时，在触摸屏上显示包含至少一道题目的图像；
所述题目图片获取模块包括：
题目图片获取单元，用于通过所述摄像头拍摄获取矫正后的所述矩形框内的题目的图片。
9.根据权利要求6或7所述的一种获取题目图片的装置，其特征在于，所述图像显示模块包括：
图像拍摄单元，用于拍摄包含至少一道题目的图像；
第二图像显示单元，用于在触摸屏上显示拍摄得到包含至少一个的题目的图像；
所述题目图片获取模块包括：
题目图片获取单元，用于在拍摄得到的所述图像中截取矫正后的所述矩形框内显示的题目的图片。
10.根据权利要求6所述的一种获取题目图片的装置，其特征在于，
所述题目图片获取模块，还用于当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点在同一水平线上时，获取所述触摸信号移动时所经过区域的题目的图片。
CN201910328723.7A 2019-04-23 2019-04-23 一种获取题目图片的方法及装置 Pending CN110069206A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910328723.7A CN110069206A (zh) 2019-04-23 2019-04-23 一种获取题目图片的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910328723.7A CN110069206A (zh) 2019-04-23 2019-04-23 一种获取题目图片的方法及装置

Publications (1)

Publication Number Publication Date
CN110069206A true CN110069206A (zh) 2019-07-30

Family

ID=67368560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910328723.7A Pending CN110069206A (zh) 2019-04-23 2019-04-23 一种获取题目图片的方法及装置

Country Status (1)

Country Link
CN (1) CN110069206A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112478262A (zh) * 2020-11-26 2021-03-12 南昌黑鲨科技有限公司 智能终端贴膜定位方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631393A (zh) * 2014-11-06 2016-06-01 阿里巴巴集团控股有限公司 信息识别方法及装置
CN105913060A (zh) * 2016-04-29 2016-08-31 广东小天才科技有限公司 图片的校正方法、装置及智能设备
CN105975552A (zh) * 2016-04-29 2016-09-28 广东小天才科技有限公司 一种智能设备的题目搜索方法和装置
CN105975550A (zh) * 2016-04-29 2016-09-28 广东小天才科技有限公司 一种智能设备的题目搜索方法和装置
CN106104450A (zh) * 2013-06-28 2016-11-09 奥兰吉公司 选择图形用户界面某一部分的方法
CN106294871A (zh) * 2016-08-24 2017-01-04 广东小天才科技有限公司 一种拍照搜题的方法及装置
CN106326491A (zh) * 2016-09-14 2017-01-11 广东小天才科技有限公司 高效的题目搜索方法和装置
CN109327657A (zh) * 2018-07-16 2019-02-12 广东小天才科技有限公司 一种基于摄像头的拍照搜题方法及家教设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106104450A (zh) * 2013-06-28 2016-11-09 奥兰吉公司 选择图形用户界面某一部分的方法
CN105631393A (zh) * 2014-11-06 2016-06-01 阿里巴巴集团控股有限公司 信息识别方法及装置
CN105913060A (zh) * 2016-04-29 2016-08-31 广东小天才科技有限公司 图片的校正方法、装置及智能设备
CN105975552A (zh) * 2016-04-29 2016-09-28 广东小天才科技有限公司 一种智能设备的题目搜索方法和装置
CN105975550A (zh) * 2016-04-29 2016-09-28 广东小天才科技有限公司 一种智能设备的题目搜索方法和装置
CN106294871A (zh) * 2016-08-24 2017-01-04 广东小天才科技有限公司 一种拍照搜题的方法及装置
CN106326491A (zh) * 2016-09-14 2017-01-11 广东小天才科技有限公司 高效的题目搜索方法和装置
CN109327657A (zh) * 2018-07-16 2019-02-12 广东小天才科技有限公司 一种基于摄像头的拍照搜题方法及家教设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112478262A (zh) * 2020-11-26 2021-03-12 南昌黑鲨科技有限公司 智能终端贴膜定位方法及系统

Similar Documents

Publication Publication Date Title
KR101264897B1 (ko) 문자 입력 방법 및 시스템, 전자 장치 및 이의 키패드
CN108021320B (zh) 一种电子设备题目搜索方法及电子设备
CN103336576A (zh) 一种基于眼动追踪进行浏览器操作的方法及装置
CN111429767A (zh) 一种图文拍照识别设备
CN102622108A (zh) 一种交互式投影系统及其实现方法
TW201514759A (zh) 記錄閱讀行爲的方法及裝置
CN106774850A (zh) 一种移动终端及其交互控制方法
WO2021004412A1 (zh) 手持输入设备及其指示图标的显示位置控制方法和装置
CN107688385A (zh) 一种控制方法及装置
US20130031473A1 (en) Apparatus and method for generating summary data of e-book or e-note
Aranyanak et al. A system for tracking braille readers using a Wii Remote and a refreshable braille display
CN110069206A (zh) 一种获取题目图片的方法及装置
CN104835361A (zh) 一种电子词典
KR102048208B1 (ko) 증강현실을 이용한 x선 촬영 시뮬레이션 방법 및 프로그램
CN111901518B (zh) 显示方法、装置和电子设备
CN109858383A (zh) 笔画识别方法及装置
CN109242778A (zh) 一种图片标注控制方法、装置及其存储介质
CN111857338A (zh) 一种适合大屏幕上使用移动应用的方法
US20200366775A1 (en) Terminal having movable built-in camera
CN111563497B (zh) 基于移动轨迹的框题方法、装置、电子设备及存储介质
CN115390739A (zh) 基于手掌触控的远程交互输入方法及装置、电子设备
CN113873168A (zh) 拍摄方法、装置、电子设备及介质
CN106354397A (zh) 用于触摸屏的操作方法及装置
CN110991330A (zh) 一种教学辅助方法及装置
CN112835505B (zh) 一种用于辅助学习的远距离显示交互系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190730

RJ01 Rejection of invention patent application after publication