CN109409234A - 一种协助学生进行问题定位学习的方法及系统 - Google Patents

一种协助学生进行问题定位学习的方法及系统 Download PDF

Info

Publication number
CN109409234A
CN109409234A CN201811133705.5A CN201811133705A CN109409234A CN 109409234 A CN109409234 A CN 109409234A CN 201811133705 A CN201811133705 A CN 201811133705A CN 109409234 A CN109409234 A CN 109409234A
Authority
CN
China
Prior art keywords
pen
student
lettering pen
books
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811133705.5A
Other languages
English (en)
Other versions
CN109409234B (zh
Inventor
朱文辉
饶盛添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201811133705.5A priority Critical patent/CN109409234B/zh
Publication of CN109409234A publication Critical patent/CN109409234A/zh
Application granted granted Critical
Publication of CN109409234B publication Critical patent/CN109409234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提供了一种协助学生进行问题定位学习的方法及系统，其方法包括步骤：拍摄获取定位书写笔在书本上所指定的区域的提问区域图像；定位书写笔为设有标记的书写笔；对提问区域图像进行识别，识别出书本上所指定的区域；解析根据书本上所指定的区域，得到书本上所指定的区域对应的问题内容，根据问题内容获取对应的问题答案；向学生告知问题答案。本发明实现不仅脱离了手机，平板电脑等电子设备，避免出现学生以学习为由借机玩手机或平板电脑，耽误学习的现象；还更符合学生的学习场景。另外，即使学生口述不清楚问题，也可以帮助学生解决作业问题。最后，还无需学生在学习过程中频繁切换书写笔和学习机专用笔，提升学生的学习效率和使用体验。

Description

一种协助学生进行问题定位学习的方法及系统
技术领域
本发明涉及智能学习产品领域，尤指一种协助学生进行问题定位学习的方法及系统。
背景技术
由于教育的重要性，学习对于学生而言是至关重要的历程，学生在学习过程中往往会遇到各种各样的疑惑不解，然而，在这个快节奏的生活环境下，家长没有充足的时间辅导孩子，而学校的老师往往需要教育很多学生，没有足够的注意力注意到每个学生的学习进度和学习情况，即使课外辅导班有一对一的辅导老师进行辅导教学，但是价格昂贵，给家长带来了较大的经济压力，从而，使得越来越多的学生无法及时解决学习上碰到的疑惑问题，引起学习成绩下降。
目前，市面上有许多的电子设备用于学习，例如平板电脑，手机，学习机等等，能够一定程度上解决学生学习过程中遇到的疑难问题。一种方式是，利用电子设备对着书本拍摄照片后，搜索出问题的答案；另一种方式是对着电子设备说出问题，搜索出问题的答案。
以上帮助学生解决作业问题的方式，存在以下缺陷：(一)脱离学生的作业场景，在额外的电子设备上进行查询和查看；(二)脱离不了平板电脑，手机等电子设备，学生会以学习为由借机玩平板电脑，手机，耽误学习；(三)在使用学习机进行点击疑难问题所在位置提出问题时，需要学生在学习过程中频繁切换书写笔(如钢笔，铅笔等等)和学习机专用笔，导致浪费学生的学习时间，降低学习效率，而且频繁切换使用不同的笔进行学习，使用体验较差。而且学习机专用笔的学习方式，需要在学习机选择教程，页数后，才能点击识别学生的疑难问题所在位置，从而根据所在位置查找相应的问题进行搜库解答，操作繁琐，使用体验较差。
发明内容
本发明的目的是提供一种协助学生进行问题定位学习的方法及系统，实现不仅脱离了手机，平板电脑等电子设备，避免出现学生以学习为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。另外，即使学生口述不清楚问题，也可以帮助学生解决作业问题。最后，还无需学生在学习过程中频繁切换书写笔和学习机专用笔，提升学生的学习效率和使用体验。
本发明提供的技术方案如下：
本发明提供一种协助学生进行问题定位学习的方法，包括步骤：
拍摄获取定位书写笔在书本上所指定的区域的提问区域图像；所述定位书写笔为设有标记的书写笔；
对所述提问区域图像进行识别，识别出所述书本上所指定的区域；解析根据所述书本上所指定的区域，得到所述书本上所指定的区域对应的问题内容，根据所述问题内容获取对应的问题答案；
向学生告知所述问题答案。
优选的，所述拍摄获取定位书写笔在书本上所指定的区域的提问区域图像具体包括步骤：
通过摄像头拍摄获取预设时长的视频图像；
对所述视频图像进行分帧处理得到所述预设时长内的图像帧，提取每个图像帧对应的特征点；
当所有特征点对应的书写笔特征点相同时，标记所述书写笔为所述定位书写笔。
优选的，所述拍摄获取定位书写笔在书本上所指定的区域的提问区域图像具体还包括步骤：
通过摄像头拍摄获取包括手部和书写笔的图像信息；
对所述图像信息进行图像处理得到所述学生的使用书写笔时的比划动作；
当所述比划动作与预设比划动作相匹配时，标记所述书写笔为所述定位书写笔。
优选的，所述拍摄获取定位书写笔在书本上所指定的区域的提问区域图像具体还包括步骤：
采集语音数据；
对所述语音数据进行语音识别得到识别结果，当所述识别结果与预设语音指令匹配时，通过摄像头采集包括书写笔的图像信息；
对所述图像信息进行图像处理得到书写笔的轮廓特征，标记所述轮廓特征对应的书写笔为所述定位书写笔。
优选的，所述拍摄获取定位书写笔在书本上所指定的区域的提问区域图像之前包括步骤：
将所述学生使用的书写笔的笔杆处设置标记；和/或，
将笔帽处设置标记，并将设有所述标记的笔帽安装于所述学生使用的书写笔的笔尾处；所述笔尾与笔头相对位于所述书写笔的笔杆轴向方向的两端处。
本发明还提供一种协助学生进行问题定位学习的系统，包括：
拍摄模块，用于拍摄获取定位书写笔在书本上所指定的区域的提问区域图像；所述定位书写笔为设有标记的书写笔；
处理模块，与所述拍摄模块连接，用于对所述提问区域图像进行识别，识别出所述书本上所指定的区域；后解析根据所述书本上所指定的区域，得到所述书本上所指定的区域对应的问题内容；然后根据所述问题内容获取对应的问题答案；
告知模块，与所述处理模块连接，向学生告知所述问题答案。
优选的，所述拍摄模块，用于拍摄获取预设时长的视频图像；
所述处理模块，用于对所述视频图像进行分帧处理得到所述预设时长内的图像帧；提取每个图像帧对应的特征点；当所有特征点对应的书写笔特征点相同时，标记所述书写笔为所述定位书写笔。
优选的，所述拍摄模块，用于拍摄获取包括手部和书写笔的图像信息；
所述处理模块，用于对所述摄像头拍摄获取的所述图像信息进行图像处理得到所述学生的使用书写笔时的比划动作；当所述比划动作与预设比划动作相匹配时，标记所述书写笔为所述定位书写笔。
优选的，还包括：语音采集模块，采集语音数据；
语音识别模块，对所述语音数据进行语音识别得到识别结果；
所述拍摄模块，当所述识别结果与预设语音指令匹配时，采集图像信息；
所述处理模块，对所述图像信息进行图像处理得到书写笔的轮廓特征，标记所述轮廓特征对应的书写笔为所述定位书写笔。
优选的，所述定位书写笔为笔杆处设有标记的书写笔；和/或，
所述书写笔为笔尾处安装有设有标记的笔帽的书写笔；所述笔尾与笔头相对位于所述书写笔的笔杆轴向方向的两端处。
通过本发明提供的一种协助学生进行问题定位学习的方法及系统，实现实现不仅脱离了手机，平板电脑等电子设备，避免出现学生以学习为由借机玩手机或平板电脑，耽误学习的现象；还更符合学生的学习场景。另外，即使学生口述不清楚问题，也可以帮助学生解决作业问题。最后，还无需学生在学习过程中频繁切换书写笔和学习机专用笔，提升学生的学习效率和使用体验。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种协助学生进行问题定位学习的方法及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明协助学生进行问题定位学习的方法的一个实施例的流程图；
图2是本发明协助学生进行问题定位学习的方法的另一个实施例的流程图；
图3是本发明协助学生进行问题定位学习的方法的另一个实施例的流程图；
图4是本发明协助学生进行问题定位学习的方法的另一个实施例的流程图；
图5是本发明协助学生进行问题定位学习的系统的一个实施例的结构示意图。
附图标号说明：拍摄模块10，处理模块20，告知模块30。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
根据本发明提供的一种实施例，如图1所示，一种协助学生进行问题定位学习的方法，包括步骤：
S1拍摄获取定位书写笔在书本上所指定的区域的提问区域图像；所述定位书写笔为设有标记的书写笔；
具体的，现有技术中，学习机专用笔是利用在书本上加印二维码的技术，将声音文件植入书本中，使用者在使用过程中选择要点读的某一页，随便点击该页上的图案、文字、数字等内容，学习机使用的原理是在制作发音文件过程中，给发音文件预先设置好对应书本内容的“经纬位置”。使用者将课本置于机器平板上，用学习机专用笔点书本上的文字、图画、数字等内容，机器就会发出相对应的声音。本技术方案可通过摄像头进行拍摄获取提问区域图像，摄像头可安装在智能灯具上，智能灯具包括智能台灯、智能吊灯、智能壁灯等等，可将这种智能灯具放置于或者安装在学生进行学习的书桌附近，使智能灯具能够通过安装于智能灯具处的摄像头拍摄获取到学生使用定位书写笔在放置于书桌上的书本上所指定的区域，从而能够得到学生对于该书本上有疑难问题所在位置处的提问区域图像。即，学生在学习时，若有遇到不清楚或者不懂的问题时，学生可以使用设置有标记的定位书写笔指向书本上所指定的区域，从而进行拍摄得到提问区域图像。而定位书写笔不是现有技术中那种点读笔，而是通过对学生使用的普通的书写笔进行改造标记，或者识别标记得到用于定位学生在书本上所指定区域的定位书写笔。
S2对所述提问区域图像进行识别，识别出所述书本上所指定的区域；解析根据所述书本上所指定的区域，得到所述书本上所指定的区域对应的问题内容，根据所述问题内容获取对应的问题答案；
具体的，智能灯具中可集成有图像处理模块和处理模块，可对提问区域图像与书本图库进行匹配得到学生使用定位书写笔在书本上所指区域对应的书本。
也可以是智能灯具将自身拍摄获取到的提问区域图像上传至远端的与自身连接的服务器，通过服务器现有的处理模块对海量的书本图库进行匹配得到学生使用定位书写笔在书本上所指区域对应的书本。通过服务器进行匹配比对，能够因为服务器端的处理模块的强大功能，更加高效，准确的查找出对应于包含有提问区域图像中内容的书本。而智能灯具上不需要储存书本图库的相关数据，降低了对智能灯具储存空间的要求，从而减少了智能灯具的制造成本，并且由服务器参与识别，不需智能灯具更新储存新的书本页面图片，保证智能灯具的内存，减小智能灯具的内存占用。
通过上述两种方式进行匹配查找到对应的书本后，通过提问区域图像识别定位书写笔在查找出来的书本上的区域位置，精准定位学生想要询问的问题区域，从而对问题区域的文字，图像等等进行解析，解析出提问区域图像中的问题内容，然后获取得到对应于问题内容的问题答案。
获取得到对应于问题内容的问题答案的方式有三种：
一是、智能灯具(如智能台灯、智能吊灯、智能壁灯等等)根据自身获取的提问区域图像，通过本地的处理模块进行解析处理得到问题内容，并从本地的知识库内查找到对应于问题内容的问题答案。
二是、智能灯具根据自身获取的提问区域图像，通过本地的处理模块进行解析处理得到问题内容后，将问题内容上传至服务器，由服务器网络查找对应于问题内容的问题答案。
三是、智能灯具根据自身获取的提问区域图像，通过本地的处理模块进行解析处理得到问题内容后，将问题内容上传至辅导人(家长和/或老师)的移动终端，由辅导人进行解答后将对应于问题内容的问题答案回传至智能灯具。
示例性的，解析提问区域图像，得到问题内容：“先天下之忧而忧，后天下之乐而乐”的作者是谁，表达了作者怎样的中心思想？”，然后根据问题内容，获得问题内容对应的问题答案(包括题目解析、详细的解答步骤等)。
优选的，学生在使用本发明的智能灯具时，确定好定位书写笔后，将即将学习的书本封面，扉页打开后放置于智能灯具摄像头的拍摄范围内，从而方便查找出学生想要询问学习的书本，减少遍历式比对查找的步骤，提升识别问题区域的效率。
S3向学生告知所述问题答案。
具体的，当获取到问题答案后告知学生，以便学生及时根据问题答案进行学习解决问题。智能灯具上可以集成设有显示模块(如显示屏，人机交互界面)，投影模块(如投影灯)和语音播放模块(如扬声器、喇叭)中的任意一种或者多种。
本实施例中，在学生学习过程中，遇到不会做的题目时，学生用定位书写笔指着这道题目，智能灯具摄像头会采集包括定位书写笔和该定位书写笔对应指向的题目，针对学生使用定位书写笔在书本上指定的题目(即问题内容)，获取并反馈题目所对应的题目答案(即问题答案)。由于使用了定位书写笔从而使得学生在书本上进行定位得到问题内容时，不需要学生在学习过程中频繁切换书写笔(如钢笔，铅笔等等)和学习机专用笔，大大降低了学生的学习时间的浪费现象，从而使得学生能够有更多的精力进行学习，提升学习效率，而且不需要像现有技术那样频繁切换使用不同的笔进行学习，也不需要输入选择教程，页数，就能根据智能灯具进行识别定位书写笔在书本上所指定的区域对应的问题内容，操作方便，达到提升学生的学习体验的目的。
基于前述实施例，如图2所示，本实施例中：
S111通过摄像头拍摄获取预设时长的视频图像；
具体的，当智能灯具的拍摄定位功能开启后，通过设于智能灯具摄像头进行拍摄获取预设时长的视频图像，例如获取1分钟的视频图像。
S112对所述视频图像进行分帧处理得到所述预设时长内的图像帧，提取每个图像帧对应的特征点；
具体的，可以通过UltraVideo Splitter，Photoshop等具有视频分割工具将摄像头拍摄获取的视频图像进行视频分割截取，从而得到预设时长内的图像帧，分割截取的时间可以是1ms，也可以根据需求自行设置周期性的分割截取，对获取到的图像帧进行图像识别，从而得到每个图像帧各自对应的特征点。
S113当所有特征点对应的书写笔特征点相同时，标记所述书写笔为所述定位书写笔；
具体的，以深度学习算法为基础，完整的进行学生和书写笔的检测和追踪，实现检测各个特征点是否包括学生特征点和书写笔特征点。即：通过深度学习算法对该图像帧进行学生特征点和书写笔特征点检测，即采用神经网络结构(包括卷积层和池化层)，使用适合分辨率的网络入口对图像帧进行预训练检测，进行预训练检测，使用第一方框维度(扁长的框较少，而瘦高的框更多，以符合人的特征)进行检测学生特征点，以及使用第二方框维度(比第一方框维度的方框更加瘦高，以符合书写笔的特征)进行检测书写笔特征点，对神经网络结构进行训练，从而迫使神经网络结构学习对各种图像帧进行检测分辨各个特征点是否包括学生特征点和书写笔特征点。
S2对所述提问区域图像进行识别，识别出所述书本上所指定的区域；解析根据所述书本上所指定的区域，得到所述书本上所指定的区域对应的问题内容，根据所述问题内容获取对应的问题答案；
S3向学生告知所述问题答案。
本实施例中，在学生学习过程中，遇到不会做的题目时，学生首先将普通的书写笔(例如铅笔，钢笔，圆珠笔，水性笔等等)放置于设有摄像头的智能灯具摄像头有效拍摄范围内，由摄像头进行拍摄获取预设时长的视频图像，智能灯具对获取的视频图像进行分帧处理，从而得到预设时长内的所有图像帧，然后对各个图像帧对应的特征点，一旦所有特征点均包括书写笔特征点，并且这些书写特征点相同时，表明学生在使用这个书写笔进行学习，那么，将这个书写笔标记为定位书写笔，就能够避免学生反复切换普通书写笔和专用书写笔进行学习的烦恼，降低切换普通书写笔和专用书写笔学习浪费的时间，提升学习的效率，事半功倍，大大增加了学生的学习体验。
优选的，在未确定定位学习笔之前，可以拍摄获取包括书写笔和学生的视频图像，从而根据不同学生各自所指定的提问区域图像所对应的问题答案，及其使用的书写笔，清楚、准确的划分出不同学生同时学习时对在书本上所指定的不同区域所对应的问题，即只要智能灯具摄像头的拍摄范围(一个拍摄角度可调的摄像头，或者各个方位均固定设有摄像头)足够，可以同时拍摄获取不同学生各自所指定的提问区域图像所对应的问题答案在同一书本或者不同书本上所指定的区域。这样就能达到多人学习模式下，也能智能、高效的进行获取不同学生指定的提问区域图像，进而分别告知不同学生各自所指定的提问区域图像所对应的问题答案。本方案标记得到定位书写笔的方式是实时检测标记的，一旦确定定位书写笔，且超过预设时长后，摄像头未检测到该定位书写笔时，就重新进行检测和标记。
基于前述实施例，如图3所示，本实施例中：
S121通过摄像头拍摄获取包括手部和书写笔的图像信息；
具体的，可通过摄像头进行拍摄获取包括手部和书写笔的图像信息，本发明摄像头可安装在智能灯具上，智能灯具包括智能台灯、智能吊灯、智能壁灯等等，可将这种智能灯具放置于或者安装在学生进行学习的书桌附近，使智能灯具能够通过安装于智能灯具处的摄像头拍摄获取包括手部和书写笔的图像信息。
S122对所述图像信息进行图像处理得到所述学生的使用书写笔时的比划动作；
具体的，摄像头将获取的图像信息传递至处理模块，处理模块对包含有手部和书写笔的图像信息进行图像处理，从而得到学生使用图像信息中的书写笔进行的比划动作，例如学生用手握住书写笔比划“Z”形等等。
S123当所述比划动作与预设比划动作相匹配时，标记所述书写笔为所述定位书写笔；
具体的，由处理模块将解析得到的比划动作与预设比划动作进行比较，当比划动作与预设比划动作相匹配时，标记该图像信息中的书写笔为定位书写笔；示例性的，当学生用手握住书写笔比划“Z”形与预设比划动作“Z”相同时，标记该书写笔为定位书写笔。
S2对所述提问区域图像进行识别，识别出所述书本上所指定的区域；解析根据所述书本上所指定的区域，得到所述书本上所指定的区域对应的问题内容，根据所述问题内容获取对应的问题答案；
S3向学生告知所述问题答案。
本实施例中利用摄像头，采集学生使用书写笔时的比划动作，做图像解析后，对比分析比划动作与预设比划动作，当两者之间是相匹配时，标记该图像信息中的书写笔为定位书写笔。现有技术中需要使用专门的书写笔在书本上点击得到问题内容，然而本技术方案通过摄像头确定学生使用的任何一个普通的书写笔作为定位书写笔，不需要额外增加任何的硬件成本，而且由于智能灯具为智能台灯，智能壁灯等产品，学生无法以学习为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。最后，还无需学生在学习过程中频繁切换书写笔和学习机专用笔，提升学生的学习效率和使用体验。本方案标记得到定位书写笔的方式是实时检测标记的，一旦确定定位书写笔，且超过预设时长后，摄像头未检测到该定位书写笔时，就重新进行检测和标记。
基于前述实施例，如图4所示，本实施例中：
S131采集语音数据；
具体的，通过设于智能灯具的麦克风进行采集学生的语音得到语音数据。
S132对所述语音数据进行语音识别得到识别结果，当所述识别结果与预设语音指令匹配时，通过摄像头采集包括书写笔的图像信息；
具体的，利用麦克风采集用户的语音数据，语音识别模块利用语音识别技术，对语音数据进行语义识别，识别得到识别结果，当识别结果与预设语音指令不匹配时，学生可以口头说出问题内容，不通过定位书写笔进行定位获取问题内容；当识别结果与预设语音识别指令匹配时，其作为一个触发信号，意味着即将拍摄获取包括书写笔的图像信息，并即将对任意一个普通的书写笔进行标记得到定位书写笔。由于语音识别技术是目前较为成熟的技术，具体使用何种语音识别方式对语音数据进行语音识别，在此不再一一赘述，均在本发明的保护范围内。
S133对所述图像信息进行图像处理得到书写笔的轮廓特征，标记所述轮廓特征对应的书写笔为所述定位书写笔；
具体的，当识别结果与预设语音识别指令匹配时，摄像头对书写笔进行拍摄得到图像信息，然后将图像信息进行图像处理得到书写笔的轮廓特征，标记该轮廓特征对应的书写笔为定位书写笔。
S2对所述提问区域图像进行识别，识别出所述书本上所指定的区域；解析根据所述书本上所指定的区域，得到所述书本上所指定的区域对应的问题内容，根据所述问题内容获取对应的问题答案；
S3向学生告知所述问题答案。
本实施例中，语音+拍摄的方式来帮助确定定位书写笔的问题，非常方便的使用语音识别技术进行开启确定定位书写笔的步骤，不需要学生朝向摄像头的拍摄范围进行动作比划，也不需要对获取的视频图像进行分帧处理识别确定该书写笔是否是定位书写笔，仅仅口头说明就可以对学生使用的普通的书写笔拍摄一张图片得到包括书写笔的图像信息即可，通过对图像信息中的书写笔的进行识别得到轮廓特征，从而将该轮廓特征的书写笔标记为定位书写笔，语音+拍摄确定定位书写笔的方式更加快捷、方便。
优选的，在智能灯具上设置至少麦克风，这样就可以通过至少三个麦克风接收学生产生的语音数据，每个学生至少产生一个语音数据，针对每个学生产生的每个语音数据，都通过至少三个麦克风接收，每个学生产生的语音数据可以有多个，可以通过至少三个麦克风接收多个学生产生的多个语音数据，也可以通过至少三个麦克风接收一个学生产生的一个或多个语音数据，分别提取每个语音数据的声纹特征(声纹特征可以包括语音数据中的共振峰的频率、共振峰的强度、共振峰的数量、共振峰的波长、共振峰的变化趋势等)，根据每个语音数据的声纹特征识别出具体有几个学生在使用本技术方案中的智能灯具，一旦确定后根据获取到相同声纹特征的语音数据的获取相对位置，计算得到摄像头需要旋转进行拍摄的角度，无需学生自行进行调节摄像头的拍摄角度，或者特意将书写笔朝向摄像头的有效拍摄范围方向移动，以便确保摄像头能够拍摄获取包括书写笔的图像信息。这样，就能够只需要学生开口说出的话符合预设语音识别指令后，将手中的书写笔指向书本的自身不会的区域即可，智能灯具会自行旋转调整自身的摄像头的相对位置，进行有效，全面的标记各个学生的普通的书写笔得到定位书写笔，进一步的降低学生不集中注意力学习的概率，减少确定定位书写笔的时间浪费，提升学生的学习效率。
通过语音+拍摄的方式，还能够实现多个学生进行学习时的低等待时间的无障碍学习目的。示例性的，由于高年级学生的学习的书本更加复杂，问题内容和问题答案往往相较于低年级学生的获取效率低。那么高年级学生和低年级学生使用一个智能灯具(如智能吊灯和智能台灯)进行学习时，那么在智能学的本地处预先储存高年级学生的声学特征和低年级学生的声学特征，且储存摄像头转向拍摄提问区域图像的拍摄优先级也最高。那么在低年级学生和高年级学生同时说话想要学习时，那么根据识别出的高年级学生的声学特征，以及采集到高年级学生的语音数据的第一相对位置，进行调整摄像头朝向高年级学生的第一相对位置移动，从而使得摄像头的拍摄角度最大范围朝向高年级学生，便于对高年级学生使用的普通的书写笔(如钢笔)进行标记后得到高年级学生的定位书写笔，再对高年级学生使用自身的定位书写笔在高年级在书本上所指定的区域的提问区域图像P1，从而处理模块根据得到的提问区域图像P1得到高年级学生的问题内容W1以及其对应的问题答案D1，同时摄像头根据采集到低年级学生的语音数据的第二相对位置，进行调整方向以便朝向低年级学生的第二相对位置移动，从而使得摄像头的拍摄角度最大范围朝向低年级学生，便于对低年级学生使用的普通的书写笔(如铅笔)进行标记后得到低年级学生的定位书写笔，再对低年级学生使用自身的定位书写笔在低年级在书本上所指定的区域的提问区域图像P2，从而处理模块根据得到的提问区域图像P2得到低年级学生的问题内容W2以及其对应的问题答案D2的。告知学生问题答案的先后顺序可以是根据问题答案获取的先后顺序进行分别告知，也可以根据需求设定问题答案的告知优先级，在此不做限定，均属于本发明的保护范围。
本发明实施例中，相对位置可以是在同一平面内的相对位置，该相对位置包括水平方向和水平距离。由于各麦克风是固定在智能灯具上的，各麦克风在智能灯具上的位置是已知的，各麦克风之间的位置距离也是已知的，语音数据在空气中的传播速度也是已知的，这些已知条件再加各麦克风接收到语音数据的接收时间就可以计算出语音数据与智能灯具的相对位置，例如：通过平面几何相关算法计算出语音数据与智能灯具的相对位置。在同一平面内，任意一点到固定的三个点的距离是唯一的，该实施方式中，固定在智能灯具上的麦克风数量超过四个即可。
本发明实施例中，根据目标学生与智能灯具的相对位置，可以计算出摄像头需要旋转的角度和方向，根据摄像头需要旋转的角度和方向，旋转摄像头，以使摄像头正对学生。正对学生可以理解为使目标学生处于摄像头捕捉的画面的正中央。
基于前述实施例，本实施例中：
S01将所述学生使用的书写笔的笔杆处设置标记；和/或，
S02将笔帽处设置标记，并将设有所述标记的笔帽安装于所述学生使用的书写笔的笔尾处；所述笔尾与笔头相对位于所述书写笔的笔杆轴向方向的两端处；
S1拍摄获取定位书写笔在书本上所指定的区域的提问区域图像；所述定位书写笔为设有标记的书写笔；
S2对所述提问区域图像进行识别，识别出所述书本上所指定的区域；解析根据所述书本上所指定的区域，得到所述书本上所指定的区域对应的问题内容，根据所述问题内容获取对应的问题答案；
S3向学生告知所述问题答案。
具体的，前述实施例中，均是实时检测标记普通的书写笔得到定位书写笔，一般的书写笔均有笔杆，笔头，笔尾，有些书写笔还设有笔帽，而本实施例中有三种在普通的书写笔上添加标记的方式得到定位书写笔：
一是，将学生使用的书写笔的笔杆处设置标记，这个标记可以是唯一标记，也可以是相同标记，基于用户的需求进行设置，在笔杆处设置标记，这样当书写笔没有笔墨时，可以重新添加笔墨重复使用，能够在不影响学生正常使用书写笔进行书写学习的前提下，不需要学生向现有技术那样反复切换使用书写笔和学习机专用笔，提升学生的学习效率和使用体验。示例性的，可以在书写笔的笔杆处印制有二维码或者条形码作为标记；也可以在书写笔的笔杆处粘贴有二维码或者条形码作为标记；
二是，将笔帽处设置标记时，这个标记可以是唯一标记，也可以是相同标记，基于用户的需求进行设置。该笔帽可以盖在同类型书写笔的笔尾处，也可以盖在不同类型书写笔但是规格尺寸相适配的书写笔的笔尾处，这样，购买一个具有标记的笔帽时，就可以反复重复回收利用，不需要再次购买。例如中性笔，一旦一个笔尾安装有设有标记的笔帽的中性笔A的笔墨用尽时，那么可以拿出新的与笔帽的规格尺寸相适配的中性笔B，将该设有标记的笔帽盖在中性笔B的笔尾处。
三是，将学生使用的书写笔的笔杆处设置标记且将笔帽处设置标记，是上述两种在书写笔上添加标记得到定位书写笔的结合方案，在此不再一一赘述。
本技术方案，通过在普通的书写笔的笔杆、笔帽进行简单的改进，就能够避免像现有技术那样点击疑难问题所在位置提出问题时，需要学生在学习过程中频繁切换书写笔(如钢笔，铅笔等等)和学习机专用笔，导致浪费学生的学习时间，降低学习效率，而且频繁切换使用不同的笔进行学习，使用体验较差。通过这种简单改进，能够提升学生的学习效率和使用体验。
由于将摄像头与定位书写笔结合进行识别学生的疑难问题所在位置，通过图像识别技术获取定位书写笔在书本上所指定的区域的提问区域图像，学生只用使用定位书写笔执行书本上所指定的区域即可，不需要在学习过程中选择教程，页数后，才能点击识别学生的疑难问题所在位置，实现精准、可靠的获取到问题内容，操作更加简单，更加符合学生的学习体验。
根据本发明提供的一种实施例，如图5所示，一种协助学生进行问题定位学习的系统，包括：
拍摄模块10，用于拍摄获取定位书写笔在书本上所指定的区域的提问区域图像；所述定位书写笔为设有标记的书写笔；
具体的，本技术方案可通过摄像头进行拍摄获取提问区域图像，摄像头可安装在智能灯具上，智能灯具包括智能台灯、智能吊灯、智能壁灯等等，可将这种智能灯具放置于或者安装在学生进行学习的书桌附近，使智能灯具能够通过安装于智能灯具处的摄像头拍摄获取到学生使用定位书写笔在放置于书桌上的书本上所指定的区域，从而能够得到学生对于该书本上有疑难问题所在位置处的提问区域图像。即，学生在学习时，若有遇到不清楚或者不懂的问题时，学生可以使用设置有标记的定位书写笔指向书本上所指定的区域，从而进行拍摄得到提问区域图像。
而定位书写笔不是现有技术中那种点读笔，而是通过对学生使用的普通的书写笔进行改造标记，或者识别标记得到用于定位学生在书本上所指定区域的定位书写笔。
处理模块20，与所述拍摄模块10连接，用于对所述提问区域图像进行识别，识别出所述书本上所指定的区域；后解析根据所述书本上所指定的区域，得到所述书本上所指定的区域对应的问题内容；然后根据所述问题内容获取对应的问题答案；
具体的，智能灯具中可集成有图像处理模块20和处理模块20，可对提问区域图像进行识别，可对提问区域图像与书本图库进行匹配得到学生使用定位书写笔在书本上所指区域对应的书本。
也可以是智能灯具将自身拍摄获取到的提问区域图像上传至远端的与自身连接的服务器，通过服务器现有的处理模块20进行匹配得到学生使用定位书写笔在书本上所指区域对应的书本。通过服务器进行匹配比对，能够因为服务器端的处理模块20的强大功能，更加高效，准确的查找出对应于包含有提问区域图像中内容的书本。而智能灯具上不需要储存书本图库的相关数据，降低了对智能灯具储存空间的要求，从而减少了智能灯具的制造成本，并且由服务器参与识别，不需智能灯具更新储存新的书本页面图片，保证智能灯具的内存，减小智能灯具的内存占用。
通过上述两种方式进行匹配查找到对应的书本后，通过提问区域图像识别定位书写笔在查找出来的书本上的区域位置，精准定位学生想要询问的问题区域，从而对问题区域的文字，图像等等进行解析，解析出提问区域图像中的问题内容，然后获取得到对应于问题内容的问题答案。
获取得到对应于问题内容的问题答案的方式有三种：
一是、智能灯具(如智能台灯、智能吊灯、智能壁灯等等)根据自身获取的提问区域图像，通过本地的处理模块20进行解析处理得到问题内容，并从本地的知识库内查找到对应于问题内容的问题答案。
二是、智能灯具根据自身获取的提问区域图像，通过本地的处理模块20进行解析处理得到问题内容后，将问题内容上传至服务器，由服务器网络查找对应于问题内容的问题答案。
三是、智能灯具根据自身获取的提问区域图像，通过本地的处理模块20进行解析处理得到问题内容后，将问题内容上传至辅导人(家长和/或老师)的移动终端，由辅导人进行解答后将对应于问题内容的问题答案回传至智能灯具。
示例性的，解析提问区域图像，得到问题内容：““先天下之忧而忧，后天下之乐而乐”的作者是谁，表达了作者怎样的中心思想？”，然后根据问题内容，获得问题内容对应的问题答案(包括题目解析、详细的解答步骤等)。
优选的，学生在使用本发明的智能灯具时，确定好定位书写笔后，将即将学习的书本封面，扉页打开后放置于智能灯具摄像头的拍摄范围内，从而方便查找出学生想要询问学习的书本，减少遍历式比对查找的步骤，提升识别问题区域的效率。
告知模块30，与所述处理模块20连接，向学生告知所述问题答案。
具体的，当获取到问题答案后告知学生，以便学生及时根据问题答案进行学习解决问题。智能灯具上可以集成设有显示模块(如显示屏，人机交互界面)，投影模块(如投影灯)和语音播放模块(如扬声器、喇叭)中的任意一种或者多种。
本实施例中，在学生学习过程中，遇到不会做的题目时，学生用定位书写笔指着这道题目，智能灯具摄像头会采集包括定位书写笔和该定位书写笔对应指向的题目，针对学生使用定位书写笔在书本上指定的题目(即问题内容)，获取并反馈题目所对应的题目答案(即问题答案)。由于使用了定位书写笔从而使得学生在书本上进行定位得到问题内容时，不需要学生在学习过程中频繁切换书写笔(如钢笔，铅笔等等)和学习机专用笔，大大降低了学生的学习时间的浪费现象，从而使得学生能够有更多的精力进行学习，提升学习效率，而且不需要像现有技术那样频繁切换使用不同的笔进行学习，也不需要输入选择教程，页数，就能根据智能灯具进行识别定位书写笔在书本上所指定的区域对应的问题内容，操作方便，达到提升学生的学习体验的目的。
本实施例中，可以将拍摄模块10，处理模块20和告知模块30集成设于智能灯具；也可以将拍摄模块10和告知模块30集成设于智能灯具，将处理模块20设于服务器、监护人的移动终端；还可以将拍摄模块10，处理模块20和告知模块30设于智能灯具，并将处理模块20设于设于服务器、监护人的移动终端。将处理模块20设于设于服务器、监护人的移动终端的优点是获取问题内容以及对应的问题答案更加全面、可靠，降低智能灯具的硬件成本。将处理模块20设于智能灯具的优点是无需通讯传输。
优选的，当智能灯具和设于服务器、监护人的移动终端均设有处理模块20时，智能灯具将自身获取的提问区域图像进行分析获得问题内容的同时，将提问区域图像上传至设于服务器、监护人的移动终端，如果设于服务器、监护人的移动终端在智能灯具获取到问题答案之前，将设于服务器、监护人的移动终端获取到的问题答案下发至智能灯具，当智能灯具接收到设于服务器、监护人的移动终端下发的问题答案后，停止查找获取问题内容对应的问题答案的同时，向学生告知问题答案。
基于前述实施例，本实施例中：
所述拍摄模块10，用于拍摄获取预设时长的视频图像；
所述处理模块20，用于对所述视频图像进行分帧处理得到所述预设时长内的图像帧；提取每个图像帧对应的特征点；当所有特征点对应的书写笔特征点相同时，标记所述书写笔为所述定位书写笔。
具体的，可以通过UltraVideo Splitter，Photoshop等具有视频分割工具将摄像头拍摄获取的视频图像进行视频分割截取，从而得到预设时长内的图像帧，分割截取的时间可以是1ms，也可以根据需求自行设置周期性的分割截取，对获取到的图像帧进行图像识别，从而得到每个图像帧各自对应的特征点。以深度学习算法为基础，完整的进行学生和书写笔的检测和追踪，实现检测各个特征点是否包括学生特征点和书写笔特征点。即：通过深度学习算法对该图像帧进行学生特征点和书写笔特征点检测，即采用神经网络结构(包括卷积层和池化层)，使用适合分辨率的网络入口对图像帧进行预训练检测，进行预训练检测，使用第一方框维度(扁长的框较少，而瘦高的框更多，以符合人的特征)进行检测学生特征点，以及使用第二方框维度(比第一方框维度的方框更加瘦高，以符合书写笔的特征)进行检测书写笔特征点，对神经网络结构进行训练，从而迫使神经网络结构学习对各种图像帧进行检测分辨各个特征点是否包括学生特征点和书写笔特征点。
本实施例中，在学生学习过程中，遇到不会做的题目时，学生首先将普通的书写笔(例如铅笔，钢笔，圆珠笔，水性笔等等)放置于设有摄像头的智能灯具摄像头有效拍摄范围内，由摄像头进行拍摄获取预设时长的视频图像，智能灯具对获取的视频图像进行分帧处理，从而得到预设时长内的所有图像帧，然后对各个图像帧对应的特征点，一旦所有特征点均包括书写笔特征点，并且这些书写特征点相同时，表明学生在使用这个书写笔进行学习，那么，将这个书写笔标记为定位书写笔，就能够避免学生反复切换普通书写笔和专用书写笔进行学习的烦恼，降低切换普通书写笔和专用书写笔学习浪费的时间，提升学习的效率，事半功倍，大大增加了学生的学习体验。
优选的，在未确定定位学习笔之前，可以拍摄获取包括书写笔和学生的视频图像，从而根据不同学生各自所指定的提问区域图像所对应的问题答案，及其使用的书写笔，清楚、准确的划分出不同学生同时学习时对在书本上所指定的不同区域所对应的问题，即只要智能灯具摄像头的拍摄范围(一个拍摄角度可调的摄像头，或者各个方位均固定设有摄像头)足够，可以同时拍摄获取不同学生各自所指定的提问区域图像所对应的问题答案在同一书本或者不同书本上所指定的区域。这样就能达到多人学习模式下，也能智能、高效的进行获取不同学生指定的提问区域图像，进而分别告知不同学生各自所指定的提问区域图像所对应的问题答案。本方案标记得到定位书写笔的方式是实时检测标记的，一旦确定定位书写笔，且超过预设时长后，摄像头未检测到该定位书写笔时，就重新进行检测和标记。
基于前述实施例，本实施例中：
所述拍摄模块10，用于拍摄获取包括手部和书写笔的图像信息；
具体的，可通过摄像头进行拍摄获取包括手部和书写笔的图像信息，本发明摄像头可安装在智能灯具上，智能灯具包括智能台灯、智能吊灯、智能壁灯等等，可将这种智能灯具放置于或者安装在学生进行学习的书桌附近，使智能灯具能够通过安装于智能灯具处的摄像头拍摄获取包括手部和书写笔的图像信息。
所述处理模块20，用于对所述摄像头拍摄获取的所述图像信息进行图像处理得到所述学生的使用书写笔时的比划动作；当所述比划动作与预设比划动作相匹配时，标记所述书写笔为所述定位书写笔。
具体的，摄像头将获取的图像信息传递至处理模块20，处理模块20对包含有手部和书写笔的图像信息进行图像处理，从而得到学生使用图像信息中的书写笔进行的比划动作，例如学生用手握住书写笔比划“Z”形等等。由处理模块20将解析得到的比划动作与预设比划动作进行比较，当比划动作与预设比划动作相匹配时，标记该图像信息中的书写笔为定位书写笔；示例性的，当学生用手握住书写笔比划“Z”形与预设比划动作“Z”相同时，标记该书写笔为定位书写笔。
本实施例中利用摄像头，采集学生使用书写笔时的比划动作，做图像解析后，对比分析比划动作与预设比划动作，当两者之间是相匹配时，标记该图像信息中的书写笔为定位书写笔。现有技术中需要使用专门的书写笔在书本上点击得到问题内容，然而本技术方案通过摄像头确定学生使用的任何一个普通的书写笔作为定位书写笔，不需要额外增加任何的硬件成本，而且由于智能灯具为智能台灯，智能壁灯等产品，学生无法以学习为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。最后，还无需学生在学习过程中频繁切换书写笔和学习机专用笔，提升学生的学习效率和使用体验。本方案标记得到定位书写笔的方式是实时检测标记的，一旦确定定位书写笔，且超过预设时长后，摄像头未检测到该定位书写笔时，就重新进行检测和标记。
基于前述实施例，本实施例中还包括：
语音采集模块，采集语音数据；
语音识别模块，对所述语音数据进行语音识别得到识别结果；
具体的，利用麦克风采集用户的语音数据，语音识别模块利用语音识别技术，对语音数据进行语义识别，识别得到识别结果，当识别结果与预设语音指令不匹配时，学生可以口头说出问题内容，不通过定位书写笔进行定位获取问题内容；当识别结果与预设语音识别指令匹配时，其作为一个触发信号，意味着即将拍摄获取包括书写笔的图像信息，并即将对任意一个普通的书写笔进行标记得到定位书写笔。语音采集模块和语音识别模块可以分体设置，也可以集成一体设置，根据需求进行设置。
所述拍摄模块10，当所述识别结果与预设语音指令匹配时，采集图像信息；
具体的，当识别结果与预设语音识别指令匹配时，摄像头对书写笔进行拍摄得到图像信息，然后将图像信息进行图像处理得到书写笔的轮廓特征，标记该轮廓特征对应的书写笔为定位书写笔。
所述处理模块20，对所述图像信息进行图像处理得到书写笔的轮廓特征，标记所述轮廓特征对应的书写笔为所述定位书写笔。
本实施例中，语音+拍摄的方式来帮助确定定位书写笔的问题，非常方便的使用语音识别技术进行开启确定定位书写笔的步骤，不需要学生朝向摄像头的拍摄范围进行动作比划，也不需要对获取的视频图像进行分帧处理识别确定该书写笔是否是定位书写笔，仅仅口头说明就可以对学生使用的普通的书写笔拍摄一张图片得到包括书写笔的图像信息即可，通过对图像信息中的书写笔的进行识别得到轮廓特征，从而将该轮廓特征的书写笔标记为定位书写笔，语音+拍摄确定定位书写笔的方式更加快捷、方便。
优选的，在智能灯具上设置至少麦克风，这样就可以通过至少三个麦克风接收学生产生的语音数据，每个学生至少产生一个语音数据，针对每个学生产生的每个语音数据，都通过至少三个麦克风接收，每个学生产生的语音数据可以有多个，可以通过至少三个麦克风接收多个学生产生的多个语音数据，也可以通过至少三个麦克风接收一个学生产生的一个或多个语音数据，分别提取每个语音数据的声纹特征(声纹特征可以包括语音数据中的共振峰的频率、共振峰的强度、共振峰的数量、共振峰的波长、共振峰的变化趋势等)，根据每个语音数据的声纹特征识别出具体有几个学生在使用本技术方案中的智能灯具，一旦确定后根据获取到相同声纹特征的语音数据的获取相对位置，计算得到摄像头需要旋转进行拍摄的角度，无需学生自行进行调节摄像头的拍摄角度，或者特意将书写笔朝向摄像头的有效拍摄范围方向移动，以便确保摄像头能够拍摄获取包括书写笔的图像信息。这样，就能够只需要学生开口说出的话符合预设语音识别指令后，将手中的书写笔指向书本的自身不会的区域即可，智能灯具会自行旋转调整自身的摄像头的相对位置，进行有效，全面的标记各个学生的普通的书写笔得到定位书写笔，进一步的降低学生不集中注意力学习的概率，减少确定定位书写笔的时间浪费，提升学生的学习效率。
通过语音+拍摄的方式，还能够实现多个学生进行学习时的低等待时间的无障碍学习目的。示例性的，由于高年级学生的学习的书本更加复杂，问题内容和问题答案往往相较于低年级学生的获取效率低。那么高年级学生和低年级学生使用一个智能灯具(如智能吊灯和智能台灯)进行学习时，那么在智能学的本地处预先储存高年级学生的声学特征和低年级学生的声学特征，且储存摄像头转向拍摄提问区域图像的拍摄优先级也最高。那么在低年级学生和高年级学生同时说话想要学习时，那么根据识别出的高年级学生的声学特征，以及采集到高年级学生的语音数据的第一相对位置，进行调整摄像头朝向高年级学生的第一相对位置移动，从而使得摄像头的拍摄角度最大范围朝向高年级学生，便于对高年级学生使用的普通的书写笔(如钢笔)进行标记后得到高年级学生的定位书写笔，再对高年级学生使用自身的定位书写笔在高年级在书本上所指定的区域的提问区域图像P1，从而处理模块20根据得到的提问区域图像P1得到高年级学生的问题内容W1以及其对应的问题答案D1，同时摄像头根据采集到低年级学生的语音数据的第二相对位置，进行调整方向以便朝向低年级学生的第二相对位置移动，从而使得摄像头的拍摄角度最大范围朝向低年级学生，便于对低年级学生使用的普通的书写笔(如铅笔)进行标记后得到低年级学生的定位书写笔，再对低年级学生使用自身的定位书写笔在低年级在书本上所指定的区域的提问区域图像P2，从而处理模块20根据得到的提问区域图像P2得到低年级学生的问题内容W2以及其对应的问题答案D2的。告知学生问题答案的先后顺序可以是根据问题答案获取的先后顺序进行分别告知，也可以根据需求设定问题答案的告知优先级，在此不做限定，均属于本发明的保护范围。
本发明实施例中，相对位置可以是在同一平面内的相对位置，该相对位置包括水平方向和水平距离。由于各麦克风是固定在智能灯具上的，各麦克风在智能灯具上的位置是已知的，各麦克风之间的位置距离也是已知的，语音数据在空气中的传播速度也是已知的，这些已知条件再加各麦克风接收到语音数据的接收时间就可以计算出语音数据与智能灯具的相对位置，例如：通过平面几何相关算法计算出语音数据与智能灯具的相对位置。在同一平面内，任意一点到固定的三个点的距离是唯一的，该实施方式中，固定在智能灯具上的麦克风数量超过四个即可。
本发明实施例中，根据目标学生与智能灯具的相对位置，可以计算出摄像头需要旋转的角度和方向，根据摄像头需要旋转的角度和方向，旋转摄像头，以使摄像头正对学生。正对学生可以理解为使目标学生处于摄像头捕捉的画面的正中央。
基于前述实施例，本实施例中：
所述定位书写笔为笔杆处设有标记的书写笔；和/或，
所述书写笔为笔尾处安装有设有标记的笔帽的书写笔；所述笔尾与笔头相对位于所述书写笔的笔杆轴向方向的两端处。
具体的，前述实施例中，均是实时检测标记普通的书写笔得到定位书写笔，一般的书写笔均有笔杆，笔头，笔尾，有些书写笔还设有笔帽，而本实施例中有三种在普通的书写笔上添加标记的方式得到定位书写笔：
一是，将学生使用的书写笔的笔杆处设置标记，这个标记可以是唯一标记，也可以是相同标记，基于用户的需求进行设置，在笔杆处设置标记，这样当书写笔没有笔墨时，可以重新添加笔墨重复使用，能够在不影响学生正常使用书写笔进行书写学习的前提下，不需要学生向现有技术那样反复切换使用书写笔和学习机专用笔，提升学生的学习效率和使用体验。示例性的，可以在书写笔的笔杆处印制有二维码或者条形码作为标记；也可以在书写笔的笔杆处粘贴有二维码或者条形码作为标记；
二是，将笔帽处设置标记时，这个标记可以是唯一标记，也可以是相同标记，基于用户的需求进行设置。该笔帽可以盖在同类型书写笔的笔尾处，也可以盖在不同类型书写笔但是规格尺寸相适配的书写笔的笔尾处，这样，购买一个具有标记的笔帽时，就可以反复重复回收利用，不需要再次购买。例如中性笔，一旦一个笔尾安装有设有标记的笔帽的中性笔A的笔墨用尽时，那么可以拿出新的与笔帽的规格尺寸相适配的中性笔B，将该设有标记的笔帽盖在中性笔B的笔尾处。
三是，将学生使用的书写笔的笔杆处设置标记且将笔帽处设置标记，是上述两种在书写笔上添加标记得到定位书写笔的结合方案，在此不再一一赘述。
本技术方案，通过在普通的书写笔的笔杆、笔帽进行简单的改进，就能够避免像现有技术那样点击疑难问题所在位置提出问题时，由于在学习过程中频繁切换书写笔(如钢笔，铅笔等等)和学习机专用笔，导致浪费学生的学习时间，降低学习效率的问题，通过这种简单的改进，能够提升学生的学习效率和使用体验。
由于将摄像头与定位书写笔结合进行识别学生的疑难问题所在位置，通过图像识别技术获取定位书写笔在书本上所指定的区域的提问区域图像，学生只用使用定位书写笔执行书本上所指定的区域即可，不需要在学习过程中选择教程，页数后，才能点击识别学生的疑难问题所在位置，实现精准、可靠的获取到问题内容，操作更加简单，更加符合学生的学习体验。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种协助学生进行问题定位学习的方法，其特征在于，包括步骤：
拍摄获取定位书写笔在书本上所指定的区域的提问区域图像；所述定位书写笔为设有标记的书写笔；
对所述提问区域图像进行识别，识别出所述书本上所指定的区域；解析根据所述书本上所指定的区域，得到所述书本上所指定的区域对应的问题内容，根据所述问题内容获取对应的问题答案；
向学生告知所述问题答案。
2.根据权利要求1所述的协助学生进行问题定位学习的方法，其特征在于，所述拍摄获取定位书写笔在书本上所指定的区域的提问区域图像具体包括步骤：
通过摄像头拍摄获取预设时长的视频图像；
对所述视频图像进行分帧处理得到所述预设时长内的图像帧，提取每个图像帧对应的特征点；
当所有特征点对应的书写笔特征点相同时，标记所述书写笔为所述定位书写笔。
3.根据权利要求1所述的协助学生进行问题定位学习的方法，其特征在于，所述拍摄获取定位书写笔在书本上所指定的区域的提问区域图像具体还包括步骤：
通过摄像头拍摄获取包括手部和书写笔的图像信息；
对所述图像信息进行图像处理得到所述学生的使用书写笔时的比划动作；
当所述比划动作与预设比划动作相匹配时，标记所述书写笔为所述定位书写笔。
4.根据权利要求1所述的协助学生进行问题定位学习的方法，其特征在于，所述拍摄获取定位书写笔在书本上所指定的区域的提问区域图像具体还包括步骤：
采集语音数据；
对所述语音数据进行语音识别得到识别结果，当所述识别结果与预设语音指令匹配时，通过摄像头采集包括书写笔的图像信息；
对所述图像信息进行图像处理得到书写笔的轮廓特征，标记所述轮廓特征对应的书写笔为所述定位书写笔。
5.根据权利要求1-4任一项所述的协助学生进行问题定位学习的方法，其特征在于，所述拍摄获取定位书写笔在书本上所指定的区域的提问区域图像之前包括步骤：
将所述学生使用的书写笔的笔杆处设置标记；和/或，
将笔帽处设置标记，并将设有所述标记的笔帽安装于所述学生使用的书写笔的笔尾处；所述笔尾与笔头相对位于所述书写笔的笔杆轴向方向的两端处。
6.一种协助学生进行问题定位学习的系统，其特征在于，包括：
拍摄模块，用于拍摄获取定位书写笔在书本上所指定的区域的提问区域图像；所述定位书写笔为设有标记的书写笔；
处理模块，与所述拍摄模块连接，用于对所述提问区域图像进行识别，识别出所述书本上所指定的区域；后解析根据所述书本上所指定的区域，得到所述书本上所指定的区域对应的问题内容；然后根据所述问题内容获取对应的问题答案；
告知模块，与所述处理模块连接，向学生告知所述问题答案。
7.根据权利要求6所述的协助学生进行问题定位学习的系统，其特征在于：
所述拍摄模块，用于拍摄获取预设时长的视频图像；
所述处理模块，用于对所述视频图像进行分帧处理得到所述预设时长内的图像帧；提取每个图像帧对应的特征点；当所有特征点对应的书写笔特征点相同时，标记所述书写笔为所述定位书写笔。
8.根据权利要求6所述的协助学生进行问题定位学习的系统，其特征在于：
所述拍摄模块，用于拍摄获取包括手部和书写笔的图像信息；
所述处理模块，用于对所述摄像头拍摄获取的所述图像信息进行图像处理得到所述学生的使用书写笔时的比划动作；当所述比划动作与预设比划动作相匹配时，标记所述书写笔为所述定位书写笔。
9.根据权利要求6所述的协助学生进行问题定位学习的系统，其特征在于，还包括：
语音采集模块，采集语音数据；
语音识别模块，对所述语音数据进行语音识别得到识别结果；
所述拍摄模块，当所述识别结果与预设语音指令匹配时，采集图像信息；
所述处理模块，对所述图像信息进行图像处理得到书写笔的轮廓特征，标记所述轮廓特征对应的书写笔为所述定位书写笔。
10.根据权利要求6-9任一项所述的协助学生进行问题定位学习的系统，其特征在于：
所述定位书写笔为笔杆处设有标记的书写笔；和/或，
所述书写笔为笔尾处安装有设有标记的笔帽的书写笔；所述笔尾与笔头相对位于所述书写笔的笔杆轴向方向的两端处。
CN201811133705.5A 2018-09-27 2018-09-27 一种协助学生进行问题定位学习的方法及系统 Active CN109409234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811133705.5A CN109409234B (zh) 2018-09-27 2018-09-27 一种协助学生进行问题定位学习的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811133705.5A CN109409234B (zh) 2018-09-27 2018-09-27 一种协助学生进行问题定位学习的方法及系统

Publications (2)

Publication Number Publication Date
CN109409234A true CN109409234A (zh) 2019-03-01
CN109409234B CN109409234B (zh) 2022-08-02

Family

ID=65465307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811133705.5A Active CN109409234B (zh) 2018-09-27 2018-09-27 一种协助学生进行问题定位学习的方法及系统

Country Status (1)

Country Link
CN (1) CN109409234B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902187A (zh) * 2019-03-21 2019-06-18 广东小天才科技有限公司 一种特征知识图谱的构建方法及装置、终端设备
CN110956135A (zh) * 2019-12-02 2020-04-03 易海艳 一种远程在线教育管理系统
CN111008588A (zh) * 2019-12-02 2020-04-14 易海艳 一种基于物联网的远程教育管理方法
CN111026924A (zh) * 2019-03-11 2020-04-17 广东小天才科技有限公司 一种待搜索内容的获取方法及电子设备
CN111276017A (zh) * 2020-01-21 2020-06-12 上海万得维进出口有限公司 基于智能标记实现针对学生进行自助家默控制的系统及其方法
CN111432131A (zh) * 2020-04-30 2020-07-17 广东小天才科技有限公司 一种拍照框选的方法、装置、电子设备及存储介质
CN111596807A (zh) * 2020-05-22 2020-08-28 重庆长教科技有限公司 交互式教学系统
CN112202655A (zh) * 2020-09-23 2021-01-08 腾讯科技（深圳）有限公司 智能电器、图像识别方法、电子设备以及存储介质
CN113223520A (zh) * 2021-04-25 2021-08-06 西安电子科技大学 一种软件操作实景语义理解的语音互动方法、系统及平台
US11288532B2 (en) * 2020-03-02 2022-03-29 Capital One Services, Llc Systems and methods for facilitating candidate interviews
CN114625239A (zh) * 2022-03-17 2022-06-14 广东小天才科技有限公司 一种书写笔追踪方法、装置、终端设备以及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060159345A1 (en) * 2005-01-14 2006-07-20 Advanced Digital Systems, Inc. System and method for associating handwritten information with one or more objects
JP2011034548A (ja) * 2009-07-10 2011-02-17 Osaka Prefecture Univ 手書きパターンの取得システムおよび取得方法
CN203520340U (zh) * 2013-11-01 2014-04-02 北京拓思德科技有限公司 一种基于人机交互的书写笔
CN203520306U (zh) * 2013-11-01 2014-04-02 北京拓思德科技有限公司 基于人机交互的书写笔
CN103744971A (zh) * 2014-01-10 2014-04-23 广东小天才科技有限公司 一种主动推送信息的方法和设备
CN104157171A (zh) * 2014-08-13 2014-11-19 三星电子（中国）研发中心 一种点读系统及其方法
CN104217197A (zh) * 2014-08-27 2014-12-17 华南理工大学 一种基于视觉手势的点读方法和装置
CN104835365A (zh) * 2015-05-05 2015-08-12 广东小天才科技有限公司 一种适用于书写作业检查的方法、智能设备及装置
US20160034752A1 (en) * 2014-07-31 2016-02-04 Qisda (Suzhou) Co., Ltd. Handwriting input system and handwriting input method
CN205176890U (zh) * 2015-11-04 2016-04-20 泉州市佳能机械制造有限公司 一种智能笔的解答系统
CN106648171A (zh) * 2016-12-08 2017-05-10 南京仁光电子科技有限公司 一种基于书写笔的交互系统及方法
CN107783718A (zh) * 2017-11-20 2018-03-09 宁波宁大教育设备有限公司 一种基于纸质手写的在线作业/考试输入方法及装置
CN207196162U (zh) * 2017-08-08 2018-04-06 北京汉王国粹科技有限责任公司 智能台灯

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060159345A1 (en) * 2005-01-14 2006-07-20 Advanced Digital Systems, Inc. System and method for associating handwritten information with one or more objects
JP2011034548A (ja) * 2009-07-10 2011-02-17 Osaka Prefecture Univ 手書きパターンの取得システムおよび取得方法
CN203520340U (zh) * 2013-11-01 2014-04-02 北京拓思德科技有限公司 一种基于人机交互的书写笔
CN203520306U (zh) * 2013-11-01 2014-04-02 北京拓思德科技有限公司 基于人机交互的书写笔
CN103744971A (zh) * 2014-01-10 2014-04-23 广东小天才科技有限公司 一种主动推送信息的方法和设备
US20160034752A1 (en) * 2014-07-31 2016-02-04 Qisda (Suzhou) Co., Ltd. Handwriting input system and handwriting input method
CN104157171A (zh) * 2014-08-13 2014-11-19 三星电子（中国）研发中心 一种点读系统及其方法
CN104217197A (zh) * 2014-08-27 2014-12-17 华南理工大学 一种基于视觉手势的点读方法和装置
CN104835365A (zh) * 2015-05-05 2015-08-12 广东小天才科技有限公司 一种适用于书写作业检查的方法、智能设备及装置
CN205176890U (zh) * 2015-11-04 2016-04-20 泉州市佳能机械制造有限公司 一种智能笔的解答系统
CN106648171A (zh) * 2016-12-08 2017-05-10 南京仁光电子科技有限公司 一种基于书写笔的交互系统及方法
CN207196162U (zh) * 2017-08-08 2018-04-06 北京汉王国粹科技有限责任公司 智能台灯
CN107783718A (zh) * 2017-11-20 2018-03-09 宁波宁大教育设备有限公司 一种基于纸质手写的在线作业/考试输入方法及装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026924A (zh) * 2019-03-11 2020-04-17 广东小天才科技有限公司 一种待搜索内容的获取方法及电子设备
CN109902187A (zh) * 2019-03-21 2019-06-18 广东小天才科技有限公司 一种特征知识图谱的构建方法及装置、终端设备
CN110956135A (zh) * 2019-12-02 2020-04-03 易海艳 一种远程在线教育管理系统
CN111008588A (zh) * 2019-12-02 2020-04-14 易海艳 一种基于物联网的远程教育管理方法
CN111276017A (zh) * 2020-01-21 2020-06-12 上海万得维进出口有限公司 基于智能标记实现针对学生进行自助家默控制的系统及其方法
US20220180617A1 (en) * 2020-03-02 2022-06-09 Capital One Services, Llc Systems and methods for facilitating candidate interviews
US20240104505A1 (en) * 2020-03-02 2024-03-28 Capital One Services, Llc Systems and methods for facilitating candidate interviews
US11875312B2 (en) 2020-03-02 2024-01-16 Capital One Services, Llc Systems and methods for facilitating candidate interviews
US11288532B2 (en) * 2020-03-02 2022-03-29 Capital One Services, Llc Systems and methods for facilitating candidate interviews
CN111432131A (zh) * 2020-04-30 2020-07-17 广东小天才科技有限公司 一种拍照框选的方法、装置、电子设备及存储介质
CN111596807B (zh) * 2020-05-22 2023-09-19 重庆长教科技有限公司 交互式教学系统
CN111596807A (zh) * 2020-05-22 2020-08-28 重庆长教科技有限公司 交互式教学系统
CN112202655A (zh) * 2020-09-23 2021-01-08 腾讯科技（深圳）有限公司 智能电器、图像识别方法、电子设备以及存储介质
CN113223520A (zh) * 2021-04-25 2021-08-06 西安电子科技大学 一种软件操作实景语义理解的语音互动方法、系统及平台
CN113223520B (zh) * 2021-04-25 2024-03-26 西安电子科技大学 一种软件操作实景语义理解的语音互动方法、系统及平台
CN114625239A (zh) * 2022-03-17 2022-06-14 广东小天才科技有限公司 一种书写笔追踪方法、装置、终端设备以及存储介质

Also Published As

Publication number Publication date
CN109409234B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN109409234A (zh) 一种协助学生进行问题定位学习的方法及系统
CN109065055A (zh) 基于声音生成ar内容的方法、存储介质和装置
CN201993924U (zh) 一种点读教材学习机
CN105551328A (zh) 基于移动交互和大数据分析的语言教学辅研同步集成系统
US20020133350A1 (en) Interactive book
CN110310528A (zh) 一种纸云互动语言教学系统和方法
Yang Storytelling as a teaching method in ESL classrooms
He et al. Invented spelling of EFL young beginning writers and its relation with phonological awareness and grapheme-phoneme principles
Asadova Effective Strategies for Teaching Phonetics in the Classroom
CN202632566U (zh) 一种英语语音教学装置
Richgels Talk, write, and read: A method for sampling emergent literacy skills
CN206348971U (zh) 一种演讲训练电子仪
KR20220126701A (ko) 교육용 학습 교구 시스템
CN114972716A (zh) 上课内容记录方法、相关装置和介质
CN201918066U (zh) 英语音标学习转盘
CN104680865A (zh) 一种具有统计分析功能的公安教育训练系统
Blackwell-Bullock et al. Concept of word in text: An integral literacy skill
Jihad et al. Examining pronunciation patterns of English education students: An analysis of segmental sounds and word stress
Fanselow " It's Too Damn Tight": Media in ESOL Classrooms: Structural Features in Technical/Subtechnical English
Haryani Investigating pronunciation error produced by English department students of UNISLA
Çekiç The effects of computer assisted pronunciation teaching on the listening comprehension of Intermediate learners
Bulgarova et al. FEATURES OF DECODING RUSSIAN SPEECH TO
Sandoval et al. More, Better, Earlier: Developing Targeted Linguistics Strategies for Spanish Pronunciation
Nur'Aini Analysing the acoustic evidence of consonant productions among students at the university level
CN104680871A (zh) 一种带有教官队伍管理的公安教育训练系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant