CN108874187A - 一种投影仪笔记系统 - Google Patents

一种投影仪笔记系统 Download PDF

Info

Publication number
CN108874187A
CN108874187A CN201810576547.4A CN201810576547A CN108874187A CN 108874187 A CN108874187 A CN 108874187A CN 201810576547 A CN201810576547 A CN 201810576547A CN 108874187 A CN108874187 A CN 108874187A
Authority
CN
China
Prior art keywords
view field
light source
coordinate
projector
writing pencil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810576547.4A
Other languages
English (en)
Inventor
任广辉
廖流波
何胜阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201810576547.4A priority Critical patent/CN108874187A/zh
Publication of CN108874187A publication Critical patent/CN108874187A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Projection Apparatus (AREA)
  • Drawing Aids And Blackboards (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明具体涉及一种投影仪笔记系统，是为了解决现有的多媒体白板成本较高、不宜推广，互动性和准确率不高的缺点而提出的，包括带有光源的手写笔、投影装置、主控装置、拍摄装置；拍摄装置用于拍摄投影区域；其中主控装置包括：投影控制模块，用于控制投影装置进行投影；视频信息接收模块，用于接收拍摄装置的画面帧；定位模块，用于根据所述画面帧确定手写笔光源在投影区域内的坐标；交互模块，用于根据所述坐标将光源的轨迹显示在用于交互的装置中。本发明适用于制作多媒体教学辅助设备。

Description

一种投影仪笔记系统
技术领域
本发明涉及多媒体教学辅助设备领域，具体涉及一种投影仪笔记系统。
背景技术
传统多媒体教学过程中，常采用黑板板书的形式进行辅助教学，或者应用专用多媒体设备，例如电阻式电子白板、电容式电子白板、红外式电子白板、超声波式电子白板、CCD光扫描式电子白板或者电磁感应式电子白板，来达到在投影上添加笔记的目的。这些添加笔记方法的缺点如下：
1、黑板板书方法需要使用粉笔，粉尘大，不环保；
2、这些电子白板成本较高，不易于推广普及；
3、这些电子白板板面易损坏或者划伤，容易受光线、温度、书写面积等因素的影响，定位精度不是很均匀，部分电子白板需要使用专用笔；
4、教师授课过程中使用PPT时，使用这些方法书写的笔记互动性较低，并且生成的笔记难以存储，不利于后续的修改和保存；
5、这些电子白板的准确率不够高，不能确保笔记生成的正确性。
6、使用这些方法时，学生在听课过程中需要持续记录笔记，不利于集中精力听课，学习效率低。
目前也有存在一些通过文字识别技术将手写文字转换为可编辑的计算机文字并归档管理的程序，但这些程序一般是针对学生记笔记的过程而设计，并不具备交互性，无法将这类技术直接用于多媒体教学。
发明内容
本发明的目的是为了解决现有的多媒体白板成本较高、不宜推广，互动性和准确率不高的缺点，而提出一种投影仪笔记系统，包括：
带有光源的手写笔、投影装置、主控装置、拍摄装置；拍摄装置用于拍摄投影区域；其中主控装置包括：
投影控制模块，用于控制投影装置进行投影；
视频信息接收模块，用于接收拍摄装置的画面帧；
定位模块，用于根据所述画面帧确定手写笔光源在投影区域内的坐标；
交互模块，用于根据所述坐标将光源的轨迹显示在用于交互的装置中。
本发明的有益效果为：1、摄像头获取的视频信息经过计算机进行处理，可以准确标定出投影画面区域，同时由于摄像头采集的图像通常都有不同程度的畸变，因此计算机在处理时可以对图像进行矫正，便于后续的识别和处理；2、开启手写笔可以在投影课件上随意绘制笔记，摄像头获取的视频信息经过计算机进行处理，可以标定出手写笔位置，并可以准确识别手写笔轨迹，进一步将轨迹同步显示在投影仪白板上，同步的速度非常快，延迟很低；3、教师打开笔记系统软件，可以使用计算机控制课件的换页，计算机软件会首先保存当前页的截图信息，加载下一页课件时，可以重新开始笔记功能，课件讲解完成后，只需关闭软件即可，笔记可以保存在制定路径下，至少减少了20％的人工操作时间，便于使用；4、笔记系统可以进行OCR光学字符识别，系统检测识别的笔记可以被系统翻译成计算机文字，可以进一步保存为笔记文件，便于后续的修改与分享。
附图说明
图1为本发明一个实施例的投影仪笔记系统的方框原理图；
图2为本发明一个实施例的投影仪笔记系统结构示意图；其中1为手写笔，2为投影仪白板，3为投影区域，4为投影装置，5为拍摄装置；
图3为坐标转换单元进行坐标转换的公式时各个变量在摄像头图像中的含义示意图；
图4为本发明一个实施例的操作人员手写过程中摄像头拍摄到的图像；
图5为对图4的图像进行OCR识别后的图像；
图6为本发明一个实施例中手写笔的笔尖进行检测和标定的流程图；
图7为本发明一个实施例中对投影仪区域进行检测和标定的流程图；
图8为本发明一个实施例中笔记功能的使用流程图。
具体实施方式
具体实施方式一：本实施方式的投影仪笔记系统，包括：带有光源的手写笔、投影装置、主控装置、拍摄装置；拍摄装置用于拍摄投影区域；其中主控装置包括：投影控制模块，用于控制投影装置进行投影；视频信息接收模块，用于接收拍摄装置的画面帧；定位模块，用于根据所述画面帧确定手写笔光源在投影区域内的坐标；显示模块，用于根据所述坐标将光源的轨迹在交互装置中进行显示。系统示意图如图1和图2所示。
其中，光源可以设置在笔尖上，光源可以为LED、红外光或激光等光源。可以按照需要再手写笔上设置开关键、课件换页键等按键。具体使用时操作者需要保持光源为开启状态，然后再投影区域内划出轨迹线条以便识别。投影装置可以为投影仪，投影的内容可以是课件的某一页。拍摄装置可为摄像头，用于拍摄投影仪投出的画面，摄像头可以使用笔记本电脑自带的摄像头或者外接摄像头。主控装置可以为计算机或者其他智能设备、嵌入式系统的处理器等，主控装置内包括各类软件控制模块，其功能是从摄像头接收画面帧，然后确定每一帧中光源所在的位置坐标，根据位置坐标形成轨迹，进而形成图形、线条或文字。最后将形成的轨迹在计算机的显示屏显示出来，进而可以通过投影仪在投影区域中显示。
确定投影区域的过程可以通过边缘检测、直线检测等手段确定，也可以人为设置固定区域。当光源移出投影区域时，将不会进行轨迹的绘制。形成轨迹的过程可以为，将时序上相邻的两个点用直线连接形成轨迹，也可以使用其他滤波算法对轨迹进行优化。
绘制出轨迹后还可以截取课件的截面图，然后通过OCR等技术将绘制的文字转换成可编辑的计算机字符。
本发明相比于白板书写成本更低，白板一般包括电阻式、电容式或者CCD光扫描式，而本发明只需要幕布或者墙面即可代替白板功能，在向各个学校推广使用时不需要购入新的白板设备，本发明所使用的主控装置、拍摄装置、投影装置等都是一般学校已经配置好的硬件设备，手写笔也可以使用传统多媒体教学中的激光笔等，因而本发明在推广使用时几乎不会在硬件上增加成本。
本发明在使用时也不会依赖于无线通信技术。现在存在一些依赖于无线网络和服务器的技术，例如将手写的笔记拍摄并识别成计算机字符后上传至服务器进行处理，这些都需要进行无线网络通信，而一部分学校的教室中不会设置无线网络。本发明在使用时，摄像头、投影仪等设备本身就是和计算机进行有线连接，这是在已有的教室中布局完成的，本发明不需要重新增设新的通信方式，使得本发明的系统更加易用。
本发明在使用时显示出的轨迹基本能够与手写的速度保持一致，延迟非常低。并且书写的过程相当于仅消耗了光源的电能，不会像白板书写那样对使笔和白板都产生损耗。
具体实施方式二：本实施方式与具体实施方式一不同的是：交互装置为显示屏或所述投影装置。即定位模块可以将光源形成的轨迹通过显示屏显示给课件讲解人员，或者通过投影仪展示给听众。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：投影仪笔记系统还包括标定模块，标定模块进一步包括：
曝光值调节单元，用于当画面帧中除光源位置外的像素点的亮度值是否均小于预设值，若否，则下调所述摄像装置的曝光值，直至判断结果为是；
投影区域检测单元，用于对画面帧进行边缘检测和直线检测，以确定投影区域；
手写笔标定单元，用于调节摄像装置的焦距和曝光值，使焦距基本对准手写笔的光源位置，使定位模块能准确检测到手写笔笔尖的光源。
标定过程的一个例子是：
打开手写笔的光源开关，将光源落在投影区域内，调节摄像头的焦距，使焦距对准手写笔的光源位置(如笔尖)；然后调节曝光值，使光源以外的部分亮度小于255，这样是为了使得检测光源位置时能够通过判断亮度值是否为255来判断。投影区域的识别可以通过边缘检测和直线检测，为了保证检测的准确性，还可以对初步检测出来的图像判断是否接近于矩形(或梯形，摄像头俯仰角度太大时会是梯形)，并判断其面积是否足够大，对检测出来的黑边直线，判断其长度是否能够能够成为投影画面的长或宽，并对不同的直线段之间的夹角进行计算，判断其是否满足近乎垂直和平行的要求。对于投影区域的判断也可以通过亮度检测，例如将投影画面设置为亮度较高的颜色，投影区域外为亮度低的背景，然后对摄像头拍摄到的图像进行灰度处理、二值化处理识别投影区域。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：光源识别单元，用于在所述画面帧中根据亮度或颜色值识别手写笔光源在画面帧内的位置坐标；坐标转换单元，用于对手写笔光源在画面帧内的位置坐标进行转换，得到手写笔光源在投影区域中的坐标。
本实施方式先对光源进行识别，然后确定光源在投影区域中的理论坐标值。对光源的识别可以通过亮度或者颜色，例如识别亮度为255的点或者特定RGB值的点。坐标转换单元的目的是根据摄像头拍摄到的图像确定光源在投影区域坐标系下的坐标。投影区域坐标系可以是以投影区域左上角的点为原点，横轴向右，纵轴向下的坐标系。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：投影仪笔记系统还包括轨迹形成单元，用于将时序上相邻的两个光源定位坐标通过线条连接形成轨迹。
这样设置可以将每一帧确定的离散的光源点连接形成连续的笔迹。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：坐标转换单元进行坐标转换的公式为：
其中，表示手写笔的笔尖在投影区域中实际位置的x坐标，表示笔尖在摄像装置中画面位置的x坐标，Psx表示投影区域参考点的x坐标，Rw表示投影区域的分辨率的宽度，Psw表示摄像装置中投影区域的宽度，X'表示水平方向误差补偿，单位均为像素点。
表示笔尖在投影区域上实际位置的y坐标，表示笔尖在摄像装置中画面位置的y坐标，Psy表示投影区域参考点的y坐标，Rh表示投影区域的分辨率的高度，Psh表示摄像装置中投影区域的高度，Y'表示竖直方向误差补偿。
公式(1)和公式(2)中的各个变量含义可以参照图3，其中O1X1Y1坐标系对应的矩形框为摄像头拍摄到的照片范围，O2X2Y2坐标系对应的矩形框代表照片内投影区域的范围。投影区域参考点(Psx,Psy)在图3中为投影区域左上角的点，除了左上角的点还可以选取其他点作为参考点。Psw在图3中为投影区域的宽度，Psh在图3中为投影区域的高度。
Rw和Rh是投影仪的分辨率，如果投影仪的分辨率为1920×1080，则Rw为1980，Rh为1080，单位均为像素。误差补偿X'和Y'可以依据实际情况具体设置。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：定位模块还包括：
去噪单元，用于对轨迹形成单元得到的轨迹进行卡尔曼滤波处理，以去除抖动；再通过中值滤波处理，以使轨迹平滑。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是：带有光源的手写笔上设置有开关，用于控制光源的开启或关闭。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是：主控单元还包括：
界面保存模块，能够响应于触发指令，将带有轨迹的画面帧进行保存，得到界面图；
OCR识别模块，用于根据OCR技术将界面图中的轨迹进行识别为文字，并显示在界面图中。
这样设置的好处是，可以对生成的轨迹进行OCR识别，将其转换为文字，然后进行保存。操作人员手写过程中摄像头拍摄到的图像如图4所示，对图4进行OCR识别后得到的图像如图5所示。
其它步骤及参数与具体实施方式一至八之一相同。
具体实施方式十：本实施方式与具体实施方式一至九之一不同的是：主控单元还包括：
畸变矫正模块，用于对投影区域进行畸变矫正。
其它步骤及参数与具体实施方式一至九之一相同。
<实施例>
本实施例中，先通过如图6所示的流程对手写笔的笔尖进行检测和标定，具体过程为：使用笔身长度为50mm～200mm的特制手写笔，其笔尖为LED、红外光或者激光光源，按压手写笔上的开关打开光源，在投影显示的课件上随意绘制笔记，点击软件中的手写笔标定，即可开始手写笔标定功能。具体实施方式是，调节摄像头的焦距，使焦距对准手写笔尖，然后调节摄像头的曝光值，使得画面中所有的位置的像素点的亮度都达不到摄像头的最高值，对于8位的RGB输出的摄像头，亮度值最大为255，然后检测摄像头画面中的亮度最高的点，或者检测单个或多个颜色值最高的点，从而得到手写笔笔尖的位置，进一步得到这个位置的中心点，将这些点连接起来就可以形成笔记。
当摄像头得到手写笔的笔尖位置时，软件部分需要笔尖的位置从摄像头的画面的坐标系中转换到投影屏幕的坐标系当中，如果摄像头中拍摄的画面中投影区域是标准的矩形时，
坐标转换的公式如下：
其中，表示笔尖在投影画面上实际位置的x坐标，表示笔尖在摄像头中画面位置的x坐标，Psx表示投影画面参考点的x坐标，Rw表示投影画面的分辨率的宽度，Psw表示摄像头中投影画面的宽度，X'表示水平方向误差补偿，单位均为像素点；
表示笔尖在投影画面上实际位置的y坐标，表示笔尖在摄像头中画面位置的y坐标，Psy表示投影画面参考点的y坐标，Rh表示投影画面的分辨率的高度，Psh表示摄像头中投影画面的高度，Y'表示竖直方向误差补偿，单位均为像素点。
公式(1)和公式(2)中，投影画面的分辨率是固定的，不会存在误差，因此影响到笔记精确度的参数就是笔尖和投影区域在摄像头画面中的测量精准度，这里引入X'和Y'的目的就是消除测量过程中的部分误差。
在笔记的绘制过程中，由于手写笔在位移过程中，不同区域的投影屏幕的反光情况不同，因而其反射的光会存在一定的抖动，从而造成笔记上的抖动，因此采用卡尔曼滤波器来消除部分抖动，然后再用中值滤波来进一步平滑笔记的曲线。
在笔记系统使用前需要对投影仪区域进行检测和标定，标定的具体流程如图7所示。在本笔记系统中，使用了两种方案来检测投影区域，方案一是在有黑边的投影幕布上，通过检测黑边来得到投影区域，首先将图片转换为灰度图片，在灰度图片中，使用边缘检测和直线检测将黑边检测出来，对检测出来的边缘，判断其形状是否接近矩形(或梯形，摄像头俯仰角度太大时会是梯形)并判断其面积是否足够大，对检测出来的黑边直线，判断其长度是否能够能够成为投影画面的长或宽，并对不同的之间之间的夹角进行计算，判断其是否满足近乎垂直和平行的要求；方案二是利用投影区域和背景之间的亮度差别进行检测，通过调节摄像头的曝光值和在计算过程中对获取的图片亮度进行调整，然后对图像转换为灰度图片，在根据设定的阈值进行亮度判断得到一个二值化的图像，对这个二值化的图像进行边缘检测和轮廓检测，对检测出来的轮廓结果进行大小和近似形状的判断，判断其是否为投影区域。
使用时，计算机软件会自动将投影画面设为纯白色的画面，以增加投影区域、黑边和背景三者之间的对比度，提高检测效率。检测过程中，软件会首先使用方案一进行判断，若方案一不足以得到投影仪区域，则会使用方案二进行判断，当两个方案都无法检测出投影区域时，会调整摄像头的焦距和曝光值，让摄像头的焦距对准投影仪的位置，若是画面亮度太高则降低曝光值，让画面亮度降低，若是画面亮度太低则提高曝光值，让画面亮度提高，然后再进行检测，当焦距和曝光值的所有设置组合都使用了还无法检测出投影区域时，计算机软件会提示无法检测到投影区域，当成功检测出投影区域时，会提示检测成功，并保存当前设置和检测结果，检测结果为投影区域在摄像头画面中的像素点的位置，包括四个顶点的位置和投影区域的长、宽(高)。
摄像头由于拍摄过程中的俯仰角度的不同，会产生一定的畸变失真，若只是俯仰角度上的畸变，则畸变之后的图形为梯形，如果还有左右两侧的角度的畸变，则畸变之后是一个不规则的四边形。因此在使用过程中，系统引入了畸变的矫正算法，具体的实施过程就是在检测投影区域的时候对畸变程度进行判断，得到水平程度和俯仰程度畸变因子αx、αy，然后利用这两个畸变因子进行矫正。但是在实际使用过程中，畸变矫正之后的系统误差会随着畸变程度的增大而增大，因此就需要在安置摄像头的时候尽量减少畸变的产生。
笔记功能使用前需要对投影区域和手写笔尖进行标定，这两个标定过程的执行时间很短，每个过程最多只需要5秒钟即可执行完，并不会浪费很多时间，当这两个步骤成功完成之后就可以开启笔记系统了，笔记功能的使用流程如图8所示。
具体使用过程中，笔记系统首先会打开课件内容并显示，教师可以使用特制的手写笔在课件上随意的绘制笔记，具体的使用方法是，需要绘制笔记时，按压手写笔上的开关打开笔尖光源，然后就可以开始绘制，当不需要绘制时，放开手写笔的开关或者将手写笔移除投影区域，系统将不再执行笔记的功能，重新再投影区域打开手写笔的LED灯，笔记系统将会自动重新启动绘制笔记。当课件的某一张讲完时，教师可以使用键盘的空格键进行课件的换页，计算机软件会首先保存当前页的截图信息(该信息包含了课件和笔记内容，当课件重载时之前的笔记信息也能被重新加载)，然后软件会加载下一页的课件，重新开始笔记功能，当课件讲解完成之后，只需要关闭软件即可，笔记内容会保存在制定路径下，并可以通过OCR功能将笔记翻译为计算机文字。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种投影仪笔记系统，其特征在于，包括：带有光源的手写笔、投影装置、主控装置、拍摄装置；拍摄装置用于拍摄投影区域；其中主控装置包括：
投影控制模块，用于控制投影装置进行投影；
视频信息接收模块，用于接收拍摄装置的画面帧；
定位模块，用于根据所述画面帧确定手写笔光源在投影区域内的坐标；
显示模块，用于根据所述坐标将光源的轨迹在交互装置中进行显示。
2.根据权利要求1所述的投影仪笔记系统，其特征在于，所述交互装置为显示屏或所述投影装置。
3.根据权利要求1所述的投影仪笔记系统，其特征在于，还包括标定模块，所述标定模块进一步包括：
曝光值调节单元，用于当画面帧中除光源位置外的像素点的亮度值是否均小于预设值，若否，则下调所述摄像装置的曝光值，直至判断结果为是；
投影区域检测单元，用于对画面帧进行边缘检测和直线检测，以确定投影区域；
手写笔标定单元，用于调节摄像装置的焦距和曝光值，使焦距基本对准手写笔的光源位置，使定位模块能准确检测到手写笔笔尖的光源。
4.根据权利要求1所述的投影仪笔记系统，其特征在于，所述定位模块包括：
光源识别单元，用于在所述画面帧中根据亮度或颜色值识别手写笔光源在画面帧内的位置坐标；
坐标转换单元，用于对手写笔光源在画面帧内的位置坐标进行转换，得到手写笔光源在投影区域中的坐标。
5.根据权利要求4所述的投影仪笔记系统，其特征在于，还包括：
轨迹形成单元，用于将时序上相邻的两个光源定位坐标通过线条连接形成轨迹。
6.根据权利要求4所述的投影仪笔记系统，其特征在于，所述坐标转换单元进行坐标转换的公式为：
其中，表示手写笔的笔尖在投影区域中实际位置的x坐标，表示笔尖在摄像装置中画面位置的x坐标，Psx表示投影区域参考点的x坐标，Rw表示投影区域的分辨率的宽度，Psw表示摄像装置中投影区域的宽度，X'表示水平方向误差补偿，单位均为像素点；
表示笔尖在投影区域上实际位置的y坐标，表示笔尖在摄像装置中画面位置的y坐标，Psy表示投影区域参考点的y坐标，Rh表示投影区域的分辨率的高度，Psh表示摄像装置中投影区域的高度，Y'表示竖直方向误差补偿。
7.根据权利要求5所述的投影仪笔记系统，其特征在于，所述定位模块还包括：
去噪单元，用于对轨迹形成单元得到的轨迹进行卡尔曼滤波处理，以去除抖动；再通过中值滤波处理，以使轨迹平滑。
8.根据权利要求1所述的投影仪笔记系统，其特征在于，所述带有光源的手写笔上设置有开关，用于控制光源的开启或关闭。
9.根据权利要求1所述的投影仪笔记系统，其特征在于，所述主控单元还包括：
界面保存模块，能够响应于触发指令，将带有轨迹的画面帧进行保存，得到界面图；
OCR识别模块，用于根据OCR技术将界面图中的轨迹进行识别为文字，并显示在界面图中。
10.根据权利要求1所述的投影仪笔记系统，其特征在于，所述主控单元还包括：
畸变矫正模块，用于对投影区域进行畸变矫正。
CN201810576547.4A 2018-06-06 2018-06-06 一种投影仪笔记系统 Pending CN108874187A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810576547.4A CN108874187A (zh) 2018-06-06 2018-06-06 一种投影仪笔记系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810576547.4A CN108874187A (zh) 2018-06-06 2018-06-06 一种投影仪笔记系统

Publications (1)

Publication Number Publication Date
CN108874187A true CN108874187A (zh) 2018-11-23

Family

ID=64337265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810576547.4A Pending CN108874187A (zh) 2018-06-06 2018-06-06 一种投影仪笔记系统

Country Status (1)

Country Link
CN (1) CN108874187A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978958A (zh) * 2019-03-27 2019-07-05 哈尔滨拓博科技有限公司 一种互动投影系统标定误差补偿方法
CN110701506A (zh) * 2019-08-26 2020-01-17 北京一数科技有限公司 一种触控投影学习台灯
CN111596776A (zh) * 2020-05-22 2020-08-28 重庆长教科技有限公司 电子白板书写笔及其教学系统
CN112785883A (zh) * 2021-01-27 2021-05-11 吕瑞 基于图像识别的点读位置标记方法、系统及智能学习桌
CN112785884A (zh) * 2021-01-27 2021-05-11 吕瑞 智能辅助学习系统、方法及学习桌
CN113393480A (zh) * 2021-06-09 2021-09-14 华南理工大学 一种基于书本位置实时投影笔记的方法
CN114546175A (zh) * 2022-02-28 2022-05-27 长沙朗源电子科技有限公司 电子白板的文字绘制方法、系统、电子白板和存储介质
CN115909342A (zh) * 2023-01-03 2023-04-04 湖北瑞云智联科技有限公司 基于触点运动轨迹的图像标记识别系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184053A (zh) * 2011-04-15 2011-09-14 深圳市华测检测技术股份有限公司 一种新型投影仪装置
CN102707817A (zh) * 2012-04-24 2012-10-03 广州市唯昕电子科技有限公司 激光书写系统
CN104685450A (zh) * 2013-02-07 2015-06-03 株式会社柳韩普利真 在演示系统中利用激光指示器的影像书写方法
CN105988568A (zh) * 2015-02-12 2016-10-05 北京三星通信技术研究有限公司 获取笔记信息的方法和装置
CN106911921A (zh) * 2017-05-12 2017-06-30 安徽大学 基于单个摄像机的投影仪红外触控和自动对焦方法
CN207182355U (zh) * 2017-08-25 2018-04-03 马新禹 一种手写智能笔

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184053A (zh) * 2011-04-15 2011-09-14 深圳市华测检测技术股份有限公司 一种新型投影仪装置
CN102707817A (zh) * 2012-04-24 2012-10-03 广州市唯昕电子科技有限公司 激光书写系统
CN104685450A (zh) * 2013-02-07 2015-06-03 株式会社柳韩普利真 在演示系统中利用激光指示器的影像书写方法
CN105988568A (zh) * 2015-02-12 2016-10-05 北京三星通信技术研究有限公司 获取笔记信息的方法和装置
CN106911921A (zh) * 2017-05-12 2017-06-30 安徽大学 基于单个摄像机的投影仪红外触控和自动对焦方法
CN207182355U (zh) * 2017-08-25 2018-04-03 马新禹 一种手写智能笔

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978958A (zh) * 2019-03-27 2019-07-05 哈尔滨拓博科技有限公司 一种互动投影系统标定误差补偿方法
CN110701506A (zh) * 2019-08-26 2020-01-17 北京一数科技有限公司 一种触控投影学习台灯
CN111596776A (zh) * 2020-05-22 2020-08-28 重庆长教科技有限公司 电子白板书写笔及其教学系统
CN112785883A (zh) * 2021-01-27 2021-05-11 吕瑞 基于图像识别的点读位置标记方法、系统及智能学习桌
CN112785884A (zh) * 2021-01-27 2021-05-11 吕瑞 智能辅助学习系统、方法及学习桌
CN113393480A (zh) * 2021-06-09 2021-09-14 华南理工大学 一种基于书本位置实时投影笔记的方法
CN114546175A (zh) * 2022-02-28 2022-05-27 长沙朗源电子科技有限公司 电子白板的文字绘制方法、系统、电子白板和存储介质
CN115909342A (zh) * 2023-01-03 2023-04-04 湖北瑞云智联科技有限公司 基于触点运动轨迹的图像标记识别系统及方法

Similar Documents

Publication Publication Date Title
CN108874187A (zh) 一种投影仪笔记系统
CN102591531B (zh) 一种电子白板的坐标映射方法、装置及电子白板
US7019713B2 (en) Methods and measurement engine for aligning multi-projector display systems
CN102707817B (zh) 激光书写系统
CN111127339B (zh) 一种文档图像的梯形畸变矫正方法及装置
EP0701225A2 (en) System for transcribing images on a board using a camera based board scanner
JPH07168949A (ja) 対話式複写装置
CN106960208A (zh) 一种仪表液晶数字自动切分和识别的方法及系统
CN103888700A (zh) 投影型图像显示装置、图像投影方法和计算机程序
CN104575120A (zh) 一种用于辅助教学的展示系统
CN107657642B (zh) 一种利用外部摄像头进行投影键盘的自动化标定方法
CN102147684B (zh) 一种触摸屏屏幕扫描方法及其系统
WO2022048617A1 (zh) 一种识别投影位置的方法、装置、系统和存储介质
CN103617642A (zh) 一种数字书画方法及装置
CN102592302A (zh) 数字化卡通智能动检系统及动检方法
WO2019041651A1 (zh) 图像校正方法、装置、设备和计算机可读存储介质
CN104142760A (zh) 交互式投影设备及其交互笔的定位方法
US20140104431A1 (en) System and Method for Utilizing a Surface for Remote Collaboration
CN103680225A (zh) 教学一体机及其多输入显示方法
CN110263784A (zh) 智能的英语试卷成绩识别录入方法
CN102023763B (zh) 触摸系统摄像头的定位方法
CN107527369A (zh) 图像校正方法、装置、设备和计算机可读存储介质
CN103019478B (zh) 基于曲面显示的触控装置和触控检测方法
CN111325106B (zh) 生成训练数据的方法及装置
CN105930813B (zh) 一种在任意自然场景下检测行文本的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181123