CN114007026A - 一种基于图像识别技术的教学过程中讲义自动生成系统 - Google Patents

Abstract

本发明公开了一种基于图像识别技术的教学过程中讲义自动生成系统，它包括图像采集子系统、数据处理计算子系统和通信子系统；图像采集子系统能够将采集得到的各类图像传送给数据处理计算子系统；所述数据处理计算子系统能够将接收到的各类图像数据进行识别处理提取其中文字用于生成讲义；通信子系统能够将数据处理计算子系统输出的数据上传至计算机平台。本发明具有能够大大降低教师讲义撰写工作量，并且有利于讲义后期不断修订形成最终形成“立体教材”的的有益效果。

Description

一种基于图像识别技术的教学过程中讲义自动生成系统

技术领域

本发明涉及一讲义自动生成系统，特别是涉及一种基于图像识别技术的教学过程中讲义自动生成系统与系统。

背景技术

当今社会已经变得高度信息化，社会生活中产生的大量数据信息只依靠人工处理是不现实的。于是就需要人工智能来处理大量的数据。

在教育行业，教师讲义的撰写制作正在发生变化，以往教师往往通过手写或者计算机辅助编辑方式撰写教案讲义，经过多年教学检验的讲义最终也往往会整理形成教材并出版推广。但是随着多媒体技术进入到教师备课授课环节后，我们发现传统的讲义撰写方法已经逐渐显得力不从心。具体表现在：讲义撰写的工作量大大提高，其原因主要是随着来自网络的各种咨询信息，特别是各种音频视频的大大丰富，往往有更多的素材可以充实到授课内容中，教师为了适应教学需求也不得不主动或者被动的要将这些丰富的资源充实到教学中，这在各级各类学校教育中都有明显的体现，那么完全依靠人工或者计算机辅助编辑的方式来制作讲义，首先在教师工作时间成本上便是一个挑战。

教师，特别是教学名师大家授课过程事实上是所传授知识内在逻辑的一种体现，但是这一过程(体现在板书、教师授课语音以及教师的演示操作等等)随着教学活动的结束便消失了，即便是进行了教学视频录制，也只能是用于学生和其他教师观看，自行吸收。那么如果能将这一教学过程记录下来转换为文字符号用于该课程讲义的不断充实、丰富和修正，那么对于课程教学的改进显然具有较好的意义。此外，如果能将教师教学的精彩环节、实验演示操作中的精妙部分进行采集抓取插入到今后的讲义中，应用到教学中，后续成为以讲义为蓝本的教材的一部分，这显然也是顺应目前“立体教材”需求的，可以为立体教材提供扎实的素材。

综上所述，现有技术中需要一种能够大大降低教师讲义撰写工作量，并且有利于讲义后期不断修订形成最终形成“立体教材”的基于图像识别技术的教学过程中讲义自动生成系统。

发明内容

针对现有技术存在的上述不足，本发明的目的是一种能够大大降低教师讲义撰写工作量，并且有利于讲义后期不断修订形成最终形成“立体教材”的基于图像识别技术的教学过程中讲义自动生成系统。

为实现上述目的，本发明采用如下技术手段：

一种基于图像识别技术的教学过程中讲义自动生成系统，其特征在于：它包括图像采集子系统、数据处理计算子系统和通信子系统；

所述图像采集子系统包括用于采集手写文字或者图形的手写图像采集单元和用于采集教师演示实验视频的操作视频采集单元；

所述图像采集子系统能够将采集得到的各类图像传送给数据处理计算子系统；所述数据处理计算子系统能够将接收到的各类图像数据进行识别处理提取其中文字用于生成讲义；

所述通信子系统能够将数据处理计算子系统输出的数据上传至计算机平台。

进一步的，所述图像采集子系统包括用于采集手写文字或者图形的手写图像采集单元和用于采集教师演示实验视频的操作视频采集单元。

更进一步的，所述图形的手写图像采集单元主要由CCD摄像头、微控制器单元和AD转换单元构成。

数据处理计算子系统为嵌入式系统；所述计算机平台上安装有能够将授课时间内播放运行于教师机上的幻灯片或者音频内容转换为文字的应用程序。

相比现有技术，本发明具有如下有益效果：

本发明能能将教师教学过程记录下来转换为文字符号用于该课程讲义的不断充实、丰富和修正，有利于课程教学的改进。本发明能将教师教学的精彩环节、实验演示操作中的精妙部分进行采集抓取插入到今后的讲义中，应用到教学中，后续成为以讲义为蓝本的教材的一部分，能为“立体教材”提供扎实的具有教学实践意义的素材。

附图说明

图1为本发明系统结构示意图；

图2为手写图像采集单元结构示意图；

图3为图像预处理过程示意图。

具体实施方式

下面结合附图和实施例，对本发明做进一步详细说明。

如图1所示，一种基于图像识别技术的教学过程中讲义自动生成系统，它包括图像采集子系统、数据处理计算子系统和通信子系统；

图像采集子系统包括用于采集手写文字或者图形的手写图像采集单元和用于采集教师演示实验视频的操作视频采集单元；

如图2所示，手写图像采集单元主要由CCD摄像头、微控制器单元和视频解码单元构成。CCD摄像头可直接将光学信号转换为模拟电流信号，电流信号经过放大和模数转换，实现图像的获取、存储、传输、处理和复现。其显著特点是:体积小重量轻、功耗小，工作电压低，抗冲击与震动，性能稳定，寿命长，由于CCD产生的图像信息为模拟信号，故要将模拟信号转换成数字信号，这一过程由微控制器技能型控制实现，具体的，也即是由CCD摄像头将光信号转化为模拟视频信号，解码器将模拟信号转换为PAL制的数字信号视频解码由比较成熟的SAA7113H芯片实现，CCD摄像头输出的模拟视频信号，通过解码芯片SAA7113H的放大、抗混叠滤波和A/D转换等处理后将模拟信号转换为数字视频信号。SAA7113H的时钟由一片24.576MHz的晶振提供，产生内部所需的LLC信号及其二分频信号LLC2。其中LLC2信号用于同步整个图像采集系统,一个LLC2周期采集一个象素的图像数据。SAA7113H在上电后，芯片不是立即采集模拟视频信号进行A/D转换处理，输出数字信号，它必须由前端处理器通过IIC串行总线对其内部寄存器进行初始化设置后，才能正常工作。本系统是利用微控制器的引脚IO模拟I2C的SDA、SCL,按照I2C协议的时序进行配置；配置后SAA7113H按奇偶场的顺序输出PAL制的数字视频信号，输出引脚的信号如下：

VPO[7..0]：数据输出，按次序输出格式为YUV 4：2：2的图像数据，宽度为8bit；

LLC：行锁定时钟，每个时钟上升沿输出一个8位的图像数据；

RTS0：列同步，”1”代表列有效；

RTS1：行同步，”1”代表行有效；

教师演示实验视频的操作视频采集单元则采用普通的CMOS摄像头常规技术实现即可。这一选择上的差别主要原因是：CMOS传感器的每个象素都比CCD传感器复杂，其象素尺寸很难达到CCD传感器的水平，因此，当我们比较相同尺寸的CCD与CMOS传感器时，CCD传感器的分辨率通常会优于CMOS传感器的水平。

图像采集子系统能够将采集得到的各类图像传送给数据处理计算子系统，它能够将接收到的各类图像数据进行识别处理提取其中文字用于生成讲义。

数据处理计算子系统为嵌入式系统，其主要需要完成的功能就是要将手写图像采集单元获取的板书图像进行处理达到文字符号内容。简言之就是要将待描述图像看作源语言，将待生成句子当作目标语言，使用“编码－解码”的方法模拟机器翻译的过程。

数据处理计算子系统为嵌入式系统，采用常规硬件设计即可，其软件设计采用常规技术实现：主要包括图像预处理、提取特征以及文字的分类识别几个步骤。

如图3所示，图像预处理主要包括图像灰度化、图像二值化、图像反色、图像去噪、图像归一化以及图像细化等。在汉字识别过程中，不同人之间的书写风格存在巨大差异，手写汉字的空间位置和大小也显著不同；采集到的手写轨迹存在一些噪声点和冗余点，这可能会影响模型的识别精度；因此需要进行文字预处理。文字预处理具体主要包括样本归一化：包含n个采样点的手写汉字轨迹N可以表示为：

N＝[{p1，q1，s1)，...，{pt，qt，st)，(pn，qn，sn)]，{pt，qt)表示采样点的绝对坐标值，st为起笔落笔信息，对该轨迹进行冗余点删除(如果第r个采样点和前一个点的欧氏距离小于设定的阀值那么该点应该被移除)、坐标归一化(样本的绝对坐标值都被归一化以消除空间尺度和位置上的差异，)经过以上处理后上述原始采样点得到归一化轨迹N`＝[{p1`，q1`，s1`)，...，{pt`，qt`，st`)，(pn`，qn`，sn`)]。之后需要进行序列特征提取，其目的是取得轨迹的导数特征作为输入，由于坐标偏移量不受绝对坐标值差异的影响，因此偏移量可以还原原始的手写轨迹。

图像预处理虽然不是整套算法最重要的，但它却直接关系到整套算法的能力，预处理步骤的比重在一些机器学习项目中甚至会占到整体的60％到70％。

特征提取是手写文字识别的关键步骤，它的目标是寻找一种算法将高维的特征空间映射到低维空间，并保留原始图像中的特征信息，低维空间上的特征更有利于识别分类，降低了计算量，特征提取可以采用SIFT算法，首先使用多个多维尺度的高斯卷积核对输入图像进行卷积，形成多个不同尺度的图像，之后将相邻尺度的图像做差得到高斯差分金字塔。如果某像素值在上下层的各9个像素或同一层的8邻域像素，即该像素的26个三维邻域点之内，是极大值或者极小值，则该像素被分类为其领域范围的特征值。之后以每个特征像素为中心，在一个方形区域计算其梯度的大小和方向，综合前80％梯度大小的方向为特征点的方向最后将特征点的方向修正为上一步得到的方向，并以特征点为中心计算128维描述。检测的时候可以根据描述子的欧式距离定义两点是否匹配，并根据特征点的匹配率定义是否为同一事物。此并非本发明改进之处，在此不再赘述。

通信子系统将数据处理计算子系统输出的数据上传至计算机平台，通信子系统采用常规技术实现即可。计算机平台上安装有现有技术中广泛使用的应用程序将授课时间内播放运行于教师机上的幻灯片或者音频内容转换为文字。进一步的，计算机平台借助应用软件实现将的手写图像采集单元采集得到并转换而成的文字与图形内容、教师授课音频转换得到的文字内容整理为完整讲义，当然这必须要依靠适当的人工干预调整才能实现，最后由人工剪切方式将操作视频采集单元采集得到的视频进行挑选截取获得需要的实验操作演示微视频，并生成对应的二维码，通过人工方式将所获取的二维码插入到讲义适当位置，形成“立体讲义”。基于本发明所阐述的技术方案，“立体讲义”将存在多种应用和传播方式，这也必将产生更多的相关新的文化创意产品。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于图像识别技术的教学过程中讲义自动生成系统，其特征在于：它包括图像采集子系统(1)、数据处理计算子系统(2)和通信子系统(3)；

所述图像采集子系统(1)能够将采集得到的各类图像传送给数据处理计算子系统(2)；所述数据处理计算子系统(2)能够将接收到的各类图像数据进行识别处理提取其中文字用于生成讲义；

所述通信子系统(3)能够将数据处理计算子系统(2)输出的数据上传至计算机平台。

2.根据权利要求1所述的一种基于图像识别技术的教学过程中讲义自动生成系统，其特征在于：所述图像采集子系统(1)包括用于采集手写文字或者图形的手写图像采集单元(11)和用于采集教师演示实验视频的操作视频采集单元(12)。

3.根据权利要求1或者2所述的一种基于图像识别技术的教学过程中讲义自动生成系统，其特征在于：所述图形的手写图像采集单元(11)主要由CCD摄像头、微控制器单元和AD转换单元构成。

4.根据权利要求1、2或者3所述的一种基于图像识别技术的教学过程中讲义自动生成系统，其特征在于：数据处理计算子系统(2)为嵌入式系统。

5.根据权利要求1、2或者3所述的一种基于图像识别技术的教学过程中讲义自动生成系统，其特征在于：所述计算机平台上安装有能够将授课时间内播放运行于教师机上的幻灯片或者音频内容转换为文字的应用程序。

Images