CN111353397B - 基于大数据和ocr的网络课堂中文板书结构化分享系统 - Google Patents
基于大数据和ocr的网络课堂中文板书结构化分享系统 Download PDFInfo
- Publication number
- CN111353397B CN111353397B CN202010109683.XA CN202010109683A CN111353397B CN 111353397 B CN111353397 B CN 111353397B CN 202010109683 A CN202010109683 A CN 202010109683A CN 111353397 B CN111353397 B CN 111353397B
- Authority
- CN
- China
- Prior art keywords
- blackboard
- writing
- courseware
- ocr
- tensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012015 optical character recognition Methods 0.000 title description 18
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 19
- 230000007547 defect Effects 0.000 abstract description 5
- 238000012549 training Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 101150071665 img2 gene Proteins 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/418—Document matching, e.g. of document images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Drawing Aids And Blackboards (AREA)
Abstract
本发明公开了一种基于大数据和OCR的网络课堂中文板书结构化分享系统，该系统包括：图像获取单元、课件排版特征提取单元、板书书写特征提取单元、张量融合单元、混合特征提取单元、板书分享单元，这些单元之间相互协作对课件图像、板书图像进行分析从而实现板书分享。利用本发明，在网络课堂教学中，实现了网络课堂板书结构化分享，能够帮助教师自主发现板书缺陷。
Description
技术领域
本发明涉及深度学习、大数据技术领域，具体涉及一种基于大数据和OCR的网络课堂中文板书结构化分享系统。
背景技术
目前，网络课堂是一种广泛应用在高校公开课、企业培训、职业培训、中小幼教育等线上课堂的广泛形式，具体是讲师使用PPT和实时板书内容来进行课件讲解。网络课堂具有广泛的前景。从泛IT教育机构举例来说3节课在线教育培训，与BAT、TMD等互联网公司展开合作，与企业共建评估标准，为企业和个人提供培训服务。Pluralsight美国在线培训公司，2018年5月登陆美国NASDAQ，截止2018年底市值达32.6亿美元。其市值之大，是因为线上教育的便利已经触及到每个领域，忽略重播的课程，仅每日产生的在线课堂板书数据已十分可观，但网络课堂的数据量十分庞大，每日产生的板书数据和课件数据尚未被用于分析。
另一方面，教师的教育质量提升是离不开课堂反馈的，线下教育的质量能够有较好的把控的原因是教师在板书书写后能够根据课堂反馈把握较好的板书内容详尽程度，来把握较好的节奏。而目前，网络课堂讲师依赖的反馈主要限制在课后量化评分上，因为反馈不足，教师很难发现板书存在的问题。在这种反馈不足的情况下，教师需要通过相似板书来自主发现问题。而目前暂时没有自动化分析板书内容的系统，即教师难以发现与自己教授内容相似的板书推荐分享，也无法知道其他用户对自己板书的关注情况。
因此，现有网络课堂教育领域存在缺少板书分享、教师无法自主发现板书缺陷的问题。
发明内容
本发明提供了一种基于大数据和OCR的网络课堂中文板书结构化分享系统，实现了网络课堂板书结构化分享，能够帮助教师自主发现板书缺陷。
一种基于大数据和OCR的网络课堂中文板书结构化分享系统，该系统包括：
图像获取单元，用于基于网络课堂的应用程序接口获取课件图像以及板书图像；
课件排版特征提取单元，用于将课件图像输入课件排版风格编码器、课件排版风格解码器构成的神经网络，进行前向传播，得到第一张量；
板书书写特征提取单元，用于将板书图像输入板书书写风格编码器、板书书写风格解码器构成的神经网络，进行前向传播，得到第二张量；
张量融合单元，用于将尺寸相同的第一张量、第二张量按通道维度进行拼接合并操作，得到通道数更高的第三张量；
混合特征提取单元，用于将第三张量输入混合特征编码器进行编码处理，并将编码结果输入全连接网络，得到高维特征向量；
文字识别单元，用于基于OCR模块对板书图像进行文字识别，得到中文字符数量；
板书分享单元，用于根据高维特征向量以及中文字符数量计算板书之间的相似度，并根据相似度向用户进行双向分享。
图像获取单元还包括预处理模块，预处理模块用于对获得的板书图像进行底色添加、反色处理，从而得到符合网络常规设计参数的板书图像。
课件排版风格编码器、课件排版风格解码器是沙漏组合结构，采用卷积神经网络模块；板书书写风格编码器、板书书写风格解码器是沙漏组合结构，采用卷积神经网络模块。
全连接网络的推荐配置是4096、4096、1024、256、512。
OCR模块的识别结果是一组字符串，对字符串的字符进行过滤，统计中文字符数量。
根据高维特征向量以及中文字符数量计算板书之间的相似度包括根据以下计算模型计算相似度：
S1＝D(V1，V2)*(W2-X)
S2＝D(V1，V2)*1
其中，V1表示根据本地用户的课件图像以及板书图像数据经过神经网络分析得到的高维特征向量，V2表示待匹配的课件图像以及板书图像数据经过神经网络分析得到的高维特征向量，D(V1，V2)表示两个高维特征向量之间的相似度，W1表示本地板书的字数，W2表示待匹配的目标板书的字数，X为补偿值，S1是忽略本地板书字数，考虑目标板书字数的相似度计算模型；S2是忽略本地及目标板书字数，考虑全局风格特征的相似度计算模型；在使用S2对板书进行粗筛选之后可以使用S1对结果进行细化。
本发明的有益效果在于：
1、本发明基于深度神经网络技术对现有课件以及板书内容进行分析，实现了板书分享，帮助教师自主发现板书缺陷，有助于提高网络课堂教学质量。
2、本发明根据板书图像的透明底色特性，对板书图像进行了底色添加、反色处理，保证输入的特征符合常规网络设计参数，有助于提高神经网络的精度。
3、本发明在课件排版风格编码器以及板书书写风格编码器之后又利用课件排版风格解码器以及板书书写风格解码器对编码结果进行通道数降低、提高特征图的空域精度，相比于传统的一直使用编码器进行特征提取，更有助于提取到更加精准的特征向量。
4、本发明基于通道融合技术得到的高维特征向量综合了课件排版风格特征、板书书写风格特征，使板书分享结果更加贴合板书主题，提高了板书分享结果的有效性。
5、本发明利用OCR技术对板书字数进行识别，并将识别字数纳入板书相似度计算，是基于现有的认为字数多的板书分享更为有效的理念，因此，将识别字数纳入板书相似度计算进一步提高了板书分享结果的有效性。
附图说明
图1为本发明系统框架图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于大数据和OCR的网络课堂中文板书结构化分享系统，系统框架图如图1所示。下面通过具体实施例来进行说明。
实施例一：
基于大数据和OCR的网络课堂中文板书结构化分享系统，该系统包括：
图像获取单元，用于基于网络课堂的应用程序接口获取课件图像以及板书图像。
在利用网络课堂教学过程中，通常是结合电子课件与电子板书的形式进行教学。例如，教师上传课件后，在教学过程中，直接在课件上进行板书标注；或者，教书上传课件后，另外在电子白板上进行板书标注。由此可见，板书内容与课件内容息息相关。因此，在板书分享及推荐时，课件特征是非常重要的特征。
首先，为了访问板书内容，需要使用网络课堂对应的应用程序接口API，并得到原始课件图像和板书图像。其中，板书图像一般是以RGBA的格式存储，从而实现网络课堂中的图层叠加，进而实时渲染。RGBA是代表Red(红色)Green(绿色)Blue(蓝色)和Alpha的色彩空间，Alpha通道一般用作不透明度参数。如果一个像素的alpha通道数值为0％，那它就是完全透明的(也就是看不见的)，而数值为100％则意味着一个完全不透明的像素(传统的数字图像)。因此，IMG2需要设置底色，对于一般的张量而言，无特征部分应是黑色底色或中灰度底色最佳，而板书的特性导致白色才能显现黑色纹理，因此，将白色底色与具有透明图层的板书图像进行叠加，得到叠加后的白底板书图像。
在将白底板书图像输入板书书写编码器EncB之前，需要对白底板书图像进行底色反转的反色处理，从而保证输入的特征符合常规网络设计参数，因为有些网络的卷积没有偏置项，如果是白色，则会导致背景值过大，可能出现网络精度较低的情况。
事先说明的是，特征图像和二维张量为一种数据类型的两种不同称呼，高维特征和一维张量为同一种数据类型的两种不同称呼，它们表示的都是张量形状。
对于课件图像，则无需预处理即可输入课件排版风格编码器EncA。
课件排版特征提取单元，用于将课件图像输入课件排版风格编码器、课件排版风格解码器构成的神经网络，进行前向传播，得到第一张量；板书书写特征提取单元，用于将板书图像输入板书书写风格编码器、板书书写风格解码器构成的神经网络，进行前向传播，得到第二张量。
首先说明的是，课件排版风格编码器EncA、课件排版风格解码器DecB构成了课件风格特征提取神经网络，板书书写风格解码器DecA、板书书写风格解码器DecB构成了板书书写风格神经网络，两个神经网络构成两个并行的通路，即两个通路可以并行计算，但需要异步等待，即需要都计算完成后才能执行混合特征编码器EncC。
实施者应知道，编码器、解码器具体采用哪种网络内部结构，是多样的且众所周知的，经典的编码器有VGG、ResNet等结构，解码器有普通地将编码器按曾倒排的配置，也有多尺度感知的ASPP配置。实施者应结合硬件的计算能力和精度做出权衡，从而采用合适的网络内部结构。
一种是实施例是，编码器和解码器均采用卷积神经网络模块，CNN编码器和解码器的特点在于，编码器对特征图的通道扩增，而图像大小减少，即降低了空域的精度而提升了特征强度的类型数，反之，解码器降低通道数并提高特征图的空域精度。
对于EncA，DecA的沙漏组合结构而言，其计算得到的信息属于不可解释的，但保留了用于表述课件相似度的二维特征。
对于EncB，DecB的沙漏组合结构而言，其计算得到的信息属于不可解释的，但保留了用于表述板书内容分布位置相似度的二维特征。
不难理解，对于特征编码器EncA、EncB，特征解码器DecA、DecB，其结构为沙漏结构，即参考了VAE的思想，可以认为其提取抽象信息T1、T2，其中，T1是DecA得到的抽象信息，T2是DecB得到的抽象信息，这样能够隔离更多的无关信息。T1、T2均为张量，分别称为第一张量、第二张量。
张量融合单元，用于将尺寸相同的第一张量、第二张量按通道维度进行拼接合并操作，得到通道数更高的第三张量。
在将T1、T2输入混合特征编码器之前，对于T1和T2需要进行张量按通道维度的拼接得到T3。此拼接操作在神经网络中成为concatenate。进行concatenate必须满足的一个要求是张量的宽、高是一样的。举例来说，假设实施者设计的网络输出了：[N*64*H*W]的二维张量T1，[N*32*H*W]的二维张量T2，则得到[N*(64+32)*H*W]的二维张量T3，其中，H,W两个参数是一致的，即要完成该操作，则必须确定二维张量的宽、高一致。
混合特征提取单元，用于将第三张量输入混合特征编码器进行编码处理，并将编码结果输入全连接网络，得到高维特征向量。
将张量T1、T2进行拼接操作后，得到张量T3。二维张量T3经过混合特征编码器EncC，通过maxpooling，flatten的机制转化为一维张量，并输入全连接网络FC1。
其中，实施者应当知道EncC的输出向一维张量转换的时候对应的操作时多样且公知的，实施者可以参考普通的ReID网络、图像分类网络来进行实践，在此推荐的做法是EncC的输出大小为[N*256*4*4]，采用flatten操作，得到[N*4096*1]的张量，也成为高维向量。
全连接网络FC1结构较为简单，具体采用何种形式不作为约束，但在此推荐的配置为：[4096,4096,1024,256,512]，其中每个数字代表了FC自第一层至最后一层的每层神经元配置。
最终，全连接网络FC1输出512维的高维向量V。
为了训练上述网络，在此简单表述训练的机制和原理。与ReID类似，本网络旨在表示板书文字和课件排版风格的特征，并以特征进行与其它板书数据的相似度度量。其核心思想是：选取同一板书数据，进行基于仿射变换的样本增强，并将源数据的推断结果—高维特征向量V1和仿射变换后的推理结果—高维特征向量V2进行基于余弦距离的相似度计算，最终的两者相似度S与最大相似度1的L1距离作为损失函数。
同时，为了判别不同的数据，实施者应当建立合适大小的数据集，保证板书之间的风格是截然不同的，具体板书内容的实例应当不小于50种，即50种两两风格不同的数据。实施者应当知道，对于泛IT教育、中小幼教育而言，有非在线课堂的数据可以利用，且容易总结板书风格，从而大量降低分类工作量。
由于样本增强的机制，网络可以克服仿射变换之间的变种，即排版有些许不同的仍能够当作同一种板书，大大适应线上课堂的特点。
在此推荐实施者使用TripletLoss等孪生网络的训练机制，此类方法适用于差异较小的小样本。
无论损失函数如何变化，其训练采用的损失函数和样本挑取原理与孪生网络的训练机制类似。以相似度举例：相似度度量的方法建议为余弦距离，而非其它没有归一化的度量方法，具体原因是，余弦距离的值域位于0至1，是一种归一化的数据，方便数据查询模型使用，总之，实施者应保证相似度是一种归一化的值。
值得注意的是，本发明中，实施者应当对同一种板书数据做适当的缩放、旋转、平移的样本增强操作，从而使网络最终提取的特征不考虑尺度变化。具体使用何种样本增强方法，实施者可以自行改进。
当进行神经网络推断时，与此同时，OCR模块对白底板书图像进行文字识别，由于板书的特性，OCR会出现不工作，识别乱码等情况。一方面，在本发明中，课件排版风格特征已经为匹配板书提供了一些限定条件，另一方面，教师在查询相似板书的时候，通常认为文字字数多的是值得参考的。因此，结合上述两方面原因，为了克服OCR识别乱码的问题，在此设计忽略文字内容，考虑中文文字字数特征的相似度匹配机制：首先，OCR识别结果是一组字符串，对字符串的非中文字符进行过滤，最终得到字数W；其次，考虑高维向量之间的相似度信息，结合板书文字字数，设计以下不同模式的相似度度量模型，在此使用余弦距离作为相似度度量的计算函数：
S1＝D(V1，V2)*(W2-X)
S2＝D(V1，V2)*1
其中，V1表示根据本地用户的课件图像以及板书图像数据经过神经网络分析得到的高维特征向量，V2表示待匹配的课件图像以及板书图像数据经过神经网络分析得到的高维特征向量，D(V1，V2)表示两个高维特征向量之间的相似度，W1表示本地板书的字数，W2表示待匹配的目标板书的字数，X为补偿值。
S1是忽略本地板书字数，考虑目标板书字数的模型，适合小范围检索，即已经限定了若干条件，否则，W2会极大地影响匹配可用性。其中，X为补偿值，其值可正可负，方便细化检索结果使用。
S2是忽略本地及目标板书字数，考虑全局风格(特征)相似的模型，适合大范围检索，即初次使用检索系统时，为了只考虑课件、板书的粗略风格而得到粗略的查询结果，在此之后适合尝试使用S1作为细化检索结果的相似度匹配函数。在使用S1进行相似度计算时，可以根据具体实施情况设置相似度阈值，从而过滤出相似的数据。
实施者应当知道本系统包括存储课件、板书数据的数据中心，数据中心的数据量非常庞大，基于大数据技术进行数据组织。当用户有板书分享需求时，根据用户的板书数据与数据中心中的数据进行相似度匹配计算，从而检索出符合要求的板书数据。
对于用户选用的检索结果，系统视为一个对匹配对，对用户进行双向分享，即用户A检索到用户B的板书数据后，A得到了B的数据，同时B也会收到A的板书数据推送。
至此，本发明内容完成。
本发明基于深度神经网络技术对现有课件以及板书内容进行分析，实现了板书分享，帮助教师自主发现板书缺陷，有助于提高网络课堂教学质量。本发明根据板书图像的透明底色特性，对板书图像进行了底色添加、反色处理，保证输入的特征符合常规网络设计参数，有助于提高神经网络的精度。本发明在课件排版风格编码器以及板书书写风格编码器之后又利用课件排版风格解码器以及板书书写风格解码器对编码结果进行通道数降低、提高特征图的空域精度，相比于传统的一直使用编码器进行特征提取，更有助于提取到更加精准的特征向量。本发明基于通道融合技术得到的高维特征向量综合了课件排版风格特征、板书书写风格特征，使板书分享结果更加贴合板书主题，提高了板书分享结果的有效性。本发明利用OCR技术对板书字数进行识别，并将识别字数纳入板书相似度计算，是基于现有的认为字数多的板书分享更为有效的理念，因此，将识别字数纳入板书相似度计算进一步提高了板书分享结果的有效性。
以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于大数据和OCR的网络课堂中文板书结构化分享系统，其特征在于，该系统包括：
图像获取单元，用于基于网络课堂的应用程序接口获取课件图像以及板书图像；
课件排版特征提取单元，用于将课件图像输入课件排版风格编码器、课件排版风格解码器构成的神经网络，进行前向传播，得到第一张量；
板书书写特征提取单元，用于将板书图像输入板书书写风格编码器、板书书写风格解码器构成的神经网络，进行前向传播，得到第二张量；
张量融合单元，用于将尺寸相同的第一张量、第二张量按通道维度进行拼接合并操作，得到通道数更高的第三张量；
混合特征提取单元，用于将第三张量输入混合特征编码器进行编码处理，并将编码结果输入全连接网络，得到高维特征向量；
文字识别单元，用于基于OCR模块对板书图像进行文字识别，得到中文字符数量；
板书分享单元，用于根据高维特征向量以及中文字符数量计算板书之间的相似度，并根据相似度向用户进行双向分享，相似度计算采用以下计算模型：
S1＝D(V1，V2)*(W2-X)
S2＝D(V1，V2)*1
其中，V1表示根据本地用户的课件图像以及板书图像数据经过神经网络分析得到的高维特征向量，V2表示待匹配的课件图像以及板书图像数据经过神经网络分析得到的高维特征向量，D(V1，V2)表示两个高维特征向量之间的相似度，W2表示待匹配的目标板书的字数，X为补偿值；S1是忽略本地板书字数，考虑目标板书字数的相似度计算模型；S2是忽略本地及目标板书字数，考虑全局风格特征的相似度计算模型，在使用S2对板书进行粗筛选之后可以使用S1对结果进行细化。
2.如权利要求1所述的基于大数据和OCR的网络课堂中文板书结构化分享系统，其特征在于，所述图像获取单元还包括预处理模块，预处理模块用于对获得的板书图像进行底色添加、反色处理，从而得到符合网络常规设计参数的板书图像。
3.如权利要求1所述的基于大数据和OCR的网络课堂中文板书结构化分享系统，其特征在于，所述课件排版风格编码器、课件排版风格解码器是沙漏组合结构，采用卷积神经网络模块；所述板书书写风格编码器、板书书写风格解码器是沙漏组合结构，采用卷积神经网络模块。
4.如权利要求1所述的基于大数据和OCR的网络课堂中文板书结构化分享系统，其特征在于，所述全连接网络的推荐配置是4096、4096、1024、256、512。
5.如权利要求1所述的基于大数据和OCR的网络课堂中文板书结构化分享系统，其特征在于，所述OCR模块的识别结果是一组字符串，对字符串的字符进行过滤，统计中文字符数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010109683.XA CN111353397B (zh) | 2020-02-22 | 2020-02-22 | 基于大数据和ocr的网络课堂中文板书结构化分享系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010109683.XA CN111353397B (zh) | 2020-02-22 | 2020-02-22 | 基于大数据和ocr的网络课堂中文板书结构化分享系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111353397A CN111353397A (zh) | 2020-06-30 |
| CN111353397B true CN111353397B (zh) | 2021-01-01 |
Family
ID=71195786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010109683.XA Active CN111353397B (zh) | 2020-02-22 | 2020-02-22 | 基于大数据和ocr的网络课堂中文板书结构化分享系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111353397B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077053B (zh) * | 2021-03-18 | 2022-09-02 | 中国电子科技集团公司第五十四研究所 | 多元群体活动模式表征方法及目标地理活动区域识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127042A (zh) * | 2016-07-06 | 2016-11-16 | 苏州仙度网络科技有限公司 | 网页视觉相似度识别方法 |
| US10140556B2 (en) * | 2015-07-17 | 2018-11-27 | Huazhong University Of Science And Technology | Arabic optical character recognition method using hidden markov models and decision trees |
| CN109726715A (zh) * | 2018-12-27 | 2019-05-07 | 信雅达系统工程股份有限公司 | 一种文字图像序列化识别、结构化数据输出方法 |
| CN109933756A (zh) * | 2019-03-22 | 2019-06-25 | 腾讯科技（深圳）有限公司 | 基于ocr的图像转档方法、装置、设备及可读存储介质 |
| CN110377725A (zh) * | 2019-07-12 | 2019-10-25 | 深圳新度博望科技有限公司 | 数据生成方法、装置、计算机设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4982542B2 (ja) * | 2009-09-16 | 2012-07-25 | 日本電信電話株式会社 | 共起行列生成装置、共起行列生成方法、共起行列生成プログラムおよびそのプログラムを記録した記録媒体 |
| CN110377897A (zh) * | 2018-04-13 | 2019-10-25 | 顺丰科技有限公司 | 中英文地址自动检测方法及系统 |
| US11100324B2 (en) * | 2018-05-25 | 2021-08-24 | Entigenlogic Llc | Interpreting an image |
| CN110287951B (zh) * | 2019-06-21 | 2022-04-12 | 北京百度网讯科技有限公司 | 一种文字识别的方法及装置 |
-
2020
- 2020-02-22 CN CN202010109683.XA patent/CN111353397B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10140556B2 (en) * | 2015-07-17 | 2018-11-27 | Huazhong University Of Science And Technology | Arabic optical character recognition method using hidden markov models and decision trees |
| CN106127042A (zh) * | 2016-07-06 | 2016-11-16 | 苏州仙度网络科技有限公司 | 网页视觉相似度识别方法 |
| CN109726715A (zh) * | 2018-12-27 | 2019-05-07 | 信雅达系统工程股份有限公司 | 一种文字图像序列化识别、结构化数据输出方法 |
| CN109933756A (zh) * | 2019-03-22 | 2019-06-25 | 腾讯科技（深圳）有限公司 | 基于ocr的图像转档方法、装置、设备及可读存储介质 |
| CN110377725A (zh) * | 2019-07-12 | 2019-10-25 | 深圳新度博望科技有限公司 | 数据生成方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| FACLSTM: ConvLSTM with focused attention for;Qingqing WANG等;《SCIENCE CHINA Information Sciences》;20200229;1-14 * |
| 文字识别中特征与相似度度量的研究;李杰等;《盐城工学院学报( 自然科学版)》;20161231;第29卷(第4期);42-46 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111353397A (zh) | 2020-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111488931B (zh) | 文章质量评估方法、文章推荐方法及其对应的装置 | |
| WO2021031480A1 (zh) | 文本生成方法和装置 | |
| CN111339281B (zh) | 一种多视角融合的阅读理解选择题的答案选择方法 | |
| CN109033433B (zh) | 一种基于卷积神经网络的评论数据情感分类方法及系统 | |
| Malinowski et al. | A pooling approach to modelling spatial relations for image retrieval and annotation | |
| CN112115252A (zh) | 智能辅助写作处理方法、装置、电子设备及存储介质 | |
| CN114329034A (zh) | 基于细粒度语义特征差异的图像文本匹配判别方法及系统 | |
| CN112541347A (zh) | 一种基于预训练模型的机器阅读理解方法 | |
| CN114495124A (zh) | 一种试题成绩分析及练习提高系统 | |
| CN111353397B (zh) | 基于大数据和ocr的网络课堂中文板书结构化分享系统 | |
| CN112488132B (zh) | 一种基于语义特征增强的细粒度图像分类方法 | |
| CN112966518A (zh) | 一种面向大规模在线学习平台的优质答案识别方法 | |
| CN117033609B (zh) | 文本视觉问答方法、装置、计算机设备和存储介质 | |
| CN112749566B (zh) | 一种面向英文写作辅助的语义匹配方法及装置 | |
| CN117541202A (zh) | 基于多模态知识图谱和预训练大模型融合的就业推荐系统 | |
| CN110765241B (zh) | 推荐题的超纲检测方法、装置、电子设备和存储介质 | |
| Manasa Devi et al. | Automated text detection from big data scene videos in higher education: a practical approach for MOOCs case study | |
| CN112927109B (zh) | 一种智能辅助实践实训课程类别的教学系统 | |
| CN114490930A (zh) | 一种基于知识图谱的文物问答系统与问答方法 | |
| CN115359486A (zh) | 一种文档图像中自定义信息的确定方法及系统 | |
| CN113536808A (zh) | 引入多重文本关系的阅读理解试题难度自动预测方法 | |
| CN111428623B (zh) | 基于大数据和计算机视觉的中文板书风格分析系统 | |
| CN116661940B (zh) | 组件识别方法、装置、计算机设备和存储介质 | |
| Wang et al. | Convolutional neural network based network distance English teaching effect evaluation method | |
| CN113298365B (zh) | 一种基于lstm的文化附加值评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230911 Address after: No. 19, 12th Floor, Building 3, No. 77, Shunjiang Section, Wuhou Avenue, Wuhou District, Chengdu City, Sichuan Province, 610000 Patentee after: Chengdu Herun Software Co.,Ltd. Address before: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province Patentee before: Dragon totem Technology (Hefei) Co.,Ltd. Effective date of registration: 20230911 Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province Patentee after: Dragon totem Technology (Hefei) Co.,Ltd. Address before: No.56 Pengcheng Avenue, Zhengdong New District, Zhengzhou City, Henan Province Patentee before: ZHENGZHOU RAILWAY VOCATIONAL & TECHNICAL College |