CN117423111B - 基于计算机视觉和深度学习的纸稿提取、纠正方法及系统 - Google Patents
基于计算机视觉和深度学习的纸稿提取、纠正方法及系统 Download PDFInfo
- Publication number
- CN117423111B CN117423111B CN202311742287.0A CN202311742287A CN117423111B CN 117423111 B CN117423111 B CN 117423111B CN 202311742287 A CN202311742287 A CN 202311742287A CN 117423111 B CN117423111 B CN 117423111B
- Authority
- CN
- China
- Prior art keywords
- paper
- edge
- image
- area
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013135 deep learning Methods 0.000 title claims abstract description 45
- 238000000605 extraction Methods 0.000 title claims abstract description 29
- 230000002159 abnormal effect Effects 0.000 claims abstract description 149
- 238000012545 processing Methods 0.000 claims abstract description 68
- 230000005856 abnormality Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 230000008439 repair process Effects 0.000 claims description 12
- 238000003702 image correction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012015 optical character recognition Methods 0.000 description 5
- 230000002441 reversible effect Effects 0.000 description 4
- 230000007797 corrosion Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 241000190070 Sarracenia purpurea Species 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本申请涉及一种基于计算机视觉和深度学习的纸稿提取、纠正方法及系统，其包括步骤当接收到图像识别终端拍摄的学生的桌面图像时，将桌面图像发送至深度学习的纸稿边缘处理模型；边缘处理模型接收到桌面图像时，将桌面图像与边缘处理模型中预存储的代表纸稿异常边缘的多个实例图像进行比对，将桌面图像中与实例图像特征相符的位置标记为纸稿边缘异常区域；基于实例图像修复该纸稿边缘异常区域，输出修复后的桌面图像；从修复后的桌面图像中提取出目标纸稿图像；基于预设的纸稿纠正标准对目标纸稿图像进行纠正处理，将完成纠正处理的目标纸稿图像发送至展示终端。本申请具有使所获取的课堂学生桌面纸稿图像更为规整的效果。
Description
技术领域
本申请涉及纸稿识别的技术领域，尤其是涉及一种基于计算机视觉和深度学习的纸稿提取、纠正方法及系统。
背景技术
目前，随着智慧教室在教育行业的广泛应用，对应用在教育上的智能设备要求也越来越高。其中，图像识别设备通常用于在教室课堂中以获取学生桌面的纸质稿件图像，并进行文字识别，实现课堂学生作业、试卷的自动收集和智能批改。
但位于学生桌面的作业本、试卷等纸稿的摆放角度、位置各异，且极易出现学生桌面物品遮挡纸稿边缘的情况，因此，所获取到的纸稿图像易因为角度问题和边缘遮挡而呈现不规整形状，从而使得学生的试卷、作业总体呈现的效果不佳，不便展示和批改，需要改进。
发明内容
为了使所获取的课堂学生桌面纸稿图像更为规整，从而使得学生的试卷、作业的总体展示效果更佳；本申请提供了一种基于计算机视觉和深度学习的纸稿提取、纠正方法及系统。
本申请的上述发明目的一是通过以下技术方案得以实现的：
一种基于计算机视觉和深度学习的纸稿提取、纠正方法，包括步骤：
当接收到图像识别终端拍摄的学生的桌面图像时，将桌面图像发送至深度学习的纸稿边缘处理模型；
边缘处理模型接收到桌面图像时，将桌面图像与边缘处理模型中预存储的代表纸稿异常边缘的多个实例图像进行比对，将桌面图像中与实例图像特征相符的位置标记为纸稿边缘异常区域；
基于实例图像修复该纸稿边缘异常区域，输出修复后的桌面图像；
从修复后的桌面图像中提取出目标纸稿图像；
基于预设的纸稿纠正标准对目标纸稿图像进行纠正处理，纠正处理包括纸张方向纠正、字体方向纠正；
将完成纠正处理的目标纸稿图像发送至展示终端。
通过采用上述技术方案，当需要收集并展示学生桌面的试卷、作业本等纸稿画面时，先拍摄学生的桌面图像，通过边缘处理模型识别桌面图像中是否存在遮挡物遮挡住纸稿边缘的情况发生，例如手、水杯、学习文具等遮挡到了纸稿的边缘处使得纸稿无法形成完整的四边形，实例图像即代表纸稿被遮挡时的边缘图像，将被遮挡的区域标记为纸稿边缘异常区域，进一步将被遮挡区域修复使得桌面图像中的纸稿能够形成一个完整的四边形，进一步导出该纸稿的图像，此时导出的目标纸稿图像由于摆放位置各异，易存在导出的目标纸稿图像出现倾斜的问题，因此基于纸稿纠正标准将纸张的方向调整为正向并将字体的方向、顺序纠正，使得展示终端展示的多个学生的目标纸稿图像均为正向、文字处于水平状态且排布顺序正确，从而使所获取的课堂学生桌面目标纸稿图像更为规整，学生的试卷、作业的总体展示效果更佳。
本申请在一较佳示例中：所述将桌面图像发送至深度学习的纸稿边缘处理模型的步骤之前，还执行如下步骤：
生成所获取的桌面图像的图像直方图；
基于图像直方图中各像素值的分布情况，对目标区域进行直方图均衡化处理。
通过采用上述技术方案，通过获取桌面图像的各个像素值的分布情况，能够获取到像素值较为接近的区域，此区域代表颜色相近或者光线不足、光线过亮，将该区域进行均衡化处理后，能够强化桌面图像中各个物件边缘的对比度，进而便于边缘处理模型对纸稿遮挡情况的识别，提高纸稿边缘异常区域标记的准确度。
本申请在一较佳示例中：所述基于实例图像修复该纸稿边缘异常区域，输出修复后的桌面图像的步骤，包括步骤：
识别该实例图像预先关联的异常类型，异常类型包括边缘遮挡和边缘折角；
当异常类型为边缘遮挡时，则基于实例图像提取并删去纸稿边缘异常区域中的代表遮挡物的异常目标区域，并根据纸稿边缘异常区域中的纸稿边缘线恢复纸稿原本边缘；
当异常类型为边缘折角时，则从纸稿边缘异常区域中提取出纸稿的折叠区域和折角边缘线，并基于折角边缘线翻转折叠区域，并将翻转后的折叠区域的边缘线与纸稿边缘异常区域中未折叠区域的边缘线合并。
通过采用上述技术方案，纸稿边缘异常包括了两种异常类型，一种为外物的遮挡、一种为纸稿本身边缘折叠，针对两种不同的异常类型，当外物遮挡纸稿边缘时，通过将该特征符合的实例图像边缘轮廓，将纸稿边缘异常区域中的遮挡物的边缘删去，并根据删去后的纸稿边缘重新拟合纸稿原本的边缘线，达到将纸稿边缘复原的目的；
而当纸稿为边缘折角的异常情况时，则无需找到特征相符的实例图像，直接识别纸稿折叠的部分的轮廓以及折叠边缘线，模拟折叠区域的纸张进行翻转，并将翻转后的折叠区域的边缘与其两侧的纸稿边缘进行合并，即可得到复原的纸稿，因此，针对多种纸稿边缘异常情况设置了对应的复原方式，提高了纸稿修复方法的鲁棒性。
本申请在一较佳示例中：所述基于预设的纸稿纠正标准对目标纸稿图像进行纠正处理，纠正处理包括纸张方向纠正、字体方向纠正的步骤，包括步骤：
对所提取的目标纸稿图像进行透视纠正，标准化目标纸稿图像的长宽比例为1:1；
识别并提取目标纸稿图像中多行文字图像，并根据多行文字图像的形状方向确定纸稿的基准方向；
将目标纸稿图像当前的纸稿方向旋转至基准方向；
根据文字图像在目标纸稿图像中的分布特征和面积特征，对旋转后的目标纸稿图像进行纸张正反方向纠正；
对目标纸稿图像进行OCR识别，判断文字图像的长宽比众数并纠正目标纸稿图像的长宽比。
通过采用上述技术方案，对纸质文档或图纸进行处理，使其在数字化的过程中，保持原始的比例和尺寸，消除因拍摄或扫描引起的透视畸变，最终使纸稿的长和宽比例变为1:1，达到统一的标准，进一步通过识别目标纸稿图像中多行文字的形状方向，能够确定纸稿的基准方向，即确定纸稿为的横竖方向，并将纸稿旋转至基准方向后，此时纸稿中的文字则处于水平状态，再进一步识别纸张中空白处的面积分布，对纸稿进行正反方向的纠正，使得文字不易出现反方向排布的情况，最后对纸稿进行ORC识别，根据统计出的长宽比众数，对原始图像进行比例调整，使图像中的文字区域更符合标准的长宽比。
本申请在一较佳示例中：所述边缘处理模型接收到桌面图像时，将桌面图像与边缘处理模型中预存储的代表纸稿异常边缘的多个实例图像进行比对，将桌面图像中与实例图像特征相符的位置标记为纸稿边缘异常区域的步骤之后，还执行如下步骤：
提取纸稿边缘异常区域，识别该纸稿边缘异常区域中是否存在文字信息，
若存在文字信息，则判断该纸稿边缘异常区域中的遮挡物是否存在遮挡文字信息的风险；
当判定存在遮挡物遮挡文字信息的风险时，则选择暂时不修复该纸稿边缘异常区域，并生成提醒信息发送至展示终端。
通过采用上述技术方案，边缘处理模型接收到桌面图像在对实例图像进行比对后，即在修复纸稿边缘异常区域之前，需要判断当前的纸稿边缘异常区域，是否遮挡了纸稿上的文字，若遮挡了纸稿上的文字则会导致纸稿上文字信息的丢失，在对该纸稿边缘的修复之前即先通过展示终端发出提醒信息来提醒学生调整桌面的物品摆放情况，此步骤放置在纸稿边缘修复的步骤之前，能够节省不必要的修复步骤的执行，也能够及时通知到对应的学生以重新摆放桌面的纸稿。
本申请在一较佳示例中：若存在文字信息，则判断该纸稿边缘异常区域中的遮挡物是否存在遮挡文字信息的风险的步骤，具体为：
获取文字信息和遮挡物区域在纸稿边缘异常区域中的所在区域；
确定文字信息与遮挡物区域的交汇区域，判断交汇区域内的文字信息是否均为完整文字，遮挡物包括异常目标区域和折叠区域；
若交汇区域的文字信息不完整，则判定存在遮挡文字信息的风险；
若交汇区域的文字信息完整，则提取该纸稿边缘异常区域中的文字信息，将该文字信息与当前已修复的桌面图像进行文字匹配；
提取该文字信息在已修复的桌面图像中关联的上下文信息，判断该纸稿边缘异常区域对应的桌面图像中是否包含了所提取的上下文信息；
若桌面图像中不存在该上下文信息，则判定存在遮挡物遮挡文字信息的风险，若桌面图像中存在该上下文信息，则判定不存在遮挡物遮挡文字信息的风险。
通过采用上述技术方案，文字信息的遮挡包括两种情况，第一种为遮挡的边缘处的文字不完整，第二中为遮挡部分为完整的文字并且在遮挡的边缘处不存在不完整的文字，为了能够准确地判定遮挡区域是否遮挡了文字信息，针对上述两种遮挡类型，通过获取文字信息和遮挡物区域交汇处，即交汇区域的文字，通过识别交汇区域的文字完整性来判断是否遮挡文字的情况，若交汇区域的文字信息出现不完整的情况，则判断存纸稿边缘异常区域存在遮挡文字信息的风险，即向展示终端发送提醒信息。
若交汇区域处的文字信息完整，则识别该纸稿边缘异常区域的文字信息，并将该文字信息与当前已完成修复的桌面图像中的文字进行比对，得到该文字信息在已修复的桌面图像中关联的上下文，例如纸稿边缘异常区域中的文字信息为abcd，其在已修复的桌面图像对应的abcd文字中识别到关联的上下文为上文dcba，下文为abcabc，则在当前纸稿边缘异常区域的桌面图像中查看是否包含上文dcba，下文为abcabc，若不包含上文或下文，则判定存在遮挡文字信息的风险，通过跟已修复的桌面图像进行比对，能够获知是否存在遮挡物挡住部分完整的文字，例如遮挡住了作业、练习题等题目中部分完整的题目内容，即可以通过这种方式来确定存在遮挡文字的风险，进而通知学生及时调整。
本申请的上述发明目的二是通过以下技术方案得以实现的：
一种基于计算机视觉和深度学习的纸稿提取、纠正系统，包括：
图像发送模块，用于当接收到图像识别终端拍摄的学生的桌面图像时，将桌面图像发送至深度学习的纸稿边缘处理模型；
异常标记模块，用于边缘处理模型接收到桌面图像时，将桌面图像与边缘处理模型中预存储的代表纸稿异常边缘的多个实例图像进行比对，将桌面图像中与实例图像特征相符的位置标记为纸稿边缘异常区域；
修复模块，用于基于实例图像修复该纸稿边缘异常区域，输出修复后的桌面图像；
图像导出模块，用于从修复后的桌面图像中提取出目标纸稿图像；
图像纠正模块，用于基于预设的纸稿纠正标准对目标纸稿图像进行纠正处理，纠正处理包括纸张方向纠正、字体方向纠正；
图像发送模块，用于将完成纠正处理的目标纸稿图像发送至展示终端。
通过采用上述技术方案，当需要收集并展示学生桌面的试卷、作业本等纸稿画面时，先拍摄学生的桌面图像，通过边缘处理模型识别桌面图像中是否存在遮挡物遮挡住纸稿边缘的情况发生，例如手、水杯、学习文具等遮挡到了纸稿的边缘处使得纸稿无法形成完整的四边形，实例图像即代表纸稿被遮挡时的边缘图像，将被遮挡的区域标记为纸稿边缘异常区域，进一步将被遮挡区域修复使得桌面图像中的纸稿能够形成一个完整的四边形，进一步导出该纸稿的图像，此时导出的目标纸稿图像由于摆放位置各异，易存在导出的目标纸稿图像出现倾斜的问题，因此基于纸稿纠正标准将纸张的方向调整为正向并将字体的方向、顺序纠正，使得展示终端展示的多个学生的目标纸稿图像均为正向、文字处于水平状态且排布顺序正确，从而使所获取的课堂学生桌面目标纸稿图像更为规整，学生的试卷、作业的总体展示效果更佳。
可选的，还包括：
直方图生成模块，用于生成所获取的桌面图像的图像直方图；
像素均衡模块，用于基于图像直方图中各像素值的分布情况，对目标区域进行直方图均衡化处理。
本申请的上述目的三是通过以下技术方案得以实现的：
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于计算机视觉和深度学习的纸稿提取、纠正方法的步骤。
本申请的上述目的四是通过以下技术方案得以实现的：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于计算机视觉和深度学习的纸稿提取、纠正方法的步骤。
综上所述，本申请包括以下至少一种有益技术效果：
1.将被遮挡的区域标记为纸稿边缘异常区域，进一步将被遮挡区域修复使得桌面图像中的纸稿能够形成一个完整的四边形，进一步导出该纸稿的图像，此时导出的目标纸稿图像由于摆放位置各异，易存在导出的目标纸稿图像出现倾斜的问题，因此基于纸稿纠正标准将纸张的方向调整为正向并将字体的方向、顺序纠正，使得展示终端展示的多个学生的目标纸稿图像均为正向、文字处于水平状态且排布顺序正确，从而使所获取的课堂学生桌面目标纸稿图像更为规整；
2.通过获取桌面图像的各个像素值的分布情况，能够获取到像素值较为接近的区域，此区域代表颜色相近或者光线不足、光线过亮，将该区域进行均衡化处理后，能够强化桌面图像中各个物件边缘的对比度，进而便于边缘处理模型对纸稿遮挡情况的识别，提高纸稿边缘异常区域标记的准确度；
3.在对该纸稿边缘的修复之前即先通过展示终端发出提醒信息来提醒学生调整桌面的物品摆放情况，此步骤放置在纸稿边缘修复的步骤之前，能够节省不必要的修复步骤的执行，也能够及时通知到对应的学生以重新摆放桌面的纸稿。
附图说明
图1是本申请一种基于计算机视觉和深度学习的纸稿提取、纠正方法实施例的一流程图；
图2是本申请一种基于计算机视觉和深度学习的纸稿提取、纠正方法实施例中步骤S30的一实现流程图；
图3是本申请一种基于计算机视觉和深度学习的纸稿提取、纠正方法实施例中步骤S50的一实现流程图；
图4是本申请一种基于计算机视觉和深度学习的纸稿提取、纠正方法实施例中步骤S30之前的一实现流程图；
图5是本申请一种基于计算机视觉和深度学习的纸稿提取、纠正方法实施例中步骤S22的一实现流程图；
图6是本申请一种计算机设备的一原理框图。
具体实施方式
以下结合附图1-6对本申请作进一步详细说明。
在一实施例中，如图1所示，本申请公开了一种基于计算机视觉和深度学习的纸稿提取、纠正方法，具体包括如下步骤：
S10：当接收到图像识别终端拍摄的学生的桌面图像时，将桌面图像发送至深度学习的纸稿边缘处理模型；
在本实施例中，图像识别终端为固定安装于教室天花板处的若干广角摄像设备，用于获取课堂中每个学生的桌面正面图像，深度学习的纸稿边缘处理模型为经过训练用于图像特征比对的神经网络模型。
具体的，位于教室内的若干广角摄像设备拍摄到教室内所有学生单独的桌面正面的图像后，将若干张桌面正面的图像发送至深度学习的纸稿边缘处理模型。
S20：边缘处理模型接收到桌面图像时，将桌面图像与边缘处理模型中预存储的代表纸稿异常边缘的多个实例图像进行比对，将桌面图像中与实例图像特征相符的位置标记为纸稿边缘异常区域；
在本实施例中，边缘处理模型中预存储的代表纸稿异常边缘的多个实例图像，实例图像包括分割得出的其他可能遮挡住桌面纸稿的物体边缘，且代表该物体不同程度遮挡纸稿边缘的图像以及纸稿边缘折角的图像，例如学生的手、头部轮廓，笔、橡皮擦、铅笔盒等学习文具。通过图像特征比对能够筛选出与当前遮挡纸稿边缘物体轮廓特征相对最为符合的一张实例图像，纸稿边缘异常区域的标记区域大小可根据实例图像的尺寸大小确定，也可以自定义设置所标记的纸稿边缘异常区域的大小尺寸，标记后的纸稿边缘异常区域能够提取出来。
具体的，边缘处理模型接收到桌面图像时，基于预先存储的多个实例图像，识别桌面图像中可能为纸稿边缘且出现物体遮挡该纸稿边缘的区域，若出现该遮挡的区域时，则通过预设的标记框将桌面图像中出现物品遮挡纸稿边缘以及纸稿边缘折角的区域标记框选为纸稿边缘异常区域。
进一步，若纸稿边缘异常区域包括多处时，将每个纸稿边缘异常区域进行标号。以方便多个纸稿边缘异常区域在修复后拼接回原来提取出来的区域。
S30：基于实例图像修复该纸稿边缘异常区域，输出修复后的桌面图像；
在本实施例中，纸稿边缘异常区域的修复，即将原本桌面图像中遮挡住纸稿边缘的遮挡物去除、或将纸稿边缘折叠部分摊平，以复原纸稿原本的边缘轮廓。
此时输出修复后的图像仍为桌面图像，而完成修复的纸稿边缘异常区域能够根据预先绑定好的标号，拟合到原来标记出来的纸稿边缘异常区域中。若预先为绑定标号，则可通过将各个提出出来修复后的纸稿边缘异常区域，与可能的纸稿边缘进行拟合并最终确定该纸稿边缘异常区域在提取出来前所标记的位置。
具体的，基于该实例图像中遮挡物的边缘形状、或基于当前异常区域的折叠情况，去除遮挡物或摊平该折叠部分以回复纸稿原有的边缘形状。
S40：从修复后的桌面图像中提取出目标纸稿图像；
在本实施例中，目标纸稿是指桌面图像中学生摆放于桌面的待提交的作业、练习等纸稿正面。提取时通过识别目标纸稿的边缘进行截取。
具体的，目标纸稿图像在提取前，对桌面图像进行锐化和色彩纠正以加强对比度。
S50：基于预设的纸稿纠正标准对目标纸稿图像进行纠正处理，纠正处理包括纸张方向纠正、字体方向纠正；
在本实施例中，将纸稿和字体方向进行纠正，能够使得多个学生的目标纸稿在展示时较为工整和统一。纸张方向需调整至正向，即展示时纸张的底边与展示时屏幕的底边平行，字体方向纠正即字体的排序从左至右、或从上至下排布。规避字体反向排布的问题。
具体的，基于预设的纸稿纠正标准，对目标纸稿图像进行纸张方向和字体方向的纠正，使得所呈现的若干目标纸稿图像均格式、角度统一。
S60：将完成纠正处理的目标纸稿图像发送至展示终端。
在本实施例中，展示终端是指安装于教室内的多媒体显示器。
在一实施例中，步骤S10之前，还执行如下步骤：
S01：生成所获取的桌面图像的图像直方图；
S02：基于图像直方图中各像素值的分布情况，对目标区域进行直方图均衡化处理。
在本实施例中，对图像的RGB通道，即红、绿、蓝三个通道分别应用CLAHE算法，即进行对比度受限的自适应图像直方图均衡化处理，以增强图像的局部对比度。
目标区域是指像素值较为接近的集中区域，该区域像素值接近通常是由于桌面和纸稿颜色接近、光线亮度造成的。
具体的，生成所获取的桌面图像的RGB彩色的图像直方图，并基于图像直方图中各个像素值的分布情况计算像素值的累积分布函数并作归一化处理，计算得到像素值接近的集中区域，即目标区域，并对该目标区域进行均衡化处理。
在一实施例中，参照图2，步骤S30包括：
S301：识别该实例图像预先关联的异常类型，异常类型包括边缘遮挡和边缘折角；
S302：当异常类型为边缘遮挡时，则基于实例图像提取并删去纸稿边缘异常区域中的代表遮挡物的异常目标区域，并根据纸稿边缘异常区域中的纸稿边缘线恢复纸稿原本边缘；
S303：当异常类型为边缘折角时，则从纸稿边缘异常区域中提取出纸稿的折叠区域和折角边缘线，并基于折角边缘线翻转折叠区域，并将翻转后的折叠区域的边缘线与纸稿边缘异常区域中未折叠区域的边缘线合并。
在本实施例中，开始识别异常类型时，即证明此时所识别出的无论是边缘遮挡类型还是边缘折角的类型，均未遮挡住文字，仅遮挡纸稿的空白部分。
边缘遮挡的类型是指桌面图像中的纸稿被学生桌面其他物品遮挡住边缘空白处的情况，边缘折角的类型是指桌面图像中纸稿边缘空白处出现折叠的情况。
纸稿边缘区域中的纸稿边缘线恢复纸稿原本边缘中的边缘线，是指与已删去的遮挡物边缘相连接的边缘线。
折叠区域在模拟翻转的过程中实时与折叠区域两侧的纸稿边缘线进行模拟合并，当折叠区域的边缘线和其两侧的纸稿边缘线能够合并成为平滑直线时，则停止折叠区域的翻转。
具体的，当筛选并确定与纸稿边缘异常区域特征相符的实例图像后，识别该实例图像的异常类型，异常类型包括了边缘遮挡的类型和边缘折角的类型。
当异常类型为边缘遮挡的异常类型时，则基于实例图像提取并删除纸稿边缘异常区域中代表遮挡物的异常目标区域，留下异常目标区域的边缘线，此时根据与异常目标区域相连接的边缘线，填补该纸稿边缘异常区域，以实现对该纸稿边缘异常区域的修复，当异常类型为边缘折角的类型时，则提取出该折角的这贴区域和折角边缘线，通过已知的折叠部门喝折角边缘线，即可模拟折叠区域绕折叠边缘线进行翻转，且在翻转的过程中，折叠区域的实时与折叠区域两侧的纸稿边缘线进行模拟合并，当折叠区域的边缘线和其两侧的纸稿边缘线能够合并成为平滑直线时，则停止折叠区域的翻转。
在一实施例中，参照图3，步骤S50包括步骤：
S501：对所提取的目标纸稿图像进行透视纠正，标准化目标纸稿图像的长宽比例为1:1；
S502：识别并提取目标纸稿图像中多行文字图像，并根据多行文字图像的形状方向确定纸稿的基准方向；
S503：将目标纸稿图像当前的纸稿方向旋转至基准方向；
S504：根据文字图像在目标纸稿图像中的分布特征和面积特征，对旋转后的目标纸稿图像进行纸张正反方向纠正；
S505：对目标纸稿图像进行OCR识别，判断文字图像的长宽比众数并纠正目标纸稿图像的长宽比。
在本实施例中，摄像领域中，由于光线通过镜头或画面投影到二维平面上时，物体在空间中的相对位置和大小关系产生的变形。透视畸变分为两种类型：线性透视畸变和非线性透视畸变。
线性透视畸变：这种畸变是由于拍摄距离、镜头焦距和物体在画面中的位置关系引起的。例如，使用广角镜头拍摄时，画面边缘的物体会出现拉伸或压缩的现象；使用长焦镜头拍摄时，画面中的物体可能会出现扁平化或变形。
非线性透视畸变：这种畸变主要发生在镜头的光学性能不完美的情况下，如镜头的球面像差、彗形像差等。这种畸变会导致画面中的物体呈现出不自然的形状和颜色失真。因此，通过采用透视纠正对纸稿进行透视纠正，使其在数字化的过程中，保持原始的比例和尺寸，消除因拍摄或扫描引起的透视畸变，最终使纸稿的长和宽比例变为1:1，达到统一的标准。
透视纠正的过程主要包括以下步骤：
透视变换：根据输入的目标纸稿图像的透视畸变程度，对目标纸稿图像进行透视变换，包括缩放、旋转和倾斜等操作，以消除透视畸变。
图像拼接：将经过透视变换的目标纸稿图像重新拼接在一起，使其成为一幅完整的图像。
比例调整：根据目标纸稿的实际尺寸和目标比例（1:1），对图像进行比例调整，使其长宽比例符合1:1的标准。
色彩和清晰度处理：对纠正后的图像进行色彩平衡、清晰度提升等处理，使其视觉效果更佳。
关于多行文字图像的识别和提取，结合了膨胀腐蚀处理、自适应二值化以及边缘处理等方法实现，即通过使用膨胀腐蚀处理扩大目标纸稿图像中的目标区域或填充目标区域。膨胀腐蚀可以帮助连接相邻的文字形状，使它们成为一体；进一步采用自适应二值化将目标纸稿图像处理成只有黑白两种颜色的形式，并通过自适应二值化根据目标纸稿图像的局部区域特征，动态地调整二值化阈值，从而更好地将文字形状分离出来。下一步采用寻找边缘法，识别目标纸稿图像中物体的边界，从而分离出文字形状。通过查找边缘，可以确定文字形状的位置和边界，为进一步的处理和识别提供基础，最终根据多行文字图像判断基准方向，基准方向是指纸稿的横竖放置方向。
由于纸稿中文字的每一行都是从左往右书写，因此根据文字图像在目标纸稿图像中的分布特征和面积特征，能够判断出纸稿方向，避免文字反向。其中，面积特征包括了文字的面积和纸稿空白处的面积。
OCR识别是指使用光学字符识别技术，查找所有文字目标矩形框，在识别出的文字区域中，查找并绘制出对应的矩形框，用以表示每个文字区域。
判定目标纸稿图像中中文和英文字符的长宽比众数：分析每个矩形框的长宽比，统计中文和英文字符的长宽比分布情况，找出众数。
进行纸张长宽比例的纠正：根据统计出的长宽比众数，对目标纸稿图像进行比例调整，使目标纸稿图像中的文字区域更符合标准的长宽比。
在一实施例中，参照图4，步骤S20之后、步骤S30之前还执行如下步骤：
S21：提取纸稿边缘异常区域，识别该纸稿边缘异常区域中是否存在文字信息；
S22：若存在文字信息，则判断该纸稿边缘异常区域中的遮挡物是否存在遮挡文字信息的风险；
S23：当判定存在遮挡物遮挡文字信息的风险时，则选择暂时不修复该纸稿边缘异常区域，并生成提醒信息发送至展示终端。
在本实施例中，若所标记的纸稿边缘异常区域中存在遮挡文字的风险，则暂停修复该纸稿边缘异常区域，以免修复后输出文字信息缺失的目标纸稿终端，浪费资源且系统的鲁棒性不高。
提醒消息中包括了具体座位信息，能够针对性、准确地提醒到需要重新摆放纸稿的学生。
具体的，提取纸稿边缘异常区域，并识别该纸稿边缘异常区域中是否存在文字信息，若有， 则需进一步判断该纸稿边缘异常区域中的文字是否被遮挡，此处的遮挡方式包括被代表遮挡物的目标异常区域和纸稿折角产生的折叠区域；若不存在遮挡物遮挡文字信息的风险，则正常执行下一步骤开始修复纸稿边缘异常区域，若存在遮挡物遮挡文字信息的风险，则不执行对纸稿边缘异常区域的修复步骤，并生成提醒消息提示发送至展示终端以提醒学生将遮挡物移开或将纸稿的折角摊平。
在一实施例中，参照他图5，步骤S22的步骤具体为：
S221：获取文字信息和遮挡物区域在纸稿边缘异常区域中的所在区域；
S222：确定文字信息与遮挡物区域的交汇区域，判断交汇区域内的文字信息是否均为完整文字，遮挡物包括异常目标区域和折叠区域；
S223：若交汇区域的文字信息不完整，则判定存在遮挡文字信息的风险；
S224：若交汇区域的文字信息完整，则提取该纸稿边缘异常区域中的文字信息，将该文字信息与当前已修复的桌面图像进行文字匹配；
S225：提取该文字信息在已修复的桌面图像中关联的上下文信息，判断该边缘异常区域对应的桌面图像中是否包含了所提取的上下文信息；
S226：若桌面图像中不存在该上下文信息，则判定存在遮挡物遮挡文字信息的风险，若桌面图像中存在该上下文信息，则判定不存在遮挡物遮挡文字信息的风险。
在本实施例中，通过文字信息边缘与遮挡物边缘的靠近距离来确定并提取出交汇区域，通过识别交汇区域内的文字是否均为完整的文字，并结合交汇区域内前后文的语义进行判断，以确定交汇区域内是否存在被部分遮挡的文字，若有，判定为存在遮挡文字信息的风险。
以修复的桌面图像即代表该桌面图像中不存在遮挡文字信息的情况存在，因此其中的文字信息完整，同时，也可以用已导出的目标纸稿图像作为上下文信息的提取对象。
上下文信息是指待判定风险的该纸稿边缘异常区域中的文字信息在其他已修复的桌面图像中相同的文字信息的上下文内容。
具体的，获取待判定是否存在遮挡文字信息风险的纸稿边缘异常区域内的文字信息所在区域以及遮挡物区域，遮挡物区域包括异常目标区域和折叠区域；
通过文字信息与遮挡物之间的距离确定两者的交汇区域，识别交汇区域的文字形状并结合交汇区域内文字信息的语义，确定交汇区域内是否均为完整的文字，若存在不完整的文字，则判定存在遮挡文字信息的风险。
若交汇区域内的文字均为完整的文字，则进一步提取该待判定风险的纸稿边缘异常区域中的文字信息，并基于该文字信息进一步提取当前已修复的桌面图像中相同文字信息的上下文信息，判断该提取到的上下文信息在当前待判定风险的桌面图像中是否出现，若不出现，则判定存在遮挡物遮挡文字信息的风险，若桌面图像中存在该上下文信息，则判定不存在遮挡物遮挡文字信息的风险。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种基于计算机视觉和深度学习的纸稿提取、纠正系统，该一种基于计算机视觉和深度学习的纸稿提取、纠正系统与上述实施例中一种基于计算机视觉和深度学习的纸稿提取、纠正方法对应。该一种基于计算机视觉和深度学习的纸稿提取、纠正系统包括：
图像发送模块，用于当接收到图像识别终端拍摄的学生的桌面图像时，将桌面图像发送至深度学习的纸稿边缘处理模型；
异常标记模块，用于边缘处理模型接收到桌面图像时，将桌面图像与边缘处理模型中预存储的代表纸稿异常边缘的多个实例图像进行比对，将桌面图像中与实例图像特征相符的位置标记为纸稿边缘异常区域；
修复模块，用于基于实例图像修复该纸稿边缘异常区域，输出修复后的桌面图像；
图像导出模块，用于从修复后的桌面图像中提取出目标纸稿图像；
图像纠正模块，用于基于预设的纸稿纠正标准对目标纸稿图像进行纠正处理，纠正处理包括纸张方向纠正、字体方向纠正；
图像发送模块，用于将完成纠正处理的目标纸稿图像发送至展示终端。
可选的，还包括：
直方图生成模块，用于生成所获取的桌面图像的图像直方图；
像素均衡模块，用于基于图像直方图中各像素值的分布情况，对目标区域进行直方图均衡化处理。
可选的，修复模块包括：
异常识别模块，用于识别该实例图像预先关联的异常类型，异常类型包括边缘遮挡和边缘折角；
第一异常处理子模块，用于当异常类型为边缘遮挡时，则基于实例图像提取并删去纸稿边缘异常区域中的代表遮挡物的异常目标区域，并根据纸稿边缘异常区域中的纸稿边缘线恢复纸稿原本边缘；
第二异常处理子模块，用于当异常类型为边缘折角时，则从纸稿边缘异常区域中提取出纸稿的折叠区域和折角边缘线，并基于折角边缘线翻转折叠区域，并将翻转后的折叠区域的边缘线与纸稿边缘异常区域中未折叠区域的边缘线合并。
可选的，图像纠正模块包括：
透视纠正子模块，用于对所提取的目标纸稿图像进行透视纠正，标准化目标纸稿图像的长宽比例为1:1；
多行文字子模块，用于识别并提取目标纸稿图像中多行文字图像，并根据多行文字图像的形状方向确定纸稿的基准方向；
旋转调整子模块，用于将目标纸稿图像当前的纸稿方向旋转至基准方向；
正反纠正子模块，用于根据文字图像在目标纸稿图像中的分布特征和面积特征，对旋转后的目标纸稿图像进行纸张正反方向纠正；
ORC识别子模块，用于对目标纸稿图像进行OCR识别，判断文字图像的长宽比众数并纠正目标纸稿图像的长宽比。
可选的，还包括：
文字信息识别模块，用于提取纸稿边缘异常区域，识别该纸稿边缘异常区域中是否存在文字信息，
遮挡判断模块，用于若存在文字信息，则判断该纸稿边缘异常区域中的遮挡物是否存在遮挡文字信息的风险；
暂停修复模块，用于当判定存在遮挡物遮挡文字信息的风险时，则选择暂时不修复该纸稿边缘异常区域，并生成提醒信息发送至展示终端。
可选的，遮挡判断模块包括：
区域识别子模块，用于获取文字信息和遮挡物区域在纸稿边缘异常区域中的所在区域；
遮挡判断子模块，用于确定文字信息与遮挡物区域的交汇区域，判断交汇区域内的文字信息是否均为完整文字，遮挡物包括异常目标区域和折叠区域；
第一风险判定子模块，用于若交汇区域的文字信息不完整，则判定存在遮挡文字信息的风险；
第二风险判定子模块，用于若交汇区域的文字信息完整，则提取该纸稿边缘异常区域中的文字信息，将该文字信息与当前已修复的桌面图像进行文字匹配；
用于提取该文字信息在已修复的桌面图像中关联的上下文信息，判断该纸稿边缘异常区域对应的桌面图像中是否包含了所提取的上下文信息；
用于若桌面图像中不存在该上下文信息，则判定存在遮挡物遮挡文字信息的风险，若桌面图像中存在该上下文信息，则判定不存在遮挡物遮挡文字信息的风险。
关于一种基于计算机视觉和深度学习的纸稿提取、纠正系统的具体限定可以参见上文中对于一种基于计算机视觉和深度学习的纸稿提取、纠正方法的限定，在此不再赘述。上述一种基于计算机视觉和深度学习的纸稿提取、纠正系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储纸稿边缘处理模型、实例图像以及纸稿纠正标准。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于计算机视觉和深度学习的纸稿提取、纠正方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现基于计算机视觉和深度学习的纸稿提取、纠正方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于计算机视觉和深度学习的纸稿提取、纠正方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (9)
1.一种基于计算机视觉和深度学习的纸稿提取、纠正方法，其特征在于：包括步骤：
当接收到图像识别终端拍摄的学生的桌面图像时，将桌面图像发送至深度学习的纸稿边缘处理模型；
边缘处理模型接收到桌面图像时，将桌面图像与边缘处理模型中预存储的代表纸稿异常边缘的多个实例图像进行比对，将桌面图像中与实例图像特征相符的位置标记为纸稿边缘异常区域；
基于实例图像修复该纸稿边缘异常区域，输出修复后的桌面图像；
从修复后的桌面图像中提取出目标纸稿图像；
基于预设的纸稿纠正标准对目标纸稿图像进行纠正处理，纠正处理包括纸张方向纠正、字体方向纠正；
将完成纠正处理的目标纸稿图像发送至展示终端；
所述基于实例图像修复该纸稿边缘异常区域，输出修复后的桌面图像的步骤，包括步骤：
识别该实例图像预先关联的异常类型，异常类型包括边缘遮挡和边缘折角；
当异常类型为边缘遮挡时，则基于实例图像提取并删去纸稿边缘异常区域中的代表遮挡物的异常目标区域，并根据纸稿边缘异常区域中的纸稿边缘线恢复纸稿原本边缘；
当异常类型为边缘折角时，则从纸稿边缘异常区域中提取出纸稿的折叠区域和折角边缘线，并基于折角边缘线翻转折叠区域，并将翻转后的折叠区域的边缘线与纸稿边缘异常区域中未折叠区域的边缘线合并；
开始识别异常类型时，即证明此时所识别出的无论是边缘遮挡类型还是边缘折角的类型，均未遮挡住文字，仅遮挡纸稿的空白部分；边缘遮挡的类型是指桌面图像中的纸稿被学生桌面其他物品遮挡住边缘空白处的情况，边缘折角的类型是指桌面图像中纸稿边缘空白处出现折叠的情况；折叠区域在模拟翻转的过程中实时与折叠区域两侧的纸稿边缘线进行模拟合并，当折叠区域的边缘线和其两侧的纸稿边缘线能够合并成为平滑直线时，则停止折叠区域的翻转。
2.根据权利要求1所述的一种基于计算机视觉和深度学习的纸稿提取、纠正方法，其特征在于：所述将桌面图像发送至深度学习的纸稿边缘处理模型的步骤之前，还执行如下步骤：
生成所获取的桌面图像的图像直方图；
基于图像直方图中各像素值的分布情况，对目标区域进行直方图均衡化处理。
3.根据权利要求1所述的一种基于计算机视觉和深度学习的纸稿提取、纠正方法，其特征在于：所述基于预设的纸稿纠正标准对目标纸稿图像进行纠正处理，纠正处理包括纸张方向纠正、字体方向纠正的步骤，包括步骤：
对所提取的目标纸稿图像进行透视纠正，标准化目标纸稿图像的长宽比例为1:1；
识别并提取目标纸稿图像中多行文字图像，并根据多行文字图像的形状方向确定纸稿的基准方向；
将目标纸稿图像当前的纸稿方向旋转至基准方向；
根据文字图像在目标纸稿图像中的分布特征和面积特征，对旋转后的目标纸稿图像进行纸张正反方向纠正；
对目标纸稿图像进行OCR识别，判断文字图像的长宽比众数并纠正目标纸稿图像的长宽比。
4.根据权利要求1所述的一种基于计算机视觉和深度学习的纸稿提取、纠正方法，其特征在于：所述边缘处理模型接收到桌面图像时，将桌面图像与边缘处理模型中预存储的代表纸稿异常边缘的多个实例图像进行比对，将桌面图像中与实例图像特征相符的位置标记为纸稿边缘异常区域的步骤之后，还执行如下步骤：
提取纸稿边缘异常区域，识别该纸稿边缘异常区域中是否存在文字信息，
若存在文字信息，则判断该纸稿边缘异常区域中的遮挡物是否存在遮挡文字信息的风险；
当判定存在遮挡物遮挡文字信息的风险时，则选择暂时不修复该纸稿边缘异常区域，并生成提醒信息发送至展示终端。
5.根据权利要求4所述的一种基于计算机视觉和深度学习的纸稿提取、纠正方法，其特征在于：若存在文字信息，则判断该纸稿边缘异常区域中的遮挡物是否存在遮挡文字信息的风险的步骤，具体为：
获取文字信息和遮挡物区域在纸稿边缘异常区域中的所在区域；
确定文字信息与遮挡物区域的交汇区域，判断交汇区域内的文字信息是否均为完整文字，遮挡物包括异常目标区域和折叠区域；
若交汇区域的文字信息不完整，则判定存在遮挡文字信息的风险；
若交汇区域的文字信息完整，则提取该纸稿边缘异常区域中的文字信息，将该文字信息与当前已修复的桌面图像进行文字匹配；
提取该文字信息在已修复的桌面图像中关联的上下文信息，判断该纸稿边缘异常区域对应的桌面图像中是否包含了所提取的上下文信息；
若桌面图像中不存在该上下文信息，则判定存在遮挡物遮挡文字信息的风险，若桌面图像中存在该上下文信息，则判定不存在遮挡物遮挡文字信息的风险。
6.一种基于计算机视觉和深度学习的纸稿提取、纠正系统，其特征在于，包括：图像发送模块，用于当接收到图像识别终端拍摄的学生的桌面图像时，将桌面图像发送至深度学习的纸稿边缘处理模型；
异常标记模块，用于边缘处理模型接收到桌面图像时，将桌面图像与边缘处理模型中预存储的代表纸稿异常边缘的多个实例图像进行比对，将桌面图像中与实例图像特征相符的位置标记为纸稿边缘异常区域；
修复模块，用于基于实例图像修复该纸稿边缘异常区域，输出修复后的桌面图像；
图像导出模块，用于从修复后的桌面图像中提取出目标纸稿图像；
图像纠正模块，用于基于预设的纸稿纠正标准对目标纸稿图像进行纠正处理，纠正处理包括纸张方向纠正、字体方向纠正；
图像发送模块，用于将完成纠正处理的目标纸稿图像发送至展示终端；
修复模块包括：
异常识别模块，用于识别该实例图像预先关联的异常类型，异常类型包括边缘遮挡和边缘折角；
第一异常处理子模块，用于当异常类型为边缘遮挡时，则基于实例图像提取并删去纸稿边缘异常区域中的代表遮挡物的异常目标区域，并根据纸稿边缘异常区域中的纸稿边缘线恢复纸稿原本边缘；
第二异常处理子模块，用于当异常类型为边缘折角时，则从纸稿边缘异常区域中提取出纸稿的折叠区域和折角边缘线，并基于折角边缘线翻转折叠区域，并将翻转后的折叠区域的边缘线与纸稿边缘异常区域中未折叠区域的边缘线合并；
开始识别异常类型时，即证明此时所识别出的无论是边缘遮挡类型还是边缘折角的类型，均未遮挡住文字，仅遮挡纸稿的空白部分；边缘遮挡的类型是指桌面图像中的纸稿被学生桌面其他物品遮挡住边缘空白处的情况，边缘折角的类型是指桌面图像中纸稿边缘空白处出现折叠的情况；折叠区域在模拟翻转的过程中实时与折叠区域两侧的纸稿边缘线进行模拟合并，当折叠区域的边缘线和其两侧的纸稿边缘线能够合并成为平滑直线时，则停止折叠区域的翻转。
7.根据权利要求6所述的一种基于计算机视觉和深度学习的纸稿提取、纠正系统，其特征在于，还包括：
直方图生成模块，用于生成所获取的桌面图像的图像直方图；
像素均衡模块，用于基于图像直方图中各像素值的分布情况，对目标区域进行直方图均衡化处理。
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述一种基于计算机视觉和深度学习的纸稿提取、纠正方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述一种基于计算机视觉和深度学习的纸稿提取、纠正方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311742287.0A CN117423111B (zh) | 2023-12-18 | 2023-12-18 | 基于计算机视觉和深度学习的纸稿提取、纠正方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311742287.0A CN117423111B (zh) | 2023-12-18 | 2023-12-18 | 基于计算机视觉和深度学习的纸稿提取、纠正方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117423111A CN117423111A (zh) | 2024-01-19 |
| CN117423111B true CN117423111B (zh) | 2024-04-02 |
Family
ID=89530611
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311742287.0A Active CN117423111B (zh) | 2023-12-18 | 2023-12-18 | 基于计算机视觉和深度学习的纸稿提取、纠正方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117423111B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354914A (zh) * | 2015-08-18 | 2016-02-24 | 深圳怡化电脑股份有限公司 | 一种纸币折角面向识别方法和装置 |
| CN114140805A (zh) * | 2021-12-03 | 2022-03-04 | 中国建设银行股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN114926889A (zh) * | 2022-07-19 | 2022-08-19 | 安徽淘云科技股份有限公司 | 作业提交方法、装置、电子设备和存储介质 |
| CN115798020A (zh) * | 2023-01-29 | 2023-03-14 | 北京林业大学 | 一种基于人工智能的中小学生学习投入度检测方法与系统 |
| CN116028551A (zh) * | 2022-12-30 | 2023-04-28 | 科大讯飞股份有限公司 | 作业数据处理方法、装置、电子设备和存储介质 |
| CN116434253A (zh) * | 2022-01-04 | 2023-07-14 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备、存储介质及产品 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239782B (zh) * | 2021-05-11 | 2023-04-28 | 广西科学院 | 一种融合多尺度gan和标签学习的行人重识别系统及方法 |
-
2023
- 2023-12-18 CN CN202311742287.0A patent/CN117423111B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354914A (zh) * | 2015-08-18 | 2016-02-24 | 深圳怡化电脑股份有限公司 | 一种纸币折角面向识别方法和装置 |
| CN114140805A (zh) * | 2021-12-03 | 2022-03-04 | 中国建设银行股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN116434253A (zh) * | 2022-01-04 | 2023-07-14 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备、存储介质及产品 |
| CN114926889A (zh) * | 2022-07-19 | 2022-08-19 | 安徽淘云科技股份有限公司 | 作业提交方法、装置、电子设备和存储介质 |
| CN116028551A (zh) * | 2022-12-30 | 2023-04-28 | 科大讯飞股份有限公司 | 作业数据处理方法、装置、电子设备和存储介质 |
| CN115798020A (zh) * | 2023-01-29 | 2023-03-14 | 北京林业大学 | 一种基于人工智能的中小学生学习投入度检测方法与系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的数学书面作业智能批阅研究;黄松豪 等;电脑知识与技术;20200425(第12期);第1-2页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117423111A (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109803172B (zh) | 一种直播视频的处理方法、装置及电子设备 | |
| US20230037272A1 (en) | Handwritten content removing method and device and storage medium | |
| EP3940589A1 (en) | Layout analysis method, electronic device and computer program product | |
| CN109598185B (zh) | 图像识别翻译方法、装置、设备及可读存储介质 | |
| EP3308350B1 (en) | Method of correcting a captured image, method of selecting a drawing sketched on a page or on two adjacent pages of a notebook, a relative app for smartphone, a hardback notebook and a hardback agenda | |
| CN104575120A (zh) | 一种用于辅助教学的展示系统 | |
| CN112434699A (zh) | 手写汉字或偏旁、笔划的自动提取及智能评分系统 | |
| CN111046644A (zh) | 一种答题卡模板生成方法、识别方法、装置及存储介质 | |
| JP5541679B2 (ja) | 画像処理装置及び方法、並びに、プログラム | |
| CN108965646B (zh) | 图像处理装置、图像处理方法 | |
| CN109741273A (zh) | 一种手机拍照低质图像的自动处理与评分方法 | |
| US7724981B2 (en) | Adaptive contrast control systems and methods | |
| CN113392819B (zh) | 一种批量化学术图像自动分割标注装置和方法 | |
| CN111126266A (zh) | 文本处理方法、文本处理系统、设备及介质 | |
| CN117423111B (zh) | 基于计算机视觉和深度学习的纸稿提取、纠正方法及系统 | |
| KR102223754B1 (ko) | 객체 이미지 개선 방법 및 장치 | |
| CN113159035A (zh) | 图像处理方法、装置、设备及存储介质 | |
| JP5618719B2 (ja) | 画像処理装置、その方法およびプログラム | |
| US20230353702A1 (en) | Processing device, system and method for board writing display | |
| US11367296B2 (en) | Layout analysis | |
| WO2022056875A1 (zh) | 一种铭牌图像的分割方法、装置和计算机可读存储介质 | |
| CN113673428A (zh) | 一种答题卡图片中自动识别的方法 | |
| CN113569859A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN115689994B (zh) | 一种铭牌和条码缺陷检测方法、设备和存储介质 | |
| CN113012060A (zh) | 一种图像处理方法、图像处理系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |