CN111563510B - 一种图像处理的方法和系统 - Google Patents

一种图像处理的方法和系统 Download PDF

Info

Publication number
CN111563510B
CN111563510B CN202010366550.0A CN202010366550A CN111563510B CN 111563510 B CN111563510 B CN 111563510B CN 202010366550 A CN202010366550 A CN 202010366550A CN 111563510 B CN111563510 B CN 111563510B
Authority
CN
China
Prior art keywords
image
color
server
foreground
font
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010366550.0A
Other languages
English (en)
Other versions
CN111563510A (zh
Inventor
曾菲
李俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN202010366550.0A priority Critical patent/CN111563510B/zh
Publication of CN111563510A publication Critical patent/CN111563510A/zh
Application granted granted Critical
Publication of CN111563510B publication Critical patent/CN111563510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及图像处理技术领域，公开了一种图像处理的方法和系统。该方法包括：客户端获取初始图像并发送给服务器；服务器对初始图像进行前景背景分离，得到前景图像；服务器提取前景图像中的印刷字体图像特征作为第一图像，提取前景图像中的手写字体图像特征作为第二图像，将前景图像中未被提取部分作为第三图像；服务器剔除第三图像与第二图像颜色特征相似的像素点，得到第四图像，利用第一图像的颜色特征替换第四图像中的像素点，得到第五图像；服务器利用第一图像和第五图像合成目标图像。实施本发明实施例，可以通过颜色特征替换手写字体和印刷字体重合的区域，在保证印刷字体和手写字体准确分割的同时，还改善重合区域的视觉体验。

Description

一种图像处理的方法和系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像处理的方法和系统。
背景技术
错题本是一种能够提高学习效率、提升学习质量、巩固学习基础的重要手段。目前，大部分学生仍是通过手抄的方式将错题抄写到笔记本中来生成错题本，以这种方式生成错题本会花费学生大量时间，降低学习效率。
通过打印错题图片实现错题收集是一种快速构建错题本的方式，保存错题图片时会存在手写笔迹干扰，影响用户重做的效果，其解决方案一般是通过图片处理中的橡皮擦功能进行手动擦除和去噪等处理，这种方式处理过程需要非常细致，否则很容易将题目本身的内容擦除掉，只能通过撤消方式重新擦除，同样效率也不高。现有对这个问题解决的方式一般是对错题图片进行手写字体识别，然后自动涂抹擦除的方式，其使得答案涂抹的效率大大提高。但是这种方式也会存在以下问题：手写字体不能保证完全被识别，自动涂抹擦除后，存在一些位置仍有手写字体存在，影响用户体验。也有将手写字体和印刷字体识别后通过颜色区分方式将手写字体自动涂抹。
在很多的场景中，手写字体和印刷字体都会出现重合的情况发生，上述无论哪种手写字体涂抹方式，均不能对重合区域进行处理，当手写字体和印刷字体颜色差别较大时，该重合区域的存在，严重影响用户的视觉体验。
发明内容
针对所述缺陷，本发明实施例公开了一种图像处理的方法和系统，其在提取印刷字体图像的同时，还对印刷字体和手写字体重合区域进行处理。
本发明实施例第一方面公开一种图像处理的方法，所述方法包括：
客户端获取初始图像并将所述初始图像发送给服务器；
服务器对所述初始图像进行前景背景分离，得到前景图像；
服务器提取前景图像中的印刷字体图像特征作为第一图像，提取前景图像中的手写字体图像特征作为第二图像，将前景图像中未被提取部分作为第三图像；
服务器剔除第三图像中与第二图像颜色特征相似的像素点，得到第四图像，并利用第一图像的颜色特征替换所述第四图像中的像素点，得到第五图像；
服务器利用所述第一图像和第五图像合成目标图像。
作为一种可选的实施方式，在本发明实施例第一方面中，所述服务器提取前景图像中的印刷字体图像特征作为第一图像，提取前景图像中的手写字体图像特征作为第二图像，将前景图像中未被提取部分作为第三图像，包括：
所述服务器识别所述前景图像中的字符；
所述服务器通过预先训练的印刷字体识别模型以及第一预设阈值对所述前景图像进行识别，得到印刷字体的图像特征，将所述印刷字体的图像特征组成第一图像；
所述服务器通过预先训练的手写字体识别模型以及第二预设阈值对所述前景图像进行识别，得到手写字体的图像特征，将手写字体的图像特征组成第二图像；
所述服务器将前景图像中剩余图像特征组成第三图像。
作为一种可选的实施方式，在本发明实施例第一方面中，所述服务器剔除第三图像中与第二图像颜色特征相似的像素点，得到第四图像，包括：
所述服务器获取第二图像的颜色直方图，按照第二图像的颜色直方图对第二图像的颜色特征进行排序，获取排序靠前的M个颜色特征，记为(R2i，G2i，B2i)；(R2i，G2i，B2i)为第二图像中数量排序为i的颜色特征，1≤i≤M；M≥1；
所述服务器获取第三图像的颜色直方图，按照第三图像的颜色直方图对第三图像的颜色特征进行排序，获取排序靠前的N个颜色特征，记为(R3j，G3j，B3j)；(R3j，G3j，B3j)为第三图像中数量排序为j的颜色特征，1≤j≤N；N≥1；
所述服务器比较颜色特征(R2i，G2i，B2i)和颜色特征(R3j，G3j，B3j)的相似度，得到相似度大于第三预设阈值的第三图像中的颜色特征(R3k，G3k，B3k)；1≤k≤N；
所述服务器剔除第三图像中颜色特征为(R3k±a，G3k±b，B3k±c)的像素点，得到第四图像；a、b、c分别为红色、绿色以及蓝色颜色特征的变化设定值。
作为一种可选的实施方式，在本发明实施例第一方面中，所述利用第一图像的颜色特征替换所述第四图像中的像素点，得到第五图像，之后，还包括：
所述服务器通过预先训练的印刷字体识别模型以及第一预设阈值对所述第五图像进行识别，得到识别的印刷体的数量；
所述服务器计算所述识别的印刷体的数量占所述第五图像总字符数量的比例；
如果所述比例小于第四预设阈值，则所述服务器调整M、N以及第三预设阈值中的一个或多个，重新确定第四图像。
作为一种可选的实施方式，在本发明实施例第一方面中，所述利用第一图像的颜色特征替换所述第四图像中的像素点，得到第五图像，包括：
所述服务器获取第一图像的颜色平均值(R1，G1，B1)，利用所述颜色平均值(R1，G1，B1)替换所述第四图像中的像素点，得到第五图像。
本发明实施例第二方面公开一种图像处理的系统，该系统包括：
图像获取单元，位于客户端中，用于获取初始图像并将所述初始图像发送给服务器；
前景分离单元，位于服务器中，用于对所述初始图像进行前景背景分离，得到前景图像；
特征提取单元，位于服务器中，用于提取前景图像中的印刷字体图像特征作为第一图像，提取前景图像中的手写字体图像特征作为第二图像，将前景图像中未被提取部分作为第三图像；
特征替换单元，位于服务器中，用于剔除第三图像中与第二图像颜色特征相似的像素点，得到第四图像，并利用第一图像的颜色特征替换所述第四图像中的像素点，得到第五图像；
图像合成单元，位于服务器中，用于利用所述第一图像和第五图像合成目标图像。
作为一种可选的实施方式，在本发明实施例第二方面中，所述特征提取单元，包括：
字符识别子单元，用于识别所述前景图像中的字符；
印刷体识别子单元，用于通过预先训练的印刷字体识别模型以及第一预设阈值对所述前景图像进行识别，得到印刷字体的图像特征，将所述印刷字体的图像特征组成第一图像；
手写体识别子单元，用于通过预先训练的手写字体识别模型以及第二预设阈值对所述前景图像进行识别，得到手写字体的图像特征，将手写字体的图像特征组成第二图像；
剩余特征构建子单元，用于将前景图像中剩余图像特征组成第三图像。
作为一种可选的实施方式，在本发明实施例第二方面中，所述特征替换单元，包括：
第一子单元，用于获取第二图像的颜色直方图，按照第二图像的颜色直方图对第二图像的颜色特征进行排序，获取排序靠前的M个颜色特征，记为(R2i，G2i，B2i)；(R2i，G2i，B2i)为第二图像中数量排序为i的颜色特征，1≤i≤M；M≥1；
第二子单元，用于获取第三图像的颜色直方图，按照第三图像的颜色直方图对第三图像的颜色特征进行排序，获取排序靠前的N个颜色特征，记为(R3j，G3j，B3j)；(R3j，G3j，B3j)为第三图像中数量排序为j的颜色特征，1≤j≤N；N≥1；
第三子单元，用于比较颜色特征(R2i，G2i，B2i)和颜色特征(R3j，G3j，B3j)的相似度，得到相似度大于第三预设阈值的第三图像中的颜色特征(R3k，G3k，B3k)；1≤k≤N；
第四子单元，用于剔除第三图像中颜色特征为(R3k±a，G3k±b，B3k±c)的像素点，得到第四图像；a、b、c分别为红色、绿色以及蓝色颜色特征的变化设定值。
作为一种可选的实施方式，在本发明实施例第二方面中，所述特征替换单元，还包括：
第五子单元，用于通过预先训练的印刷字体识别模型以及第一预设阈值对所述第五图像进行识别，得到识别的印刷体的数量；
第六子单元，用于计算所述识别的印刷体的数量占所述第五图像总字符数量的比例；
第七子单元，用于如果所述比例小于第四预设阈值，则所述服务器调整M、N以及第三预设阈值中的一个或多个，重新确定第四图像。
作为一种可选的实施方式，在本发明实施例第二方面中，所述特征替换单元，还包括：
第八子单元，用于获取第一图像的颜色平均值(R1，G1，B1)，利用所述颜色平均值(R1，G1，B1)替换所述第四图像中的像素点，得到第五图像。
本发明实施例第三方面公开一种客户端，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面中公开的一种图像处理的方法中客户端执行的步骤。
本发明实施例第四方面公开一种服务器，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面中公开的一种图像处理的方法中服务器执行的步骤。
本发明实施例第五方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种图像处理的方法的部分或全部步骤。
本发明实施例第六方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的一种图像处理的方法的部分或全部步骤。
本发明实施例第七方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的一种图像处理的方法的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，客户端获取初始图像并将所述初始图像发送给服务器；服务器对所述初始图像进行前景背景分离，得到前景图像；服务器提取前景图像中的印刷字体图像特征作为第一图像，提取前景图像中的手写字体图像特征作为第二图像，将前景图像中未被提取部分作为第三图像；服务器剔除第三图像中与第二图像颜色特征相似的像素点，得到第四图像，并利用第一图像的颜色特征替换所述第四图像中的像素点，得到第五图像；服务器利用所述第一图像和第五图像合成目标图像。可见，实施本发明实施例，其通过第一图像的颜色特征替换手写字体和印刷字体重合的区域，在保证印刷字体和手写字体准确分割的同时，还改善重合区域的视觉体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种图像处理的方法的流程示意图；
图2是本发明实施例公开的一种图像处理的系统的结构示意图；
图3是本发明实施例公开的一种电子设备的结构示意图；
图4是本发明实施例公开的另一种图像处理的系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种图像处理的方法和系统，其通过手写字体识别的颜色特征对未分割区域进行过滤，以实现印刷字体和手写字体的完全分离，通过印刷字体识别的颜色特征对未分割区域进行修复，改善印刷字体和手写字体重合区域的视觉体验，以下结合附图进行详细描述。
实施例一
请参阅图1，图1是本发明实施例公开的一种图像处理方法的流程示意图。其中，本发明实施例所描述的方法在学习机、家教机、点读机、平板电脑或手机等智能终端与服务器的交互中实现图像处理过程。如图1所示，该图像处理方法包括以下步骤：
110、客户端获取初始图像并将所述初始图像发送给服务器。
客户端为智能终端中的一些应用程序，例如错题收集或搜题APP，也可以是一些专门用于错题收集或搜题的智能终端。初始图像为RGB图像，其可以是用户使用智能终端实时拍照所得的照片，也可以是用户使用智能终端进行截图操作所得的图像，还可以是从互联网上下载所得的图像等，本发明实施例不作限定。
客户端或服务器可以先对初始图像进行预处理，以保证字符识别的准确性。预处理包括但不限于去噪、图像增强以及形状矫正等，图像增强用于改变初始图像的图像质量，增强不同颜色之间的对比度等，形状矫正主要针对摄像头视角问题拍摄到梯形图像或者题目出现卷曲情况，形状矫正可以通过霍夫变换等方式矫正，最终得到的初始图像为矩形。
120、服务器对所述初始图像进行前景背景分离，得到前景图像。
前景背景分离技术有多种，示例性地，服务器可以通过灰度自适应阈值的方式对前景图像和背景图像进行分割，得到前景图像。这里的前景图像也为RGB图像，分割时如果转换成了灰度图像，此时，通过反转换方式再转换成RGB图像。前景图像和初始图像尺寸相同，前景图像相当于将初始图像的背景图像的颜色特征转换成了(255，255，255)。
130、服务器提取前景图像中的印刷字体图像特征作为第一图像，提取前景图像中的手写字体图像特征作为第二图像，将前景图像中未被提取部分作为第三图像。
提取印刷字体图像特征和手写字体图像特征之前，需要对前景图像进行字符识别，字符识别可以通过成熟的OCR(Optical Character Recognition，光学字符识别)技术实现，OCR技术可以直接对彩色图像进行字符识别，也可以通过二值化后的图像进行字符识别。字符包括汉字、字母、数字、标点符号以及特定标识等；特定标识主要是教师在初始图像中批改痕迹。
服务器提取前景图像中的印刷字体图像特征作为第一图像是通过机器学习方式完成，示例性地，通过卷积神经网络构建印刷字体识别模型，通过大量印刷字样本对印刷字体识别模型进行训练，得到最终的印刷字体识别模型。服务器将前景图像的字符输入印刷字体识别模型进行识别，将印刷字体识别模型识别出印刷字体的置信度设置为第一预设阈值，当某个字符被印刷字体识别模型识别成印刷字体的概率大于第一预设阈值时，则判定这个字符为印刷字体，反之，暂不判定该字符的字体类型。第一预设阈值可以设置为较大值，例如98％，从而保证第一图像中的字符基本确定是印刷字体。
将识别出的印刷字体的图像特征(包括颜色特征和位置坐标)从前景图像中提取出来，组成第一图像，第一图像中的字符与初始图像中被识别出的印刷字体的颜色特征和位置保持一致。
服务器提取前景图像中的手写字体图像特征作为第二图像也是通过机器学习方式完成，示例性地，通过卷积神经网络构建手写字体识别模型，通过大量手写字样本对手写字体识别模型进行训练，得到最终的手写字体识别模型，手写字样本包括两类样本，一类是手写字，另一类是特定标识。服务器将前景图像的字符输入手写字体识别模型进行识别，将手写字体识别模型识别出手写字体的置信度设置为第二预设阈值，当某个字符被手写字体识别模型识别成手写字体的概率大于第一预设阈值时，则判定这个字符为手写字体，反之，暂不判定该字符的字体类型。第二预设阈值可以设置为较大值，例如98％，从而保证第二图像中的字符基本确定是手写字体。
将识别出的手写字体的图像特征(包括颜色特征和位置坐标)从前景图像中提取出来，组成第二图像，第二图像中的字符与初始图像中被识别出的印刷字体的颜色特征和位置保持一致。
前景图像中剩余图像特征保留，形成第三图像。可以看出，第一图像、第二图像和第三图像合成后，可以得到前景图像。第三图像中，存在以下字符：识别概率较低的印刷字体和手写字体，如果印刷字体和手写字体存在重合，这部分字符很可能无法识别，或者识别概率较低。
140、服务器剔除第三图像中与第二图像颜色特征相似的像素点，得到第四图像，并利用第一图像的颜色特征替换所述第四图像中的像素点，得到第五图像。
第三图像中存在着识别概率较低的印刷字体，以及印刷字体和手写字体重合的区域。在本发明实施例中，将第三图像中与第二图像颜色特征相似的相似度进行过滤，可以得到第三图像的印刷字体图像特征，然后再对该印刷字体图像特征中印刷字体和手写字体重合的区域进行修复，从而提升用户的视觉体验。
具体地：
首先，服务器先通过颜色特征，剔除第三图像中与第二图像颜色特征相似的像素点。
服务器获取第二图像的颜色直方图，即第二图像的颜色特征分布，其以单个像素的颜色特征按照顺序形成X轴，例如，颜色特征为(0，0，0)作为X轴第一个点，颜色特征为(255，255，255)作为X轴最后一个点，将该单个像素的数量作为Y轴，得到每个像素对应的颜色特征数量，排序方式有两种，一种是基于各个像素点的颜色特征数量进行排序，另一种基于分布区域的颜色特征数量进行排序。第一排序方式的前M个颜色特征就是它们本身。第二种排序得到的前M个颜色特征为M个分布区域的颜色特征平均值，分布区域以某一个峰值的颜色特征作为中心点，选取其两侧预设数量的颜色特征作为分布区域。
因为手写字体根据用户或教师不同的力度，其颜色特征也存在一定的差异，因此，本发明实施例中采用第二种排序方式，排序靠前的M个颜色特征，记为(R2i，G2i，B2i)；(R2i，G2i，B2i)为第二图像中数量排序为i的颜色特征(分布区域颜色特征的数量之和排序为i的分布区域的颜色特征平均值)，1≤i≤M；M≥1。
一般地，手写字体一般包括两种颜色特征，一种是用户答题时手写字迹颜色，一种是教师批改时的批改痕迹颜色。因此，可以将M设置为2。
同样的方式，获取第三图像的颜色直方图，按照第三图像的颜色直方图对第三图像的颜色特征进行排序，获取排序靠前的N个颜色特征，记为(R3j，G3j，B3j)；(R3j，G3j，B3j)为第三图像中数量排序为j的颜色特征，1≤j≤N；N≥1。
(R3j，G3j，B3j)为第三图像中数量排序为j的颜色特征也是分布区域颜色特征的数量之和排序为j的分布区域的颜色特征平均值。为了保证过滤的准确性，N值优选大于M值，例如N＝2M。
服务器比较颜色特征(R2i，G2i，B2i)和颜色特征(R3j，G3j，B3j)的相似度，当颜色特征(R3k，G3k，B3k)与任意一个颜色特征(R2i，G2i，B2i)的相似度大于第三预设阈值，则该颜色特征(R3k，G3k，B3k)记为选中的颜色特征。相似度可以通过二个点在三维空间中的余弦相似度计算得到。之所以采用RGB颜色特征的相似度比对，而不采用灰度值的比较，是防止用户手写字迹与印刷字体颜色接近时，通过灰度值无法区分。
确定第一图像的颜色特征平均值，可以将第一图像的颜色平均值与颜色特征(R2i，G2i，B2i)进行相似度比对，得到一个相似度最大值，第三预设阈值选取时要大于该相似度最大值。
服务器剔除第三图像中颜色特征为(R3k±a，G3k±b，B3k±c)的像素点，得到第四图像；a、b、c分别为红色、绿色以及蓝色颜色特征的变化设定值，a、b、c优选大于或等于分布区域时选取颜色特征的预设数量，从而过滤了第三图像中与第二图像中相似的像素点。剔除的方式可以是将第三图像中颜色特征为(R3k±a，G3k±b，B3k±c)的像素点设置为(255，255，255)。
然后，服务器再通过颜色特征，对第四图像中手写字体和印刷字体有重合的位置进行修复。
第四图像中，仅剩余未识别的印刷字体以及印刷字体与手写字体重合的区域，当然，可能还会存在一些零星的其他颜色的像素点，这些零星的其他颜色像素点不会影响显示效果，也可以通过腐蚀膨胀的方式进行过滤。
修复手写字体和印刷字体有重合的位置可以是将第一图像的颜色特征直接覆盖第四图像中的像素点。服务器获取第一图像的颜色平均值(R1，G1，B1)，利用所述颜色平均值(R1，G1，B1)替换所述第四图像中的像素点，得到第五图像。需要说明的是，这里提及的第四图像的像素点是指该第四图像中颜色特征为非(255，255，255)的像素点。
得到的第五图像即为修复后的剩余印刷字体。
为了保障第四图像中大部分的干扰颜色特征(主要是手写字体的颜色特征)的过滤比较彻底，作为一个优选的实施例，通过识别第五图像中印刷字体的比例判断是否需要重新在对第四图像进行过滤。
服务器通过OCR技术识别第五图像的字符，然后将识别后的字符输入预先训练的印刷字体识别模型，通过第一预设阈值作为置信度，识别第五图像中的印刷字体，并统计识别出第五图像中的印刷字体的数量Q，然后根据OCR识别的第五图像的字符数量P确定识别比例(Q/P)，并将该识别比例与第四预设阈值进行比对，如果这个识别比例小于第四预设阈值，则说明第四图像中还有可能存在干扰信息，通过调整M、N以及第三预设阈值的一个或多个，重新通过颜色特征(R2i，G2i，B2i)和颜色特征(R3j，G3j，B3j)的相似度比对，在得到第四图像，通过多次迭代，直至识别比例大于第四预设阈值为止。
150、服务器利用所述第一图像和第五图像合成目标图像。
第五图像和第一图像的尺寸相同，且像素点位置不会重合，通过图像融合算法第五图像和第一图像合成目标图像。
根据用户的不同需要，可以将目标图像保存在服务器中，或/和服务器将目标图像发送给客户端。如果用户用于错题收集，服务器可以先将目标图像发送给客户端进行确认是否满足其需求，当满足其需求时，再将目标图像保存于服务器中，用户可以随时查看保存于服务器中的该目标图像。如果用于搜题，服务器还将目标图像去匹配试题库中的答案，将答案返回给客户端。
实施本发明实施例，可以通过第一图像的颜色特征替换手写字体和印刷字体重合的区域，在保证印刷字体和手写字体准确分割的同时，还改善重合区域的视觉体验。
实施例二
请参阅图2，图2是本发明实施例公开的一种图像处理系统的结构示意图。如图2所示，该系统可以包括：
图像获取单元210，位于客户端200中，用于获取初始图像并将所述初始图像发送给服务器；
前景分离单元310，位于服务器300中，用于对所述初始图像进行前景背景分离，得到前景图像；
特征提取单元320，位于服务器300中，用于提取前景图像中的印刷字体图像特征作为第一图像，提取前景图像中的手写字体图像特征作为第二图像，将前景图像中未被提取部分作为第三图像；
特征替换单元330，位于服务器300中，用于剔除第三图像中与第二图像颜色特征相似的像素点，得到第四图像，并利用第一图像的颜色特征替换所述第四图像中的像素点，得到第五图像；
图像合成单元340，位于服务器300中，用于利用所述第一图像和第五图像合成目标图像。
作为一种可选的实施方式，所述特征提取单元320，可以包括：
字符识别子单元321，用于识别所述前景图像中的字符；
印刷体识别子单元322，用于通过预先训练的印刷字体识别模型以及第一预设阈值对所述前景图像进行识别，得到印刷字体的图像特征，将所述印刷字体的图像特征组成第一图像；
手写体识别子单元323，用于通过预先训练的手写字体识别模型以及第二预设阈值对所述前景图像进行识别，得到手写字体的图像特征，将手写字体的图像特征组成第二图像；
剩余特征构建子单元324，用于将前景图像中剩余图像特征组成第三图像。
作为一种可选的实施方式，所述特征替换单元330，可以包括：
第一子单元331，用于获取第二图像的颜色直方图，按照第二图像的颜色直方图对第二图像的颜色特征进行排序，获取排序靠前的M个颜色特征，记为(R2i，G2i，B2i)；(R2i，G2i，B2i)为第二图像中数量排序为i的颜色特征，1≤i≤M；M≥1；
第二子单元332，用于获取第三图像的颜色直方图，按照第三图像的颜色直方图对第三图像的颜色特征进行排序，获取排序靠前的N个颜色特征，记为(R3j，G3j，B3j)；(R3j，G3j，B3j)为第三图像中数量排序为j的颜色特征，1≤j≤N；N≥1；
第三子单元333，用于比较颜色特征(R2i，G2i，B2i)和颜色特征(R3j，G3j，B3j)的相似度，得到相似度大于第三预设阈值的第三图像中的颜色特征(R3k，G3k，B3k)；1≤k≤N；
第四子单元334，用于剔除第三图像中颜色特征为(R3k±a，G3k±b，B3k±c)的像素点，得到第四图像；a、b、c分别为红色、绿色以及蓝色颜色特征的变化设定值。
作为一种可选的实施方式，所述特征替换单元330，还可以包括：
第五子单元335，用于通过预先训练的印刷字体识别模型以及第一预设阈值对所述第五图像进行识别，得到识别的印刷体的数量；
第六子单元336，用于计算所述识别的印刷体的数量占所述第五图像总字符数量的比例；
第七子单元337，用于如果所述比例小于第四预设阈值，则所述服务器调整M、N以及第三预设阈值中的一个或多个，重新确定第四图像。
作为一种可选的实施方式，所述特征替换单元330，还可以包括：
第八子单元338，用于获取第一图像的颜色平均值(R1，G1，B1)，利用所述颜色平均值(R1，G1，B1)替换所述第四图像中的像素点，得到第五图像。
图2所示的图像处理系统，可以通过第一图像的颜色特征替换手写字体和印刷字体重合的区域，在保证印刷字体和手写字体准确分割的同时，还改善重合区域的视觉体验。
实施例三
请参阅图3，图3是本发明实施例公开的一种电子设备的结构示意图。如图3所示，该电子设备400可以包括：
存储有可执行程序代码的存储器410；
与存储器410耦合的处理器420；
其中，处理器420调用存储器410中存储的可执行程序代码，执行实施例一公开的一种图像处理的方法中客户端或服务器执行的步骤。
实施例四
请参阅图4，图4是本发明实施例公开的一种图像处理的系统的结构示意图。如图4所示，该系统500包括客户端510和服务器520。其中：
该客户端510可以包括：存储有可执行程序代码的存储器511；与存储器511耦合的处理器512；其中，处理器512调用存储器511中存储的可执行程序代码，执行实施例一公开的一种图像处理的方法中客户端执行的步骤。
该服务器520可以包括：存储有可执行程序代码的存储器521；与存储器521耦合的处理器522；其中，处理器522调用存储器521中存储的可执行程序代码，执行实施例一公开的一种图像处理的方法中服务器执行的步骤。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行实施例一公开的一种图像处理的方法中的部分或全部步骤。
本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一公开的一种图像处理的方法中的部分或全部步骤。
本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一公开的一种图像处理的方法中的部分或全部步骤。
在本发明的各种实施例中，应理解，所述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。
在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种图像处理的方法和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像处理的方法，其特征在于，包括：
客户端获取初始图像并将所述初始图像发送给服务器；
服务器对所述初始图像进行前景背景分离，得到前景图像；
服务器提取前景图像中的印刷字体图像特征作为第一图像，提取前景图像中的手写字体图像特征作为第二图像，将前景图像中未被提取部分作为第三图像；
服务器剔除第三图像中与第二图像颜色特征相似的像素点，得到第四图像，并利用第一图像的颜色特征替换所述第四图像中的像素点，得到第五图像；
服务器利用所述第一图像和第五图像合成目标图像。
2.根据权利要求1所述的方法，其特征在于，所述服务器提取前景图像中的印刷字体图像特征作为第一图像，提取前景图像中的手写字体图像特征作为第二图像，将前景图像中未被提取部分作为第三图像，包括：
所述服务器识别所述前景图像中的字符；
所述服务器通过预先训练的印刷字体识别模型以及第一预设阈值对所述前景图像进行识别，得到印刷字体的图像特征，将所述印刷字体的图像特征组成第一图像；
所述服务器通过预先训练的手写字体识别模型以及第二预设阈值对所述前景图像进行识别，得到手写字体的图像特征，将手写字体的图像特征组成第二图像；
所述服务器将前景图像中剩余图像特征组成第三图像。
3.根据权利要求1所述的方法，其特征在于，所述服务器剔除第三图像中与第二图像颜色特征相似的像素点，得到第四图像，包括：
所述服务器获取第二图像的颜色直方图，按照第二图像的颜色直方图对第二图像的颜色特征进行排序，获取排序靠前的M个颜色特征，记为(R2i，G2i，B2i)；(R2i，G2i，B2i)为第二图像中数量排序为i的颜色特征，1≤i≤M；M≥1；
所述服务器获取第三图像的颜色直方图，按照第三图像的颜色直方图对第三图像的颜色特征进行排序，获取排序靠前的N个颜色特征，记为(R3j，G3j，B3j)；(R3j，G3j，B3j)为第三图像中数量排序为j的颜色特征，1≤j≤N；N≥1；
所述服务器比较颜色特征(R2i，G2i，B2i)和颜色特征(R3j，G3j，B3j)的相似度，得到相似度大于第三预设阈值的第三图像中的颜色特征(R3k，G3k，B3k)；1≤k≤N；
所述服务器剔除第三图像中颜色特征为(R3k±a，G3k±b，B3k±c)的像素点，得到第四图像；a、b、c分别为红色、绿色以及蓝色颜色特征的变化设定值。
4.根据权利要求3所述的方法，其特征在于，所述利用第一图像的颜色特征替换所述第四图像中的像素点，得到第五图像，之后，还包括：
所述服务器通过预先训练的印刷字体识别模型以及第一预设阈值对所述第五图像进行识别，得到识别的印刷体的数量；
所述服务器计算所述识别的印刷体的数量占所述第五图像总字符数量的比例；
如果所述比例小于第四预设阈值，则所述服务器调整M、N以及第三预设阈值中的一个或多个，重新确定第四图像。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述利用第一图像的颜色特征替换所述第四图像中的像素点，得到第五图像，包括：
所述服务器获取第一图像的颜色平均值(R1，G1，B1)，利用所述颜色平均值(R1，G1，B1)替换所述第四图像中的像素点，得到第五图像。
6.一种图像处理的系统，其特征在于，包括：
图像获取单元，位于客户端中，用于获取初始图像并将所述初始图像发送给服务器；
前景分离单元，位于服务器中，用于对所述初始图像进行前景背景分离，得到前景图像；
特征提取单元，位于服务器中，用于提取前景图像中的印刷字体图像特征作为第一图像，提取前景图像中的手写字体图像特征作为第二图像，将前景图像中未被提取部分作为第三图像；
特征替换单元，位于服务器中，用于剔除第三图像中与第二图像颜色特征相似的像素点，得到第四图像，并利用第一图像的颜色特征替换所述第四图像中的像素点，得到第五图像；
图像合成单元，位于服务器中，用于利用所述第一图像和第五图像合成目标图像。
7.根据权利要求6所述的系统，其特征在于，所述特征提取单元，包括：
字符识别子单元，用于识别所述前景图像中的字符；
印刷体识别子单元，用于通过预先训练的印刷字体识别模型以及第一预设阈值对所述前景图像进行识别，得到印刷字体的图像特征，将所述印刷字体的图像特征组成第一图像；
手写体识别子单元，用于通过预先训练的手写字体识别模型以及第二预设阈值对所述前景图像进行识别，得到手写字体的图像特征，将手写字体的图像特征组成第二图像；
剩余特征构建子单元，用于将前景图像中剩余图像特征组成第三图像。
8.根据权利要求6所述的系统，其特征在于，所述特征替换单元，包括：
第一子单元，用于获取第二图像的颜色直方图，按照第二图像的颜色直方图对第二图像的颜色特征进行排序，获取排序靠前的M个颜色特征，记为(R2i，G2i，B2i)；(R2i，G2i，B2i)为第二图像中数量排序为i的颜色特征，1≤i≤M；M≥1；
第二子单元，用于获取第三图像的颜色直方图，按照第三图像的颜色直方图对第三图像的颜色特征进行排序，获取排序靠前的N个颜色特征，记为(R3j，G3j，B3j)；(R3j，G3j，B3j)为第三图像中数量排序为j的颜色特征，1≤j≤N；N≥1；
第三子单元，用于比较颜色特征(R2i，G2i，B2i)和颜色特征(R3j，G3j，B3j)的相似度，得到相似度大于第三预设阈值的第三图像中的颜色特征(R3k，G3k，B3k)；1≤k≤N；
第四子单元，用于剔除第三图像中颜色特征为(R3k±a，G3k±b，B3k±c)的像素点，得到第四图像；a、b、c分别为红色、绿色以及蓝色颜色特征的变化设定值。
9.根据权利要求8所述的系统，其特征在于，所述特征替换单元，还包括：
第五子单元，用于通过预先训练的印刷字体识别模型以及第一预设阈值对所述第五图像进行识别，得到识别的印刷体的数量；
第六子单元，用于计算所述识别的印刷体的数量占所述第五图像总字符数量的比例；
第七子单元，用于如果所述比例小于第四预设阈值，则所述服务器调整M、N以及第三预设阈值中的一个或多个，重新确定第四图像。
10.根据权利要求6-9任一项所述的系统，其特征在于，所述特征替换单元，还包括：
第八子单元，用于获取第一图像的颜色平均值(R1，G1，B1)，利用所述颜色平均值(R1，G1，B1)替换所述第四图像中的像素点，得到第五图像。
CN202010366550.0A 2020-04-30 2020-04-30 一种图像处理的方法和系统 Active CN111563510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010366550.0A CN111563510B (zh) 2020-04-30 2020-04-30 一种图像处理的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010366550.0A CN111563510B (zh) 2020-04-30 2020-04-30 一种图像处理的方法和系统

Publications (2)

Publication Number Publication Date
CN111563510A CN111563510A (zh) 2020-08-21
CN111563510B true CN111563510B (zh) 2023-04-18

Family

ID=72074580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010366550.0A Active CN111563510B (zh) 2020-04-30 2020-04-30 一种图像处理的方法和系统

Country Status (1)

Country Link
CN (1) CN111563510B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226594A (zh) * 2007-01-18 2008-07-23 富士通株式会社 图案分离提取程序、图案分离提取装置和图案分离提取方法
CN102611815A (zh) * 2011-01-20 2012-07-25 村田机械株式会社 图像处理装置、图像处理系统以及图像处理方法
CN105095892A (zh) * 2014-05-16 2015-11-25 上海市上海中学 基于图像处理的学生文档管理系统
CN107659799A (zh) * 2016-07-25 2018-02-02 佳能株式会社 摄像装置、图像处理方法和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5014284B2 (ja) * 2008-08-08 2012-08-29 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP4825888B2 (ja) * 2009-03-17 2011-11-30 株式会社東芝 文書画像処理装置および文書画像処理方法
US8824785B2 (en) * 2010-01-27 2014-09-02 Dst Technologies, Inc. Segregation of handwritten information from typographic information on a document

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226594A (zh) * 2007-01-18 2008-07-23 富士通株式会社 图案分离提取程序、图案分离提取装置和图案分离提取方法
CN102611815A (zh) * 2011-01-20 2012-07-25 村田机械株式会社 图像处理装置、图像处理系统以及图像处理方法
CN105095892A (zh) * 2014-05-16 2015-11-25 上海市上海中学 基于图像处理的学生文档管理系统
CN107659799A (zh) * 2016-07-25 2018-02-02 佳能株式会社 摄像装置、图像处理方法和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林琴等.基于帧特征及维特比解码的手写体与印刷体分类.《激光与光电子学进展》.2019,第56卷(第6期),第061003-1到061003-7页. *

Also Published As

Publication number Publication date
CN111563510A (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
CN109241894B (zh) 一种基于表格定位和深度学习的票据内容识别系统和方法
CN111753767A (zh) 一种作业自动批改的方法、装置、电子设备和存储介质
JP5522408B2 (ja) パターン認識装置
CN110210413A (zh) 一种基于深度学习的多学科试卷内容检测与识别系统及方法
CN107609549A (zh) 一种自然场景下证件图像的文本检测方法
CN110705534B (zh) 一种适用于电子助视器的错题本生成方法
CN110705233B (zh) 基于文字识别技术的笔记生成方法、装置和计算机设备
CN111563512B (zh) 一种答案自动涂抹的方法、装置、电子设备及存储介质
CN110458158B (zh) 一种针对盲人辅助阅读的文本检测与识别方法
CN111783757A (zh) 一种基于ocr技术的复杂场景下身份证识别方法
CN112052852A (zh) 一种基于深度学习的手写气象档案资料的字符识别方法
CN111626292B (zh) 一种基于深度学习技术的楼宇指示标识的文字识别方法
CN114092938B (zh) 图像的识别处理方法、装置、电子设备及存储介质
CN111581367A (zh) 一种题目录入的方法和系统
CN112966685B (zh) 用于场景文本识别的攻击网络训练方法、装置及相关设备
CN111753120A (zh) 一种搜题的方法、装置、电子设备和存储介质
CN112446259A (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN111814779A (zh) 一种票据文本识别方法、装置、设备及存储介质
CN109508716B (zh) 一种图像文字的定位方法及装置
CN115240210A (zh) 一种用于手写汉字辅助练习的系统及方法
CN112949649B (zh) 一种文本图像的识别方法、装置及计算设备
CN109147002B (zh) 一种图像处理方法和装置
CN108921006B (zh) 手写签名图像真伪鉴别模型建立方法及真伪鉴别方法
CN111563510B (zh) 一种图像处理的方法和系统
CN113221897B (zh) 图像矫正方法、图像文本识别方法、身份验证方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant