CN114283156A - 一种用于去除文档图像颜色及手写笔迹的方法及装置 - Google Patents
一种用于去除文档图像颜色及手写笔迹的方法及装置 Download PDFInfo
- Publication number
- CN114283156A CN114283156A CN202111476835.0A CN202111476835A CN114283156A CN 114283156 A CN114283156 A CN 114283156A CN 202111476835 A CN202111476835 A CN 202111476835A CN 114283156 A CN114283156 A CN 114283156A
- Authority
- CN
- China
- Prior art keywords
- image
- handwriting
- area
- document image
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000003709 image segmentation Methods 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000004042 decolorization Methods 0.000 claims abstract description 16
- 239000003086 colorant Substances 0.000 claims abstract description 13
- 230000037303 wrinkles Effects 0.000 claims abstract description 7
- 238000007639 printing Methods 0.000 claims description 45
- 230000000694 effects Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims description 3
- 229920006395 saturated elastomer Polymers 0.000 claims description 3
- 238000003672 processing method Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001584785 Anavitrinella pampinaria Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明属于纸质文档图像处理技术领域，公开了一种用于去除文档图像颜色及手写笔迹的方法及装置，获取待处理的文档图像，待处理的文档图像包括从本地存储器加载文档图像，或者从图像采集设备直接获取文档图像，输入图像通常同时包含打印文字区域与手写笔迹区域；使用图像分割模型对输入图像进行分割，获得像素级的打印文字区域与手写笔迹区域；基于获取的区域分割结果，对图像进行去色和去手写笔迹处理。本发明的方法有效去除纸张褶皱、拍照阴影的影响，获得高质量的清晰的文档图像；同时智能去除图像上各种颜色的手写笔迹；当配合高质量打印机时，使用本发明的方法能够直接打印出干净清晰的文档内容。
Description
技术领域
本发明属于纸质文档图像处理技术领域，尤其涉及一种用于去除文档图像颜色及手写笔迹的方法及装置。
背景技术
文档图像自动去色的目标是将彩色文档图像中的前景文本从背景中分离出来，期望尽可能的保留原文档图像中的文字信息。但是受到图像采集的方法、设备以及采集时的周边环境的影响，通常通过相机获取的文档图像上存在大量的无关信息，例如阴影、褶皱等，它们会对去色效果产生影响，当再次打印文档图像时这些无关信息会被保留在新打印的文档上，浪费墨水的同时也影响阅读。同时，如果原始的文档文件上存在手写内容，在图像处理的过程中这些手写内容也会被保留在输出图像中。当不需要这些内容时，想要去除它们是非常困难的。现有的方法中，通常通过颜色来去除相关手写内容，例如红色笔迹和蓝色笔迹，对于这类基于颜色区分的方法，无法在保留打印的黑色文字信息的同时去除黑色手写内容。
目前，用户对文本、书籍、试卷等纸质文档进行拍照，扫描成为照片或者其他电子档时，通常会包含非实质内容的背景，例如书桌、文具等其他物体，有效的移除环境内容一方面可以保护用户信息安全，另一方面也可以有效降低内存，节省空间；同时，由于拍摄的环境、被拍摄页面的弯曲褶皱，拍摄的照片上通常会存在阴影，降低文档图像的质量，尤其对于需要再次打印的文档，会严重影响打印效果；以及如果原始的文档上已经存在手写笔迹，这些内容也会保留在输出的图像或者电子文件中，当这些笔迹为个人敏感信息，或者用户不需要保留这些笔迹时，想要在保留有效信息的同时去除手写笔迹是较为困难。
现有技术一CN1687969-基于文档图像内容分析与特征提取的文档图像压缩方法-公开：由文档图像预处理、文档图像分割、文字压缩和图像压缩步骤组成，其中文档图像预处理是对文档图像的灰度值进行统计并向图像边界投影，根据投影曲线和灰度直方图分析文档图像内容并自动检测和提取出基于文档图像内容的特征信息，包括文字、图像和文档附带的标记等内容的位置信息和象素灰度值信息；文档图像分割根据文档图像预处理步骤的特征信息结果将文档图像分割成文字部分和图像部分；最后，对文字部分和图像部分分别进行压缩，得到原始文档图像的压缩结果。
但其技术缺陷在于，投影的照片上通常会存在阴影，降低文档图像的质量，严重影响打印效果。
现有技术二CN101276363-文档图像的检索装置及文档图像的检索方法-公开：文档图像的检索装置，用于检索以文字和图表为主要内容的文档图像，其特征在于，该文档图像的检索装置具有：生成文档图像页的特征矢量的特征矢量生成部；文档图像识别部，其对采用上述特征矢量生成部而生成的识别对象的文档图像页的特征矢量、与储存在检索对象中的文档图像页的特征矢量进行比较，从检索对象中抽出与识别对象的文档图像页对应的文档图像页，上述特征矢量生成部具有：矩形图像抽出部，其将文档图像页中的文字部分连结，而抽出矩形图像；区段分割部，其基于由上述矩形图像抽出部抽出的矩形图像的信息，分析页的几何构造，并将上述文档图像页分割成多个区段；特征区段选择部，其从由上述区段分割部分割的多个区段中，选择出表现该文档图像页的特征区段；特征计算部，其将由上述特征区段选择部选择的多个特征区段的信息，作为该文档图像页的特征来计算出，上述特征矢量生成部将上述特征计算部的计算结果包含在该文档图像页的特征矢量的要素中。但其技术缺陷在于，其文档图像不能避免有阴影。
现有技术三CN112639700A-手写笔迹处理方法、手写输入设备及计算机可读存储介质-公开--手写笔迹处理方法包括如下步骤：获取每一笔划中各个数据点的笔迹属性信息；选择每一笔划中的某一数据点进行标记，并记为标记数据点；删除每一笔划中除所述标记数据点之外的其他数据点的笔迹属性信息中与所述标记数据点的笔迹属性信息相同的笔迹属性信息。但其技术缺陷在于，去除手写笔迹效果差。
通过上述分析，现有技术存在的问题及缺陷为：
(1)目前，用户对文本、书籍、试卷等纸质文档进行拍照，扫描成为照片或者其他电子档时，拍摄的照片上通常会存在阴影，降低文档图像的质量，严重影响打印效果。
(2)如果原始的文档上已经存在手写笔迹，内容也会保留在输出的图像或者电子文件中，当这些笔迹为个人敏感信息。
(3)用户不需要保留这些笔迹时，想要在保留有效信息的同时去除手写笔迹是较为困难。
发明内容
针对现有技术存在的问题，本发明提供了一种用于去除文档图像颜色及手写笔迹的方法及装置。
本发明是这样实现的，一种用于去除文档图像颜色及手写笔迹的方法，所述用于去除文档图像颜色及手写笔迹的方法包括：
(1)获取待处理的文档图像，包括从本地存储器加载文档图像，或者从图像采集设备直接获取文档图像，输入图像通常同时包含打印文字区域与手写笔迹区域；
(2)使用图像分割模型对输入图像进行分割，获得像素级的打印文字区域与手写笔迹区域；
(3)基于(2)的区域分割结果，对图像进行去色和去手写笔迹处理。
进一步，所述对图像进行去色和去手写笔迹处理方法具体包括：对原文档图像进行基础去色处理，转换为灰度文档图像；
根据手写笔迹区域，将灰度文档图像中属于手写笔迹区域的像素值置为背景色，得到已经去除手写笔迹的灰度文档图像。
进一步，在得到已经去除手写笔迹的灰度文档图像后，对灰度文档图像中属于打印文字区域的像素进行膨胀处理，得到膨胀后的打印文字区域。
进一步，结合膨胀后的打印文字区域对已经去除手写笔迹的灰度文档图像进行进一步去色增强处理，首先对背景区域或非文字区域直接置为白色，然后对前景区域或膨胀的文字区域进行局部的对比度增强以及清晰化处理，得到更适合阅读以及打印的文档图像。
进一步，所述对图像进行去色和去手写笔迹处理方法具体包括：
(1)获取待处理的文档图像，包括从本地存储器加载文档图像，或者从图像采集设备直接获取文档图像，输入图像通常同时包含打印文档区域和背景区域，打印文档区域包括打印文字区域与手写笔迹区域；
直接获取的文档图像都可能包含非文档内容，通过图像裁剪去除非文档内容；
(2)使用图像分割模型对输入图像进行分割，获得像素级精度的打印文字区域、手写笔迹区域与背景区域。使用的图像分割模型是深度卷积网络DCNN中的语义分割模型，为经过预先训练好的模型，对打印字符以及手写字迹具有良好的识别性能；应用于该语义分割模型的深度卷积网络结构包括完全卷积网络FCN、U形网络、金字塔场景解析网络PspNet，分割网络SegNet，深层标签模型DeepLab；通过使用已经标注有打印文字区域、手写文字区域和背景区域的图像样本集训练待训练的图像分割模型，得到对打印字符以及手写字迹具有良好识别能力的图像分割模型；
在训练集里适当增加阴影、褶皱的样本；在训练集里增加不同颜色的手写笔迹数据，用以增强对不同颜色的笔迹的识别能力；
(3)基于(2)的区域分割结果，对图像进行去色和去手写笔迹处理。
进一步，所述基于(2)的区域分割结果，对图像进行去色和去手写笔迹处理具体包括：
1)灰度转换公式将RGB图像转换为Gray图像，转换公式如下：
Gray＝R*0.299+G*0.587+B*0.114；
或使用以下两个公式：
Gray＝R/3+G/3+B/3；
Gray＝(R2.2*0.2973+G2.2*0.6274+B2.2*0.0753)1/2.2；
2)根据获得手写笔迹区域，将灰度文档图像中属于手写笔迹区域的像素值置为背景色，得到已经去除手写笔迹的灰度文档图像；或使用opencv中的inpaint函数，结合获得的手写笔迹区域，对手写笔迹区域进行修复以达到去除手写笔迹的作用；具体包括：
p(i，j)为图像在(i，j)处的像素点的灰度值，s(i，j)为图像在(i，j)处的状态值，当s(i，j)＝0时，表示点属于背景区域，当s(i，j)＝1时，表示点属于手写笔迹区域，当s(i，j)＝2时，表示点属于打印文字区域；
按顺序遍历整张图像的像素点，当前位置状态值s(i，j)＝1时，检测周围点的状态值，计算周围点属于背景区域的灰度值的平均值，记为pavg，将当前位置的灰度值p(i，j)替换为得到的平均值pavg，并更新当前位置状态值s(i，j)＝0；
3)对打印文字区域进行膨胀处理，得到膨胀后的打印文字区域，膨胀的定义为求局部最大值，将图像A与图像B进行最大值卷积，其中图像B的形状是方形或圆形，拥有一个单独定义的锚点；
4)结合膨胀后的打印文字区域对已经去除手写笔迹的灰度文档图像进行进一步去色增强处理，首先对背景区域或非文字区域直接置为白色，然后对前景区域或膨胀的文字区域进行局部的对比度增强，得到更适合阅读以及打印的文档图像。
进一步，所述步骤4)结合膨胀后的打印文字区域对已经去除手写笔迹的灰度文档图像进行进一步去色增强处理进一步包括：
先按顺序遍历整张图像的像素点，当前位置状态值s(i，j)＝0时，表示该点为背景区域，则将当位置的灰度值置为255，p(i，j)＝255；
然后对打印文字区域进行对比度增强以及清晰化处理，所述对比度增强的算法为饱和直方图拉伸，所述清晰化处理包括：拉普拉斯增强、模糊掩膜锐化。
进一步，饱和直方图拉伸有效的增加文字与背景之间的对比度方法如下：
首先遍历图像像素值，获取打印文字区域的直方图统计信息H，H[10]表示打印文字区域内灰度值为10的像素个数占全部打印文字区域的像素个数的比例；
然后对直方图统计信息H进行累加，获得累加直方图C，C[10]表示打印文字区域内灰度值小于或等于10的像素个数占全部打印文字区域的像素个数的比例；分别找到不大于0.05的最大的C[p_min]和不小于0.95的最小的C[p_max]，根据下式：
最后生成映射表，其中p_ori为原像素值，p_enh为对应的新像素值。并根据该映射表对原图进行增强；
拉普拉斯增强算法使用修正的拉普拉斯核对图像进行卷积，如下的卷积核：
模糊掩膜锐化则是将原图像通过低通滤波器处理，产生一个模糊的图像，用原图像与模糊图像相减得到图像的细节部分内容，然后对部分进行增强：
p(i，j)为原图像在(i，j)处的像素点的灰度值，pg(i，j)为模糊图像在(i，j)处的像素点的灰度值，模糊图像由原图经过半径为3的均值滤波计算获得，则令v(i，j)＝p(i，j)-pg(i，j)，则锐化后的图像为：
其中amount为增强系数，threshold为阈值，预设的增强系数为1.2，阈值为10。
进一步，对比度增强处理的第二种方式：通过深度卷积网络进行区域识别时，网络的计算结果通常为区域类别的置信度C，再经过最大值判断获得实际使用的分类结果；C打印字符区域(i，j)＝0.95，表示点(i，j)属于打印字符区域的概率为95％；通过利用置信度对图像的打印文字区域进行对比度增强，公式如下：
p_enh(i，j)＝(1-C打印字符区域(i，j))*255+C打印字符区域(i，j)*p_ori(i，j)；
其中p_ori为原像素值，p_enh为对应的新像素值。
本发明的另一目的在于提供一种实施所述用于去除文档图像颜色及手写笔迹的方法的文档图像自动去色、智能去手写笔迹的装置，所述文档图像自动去色、智能去手写笔迹的装置包括：
图像采集单元，用于获取待处理的文档图像；
存储器，用于存放图像数据以及可被处理器运行的指令；
处理器，用于处理数据、运行指令和执行操作；
以及输出单元，用于显示或展示处理后的文档图像。
进一步，所述文档图像自动去色、智能去手写笔迹的装置还包括：
云处理器，为通过有线网络或者无线网络连接的服务器端的处理器，与终端内的处理器功能相同，当终端内部处理器计算能力有限时，通过云处理器进行复杂计算；
第三方输出设备，用于显示或展示处理后的文档图像，为显示设备或打印设备。
进一步，所述终端是具有标准操作系统的硬件设备，包括个人计算机、智能手机、平板电脑、智能手表。
进一步，所述存储器包括只读存储器ROM，用以存储指令集及数据；以及随机存取存储器RAM，作为操作系统以及所述的文档图像处理方法的指令的临时数据存储介质。
进一步，所述处理器是终端中的处理器，也可以是通过网络连接的服务器端的云处理器。
进一步，所述终端中的图像采集单元为图像采集设备，是个人计算机的摄像头、智能手机的摄像头、平板电脑的摄像头或者是网络摄像头，也可以是与当前终端分离的其他设备的摄像头，通过数据传输发送至当前终端。
进一步，所述终端包括输出装置，终端内集成的显示屏，用于显示输出图像；通过有线网络、无线网络、蓝牙、红外方式进行数据传输的第三方输出设备，第三方输出设备为独立显示器、投影仪、打印机，用于显示输出图像或打印输出图像。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明首先可以有效地自适应地去除非文档区域的内容，并且改进现有文档图像去色技术中，纸张褶皱及拍照阴影易被误认为是前景文本而被保留下来的缺点，进而影响文档图像阅读和文档打印效果的问题，自动移除阴影褶皱，获得近似于扫描的文档图像，有效地提高了输出的文档图像的质量，便于日后查阅以及打印。同时改进目前只能通过颜色去除少部分笔迹的缺点，甚至在去除指定颜色内容时可能出现错误去除了打印内容的问题，提出的方法可以智能地去除各种颜色的手写笔迹并有效地保留相似颜色的打印文字信息，例如保留黑色打印文字的同时去除黑色签字笔的手写内容，当用户不需要文档照片上的手写内容，或者手写内容需要保密时，该功能可以有效且快速的去除相关内容。
本发明提出的用于去除文档图像颜色及手写笔迹的方法可以有效去除纸张褶皱、拍照阴影的影响，获得高质量的清晰的文档图像，同时智能去除图像上各种颜色的手写笔迹。当配合高质量打印机的时候，可以直接打印出干净清晰的文档内容。
附图说明
图1是本发明实施例提供的用于去除文档图像颜色及手写笔迹的方法流程图。
图2是本发明实施例提供的用于去除文档图像颜色及手写笔迹的方法的实现流程图。
图3是本发明实施例提供的待处理的原始图像示意图。
图4是本发明实施例提供的常见的文档图像处理方法的效果示意图。
图5是本发明实施例提供的应用本发明方法后的效果示意图。
图6是本发明实施例提供的文档图像自动去色、智能去手写笔迹的装置示意图。
图7是本发明实施例提供的膨胀操作示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种用于去除文档图像颜色及手写笔迹的方法及装置，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的用于去除文档图像颜色及手写笔迹的方法包括以下步骤：
S101：获取待处理的文档图像，包括从本地存储器加载文档图像，或者从图像采集设备直接获取文档图像，该输入图像通常同时包含打印文字区域与手写笔迹区域；
S102：使用合适的图像分割模型对输入图像进行分割，获得像素级的打印文字区域与手写笔迹区域；
S103：基于区域分割结果，对图像进行去色和去手写笔迹处理。
本发明提供的用于去除文档图像颜色及手写笔迹的方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的用于去除文档图像颜色及手写笔迹的方法仅仅是一个具体实施例而已。
下面结合附图对本发明的技术方案作进一步的描述。
如图2所示，本发明提供的用于去除文档图像颜色及手写笔迹的方法具体包括以下步骤：
(1)获取待处理的文档图像，包括从本地存储器加载文档图像，或者从图像采集设备直接获取文档图像，该输入图像通常同时包含打印文档区域和背景区域，打印文档区域包括打印文字区域与手写笔迹区域。
可选项：大部分情况下，直接获取的文档图像都可能包含非文档内容(例如文档周围的拍照环境、桌子、杂物等等)，也可以通过图像裁剪去除非文档内容。(如不裁剪，本发明的方法在下一步进行图像分割时，也会将这些非文档内容判定为背景区域，并在随后的操作中被置为背景色，例如白色)。
(2)使用合适的图像分割模型对输入图像进行分割，获得像素级精度的打印文字区域、手写笔迹区域与背景区域。使用的图像分割模型是深度卷积网络(DCNN：deepconvolutional neural network)中的语义分割模型，为经过预先训练好的模型，可以对打印字符以及手写字迹具有良好的识别性能。应用于该语义分割模型的深度卷积网络结构可以包括完全卷积网络(FCN)、U形网络(U-net)、金字塔场景解析网络(PspNet)，分割网络(SegNet)，深层标签模型(DeepLab)等。在本发明的方法应用前，模型的获取还包括训练阶段。通过使用已经标注有打印文字区域、手写文字区域和背景区域的图像样本集训练待训练的图像分割模型，得到对打印字符以及手写字迹具有良好识别能力的图像分割模型。
在使用图像分割模型对每个像素进行分类预测的时候，因为多层卷积的累积效应，每个点的特征值会受到较大的感受野(临近区域)的影响，天然对阴影、褶皱等局部异常有着较好的鲁棒性。并且在训练集里适当增加阴影、褶皱的样本可以进一步降低由于阴影、褶皱带来的影响。
深层卷积网络中，在较浅的卷积层感受野较小，会着重学习到一些局部区域的特征，而较深的卷积层具有更大的感受野，会学习到更加抽象的特征，因此可以摆脱传统的方法，不仅仅依赖颜色来识别手写笔迹。同时，还可以在训练集里增加不同颜色的手写笔迹数据，用以增强对不同颜色的笔迹的识别能力，并进一步降低颜色在判断是否手写笔迹区域的中的权重，更关注于手写笔迹的形态特征等，以此得到更准确的分割效果。
(3)基于(2)的区域分割结果，对图像进行去色和去手写笔迹处理，处理方法为：
1)这里使用最常见的灰度转换公式将彩色图像(RGB图像)转换为灰度图像(Gray图像)，转换公式如下：
Gray＝R*0.299+G*0.587+B*0.114。
也可以使用以下两个公式：
Gray＝R/3+G/3+B/3；
Gray＝(R2.2*0.2973+G2.2*0.6274+B2.2*0.0753)1/2.2；
2)然后根据第二步获得手写笔迹区域，将灰度文档图像中属于手写笔迹区域的像素值置为背景色(比如直接设置为白色，或是临近的属于背景区域的像素值)，得到已经去除手写笔迹的灰度文档图像。也可以使用opencv中的inpaint函数，结合获得的手写笔迹区域，对手写笔迹区域进行修复以达到去除手写笔迹的作用。采用的详细算法如下：
假设p(i，j)为图像在(i，j)处的像素点的灰度值，s(i，j)为图像在(i，j)处的状态值，当s(i，j)＝0时，表示该点属于背景区域，当s(i，j)＝1时，表示该点属于手写笔迹区域，当s(i，j)＝2时，表示该点属于打印文字区域。
按顺序遍历整张图像的像素点，当前位置状态值s(i，j)＝1时，检测周围点的状态值，计算周围点属于背景区域的灰度值的平均值，记为pavg，将当前位置的灰度值p(i，j)替换为得到的平均值pavg，并更新当前位置状态值s(i，j)＝0。
3)对打印文字区域进行膨胀处理，得到膨胀后的打印文字区域。膨胀的定义为求局部最大值，从数学角度来说，就是将图像A与图像B进行最大值卷积，其中图像B的形状通常是方形或圆形，它拥有一个单独定义的锚点，如图7所示。
4)结合该膨胀后的打印文字区域对已经去除手写笔迹的灰度文档图像进行进一步去色增强处理，首先对背景区域(即非文字区域)直接置为白色，然后对前景区域(即膨胀的文字区域)进行局部的对比度增强，得到更适合阅读以及打印的文档图像。
先按顺序遍历整张图像的像素点，当当前位置状态值s(i，j)＝0时，表示该点为背景区域，则将当位置的灰度值置为255，即p(i，j)＝255。
然后对打印文字区域进行对比度增强以及清晰化处理，使用的对比度增强算法为饱和直方图拉伸等，可用的清晰化处理包括：拉普拉斯增强(LaplacianSharpen)、模糊掩膜锐化(UnsharpMaskSharpen)等。
考虑到文档图像的特性，通常为白色背景黑色文字，饱和直方图拉伸可以有效的增加文字与背景之间的对比度，方法如下：
首先遍历图像像素值，获取打印文字区域的直方图统计信息H，H[10]表示打印文字区域内灰度值为10的像素个数占全部打印文字区域的像素个数的比例。
然后对该直方图统计信息H进行累加，获得累加直方图C，C[10]表示打印文字区域内灰度值小于或等于10的像素个数占全部打印文字区域的像素个数的比例。
分别找到不大于0.05的最大的C[p_min]和不小于0.95的最小的C[p_max]，根据下式：
生成映射表，其中p_ori为原像素值，p_enh为对应的新像素值。并根据该映射表对原图进行增强。
拉普拉斯增强算法使用修正的拉普拉斯核对图像进行卷积即可，例如如下的卷积核：
模糊掩膜锐化则是将原图像通过低通滤波器处理，产生一个模糊的图像，然后用原图像与模糊图像相减得到图像的细节部分内容，然后对该部分进行增强，例如：
假设p(i，j)为原图像在(i，j)处的像素点的灰度值，pg(i，j)为模糊图像在(i，j)处的像素点的灰度值，该模糊图像可由原图经过半径为3的均值滤波计算获得，则令v(i，j)＝p(i，j)-pg(i，j)，则锐化后的图像为：
其中amount为增强系数，threshold为阈值，预设的增强系数为1.2，阈值为10。
对比度增强处理的第二种方式：通过深度卷积网络进行区域识别时，网络的计算结果通常为区域类别的置信度C，再经过最大值判断获得实际使用的分类结果。例如C打印字符区域(i，j)＝0.95，表示点(i，j)属于打印字符区域的概率为95％。通过利用该置信度对图像的打印文字区域进行对比度增强，公式如下：
p_enh(i，j)＝(1-C打印字符区域(i，j))*255+C打印字符区域(i，j)*p_ori(i，j)；
其中p_ori为原像素值，p_enh为对应的新像素值。
经过该处理后可获得对比度增强，但同时整幅图亮度增强了的增强图像，然后利用之前介绍的饱和直方图拉伸对图像的整体亮度调整，并进一步增强对比度，p_min与p_max调整为固定值p_min＝100，p_max＝200。
经过去色增强处理，将已经去除手写笔迹的灰度文档图像进一步处理为近似的黑白的伪二值文档图像(因为图像上除了黑与白还会存在灰色过度，可以使得文档图像更自然)，更大的局部对比度提升了文字的图像效果，便于阅读。并且在连接到第三方输出终端，例如打印机的时候，可以得到更好的打印效果。
如图6所示，本发明提供的文档图像自动去色、智能去手写笔迹的终端装置，包括：
图像采集单元，用于获取待处理的文档图像；
存储器，用于存放图像数据以及可被处理器运行的指令；
处理器，用于处理数据、运行指令和执行操作；
以及输出单元，用于显示或展示处理后的文档图像。
此外，还可以包括云处理器和第三方输出设备：
云处理器，为通过有线网络或者无线网络连接的服务器端的处理器，与终端内的处理器功能相同，当终端内部处理器计算能力有限时，可以通过云处理器进行复杂计算；
第三方输出设备，与终端内的输出单元功能类似，通常为显示设备或打印设备。
本发明的终端可以是个人计算机、智能手机、平板电脑、智能手表等具有标准操作系统的硬件设备。
本发明的存储器包括只读存储器(ROM：Read-OnlyMemory)，例如硬盘、移动设备的机身内存或者安全数码卡(SDcard)等等，用以存储指令集及数据；以及随机存取存储器(RAM：RandomAccessMemory)，作为操作系统以及上述实施例所述的文档图像处理方法的指令的临时数据存储介质。
处理器可以是终端中的处理器，比如中央处理器(CPU)、图形处理器(GPU)、张量处理器(TPU)、电子半导体微处理器(例如：ARM处理器)等等，也可以是通过网络连接的服务器端的云处理器。通过使用云处理器，可以有效解决部分移动终端因为计算能力有限导致的无法正常应用本方法的问题，从而保证提出的方法可以在绝大多数的移动终端上被正确实施。
终端中的图像采集单元即为上述实施例中的图像采集设备，可以是个人计算机的摄像头、智能手机的摄像头、平板电脑的摄像头或者是网络摄像头，也可以是与当前终端分离的其他设备的摄像头，通过数据传输发送至当前终端。
终端还可以包括输出装置，例如终端内集成的显示屏，用于显示输出图像，也可以为通过有线网络、无线网络、蓝牙、红外等方式进行数据传输的第三方输出设备，例如独立显示器、投影仪、打印机等等，用于显示输出图像或打印输出图像。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种用于去除文档图像颜色及手写笔迹的方法，其特征在于，包括：
从本地存储器或图像采集设备获取待处理的文档图像，并输入到打印文字区域与手写笔迹区域；
使用图像分割模型对输入的文档图像进行分割，获得像素级的打印文字区域与手写笔迹区域；
基于获得的区域分割结果，对文档图像进行去色和去手写笔迹处理。
2.如权利要求1所述的用于去除文档图像颜色及手写笔迹的方法，其特征在于，所述对图像进行去色和去手写笔迹处理方法具体包括：对原文档图像进行基础去色处理，转换为灰度文档图像；
根据手写笔迹区域，将灰度文档图像中属于手写笔迹区域的像素值置为背景色，得到已经去除手写笔迹的灰度文档图像。
3.如权利要求2所述的用于去除文档图像颜色及手写笔迹的方法，其特征在于，在得到已经去除手写笔迹的灰度文档图像后，对灰度文档图像中属于打印文字区域的像素进行膨胀处理，得到膨胀后的打印文字区域。
4.如权利要求3所述的用于去除文档图像颜色及手写笔迹的方法，其特征在于，结合膨胀后的打印文字区域对已经去除手写笔迹的灰度文档图像进行进一步去色增强处理；首先对背景区域或非文字区域直接置为白色；然后对前景区域或膨胀的文字区域进行局部的对比度增强以及清晰化处理。
5.如权利要求1所述的用于去除文档图像颜色及手写笔迹的方法，其特征在于，具体包括：
(1)获取待处理的文档图像，包括从本地存储器加载文档图像，或者从图像采集设备直接获取文档图像，输入图像包含打印文档区域和背景区域，打印文档区域包括打印文字区域与手写笔迹区域；
通过图像裁剪去除直接获取的文档图像中包含的非文档内容；
(2)使用图像分割模型对输入图像进行分割，获得像素级精度的打印文字区域、手写笔迹区域；所述图像分割模型是深度卷积网络DCNN中的语义分割模型，应用语义分割模型的深度卷积网络结构包括完全卷积网络FCN、U形网络、金字塔场景解析网络PspNet，分割网络SegNet，深层标签模型DeepLab；通过使用已经标注有打印文字区域、手写文字区域和背景区域的图像样本集训练待训练的图像分割模型，得到图像分割模型；
在训练集里增加阴影、褶皱的样本；在训练集里增加不同颜色的手写笔迹数据，用以增强对不同颜色的笔迹的识别能力；
(3)基于(2)的区域分割结果，对图像进行去色和去手写笔迹处理。
6.如权利要求5所述的用于去除文档图像颜色及手写笔迹的方法，其特征在于，所述基于(2)的区域分割结果，对图像进行去色和去手写笔迹处理具体包括：
1)灰度转换公式将RGB图像转换为Gray图像，转换公式如下：
Gray＝R*0.299+G*0.587+B*0.114；
或使用以下公式：
Gray＝R/3+G/3+B/3；
Gray＝(R2.2*0.2973+G2.2*0.6274+B2.2*0.0753)1/2.2；
2)根据获得手写笔迹区域，将灰度文档图像中属于手写笔迹区域的像素值置为背景色，得到已经去除手写笔迹的灰度文档图像；或使用opencv中的inpaint函数，结合获得的手写笔迹区域，对手写笔迹区域进行修复以达到去除手写笔迹的作用；具体包括：
p(i，j)为图像在(i，j)处的像素点的灰度值，s(i，j)为图像在(i，j)处的状态值，当s(i，j)＝0时，表示点属于背景区域，当s(i，j)＝1时，表示点属于手写笔迹区域，当s(i，j)＝2时，表示点属于打印文字区域；
按顺序遍历整张图像的像素点，当前位置状态值s(i，j)＝1时，检测周围点的状态值，计算周围点属于背景区域的灰度值的平均值，记为pavg，将当前位置的灰度值p(i，j)替换为得到的平均值pavg，并更新当前位置状态值s(i，j)＝0；
3)对打印文字区域进行膨胀处理，得到膨胀后的打印文字区域，膨胀的定义为求局部最大值，将图像A与图像B进行最大值卷积，其中图像B的形状是方形或圆形，拥有一个单独定义的锚点；
4)结合膨胀后的打印文字区域对已经去除手写笔迹的灰度文档图像进行去色增强处理；首先对背景区域或非文字区域直接置为白色；然后对前景区域，膨胀的文字区域进行局部的对比度增强，得到文档图像。
7.如权利要求6所述的用于去除文档图像颜色及手写笔迹的方法，其特征在于，所述步骤4)结合膨胀后的打印文字区域对已经去除手写笔迹的灰度文档图像进行去色增强处理具体包括：
首先按顺序遍历整张图像的像素点，当前位置状态值s(i，j)＝0时，表示该点为背景区域，则将当位置的灰度值置为255，p(i，j)＝255；
然后对打印文字区域进行对比度增强以及清晰化处理，对比度增强的算法为饱和直方图拉伸；清晰化处理包括：拉普拉斯增强、模糊掩膜锐化。
8.如权利要求7所述的用于去除文档图像颜色及手写笔迹的方法，其特征在于，饱和直方图拉伸有效的增加文字与背景之间的对比度方法包括：
首先遍历图像像素值，获取打印文字区域的直方图统计信息H，H[10]表示打印文字区域内灰度值为10的像素个数占全部打印文字区域的像素个数的比例；
然后对直方图统计信息H进行累加，获得累加直方图C，C[10]表示打印文字区域内灰度值小于或等于10的像素个数占全部打印文字区域的像素个数的比例；分别找到不大于0.05的最大的C[p_min]和不小于0.95的最小的C[p_max]，根据下式：
最后生成映射表，其中p_ori为原像素值，p_enh为对应的新像素值；并根据该映射表对原图进行增强；
拉普拉斯增强算法使用修正的拉普拉斯核对图像进行卷积，卷积核为：
模糊掩膜锐化则是将原图像通过低通滤波器处理，产生一个模糊的图像，用原图像与模糊图像相减得到图像的细节部分内容，然后对部分进行增强：
p(i，j)为原图像在(i，j)处的像素点的灰度值，pg(i，j)为模糊图像在(i，j)处的像素点的灰度值，模糊图像由原图经过半径为3的均值滤波计算获得，则令v(i，j)＝p(i，j)-pg(i，j)，则锐化后的图像为：
其中amount为增强系数，threshold为阈值，预设的增强系数为1.2，阈值为10；
所述对比度增强处理：通过深度卷积网络进行区域识别时，网络的计算结果通常为区域类别的置信度C，再经过最大值判断获得实际使用的分类结果；C打印字符区域(i，j)＝0.95，表示点(i，j)属于打印字符区域的概率为95％；通过利用置信度对图像的打印文字区域进行对比度增强，公式如下：
p_enh(i，j)＝(1-C打印字符区域(i，j))*255+C打印字符区域(i，j)*p_ori(i，j)；
其中p_ori为原像素值，p_enh为对应的新像素值。
9.一种实施权利要求1～9任意一项所述用于去除文档图像颜色及手写笔迹的方法的文档图像自动去色、智能去手写笔迹的装置，其特征在于，包括：
图像采集单元，用于获取待处理的文档图像；
存储器，用于存放图像数据以及可被处理器运行的指令；
处理器，用于处理数据、运行指令和执行操作；
以及输出单元，用于显示或展示处理后的文档图像。
10.如权利要求9所述的文档图像自动去色、智能去手写笔迹的装置，其特征在于，还包括：
云处理器，为通过有线网络或者无线网络连接的服务器端的处理器，与终端内的处理器功能相同，当终端内部处理器计算能力有限时，通过云处理器进行复杂计算；
第三方输出设备，用于显示或展示处理后的文档图像，为显示设备或打印设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111476835.0A CN114283156B (zh) | 2021-12-02 | 2021-12-02 | 一种用于去除文档图像颜色及手写笔迹的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111476835.0A CN114283156B (zh) | 2021-12-02 | 2021-12-02 | 一种用于去除文档图像颜色及手写笔迹的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114283156A true CN114283156A (zh) | 2022-04-05 |
| CN114283156B CN114283156B (zh) | 2024-03-05 |
Family
ID=80870921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111476835.0A Active CN114283156B (zh) | 2021-12-02 | 2021-12-02 | 一种用于去除文档图像颜色及手写笔迹的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114283156B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114945107A (zh) * | 2022-04-15 | 2022-08-26 | 北京奕斯伟计算技术股份有限公司 | 视频处理方法和相关装置 |
| CN115100656A (zh) * | 2022-08-25 | 2022-09-23 | 江西风向标智能科技有限公司 | 空白答题卡识别方法、系统、存储介质及计算机设备 |
| CN116682112A (zh) * | 2023-07-28 | 2023-09-01 | 青岛虹竹生物科技有限公司 | 一种多糖测试数据存储及数字化方法 |
| CN116777768A (zh) * | 2023-05-25 | 2023-09-19 | 珠海移科智能科技有限公司 | 一种鲁棒且高效的扫描文档图像增强方法及其装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100129003A1 (en) * | 2008-11-21 | 2010-05-27 | Pace Teresa L | Method and system for enhancing images using multi-resolution histogram shaping |
| KR20120077422A (ko) * | 2010-12-30 | 2012-07-10 | 주식회사 포스코아이씨티 | 얼굴의 좌우 대칭도 산출 방법 및 장치 |
| US20130230230A1 (en) * | 2010-07-30 | 2013-09-05 | Fundação D. Anna Sommer Champalimaud e Dr. Carlos Montez Champalimaud | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
| CN107133929A (zh) * | 2017-04-27 | 2017-09-05 | 湖北工业大学 | 基于背景估计和能量最小化的低质量文档图像二值化方法 |
| CN107358184A (zh) * | 2017-06-30 | 2017-11-17 | 中国科学院自动化研究所 | 文档文字的提取方法及提取装置 |
| CN107895356A (zh) * | 2017-12-04 | 2018-04-10 | 山东大学 | 一种基于steerable pyramid的近红外图像增强方法 |
| CN109086714A (zh) * | 2018-07-31 | 2018-12-25 | 国科赛思(北京)科技有限公司 | 表格识别方法、识别系统及计算机装置 |
| CN111275139A (zh) * | 2020-01-21 | 2020-06-12 | 杭州大拿科技股份有限公司 | 手写内容去除方法、手写内容去除装置、存储介质 |
| CN111311503A (zh) * | 2019-11-13 | 2020-06-19 | 深圳大学 | 一种夜晚低亮度图像增强系统 |
| CN111488881A (zh) * | 2020-04-10 | 2020-08-04 | 杭州睿琪软件有限公司 | 文本图像中手写内容去除方法、装置、存储介质 |
| CN111768355A (zh) * | 2020-06-05 | 2020-10-13 | 西安瑞日电子发展有限公司 | 一种针对制冷型红外传感器图像增强的方法 |
| CN113420633A (zh) * | 2021-06-18 | 2021-09-21 | 桂林电子科技大学 | 一种基于um增强和sift特征提取的交通标志识别方法 |
| CN113658086A (zh) * | 2021-08-06 | 2021-11-16 | 桂林日盛水务有限公司 | 一种基于小波融合的clahe和直方图拉伸水下图像增强方法 |
-
2021
- 2021-12-02 CN CN202111476835.0A patent/CN114283156B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100129003A1 (en) * | 2008-11-21 | 2010-05-27 | Pace Teresa L | Method and system for enhancing images using multi-resolution histogram shaping |
| US20130230230A1 (en) * | 2010-07-30 | 2013-09-05 | Fundação D. Anna Sommer Champalimaud e Dr. Carlos Montez Champalimaud | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
| KR20120077422A (ko) * | 2010-12-30 | 2012-07-10 | 주식회사 포스코아이씨티 | 얼굴의 좌우 대칭도 산출 방법 및 장치 |
| CN107133929A (zh) * | 2017-04-27 | 2017-09-05 | 湖北工业大学 | 基于背景估计和能量最小化的低质量文档图像二值化方法 |
| CN107358184A (zh) * | 2017-06-30 | 2017-11-17 | 中国科学院自动化研究所 | 文档文字的提取方法及提取装置 |
| CN107895356A (zh) * | 2017-12-04 | 2018-04-10 | 山东大学 | 一种基于steerable pyramid的近红外图像增强方法 |
| CN109086714A (zh) * | 2018-07-31 | 2018-12-25 | 国科赛思(北京)科技有限公司 | 表格识别方法、识别系统及计算机装置 |
| CN111311503A (zh) * | 2019-11-13 | 2020-06-19 | 深圳大学 | 一种夜晚低亮度图像增强系统 |
| CN111275139A (zh) * | 2020-01-21 | 2020-06-12 | 杭州大拿科技股份有限公司 | 手写内容去除方法、手写内容去除装置、存储介质 |
| CN111488881A (zh) * | 2020-04-10 | 2020-08-04 | 杭州睿琪软件有限公司 | 文本图像中手写内容去除方法、装置、存储介质 |
| CN111768355A (zh) * | 2020-06-05 | 2020-10-13 | 西安瑞日电子发展有限公司 | 一种针对制冷型红外传感器图像增强的方法 |
| CN113420633A (zh) * | 2021-06-18 | 2021-09-21 | 桂林电子科技大学 | 一种基于um增强和sift特征提取的交通标志识别方法 |
| CN113658086A (zh) * | 2021-08-06 | 2021-11-16 | 桂林日盛水务有限公司 | 一种基于小波融合的clahe和直方图拉伸水下图像增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李艳霞;: "一种改进图像增强化方法", 《电子制作》, no. 15, pages 185 - 187 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114945107A (zh) * | 2022-04-15 | 2022-08-26 | 北京奕斯伟计算技术股份有限公司 | 视频处理方法和相关装置 |
| CN114945107B (zh) * | 2022-04-15 | 2024-02-02 | 北京奕斯伟计算技术股份有限公司 | 视频处理方法和相关装置 |
| CN115100656A (zh) * | 2022-08-25 | 2022-09-23 | 江西风向标智能科技有限公司 | 空白答题卡识别方法、系统、存储介质及计算机设备 |
| CN116777768A (zh) * | 2023-05-25 | 2023-09-19 | 珠海移科智能科技有限公司 | 一种鲁棒且高效的扫描文档图像增强方法及其装置 |
| CN116777768B (zh) * | 2023-05-25 | 2024-05-31 | 珠海移科智能科技有限公司 | 一种鲁棒且高效的扫描文档图像增强方法及其装置 |
| CN116682112A (zh) * | 2023-07-28 | 2023-09-01 | 青岛虹竹生物科技有限公司 | 一种多糖测试数据存储及数字化方法 |
| CN116682112B (zh) * | 2023-07-28 | 2023-10-17 | 青岛虹竹生物科技有限公司 | 一种多糖测试数据存储及数字化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114283156B (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114283156B (zh) | 一种用于去除文档图像颜色及手写笔迹的方法及装置 | |
| CN110046529B (zh) | 二维码识别方法、装置及设备 | |
| US10559067B2 (en) | Removal of shadows from document images while preserving fidelity of image contents | |
| JP6100744B2 (ja) | 自動修復を用いたカラー文書画像セグメンテーション及び二値化 | |
| Lin et al. | Bedsr-net: A deep shadow removal network from a single document image | |
| WO2017148265A1 (zh) | 一种单词的分割方法和装置 | |
| RU2659745C1 (ru) | Реконструкция документа из серии изображений документа | |
| US20110044554A1 (en) | Adaptive deblurring for camera-based document image processing | |
| US8175380B2 (en) | Apparatus and method for improving text recognition capability | |
| WO2008134000A1 (en) | Image segmentation and enhancement | |
| US11151402B2 (en) | Method of character recognition in written document | |
| Meng et al. | Nonparametric illumination correction for scanned document images via convex hulls | |
| CN113901952A (zh) | 一种基于深度学习的印刷体与手写体分开文字识别方法 | |
| CN108965646B (zh) | 图像处理装置、图像处理方法 | |
| CN111161281A (zh) | 一种人脸区域识别方法、装置及存储介质 | |
| CN113076952B (zh) | 一种文本自动识别和增强的方法及装置 | |
| CN111445402B (zh) | 一种图像去噪方法及装置 | |
| CN108877030B (zh) | 图像处理方法、装置、终端和计算机可读存储介质 | |
| US20230343119A1 (en) | Captured document image enhancement | |
| Anvari et al. | A survey on deep learning based document image enhancement | |
| JP7364639B2 (ja) | デジタル化された筆記の処理 | |
| CN113793264B (zh) | 一种基于卷积模型的档案图像处理方法、系统和电子设备 | |
| CN115457585A (zh) | 作业批改的处理方法、装置、计算机设备及可读存储介质 | |
| JP2007334876A (ja) | 文書イメージ処理システムおよび文書イメージ処理方法 | |
| CN109934215B (zh) | 一种身份证识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230918 Address after: 519000 307-2, ZhongLiXin building, No. 4, Xingguo street, Xiangzhou District, Zhuhai City, Guangdong Province Applicant after: Zhuhai Yike Intelligent Technology Co.,Ltd. Applicant after: Zhuhai Xinye Electronic Technology Co.,Ltd. Applicant after: Zhuhai Hengmao Electronic Technology Co.,Ltd. Address before: 519000 307-2, ZhongLiXin building, No. 4, Xingguo street, Xiangzhou District, Zhuhai City, Guangdong Province Applicant before: Zhuhai Yike Intelligent Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |