CN114092947B - 一种文本检测方法、装置、电子设备及可读存储介质 - Google Patents

一种文本检测方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN114092947B
CN114092947B CN202210000478.9A CN202210000478A CN114092947B CN 114092947 B CN114092947 B CN 114092947B CN 202210000478 A CN202210000478 A CN 202210000478A CN 114092947 B CN114092947 B CN 114092947B
Authority
CN
China
Prior art keywords
image
text
nms
original image
confidence score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210000478.9A
Other languages
English (en)
Other versions
CN114092947A (zh
Inventor
王润民
刘莹莹
朱桂林
陈华
朱姿諭
刘明昊
张翔宇
代建华
丁亚军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dragon Totem Technology Hefei Co ltd
Shenzhen Zhisen Technology Design Co.,Ltd.
Original Assignee
Hunan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Normal University filed Critical Hunan Normal University
Priority to CN202210000478.9A priority Critical patent/CN114092947B/zh
Publication of CN114092947A publication Critical patent/CN114092947A/zh
Application granted granted Critical
Publication of CN114092947B publication Critical patent/CN114092947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种文本检测方法、装置、电子设备及可读存储介质。其中，方法包括判断原始图像是有雾图像还是无雾图像；若原始图像为有雾图像，则对原始图像执行去雾操作，得到待检测图像；将待检测图像输入至预先构建的基于视觉转换器的文本检测模型，得到原始图像中文本的位置信息；其中，该基于视觉转换器的文本检测模型的序列特征采用视觉转换器模块进行提取，其后处理方法采用预设位置精细检测方法确定原始图像中文本的位置信息；该预设位置精细检测方法为基于交并比以及置信度分数将NMS和Soft‑NMS融合所得的方法。本申请可以有效提升文本检测精度。

Description

一种文本检测方法、装置、电子设备及可读存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种文本检测方法、装置、电子设备及可读存储介质。
背景技术
图像中不可避免会有文本，相应的，从图像中检测、识别并提取文本的技术也就应用而生。目前已经提出了许多有效的文本检测方法，并取得了一些令人满意的结果。然而，这些方法主要是针对非雾场景中的文本检测而设计的。
可以理解的是，有雾场景是很常见的，对雾场景下的文本的检查也是很有必要的。传统的雾检测方法可以有效地利用雾的某种特征来区分雾图像和非雾图像。基于灰度直方图的方法是计算灰度直方图的特征参数，再利用一系列阈值确定原始图像所属的雾级。然而，对于颜色与雾相似的文本，传统方法并不会检测出这些文本，导致最终文本检测精度较低，并无法满足用户需求。
鉴于此，如何提升文本检测精度，是所属领域技术人员需要解决的技术问题。
发明内容
本申请提供了一种文本检测方法、装置、电子设备及可读存储介质，可以有效提升文本检测精度。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种文本检测方法，包括：
判断原始图像是有雾图像还是无雾图像；
若所述原始图像为有雾图像，则对所述原始图像执行去雾操作，得到待检测图像；
将所述待检测图像输入至预先构建的基于视觉转换器的文本检测模型，得到所述原始图像中文本的位置信息；
其中，所述文本检测模型的序列特征采用视觉转换器模块进行提取，所述文本检测模型的后处理方法采用预设位置精细检测方法确定所述原始图像中文本的位置信息；所述预设位置精细检测方法为基于交并比以及置信度分数将NMS和Soft-NMS融合所得的方法。
可选的，所述判断原始图像是有雾图像还是无雾图像，包括：
预先利用训练样本集训练雾检测模型，所述雾检测模型包括特征提取层、特征输出层和特征识别层；
将所述原始图像输入至所述雾检测模型；
根据所述雾检测模型的输出结果判断所述原始图像是有雾图像还是无雾图像；
其中，所述特征提取层包括多个卷积结构，所述特征输出层包括多个全连接层，所述特征识别层利用第一函数计算所述特征输出层输出特征属于雾天图像特征的概率值，并利用第二函数输出分类结果。
可选的，所述训练样本集包括多张雾天场景的文本图像，所述根据所述雾检测模型的输出结果判断所述原始图像是有雾图像还是无雾图像，包括：
若根据所述雾检测模型的输出结果判定所述原始图像为有雾图像，则获取所述原始图像的灰度直方图，以基于直方图统计方法进行雾检测；
统计所述灰度直方图中超过预设个数阈值的目标像素点的总个数；
若所述总个数大于等于预设类别阈值，则所述原始图像为有雾图像；若所述总个数小于所述预设类别阈值，则所述原始图像为无雾图像。
可选的，所述对所述原始图像执行去雾操作，包括：
将所述原始图像输入至预先训练的深度模型，得到所述原始图像的深度图；所述深度图是由雾图生成的；
调用修正计算关系式对所述深度图进行修正处理，得到校正深度图；
调用复原计算关系式对所述校正深度图进行图像复原处理，以得到所述待检测图像。
可选的，所述将所述待检测图像输入至预先构建的基于视觉转换器的文本检测模型，得到所述原始图像中文本的位置信息，包括：
对经过图像预处理的所述待检测图像进行文本间的空间特征的提取，得到空间特征图；所述空间特征图采用视觉转换器模块；
根据所述空间特征图提取文本间的序列特征，并将所述序列特征输入至全连接层以执行分类和回归操作，得到各分支输出的每个文本框的位置信息和文本概率值；
基于所述预设位置精细检测方法处理各文本框的位置信息，得到所述文本的位置信息。
可选的，所述基于所述预设位置精细检测方法处理各文本框的位置信息，得到所述文本的位置信息，包括：
调用融合关系式计算所述文本的位置信息，所述融合关系式为：
Figure 193655DEST_PATH_IMAGE001
；
式中，
Figure 565730DEST_PATH_IMAGE002
为所述文本的位置信息，b n 为所述NMS生成的文本框的坐标值，b s 为所述Soft-NMS生成的文本框的坐标值，N t 为预设交并阈值，w n 为所述NMS的权重系数，w s 为所述Soft-NMS的权重系数。
可选的，所述调用融合关系式计算所述文本的位置信息之前，还包括：
预先分别计算所述NMS和所述Soft-NMS生成文本框的置信度分数，得到所述NMS的第一置信度分数和所述Soft-NMS的第二置信度分数；
根据所述第一置信度分数和所述第二置信度分数，调用权重计算关系式计算所述NMS和所述Soft-NMS的权重系数，所述权重计算关系式为：
Figure 964351DEST_PATH_IMAGE003
,
Figure 283336DEST_PATH_IMAGE004
；
式中，s n 为所述第一置信度分数，s s 为所述第二置信度分数。
本发明实施例另一方面提供了一种文本检测装置，包括：
判断模块，用于判断原始图像是有雾图像还是无雾图像；
去雾模块，用于若所述原始图像为有雾图像，则对所述原始图像执行去雾操作，得到待检测图像；
文本检测模块，用于将所述待检测图像输入至预先构建的基于视觉转换器的文本检测模型，得到所述原始图像中文本的位置信息；其中，所述文本检测模型的序列特征采用视觉转换器模块进行提取，所述文本检测模型的后处理方法采用预设位置精细检测方法确定所述原始图像中文本的位置信息；所述预设位置精细检测方法为基于交并比以及置信度分数将NMS和Soft-NMS融合所得的方法。
本发明实施例还提供了一种电子设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述文本检测方法的步骤。
本发明实施例最后还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前任一项所述文本检测方法的步骤。
本申请提供的技术方案的优点在于，先对原始图像进行雾检测，并对有雾图像先执行去雾操作，再进行文本检测，基于视觉转换器的文本检测模型所输出的最终文本位置信息是基于交并比和置信度分数所确定的最优位置检测方法所得，不仅有效处理雾天和混合场景，还可以提高文本检测结果预测的准确性，满足用户对雾场景中的文本的检测精准度的现实需求。
此外，本发明实施例还针对文本检测方法提供了相应的实现装置、电子设备及可读存储介质，进一步使得所述方法更具有实用性，所述装置、电子设备及可读存储介质具有相应的优点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种文本检测方法的流程示意图；
图2为本发明实施例提供的一个示例性应用场景的框架示意图；
图3为本发明实施例提供的文本检测装置的一种具体实施方式结构图；
图4为本发明实施例提供的电子设备的一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图1，图1为本发明实施例提供的一种文本检测方法的流程示意图，本发明实施例可包括以下内容：
S101：判断原始图像是否有雾图像，若是，则执行S102。
本实施例的原始图像即为要执行文本检测的图像，可采用任何一种雾检测方法对原始图像的拍摄场景进行检测，也即判断原始图像是在有雾场景所拍摄的图像，还是无雾场景所拍摄的图像，在有雾场景拍摄的图像为有雾图像，在无雾场景拍摄的图像为无雾图像。后续步骤S102和S103是对有雾图像执行的操作，如判断原始图像为无雾图像，则可以采用任何一种现有文本检测方法对该无雾图像进行文本，这均不影响本申请的实现。当然，若原始图像为有雾图像，也可直接跳转至S103进行文本检测。
S102：对原始图像执行去雾操作，得到待检测图像。
对原始图像执行去雾操作，可采用任何一种图像去雾算法，如可采用基于颜色衰减先验的单幅图像去雾算法，本申请对此不作任何限定。对原始图像执行完去雾操作得到图像，称为待检测图像，也即执行文本检测的图像。
S103：将待检测图像输入至预先构建的基于视觉转换器的文本检测模型，得到原始图像中文本的位置信息。
本步骤的文本检测模式为基于视觉转换器也即vision transformer构建的模型，也即文本检测模型是采用视觉转换器模块也即vision transformer模块提取序列特征。为了提高文本检测模型精度，本步骤的文本检测模型在对输入图像也即待检测图像进行文本框定位时所采用的方法为融合方法也即预设位置精细检测方法，由于非极大值抑制方法也即NMS(Non-Maximum Suppression)生成的大部分文本候选框都大于真实值，而缓和的非极大值抑制方法也即Soft-NMS（其为NMS的一种变体）生成的大部分文本候选框都小于真实值。为了使得最终检测到的文本框更接近真实值，本实施例基于交并比也即IoU和置信度分数对NMS和Soft-NMS进行融合得到预设位置精细检测方法，该预设位置精细检测方法可确定原始图像中的文本在图像中的文本位置，进而有利于从图像中提取文本。
在文本检测中提出了一种优化的非极大值抑制后处理方法CIOU-INMS（integrated Non-Maximum Suppression based on IOU and confidence value），即基于IOU（Intersection-over-Union，交并比）和置信度分数的关系将NMS以及Soft-NMS进行融合的后处理算法。这种方法是基于IOU和置信度分数的关系将NMS和Soft-NMS进行融合，从而提高模型精度。
在本发明实施例提供的技术方案中，先对原始图像进行雾检测，并对有雾图像先执行去雾操作，再进行文本检测，基于视觉转换器的文本检测模型所输出的最终文本位置信息是基于交并比和置信度分数所确定的最优位置检测方法所得，不仅有效处理雾天和混合场景，还可以提高文本检测结果预测的准确性，满足用户对雾场景中的文本的检测精准度的现实需求。
在上述实施例中，对于如何执行步骤S101并不做限定，本实施例中给出原始图像进行雾检测的一种实施方式，可包括如下步骤：
预先利用雾天场景的文本图像训练样本集训练雾检测模型，雾检测模型包括特征提取层、特征输出层和特征识别层；
将原始图像输入至雾检测模型；
根据雾检测模型的输出结果判断原始图像是有雾图像还是无雾图像；
其中，特征提取层包括多个卷积结构，用于提取输入图像也即原始图像的特征。特征输出层包括多个全连接层，如2个。特征识别层利用第一函数计算特征输出层输出特征属于雾天图像特征的概率值，并利用第二函数输出分类结果。
在本实施中，如图2所示，特征提取层可包括三个卷积结构，每个卷积结构可包括3×3卷积层conv、relu层和池化层pooling。特征提取层将提取的特征输入至特征输出层，也即输入至两个全连接层。再通过第一函数如softmax函数得到每个图像的雾天图像概率值，从而判断图像是否有雾。该算法使用交叉熵损失函数，损失值仅与正确类别的概率有关。最后，使用第二函数如argmax函数输出分类结果。举例来说，可通过输出1或0来表述分类结果，如1表示该图像属于雾天场景图像，相反0表示该图像被判断为无雾。
进一步的，在进行训练时，若训练样本集使用的是雾天场景中文本图像，这样的数据仅利用了卷积网络的底层纹理特征和高层语义信息，难以充分描述雾的特征，因此在进行分类时，部分无雾图像被判定为有雾图像，对无雾图像的判断不准确。因此，基于上述实施例，本实施例还结合传统灰度直方图检测雾的思想，对确定为雾天的图像进行二次判断，可包括下述内容：
若根据雾检测模型的输出结果判定原始图像为有雾图像，则获取原始图像的灰度直方图，以基于直方图统计方法进行雾检测；
统计灰度直方图中超过预设个数阈值的目标像素点的总个数；
若总个数大于等于预设类别阈值，则原始图像为有雾图像；若总个数小于预设类别阈值，则原始图像为无雾图像。
在本实施例中，通过图像直方图分析发现，雾天图像中的大部分像素值集中在范围为150到250的区域。因此，如果图片中某个像素点的个数超过总像素点个数的1%，我们将其标记为1，否则将标记为0。在灰度直方图中，画一条一定高度的水平线T，并计算出低于T水平垂直线的像素个数。T可定义为T = Na 1。其中，N是原始图像的像素总数，a 1是一个百分比系数，例如a 1为0.01。然后定义：
Figure 451013DEST_PATH_IMAGE005
；
Figure 197252DEST_PATH_IMAGE006
；
其中，r k 是0-255中的第k个灰度级别，H（r k ）是图像中灰度级别为r k 的像素数。统计目标区域中标记为1的像素数。如果该像素数大于15，则表示图像中有雾。所以，H 1是需要的数字。然后我可给出了一个阈值T 1如为15，并定义了下述函数：
Figure 554939DEST_PATH_IMAGE007
基于此，如果L等于0，则图像应为无雾图像，如果L为1，则可以确定图像是有雾图像。
由上可知，本实施例提出了一种基于灰度直方图和深度学习的雾检测方法，主要针对仅利用卷积网络的底层纹理特征、高层语义信息和灰度直方图的统计特征难以充分描述雾的特征问题，因此本专利中将以上特征融合处理以提高雾图像与混合场景的区分能力。
可以理解的是，一旦图像被判断为有雾图像，为了提高图像质量，需要对其进行去雾处理。需要指出的是，对于没有雾的图像，可直接执行文本检测。采用的去雾方法是基于颜色衰减先验的单幅图像雾快速去除算法。主要步骤为：输入有雾图像、获取深度图、对深度图进行修正以及图像复原得到去雾之后的图像。也即可包括：
将原始图像输入至预先训练的深度模型，得到原始图像的深度图；深度图是由雾图生成的。
调用修正计算关系式对深度图进行修正处理，得到校正深度图；
调用复原计算关系式对校正深度图进行图像复原处理，以得到待检测图像。
在本实施例中，随着雾浓度的变化，像素的亮度和饱和度表现出一些特定的变化。具体而言，在非雾区存在低亮度和高饱和度，两者之间的差异接近于0。在中雾区，存在中等亮度和低饱和度，两者之间的差异较大。在浓雾区，存在高亮度和极低饱和度，上述内容之间的差异最大。换言之，随着雾度浓度的增加，亮度逐渐增加，但饱和度逐渐降低，可以描述为：
Figure 739933DEST_PATH_IMAGE008
；
其中，变量d和v表示场景的深度和亮度，x表示像素的位置，s表示饱和度θ 0、θ 1和θ 2是线性系数，ε(x)是表示模型随机误差的随机变量，ε可以看作是一个随机图像。令ɛ(x)服从均值为0，标准差为
Figure 699799DEST_PATH_IMAGE009
的高斯分布，可以得到深度模型为：
Figure 679256DEST_PATH_IMAGE010
根据已知的亮度v和饱和度s，因此有必要计算θ 0、θ 1和θ 2的值。为了解决上述问题，可使用了500个训练样本和1.2亿个像素来训练线性模型。经过517个epoch后，获得了最佳系数，即θ 0=0.121779，θ 1 =0.959710，θ 2=-0.780245，
Figure 786889DEST_PATH_IMAGE009
=0.041337。一旦确定了相关系数，也即确定了深度模型，就可以使用它来恢复有雾图像的深度。根据图像中白色物体具有高亮度、低饱和度的特点，训练后的模型可能会将白色物体误认为真实距离，因此需要在一个小窗口中操作最小值，也即可使用如下修正计算关系式对深度图进行修正处理：
Figure 244416DEST_PATH_IMAGE011
；
其中，Ω r （x）是以x为中心r×r的邻域，d r 为r的深度图，d（y）是经过训练的深度图。最后，通过以下复原计算关系式可以得到清晰的图像：
Figure 855525DEST_PATH_IMAGE012
；
其中，x是图像中像素的位置，I（x）是现有图像（要去雾），J（x）是要恢复的原始无雾图像，A是大气光，β 是大气散射系数，例如β=1。
在上述实施例中，对于如何执行步骤S103并不做限定，本实施例中给出文本检测的一种实施方式，可包括如下步骤：
对经过图像预处理的待检测图像进行文本间的空间特征的提取，得到空间特征图。
根据空间特征图提取文本间的序列特征，并将序列特征输入至全连接层以执行分类和回归操作，得到各分支输出的每个文本框的位置信息和文本概率值；
基于预设位置精细检测方法处理各文本框的位置信息，得到文本的位置信息；融合计算方法为基于交并比和置信度分数对NMS和Soft-NMS进行融合后的方法。
在本实施中，空间特征图是采用视觉转换器模块，也即空间特征图采用visiontransformer模块。对待检测图像可先进行图像预处理如光滑去噪处理等，接着采用基础网络如VGG16网络来提取图像中文本间的空间特征，然后可采用vision transformer模块根据文本的上下文信息来提取文本间的序列特征，之后通过全连接层进行分类和回归，末端通过两个分支输出预测的每个文本框的坐标值和是否为文本的概率值。具体步骤可如下：
第一步：输入3×600(h)×900(w)的图像，使用VGG16进行特征的提取，得到conv5_3（VGG第5个block的第三个卷积层）的特征作为特征图，大小为512×38×57；
第二步：对该特征图进行1×1的卷积操作，修改特征图通道大小为3，特征图大小变为3×38×57，然后对上述特征图做上采样，将特征图大小变为3×224×224；
第三步：将上述特征输入到vision transformer模块中，得到模型最后一层输出的隐藏状态序列，大小为197×768；紧接着对输出序列按[1,196]进行切割，得到196×768大小的序列；将单通道的196×768大小的序列进行1×1的卷积操作，修改特征图通道大小为256，特征图大小变为256×196×768；然后对上述特征图做上采样操作，将特征图大小变为256×38×57；
第四步：将vision transformer模块经过处理后的结果输入到全连接层，全连接层是一个256×512的矩阵，得到512×38×57的结果；
第五步：全连接层特征输入到三个分类或者回归层中。2k个垂直坐标和k个边缘细化值是用来回归k个anchor的位置信息，2k个置信度分数值表示的是k个anchor的类别信息（是否为字符）；
第六步：使用文本构造的算法，将得到的细长的矩形框，将其合并成文本的序列框。
在检测的后处理部分，为了解决NMS方法生成的大部分文本候选框的坐标值都大于预先标注的真实值，而Soft-NMS方法生成的大部分文本候选框的坐标值都小于预先标注的真实值的问题。本实施例可将NMS和Soft-NMS基于IOU和置信度分数的关系进行融合，该方法综合了上述两种方法来优化文本候选框的坐标。也即可调用融合关系式计算文本的位置信息，融合关系式可表示为：
Figure 474726DEST_PATH_IMAGE001
式中，b为文本的位置信息，b n 为NMS生成的文本框的坐标值，b s 为Soft-NMS生成的文本框的坐标值，N t 为预设交并阈值，w n 为NMS的权重系数，w s 为Soft-NMS的权重系数。
作为一种可选的实施方式，在调用融合关系式计算文本的位置信息之前，还可包括：
预先分别计算NMS和Soft-NMS生成文本框的置信度分数，得到NMS的第一置信度分数和Soft-NMS的第二置信度分数；
根据第一置信度分数和第二置信度分数，调用权重计算关系式计算NMS和Soft-NMS的权重系数，权重计算关系式为：
Figure 7338DEST_PATH_IMAGE003
,
Figure 537064DEST_PATH_IMAGE004
；
式中，s n 为第一置信度分数，s s 为第二置信度分数。
举例来说，首先NMS方法和Soft-NMS方法分别用于生成文本候选坐标。为了获得更精确的文本位置，分别采用NMS方法和Soft-NMS生成的文本候选框坐标来计算交并比。根据之前生成的两个文本候选框坐标自适应地融合新的文本框坐标。如果Nt大于0.7，则生成文本坐标的加权平均值，并将其作为新的坐标值输入，否则输出NMS的结果。最后输出结果图片。
最后为了验证本申请的文本检测性能的有效性，本实施例基于图2进行了验证性实验，可包括下述内容：
在文本检测的实验部分，在JFT-300M数据集上预先训练vision transformer模型即得到上述实施例的vision transformer模块，。新的网络层（例如RNN和输出层）权重通过使用均值为0和标准差为0，01的高斯分布进行随机初始化。该模型通过固定前两个卷积层的参数进行端到端训练。在最初的16K迭代中，学习率设置为0.001，然后再进行4K迭代，学习率为0.0001。所有实验都在Tensorflow框架下实现，模型在Ubuntu 16.04系统和RTX3080上运行。实验结果表明，在雾天场景和混合场景中，本申请所提方法优于一些相关技术。
需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1-图2只是一种示意方式，并不代表只能是这样的执行顺序。
本发明实施例还针对文本检测方法提供了相应的装置，进一步使得方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的文本检测装置进行介绍，下文描述的文本检测装置与上文描述的文本检测方法可相互对应参照。
基于功能模块的角度，参见图3，图3为本发明实施例提供的文本检测装置在一种具体实施方式下的结构图，该装置可包括：
判断模块301，用于判断原始图像是有雾图像还是无雾图像。
去雾模块302，用于若原始图像为有雾图像，则对原始图像执行去雾操作，得到待检测图像。
文本检测模块303，用于将待检测图像输入至预先构建的基于视觉转换器的文本检测模型，得到原始图像中文本的位置信息；其中，文本检测模型中序列特征的提取采用vision transformer模块，文本检测模型的后处理方法采用预设位置精细检测方法确定原始图像中文本的位置信息；预设位置精细检测方法为基于交并比以及置信度分数将NMS和Soft-NMS融合所得的方法。
可选的，在本实施例的一些实施方式中，上述判断模块301可用于：预先利用训练样本集训练雾检测模型，雾检测模型包括特征提取层、特征输出层和特征识别层；将原始图像输入至雾检测模型；根据雾检测模型的输出结果判断原始图像是有雾图像还是无雾图像；其中，特征提取层包括多个卷积结构，特征输出层包括多个全连接层，特征识别层利用第一函数计算特征输出层输出特征属于雾天图像特征的概率值，并利用第二函数输出分类结果。
作为本实施例的一种可选的实施方式，上述判断模块301还可进一步用于：训练样板集包括多张雾天场景的文本图像，若根据雾检测模型的输出结果判定原始图像为有雾图像，则获取原始图像的灰度直方图，以基于直方图统计方法进行雾检测；统计灰度直方图中超过预设个数阈值的目标像素点的总个数；若总个数大于等于预设类别阈值，则原始图像为有雾图像；若总个数小于预设类别阈值，则原始图像为无雾图像。
可选的，在本实施例的另一些实施方式中，上述去雾模块302可进一步用于：将原始图像输入至预先训练的深度模型，得到原始图像的深度图；深度图是由雾图生成的。调用修正计算关系式对深度图进行修正处理，得到校正深度图；调用复原计算关系式对校正深度图进行图像复原处理，以得到待检测图像。
可选的，在本实施例的其他一些实施方式中，上述文本检测模块303可用于：对经过图像预处理的待检测图像进行文本间的空间特征的提取，得到空间特征图；空间特征图采用视觉转换器模块；根据空间特征图提取文本间的序列特征，并将序列特征输入至全连接层以执行分类和回归操作，得到各分支输出的每个文本框的位置信息和文本概率值；基于预设位置精细检测方法处理各文本框的位置信息，得到文本的位置信息；融合计算方法为基于交并比和置信度分数对NMS和Soft-NMS进行融合后的方法。
作为上述实施例的一种可选的实施方式，上述文本检测模块303可进一步用于：调用融合关系式计算文本的位置信息，融合关系式为：
Figure 205943DEST_PATH_IMAGE001
式中，b为文本的位置信息，b n 为NMS生成的文本框的坐标值，b s 为Soft-NMS生成的文本框的坐标值，N t 为预设交并阈值，w n 为NMS的权重系数，w s 为Soft-NMS的权重系数。
作为上述实施例的另一种可选的实施方式，上述文本检测模块303还可进一步用于：预先分别计算NMS和Soft-NMS生成文本框的置信度分数，得到NMS的第一置信度分数和Soft-NMS的第二置信度分数；根据第一置信度分数和第二置信度分数，调用权重计算关系式计算NMS和Soft-NMS的权重系数，权重计算关系式为：
Figure 792782DEST_PATH_IMAGE003
,
Figure 812691DEST_PATH_IMAGE004
；
式中，s n 为第一置信度分数，s s 为第二置信度分数。
本发明实施例所述文本检测装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例可以有效提升文本检测精度。
上文中提到的文本检测装置是从功能模块的角度描述，进一步的，本申请还提供一种电子设备，是从硬件角度描述。图4为本申请实施例提供的电子设备在一种实施方式下的结构示意图。如图4所示，该电子设备包括存储器40，用于存储计算机程序；处理器41，用于执行计算机程序时实现如上述任一实施例提到的文本检测方法的步骤。
其中，处理器41可以包括一个或多个处理核心，比如4核心处理器、8核心处理器，处理器41还可为控制器、微控制器、微处理器或其他数据处理芯片等。处理器41可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable GateArray，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器41也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器41可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器41还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器40可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器40还可包括高速随机存取存储器以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。存储器40在一些实施例中可以是电子设备的内部存储单元，例如服务器的硬盘。存储器40在另一些实施例中也可以是电子设备的外部存储设备，例如服务器上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（SecureDigital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器40还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器40不仅可以用于存储安装于电子设备的应用软件及各类数据，例如：执行漏洞处理方法的程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。本实施例中，存储器40至少用于存储以下计算机程序401，其中，该计算机程序被处理器41加载并执行之后，能够实现前述任一实施例公开的文本检测方法的相关步骤。另外，存储器40所存储的资源还可以包括操作系统402和数据403等，存储方式可以是短暂存储或者永久存储。其中，操作系统402可以包括Windows、Unix、Linux等。数据403可以包括但不限于文本检测结果对应的数据等。
在一些实施例中，上述电子设备还可包括有显示屏42、输入输出接口43、通信接口44或者称为网络接口、电源45以及通信总线46。其中，显示屏42、输入输出接口43比如键盘（Keyboard）属于用户接口，可选的用户接口还可以包括标准的有线接口、无线接口等。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。通信接口44可选的可以包括有线接口和/或无线接口，如WI-FI接口、蓝牙接口等，通常用于在电子设备与其他电子设备之间建立通信连接。通信总线46可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extendedindustry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本领域技术人员可以理解，图4中示出的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的组件，例如还可包括实现各类功能的传感器47。
本发明实施例所述电子设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例可以有效提升文本检测精度。
可以理解的是，如果上述实施例中的文本检测方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电可擦除可编程ROM、寄存器、硬盘、多媒体卡、卡型存储器（例如SD或DX存储器等）、磁性存储器、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此，本发明实施例还提供了一种可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时如上任意一实施例所述文本检测方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的硬件包括装置及电子设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本申请所提供的一种文本检测方法、装置、电子设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (7)

1.一种文本检测方法，其特征在于，包括：
判断原始图像是有雾图像还是无雾图像；
若所述原始图像为有雾图像，则对所述原始图像执行去雾操作，得到待检测图像；
将所述待检测图像输入至预先构建的基于视觉转换器的文本检测模型，得到所述原始图像中文本的位置信息；
其中，所述文本检测模型的序列特征采用视觉转换器模块进行提取，所述文本检测模型的后处理方法采用预设位置精细检测方法确定所述原始图像中文本的位置信息；所述预设位置精细检测方法为基于交并比以及置信度分数将非极大值抑制方法NMS和缓和的非极大值抑制方法Soft-NMS融合所得；
其中，所述将所述待检测图像输入至预先构建的基于视觉转换器的文本检测模型，得到所述原始图像中文本的位置信息，包括：
对经过图像预处理的所述待检测图像进行文本间的空间特征的提取，得到空间特征图；所述空间特征图采用视觉转换器模块；
根据所述空间特征图提取文本间的序列特征，并将所述序列特征输入至全连接层以执行分类和回归操作，得到各分支输出的每个文本框的位置信息和文本概率值；
预先分别计算所述NMS和所述Soft-NMS生成文本框的置信度分数，得到所述NMS的第一置信度分数和所述Soft-NMS的第二置信度分数；
根据所述第一置信度分数和所述第二置信度分数，调用权重计算关系式计算所述NMS和所述Soft-NMS的权重系数，所述权重计算关系式为：
Figure DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE004
；
式中，s n 为所述第一置信度分数，s s 为所述第二置信度分数；
调用融合关系式计算所述文本的位置信息，所述融合关系式为：
Figure DEST_PATH_IMAGE006
式中，b为所述文本的位置信息，b n 为所述NMS生成的文本框的坐标值，b s 为所述Soft-NMS生成的文本框的坐标值，N t 为预设交并阈值，w n 为所述NMS的权重系数，w s 为所述Soft-NMS的权重系数。
2.根据权利要求1所述的文本检测方法，其特征在于，所述判断原始图像是有雾图像还是无雾图像，包括：
预先利用训练样本集训练雾检测模型，所述雾检测模型包括特征提取层、特征输出层和特征识别层；
将所述原始图像输入至所述雾检测模型；
根据所述雾检测模型的输出结果判断所述原始图像是有雾图像还是无雾图像；
其中，所述特征提取层包括多个卷积结构，所述特征输出层包括多个全连接层，所述特征识别层利用第一函数计算所述特征输出层输出特征属于雾天图像特征的概率值，并利用第二函数输出分类结果。
3.根据权利要求2所述的文本检测方法，其特征在于，所述训练样本集包括多张雾天场景的文本图像，所述根据所述雾检测模型的输出结果判断所述原始图像是有雾图像还是无雾图像，包括：
若根据所述雾检测模型的输出结果判定所述原始图像为有雾图像，则获取所述原始图像的灰度直方图，以基于直方图统计方法进行雾检测；
统计所述灰度直方图中超过预设个数阈值的目标像素点的总个数；
若所述总个数大于等于预设类别阈值，则所述原始图像为有雾图像；若所述总个数小于所述预设类别阈值，则所述原始图像为无雾图像。
4.根据权利要求1所述的文本检测方法，其特征在于，所述对所述原始图像执行去雾操作，包括：
将所述原始图像输入至预先训练的深度模型，得到所述原始图像的深度图；所述深度图是由雾图生成的；
调用修正计算关系式对所述深度图进行修正处理，得到校正深度图；
调用复原计算关系式对所述校正深度图进行图像复原处理，以得到所述待检测图像。
5.一种文本检测装置，其特征在于，包括：
判断模块，用于判断原始图像是有雾图像还是无雾图像；
去雾模块，用于若所述原始图像为有雾图像，则对所述原始图像执行去雾操作，得到待检测图像；
文本检测模块，用于将所述待检测图像输入至预先构建的基于视觉转换器的文本检测模型，得到所述原始图像中文本的位置信息；其中，所述文本检测模型的序列特征采用视觉转换器模块进行提取，所述文本检测模型的后处理方法采用预设位置精细检测方法确定所述原始图像中文本的位置信息；所述预设位置精细检测方法为基于交并比以及置信度分数将NMS和Soft-NMS融合所得的方法；
其中，文本检测模块进一步用于：对经过图像预处理的所述待检测图像进行文本间的空间特征的提取，得到空间特征图；所述空间特征图采用视觉转换器模块；根据所述空间特征图提取文本间的序列特征，并将所述序列特征输入至全连接层以执行分类和回归操作，得到各分支输出的每个文本框的位置信息和文本概率值；预先分别计算所述NMS和所述Soft-NMS生成文本框的置信度分数，得到所述NMS的第一置信度分数和所述Soft-NMS的第二置信度分数；根据所述第一置信度分数和所述第二置信度分数，调用权重计算关系式计算所述NMS和所述Soft-NMS的权重系数，所述权重计算关系式为：
Figure DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE010
；
式中，s n 为所述第一置信度分数，s s 为所述第二置信度分数；
调用融合关系式计算所述文本的位置信息，所述融合关系式为：
Figure DEST_PATH_IMAGE012
式中，b为所述文本的位置信息，b n 为所述NMS生成的文本框的坐标值，b s 为所述Soft-NMS生成的文本框的坐标值，N t 为预设交并阈值，w n 为所述NMS的权重系数，w s 为所述Soft-NMS的权重系数。
6.一种电子设备，其特征在于，包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至4任一项所述文本检测方法的步骤。
7.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述文本检测方法的步骤。
CN202210000478.9A 2022-01-04 2022-01-04 一种文本检测方法、装置、电子设备及可读存储介质 Active CN114092947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210000478.9A CN114092947B (zh) 2022-01-04 2022-01-04 一种文本检测方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210000478.9A CN114092947B (zh) 2022-01-04 2022-01-04 一种文本检测方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114092947A CN114092947A (zh) 2022-02-25
CN114092947B true CN114092947B (zh) 2022-05-20

Family

ID=80308360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210000478.9A Active CN114092947B (zh) 2022-01-04 2022-01-04 一种文本检测方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114092947B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998906B (zh) * 2022-05-25 2023-08-08 北京百度网讯科技有限公司 文本检测方法、模型的训练方法、装置、电子设备及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9025877B2 (en) * 2013-01-04 2015-05-05 Ricoh Company, Ltd. Local scale, rotation and position invariant word detection for optical character recognition
CN104732772B (zh) * 2015-04-08 2016-01-06 海安常大技术转移中心有限公司 交通路口抢行车辆识别平台
CN108460337A (zh) * 2018-01-30 2018-08-28 李家菊 基于自适应云模型的大雾场景空中图像融合识别方法
CN108446698B (zh) * 2018-03-15 2020-08-21 腾讯大地通途（北京）科技有限公司 在图像中检测文本的方法、装置、介质及电子设备
CN109492576B (zh) * 2018-11-07 2021-06-22 北京旷视科技有限公司 图像识别方法、装置及电子设备
CN110059694B (zh) * 2019-04-19 2020-02-11 山东大学 电力行业复杂场景下的文字数据的智能识别方法
CN110210433B (zh) * 2019-06-10 2023-04-28 南京大学 一种基于深度学习的集装箱箱号检测与识别方法
CN113553885A (zh) * 2020-04-26 2021-10-26 复旦大学 一种基于生成对抗网络的自然场景文本识别方法
CN113723377B (zh) * 2021-11-02 2022-01-11 南京信息工程大学 一种基于ld-ssd网络的交通标志检测方法

Also Published As

Publication number Publication date
CN114092947A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN108399386B (zh) 饼图中的信息提取方法及装置
CN108121986B (zh) 目标检测方法及装置、计算机装置和计算机可读存储介质
CN107133616B (zh) 一种基于深度学习的无分割字符定位与识别方法
CN110020592B (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
CN110378297B (zh) 基于深度学习的遥感图像目标检测方法、装置、及存储介质
CN111798360B (zh) 一种水印检测方法、装置、电子设备及存储介质
CN113822209B (zh) 高光谱图像识别方法、装置、电子设备及可读存储介质
CN110582783B (zh) 训练装置、图像识别装置、训练方法和计算机可读信息存储介质
CN104866868A (zh) 基于深度神经网络的金属币识别方法和装置
CN110135446B (zh) 文本检测方法及计算机存储介质
CN108681735A (zh) 基于卷积神经网络深度学习模型的光学字符识别方法
CN110751606B (zh) 一种基于神经网络算法的泡沫图像处理方法及系统
US20210390667A1 (en) Model generation
CN112052845A (zh) 图像识别方法、装置、设备及存储介质
CN111382625A (zh) 道路标识识别方法、装置及电子设备
CN114092947B (zh) 一种文本检测方法、装置、电子设备及可读存储介质
CN110443242B (zh) 读数框检测方法、目标识别模型训练方法及相关装置
CN113971644A (zh) 基于数据增强策略选择的图像识别方法及装置
CN111738069A (zh) 人脸检测方法、装置、电子设备及存储介质
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
CN113706705B (zh) 用于高精地图的图像处理方法、装置、设备以及存储介质
CN115423724A (zh) 强化学习参数优化的水下图像增强方法、装置及介质
CN113963011A (zh) 图像识别方法、装置、电子设备及存储介质
Sun et al. Contextual models for automatic building extraction in high resolution remote sensing image using object-based boosting method
CN113537463A (zh) 基于数据扰动的对抗样本防御方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230627

Address after: 518000 812, building 3, sunshine Yuehai Garden Phase II, No. 3818 Baishi Road, Yuegui community, Yuehai street, Nanshan District, Shenzhen, Guangdong

Patentee after: Shenzhen Zhisen Technology Design Co.,Ltd.

Address before: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee before: Dragon totem Technology (Hefei) Co.,Ltd.

Effective date of registration: 20230627

Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Dragon totem Technology (Hefei) Co.,Ltd.

Address before: 410006 36 Yuelu District Lu Shan Road, Changsha, Hunan

Patentee before: HUNAN NORMAL University