CN111783776B - 基于真实板材的文字识别方法、装置和计算机设备 - Google Patents

基于真实板材的文字识别方法、装置和计算机设备 Download PDF

Info

Publication number
CN111783776B
CN111783776B CN202010623471.3A CN202010623471A CN111783776B CN 111783776 B CN111783776 B CN 111783776B CN 202010623471 A CN202010623471 A CN 202010623471A CN 111783776 B CN111783776 B CN 111783776B
Authority
CN
China
Prior art keywords
character
preset
image
text
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010623471.3A
Other languages
English (en)
Other versions
CN111783776A (zh
Inventor
陈庆伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202010623471.3A priority Critical patent/CN111783776B/zh
Publication of CN111783776A publication Critical patent/CN111783776A/zh
Application granted granted Critical
Publication of CN111783776B publication Critical patent/CN111783776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/28Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Input (AREA)

Abstract

本申请涉及人工智能技术领域,揭示了一种基于真实板材的文字识别方法、装置、计算机设备和存储介质,所述方法包括:开启预设的红外光生成器与可见光生成器;对所述真实板材进行图像采集处理,从而得到第一图像;若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则得到第二文本;关闭红外光生成器,并开启预设的紫外光生成器;对所述真实板材进行图像采集处理,从而得到第二图像;若第二图像中的第一文字图案的色值对比度大于对比程度阈值,则得到第一文本;组合第一文本和第二文本,以得到最终的文字识别结果。从而提高文字识别的准确性。此外,本申请还涉及区块链技术,文字识别模型可存储于区块链中。

Description

基于真实板材的文字识别方法、装置和计算机设备
技术领域
本申请涉及到人工智能技术领域,特别是涉及到一种基于真实板材的文字识别方法、装置、计算机设备和存储介质。
背景技术
文字识别是人工智能技术领域中的图像图形处理中的重要内容,主要是将图像中的文字识别为文字文本。现有的文字识别方案,其在对于具有混合文字的真实板材(例如为门牌、车牌等)识别方面表现较差,例如在对存在汉字和字母混合的真实板材进行文字识别时,花费的计算资源较多,识别的准确性较低,因此现有的对于真实板材的文字识别方案的识别准确性有待提高。
发明内容
本申请的主要目的为提供一种基于真实板材的文字识别方法、装置、计算机设备和存储介质,旨在提高文字识别的准确性。
为了实现上述发明目的,本申请提出一种基于真实板材的文字识别方法,所述真实板材包括第一区域和第二区域,所述第一区域在可见光下呈现第一颜色,所述第二区域在可见光下呈现第二颜色,所述第一区域中承载有由第一材料绘制的第一文字,所述第二区域中承载有由第二材料绘制的第二文字;所述第一材料在可见光下呈现第二颜色,且所述第一材料在红外光照射下呈现第一颜色,并且所述第一材料在同时被可见光和红外光照射时呈现的第一颜色的亮度高于呈现的第二颜色的亮度;所述第二材料在可见光下呈现第一颜色,且所述第二材料在紫外光照射下呈现第二颜色,并且所述第二材料在同时被可见光和紫外光照射时呈现的第二颜色的亮度高于呈现的第一颜色的亮度;所述方法,包括:
开启预设的红外光生成器与可见光生成器,以使所述真实板材处于被红外光和可见光同时照射的状态下;
采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第一图像,其中所述第一图像中第一文字对应的第一文字图案的色值对比度低于第二文字对应的第二文字图案的色值对比度;
判断第一图像中的第二文字图案的色值对比度是否大于预设的对比程度阈值;
若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则将所述第一图像输入预设的第一文字识别模型中,从而得到所述第一文字识别模型输出的对应于第二文字的第二文本;其中,所述第一文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理;
关闭红外光生成器,并开启预设的紫外光生成器,以使所述真实板材处于被紫外光和可见光同时照射的状态下;
采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第二图像,其中所述第二图像中第一文字对应的第一文字图案的色值对比度高于第二文字对应的第二文字图案;
判断第二图像中的第一文字图案的色值对比度是否大于预设的对比程度阈值;
若第二图像中的第一文字图案的色值对比度大于预设的对比程度阈值,则将所述第二图像输入预设的第二文字识别模型中,从而得到所述第二文字识别模型输出的对应于第一文字的第一文本,其中,所述第二文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理;
组合所述第一文本和第二文本,以得到最终的文字识别结果。
进一步地,所述开启预设的红外光生成器与可见光生成器,以使所述真实板材处于被红外光和可见光同时照射的状态下的步骤之前,包括:
同时开启预设的红外光生成器、紫外光生成器与可见光生成器,以使所述真实板材处于被红外光、紫外光和可见光同时照射的状态下;
采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第三图像;
根据预设的边界线检测方法,对所述第三图像进行检测,从而得到边界线,其中所述边界线将相邻的两个像素点划分开,所述两个像素点的色值之差高于预设的色值阈值;
判断所述边界线是否为直线;
若所述边界线不为直线,则生成光线生成指令,所述光线生成指令用于指示将所述紫外光生成器关闭,并开启预设的红外光生成器与可见光生成器,以使所述真实板材处于被红外光和可见光同时照射的状态下。
进一步地,所述判断所述边界线是否为直线的步骤之后,包括:
若所述边界线为直线,则将所述第三图像输入预设的综合文字识别模型中,从而得到所述综合文字识别模型输出的综合文本;其中所述综合文字识别模型基于神经网络模型,并采用预收集的训练数据训练而成;所述训练数据由训练用图片,以及在所述训练用图片上人工标注的呈直线的分界线构成;所述训练用图片上仅包括汉字和字母,并且所述汉字和字母顺序连接、或者所述字母和汉字顺序连接;
判断所述综合文本中是否仅包括汉字和字母;
若所述综合文本中仅包括汉字和字母,则判断所述综合文本中的汉字和字母是否顺序连接,或者所述综合文本中的字母和汉字是否顺序连接;
若所述综合文本中的汉字和字母顺序连接,或者所述综合文本中的字母和汉字顺序连接,则将所述综合文本记为对所述真实板材的文字识别结果。
进一步地,所述若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则将所述第一图像输入预设的第一文字识别模型中,从而得到所述第一文字识别模型输出的对应于第二文字的第二文本;其中,所述第一文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理的步骤之前,包括:
获取预收集的样本数据,并将所述样本数据根据预设比例划分为第一集合和第二集合,其中所述样本数据包括底色为第一颜色且字体颜色为第二颜色的文字图片,以及与所述文字图片对应的人工标注的文字文本,并且所述文字图片中的文字图案的色值对比度大于预设的对比程度阈值,所述文字图片中的文字为数字、字母或者汉字中的一种;
调用预设的神经网络模型,并采用所述第一集合中的样本数据对所述神经网络进行训练,从而得到初始识别模型;
采用所述第二集合中的样本数据对所述初始识别模型进行验证处理,从而得到验证结果,其中所述验证结果包括验证通过或者验证未通过;
判断所述验证结果是否为验证通过;
若所述验证结果为验证通过,则将所述初始识别模型记为第一文字识别模型。
进一步地,所述第二文字识别模型由多个子识别模型构成,所述将所述第二图像输入预设的第二文字识别模型中,从而得到所述第二文字识别模型输出的对应于第一文字的第一文本,其中,所述第二文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理的步骤,包括:
将所述第二图像中的第一文字图案进行切分处理,从而得到多个拆分字符图案,其中所述多个拆分字符图案的数量等于所述多个子识别模型的数量;
将所述多个拆分字符图案对应输入所述多个子识别模型中,从而得到所述多个子识别模型对应输出的多个字符文本;
拼接所述多个字符文本,以得到暂时识别文本;
对所述暂时识别文本进行多次字体设置,并在每次字体设置后采集暂时识别文本的图像,从而得到多张暂时图片;
根据预设的图案相似度计算方法,计算所述暂时图片与所述第二图像的相似度,从而得到与所述多张暂时图片分别对应的多个相似度值;
判断所述多个相似度值中的最大值是否大于预设的图案相似阈值;
若所述多个相似度值中的最大值大于预设的图案相似阈值,则将所述暂时识别文本记为对应于第一文字的第一文本。
本申请提供一种基于真实板材的文字识别装置,所述真实板材包括第一区域和第二区域,所述第一区域在可见光下呈现第一颜色,所述第二区域在可见光下呈现第二颜色,所述第一区域中承载有由第一材料绘制的第一文字,所述第二区域中承载有由第二材料绘制的第二文字;所述第一材料在可见光下呈现第二颜色,且所述第一材料在红外光照射下呈现第一颜色,并且所述第一材料在同时被可见光和红外光照射时呈现的第一颜色的亮度高于呈现的第二颜色的亮度;所述第二材料在可见光下呈现第一颜色,且所述第二材料在紫外光照射下呈现第二颜色,并且所述第二材料在同时被可见光和紫外光照射时呈现的第二颜色的亮度高于呈现的第一颜色的亮度;所述装置,包括:
红外光生成器开启单元,用于开启预设的红外光生成器与可见光生成器,以使所述真实板材处于被红外光和可见光同时照射的状态下;
第一图像获取单元,用于采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第一图像,其中所述第一图像中第一文字对应的第一文字图案的色值对比度低于第二文字对应的第二文字图案的色值对比度;
第一图像判断单元,用于判断第一图像中的第二文字图案的色值对比度是否大于预设的对比程度阈值;
第二文本获取单元,用于若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则将所述第一图像输入预设的第一文字识别模型中,从而得到所述第一文字识别模型输出的对应于第二文字的第二文本;其中,所述第一文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理;
紫外光生成器开启单元,用于关闭红外光生成器,并开启预设的紫外光生成器,以使所述真实板材处于被紫外光和可见光同时照射的状态下;
第二图像获取单元,用于采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第二图像,其中所述第二图像中第一文字对应的第一文字图案的色值对比度高于第二文字对应的第二文字图案;
第二图像判断单元,用于判断第二图像中的第一文字图案的色值对比度是否大于预设的对比程度阈值;
第一文本获取单元,用于若第二图像中的第一文字图案的色值对比度大于预设的对比程度阈值,则将所述第二图像输入预设的第二文字识别模型中,从而得到所述第二文字识别模型输出的对应于第一文字的第一文本,其中,所述第二文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理;
文本组合单元,用于组合所述第一文本和第二文本,以得到最终的文字识别结果。
进一步地,所述装置,包括:
光生成器同时开启单元,用于同时开启预设的红外光生成器、紫外光生成器与可见光生成器,以使所述真实板材处于被红外光、紫外光和可见光同时照射的状态下;
第三图像获取单元,用于采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第三图像;
边界线检测单元,用于根据预设的边界线检测方法,对所述第三图像进行检测,从而得到边界线,其中所述边界线将相邻的两个像素点划分开,所述两个像素点的色值之差高于预设的色值阈值;
边界线判断单元,用于判断所述边界线是否为直线;
光线生成指令生成单元,用于若所述边界线不为直线,则生成光线生成指令,所述光线生成指令用于指示将所述紫外光生成器关闭,并开启预设的红外光生成器与可见光生成器,以使所述真实板材处于被红外光和可见光同时照射的状态下。
进一步地,所述装置,包括:
综合文本获取单元,用于若所述边界线为直线,则将所述第三图像输入预设的综合文字识别模型中,从而得到所述综合文字识别模型输出的综合文本;其中所述综合文字识别模型基于神经网络模型,并采用预收集的训练数据训练而成;所述训练数据由训练用图片,以及在所述训练用图片上人工标注的呈直线的分界线构成;所述训练用图片上仅包括汉字和字母,并且所述汉字和字母顺序连接、或者所述字母和汉字顺序连接;
综合文本判断单元,用于判断所述综合文本中是否仅包括汉字和字母;
顺序连接判断单元,用于若所述综合文本中仅包括汉字和字母,则判断所述综合文本中的汉字和字母是否顺序连接,或者所述综合文本中的字母和汉字是否顺序连接;
文字识别结果标记单元,用于若所述综合文本中的汉字和字母顺序连接,或者所述综合文本中的字母和汉字顺序连接,则将所述综合文本记为对所述真实板材的文字识别结果。
本申请提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于真实板材的文字识别方法、装置、计算机设备和存储介质,开启预设的红外光生成器与可见光生成器;采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第一图像;判断第一图像中的第二文字图案的色值对比度是否大于预设的对比程度阈值;若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则得到对应于第二文字的第二文本;关闭红外光生成器,并开启预设的紫外光生成器;采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第二图像;判断第二图像中的第一文字图案的色值对比度是否大于预设的对比程度阈值;若第二图像中的第一文字图案的色值对比度大于预设的对比程度阈值,则得到对应于第一文字的第一文本;组合所述第一文本和第二文本,以得到最终的文字识别结果。从而文字识别的准确性与计算资源消耗都得到了优化。
具体地,本申请采用特别的板材,以实现将第一文字对应的第一文字图像和第二文字对应的第一文字图像进行准确的切分(需要注意的是,本申请的切分方法是与真实板材上绘制的文字材料的本征特性相关,因此准确性极高,无需依赖额外因素),这是由于在不同环境下第一文字图像与第二文字图像呈现出的颜色不同,因此仅需少量的计量资源即可实现准确切分;再分别利用第一文字识别模型和第二文字识别模型进行文字识别,从而避免了混合文字造成的识别不准确的情况出现(传统的方案采用混合文字模型训练与识别,不可避免的增加了计算负担,并且减小了识别准确性),并且由每个文字识别模型仅需要对特定的文字进行识别处理,因此文字识别模型的训练速度也更快,训练得到的文字识别模型也更准确,从而文字识别的准确性与计算资源消耗都得到了优化。
附图说明
图1为本申请一实施例的基于真实板材的文字识别方法的流程示意图;
图2为本申请一实施例的基于真实板材的文字识别装置的结构示意框图;
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1,本申请实施例提供一种基于真实板材的文字识别方法,所述真实板材包括第一区域和第二区域,所述第一区域在可见光下呈现第一颜色,所述第二区域在可见光下呈现第二颜色,所述第一区域中承载有由第一材料绘制的第一文字,所述第二区域中承载有由第二材料绘制的第二文字;所述第一材料在可见光下呈现第二颜色,且所述第一材料在红外光照射下呈现第一颜色,并且所述第一材料在同时被可见光和红外光照射时呈现的第一颜色的亮度高于呈现的第二颜色的亮度;所述第二材料在可见光下呈现第一颜色,且所述第二材料在紫外光照射下呈现第二颜色,并且所述第二材料在同时被可见光和紫外光照射时呈现的第二颜色的亮度高于呈现的第一颜色的亮度;所述方法,包括:
S1、开启预设的红外光生成器与可见光生成器,以使所述真实板材处于被红外光和可见光同时照射的状态下;
S2、采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第一图像,其中所述第一图像中第一文字对应的第一文字图案的色值对比度低于第二文字对应的第二文字图案的色值对比度;
S3、判断第一图像中的第二文字图案的色值对比度是否大于预设的对比程度阈值;
S4、若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则将所述第一图像输入预设的第一文字识别模型中,从而得到所述第一文字识别模型输出的对应于第二文字的第二文本;其中,所述第一文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理;
S5、关闭红外光生成器,并开启预设的紫外光生成器,以使所述真实板材处于被紫外光和可见光同时照射的状态下;
S6、采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第二图像,其中所述第二图像中第一文字对应的第一文字图案的色值对比度高于第二文字对应的第二文字图案;
S7、判断第二图像中的第一文字图案的色值对比度是否大于预设的对比程度阈值;
S8、若第二图像中的第一文字图案的色值对比度大于预设的对比程度阈值,则将所述第二图像输入预设的第二文字识别模型中,从而得到所述第二文字识别模型输出的对应于第一文字的第一文本,其中,所述第二文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理;
S9、组合所述第一文本和第二文本,以得到最终的文字识别结果。
本申请通过特别的设计,以提高文字识别的准确性。其中,本申请可适用于任意场景,例如适用于对存在汉字和字母混合的图像进行文字识别的场景,尤其适用于汉字和字母无规则混合的图像进行文字识别的场景。具体地,采用特别的板材(即真实板材),以实现将第一文字对应的第一文字图像和第二文字对应的第一文字图像进行准确的切分(需要注意的是,本申请的切分方法是与真实板材上绘制的文字材料的本征特性相关,因此准确性极高,无需依赖额外因素),再分别利用第一文字识别模型和第二文字识别模型进行文字识别,从而避免了混合文字造成的识别不准确的情况出现(传统的方案采用混合文字模型训练与识别,不可避免的增加了计算负担,并且减小了识别准确性),并且由每个文字识别模型仅需要对特定的文字进行识别处理,因此文字识别模型的训练速度也更快,训练得到的文字识别模型也更准确,从而文字识别的准确性与计算资源消耗都得到了优化。
本申请的文字识别方法是基于真实板材而实现的,所述真实板材是本申请得以实施的前提,在此着重对真实板材进行介绍。其中,所述真实板材可为任意可行材料制成,但其必须能够被绘制文字图案,所述真实板材例如为门牌、车牌等,其材料例如为金属、木材等。
所述真实板材包括第一区域和第二区域,所述第一区域在可见光下呈现第一颜色,所述第二区域在可见光下呈现第二颜色,所述第一区域中承载有由第一材料绘制的第一文字,所述第二区域中承载有由第二材料绘制的第二文字;所述第一材料在可见光下呈现第二颜色,且所述第一材料在红外光照射下呈现第一颜色,并且所述第一材料在同时被可见光和红外光照射时呈现的第一颜色的亮度高于呈现的第二颜色的亮度;所述第二材料在可见光下呈现第一颜色,且所述第二材料在紫外光照射下呈现第二颜色,并且所述第二材料在同时被可见光和紫外光照射时呈现的第二颜色的亮度高于呈现的第一颜色的亮度。其中,所述第一区域在可见光下呈现第一颜色,其实现方式可为任意可行方式,例如为采用第一颜色的涂料进行涂覆,或者真实板材本身就具有第一颜色;所述第二区域在可见光下呈现第二颜色,其实现方式可为任意可行方式,例如为采用第二颜色的涂料进行涂覆,或者真实板材本身就具有第二颜色。所述第一材料在可见光下呈现第二颜色,且所述第一材料在红外光照射下呈现第一颜色,并且所述第一材料在同时被可见光和红外光照射时呈现的第一颜色的亮度高于呈现的第二颜色的亮度,其可采用任意可行形式实现,例如第一材料为本征颜色为第二颜色,但能够吸收红外光并放射出波长处于第一颜色的光子的材料,所述第一材料能够为单一材料,也能够为混合材料,当其为单一材料时,例如为掺杂Tm3+,Er3 +,Ho3+等离子的氟氧基类化合物(能够将吸收红外光并放射出可见光,该可见光的颜色即为第一颜色,例如对氟氧基类化合物高掺杂Er3+等离子,使激发的光子处于绿色可见光谱),从而第一材料在可见光下呈现第二颜色,且所述第一材料在红外光照射下呈现第一颜色,并且所述第一材料在同时被可见光和红外光照射时呈现的第一颜色的亮度高于呈现的第二颜色的亮度(例如通过控制可见光生成器、红外光生成器的例如光强、能量等参数来实现,或者通过控制材料成分实现);当其为混合材料时,在可见光下的整体颜色呈现第二颜色,且所述第一材料在红外光照射下的整体颜色呈现第一颜色(例如第一材料中存在能够吸收红外光从而发射出处于波长处于可见光中的第一颜色的光子的转换材料),并且所述第一材料在同时被可见光和红外光照射时的整体颜色呈现的第一颜色的亮度高于呈现的第二颜色的亮度(例如,通过调控转换材料在第一材料中的占比来实现,例如转换材料占第一材料中的占比大于预设的占比阈值,该占比阈值例如为90%,从而第一颜色的亮度高于呈现的第二颜色的亮度)。其中,所述可见光优选为白光。同理,所述第二材料在可见光下呈现第一颜色,且所述第二材料在紫外光照射下呈现第二颜色,并且所述第二材料在同时被可见光和紫外光照射时呈现的第二颜色的亮度高于呈现的第一颜色的亮度,其可采用任意可行形式实现,例如第二材料为本征颜色为第一颜色,但能够吸收红外光并放射出波长处于第二颜色的光子的材料,所述第二材料能够为单一材料,也能够为混合材料,例如利用能够吸收紫外光而发出可见光的材料实现,该材料例如为掺杂Eu3+等离子的钨酸钆钠基化合物。
根据上述对真实板材的介绍,可知,在处于可见光下,所述真实板材上的文字均与其周围的环境颜色有明显区别(即第一颜色的文字周围的环境颜色为第二颜色,反之亦然),从而不影响正常的使用。但在所述真实板材处于被红外光和可见光同时照射的状态下,所述真实板材上仅有第二文字能够被清晰呈现,这是因为第一文字在此时的状态下与环境颜色无明显区别。但在所述真实板材处于被紫外光和可见光同时照射的状态下,所述真实板材上仅有第一文字能够被清晰呈现,这是因为第二文字在此时的状态下与环境颜色无明显区别。从而实现了第一文字和第二文字在不影响正常使用的前提下,实现了准确划分。进一步地,所述真实板材上的第一区域和第二区域的交界线可为直线(例如以真实板材的中心线为交界线),也可以为不规则的线条,优选为这样的设计:所述第一区域与第二区域不规则交错,对应地,所述第一文字与第二文字也不规则交错,从而实现例如:A沪B南京路C开创街道,这样的形式,这种不规则的文字排序,对现有的文字识别方案是个挑战,而本申请能够将ABC与沪南京路开创街道划分出来(即,ABC均在第一区域上,而其他汉字在第二区域上),从而分别识别,提高识别准确性。
如上述步骤S1所述,开启预设的红外光生成器与可见光生成器,以使所述真实板材处于被红外光和可见光同时照射的状态下。进一步地,在开启红外光生成器与可见光生成器时,还能够通过控制红外光生成器与可见光生成器的参数,例如控制光强强度比(例如比例为0.1:0.9-0.9:0.1,优选1:1),以利于后续步骤中第二文字的识别。其中,所述可见光生成器例如为闪光灯。
如上述步骤S2所述,采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第一图像,其中所述第一图像中第一文字对应的第一文字图案的色值对比度低于第二文字对应的第二文字图案的色值对比度。所述摄像头能针对可见光而成像,因此红外光本身不会对图像有影响。而所述真实板材上有第一材料和第二材料,其中第一材料在红外光下呈现第一颜色,因此在处于被红外光和可见光同时照射的状态下,所述第一材料为第一颜色或者接近于第一颜色,而第一区域在可见光和红外光下为第一颜色,因此,第一材料绘制成的第一文字此时与周边的环境颜色相同或者差异不大,即色值对比度很小,而第二材料绘制成的第二文字不受影响。从而,所述第一图像中第一文字对应的第一文字图案的色值对比度低于第二文字对应的第二文字图案的色值对比度。其中,所述色值对比度可采用任意可行方式计算,例如通过计算色值不同的相邻像素点的色值差,并将色值差作为色值对比度;或者也可采用任意可行方式来计算或定义,但需要能够反应出色值区别。进一步地,所述第一文字与所述第二文字的类型不同,例如第一文字为汉字,而第一文字为字母。
如上述步骤S3所述,判断第一图像中的第二文字图案的色值对比度是否大于预设的对比程度阈值。色值对比度越大,越容易被识别,反之,越不容易被识别。在理想状态下,第一图像中的第一文字图案的色值对比度接近于0,而第一图像中的第二文字图案的色值对比度则远大于0。所述对比程度阈值可为任意可行数值,例如等于第一颜色的色值与第一颜色的色值之差,或者等于第一颜色的色值与第一颜色的色值之差的一半。
如上述步骤S4所述,若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则将所述第一图像输入预设的第一文字识别模型中,从而得到所述第一文字识别模型输出的对应于第二文字的第二文本;其中,所述第一文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理。若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则第一文字识别模型仅需要对特定区域进行文字识别即可,所述特定区域指色值对比度大于预设的对比程度阈值的区域,在此时即是指第一图像中的第二文字图案的区域。因此,第一区域中的第一文字无需额外花费计算机算力,即可被排除在此时的识别任务之外。而此时的第一文字识别模型只需对单一类型的第二文字进行处理,从而处理效率与识别精度都得到了提升。其中,所述第一文字识别模型可采用任意可行的识别模型,但优选只针对单一类型的文字进行识别的模型,因此体量更小,更灵活。
如上述步骤S5所述,关闭红外光生成器,并开启预设的紫外光生成器,以使所述真实板材处于被紫外光和可见光同时照射的状态下。由于真实板材上存在第一文字和第二文字,而第一文字已经成功识别,因此需要再对第二文字进行识别。而第二文字的识别需要综合利用紫外光生成器,因此关闭红外光生成器,并开启预设的紫外光生成器,以使所述真实板材处于被紫外光和可见光同时照射的状态下。
如上述步骤S6所述,采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第二图像,其中所述第二图像中第一文字对应的第一文字图案的色值对比度高于第二文字对应的第二文字图案。此时的第二图像的采集与前述第一图像的采集类似,其区别在于,采用紫外光替换红外光,因此第二文字对应的第二文字图案的色值对比度低,即所述第二图像中第一文字对应的第一文字图案的色值对比度高于第二文字对应的第二文字图案。从而利于后续的第一文字的识别。
如上述步骤S7所述,判断第二图像中的第一文字图案的色值对比度是否大于预设的对比程度阈值。色值对比度越大,越容易被识别,反之,越不容易被识别。此时,在理想状态下,第二图像中的第二文字图案的色值对比度接近于0或等于0,而第二图像中的第一文字图案的色值对比度则远大于0。所述对比程度阈值可为任意可行数值,例如等于第一颜色的色值与第一颜色的色值之差,或者等于第一颜色的色值与第一颜色的色值之差的一半。
如上述步骤S8所述,若第二图像中的第一文字图案的色值对比度大于预设的对比程度阈值,则将所述第二图像输入预设的第二文字识别模型中,从而得到所述第二文字识别模型输出的对应于第一文字的第一文本,其中,所述第二文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理。若第二图像中的第一文字图案的色值对比度大于预设的对比程度阈值,表明第一文字图案易于识别,而此时第二图像中的第二文字图案的色值对比度是等于0或接近于0的,因此第二文字识别模型仅需要对色值对比度大于预设的对比程度阈值的区域进行识别即可,在此时即是指第二图像中的第一文字图案的区域。因此,第二区域中的第二文字无需额外花费计算机算力,即可被排除在此时的识别任务之外。而此时的第二文字识别模型只需对单一类型的第一文字进行处理,从而处理效率与识别精度都得到了提升。其中,所述第二文字识别模型可采用任意可行的识别模型,但优选只针对单一类型的文字进行识别的模型,因此体量更小,更灵活。
如上述步骤S9所述,组合所述第一文本和第二文本,以得到最终的文字识别结果。其中,所述组合所述第一文本和第二文本的方式与所述第一文字和第二文字的原排序方式相同,例如第一文字和第二文字是顺序连接的,那么组合所述第一文本和第二文本的方式也为顺序连接;若第一文字和第二文字是交插式连接的,那么组合所述第一文本和第二文本的方式也为交插式连接。从而得到最终的文字识别结果,而此时的文字识别结果能够具有更高的准确性。
在一个实施方式中,所述开启预设的红外光生成器与可见光生成器,以使所述真实板材处于被红外光和可见光同时照射的状态下的步骤S1之前,包括:
S01、同时开启预设的红外光生成器、紫外光生成器与可见光生成器,以使所述真实板材处于被红外光、紫外光和可见光同时照射的状态下;
S02、采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第三图像;
S03、根据预设的边界线检测方法,对所述第三图像进行检测,从而得到边界线,其中所述边界线将相邻的两个像素点划分开,所述两个像素点的色值之差高于预设的色值阈值;
S04、判断所述边界线是否为直线;
S05、若所述边界线不为直线,则生成光线生成指令,所述光线生成指令用于指示将所述紫外光生成器关闭,并开启预设的红外光生成器与可见光生成器,以使所述真实板材处于被红外光和可见光同时照射的状态下。
如上所述,实现了生成光线生成指令。本申请在正式利用红外光生成器、紫外光生成器、可见光生成器进行图像采集并进行文字识别之前,还有采用了特别的设计,以使本申请针对性地应用于特别场景(即第一文字与第二文字非顺序连接的场景)。具体地,同时开启预设的红外光生成器、紫外光生成器与可见光生成器,以使所述真实板材处于被红外光、紫外光和可见光同时照射的状态下;采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第三图像;根据预设的边界线检测方法,对所述第三图像进行检测,从而得到边界线,其中所述边界线将相邻的两个像素点划分开,所述两个像素点的色值之差高于预设的色值阈值,此时,由于真实板材处于被红外光、紫外光和可见光同时照射的状态下,因此第一文字与第二文字均不可见或者难以辨别,所以边界线与第一文字、第二文字无关,仅反应为第一区域与第二区别的交界。再判断所述边界线是否为直线,从而获知真实板材上文字的复杂程度。当边界线为直线时,表明第一文字与第二文字是顺序连接的,复杂性低,此时不需要采用本申请的识别方法(此时,可利用其他文字识别模型进行识别,该文字识别模型的训练数据包括顺序连接两种不同类型文字的图片);当边界线不为直线时,本申请能够将第一文字和第二文字准确划分开,因此能够对此种场景下的真实板材进行准确的文字识别,从而提高识别准确性。
在一个实施方式中,所述判断所述边界线是否为直线的步骤S04之后,包括:
S041、若所述边界线为直线,则将所述第三图像输入预设的综合文字识别模型中,从而得到所述综合文字识别模型输出的综合文本;其中所述综合文字识别模型基于神经网络模型,并采用预收集的训练数据训练而成;所述训练数据由训练用图片,以及在所述训练用图片上人工标注的呈直线的分界线构成;所述训练用图片上仅包括汉字和字母,并且所述汉字和字母顺序连接、或者所述字母和汉字顺序连接;
S042、判断所述综合文本中是否仅包括汉字和字母;
S043、若所述综合文本中仅包括汉字和字母,则判断所述综合文本中的汉字和字母是否顺序连接,或者所述综合文本中的字母和汉字是否顺序连接;
S044、若所述综合文本中的汉字和字母顺序连接,或者所述综合文本中的字母和汉字顺序连接,则将所述综合文本记为对所述真实板材的文字识别结果。
如上所述,实现了将所述综合文本记为对所述真实板材的文字识别结果。若所述边界线为直线,本申请采用综合文字识别模型进行针对性处理,以提高处理效率。其中,所述综合文字识别模型基于神经网络模型,并采用预收集的训练数据训练而成;所述训练数据由训练用图片,以及在所述训练用图片上人工标注的呈直线的分界线构成;所述训练用图片上仅包括汉字和字母,并且所述汉字和字母顺序连接、或者所述字母和汉字顺序连接。从而所述综合文字识别模型可胜任对两种不同类型文字的图片进行文字识别。并且,为了保证识别的准确性,本申请还判断所述综合文本中是否仅包括汉字和字母;若所述综合文本中仅包括汉字和字母,则判断所述综合文本中的汉字和字母是否顺序连接,或者所述综合文本中的字母和汉字是否顺序连接;若所述综合文本中的汉字和字母顺序连接,或者所述综合文本中的字母和汉字顺序连接,则将所述综合文本记为对所述真实板材的文字识别结果,从而保证识别结果的确为两种不同类型文字顺序连接,以保证识别准确性。
在一个实施方式中,所述若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则将所述第一图像输入预设的第一文字识别模型中,从而得到所述第一文字识别模型输出的对应于第二文字的第二文本;其中,所述第一文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理的步骤S4之前,包括:
S31、获取预收集的样本数据,并将所述样本数据根据预设比例划分为第一集合和第二集合,其中所述样本数据包括底色为第一颜色且字体颜色为第二颜色的文字图片,以及与所述文字图片对应的人工标注的文字文本,并且所述文字图片中的文字图案的色值对比度大于预设的对比程度阈值,所述文字图片中的文字为数字、字母或者汉字中的一种;
S32、调用预设的神经网络模型,并采用所述第一集合中的样本数据对所述神经网络进行训练,从而得到初始识别模型;
S33、采用所述第二集合中的样本数据对所述初始识别模型进行验证处理,从而得到验证结果,其中所述验证结果包括验证通过或者验证未通过;
S34、判断所述验证结果是否为验证通过;
S35、若所述验证结果为验证通过,则将所述初始识别模型记为第一文字识别模型。
如上所述,实现了将所述初始识别模型记为第一文字识别模型。其中,所述样本数据包括底色为第一颜色且字体颜色为第二颜色的文字图片,以及与所述文字图片对应的人工标注的文字文本,并且所述文字图片中的文字图案的色值对比度大于预设的对比程度阈值,所述文字图片中的文字为数字、字母或者汉字中的一种,从而保证本申请中的第一文字识别模型仅针对于一种类型的文字进行识别,这样模型的训练复杂性显著降低,训练耗时更短,对于该类型文字的识别准确性也更高。再调用预设的神经网络模型,并采用所述第一集合中的样本数据对所述神经网络进行训练,从而得到初始识别模型;采用所述第二集合中的样本数据对所述初始识别模型进行验证处理,从而得到验证结果,其中所述验证结果包括验证通过或者验证未通过;判断所述验证结果是否为验证通过;若所述验证结果为验证通过,则将所述初始识别模型记为第一文字识别模型,从而保证第一文字识别模型为仅胜任单一类型文字识别的快速识别模型,从而提高模型获取速度与最终的识别准确性。
在一个实施方式中,所述第二文字识别模型由多个子识别模型构成,所述将所述第二图像输入预设的第二文字识别模型中,从而得到所述第二文字识别模型输出的对应于第一文字的第一文本,其中,所述第二文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理的步骤S8,包括:
S801、将所述第二图像中的第一文字图案进行切分处理,从而得到多个拆分字符图案,其中所述多个拆分字符图案的数量等于所述多个子识别模型的数量;
S802、将所述多个拆分字符图案对应输入所述多个子识别模型中,从而得到所述多个子识别模型对应输出的多个字符文本;
S803、拼接所述多个字符文本,以得到暂时识别文本;
S804、对所述暂时识别文本进行多次字体设置,并在每次字体设置后采集暂时识别文本的图像,从而得到多张暂时图片;
S805、根据预设的图案相似度计算方法,计算所述暂时图片与所述第二图像的相似度,从而得到与所述多张暂时图片分别对应的多个相似度值;
S806、判断所述多个相似度值中的最大值是否大于预设的图案相似阈值;
S807、若所述多个相似度值中的最大值大于预设的图案相似阈值,则将所述暂时识别文本记为对应于第一文字的第一文本。
如上所述,实现了得到所述第二文字识别模型输出的对应于第一文字的第一文本。为了进一步提高识别的准确性,本申请采用所述第二文字识别模型由多个子识别模型构成的设计,将识别粒度进一步细化。其中,将所述第二图像中的第一文字图案进行切分处理可采用任意可行方式,例如以不连接字迹距离大于或等于预设距离为依据,进行切分处理,从而得到多个拆分字符图案。再将所述多个拆分字符图案对应输入所述多个子识别模型中,从而每个子识别模型仅需对单一字符进行识别即可。得到所述多个子识别模型对应输出的多个字符文本;
拼接所述多个字符文本,以得到暂时识别文本,该暂时识别文本一般而言即为准确的识别结果。但是,本申请为了防止识别错误的情况出现,采用了特别的设计以保证准确性。即,对所述暂时识别文本进行多次字体设置,并在每次字体设置后采集暂时识别文本的图像,从而得到多张暂时图片;根据预设的图案相似度计算方法,计算所述暂时图片与所述第二图像的相似度,从而得到与所述多张暂时图片分别对应的多个相似度值,从而以多个相似度值作为识别是否准确的依据。再判断所述多个相似度值中的最大值是否大于预设的图案相似阈值,若所述多个相似度值中的最大值大于预设的图案相似阈值,则表明识别准确,从而将所述暂时识别文本记为对应于第一文字的第一文本。其中,对所述暂时识别文本进行多次字体设置,并在每次字体设置后采集暂时识别文本的图像的目的在于,真实板材上的文字多为特定的印刷字体格式,因此进行多次字体设置之后采集的图像,必然有一张是与所述第二图像完全相同或者近乎完全相同的。再通过判断所述多个相似度值中的最大值是否大于预设的图案相似阈值的方式,即可得知识别是否准确,从而保证识别结果的可信度。
本申请的基于真实板材的文字识别方法,开启预设的红外光生成器与可见光生成器;采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第一图像;判断第一图像中的第二文字图案的色值对比度是否大于预设的对比程度阈值;若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则得到对应于第二文字的第二文本;关闭红外光生成器,并开启预设的紫外光生成器;采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第二图像;判断第二图像中的第一文字图案的色值对比度是否大于预设的对比程度阈值;若第二图像中的第一文字图案的色值对比度大于预设的对比程度阈值,则得到对应于第一文字的第一文本;组合所述第一文本和第二文本,以得到最终的文字识别结果。从而文字识别的准确性与计算资源消耗都得到了优化。
参照图2,本申请实施例提供一种基于真实板材的文字识别装置,所述真实板材包括第一区域和第二区域,所述第一区域在可见光下呈现第一颜色,所述第二区域在可见光下呈现第二颜色,所述第一区域中承载有由第一材料绘制的第一文字,所述第二区域中承载有由第二材料绘制的第二文字;所述第一材料在可见光下呈现第二颜色,且所述第一材料在红外光照射下呈现第一颜色,并且所述第一材料在同时被可见光和红外光照射时呈现的第一颜色的亮度高于呈现的第二颜色的亮度;所述第二材料在可见光下呈现第一颜色,且所述第二材料在紫外光照射下呈现第二颜色,并且所述第二材料在同时被可见光和紫外光照射时呈现的第二颜色的亮度高于呈现的第一颜色的亮度;所述装置,包括:
红外光生成器开启单元10,用于开启预设的红外光生成器与可见光生成器,以使所述真实板材处于被红外光和可见光同时照射的状态下;
第一图像获取单元20,用于采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第一图像,其中所述第一图像中第一文字对应的第一文字图案的色值对比度低于第二文字对应的第二文字图案的色值对比度;
第一图像判断单元30,用于判断第一图像中的第二文字图案的色值对比度是否大于预设的对比程度阈值;
第二文本获取单元40,用于若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则将所述第一图像输入预设的第一文字识别模型中,从而得到所述第一文字识别模型输出的对应于第二文字的第二文本;其中,所述第一文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理;
紫外光生成器开启单元50,用于关闭红外光生成器,并开启预设的紫外光生成器,以使所述真实板材处于被紫外光和可见光同时照射的状态下;
第二图像获取单元60,用于采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第二图像,其中所述第二图像中第一文字对应的第一文字图案的色值对比度高于第二文字对应的第二文字图案;
第二图像判断单元70,用于判断第二图像中的第一文字图案的色值对比度是否大于预设的对比程度阈值;
第一文本获取单元80,用于若第二图像中的第一文字图案的色值对比度大于预设的对比程度阈值,则将所述第二图像输入预设的第二文字识别模型中,从而得到所述第二文字识别模型输出的对应于第一文字的第一文本,其中,所述第二文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理;
文本组合单元90,用于组合所述第一文本和第二文本,以得到最终的文字识别结果。
其中上述单元或子单元分别用于执行的操作与前述实施方式的基于真实板材的文字识别方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述装置,包括:
光生成器同时开启单元,用于同时开启预设的红外光生成器、紫外光生成器与可见光生成器,以使所述真实板材处于被红外光、紫外光和可见光同时照射的状态下;
第三图像获取单元,用于采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第三图像;
边界线检测单元,用于根据预设的边界线检测方法,对所述第三图像进行检测,从而得到边界线,其中所述边界线将相邻的两个像素点划分开,所述两个像素点的色值之差高于预设的色值阈值;
边界线判断单元,用于判断所述边界线是否为直线;
光线生成指令生成单元,用于若所述边界线不为直线,则生成光线生成指令,所述光线生成指令用于指示将所述紫外光生成器关闭,并开启预设的红外光生成器与可见光生成器,以使所述真实板材处于被红外光和可见光同时照射的状态下。
其中上述单元或子单元分别用于执行的操作与前述实施方式的基于真实板材的文字识别方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述装置,包括:
综合文本获取单元,用于若所述边界线为直线,则将所述第三图像输入预设的综合文字识别模型中,从而得到所述综合文字识别模型输出的综合文本;其中所述综合文字识别模型基于神经网络模型,并采用预收集的训练数据训练而成;所述训练数据由训练用图片,以及在所述训练用图片上人工标注的呈直线的分界线构成;所述训练用图片上仅包括汉字和字母,并且所述汉字和字母顺序连接、或者所述字母和汉字顺序连接;
综合文本判断单元,用于判断所述综合文本中是否仅包括汉字和字母;
顺序连接判断单元,用于若所述综合文本中仅包括汉字和字母,则判断所述综合文本中的汉字和字母是否顺序连接,或者所述综合文本中的字母和汉字是否顺序连接;
文字识别结果标记单元,用于若所述综合文本中的汉字和字母顺序连接,或者所述综合文本中的字母和汉字顺序连接,则将所述综合文本记为对所述真实板材的文字识别结果。
其中上述单元或子单元分别用于执行的操作与前述实施方式的基于真实板材的文字识别方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述装置,包括:
样本数据获取单元,用于获取预收集的样本数据,并将所述样本数据根据预设比例划分为第一集合和第二集合,其中所述样本数据包括底色为第一颜色且字体颜色为第二颜色的文字图片,以及与所述文字图片对应的人工标注的文字文本,并且所述文字图片中的文字图案的色值对比度大于预设的对比程度阈值,所述文字图片中的文字为数字、字母或者汉字中的一种;
初始识别模型获取单元,用于调用预设的神经网络模型,并采用所述第一集合中的样本数据对所述神经网络进行训练,从而得到初始识别模型;
验证结果获取单元,用于采用所述第二集合中的样本数据对所述初始识别模型进行验证处理,从而得到验证结果,其中所述验证结果包括验证通过或者验证未通过;
验证结果判断单元,用于判断所述验证结果是否为验证通过;
初始识别模型标记单元,用于若所述验证结果为验证通过,则将所述初始识别模型记为第一文字识别模型。
其中上述单元或子单元分别用于执行的操作与前述实施方式的基于真实板材的文字识别方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述第二文字识别模型由多个子识别模型构成,所述第一文本获取单元80,包括:
切分处理子单元,用于将所述第二图像中的第一文字图案进行切分处理,从而得到多个拆分字符图案,其中所述多个拆分字符图案的数量等于所述多个子识别模型的数量;
多个字符文本获取子单元,用于将所述多个拆分字符图案对应输入所述多个子识别模型中,从而得到所述多个子识别模型对应输出的多个字符文本;
暂时识别文本获取子单元,用于拼接所述多个字符文本,以得到暂时识别文本;
多张暂时图片获取子单元,用于对所述暂时识别文本进行多次字体设置,并在每次字体设置后采集暂时识别文本的图像,从而得到多张暂时图片;
多个相似度值获取子单元,用于根据预设的图案相似度计算方法,计算所述暂时图片与所述第二图像的相似度,从而得到与所述多张暂时图片分别对应的多个相似度值;
图案相似阈值判断子单元,用于判断所述多个相似度值中的最大值是否大于预设的图案相似阈值;
暂时识别文本标记子单元,用于若所述多个相似度值中的最大值大于预设的图案相似阈值,则将所述暂时识别文本记为对应于第一文字的第一文本。
其中上述单元或子单元分别用于执行的操作与前述实施方式的基于真实板材的文字识别方法的步骤一一对应,在此不再赘述。
本申请的基于真实板材的文字识别装置,开启预设的红外光生成器与可见光生成器;采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第一图像;判断第一图像中的第二文字图案的色值对比度是否大于预设的对比程度阈值;若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则得到对应于第二文字的第二文本;关闭红外光生成器,并开启预设的紫外光生成器;采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第二图像;判断第二图像中的第一文字图案的色值对比度是否大于预设的对比程度阈值;若第二图像中的第一文字图案的色值对比度大于预设的对比程度阈值,则得到对应于第一文字的第一文本;组合所述第一文本和第二文本,以得到最终的文字识别结果。从而文字识别的准确性与计算资源消耗都得到了优化。
参照图3,本发明实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于真实板材的文字识别方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于真实板材的文字识别方法。
上述处理器执行上述基于真实板材的文字识别方法,其中所述方法包括的步骤分别与执行前述实施方式的基于真实板材的文字识别方法的步骤一一对应,在此不再赘述。
本领域技术人员可以理解,图中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备,开启预设的红外光生成器与可见光生成器;采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第一图像;判断第一图像中的第二文字图案的色值对比度是否大于预设的对比程度阈值;若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则得到对应于第二文字的第二文本;关闭红外光生成器,并开启预设的紫外光生成器;采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第二图像;判断第二图像中的第一文字图案的色值对比度是否大于预设的对比程度阈值;若第二图像中的第一文字图案的色值对比度大于预设的对比程度阈值,则得到对应于第一文字的第一文本;组合所述第一文本和第二文本,以得到最终的文字识别结果。从而文字识别的准确性与计算资源消耗都得到了优化。
本申请一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现基于真实板材的文字识别方法,其中所述方法包括的步骤分别与执行前述实施方式的基于真实板材的文字识别方法的步骤一一对应,在此不再赘述。
本申请的计算机可读存储介质,开启预设的红外光生成器与可见光生成器;采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第一图像;判断第一图像中的第二文字图案的色值对比度是否大于预设的对比程度阈值;若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则得到对应于第二文字的第二文本;关闭红外光生成器,并开启预设的紫外光生成器;采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第二图像;判断第二图像中的第一文字图案的色值对比度是否大于预设的对比程度阈值;若第二图像中的第一文字图案的色值对比度大于预设的对比程度阈值,则得到对应于第一文字的第一文本;组合所述第一文本和第二文本,以得到最终的文字识别结果。从而文字识别的准确性与计算资源消耗都得到了优化。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于真实板材的文字识别方法,其特征在于,所述真实板材包括第一区域和第二区域,所述第一区域在可见光下呈现第一颜色,所述第二区域在可见光下呈现第二颜色,所述第一区域中承载有由第一材料绘制的第一文字,所述第二区域中承载有由第二材料绘制的第二文字;所述第一材料在可见光下呈现第二颜色,且所述第一材料在红外光照射下呈现第一颜色,并且所述第一材料在同时被可见光和红外光照射时呈现的第一颜色的亮度高于呈现的第二颜色的亮度;所述第二材料在可见光下呈现第一颜色,且所述第二材料在紫外光照射下呈现第二颜色,并且所述第二材料在同时被可见光和紫外光照射时呈现的第二颜色的亮度高于呈现的第一颜色的亮度;所述方法,包括:
开启预设的红外光生成器与可见光生成器,以使所述真实板材处于被红外光和可见光同时照射的状态下;
采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第一图像,其中所述第一图像中第一文字对应的第一文字图案的色值对比度低于第二文字对应的第二文字图案的色值对比度;
判断第一图像中的第二文字图案的色值对比度是否大于预设的对比程度阈值;
若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则将所述第一图像输入预设的第一文字识别模型中,从而得到所述第一文字识别模型输出的对应于第二文字的第二文本;其中,所述第一文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理;
关闭红外光生成器,并开启预设的紫外光生成器,以使所述真实板材处于被紫外光和可见光同时照射的状态下;
采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第二图像,其中所述第二图像中第一文字对应的第一文字图案的色值对比度高于第二文字对应的第二文字图案;
判断第二图像中的第一文字图案的色值对比度是否大于预设的对比程度阈值;
若第二图像中的第一文字图案的色值对比度大于预设的对比程度阈值,则将所述第二图像输入预设的第二文字识别模型中,从而得到所述第二文字识别模型输出的对应于第一文字的第一文本,其中,所述第二文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理;
组合所述第一文本和第二文本,以得到最终的文字识别结果。
2.根据权利要求1所述的基于真实板材的文字识别方法,其特征在于,所述开启预设的红外光生成器与可见光生成器,以使所述真实板材处于被红外光和可见光同时照射的状态下的步骤之前,包括:
同时开启预设的红外光生成器、紫外光生成器与可见光生成器,以使所述真实板材处于被红外光、紫外光和可见光同时照射的状态下;
采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第三图像;
根据预设的边界线检测方法,对所述第三图像进行检测,从而得到边界线,其中所述边界线将相邻的两个像素点划分开,所述两个像素点的色值之差高于预设的色值阈值;
判断所述边界线是否为直线;
若所述边界线不为直线,则生成光线生成指令,所述光线生成指令用于指示将所述紫外光生成器关闭,并开启预设的红外光生成器与可见光生成器,以使所述真实板材处于被红外光和可见光同时照射的状态下。
3.根据权利要求2所述的基于真实板材的文字识别方法,其特征在于,所述判断所述边界线是否为直线的步骤之后,包括:
若所述边界线为直线,则将所述第三图像输入预设的综合文字识别模型中,从而得到所述综合文字识别模型输出的综合文本;其中所述综合文字识别模型基于神经网络模型,并采用预收集的训练数据训练而成;所述训练数据由训练用图片,以及在所述训练用图片上人工标注的呈直线的分界线构成;所述训练用图片上仅包括汉字和字母,并且所述汉字和字母顺序连接、或者所述字母和汉字顺序连接;
判断所述综合文本中是否仅包括汉字和字母;
若所述综合文本中仅包括汉字和字母,则判断所述综合文本中的汉字和字母是否顺序连接,或者所述综合文本中的字母和汉字是否顺序连接;
若所述综合文本中的汉字和字母顺序连接,或者所述综合文本中的字母和汉字顺序连接,则将所述综合文本记为对所述真实板材的文字识别结果。
4.根据权利要求1所述的基于真实板材的文字识别方法,其特征在于,所述若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则将所述第一图像输入预设的第一文字识别模型中,从而得到所述第一文字识别模型输出的对应于第二文字的第二文本;其中,所述第一文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理的步骤之前,包括:
获取预收集的样本数据,并将所述样本数据根据预设比例划分为第一集合和第二集合,其中所述样本数据包括底色为第一颜色且字体颜色为第二颜色的文字图片,以及与所述文字图片对应的人工标注的文字文本,并且所述文字图片中的文字图案的色值对比度大于预设的对比程度阈值,所述文字图片中的文字为数字、字母或者汉字中的一种;
调用预设的神经网络模型,并采用所述第一集合中的样本数据对所述神经网络进行训练,从而得到初始识别模型;
采用所述第二集合中的样本数据对所述初始识别模型进行验证处理,从而得到验证结果,其中所述验证结果包括验证通过或者验证未通过;
判断所述验证结果是否为验证通过;
若所述验证结果为验证通过,则将所述初始识别模型记为第一文字识别模型。
5.根据权利要求1所述的基于真实板材的文字识别方法,其特征在于,所述第二文字识别模型由多个子识别模型构成,所述将所述第二图像输入预设的第二文字识别模型中,从而得到所述第二文字识别模型输出的对应于第一文字的第一文本,其中,所述第二文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理的步骤,包括:
将所述第二图像中的第一文字图案进行切分处理,从而得到多个拆分字符图案,其中所述多个拆分字符图案的数量等于所述多个子识别模型的数量;
将所述多个拆分字符图案对应输入所述多个子识别模型中,从而得到所述多个子识别模型对应输出的多个字符文本;
拼接所述多个字符文本,以得到暂时识别文本;
对所述暂时识别文本进行多次字体设置,并在每次字体设置后采集暂时识别文本的图像,从而得到多张暂时图片;
根据预设的图案相似度计算方法,计算所述暂时图片与所述第二图像的相似度,从而得到与所述多张暂时图片分别对应的多个相似度值;
判断所述多个相似度值中的最大值是否大于预设的图案相似阈值;
若所述多个相似度值中的最大值大于预设的图案相似阈值,则将所述暂时识别文本记为对应于第一文字的第一文本。
6.一种基于真实板材的文字识别装置,其特征在于,所述真实板材包括第一区域和第二区域,所述第一区域在可见光下呈现第一颜色,所述第二区域在可见光下呈现第二颜色,所述第一区域中承载有由第一材料绘制的第一文字,所述第二区域中承载有由第二材料绘制的第二文字;所述第一材料在可见光下呈现第二颜色,且所述第一材料在红外光照射下呈现第一颜色,并且所述第一材料在同时被可见光和红外光照射时呈现的第一颜色的亮度高于呈现的第二颜色的亮度;所述第二材料在可见光下呈现第一颜色,且所述第二材料在紫外光照射下呈现第二颜色,并且所述第二材料在同时被可见光和紫外光照射时呈现的第二颜色的亮度高于呈现的第一颜色的亮度;所述装置,包括:
红外光生成器开启单元,用于开启预设的红外光生成器与可见光生成器,以使所述真实板材处于被红外光和可见光同时照射的状态下;
第一图像获取单元,用于采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第一图像,其中所述第一图像中第一文字对应的第一文字图案的色值对比度低于第二文字对应的第二文字图案的色值对比度;
第一图像判断单元,用于判断第一图像中的第二文字图案的色值对比度是否大于预设的对比程度阈值;
第二文本获取单元,用于若第一图像中的第二文字图案的色值对比度大于预设的对比程度阈值,则将所述第一图像输入预设的第一文字识别模型中,从而得到所述第一文字识别模型输出的对应于第二文字的第二文本;其中,所述第一文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理;
紫外光生成器开启单元,用于关闭红外光生成器,并开启预设的紫外光生成器,以使所述真实板材处于被紫外光和可见光同时照射的状态下;
第二图像获取单元,用于采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第二图像,其中所述第二图像中第一文字对应的第一文字图案的色值对比度高于第二文字对应的第二文字图案;
第二图像判断单元,用于判断第二图像中的第一文字图案的色值对比度是否大于预设的对比程度阈值;
第一文本获取单元,用于若第二图像中的第一文字图案的色值对比度大于预设的对比程度阈值,则将所述第二图像输入预设的第二文字识别模型中,从而得到所述第二文字识别模型输出的对应于第一文字的第一文本,其中,所述第二文字识别模型仅对色值对比度大于对比程度阈值的区域进行文字识别处理;
文本组合单元,用于组合所述第一文本和第二文本,以得到最终的文字识别结果。
7.根据权利要求6所述的基于真实板材的文字识别装置,其特征在于,所述装置,包括:
光生成器同时开启单元,用于同时开启预设的红外光生成器、紫外光生成器与可见光生成器,以使所述真实板材处于被红外光、紫外光和可见光同时照射的状态下;
第三图像获取单元,用于采用预设的可见光成像的摄像头,对所述真实板材进行图像采集处理,从而得到第三图像;
边界线检测单元,用于根据预设的边界线检测方法,对所述第三图像进行检测,从而得到边界线,其中所述边界线将相邻的两个像素点划分开,所述两个像素点的色值之差高于预设的色值阈值;
边界线判断单元,用于判断所述边界线是否为直线;
光线生成指令生成单元,用于若所述边界线不为直线,则生成光线生成指令,所述光线生成指令用于指示将所述紫外光生成器关闭,并开启预设的红外光生成器与可见光生成器,以使所述真实板材处于被红外光和可见光同时照射的状态下。
8.根据权利要求7所述的基于真实板材的文字识别装置,其特征在于,所述装置,包括:
综合文本获取单元,用于若所述边界线为直线,则将所述第三图像输入预设的综合文字识别模型中,从而得到所述综合文字识别模型输出的综合文本;其中所述综合文字识别模型基于神经网络模型,并采用预收集的训练数据训练而成;所述训练数据由训练用图片,以及在所述训练用图片上人工标注的呈直线的分界线构成;所述训练用图片上仅包括汉字和字母,并且所述汉字和字母顺序连接、或者所述字母和汉字顺序连接;
综合文本判断单元,用于判断所述综合文本中是否仅包括汉字和字母;
顺序连接判断单元,用于若所述综合文本中仅包括汉字和字母,则判断所述综合文本中的汉字和字母是否顺序连接,或者所述综合文本中的字母和汉字是否顺序连接;
文字识别结果标记单元,用于若所述综合文本中的汉字和字母顺序连接,或者所述综合文本中的字母和汉字顺序连接,则将所述综合文本记为对所述真实板材的文字识别结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202010623471.3A 2020-06-30 2020-06-30 基于真实板材的文字识别方法、装置和计算机设备 Active CN111783776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010623471.3A CN111783776B (zh) 2020-06-30 2020-06-30 基于真实板材的文字识别方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010623471.3A CN111783776B (zh) 2020-06-30 2020-06-30 基于真实板材的文字识别方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN111783776A CN111783776A (zh) 2020-10-16
CN111783776B true CN111783776B (zh) 2022-09-09

Family

ID=72760757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010623471.3A Active CN111783776B (zh) 2020-06-30 2020-06-30 基于真实板材的文字识别方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN111783776B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668649B (zh) * 2020-12-29 2022-04-22 中国南方电网有限责任公司 一种基于计算机取证的可靠性验证方法、装置和系统
CN114312090B (zh) * 2021-12-17 2023-06-02 福建顺景机械工业有限公司 一种基于字符个数和序列的木材配件编号方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157035A (ja) * 2008-12-26 2010-07-15 Ritsumeikan 合成画像表示システム、合成画像表示方法、及び合成画像表示プログラム
CN204348070U (zh) * 2014-12-02 2015-05-20 杭州海康威视数字技术股份有限公司 车牌的识别装置以及用于车牌识别的摄像机、系统
CN105719488A (zh) * 2014-12-02 2016-06-29 杭州海康威视数字技术股份有限公司 车牌的识别方法、装置以及用于车牌识别的摄像机、系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753953B (zh) * 2017-11-03 2022-10-11 腾讯科技(深圳)有限公司 图像中定位文本的方法、装置、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157035A (ja) * 2008-12-26 2010-07-15 Ritsumeikan 合成画像表示システム、合成画像表示方法、及び合成画像表示プログラム
CN204348070U (zh) * 2014-12-02 2015-05-20 杭州海康威视数字技术股份有限公司 车牌的识别装置以及用于车牌识别的摄像机、系统
CN105719488A (zh) * 2014-12-02 2016-06-29 杭州海康威视数字技术股份有限公司 车牌的识别方法、装置以及用于车牌识别的摄像机、系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
自然场景中特定文字图像优化识别研究与仿真;李月洁;《计算机仿真》;20161115;第33卷(第11期);第357-360页 *

Also Published As

Publication number Publication date
CN111783776A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111783776B (zh) 基于真实板材的文字识别方法、装置和计算机设备
Chellapilla et al. Using machine learning to break visual human interaction proofs (HIPs)
CN108876166A (zh) 财务风险验证处理方法、装置、计算机设备及存储介质
CN112613501A (zh) 信息审核分类模型的构建方法和信息审核方法
CN110705233B (zh) 基于文字识别技术的笔记生成方法、装置和计算机设备
CN107070852A (zh) 网络攻击检测方法和装置
CN109117885B (zh) 一种基于深度学习的邮票识别方法
KR20220007130A (ko) 위조 얼굴 인식 방법, 장치 및 비-일시적 컴퓨터 판독 가능한 저장 매체
CN113505772B (zh) 基于生成对抗网络的车牌图像生成方法及系统
CN111382743B (zh) 基于数据增强和数据生成的车牌字符识别方法
CN111951154B (zh) 包含背景和介质的图片的生成方法及装置
CN109886110A (zh) 微表情评分方法、装置、计算机设备及存储介质
CN108364037A (zh) 识别手写汉字的方法、系统及设备
CN110633751A (zh) 车标分类模型的训练方法、车标识别方法、装置及设备
CN111310156A (zh) 一种滑块验证码的自动识别方法及系统
CN114550189A (zh) 票据识别方法、装置、设备、计算机存储介质和程序产品
CN116189063B (zh) 一种用于智能视频监控的关键帧优化方法及装置
Rodríguez-Serrano et al. Data-driven vehicle identification by image matching
CN112560855A (zh) 图像信息提取方法、装置、电子设备及存储介质
Jain et al. Vehicle license plate recognition
WO2021139341A1 (zh) 基于红外光和紫外光的文字识别方法、装置和计算机设备
CN116263784A (zh) 面向图片文本的粗粒度情感分析方法及装置
CN111626244B (zh) 图像识别方法、装置、电子设备和介质
US11823521B2 (en) Image processing method for an identity document
CN106548187A (zh) 一种图像认证方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant