CN112232336A - 一种证件识别方法、装置、设备及存储介质 - Google Patents

一种证件识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112232336A
CN112232336A CN202010911003.6A CN202010911003A CN112232336A CN 112232336 A CN112232336 A CN 112232336A CN 202010911003 A CN202010911003 A CN 202010911003A CN 112232336 A CN112232336 A CN 112232336A
Authority
CN
China
Prior art keywords
certificate
keyword
text
area
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010911003.6A
Other languages
English (en)
Inventor
郑利群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202010911003.6A priority Critical patent/CN112232336A/zh
Publication of CN112232336A publication Critical patent/CN112232336A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Character Input (AREA)

Abstract

本发明提供了一种证件识别方法、装置、设备及存储介质,该方法包括获取待识别证件的图片,对待识别证件的图片进行目标检测,确定出待识别证件的证件区域和证件区域内的关键词,并确定出关键词的位置,使用预设的规则对关键词的位置进行处理,确定出关键词对应的文本区域,对关键词对应的文本区域进行识别,确定出文本区域对应的文本内容。通过将目标检测和预设的规则放在一起替代原有的证件检测和文本检测,可以同时快速准确地将待识别证件的证件区域和该证件区域内的关键词检测出来,并使用预设的规则框出关键词对应的文本区域,可以有助于提高证件识别的性能,并且对于同一类证件的识别具有很强的通用性。

Description

一种证件识别方法、装置、设备及存储介质
技术领域
本发明涉及金融科技(Fintech)领域,尤其涉及一种证件识别方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展,越来越多的技术应用在金融领域,传统金融业正在逐步向金融科技转变,但由于金融行业的安全性、实时性要求,也对技术提出的更高的要求。比如客户在办理金融业务时,为了确保业务操作的安全性,需要对客户的身份信息进行校验,一般都是客户在客户业务办理系统上传自己的证件照片,以便业务人员利用OCR(OpticalCharacter Recognition,光学字符识别)技术对该证件照片进行校验。
现有的证件识别方法一般是基于OCR技术对用户上传的证件照片进行证件检测(检测出证件区域)、文本检测(检测出证件文本区域)和文字识别,识别出用户上传的证件照片中的文本信息(比如姓名、证件号等),以供业务人员进行校验。然而这种处理方式需要在对用户上传的证件照片进行证件检测之后再进行文本检测,导致证件照片检测的流程较长、性能较低。其中,由于文本检测需要较大量的文本标注,且证件类样本获取难度高,导致文本标注的成本较大,此外,文本检测的结果也受证件排版以及文字密集度的影响较大。
综上,目前亟需一种证件识别方法,用以提高证件识别的准确性、效率。
发明内容
本发明提供了一种证件识别方法、装置、设备及存储介质,用以提高证件识别的准确性、效率。
第一方面,本发明提供了一种证件识别方法,包括:
获取待识别证件的图片;
对所述待识别证件的图片进行目标检测,确定出所述待识别证件的证件区域和所述证件区域内的关键词,并确定出所述关键词的位置;
使用预设的规则对所述关键词的位置进行处理,确定出所述关键词对应的文本区域;
对所述关键词对应的文本区域进行识别,确定出所述文本区域对应的文本内容。
上述技术方案中,通过对待识别证件的图片进行目标检测,可同时快速准确地将待识别证件的证件区域和该证件区域内的关键词检测出来,并基于该待识别证件的证件区域和该证件区域内的关键词,可以准确地确定出该关键词的位置,并使用预设的规则对该关键词的位置进行处理,可以确定出该关键词对应的文本区域。之后对关键词对应的文本区域进行识别,可以准确快速地确定出文本区域对应的文本内容。由于现有的证件识别方法是将待识别证件进行证件检测之后再进行文本检测,导致待识别证件检测的流程较长、性能较低,因此通过将目标检测和预设的规则放在一起替代原有的证件检测和文本检测,能够同时快速准确地将待识别证件的证件区域和该证件区域内的关键词检测出来,并使用预设的规则框出关键词对应的文本区域,可以有助于提高证件识别的性能,并且对于同一类证件的识别具有很强的通用性。
可选地,所述对所述待识别证件的图片进行目标检测,确定出所述待识别证件的证件区域和所述证件区域内的关键词,并确定出所述关键词的位置,包括:
将所述待识别证件的图片输入到多目标检测模型进行识别,确定出所述待识别证件的证件区域和所述证件区域内的关键词;所述多目标检测模型是使用第一证件图片样本集对预设的实例分割模型进行训练确定的;
基于所述待识别证件的证件区域和所述证件区域内的关键词,确定出所述关键词的位置。
上述技术方案中,通过将待识别证件的图片输入到多目标检测模型进行识别,可同时快速准确地将待识别证件的证件区域和该证件区域内的关键词检测出来,并直接快速地确定出关键词的位置。并由于待识别证件的特征明显,在训练预设的实例分割模型时仅需要少量的训练样本就能使多目标检测模型达到很好的检测效果,如此对于训练样本获取难度大的证件具有很高的实用性。
可选地,所述使用预设的规则对所述关键词的位置进行处理,确定出所述关键词对应的文本区域,包括:
基于所述关键词的位置,按照预设的缩放比例将所述关键词的位置所在区域进行缩放处理,确定出所述关键词对应的文本区域。
上述技术方案中,通过基于关键词的位置,按照一定的缩放比例将关键词的位置所在区域进行缩放处理,可以直接有效地将关键词的位置对应的文本区域框出来。
可选地,在所述确定出所述关键词对应的文本区域之后,还包括:
确定所述关键词对应的文本区域是否存在多行或多列文本;
若是,则使用预设的切割规则对所述关键词对应的文本区域进行切割处理,确定出所述关键词对应的多个文本区域,否则将所述关键词对应的单行或单列文本区域确定为所述关键词对应的文本区域。
上述技术方案中,在确定出关键词对应的文本区域后,需要判断该关键词对应的文本区域是否存在多行或多列文本,并在确定该关键词对应的文本区域存在多行或多列文本时,使用预设的切割规则对所述关键词对应的文本区域进行切割处理,以便为后续文本识别模型准确地识别出文本区域对应的文本内容提供支持。
可选地,所述使用预设的切割规则对所述关键词对应的文本区域进行切割处理,确定出所述关键词对应的多个文本区域,包括:
将所述关键词对应的文本区域进行截图处理,得到所述关键词对应的文本区域图片;
对所述关键词对应的文本区域图片进行灰度化处理,得到空白部分,并对所述空白部分进行切割处理,得到所述关键词对应的多个文本区域。
上述技术方案中,通过对关键词对应的文本区域图片进行灰度化处理,可以准确地得到空白部分,并对空白部分进行切割处理,可以准确地得到关键词对应的多个文本区域,以便为后续文本识别模型准确地识别出文本区域对应的文本内容提供支持。
可选地,所述使用第一证件图片样本集对预设的实例分割模型进行训练确定所述多目标检测模型,包括:
获取所述第一证件图片样本集;
对所述第一证件图片样本集中的关键词进行标注,得到标注后的所述第一证件图片样本集;
对所述标注后的所述第一证件图片样本集进行向量化处理,得到所述标注后的所述第一证件图片样本集对应的样本向量集;
将所述标注后的所述第一证件图片样本集对应的样本向量集输入到所述预设的实例分割模型进行训练,得到所述多目标检测模型。
上述技术方案中,通过对标注后的第一证件图片样本集进行向量化处理,得到标注后的第一证件图片样本集对应的样本向量集,并将标注后的第一证件图片样本集对应的样本向量集输入到预设的实例分割模型进行训练,得到多目标检测模型,可以为同时快速准确地将待识别证件的证件区域和该证件区域内的关键词检测出来提供支持。
可选地,在所述对所述关键词对应的文本区域进行识别之前,还包括:
获取第二证件图片样本集;
对所述第二证件图片样本集中的文本内容进行标注,得到标注后的所述第二证件图片样本集;
对所述标注后的所述第二证件图片样本集进行向量化处理,得到所述标注后的所述第二证件图片样本集对应的样本向量集;
将所述标注后的所述第二证件图片样本集对应的样本向量集输入到预设的文本识别模型进行训练,得到文本识别模型;
所述对所述关键词对应的文本区域进行识别,确定出所述文本区域对应的文本内容,包括:
将所述关键词对应的文本区域输入到所述文本识别模型进行识别,确定出所述文本区域对应的文本内容。
上述技术方案中,通过对标注后的第二证件图片样本集进行向量化处理,得到标注后的第二证件图片样本集对应的样本向量集,并将标注后的第二证件图片样本集对应的样本向量集输入到预设的文本识别模型进行训练,得到文本识别模型,可以为准确地识别出文本区域对应的文本内容提供支持。之后将关键词对应的文本区域输入到文本识别模型进行识别,可以快速准确地确定出文本区域对应的文本内容。
第二方面,本发明还提供了一种证件识别装置,包括:
获取单元,用于获取待识别证件的图片;
处理单元,用于对所述待识别证件的图片进行目标检测,确定出所述待识别证件的证件区域和所述证件区域内的关键词,并确定出所述关键词的位置;使用预设的规则对所述关键词的位置进行处理,确定出所述关键词对应的文本区域;对所述关键词对应的文本区域进行识别,确定出所述文本区域对应的文本内容。
可选地,所述处理单元具体用于:
将所述待识别证件的图片输入到多目标检测模型进行识别,确定出所述待识别证件的证件区域和所述证件区域内的关键词;所述多目标检测模型是使用第一证件图片样本集对预设的实例分割模型进行训练确定的;
基于所述待识别证件的证件区域和所述证件区域内的关键词,确定出所述关键词的位置。
可选地,所述处理单元具体用于:
基于所述关键词的位置,按照预设的缩放比例将所述关键词的位置所在区域进行缩放处理,确定出所述关键词对应的文本区域。
可选地,所述处理单元还用于:
在确定出所述关键词对应的文本区域之后,确定所述关键词对应的文本区域是否存在多行或多列文本;
若是,则使用预设的切割规则对所述关键词对应的文本区域进行切割处理,确定出所述关键词对应的多个文本区域,否则将所述关键词对应的单行或单列文本区域确定为所述关键词对应的文本区域。
可选地,所述处理单元具体用于:
将所述关键词对应的文本区域进行截图处理,得到所述关键词对应的文本区域图片;
对所述关键词对应的文本区域图片进行灰度化处理,得到空白部分,并对所述空白部分进行切割处理,得到所述关键词对应的多个文本区域。
可选地,所述处理单元具体用于:
获取所述第一证件图片样本集;
对所述第一证件图片样本集中的关键词进行标注,得到标注后的所述第一证件图片样本集;
对所述标注后的所述第一证件图片样本集进行向量化处理,得到所述标注后的所述第一证件图片样本集对应的样本向量集;
将所述标注后的所述第一证件图片样本集对应的样本向量集输入到所述预设的实例分割模型进行训练,得到所述多目标检测模型。
可选地,所述处理单元还用于:
在对所述关键词对应的文本区域进行识别之前,获取第二证件图片样本集;
对所述第二证件图片样本集中的文本内容进行标注,得到标注后的所述第二证件图片样本集;
对所述标注后的所述第二证件图片样本集进行向量化处理,得到所述标注后的所述第二证件图片样本集对应的样本向量集;
将所述标注后的所述第二证件图片样本集对应的样本向量集输入到预设的文本识别模型进行训练,得到文本识别模型;
所述处理单元具体用于:
将所述关键词对应的文本区域输入到所述文本识别模型进行识别,确定出所述文本区域对应的文本内容。
第三方面,本发明提供一种计算设备,包括:
存储器,用于存储计算机程序;
处理器,用于调用所述存储器中存储的计算机程序,按照获得的程序执行证件识别方法。
第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行程序,所述计算机可执行程序用于使计算机执行证件识别方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构的示意图;
图2为本发明实施例提供的一种证件识别方法的流程示意图;
图3为本发明实施例提供的一种身份证的示意图;
图4为本发明实施例提供的一种对地址文本区域图片进行切割的示意图;
图5为本发明实施例提供的另一种证件识别的过程示意图;
图6为本发明实施例提供的一种证件识别装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种系统架构。如图1所示,该系统架构可以为服务器100,包括处理器110、通信接口120和存储器130。
其中,通信接口120用于与终端设备进行通信,收发该终端设备传输的信息,实现通信。
处理器110是服务器100的控制中心,利用各种接口和线路连接整个服务器100的各个部分,通过运行或执行存储在存储器130内的软件程序/或模块,以及调用存储在存储器130内的数据,执行服务器100的各种功能和处理数据。可选地,处理器110可以包括一个或多个处理单元。
存储器130可用于存储软件程序以及模块,处理器110通过运行存储在存储器130的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器 130可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据业务处理所创建的数据等。此外,存储器130可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是,上述图1所示的结构仅是一种示例,本发明实施例对此不做限定。
基于上述描述,图2示例性的示出了本发明实施例提供的一种证件识别方法的流程,该流程可以由证件识别装置执行。
如图2所示,该流程具体包括:
步骤201,获取待识别证件的图片。
在本发明实施例中,该待识别证件可以包括身份证、行驶证、驾驶证、护照、往来港澳通行证、大陆居民往来台湾通行证、社会保障卡等。具体地,当用户需要在线办理金融、银行、考试资格审核、出国留学或需要在政府机构网站办理相关业务时需要提交相应证件图片,以便工作人员对相应证件进行校验。比如用户A在线办理银行业务时,需要用户A上传自己的身份证图片,在用户A上传自己的身份证图片并经过证件识别出对应的文字后,银行业务审核人员对用户A的身份信息进行审核,以便确保本次业务操作的安全性,当然在实际应用场景中不限于此。
步骤202,对所述待识别证件的图片进行目标检测,确定出所述待识别证件的证件区域和所述证件区域内的关键词,并确定出所述关键词的位置。
在本发明实施例中,将待识别证件的图片输入到多目标检测模型进行识别,确定出待识别证件的证件区域和证件区域内的关键词;该多目标检测模型是使用第一证件图片样本集对预设的实例分割模型进行训练确定的。并基于待识别证件的证件区域和证件区域内的关键词,确定出关键词的位置。具体地,在使用多目标检测模型对待识别证件的图片进行目标检测,可以同时将待识别证件的证件区域和该证件区域内的关键词检测出来,即在检测出该待识别证件的证件区域的同时,也将证件区域上固定的一些关键词当作目标一起检测出来,并基于证件区域内的关键词,确定出关键词的位置。需要说明的是,由于待识别证件的图片除了包含待识别证件本身的证件区域之外,还包含拍摄待识别证件时带有的背景部分,因此在对待识别证件的图片进行目标检测时需要将待识别证件的证件区域检测出来,以便后续在对待识别证件的文字部分进行识别时可以准确地识别出待识别证件上的文字。
此外,在使用第一证件图片样本集对预设的实例分割模型进行训练确定出多目标检测模型时,首先获取第一证件图片样本集,再对第一证件图片样本集中的关键词进行标注,得到标注后的第一证件图片样本集,并对标注后的第一证件图片样本集进行向量化处理,得到标注后的第一证件图片样本集对应的样本向量集。之后将标注后的第一证件图片样本集对应的样本向量集输入到预设的实例分割模型进行训练,得到多目标检测模型。由于待识别证件的目标特征明显,因此需要的证件图片样本集比较少就能达到很好的目标检测效果,即能很好地同时将待识别证件的证件区域和该证件区域内的关键词检测出来,因此使用的第一证件图片样本集数量比较少,比如在利用身份证训练样本对预设的实例分割模型训练时,通过获取几个内部工作人员的身份证即可,很好的解决了现有技术中证件类样本获取难度大、文本标注成本高的问题。通过对几个内部工作人员的身份证上的关键词进行标注,并对标注后的几个内部工作人员的身份证进行向量化处理,得到标注后的几个内部工作人员的身份证对应的样本向量集,再将标注后的几个内部工作人员的身份证对应的样本向量集输入到预设的实例分割模型进行训练,得到针对身份证的多目标检测模型。其中,预设的实例分割模型可以包括YOLACT、Mask R-CNN、BlendMask等。
示例性的,以待识别证件为身份证为例,比如用户B在线办理出国留学业务时,需要上传自己的身份证图片,以便审核人员进行校验。在用户B上传自己的身份证图片后,证件识别系统使用深度学习实例分割算法对用户B上传的身份证图片进行目标检测,将用户B上传的身份证图片的身份证区域以及身份证区域上的姓名、性别、出生、民族、住址、公民身份号码这几个关键词当作目标一起检测出来,并可以得到这几个关键词对应的位置。
步骤203,使用预设的规则对所述关键词的位置进行处理,确定出所述关键词对应的文本区域。
在本发明实施例中,基于关键词的位置,按照预设的缩放比例将关键词的位置所在区域进行缩放处理,确定出关键词对应的文本区域。具体地,继续以待识别证件为身份证为例,基于确定出的身份证区域上的几个关键词的位置,按照与这几个关键词对应的预设的缩放比例将这几个关键词的位置所在区域进行缩放处理,得到这几个关键词各自对应的文本区域。示例性的,比如图3 所示的身份证示意图,在利用多目标检测模型检测出身份证区域上的姓名的位置和姓名的文本框,按照一定的缩放比例将关键词“姓名”的文本框向右,向上或向下进行扩展得到“姓名XXX”整一行的文本区域,以此可以代替文本检测,准确快速地得到关键词对应的文本区域。
此外,若关键词对应的文本区域存在有多行或多列文本,因此需要判断关键词对应的文本区域是否存在多行或多列文本,并在确定关键词对应的文本区域存在多行或多列文本时,将关键词对应的文本区域进行截图处理,得到关键词对应的文本区域图片,再对关键词对应的文本区域图片进行灰度化处理,得到空白部分,并对空白部分进行切割处理,得到关键词对应的多个文本区域。具体地,在得到关键词对应的文本区域图片后,首先对关键词对应的文本区域图片进行灰度化处理,得到关键词对应的文本区域图片中每个像素点的灰度值。再将关键词对应的文本区域图片中每个像素点的灰度值进行二值化处理,得到二值化后的关键词对应的文本区域图片中每个像素点的灰度值,并对二值化后的关键词对应的文本区域图片中每行或每列的所有像素点的灰度值进行求平均处理,得到二值化后的关键词对应的文本区域图片中每行或每列的投影灰度值。针对二值化后的关键词对应的文本区域图片中多行中任一行或多列中任一列,将该行或该列的投影灰度值与预设阈值进行对比,若该行或该列的投影灰度值大于等于预设阈值,则确定该行或该列为空白部分,否则确定该行或该列为文本部分,并对行与行或列与列之间的空白部分进行切割处理,得到关键词对应的多个文本区域。其中,预设阈值可以根据经验设置。
示例性的,继续以待识别证件为身份证为例,如图3所示,由于关键词“地址”对应的文本区域有多行,为便于后续文本识别模型可以准确地识别出文本区域对应的文本内容,将存在多行的关键词“地址”对应的文本区域进行切割处理,即将利用预设的规则框出的地址文本区域进行截图处理,并利用OpenCV (Open Source Computer Vision Library,开源计算机视觉库)的颜色空间转换函数cvtColor对地址文本区域图片进行灰度化处理,也就是将地址文本区域图片(每张图片都由一个像素点矩阵构成)中每个像素点从三个RGB数值变成一个数值(灰度化处理就是让像素点矩阵中的每一个像素点都满足关系式: R=G=B,此时这个相等的值就是灰度值)。再使用自适应阈值化函数 adaptiveThreshold对地址文本区域图片上每个像素点的灰度值进行二值化处理,也就是让地址文本区域图片上的像素点矩阵中每个像素点的灰度值为0(黑色) 或者255(白色),让整个图片呈现只有黑和白的效果,比如灰度值大于160 时则将该灰度值进行二值化设置为255,灰度值小于160时则该灰度值进行二值化设置为0。其中,一个像素点的颜色是由RGB三个值(R:Red,G:Green,B:Blue)来表现的,因此一个像素点矩阵对应三个颜色向量矩阵,且R、G、 B的取值范围均为0~255;数值255为白色,0为黑色,0-255表示颜色深浅。
在对地址文本区域图片上每个像素点的灰度值进行二值化处理后,对地址文本区域图片中每行所有的像素点灰度值进行求平均,得到地址文本区域图片上每一行的投影灰度值(比如得到地址的文本框宽*高=500*150,则表示每行有500个灰度值,求这500个灰度值的平均值就可以得到每一行的投影灰度值)。然后将每一行的投影灰度值与预设阈值进行比较(比如假设预设阈值为240,某一行的投影灰度值为255,该行的投影灰度值大于预设阈值,则认为该行为空白部分;若是某一行的投影灰度值为100,则该行的投影灰度值小于预设阈值,则认为该行为文字部分),如此可以检测出行与行之间的空白部分,并从空白部分的中间进行切开处理,就可以地址文本区域的每一文本行分开,得到如图4所示的三个文本行。
需要说明的是,如图5所示,本发明实施例所采用的方法在对待识别证件的图片进行检测时,是将证件检测和关键词检测以及预设的规则放在一起,替代现有技术中证件检测和文本检测的方法,可以同时确定出待识别证件的证件区域、关键词的位置,并确定出关键词对应的文本区域,然后在再对关键词对应的文本区域进行识别,识别出文本区域对应的文本内容。如此可以简化现有技术中证件识别的流程,并提高证件识别的性能,降低文本检测的标注成本。
步骤204,对所述关键词对应的文本区域进行识别,确定出所述文本区域对应的文本内容。
在本发明实施例中,将关键词对应的文本区域输入到文本识别模型进行识别,确定出文本区域对应的文本内容。示例性的,继续以待识别证件为身份证为例,如图3所示,将“姓名XXX”整一行的文本区域输入到文本识别模型进行识别,可以识别出对应的文本内容“姓名XXX”,或者将“出生XX年 XX月XX日”整一行的文本区域输入到文本识别模型进行识别,可以识别出对应的文本内容“出生XX年XX月XX日”。其中,使用第二证件图片样本集对预设的文本识别模型进行训练得到文本识别模型。
此外,在使用第二证件图片样本集对预设的文本识别模型进行训练确定出文本识别模型时,首先获取第二证件图片样本集,并对第二证件图片样本集中的文本内容进行标注,得到标注后的第二证件图片样本集。再对标注后的第二证件图片样本集进行向量化处理,得到标注后的所述第二证件图片样本集对应的样本向量集。之后将标注后的所述第二证件图片样本集对应的样本向量集输入到预设的文本识别模型进行训练,得到文本识别模型。
上述实施例表明,通过对待识别证件的图片进行目标检测,可同时快速准确地将待识别证件的证件区域和该证件区域内的关键词检测出来,并基于该待识别证件的证件区域和该证件区域内的关键词,可以准确地确定出该关键词的位置,并使用预设的规则对该关键词的位置进行处理,可以确定出该关键词对应的文本区域。之后对关键词对应的文本区域进行识别,可以准确快速地确定出文本区域对应的文本内容。由于现有的证件识别方法是将待识别证件进行证件检测之后再进行文本检测,导致待识别证件检测的流程较长、性能较低,因此通过将目标检测和预设的规则放在一起替代原有的证件检测和文本检测,同时快速准确地将待识别证件的证件区域和该证件区域内的关键词检测出来,并使用预设的规则框出关键词对应的文本区域,可以有助于提高证件识别的性能,并且对于同一类证件的识别具有很强的通用性。
基于相同的技术构思,图6示例性的示出了本发明实施例提供的一种证件识别装置,该装置可以执行证件识别方法的流程。
如图6所示,该装置包括:
获取单元601,用于获取待识别证件的图片;
处理单元602,用于对所述待识别证件的图片进行目标检测,确定出所述待识别证件的证件区域和所述证件区域内的关键词,并确定出所述关键词的位置;使用预设的规则对所述关键词的位置进行处理,确定出所述关键词对应的文本区域;对所述关键词对应的文本区域进行识别,确定出所述文本区域对应的文本内容。
可选地,所述处理单元602具体用于:
将所述待识别证件的图片输入到多目标检测模型进行识别,确定出所述待识别证件的证件区域和所述证件区域内的关键词;所述多目标检测模型是使用第一证件图片样本集对预设的实例分割模型进行训练确定的;
基于所述待识别证件的证件区域和所述证件区域内的关键词,确定出所述关键词的位置。
可选地,所述处理单元602具体用于:
基于所述关键词的位置,按照预设的缩放比例将所述关键词的位置所在区域进行缩放处理,确定出所述关键词对应的文本区域。
可选地,所述处理单元602还用于:
在确定出所述关键词对应的文本区域之后,确定所述关键词对应的文本区域是否存在多行或多列文本;
若是,则使用预设的切割规则对所述关键词对应的文本区域进行切割处理,确定出所述关键词对应的多个文本区域,否则将所述关键词对应的单行或单列文本区域确定为所述关键词对应的文本区域。
可选地,所述处理单元602具体用于:
将所述关键词对应的文本区域进行截图处理,得到所述关键词对应的文本区域图片;
对所述关键词对应的文本区域图片进行灰度化处理,得到空白部分,并对所述空白部分进行切割处理,得到所述关键词对应的多个文本区域。
可选地,所述处理单元602具体用于:
获取所述第一证件图片样本集;
对所述第一证件图片样本集中的关键词进行标注,得到标注后的所述第一证件图片样本集;
对所述标注后的所述第一证件图片样本集进行向量化处理,得到所述标注后的所述第一证件图片样本集对应的样本向量集;
将所述标注后的所述第一证件图片样本集对应的样本向量集输入到所述预设的实例分割模型进行训练,得到所述多目标检测模型。
可选地,所述处理单元602还用于:
在对所述关键词对应的文本区域进行识别之前,获取第二证件图片样本集;
对所述第二证件图片样本集中的文本内容进行标注,得到标注后的所述第二证件图片样本集;
对所述标注后的所述第二证件图片样本集进行向量化处理,得到所述标注后的所述第二证件图片样本集对应的样本向量集;
将所述标注后的所述第二证件图片样本集对应的样本向量集输入到预设的文本识别模型进行训练,得到文本识别模型;
所述处理单元602具体用于:
将所述关键词对应的文本区域输入到所述文本识别模型进行识别,确定出所述文本区域对应的文本内容。
基于相同的技术构思,本发明实施例提供一种计算设备,包括:
存储器,用于存储计算机程序;
处理器,用于调用所述存储器中存储的计算机程序,按照获得的程序执行证件识别方法。
基于相同的技术构思,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行程序,所述计算机可执行程序用于使计算机执行证件识别方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种证件识别方法,其特征在于,包括:
获取待识别证件的图片;
对所述待识别证件的图片进行目标检测,确定出所述待识别证件的证件区域和所述证件区域内的关键词,并确定出所述关键词的位置;
使用预设的规则对所述关键词的位置进行处理,确定出所述关键词对应的文本区域;
对所述关键词对应的文本区域进行识别,确定出所述文本区域对应的文本内容。
2.如权利要求1所述的方法,其特征在于,所述对所述待识别证件的图片进行目标检测,确定出所述待识别证件的证件区域和所述证件区域内的关键词,并确定出所述关键词的位置,包括:
将所述待识别证件的图片输入到多目标检测模型进行识别,确定出所述待识别证件的证件区域和所述证件区域内的关键词;所述多目标检测模型是使用第一证件图片样本集对预设的实例分割模型进行训练确定的;
基于所述待识别证件的证件区域和所述证件区域内的关键词,确定出所述关键词的位置。
3.如权利要求1所述的方法,其特征在于,所述使用预设的规则对所述关键词的位置进行处理,确定出所述关键词对应的文本区域,包括:
基于所述关键词的位置,按照预设的缩放比例将所述关键词的位置所在区域进行缩放处理,确定出所述关键词对应的文本区域。
4.如权利要求3所述的方法,其特征在于,在所述确定出所述关键词对应的文本区域之后,还包括:
确定所述关键词对应的文本区域是否存在多行或多列文本;
若是,则使用预设的切割规则对所述关键词对应的文本区域进行切割处理,确定出所述关键词对应的多个文本区域,否则将所述关键词对应的单行或单列文本区域确定为所述关键词对应的文本区域。
5.如权利要求4所述的方法,其特征在于,所述使用预设的切割规则对所述关键词对应的文本区域进行切割处理,确定出所述关键词对应的多个文本区域,包括:
将所述关键词对应的文本区域进行截图处理,得到所述关键词对应的文本区域图片;
对所述关键词对应的文本区域图片进行灰度化处理,得到空白部分,并对所述空白部分进行切割处理,得到所述关键词对应的多个文本区域。
6.如权利要求2所述的方法,其特征在于,所述使用第一证件图片样本集对预设的实例分割模型进行训练确定所述多目标检测模型,包括:
获取所述第一证件图片样本集;
对所述第一证件图片样本集中的关键词进行标注,得到标注后的所述第一证件图片样本集;
对所述标注后的所述第一证件图片样本集进行向量化处理,得到所述标注后的所述第一证件图片样本集对应的样本向量集;
将所述标注后的所述第一证件图片样本集对应的样本向量集输入到所述预设的实例分割模型进行训练,得到所述多目标检测模型。
7.如权利要求1至6任一项所述的方法,其特征在于,在所述对所述关键词对应的文本区域进行识别之前,还包括:
获取第二证件图片样本集;
对所述第二证件图片样本集中的文本内容进行标注,得到标注后的所述第二证件图片样本集;
对所述标注后的所述第二证件图片样本集进行向量化处理,得到所述标注后的所述第二证件图片样本集对应的样本向量集;
将所述标注后的所述第二证件图片样本集对应的样本向量集输入到预设的文本识别模型进行训练,得到文本识别模型;
所述对所述关键词对应的文本区域进行识别,确定出所述文本区域对应的文本内容,包括:
将所述关键词对应的文本区域输入到所述文本识别模型进行识别,确定出所述文本区域对应的文本内容。
8.一种证件识别装置,其特征在于,包括:
获取单元,用于获取待识别证件的图片;
处理单元,用于对所述待识别证件的图片进行目标检测,确定出所述待识别证件的证件区域和所述证件区域内的关键词,并确定出所述关键词的位置;使用预设的规则对所述关键词的位置进行处理,确定出所述关键词对应的文本区域;对所述关键词对应的文本区域进行识别,确定出所述文本区域对应的文本内容。
9.一种计算设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于调用所述存储器中存储的计算机程序,按照获得的程序执行权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行程序,所述计算机可执行程序用于使计算机执行权利要求1至7任一项所述的方法。
CN202010911003.6A 2020-09-02 2020-09-02 一种证件识别方法、装置、设备及存储介质 Pending CN112232336A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010911003.6A CN112232336A (zh) 2020-09-02 2020-09-02 一种证件识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010911003.6A CN112232336A (zh) 2020-09-02 2020-09-02 一种证件识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112232336A true CN112232336A (zh) 2021-01-15

Family

ID=74115421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010911003.6A Pending CN112232336A (zh) 2020-09-02 2020-09-02 一种证件识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112232336A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569839A (zh) * 2021-08-31 2021-10-29 重庆紫光华山智安科技有限公司 证件识别方法、系统、设备及介质
CN113673528A (zh) * 2021-08-06 2021-11-19 Oppo广东移动通信有限公司 文本处理方法、装置、电子设备和可读存储介质
CN114792423A (zh) * 2022-05-20 2022-07-26 北京百度网讯科技有限公司 文档图像的处理方法、装置和存储介质

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170116547A1 (en) * 2015-10-26 2017-04-27 International Business Machines Corporation Ticket validation system and method
CN108664973A (zh) * 2018-03-28 2018-10-16 北京捷通华声科技股份有限公司 文本处理方法和装置
CN109492643A (zh) * 2018-10-11 2019-03-19 平安科技(深圳)有限公司 基于ocr的证件识别方法、装置、计算机设备及存储介质
CN109816118A (zh) * 2019-01-25 2019-05-28 上海深杳智能科技有限公司 一种基于深度学习模型的创建结构化文档的方法及终端
CN109977949A (zh) * 2019-03-20 2019-07-05 深圳市华付信息技术有限公司 边框微调的文本定位方法、装置、计算机设备及存储介质
CN110147726A (zh) * 2019-04-12 2019-08-20 财付通支付科技有限公司 业务质检方法和装置、存储介质及电子装置
CN110321895A (zh) * 2019-04-30 2019-10-11 北京市商汤科技开发有限公司 证件识别方法和装置、电子设备、计算机可读存储介质
WO2019200781A1 (zh) * 2018-04-18 2019-10-24 平安科技(深圳)有限公司 票据识别方法、装置及存储介质
CN110427932A (zh) * 2019-08-02 2019-11-08 杭州睿琪软件有限公司 一种识别图像中多个票据区域的方法及装置
CN110555345A (zh) * 2018-06-01 2019-12-10 北京深鉴智能科技有限公司 智能图像分析系统和方法
CN110569878A (zh) * 2019-08-08 2019-12-13 上海汇付数据服务有限公司 一种基于卷积神经网络的照片背景相似度聚类方法及计算机
CN110728198A (zh) * 2019-09-20 2020-01-24 北京三快在线科技有限公司 图像处理方法、装置、电子设备及可读存储介质
CN110796145A (zh) * 2019-09-19 2020-02-14 平安科技(深圳)有限公司 基于智能决策的多证件分割关联方法及相关设备
CN110956088A (zh) * 2019-10-31 2020-04-03 北京易道博识科技有限公司 基于深度学习的交叠文本行定位分割方法及系统
CN111079480A (zh) * 2018-10-19 2020-04-28 北京金山云网络技术有限公司 身份证信息的识别方法、装置及终端设备
WO2020082610A1 (zh) * 2018-10-23 2020-04-30 深圳壹账通智能科技有限公司 身份证信息验证方法、装置、设备及计算机可读存储介质
CN111191652A (zh) * 2019-12-20 2020-05-22 中国建设银行股份有限公司 一种证件图像识别方法、装置、电子设备及存储介质
CN111242124A (zh) * 2020-01-13 2020-06-05 支付宝实验室(新加坡)有限公司 一种证件分类方法、装置及设备
CN111325092A (zh) * 2019-12-26 2020-06-23 湖南星汉数智科技有限公司 一种动车票识别方法、装置、计算机装置及计算机可读存储介质
CN111340025A (zh) * 2020-02-28 2020-06-26 上海眼控科技股份有限公司 字符识别方法、装置、计算机设备和计算机可读存储介质
CN111368709A (zh) * 2020-02-28 2020-07-03 深圳前海微众银行股份有限公司 图片文本的识别方法、装置、设备及可读存储介质
CN111507957A (zh) * 2020-04-15 2020-08-07 深圳前海环融联易信息科技服务有限公司 身份证图片转换方法、装置、计算机设备及存储介质
CN111563502A (zh) * 2020-05-09 2020-08-21 腾讯科技(深圳)有限公司 图像的文本识别方法、装置、电子设备及计算机存储介质

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170116547A1 (en) * 2015-10-26 2017-04-27 International Business Machines Corporation Ticket validation system and method
CN108664973A (zh) * 2018-03-28 2018-10-16 北京捷通华声科技股份有限公司 文本处理方法和装置
WO2019200781A1 (zh) * 2018-04-18 2019-10-24 平安科技(深圳)有限公司 票据识别方法、装置及存储介质
CN110555345A (zh) * 2018-06-01 2019-12-10 北京深鉴智能科技有限公司 智能图像分析系统和方法
CN109492643A (zh) * 2018-10-11 2019-03-19 平安科技(深圳)有限公司 基于ocr的证件识别方法、装置、计算机设备及存储介质
CN111079480A (zh) * 2018-10-19 2020-04-28 北京金山云网络技术有限公司 身份证信息的识别方法、装置及终端设备
WO2020082610A1 (zh) * 2018-10-23 2020-04-30 深圳壹账通智能科技有限公司 身份证信息验证方法、装置、设备及计算机可读存储介质
CN109816118A (zh) * 2019-01-25 2019-05-28 上海深杳智能科技有限公司 一种基于深度学习模型的创建结构化文档的方法及终端
CN109977949A (zh) * 2019-03-20 2019-07-05 深圳市华付信息技术有限公司 边框微调的文本定位方法、装置、计算机设备及存储介质
CN110147726A (zh) * 2019-04-12 2019-08-20 财付通支付科技有限公司 业务质检方法和装置、存储介质及电子装置
CN110321895A (zh) * 2019-04-30 2019-10-11 北京市商汤科技开发有限公司 证件识别方法和装置、电子设备、计算机可读存储介质
CN110427932A (zh) * 2019-08-02 2019-11-08 杭州睿琪软件有限公司 一种识别图像中多个票据区域的方法及装置
CN110569878A (zh) * 2019-08-08 2019-12-13 上海汇付数据服务有限公司 一种基于卷积神经网络的照片背景相似度聚类方法及计算机
CN110796145A (zh) * 2019-09-19 2020-02-14 平安科技(深圳)有限公司 基于智能决策的多证件分割关联方法及相关设备
CN110728198A (zh) * 2019-09-20 2020-01-24 北京三快在线科技有限公司 图像处理方法、装置、电子设备及可读存储介质
CN110956088A (zh) * 2019-10-31 2020-04-03 北京易道博识科技有限公司 基于深度学习的交叠文本行定位分割方法及系统
CN111191652A (zh) * 2019-12-20 2020-05-22 中国建设银行股份有限公司 一种证件图像识别方法、装置、电子设备及存储介质
CN111325092A (zh) * 2019-12-26 2020-06-23 湖南星汉数智科技有限公司 一种动车票识别方法、装置、计算机装置及计算机可读存储介质
CN111242124A (zh) * 2020-01-13 2020-06-05 支付宝实验室(新加坡)有限公司 一种证件分类方法、装置及设备
CN111340025A (zh) * 2020-02-28 2020-06-26 上海眼控科技股份有限公司 字符识别方法、装置、计算机设备和计算机可读存储介质
CN111368709A (zh) * 2020-02-28 2020-07-03 深圳前海微众银行股份有限公司 图片文本的识别方法、装置、设备及可读存储介质
CN111507957A (zh) * 2020-04-15 2020-08-07 深圳前海环融联易信息科技服务有限公司 身份证图片转换方法、装置、计算机设备及存储介质
CN111563502A (zh) * 2020-05-09 2020-08-21 腾讯科技(深圳)有限公司 图像的文本识别方法、装置、电子设备及计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EKO HANDOYO等: "Ticketing Chatbot Service using Serverless NLP Technology", 《 2018 5TH INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY, COMPUTER, AND ELECTRICAL ENGINEERING》, 16 December 2018 (2018-12-16), pages 325 - 330 *
苏玉龙等: "基于关键词的文本向量化与分类算法研究", 《贵州大学学报(自然科学版)》, vol. 35, no. 03, 15 June 2018 (2018-06-15), pages 101 - 105 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673528A (zh) * 2021-08-06 2021-11-19 Oppo广东移动通信有限公司 文本处理方法、装置、电子设备和可读存储介质
CN113673528B (zh) * 2021-08-06 2024-02-09 Oppo广东移动通信有限公司 文本处理方法、装置、电子设备和可读存储介质
CN113569839A (zh) * 2021-08-31 2021-10-29 重庆紫光华山智安科技有限公司 证件识别方法、系统、设备及介质
CN113569839B (zh) * 2021-08-31 2024-02-09 重庆紫光华山智安科技有限公司 证件识别方法、系统、设备及介质
CN114792423A (zh) * 2022-05-20 2022-07-26 北京百度网讯科技有限公司 文档图像的处理方法、装置和存储介质
CN114792423B (zh) * 2022-05-20 2022-12-09 北京百度网讯科技有限公司 文档图像的处理方法、装置和存储介质

Similar Documents

Publication Publication Date Title
CN109492643B (zh) 基于ocr的证件识别方法、装置、计算机设备及存储介质
WO2021027336A1 (zh) 基于印章和签名的身份验证方法、装置和计算机设备
WO2020232872A1 (zh) 表格识别方法、装置、计算机设备和存储介质
CN107133622B (zh) 一种单词的分割方法和装置
CN110287971B (zh) 数据验证方法、装置、计算机设备及存储介质
WO2018166116A1 (zh) 车损识别方法、电子装置及计算机可读存储介质
CN112232336A (zh) 一种证件识别方法、装置、设备及存储介质
CN112381775A (zh) 一种图像篡改检测方法、终端设备及存储介质
CN110175609B (zh) 界面元素检测方法、装置及设备
US11132576B2 (en) Text recognition method and apparatus, electronic device, and storage medium
CN108830275B (zh) 点阵字符、点阵数字的识别方法及装置
CN113837151B (zh) 表格图像处理方法、装置、计算机设备及可读存储介质
CN111178290A (zh) 一种签名验证方法和装置
Caldeira et al. Industrial optical character recognition system in printing quality control of hot-rolled coils identification
CN112883926B (zh) 表格类医疗影像的识别方法及装置
CN111680690A (zh) 一种文字识别方法及装置
CN111738979B (zh) 证件图像质量自动检查方法及系统
CN113111880A (zh) 证件图像校正方法、装置、电子设备及存储介质
He et al. Aggregating local context for accurate scene text detection
CN113673528B (zh) 文本处理方法、装置、电子设备和可读存储介质
CN110796145A (zh) 基于智能决策的多证件分割关联方法及相关设备
CN112508000B (zh) 一种用于ocr图像识别模型训练数据生成的方法及设备
WO2022103564A1 (en) Fraud detection via automated handwriting clustering
CN111414889B (zh) 基于文字识别的财务报表识别方法及装置
CN113780116A (zh) 发票分类方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination