CN115205247A - 电池极片的缺陷检测方法、装置、设备及存储介质 - Google Patents

电池极片的缺陷检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115205247A
CN115205247A CN202210825974.8A CN202210825974A CN115205247A CN 115205247 A CN115205247 A CN 115205247A CN 202210825974 A CN202210825974 A CN 202210825974A CN 115205247 A CN115205247 A CN 115205247A
Authority
CN
China
Prior art keywords
image
plate
detection
pole piece
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210825974.8A
Other languages
English (en)
Inventor
徐子豪
杨凯
林成龙
崔磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202210825974.8A priority Critical patent/CN115205247A/zh
Publication of CN115205247A publication Critical patent/CN115205247A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10Energy storage using batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种电池极片的缺陷检测方法、设备、装置、存储介质,其中,所述方法包括:获取对待检测的电池极片进行拍摄得到的第一图像和第二图像,其中,所述第一图像的拍摄参数为适于拍摄所述电池极片的极板区域的预设参数;所述第二图像的拍摄参数为适于拍摄所述电池极片的极耳区域的预设参数;对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域;对所述极板区域和所述极耳区域进行缺陷检测,得到所述电池极片的缺陷检测结果。

Description

电池极片的缺陷检测方法、装置、设备及存储介质
技术领域
本申请涉及图像检测技术领域,涉及但不限于一种电池极片的缺陷检测方法、装置、设备及存储介质。
背景技术
极片是电池例如锂电池组装过程中的重要部件,锂电池极片在生产过程中,因为涂布机、辊压机的原因会造成正负极的露箔、暗斑、亮斑、掉料等缺陷,必须在电池压膜组装之前对所有极片进行检测,将废品、次品和正品辨识出来分别存放和处理。目前锂电池极片的缺陷检测基本为全人工目测检查的方式,人工检测的可靠性、稳定性和效率都无法有效控制,并且现有的人工成本高,劳动力密集也直接制约了锂电池的低成本生产。
发明内容
有鉴于此,本申请实施例提供一种电池极片的缺陷检测方法、装置、设备及存储介质。
第一方面,本申请实施例提供一种电池极片的缺陷检测方法,所述极片包括极板和极耳,所述方法包括:获取对待检测的电池极片进行拍摄得到的第一图像和第二图像,其中,所述第一图像的拍摄参数为适于拍摄所述电池极片的极板区域的预设参数;所述第二图像的拍摄参数为适于拍摄所述电池极片的极耳区域的预设参数;对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域;对所述极板区域和所述极耳区域进行缺陷检测,得到所述电池极片的缺陷检测结果。
在一些实施例中,所述对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域,包括:利用目标检测算法,对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域。
这样,通过利用目标检测算法对第一图像和第二图像进行图像检测,可以更好的应用在产线生产过程中,提高生产效率。
在一些实施例中,所述对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域,包括:对所述第一图像进行图像检测,得到极板检测框;对所述第二图像进行图像检测,得到极耳检测框;分别裁剪所述极板检测框和所述极耳检测框,得到所述极板区域和所述极耳区域。
这样,通过对第一图像进行图像检测,得到极板检测框;对第二图像进行图像检测,得到极耳检测框;然后将极板检测框和极耳检测框裁剪下来,用于后续的缺陷检测,可以减少第一图像和第二图像中的背景对缺陷检测结果的干扰。
在一些实施例中,所述利用目标检测算法,对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域,包括:对所述第一图像和所述第二图像进行拼接,得到电池极片图像;利用所述目标检测算法,对所述电池极片图像中的第一图像和第二图像同时进行极板检测和极耳检测,得到至少一个极板检测框和至少一个极耳检测框;在所述至少一个极板检测框和所述至少一个极耳检测框中,基于所述电池极片图像中所述第一图像和所述第二图像之间的相对位置关系,确定极板区域和极耳区域。
这样,通过将第一图像和第二图像拼接,得到电池极片图像,再对电池极片图像进行图像检测,得到极板区域和极耳区域,最后对极板区域和极耳区域进行缺陷检测,从而实现对电池极片缺陷的端到端的检测。
在一些实施例中,所述分别裁剪所述极板检测框和所述极耳检测框,得到所述极板区域和所述极耳区域,包括:将所述极板检测框和所述极耳检测框分别进行外扩,得到极板待处理区域和极耳待处理区域;分别裁剪所述极板待处理区域和所述极耳待处理区域,得到所述极板区域和所述极耳区域。
这样,通过将极板检测框和极耳检测框外扩,得到极板待处理区域和极耳待处理区域,可以使得极板待处理区域和极耳待处理区域包括极板和极耳边缘处的缺陷,从而提高缺陷检测的准确性。
在一些实施例中,所述对所述极板区域和所述极耳区域进行缺陷检测,得到所述电池极片的缺陷检测结果,包括:分别利用分类算法对所述极板区域和所述极耳区域进行分类,得到所述电池极片的缺陷检测结果。
这样,通过利用分类算法对极板区域和极耳区域进行分类,得到缺陷检测结果,可以在提高缺陷检测准确性的同时,更好的应用在产线快节奏的生产过程中,提高生产效率。
在一些实施例中,所述极板的分类类型包括:破损、露白、褶皱、掉料、异物、色差、裂纹和正常中的多个类型;所述极耳的分类类型包括:破损、错位和正常中的多个类型;
所述分别利用分类算法对所述极板区域和所述极耳区域进行分类,得到所述电池极片的缺陷检测结果,包括:利用分类算法对所述极板区域和所述极耳区域进行分类,得到所述极板的每一所述分类类型的置信度和所述极耳的每一所述分类类型的置信度;基于所述极板的每一所述分类类型的置信度和所述极耳的每一所述分类类型的置信度,确定所述电池极片的缺陷检测结果。
这样,通过确定极板和极耳每个分类类型的置信度,实现了对电池极片的缺陷检测结果的确定。
在一些实施例中,所述缺陷检测结果表征存在缺陷和不存在缺陷,所述极板的每一所述分类类型的置信度和所述极耳的每一所述分类类型的置信度,确定所述电池极片的缺陷检测结果,包括:在所述极板的分类类型为正常的置信度和所述极耳的分类类型为正常的置信度均大于预设阈值的情况下,确定所述电池极片的缺陷检测结果为不存在缺陷;在所述极板的分类类型为正常的置信度和所述极耳的分类类型为正常的置信度中至少之一的置信度小于等于预设阈值的情况下,确定所述电池极片的缺陷检测结果为存在缺陷。
这样,通过设置分类类型为正常时置信度的预设阈值,并通过比较极板的分类类型为正常和极耳的分类类型为正常的置信度与预设阈值之间的大小,来确定电池极片的缺陷检测结果,实现对电池极片是否存在缺陷的判断。
在一些实施例中,在确定电池极片的缺陷检测结果为存在缺陷之后,还包括:在分类类型为正常的置信度小于等于预设阈值的所述极板和/或所述极耳中,确定除正常之外的置信度最高的缺陷分类类别,得到所述电池极片的缺陷检测结果为所述缺陷分类类别。
这样,通过在分类类型为正常的置信度小于等于预设阈值的所述极板和/或所述极耳中,获取除正常之外的置信度最高的缺陷分类类别,使得输出的电池极片的缺陷检测结果中包括缺陷的类别,方便对不同的缺陷类别进行区分放置和分析不良原因。
第二方面,本申请实施例提供了一种电池极片的缺陷检测装置,所述极片包括极板和极耳,所述装置包括:获取模块,用于获取对待检测的电池极片进行拍摄得到的第一图像和第二图像,其中,所述第一图像的拍摄参数为适于拍摄所述电池极片的极板区域的预设参数;所述第二图像的拍摄参数为适于拍摄所述电池极片的极耳区域的预设参数;第一检测模块,用于对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域;第二检测模块,用于对所述极板区域和所述极耳区域进行缺陷检测,得到所述电池极片的缺陷检测结果。
第三方面,本申请实施例提供一种电子设备,所述设备包括:存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法中的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法中的步骤。
本申请实施例提出了基于深度学习和计算机视觉方案的电池极片的缺陷检测方法,通过对第一图像和第二图像进行图像检测,得到极板区域和极耳区域;再对极板区域和极耳区域进行缺陷检测,得到电池极片的缺陷检测结果。如此,相比于采用人工检测的方法,不仅可以提升质检的速度和准确度,而且可以降低人力成本。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请的技术方案。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1A为本申请实施例提供的一种电池极片的缺陷检测系统的架构示意图;
图1B为本申请实施例提供的另一种电池极片的缺陷检测系统的架构示意图;
图1C为本申请实施例提供的一种电池极片的缺陷检测方法的流程示意图;
图2A为本申请实施例提供的一种确定极板区域和极耳区域的方法的流程示意图;
图2B和图2C为本申请实施例提供的另一种确定极板区域和极耳区域的方法的流程示意图;
图3A和图3B为本申请实施例提供的一种确定电池极片缺陷检测结果的方法的流程示意图;
图4A为本申请实施例提供的一种电池极片的缺陷检测系统的结构示意图;
图4B为本申请实施例提供的一种电池极片图像的示意图;
图4C为本申请实施例提供的一种得到极板区域和极耳区域的过程示意图;
图5为本申请实施例提供的一种电池极片的缺陷检测装置的结构示意图;
图6本申请实施例提供的电子设备的一种硬件实体示意图。
具体实施方式
下面结合附图和实施例对本申请的技术方案进一步详细阐述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
需要指出,本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、三维图形(Three-Dimensional,3D)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
目标检测算法,旨在图像或视频中检测出是否存在目标对象及目标对象的位置信息,通常以检测框的形式输出。
图像语义分割,简单来说就是让计算机根据图像的语义来进行分割,在图像领域,语义指的是图像的内容,分割的意思是从像素的角度分割出图片中的不同对象,对原图中的像素进行识别。
图像实例分割,其实就是目标检测和语义分割的结合,相对目标检测的边界框,实例分割可精确到物体的边缘;相对语义分割,实例分割可以标注出图上同一类物体的不同个体。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本发明实施例提供的方案涉及人工智能的机器学习、计算机视觉技术等技术,具体通过如下实施例进行说明:
图1A为本申请实施例提供的一种电池极片的缺陷检测系统10的一个可选的架构示意图,参见图1A,计算机处理设备300通过网络200连接图像采集模组100。网络200可以是广域网或者局域网,又或者是二者的组合。计算机处理设备300和图像采集模组100在物理上可以是分立的,也可以是一体的。图像采集模组100可以通过网络200将采集到的对待检测的电池极片进行拍摄得到的第一图像和第二图像发送或存储至计算机处理设备300,计算机处理设备300获取第一图像和第二图像后,对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域;然后对所述极板区域和所述极耳区域进行缺陷检测,得到所述电池极片的缺陷检测结果。
图1B为本申请实施例提供的另一种电池极片的缺陷检测系统10的一个可选的架构示意图,参见图1B,终端设备500通过网络200连接图像采集模组100,终端设备500和图像采集模组100通过网络200连接至服务器400。图像采集模组100可以通过网络200将采集到的对待检测的电池极片进行拍摄得到的第一图像和第二图像发送或存储至服务器400,服务器400获取第一图像和第二图像后,对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域;然后对所述极板区域和所述极耳区域进行缺陷检测,得到所述电池极片的缺陷检测结果。
在一些实施例中,服务器400可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。图像采集装置、电子设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例不做限定。
本申请实施例提供一种电池极片的缺陷检测方法,应用于电子设备,如图1C所示,所述方法包括:
步骤102:获取对待检测的电池极片进行拍摄得到的第一图像和第二图像,其中,所述第一图像的拍摄参数为适于拍摄所述电池极片的极板区域的预设参数;所述第二图像的拍摄参数为适于拍摄所述电池极片的极耳区域的预设参数;
这里,电子设备可以为图1A中的计算机处理设备300,例如手机、笔记本电脑、平板电脑、掌上上网设备、多媒体设备、流媒体设备、移动互联网设备、机器人等;也可以为图1B中的服务器400。该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,该电子设备至少包括处理器和存储介质。处理器可以用于进行电池极片的缺陷检测,存储器可以用于存储进行电池极片的缺陷检测过程中需要的数据以及产生的数据。
电池可以包括但不限于锂电池、钠电池、氢电池等,本申请实施例对电池的种类不做限定。
第一图像和第二图像可以为在预设的不同拍摄参数下对待检测的电池极片进行拍摄得到的图像。其中,第一图像的拍摄参数适于拍摄电池极片的极板区域,第二图像的拍摄参数适于拍摄电池极片的极耳区域。在一些实施例中,第一图像中可以只显示极板,第二图像中只显示极耳;在另一些实施例中,第一图像和第二图像中可以既显示极板,又显示极耳;在一些实施例中,第一图像中可以显示极板和极耳,第二图像中只显示极耳;或第一图像中只显示极板,第二图像中可以显示极板和极耳。本申请实施例对第一图像和第二图像中显示的对象不做限定。由于第一图像和第二图像用于后续获取极板所在区域和极耳所在区域,并对极板所在区域和极耳所在区域进行缺陷检测,因此,第一图像需要能够清晰的显示极板所在区域的缺陷;第二图像需要能够清晰的显示极耳所在区域的缺陷。
由于极板表面的材料通常为正负极浆料,以氧化物和非金属材料例如石墨烯为主,而极耳表面的材料一般为铜箔和铝箔,以金属为主,二者表面的材料种类不同,导致在同一个拍摄参数下,不能同时清晰的拍摄出极板和极耳所在区域的缺陷,即在拍摄的图像中极板所在区域的缺陷清晰的情况下,极耳所在区域的缺陷不清晰;在拍摄的图像中极耳所在区域的缺陷清晰的情况下,极板所在区域的缺陷不清晰;而且,即使通过图像处理的方法,也无法将一张图像(例如极板清晰的图像)处理后,清晰的显示另一部分(例如极耳所在区域)的缺陷,而用于缺陷检测,因此,本申请实施例提出了在不同拍摄参数下,分别获取对待检测的电池极片进行拍摄得到的第一图像和第二图像,以用于后续的极板区域和极耳区域的识别和缺陷检测。在一些实施例中,拍摄极耳的光源可以为拱形光,曝光时间为20微秒(μs);拍摄极板的光源可以为高角度线光,曝光时间为50μs,本申请实施例对第一图像和第二图像的拍摄参数不做限定。
在一些实施例中,第一图像和第二图像可以为:二维(Two-dimensional,2D)图像或者三维图像,其中,2D图像可包括:单目或多目摄像头采集的红绿蓝(Red Green Blue,RGB)图像、深度图像等,3D图像可以包括:线性扫描摄像机采集的3D图像。在一些实现方式中,第一图像和第二图像可以为电子设备上设置的图像采集装置,如摄像头模组实时采集的图像;在另一些实现方式中,第一图像和第二图像可以为其他设备通过即时通信的方式传输给电子设备的需要进行电池极片的缺陷检测的图像;在一些实现方式中,第一图像和第二图像也可以是电子设备响应于任务处理指令,通过服务器调用本地相册并从中获取的采集图像,对此本申请实施例不做限定。
在一些实施例中,在步骤102获取对待检测的电池极片进行拍摄得到的第一图像和第二图像之后,还可以对第一图像和第二图像进行降噪处理,得到降噪后的第一图像和第二图像,包括:对第一图像和第二图像分别进行双边滤波处理和高斯滤波处理,得到降噪后的第一图像和第二图像。例如,可以对第一图像和第二图像分别依次进行双边滤波处理和高斯滤波处理,得到降噪后的第一图像和第二图像;又例如,可以对第一图像和第二图像分别依次进行高斯滤波处理和双边滤波处理,得到降噪后的第一图像和第二图像。其中,可以根据第一图像和第二图像的外观、拍摄噪声等,调整双边滤波和高斯滤波的滤波参数,例如滤波核的形状、大小等参数。通过对第一图像和第二图像进行双边滤波处理和高斯滤波处理,可以去除第一图像和第二图像中的成像噪声和复杂细小纹理的干扰,从而提高后续缺陷检测的准确率。
在一些实施例中,还可以增强第一图像和第二图像的对比度,得到对比度增强的第一图像和第二图像,例如,可以采用线性变换、分段线性变换、非线性变换、直方图均衡等方式,增强第一图像和第二图像的对比度。例如,第一图像的灰度值范围为(40,150),可以将第一图像的灰度值映射至区间(0,255),以增强第一图像的对比度。通过增强第一图像和第二图像的对比度,能够使第一图像和第二图像的灰度差异变大,从而有助于后续神经网络捕捉到第一图像和第二图像中的缺陷特征。
步骤104:对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域;
这里,极板区域为包括极板用于检测极板缺陷的区域;极耳区域为包括极耳用于检测极耳缺陷的区域。
在一些实施例中,步骤104的实施可以通过基于神经网络的目标检测算法对第一图像和第二图像中的极板和极耳进行图像检测,得到极板区域和极耳区域,例如:RetinaNet、YOLO、Fast RCNN、Faster RCNN等,实施时,可以采用预先训练的目标检测算法的网络模型进行检测,通过预先训练的目标检测算法的网络模型输出的目标检测框即为极板区域或极耳区域。在一些实施例中,由于极板、极耳区域位置较为固定而且特征明显,为了提高检测模型的速度,步骤104的实施可以采用单阶段的目标检测算法来检测极板区域和极耳区域,例如RetinaNet、YOLO、SSD等,如此,可以更好的应用在产线生产过程中,提高生产效率。在一些实施例中,由于产线传送带的速度很快,还可以通过改变单阶段的原版目标检测算法中backbone的网络,进一步提高图像检测的速度,例如在单阶段的目标检测算法RetinaNet中,可以采用mobilenet作为backbone,替换原版网络中的ResNet作为backbone,使得检测极板区域和极耳区域的速度更快。
在一些实施例中,也可以通过基于神经网络的图像分割算法(例如语义分割、实例分割等)对第一图像和第二图像中的极板和极耳进行图像分割,得到极板区域和极耳区域,例如:Mask RCNN、PSPNet,DeepLabv3+等,实施时,可以采用预先训练的图像分割算法的网络模型进行图像分割,输出的连通域即为极板区域或极耳区域。
在一些实施例中,还可以通过获取极板和极耳的掩膜图像,基于掩膜图像,提取第一图像和第二图像中的极板区域和极耳区域。实施时,可以针对不同的电池型号,预先设置不同的掩膜图像。其中,每一型号的掩膜图像可以包括掩膜区域和非掩膜区域,以第一图像为例进行说明,掩膜区域用于表示该电池型号第一图像中极板的位置信息,非掩膜区域用于表示第一图像中除极板之外的区域的位置信息,将第一图像与掩膜图像对齐,再将对齐后的第一图像中属于掩膜区域的图像区域提取出来,作为极板区域,从而实现快速得到极板区域。
本申请实施例获取极板区域和极耳区域的方法不做限定。
在一些实施例中,步骤S104的实施可以分别对第一图像和第二图像进行图像检测,得到极板区域和极耳区域;也可以将第一图像和第二图像拼接,得到一张新的图像,然后对拼接后的图像进行图像检测,得到极板区域和极耳区域,如此,可以减少检测的次数,提高检测效率。本申请实施例对对第一图像和第二图像检测的方式不做限定。
在采用目标检测算法来检测极板区域和极耳区域的情况下,如图2A所示,步骤104的实施可以包括:
步骤1141:利用所述目标检测算法,对所述第一图像进行图像检测,得到极板检测框;
这里,第一图像可以为对待检测的电池极片进行拍摄得到的着重显示极板的图像,即可以清晰的显示出极板中的缺陷。在一些实施例中,可以通过基于神经网络的目标检测算法对第一图像中的极板进行检测,得到极板检测框,例如:RetinaNet、YOLO、FastRCNN、Faster RCNN等。实施时,可以采用预先训练的目标检测算法的第一网络模型进行检测,输出的目标检测框即为极板检测框。
步骤1142:利用所述目标检测算法,对所述第二图像进行图像检测,得到极耳检测框;
这里,第二图像可以为对待检测的电池极片进行拍摄得到的着重显示极耳的图像,即可以清晰的显示出极耳中的缺陷。在一些实施例中,可以通过基于神经网络的目标检测算法对第二图像中的极耳进行检测,得到极耳检测框,例如:RetinaNet、YOLO、FastRCNN、Faster RCNN等。实施时,可以采用预先训练的目标检测算法的第二网络模型进行检测,输出的目标检测框即为极耳检测框。
需要说明的是,这里对第一图像和第二图像的检测可以是针对于第一图像和第二图像分开检测的形式,也可以是针对于第一图像和第二图像拼接在一起同时检测的形式(此时所述第一网络模型和所述第二网络模型为同一个网络模型)。在第一图像和第二图像拼接在一起同时检测的情况下,得到的极板检测框和极耳检测框的数量分别为至少一个。
步骤1143:分别裁剪所述极板检测框和所述极耳检测框,得到所述极板区域和所述极耳区域。
这里,在第一图像和第二图像拼接在一起同时检测的情况下,由于得到的极板检测框和极耳检测框的数量分别为至少一个,因此,可以基于拼接在一起的图像中第一图像和第二图像之间的相对位置关系,确定用于裁剪的极板检测框和极耳检测框。例如,第一图像在第二图像的左侧,则左侧的极板检测框为需要裁剪的极板检测框,右侧的极耳检测框为需要裁剪的极耳检测框。
本申请实施例中,将极板检测框和极耳检测框裁剪下来,用于后续的缺陷检测,可以减少第一图像和第二图像中的背景对缺陷检测结果的干扰。
在一些实施例中,如图2B所示,步骤1143的实施可以包括:
步骤1431:将所述极板检测框和所述极耳检测框分别进行外扩,得到极板待处理区域和极耳待处理区域;
这里,由于极板和极耳上的缺陷可能存在于极板和极耳的边缘,为了提高缺陷检测的准确性,步骤1431实施时,可以将极板检测框和极耳检测框分别进行外扩,得到极板待处理区域和极耳待处理区域,使得极板待处理区域和极耳待处理区域可以包括极板和极耳边缘处的缺陷。在一些实施例中,可以将极板检测框和极耳检测框外扩5%至10%,例如,极耳检测框的像素为100*100,外扩10%为10个像素,实施时,可以以极耳检测框的中心为原点,上下左右各增加10个像素,得到极耳待处理区域,本申请实施例对外扩的尺寸不做限定。
步骤1432:分别裁剪所述极板待处理区域和所述极耳待处理区域,得到所述极板区域和所述极耳区域。
这里,步骤1432可参见步骤1143。
本申请实施例中,通过将极板检测框和极耳检测框分别外扩,得到极板待处理区域和极耳待处理区域,使得极板待处理区域和极耳待处理区域可以包括极板和极耳边缘处的缺陷,从而提高后续缺陷检测的准确性。
在一些实施例中,如图2C所示,步骤104的实施可以包括:
步骤1241:对所述第一图像和所述第二图像进行拼接,得到电池极片图像;
这里,步骤1241的实施是将第一图像和第二图像拼接为一张图即电池极片图像后,用于后续步骤1242中的图像检测,从而实现端到端的缺陷检测。由于在拼接第一图像和第二图像时,第一图像和第二图像的通道方向不能拼接,否则会导致通道数量增加,检测网络无法进行图像检测和运算处理,因此,在进行第一图像和第二图像拼接时,第一图像和第二图像在通道维度上的通道数量应该相同,例如第一图像在通道维度上的通道数量为3,则第二图像在通道维度上的通道数量也应该是3。在第一图像和第二图像通道维度上的通道数量不同的情况下,可以通过维度变换方法,将第一图像和第二图像转化为通道维度上通道数量相同的两张图像。
在第一图像和第二图像通道维度的通道数量相同的情况下,为了使第一图像和第二图像能够拼接为一张图,第一图像和第二图像在宽度维度和高度维度中的至少一个维度上的尺寸大小应该相同。在宽度维度和高度维度上尺寸大小都相同的情况下,可以沿宽度维度或高度维度任意一个维度方向拼接得到电池极片图像;在宽度维度和高度维度中只有一个维度上尺寸大小相同的情况下,可以沿尺寸大小不相同的维度方向拼接得到电池极片图像,例如,宽度维度上尺寸大小相同,则沿着高度维度方向拼接得到电池极片图像。
下面以第一图像和第二图像的通道维度的通道数量都为3,第一图像的像素尺寸为4000(宽度维度)*8000(高度维度),第二图像的像素尺寸为4000(宽度维度)*6000(高度维度)为例进行说明,其中,第一图像和第二图像在宽度维度上的像素尺寸相同都为4000,则可以沿着高度维度将第一图像和第二图像拼接,使得得到的电池极片图像的像素尺寸为4000*14000。
在第一图像和第二图像在宽度维度和高度维度中不具有相同尺寸大小的维度的情况下,可以通过维度变换方法使第一图像和第二图像在宽度维度和高度维度中的至少一个维度上尺寸大小相同。下面以第一图像的像素尺寸为4000(宽度维度)*6000(高度维度),第二图像的像素尺寸为2000(宽度维度)*4000(高度维度)为例进行说明,实施时,可以通过维度变换方法将第二图像的宽度维度的像素尺寸转化为4000,则第二图像的像素尺寸为4000(宽度维度)*8000(高度维度),从而使得第一图像和第二图像宽度维度的像素尺寸相同都为4000。
步骤1242:利用所述目标检测算法,对所述电池极片图像中的第一图像和第二图像同时进行极板检测和极耳检测,得到至少一个极板检测框和至少一个极耳检测框;
这里,极板检测框和极耳检测框的数量与第一图像和第二图像是否包括极板和极耳有关。在第一图像和第二图像都包括极板和极耳的情况下,得到的极板检测框的数量为2,极耳检测框的数量为2;在第一图像包括极板和极耳,第二图像包括极耳的情况下,得到的极板检测框的数量为1,极耳检测框的数量为2;在第一图像包括极板,第二图像包括极耳的情况下,得到的极板检测框的数量为1,极耳检测框的数量为1。
步骤1243:在所述至少一个极板检测框和所述至少一个极耳检测框中,基于所述电池极片图像中所述第一图像和所述第二图像之间的相对位置关系,确定极板区域和极耳区域。
这里,第一图像和第二图像之间的相对位置关系可以为:第一图像位于第二图像的左侧;第一图像位于第二图像的右侧;第一图像位于第二图像的上侧;第一图像位于第二图像的下侧等,本申请实施例对第一图像和第二图像之间的相对位置关系不做限定。
在一些实施例中,步骤1243的实施可以包括:在存在两个极板检测框或两个极耳检测框的情况下,通过获取两个极板检测框或两个极耳检测框中心点的坐标,比较两个中心点坐标的位置关系,基于电池极片图像中第一图像和第二图像之间的相对位置关系,确定哪个极板检测框属于第一图像,哪个极耳检测框属于第二图像,从而确定出极板区域和极耳区域。例如,第一图像位于第二图像的左侧,第一个极板检测框中心点的坐标位于第二个极板检测框中心点坐标的左侧,则第一个极板检测框用于确定极板区域。
在一些实施例中,在步骤104的实施之后,还包括:对极板区域和极耳区域进行对齐处理。
实施时,可以预先设置目标图像,其中,目标图像可以为与目标方向不存在夹角的极板区域或极耳区域的图像。在得到的极板区域或极耳区域的位置不正,即与目标方向存在一定夹角的情况下,可以将极板区域或极耳区域与目标图像进行对齐处理,再基于对齐后的极板区域和极耳区域,确定电池极片的缺陷检测结果,从而提高后续缺陷检测的准确性。
本申请实施例中,通过将第一图像和第二图像拼接,得到电池极片图像,再对电池极片图像进行图像检测,得到极板区域和极耳区域,最后对极板区域和极耳区域进行缺陷检测,从而实现对电池极片缺陷的端到端的检测。
步骤106:对所述极板区域和所述极耳区域进行缺陷检测,得到所述电池极片的缺陷检测结果。
这里,缺陷检测结果表征存在或不存在缺陷,在缺陷检测结果表征存在缺陷的情况下,缺陷检测结果中还可以包括缺陷的类别,例如破损、露白、褶皱、掉料、异物、色差、裂纹等。在一些实施例中,在缺陷检测结果表征存在缺陷的情况下,缺陷检测结果也可以不包括缺陷的类型,只输出存在缺陷。
在一些实施例中,步骤106的实施可以通过一个神经网络对极板区域和极耳区域的缺陷进行检测,实施时,可以将极板区域和极耳区域拼接为一张图像,然后送入神经网络中进行缺陷检测,得到电池极片的缺陷检测结果。
在一些实施例中,步骤106的实施也可以通过两个神经网络分别对极板区域和极耳区域的缺陷进行检测,实施时,可以采用第三网络模型检测极板区域的缺陷,采用第四网络模型检测极耳区域的缺陷,再结合两个神经网络的缺陷检测结果,得到电池极片的缺陷检测结果。由于极板区域较大缺陷类别较多,而极耳区域较小缺陷类别较少,因此,第三网络模型相比于第四网络模型的准确性可以相对较高,从而能够合理的使用恰当的网络模型,准确快速的检测出极片的缺陷。
在一些实施例中,步骤106的实施可以采用图像分类网络对极板区域和极耳区域进行检测,得到电池极片的缺陷检测结果,例如:VGG Net、ResNet、ResNeXt、SE-Net等,实施时,可以采用预先训练的图像分类网络进行检测,通过预先训练的图像分类网络输出的置信度最高的类别即为电池极片的缺陷检测结果;也可以采用基于神经网络的目标检测算法对极板区域和极耳区域进行检测,得到电池极片的缺陷检测结果,例如:RetinaNet、YOLO、Fast RCNN、Faster RCNN等,实施时,可以采用预先训练的目标检测算法的网络模型进行检测,通过预先训练的目标检测算法的网络模型输出的目标检测框即为电池极片的缺陷的位置;还可以采用基于神经网络的图像分割算法(语义分割、实例分割等)对第一图像和第二图像中的缺陷进行图像分割,得到电池极片的缺陷检测结果,例如:Mask RCNN、PSPNet,DeepLabv3+等,实施时,可以采用预先训练的图像分割算法的网络模型进行图像分割,通过预先训练的图像分割算法的网络模型得到的潜在缺陷区域中的目标连通域即为电池极片的缺陷的位置,其中,目标连通域为潜在缺陷区域中连通域的面积大于阈值的连通域。
在一些实施例中,可以采用训练图像集训练上述网络模型,使得该网络模型能够识别出极板区域和极耳区域中的缺陷。
本申请实施例提出了基于深度学习和计算机视觉方案的电池极片的缺陷检测方法,通过对第一图像和第二图像进行图像检测,得到极板区域和极耳区域;再对极板区域和极耳区域进行缺陷检测,得到电池极片的缺陷检测结果。如此,相比于采用人工检测的方法,不仅可以提升质检的速度和准确度,而且可以降低人力成本。
在一些实施例中,步骤106的实施可以包括:
分别利用分类算法对所述极板区域和所述极耳区域进行分类,得到所述电池极片的缺陷检测结果。
即利用第一个分类算法对极板区域进行分类,利用第二个分类算法对极耳区域进行分类,最终得到电池极片的缺陷检测结果。
这里,之所以采用两个分类算法确定电池极片的缺陷检测结果考虑到以下原因:
一方面,对于产线实际生产过程来说,只需要确定产品中有缺陷,就将该产品认为不良品,放入不良品区,不需要知道缺陷的具体位置,此外,分类检测算法相比于目标检测算法和图像分割算法前期的缺陷标注耗时少,而且应用过程速度快。
另一方面,极片中的极板和极耳尺寸相差太大(通常极耳的像素为100*100左右,极板的像素为4000*6000左右),且缺陷的种类多,如果通过同一个分类算法进行极板区域和极耳区域的缺陷检测,不能准确的确定出极耳区域的缺陷。
因此,步骤106中采用两个分类算法来分别对极板区域和极耳区域进行缺陷检测,可以在提高缺陷检测准确性的同时,更好的应用在产线快节奏的生产过程中,提高生产效率。
实施时,可以采用预先训练好的具有分类算法的第五网络模型对极板区域进行检测,得到极板区域的缺陷检测结果。
在一些实施例中,可以采用第一训练图像集训练所述第五网络模型,其中,所述第一训练图像集中的训练图像包括缺陷的标注数据。缺陷的标注数据可以为包括缺陷类别的标注数据。在该示例中,通过采用带有缺陷的标注数据的第一训练图像集训练第五网络模型,由此能够使第五网络模型学习到识别极板区域中的缺陷类型的能力。
同样,可以采用预先训练好的具有分类算法的第六网络模型对极耳区域进行检测,得到极耳区域的缺陷检测结果。
在一些实施例中,可以采用第二训练图像集训练所述第六网络模型,其中,所述第二训练图像集中的训练图像包括缺陷的标注数据。缺陷的标注数据可以为包括缺陷类别的标注数据。在该示例中,通过采用带有缺陷的标注数据的第二训练图像集训练第六网络模型,由此能够使第六网络模型学习到识别极耳区域中的缺陷类型的能力。
在训练第五网络模型和第六网络模型的情况下,可以采用正负样本对第五网络模型和第六网络模型进行训练,其中,正样本可以为包含某类缺陷类型例如破损的样本图像,负样本可以为不包含某类缺陷类型的样本图像。由于同一种缺陷类型的大小和角度存在差异,为了提高第五网络模型和第六网络模型对不同大小和角度缺陷类型的检出率,训练第五网络模型和第六网络模型时,可以将正负样本缩放不同的比例或旋转不同的角度之后,再送入第五网络模型和第六网络模型进行训练。
又由于电池极片中某种缺陷类型的样本图像的数量较少,在训练第五网络模型和第六网络模型时,可以对该种样本图像进行重采样,例如采用缩放、翻转、调整对比度、明亮度等方法,来提高样本图像的数量,从而提高对该类缺陷的检出率。
本申请实施例中,通过分别利用分类算法对极板区域和极耳区域进行缺陷检测,得到电池极片的缺陷检测结果,不仅使得缺陷检测的速度快,可以应用在高速运行的产线上,而且可以提高缺陷检测的准确性。
在一些实施例中,极板的分类类型包括:破损、露白、褶皱、掉料、异物、色差、裂纹和正常中的多个类型;极耳的分类类型包括:破损、错位和正常中的多个类型,如图3A所示,步骤106的实施包括:
步骤1061:利用分类算法对所述极板区域和所述极耳区域进行分类,得到所述极板的每一所述分类类型的置信度和所述极耳的每一所述分类类型的置信度;
这里,由于步骤1061的实施中需要得到极板的每一分类类型(即破损、露白、褶皱、掉料、异物、色差、裂纹和正常)的置信度和极耳(即破损、错位和正常)的每一分类类型的置信度,因此,可以采用Sigmoid函数来输出每一分类类型的置信度。其中,置信度为经过Sigmoid函数之后得到的分数,表示每一类缺陷类型的概率,其值越高,表征为该类缺陷类型的概率越大,例如,置信度为0.9时为某一种缺陷类型的概率大于置信度为0.8时的概率。
步骤1062:基于所述极板的每一所述分类类型的置信度和所述极耳的每一所述分类类型的置信度,确定所述电池极片的缺陷检测结果。
这样,通过确定每个分类类型的置信度,实现了对电池极片的缺陷检测结果的确定。
在一些实施例中,缺陷检测结果表征存在缺陷和不存在缺陷,如图3B所示,步骤1062的实施可以包括:
步骤1062a:在所述极板的分类类型为正常的置信度和所述极耳的分类类型为正常的置信度均大于预设阈值的情况下,确定所述电池极片的缺陷检测结果为不存在缺陷;
这里,预设阈值可以通过经验值或历史数据来设定,例如,预设阈值可以为0.5。由于步骤1061中会输出每一分类类型的置信度,因此,可以得到极板的分类类型为正常和极耳的分类类型为正常的置信度。下面以预设阈值为0.5为例进行说明,若极板的分类类型为正常的置信度为0.6,极耳的分类类型为正常的置信度为0.7,二者的置信度均大于0.5,则电池极片的缺陷检测结果为不存在缺陷。
步骤1062b:在所述极板的分类类型为正常的置信度和所述极耳的分类类型为正常的置信度中至少之一小于等于预设阈值的情况下,确定所述电池极片的缺陷检测结果为存在缺陷。
这里,步骤1062b中确定电池极片的缺陷检测结果为存在缺陷的实施可以包括以下几种情况:
第一种,极板的分类类型为正常的置信度大于预设阈值,极耳的分类类型为正常的置信度小于等于预设阈值。
第二种,极板的分类类型为正常的置信度小于等于预设阈值,极耳的分类类型为正常的置信度大于预设阈值。
第三种,极板的分类类型为正常的置信度小于等于预设阈值,极耳的分类类型为正常的置信度小于等于预设阈值。
下面继续以预设阈值为0.5为例进行说明,若极板的分类类型为正常的置信度为0.3,极耳的分类类型为正常的置信度为0.7,其中,极板的分类类型为正常的置信度小于0.5,则电池极片的缺陷检测结果为存在缺陷。
本申请实施例中,通过设置分类类型为正常时置信度的预设阈值,并通过比较极板的分类类型为正常和极耳的分类类型为正常的置信度与预设阈值之间的大小,来确定电池极片的缺陷检测结果,实现对电池极片是否存在缺陷的判断。
在一些实施例中,如图3B所示,在确定电池极片的缺陷检测结果为存在缺陷之后,还包括:
步骤1062c:在分类类型为正常的置信度小于等于预设阈值的所述极板和/或所述极耳中,确定除正常之外的置信度最高的缺陷分类类别,得到所述电池极片的缺陷检测结果为所述缺陷分类类别。
这里,极板的分类类型和极耳的分类类型中除正常之外的分类类型包括极板的破损、露白、褶皱、掉料、异物、色差、裂纹和极耳的破损、错位。即在步骤1062b中,在分类类型为正常的置信度小于等于预设阈值的极板和/或极耳中,确定除正常之外的置信度最高的缺陷分类类型作为电池极片的缺陷检测结果。
下面继续以预设阈值为0.5,极板的分类类型为正常的置信度为0.3,极耳的分类类型为正常的置信度为0.7为例进行说明,由于极板的分类类型为正常的置信度小于0.5,则电池极片的缺陷检测结果为存在缺陷。在除正常之外的极板的分类类型破损(置信度0.1)、露白(置信度0.7)、褶皱(置信度0.1)、掉料(置信度0.2)、异物(置信度0.3)、色差(置信度0.2)、裂纹(置信度0.1)和极耳的分类类型破损(置信度0.2)、错位(置信度0.1)中,置信度最高的缺陷分类类型为露白,则电池极片的缺陷检测结果为露白。
在一些实施例中,也可以通过设置阈值,将大于阈值的所有缺陷分类类型输出,作为电池极片的缺陷检测结果,本申请实施例对电池极片的缺陷检测结果的输出形式不做限定。
本申请实施例中,通过在分类类型为正常的置信度小于等于预设阈值的极板和/或极耳中,确定除正常之外的置信度最高的缺陷分类类别,使得输出的电池极片的缺陷检测结果中包括缺陷的类别,方便对不同的缺陷类别进行区分放置和分析不良原因。
本申请实施例还提供一种电池极片的缺陷检测方法,应用于电池极片的缺陷检测系统,如图4A所示,所述系统包括:极片图像输入模块401、极板极耳定位模块402、极板缺陷检测模块403、极耳缺陷检测模块404、结果显示输出模块405。
其中,极片图像输入模块401包括工业相机和光源,可以在极片产线上的固定位置上架设工业相机和两种光源。产线上的每个极片可以用两种光源照射,分别用来拍摄着重显示极板区域和极耳区域。如图4B所示,最终的成像为两种光源拍摄图像左右拼接组成的图像406(即所述电池极片图像),左侧为着重显示极板区域的光源图像4061(即所述第一图像),右侧为着重显示极片区域的光源图像4062(即所述第二图像),该拼接组成的图像406会输入到边缘节点算法模块进行处理。
其中,边缘节点算法模块包括极板极耳定位模块402、极板缺陷检测模块403和极片缺陷检测模块404。由于拼接组成的图像中存在较多的背景区域干扰,直接对图像进行缺陷检测极片会降低准确度,此外极片由下面的极板和上面的极耳两部分组成,两部分的缺陷种类不同,直接进行缺陷识别不易区分具体缺陷种类。因此,本申请实施例提出了先检测极板、极耳区域,再分别对左侧的极板和右侧的极耳进行缺陷检测的算法方案,包括如下步骤:
第一部分,极板极耳检测。
由于极板、极耳区域位置较为固定而且特征明显,为了提高检测模型的速度,采用以mobilenet作为backbone的单阶段目标检测方法RetinaNet检测极板和极耳区域,如图4C中检测到的两个极板407、检测到的两个极耳408。
由于图像输入模块中输入的是由两张图拼接组成的图像,其中,左侧为着重显示极板区域的光源图像,右侧为着重显示极片区域的光源图像,所以在采用RetinaNet检测极板和极耳时,会检测出两个极板和极耳,选择左侧的极板框和右侧的极耳框作为识别到的极板区域和极耳区域。在裁剪过程中,对极耳检测框外扩10个像素、极板检测框外扩20个像素,再进行裁剪。得到如图4C所示的极板区域图409(即所述极板区域)和极耳区域图410(即所述极耳区域),将两张图分别进行对应的极板缺陷识别和极耳缺陷识别。
第二部分,缺陷检测。
由于极板区域较大、缺陷类别较多,采用Resnet50作为极板缺陷分类模型。由于极片区域较小、缺陷类别较少,采用Resnet18作为极片缺陷分类模型。极板缺陷类别包括破损、露白、褶皱、掉料、异物、色差、裂纹6类,极耳缺陷类别包括破损、错位2类。除了几类缺陷外,还有正常类图片,所以极板缺陷分类模型进行7分类,极片缺陷分类模型进行3分类。
由于缺陷图片的种类数量不一,为了提高分类模型对这些类别的识别精确度,对数量少的缺陷类别图片进行重采样,同时由于一些图片存在多种缺陷,因此,对每一种类型使用sigmoid函数代替softmax函数,即每一种类型的得分在0到1之间。
第三部分,缺陷结果显示。
显示和控制模块405用于将边缘节点算法模块的结果进行显示,如果极板分类模型和极片分类模型的正常类得分都大于0.5(即所述预设阈值),则判定该极片为良品,反之存在缺陷,缺陷类型判定为缺陷类别中得分最高的缺陷,则可以通过过程产线控制器(Procoss Line Controller,PLC)控制相应的机械臂将不良品(No Good,NG)抓取到对应的NG产品区域,而从产线上直接剔除不合格产品。
需要说明的是,上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考。本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的执行顺序应当以其功能和可能的内在逻辑确定。
基于前述的实施例,本申请实施例提供一种电池极片的缺陷检测装置,该装置包括所包括的各模块、以及各模块所包括的各子模块,各子模块所包括的各单元,以及各单元所包括的各子单元,都可以通过电子设备来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图5为本申请实施例提供的一种电池极片的缺陷检测装置的结构示意图,如图5所示,所述缺陷检测装置500包括获取模块510,第一检测模块520和第二检测模块530,其中:
获取模块510,用于获取对待检测的电池极片进行拍摄得到的第一图像和第二图像,其中,所述第一图像的拍摄参数为适于拍摄所述电池极片的极板区域的预设参数;所述第二图像的拍摄参数为适于拍摄所述电池极片的极耳区域的预设参数;
第一检测模块520,用于对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域;
第二检测模块530,用于对所述极板区域和所述极耳区域进行缺陷检测,得到所述电池极片的缺陷检测结果。
在一些实施例中,第一检测模块520,还用于利用目标检测算法,对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域。
在一些实施例中,第一检测模块520,包括:
第一检测子模块,用于利用所述目标检测算法,对所述第一图像进行图像检测,得到极板检测框;
第二检测子模块,用于利用所述目标检测算法,对所述第二图像进行图像检测,得到极耳检测框;
裁剪子模块,用于分别裁剪所述极板检测框和所述极耳检测框,得到所述极板区域和所述极耳区域。
在一些实施例中,第一检测模块520包括:拼接子模块,用于对所述第一图像和所述第二图像进行拼接,得到电池极片图像;第三检测子模块,用于利用所述目标检测算法,对所述电池极片图像中的第一图像和第二图像同时进行极板检测和极耳检测,得到至少一个极板检测框和至少一个极耳检测框;第一确定子模块,用于在所述至少一个极板检测框和所述至少一个极耳检测框中,基于所述电池极片图像中所述第一图像和所述第二图像之间的相对位置关系,确定极板区域和极耳区域。
在一些实施例中,所述裁剪子模块包括:外扩单元,用于将所述极板检测框和所述极耳检测框分别进行外扩,得到极板待处理区域和极耳待处理区域;裁剪单元,用于分别裁剪所述极板待处理区域和所述极耳待处理区域,得到所述极板区域和所述极耳区域。
在一些实施例中,第二检测模块530,还用于分别利用分类算法对所述极板区域和所述极耳区域进行分类,得到所述电池极片的缺陷检测结果。
在一些实施例中,所述极板的分类类型包括:破损、露白、褶皱、掉料、异物、色差、裂纹和正常中的多个类型;所述极耳的分类类型包括:破损、错位和正常中的多个类型;
第二检测模块530包括:分类子模块,用于利用分类算法对所述极板区域和所述极耳区域进行分类,得到所述极板的每一所述分类类型的置信度和所述极耳的每一所述分类类型的置信度;第二确定子模块,用于基于所述极板的每一所述分类类型的置信度和所述极耳的每一所述分类类型的置信度,确定所述电池极片的缺陷检测结果。
在一些实施例中,所述缺陷检测结果表征存在缺陷和不存在缺陷,第二确定子模块包括:第一确定单元,用于在所述极板的分类类型为正常的置信度和所述极耳的分类类型为正常的置信度均大于预设阈值的情况下,确定所述电池极片的缺陷检测结果为不存在缺陷;第二确定单元,用于在所述极板的分类类型为正常的置信度和所述极耳的分类类型为正常的置信度中至少之一小于等于预设阈值的情况下,确定所述电池极片的缺陷检测结果为存在缺陷。
在一些实施例中,在确定电池极片的缺陷检测结果为存在缺陷之后,第二确定单元,还用于在分类类型为正常的置信度小于等于预设阈值的所述极板和/或所述极耳中,确定除正常之外的置信度最高的缺陷分类类别,得到所述电池极片的缺陷检测结果为所述缺陷分类类别。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的电池极片的缺陷检测方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read OnlyMemory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件、软件或固件,或者硬件、软件、固件三者之间的任意结合。
对应地,本申请实施例提供一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述实施例中提供的电池极片的缺陷检测方法中的步骤。
对应地,本申请实施例提供一种可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述电池极片的缺陷检测方法中的步骤。
这里需要指出的是:以上存储介质和平台实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和平台实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,图6为本申请实施例提供的电子设备的一种硬件实体示意图,如图6所示,该电子设备600的硬件实体包括:处理器601、通信接口602和存储器603,其中处理器601通常控制电子设备600的总体操作。通信接口602可以使电子设备600通过网络与其他平台或电子设备或服务器通信。
存储器603配置为存储由处理器601可执行的指令和应用,还可以缓存待处理器601以及电子设备600中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过FLASH(闪存)或随机访问存储器(Random AccessMemory,RAM)实现。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理模块中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
若本申请技术方案涉及个人信息,应用本申请技术方案的产品在处理个人信息前,已明确告知个人信息处理规则,并取得个人自主同意。若本申请技术方案涉及敏感个人信息,应用本申请技术方案的产品在处理敏感个人信息前,已取得个人单独同意,并且同时满足“明示同意”的要求。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同意对其个人信息进行采集;或者在个人信息处理的装置上,利用明显的标识/信息告知个人信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权;其中,个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式、处理的个人信息种类等信息。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种电池极片的缺陷检测方法,其特征在于,所述极片包括极板和极耳,所述方法包括:
获取对待检测的电池极片进行拍摄得到的第一图像和第二图像,其中,所述第一图像的拍摄参数为适于拍摄所述电池极片的极板区域的预设参数;所述第二图像的拍摄参数为适于拍摄所述电池极片的极耳区域的预设参数;
对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域;
对所述极板区域和所述极耳区域进行缺陷检测,得到所述电池极片的缺陷检测结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域,包括:
利用目标检测算法,对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域。
3.根据权利要求2所述的方法,其特征在于,所述利用目标检测算法,对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域,包括:
利用所述目标检测算法,对所述第一图像进行图像检测,得到极板检测框;
利用所述目标检测算法,对所述第二图像进行图像检测,得到极耳检测框;
分别裁剪所述极板检测框和所述极耳检测框,得到所述极板区域和所述极耳区域。
4.根据权利要求2所述的方法,其特征在于,所述利用目标检测算法,对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域,包括:
对所述第一图像和所述第二图像进行拼接,得到电池极片图像;
利用所述目标检测算法,对所述电池极片图像中的第一图像和第二图像同时进行极板检测和极耳检测,得到至少一个极板检测框和至少一个极耳检测框;
在所述至少一个极板检测框和所述至少一个极耳检测框中,基于所述电池极片图像中所述第一图像和所述第二图像之间的相对位置关系,确定极板区域和极耳区域。
5.根据权利要求3所述的方法,其特征在于,所述分别裁剪所述极板检测框和所述极耳检测框,得到所述极板区域和所述极耳区域,包括:
将所述极板检测框和所述极耳检测框分别进行外扩,得到极板待处理区域和极耳待处理区域;
分别裁剪所述极板待处理区域和所述极耳待处理区域,得到所述极板区域和所述极耳区域。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述对所述极板区域和所述极耳区域进行缺陷检测,得到所述电池极片的缺陷检测结果,包括:
分别利用分类算法对所述极板区域和所述极耳区域进行分类,得到所述电池极片的缺陷检测结果。
7.根据权利要求6所述的方法,其特征在于,所述极板的分类类型包括:破损、露白、褶皱、掉料、异物、色差、裂纹和正常中的多个类型;所述极耳的分类类型包括:破损、错位和正常中的多个类型;
所述分别利用分类算法对所述极板区域和所述极耳区域进行分类,得到所述电池极片的缺陷检测结果,包括:
利用分类算法对所述极板区域和所述极耳区域进行分类,得到所述极板的每一所述分类类型的置信度和所述极耳的每一所述分类类型的置信度;
基于所述极板的每一所述分类类型的置信度和所述极耳的每一所述分类类型的置信度,确定所述电池极片的缺陷检测结果。
8.根据权利要求7所述的方法,其特征在于,所述缺陷检测结果表征存在缺陷和不存在缺陷,所述极板的每一所述分类类型的置信度和所述极耳的每一所述分类类型的置信度,确定所述电池极片的缺陷检测结果,包括:
在所述极板的分类类型为正常的置信度和所述极耳的分类类型为正常的置信度均大于预设阈值的情况下,确定所述电池极片的缺陷检测结果为不存在缺陷;
在所述极板的分类类型为正常的置信度和所述极耳的分类类型为正常的置信度中至少之一小于等于预设阈值的情况下,确定所述电池极片的缺陷检测结果为存在缺陷。
9.根据权利要求8所述的方法,其特征在于,在确定电池极片的缺陷检测结果为存在缺陷之后,还包括:
在分类类型为正常的置信度小于等于预设阈值的所述极板和/或所述极耳中,确定除正常之外的置信度最高的缺陷分类类别,得到所述电池极片的缺陷检测结果为所述缺陷分类类别。
10.一种电池极片的缺陷检测装置,其特征在于,所述极片包括极板和极耳,所述装置包括:
获取模块,用于获取对待检测的电池极片进行拍摄得到的第一图像和第二图像,其中,所述第一图像的拍摄参数为适于拍摄所述电池极片的极板区域的预设参数;所述第二图像的拍摄参数为适于拍摄所述电池极片的极耳区域的预设参数;
第一检测模块,用于对所述第一图像和所述第二图像进行图像检测,得到极板区域和极耳区域;
第二检测模块,用于对所述极板区域和所述极耳区域进行缺陷检测,得到所述电池极片的缺陷检测结果。
11.一种电子设备,其特征在于,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至9任一项所述方法中的步骤。
12.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该计算机程序被处理器执行时实现权利要求1至9任一项所述方法中的步骤。
CN202210825974.8A 2022-07-13 2022-07-13 电池极片的缺陷检测方法、装置、设备及存储介质 Pending CN115205247A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210825974.8A CN115205247A (zh) 2022-07-13 2022-07-13 电池极片的缺陷检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210825974.8A CN115205247A (zh) 2022-07-13 2022-07-13 电池极片的缺陷检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115205247A true CN115205247A (zh) 2022-10-18

Family

ID=83579186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210825974.8A Pending CN115205247A (zh) 2022-07-13 2022-07-13 电池极片的缺陷检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115205247A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078677A (zh) * 2023-10-16 2023-11-17 江西天鑫冶金装备技术有限公司 一种用于始极片的缺陷检测方法及系统
CN117274160A (zh) * 2023-08-17 2023-12-22 钛玛科(北京)工业科技有限公司 一种锂电卷绕极耳对齐闭环的方法
CN117636079A (zh) * 2024-01-25 2024-03-01 宁德时代新能源科技股份有限公司 图像分类方法、装置及电子设备
CN117781914A (zh) * 2024-02-28 2024-03-29 宁德时代新能源科技股份有限公司 极耳错位检测系统及方法
CN118095059A (zh) * 2024-01-19 2024-05-28 深圳市海星智造信息技术有限公司 极耳偏移量模型生成方法、装置、设备及存储介质
WO2024113541A1 (zh) * 2022-11-30 2024-06-06 宁德时代新能源科技股份有限公司 电芯极片检测方法、装置与电子设备
CN118329782A (zh) * 2024-06-17 2024-07-12 成都博视达科技有限公司 一种电极片缺陷检测方法、设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024113541A1 (zh) * 2022-11-30 2024-06-06 宁德时代新能源科技股份有限公司 电芯极片检测方法、装置与电子设备
CN117274160A (zh) * 2023-08-17 2023-12-22 钛玛科(北京)工业科技有限公司 一种锂电卷绕极耳对齐闭环的方法
CN117274160B (zh) * 2023-08-17 2024-04-30 钛玛科(北京)工业科技有限公司 一种锂电卷绕极耳对齐闭环的方法
CN117078677A (zh) * 2023-10-16 2023-11-17 江西天鑫冶金装备技术有限公司 一种用于始极片的缺陷检测方法及系统
CN117078677B (zh) * 2023-10-16 2024-01-30 江西天鑫冶金装备技术有限公司 一种用于始极片的缺陷检测方法及系统
CN118095059A (zh) * 2024-01-19 2024-05-28 深圳市海星智造信息技术有限公司 极耳偏移量模型生成方法、装置、设备及存储介质
CN117636079A (zh) * 2024-01-25 2024-03-01 宁德时代新能源科技股份有限公司 图像分类方法、装置及电子设备
CN117636079B (zh) * 2024-01-25 2024-10-18 宁德时代新能源科技股份有限公司 图像分类方法、装置及电子设备
CN117781914A (zh) * 2024-02-28 2024-03-29 宁德时代新能源科技股份有限公司 极耳错位检测系统及方法
CN118329782A (zh) * 2024-06-17 2024-07-12 成都博视达科技有限公司 一种电极片缺陷检测方法、设备及存储介质
CN118329782B (zh) * 2024-06-17 2024-08-20 成都博视达科技有限公司 一种电极片缺陷检测方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN115205247A (zh) 电池极片的缺陷检测方法、装置、设备及存储介质
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN110728209A (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN115294117B (zh) Led灯珠的缺陷检测方法及相关装置
CN115156093A (zh) 电池外壳缺陷检测方法、系统及装置
CN113516146A (zh) 一种数据分类方法、计算机及可读存储介质
CN112257665A (zh) 图像内容的识别方法、图像识别模型的训练方法及介质
US11348349B2 (en) Training data increment method, electronic apparatus and computer-readable medium
CN111881732B (zh) 一种基于svm的人脸质量评价方法
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN111325107A (zh) 检测模型训练方法、装置、电子设备和可读存储介质
CN113947613B (zh) 目标区域检测方法、装置、设备及存储介质
CN112434647A (zh) 一种人脸活体检测方法
CN116977248A (zh) 图像处理方法、装置、智能设备、存储介质及产品
CN115049675A (zh) 生成区域确定及光斑生成方法、设备、介质及程序产品
CN117557784B (zh) 目标检测方法、装置、电子设备及存储介质
CN110751225A (zh) 图像分类方法、装置及存储介质
CN115410240A (zh) 智能人脸的痘痘和色斑分析方法、装置及存储介质
CN113570615A (zh) 一种基于深度学习的图像处理方法、电子设备及存储介质
CN117475353A (zh) 基于视频的异常烟雾识别方法及系统
CN117132540A (zh) 一种基于分割模型的pcb电路板缺陷后处理方法
CN111126283A (zh) 一种自动过滤模糊人脸的快速活体检测方法及系统
CN116152191A (zh) 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备
CN115690934A (zh) 基于批量人脸识别的师生考勤打卡方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination