CN114663662B - 超参数搜索方法、装置、计算机设备和存储介质 - Google Patents

超参数搜索方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114663662B
CN114663662B CN202210563959.0A CN202210563959A CN114663662B CN 114663662 B CN114663662 B CN 114663662B CN 202210563959 A CN202210563959 A CN 202210563959A CN 114663662 B CN114663662 B CN 114663662B
Authority
CN
China
Prior art keywords
sample image
semantic segmentation
determining
segmentation model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210563959.0A
Other languages
English (en)
Other versions
CN114663662A (zh
Inventor
方曦
颜泽鑫
刘枢
沈小勇
吕江波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Simou Intelligent Technology Co ltd
Shenzhen Smartmore Technology Co Ltd
Original Assignee
Suzhou Simou Intelligent Technology Co ltd
Shenzhen Smartmore Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Simou Intelligent Technology Co ltd, Shenzhen Smartmore Technology Co Ltd filed Critical Suzhou Simou Intelligent Technology Co ltd
Priority to CN202210563959.0A priority Critical patent/CN114663662B/zh
Publication of CN114663662A publication Critical patent/CN114663662A/zh
Application granted granted Critical
Publication of CN114663662B publication Critical patent/CN114663662B/zh
Priority to PCT/CN2022/120479 priority patent/WO2023226259A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种超参数搜索方法、装置、计算机设备和存储介质。所述方法包括:获取数据集,数据集包含若干工业场景下存在视觉缺陷的样本图像,每一样本图像对应有缺陷信息;根据数据集中的样本图像及对应的缺陷信息,确定数据集的特征参数;根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别;语义分割模型用于进行缺陷检测;语义分割模型的模型类别用于确定语义分割模型进行缺陷检测时所采用的算法;根据搜索空间和语义分割模型的模型类别,确定语义分割模型的超参数。由于自动根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别,从而实现自动化确定搜索空间和语义分割模型的模型类别。

Description

超参数搜索方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能的机器学习技术领域,特别是涉及一种超参数搜索方法、装置、计算机设备和存储介质。
背景技术
超参数搜索作为数学上黑盒优化方法的一个特例,具有多种具体算法,如随机搜索、网格搜索、贝叶斯优化和Hyperband等多种方法,这些方法都需要手动设定超参数搜索的范围即“搜索空间”,也就是需要指定搜索哪些超参数以及这些超参数的取值范围,而指定搜索空间这个操作本身,就极其依赖经验,导致整个自动化超参数搜索的过程自动化程度不够高。
发明内容
基于此,有必要针对上述技术问题,提供一种能够自动确定搜索空间的超参数搜索方法、装置、计算机设备和计算机可读存储介质。
第一方面,本申请提供了一种超参数搜索方法。所述方法包括:
获取数据集,数据集包含若干工业场景下存在视觉缺陷的样本图像,每一样本图像对应有缺陷信息;缺陷信息包括缺陷类别、缺陷总面积、缺陷数量和每一样本图像中每一缺陷的面积;
根据数据集中的样本图像及对应的缺陷信息,确定数据集的特征参数;特征参数包括样本图像尺寸、样本图像能量均值、样本图像像素值均值、样本图像的显著性区域占全图的比例、样本图像缺陷类别数量均值、样本图像缺陷面积占全图的比例、样本图像缺陷数量均值、样本图像最大缺陷面积占全图的比例和样本图像最小缺陷面积占全图的比例;
根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别;语义分割模型用于进行缺陷检测;语义分割模型的模型类别用于确定语义分割模型进行缺陷检测时所采用的算法;
根据搜索空间和语义分割模型的模型类别,确定语义分割模型的超参数。
在其中一个实施例中,根据数据集中的样本图像及对应的缺陷信息,确定数据集的特征参数,包括:
获取数据集中每一样本图像的像素点数量,根据每一样本图像的像素点数量和数据集的样本图像数量,确定样本图像尺寸;
获取每一样本图像的能量图,根据每一样本图像的能量图和样本图像数量,确定样本图像能量均值;
根据每一样本图像中每一像素点的红色分量值、蓝色分量值和绿色分量值,确定每一样本图像对应的红色分量值、蓝色分量值和绿色分量值;根据每一样本图像对应的红色分量值、蓝色分量值和绿色分量值、以及每一样本图像的像素点数量,确定每一样本图像的红色分量均值、蓝色分量均值和绿色分量均值;根据每一样本图像的红色分量均值、蓝色分量均值和绿色分量均值、以及样本图像数量,确定样本图像像素值均值;
获取每一样本图像的显著性区域;根据每一样本图像的显著性区域、每一样本图像的图像面积和样本图像数量,确定样本图像的显著性区域占全图的比例;
根据每一样本图像对应的缺陷类别和样本图像数量,确定样本图像缺陷类别数量均值;
根据每一样本图像对应的缺陷总面积、每一样本图像的图像面积和样本图像数量,确定样本图像缺陷面积占全图的比例;
根据每一样本图像对应的缺陷数量和样本图像数量,确定样本图像缺陷数量均值;
从每一样本图像对应的每一缺陷的面积中获取最大的面积,根据最大的面积和最大面积对应的样本图像的图像面积,确定样本图像最大缺陷面积占全图的比例;
从每一样本图像对应的每一缺陷的面积中获取最小的面积,根据最小的面积和最小面积对应的样本图像的图像面积,确定样本图像最小缺陷面积占全图的比例。
在其中一个实施例中,根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别,包括:
将特征参数输入至预设模型,输出语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值和语义分割模型的模型类别;
根据每一超参数的搜索空间的中值,确定每一超参数的取值范围;
依据每一超参数的取值范围,确定搜索空间。
在其中一个实施例中,预设模型为2层多层感知机,根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别,包括:
将特征参数输入至2层多层感知机,2层多层感知机的第一支路输出语义分割模型的模型类别,2层多层感知机的第二支路输出语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值;
根据每一超参数的搜索空间的中值,确定每一超参数的取值范围;
依据每一超参数的取值范围,确定搜索空间。
在其中一个实施例中,根据每一超参数的搜索空间的中值,确定每一超参数的取值范围,包括:
获取训练预设模型时的验证集拟合误差;
获取验证集拟合误差与预设倍数之间乘积;
将每一超参数的搜索空间的中值与乘积之间的差值,作为每一超参数的取值范围的下限值,将每一超参数的搜索空间的中值与乘积之间的和值,作为每一超参数的取值范围的上限值。
在其中一个实施例中,预设模型的训练过程,包括:
基于训练样本对初始模型进行训练,得到预设模型;
训练样本包括第一预设数量组历史实验数据;每一组历史实验数据包括历史实验数据集的特征参数、历史实验语义分割模型的模型类别以及历史实验超参数;历史实验数据集的特征参数是对每一组历史实验数据对应的历史实验过程中语义分割模型的训练样本数据进行转换得到的,历史实验语义分割模型的模型类别是每一组历史实验数据对应的历史实验过程中语义分割模型的模型类别,历史实验超参数是每一组历史实验数据对应的历史实验过程中确定的语义分割模型的超参数;语义分割模型的模型类别种类包括大面积脏污分割算法模板、细小划痕缺陷分割算法模板和通用缺陷分割算法模板。
在其中一个实施例中,根据搜索空间和语义分割模型的模型类别,确定语义分割模型的超参数,包括:
基于数据集对初始语义分割模型进行训练,得到语义分割模型;
将搜索空间输入至黑盒优化器,获取黑盒优化器每次输出的超参数,并将黑盒优化器每次输出的超参数输入至语义分割模型,控制语义分割模型输出在每次输出的超参数条件下的性能指标至黑盒优化器和早停器;
若黑盒优化器输出超参数的总次数达到第二预设数量,则控制黑盒优化器结束输出,并将所有性能指标中最佳性能指标对应的超参数,作为语义分割模型的超参数;
若早停器接收到的性能指标中存在第三预设数量个性能指标不满足预设条件,则控制黑盒优化器和语义分割模型停止运行。
第二方面,本申请还提供了一种超参数搜索装置。所述装置包括:
获取模块,用于获取数据集,数据集包含若干工业场景下存在视觉缺陷的样本图像,每一样本图像对应有缺陷信息;缺陷信息包括缺陷类别、缺陷总面积、缺陷数量和每一样本图像中每一缺陷的面积;
第一确定模块,用于根据数据集中的样本图像及对应的缺陷信息,确定数据集的特征参数;特征参数包括样本图像尺寸、样本图像能量均值、样本图像像素值均值、样本图像的显著性区域占全图的比例、样本图像缺陷类别数量均值、样本图像缺陷面积占全图的比例、样本图像缺陷数量均值、样本图像最大缺陷面积占全图的比例和样本图像最小缺陷面积占全图的比例;
第二确定模块,用于根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别;语义分割模型用于进行缺陷检测;语义分割模型的模型类别用于确定语义分割模型进行缺陷检测时所采用的算法;
第三确定模块,用于根据搜索空间和语义分割模型的模型类别,确定语义分割模型的超参数。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取数据集,数据集包含若干工业场景下存在视觉缺陷的样本图像,每一样本图像对应有缺陷信息;缺陷信息包括缺陷类别、缺陷总面积、缺陷数量和每一样本图像中每一缺陷的面积;
根据数据集中的样本图像及对应的缺陷信息,确定数据集的特征参数;特征参数包括样本图像尺寸、样本图像能量均值、样本图像像素值均值、样本图像的显著性区域占全图的比例、样本图像缺陷类别数量均值、样本图像缺陷面积占全图的比例、样本图像缺陷数量均值、样本图像最大缺陷面积占全图的比例和样本图像最小缺陷面积占全图的比例;
根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别;语义分割模型用于进行缺陷检测;语义分割模型的模型类别用于确定语义分割模型进行缺陷检测时所采用的算法;
根据搜索空间和语义分割模型的模型类别,确定语义分割模型的超参数。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取数据集,数据集包含若干工业场景下存在视觉缺陷的样本图像,每一样本图像对应有缺陷信息;缺陷信息包括缺陷类别、缺陷总面积、缺陷数量和每一样本图像中每一缺陷的面积;
根据数据集中的样本图像及对应的缺陷信息,确定数据集的特征参数;特征参数包括样本图像尺寸、样本图像能量均值、样本图像像素值均值、样本图像的显著性区域占全图的比例、样本图像缺陷类别数量均值、样本图像缺陷面积占全图的比例、样本图像缺陷数量均值、样本图像最大缺陷面积占全图的比例和样本图像最小缺陷面积占全图的比例;
根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别;语义分割模型用于进行缺陷检测;语义分割模型的模型类别用于确定语义分割模型进行缺陷检测时所采用的算法;
根据搜索空间和语义分割模型的模型类别,确定语义分割模型的超参数。
上述超参数搜索方法、装置、计算机设备和存储介质,需要说明的是,相关技术中,语义分割模型的模型类别和搜索空间均需要手动设定,而本申请中由于自动根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别,从而实现自动化确定搜索空间和语义分割模型的模型类别,与手动确定搜索空间和语义分割模型的模型类别的方式相比,自动化程度更高。另外,可以理解的是,手动的方式必将需要较多的人工介入,而手动确定搜索空间和语义分割模型的模型类别的方式对经验的要求较高,需要介入人工花费大量的时间进行学习,存在人力成本高的问题,而本申请能够自动化确定搜索空间和语义分割模型的模型类别,从而降低人力成本。另外,为了降低搜索语义分割模型的所有超参数的成本;在进行超参数搜索时,虽然手动设定的方式会根据经验手动给定一个比较大但是要比合法取值范围更小的空间,作为语义分割模型的搜索空间,合法取值范围通常为0至正无穷,但是由于人类经验的局限性,该搜索空间依然横跨4个数量级,依然比较大,后续根据该搜索空间确定语义分割模型的超参数时所需的时长较长,存在效率不高的问题,而本申请根据数据特点,自动的选择一个较小的搜索空间,从而提高确定语义分割模型的超参数的效率。
附图说明
图1为一个实施例中超参数搜索方法的流程示意图;
图2为一个实施例中超参数搜索方法中基于2层多层感知机确定语义分割模型的模型类别和搜索空间的示意图;
图3为一个实施例中确定语义分割模型的超参数的示意图;
图4为一个实施例中超参数搜索装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
超参数搜索作为数学上黑盒优化方法的一个特例,具有多种具体算法,如随机搜索、网格搜索、贝叶斯优化和Hyperband等多种方法,这些方法都需要手动设定超参数搜索的范围即“搜索空间”,也就是需要指定搜索哪些超参数以及这些超参数的取值范围,而指定搜索空间这个操作本身,就极其依赖经验,导致整个自动化超参数搜索的过程自动化程度不够高。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种专业名词,但除非特别说明,这些专业名词不受这些术语限制。这些术语仅用于将一个专业名词与另一个专业名词区分。举例来说,在不脱离本申请的范围的情况下,第二预设数量与第三预设数量可以相同可以不同。
针对上述相关技术中存在的问题,本发明实施例提供了一种超参数搜索方法,该方法可以应用于服务器中,也可以应用于终端,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。其中,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。需要说明的是,本申请各实施例中提及的“多个”等的数量均指代“至少两个”的数量,比如,“多个”指“至少两个”。
在一个实施例中,如图1所示,提供了一种超参数搜索方法,本实施例以该方法应用于服务器进行举例说明,该方法包括以下步骤:
102、获取数据集,数据集包含若干工业场景下存在视觉缺陷的样本图像,每一样本图像对应有缺陷信息;缺陷信息包括缺陷类别、缺陷总面积、缺陷数量和每一样本图像中每一缺陷的面积。
其中,若干工业场景可以包括对精密零件进行缺陷检测的场景、对金属零件进行缺陷检测的场景、对PCB线路板进行缺陷检测的场景、对玻璃表面进行缺陷检测的场景、对微纳光学元件表面进行缺陷检测的场景、对印刷品表观进行缺陷检测的场景以及对纺织品进行缺陷检测的场景,本申请实施例对此不作具体限定。另外,在实际应用中,数据集中的样本图像数量可以不少于200帧。
104、根据数据集中的样本图像及对应的缺陷信息,确定数据集的特征参数;特征参数包括样本图像尺寸、样本图像能量均值、样本图像像素值均值、样本图像的显著性区域占全图的比例、样本图像缺陷类别数量均值、样本图像缺陷面积占全图的比例、样本图像缺陷数量均值、样本图像最大缺陷面积占全图的比例和样本图像最小缺陷面积占全图的比例。
106、根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别;语义分割模型用于进行缺陷检测;语义分割模型的模型类别用于确定语义分割模型进行缺陷检测时所采用的算法。
其中,语义分割模型的搜索空间包括语义分割模型的所有待搜索超参数中每一超参数的取值范围。
另外,语义分割模型的模型类别种类可以包括以下三种,分别为大面积脏污分割算法模板、细小划痕缺陷分割算法模板和通用缺陷分割算法模板。需要说明的是,例如,所确定的语义分割模型的模型类别为大面积脏污分割算法模板,则在进行缺陷检测时,语义分割模型采用大面积脏污分割算法进行缺陷检测。
108、根据搜索空间和语义分割模型的模型类别,确定语义分割模型的超参数。
上述超参数搜索方法中,通过获取数据集,数据集包含若干工业场景下存在视觉缺陷的样本图像,每一样本图像对应有缺陷信息;缺陷信息包括缺陷类别、缺陷总面积、缺陷数量和每一样本图像中每一缺陷的面积;根据数据集中的样本图像及对应的缺陷信息,确定数据集的特征参数;特征参数包括样本图像尺寸、样本图像能量均值、样本图像像素值均值、样本图像的显著性区域占全图的比例、样本图像缺陷类别数量均值、样本图像缺陷面积占全图的比例、样本图像缺陷数量均值、样本图像最大缺陷面积占全图的比例和样本图像最小缺陷面积占全图的比例;根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别;语义分割模型用于进行缺陷检测;语义分割模型的模型类别用于确定语义分割模型进行缺陷检测时所采用的算法;根据搜索空间和语义分割模型的模型类别,确定语义分割模型的超参数。需要说明的是,相关技术中,语义分割模型的模型类别和搜索空间均需要手动设定,而本申请中由于自动根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别,从而实现自动化确定搜索空间和语义分割模型的模型类别,与手动确定搜索空间和语义分割模型的模型类别的方式相比,自动化程度更高。另外,可以理解的是,手动的方式必将需要较多的人工介入,而手动确定搜索空间和语义分割模型的模型类别的方式对经验的要求较高,需要介入人工花费大量的时间进行学习,存在人力成本高的问题,而本申请能够自动化确定搜索空间和语义分割模型的模型类别,从而降低人力成本。另外,为了降低搜索语义分割模型的所有超参数的成本;在进行超参数搜索时,虽然手动设定的方式会根据经验手动给定一个比较大但是要比合法取值范围更小的空间,作为语义分割模型的搜索空间,合法取值范围通常为0至正无穷,但是由于人类经验的局限性,该搜索空间依然横跨4个数量级,依然比较大,后续根据该搜索空间确定语义分割模型的超参数时所需的时长较长,存在效率不高的问题,而本申请根据数据特点,自动的选择一个较小的搜索空间,从而提高确定语义分割模型的超参数的效率。
在一个实施例中,根据数据集中的样本图像及对应的缺陷信息,确定数据集的特征参数,包括:
获取数据集中每一样本图像的像素点数量,根据每一样本图像的像素点数量和数据集的样本图像数量,确定样本图像尺寸。
具体地,根据每一样本图像的像素点数量和数据集的样本图像数量,确定样本图像尺寸可以包括:对每一样本图像的像素点数量进行求和,得到数据集的像素点数量;获取数据集的像素点数量与数据集的样本图像数量之间的比值,并作为样本图像尺寸。
获取每一样本图像的能量图,根据每一样本图像的能量图和样本图像数量,确定样本图像能量均值。
具体地,可以基于拉普拉斯算子获取每一样本图像的能量图。
具体地,根据每一样本图像的能量图和样本图像数量,确定样本图像能量均值可以包括:对每一能量图中每一像素点的能量进行求和,得到每一能量图的像素点的能量求和结果,对每一能量图的像素点的能量求和结果进行求和,得到所有能量图的像素点的能量求和结果;获取所有能量图的像素点的能量求和结果与数据集的像素点数量之间的比值,并作为样本图像能量均值。
根据每一样本图像中每一像素点的红色分量值、蓝色分量值和绿色分量值,确定每一样本图像对应的红色分量值、蓝色分量值和绿色分量值;根据每一样本图像对应的红色分量值、蓝色分量值和绿色分量值、以及每一样本图像的像素点数量,确定每一样本图像的红色分量均值、蓝色分量均值和绿色分量均值;根据每一样本图像的红色分量均值、蓝色分量均值和绿色分量均值、以及样本图像数量,确定样本图像像素值均值。
具体地,获取每一样本图像中每一像素点的红色分量值、蓝色分量值和绿色分量值,对每一样本图像中每一像素点的红色分量值进行求和,得到每一样本图像对应的红色分量值,对每一样本图像中每一像素点的蓝色分量值进行求和,得到每一样本图像对应的蓝色分量值,对每一样本图像中每一像素点的绿色分量值进行求和,得到每一样本图像对应的绿色分量值;
分别计算每一样本图像对应的红色分量值、蓝色分量值以及绿色分量值与对应样本图像的像素点数量之间的第一比值、第二比值以及第三比值,将每一样本图像对应的第一比值作为每一样本图像的红色分量均值,将每一样本图像对应的第二比值作为每一样本图像的蓝色分量均值,将每一样本图像对应的第三比值作为每一样本图像的绿色分量均值;
对每一样本图像的红色分量均值进行求和,得到所有样本图像的红色分量均值求和结果,对每一样本图像的蓝色分量均值进行求和,得到所有样本图像的蓝色分量均值求和结果,对每一样本图像的绿色分量均值进行求和,得到所有样本图像的绿色分量均值求和结果,计算所有样本图像的红色分量均值求和结果与数据集的样本图像数量之间的第四比值,计算所有样本图像的蓝色分量均值求和结果与数据集的样本图像数量之间的第五比值,计算所有样本图像的绿色分量均值求和结果与数据集的样本图像数量之间的第六比值,将第四比值、第五比值和第六比值作为样本图像像素值均值。
获取每一样本图像的显著性区域;根据每一样本图像的显著性区域、每一样本图像的图像面积和样本图像数量,确定样本图像的显著性区域占全图的比例。
具体地,可以基于显著性检测算法获取每一样本图像的显著性区域。
具体地,获取每一样本图像的显著性区域与每一样本图像的图像面积之间的比值,作为每一样本图像的显著性区域占每一样本图像的图像面积的比例,对每一样本图像的显著性区域占每一样本图像的图像面积的比例进行求和,得到第一求和结果,计算第一求和结果与样本图像数量之间的比值,作为样本图像的显著性区域占全图的比例。
根据每一样本图像对应的缺陷类别和样本图像数量,确定样本图像缺陷类别数量均值。
具体地,根据每一样本图像对应的缺陷类别,得到每一样本图像的缺陷类别数量,对每一样本图像的缺陷类别数量进行求和,得到第二求和结果,计算第二求和结果与样本图像数量之间的比值,作为样本图像缺陷类别数量均值。
根据每一样本图像对应的缺陷总面积、每一样本图像的图像面积和样本图像数量,确定样本图像缺陷面积占全图的比例。
具体地,计算每一样本图像对应的缺陷总面积与每一样本图像的图像面积之间的第七比值,对每一样本图像对应的第七比值进行求和,得到第三求和结果,获取第三求和结果与样本图像数量之间的比值,作为样本图像缺陷面积占全图的比例。
根据每一样本图像对应的缺陷数量和样本图像数量,确定样本图像缺陷数量均值。
具体地,对每一样本图像对应的缺陷数量进行求和,得到样本图像的缺陷数量求和结果,获取样本图像的缺陷数量求和结果与样本图像数量之间的比值,作为样本图像缺陷数量均值。
从每一样本图像对应的每一缺陷的面积中获取最大的面积,根据最大的面积和最大面积对应的样本图像的图像面积,确定样本图像最大缺陷面积占全图的比例。
具体地,计算最大的面积与最大面积对应的样本图像的图像面积之间的比值,作为样本图像最大缺陷面积占全图的比例。
从每一样本图像对应的每一缺陷的面积中获取最小的面积,根据最小的面积和最小面积对应的样本图像的图像面积,确定样本图像最小缺陷面积占全图的比例。
具体地,计算最小的面积与最小面积对应的样本图像的图像面积之间的比值,作为样本图像最小缺陷面积占全图的比例。
在一个实施例中,根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别,包括:
将特征参数输入至预设模型,输出语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值和语义分割模型的模型类别。
本实施例中,通过将特征参数输入至预设模型,输出语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值和语义分割模型的模型类别;根据每一超参数的搜索空间的中值,确定每一超参数的取值范围;依据每一超参数的取值范围,确定搜索空间。由于语义分割模型的模型类别和搜索空间是基于预设模型确定的,预设模型根据输入数据,可自动输出语义分割模型的模型类别和搜索空间,从而实现自动化确定搜索空间和语义分割模型的模型类别。
在一个实施例中,预设模型为2层多层感知机,根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别,包括:
将特征参数输入至2层多层感知机,2层多层感知机的第一支路输出语义分割模型的模型类别,2层多层感知机的第二支路输出语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值;
根据每一超参数的搜索空间的中值,确定每一超参数的取值范围;
依据每一超参数的取值范围,确定搜索空间。
需要说明的是,基于2层多层感知机确定语义分割模型的模型类别和搜索空间的示意图可以图2所示。需要说明的是,图2中的2层MLP即为2层多层感知机,如图2所示,语义分割模型的所有待搜索超参数包括学习率、权重衰减、增广强度参数m、损失函数参数c以及模型结构参数m。可以理解的是,图2只是提供了一种情况下的实验结果,实际应用中,所有待搜索超参数是根据实际情况确定的。
在一个实施例中,根据每一超参数的搜索空间的中值,确定每一超参数的取值范围,包括:
获取训练预设模型时的验证集拟合误差。
获取验证集拟合误差与预设倍数之间乘积。
具体地,在实际应用中,预设倍数可以为5倍。
将每一超参数的搜索空间的中值与乘积之间的差值,作为每一超参数的取值范围的下限值,将每一超参数的搜索空间的中值与乘积之间的和值,作为每一超参数的取值范围的上限值。
本实施例中,通过获取训练预设模型时的验证集拟合误差;获取验证集拟合误差与预设倍数之间乘积;将每一超参数的搜索空间的中值与乘积之间的差值,作为每一超参数的取值范围的下限值,将每一超参数的搜索空间的中值与乘积之间的和值,作为每一超参数的取值范围的上限值。从而确定每一超参数的取值范围,且每一超参数的取值范围与手动确定的每一超参数的取值范围相比,范围更小,从而实现自动的选择一个较小的搜索空间,进而提高确定语义分割模型的超参数的效率。
在一个实施例中,预设模型的训练过程,包括:
基于训练样本对初始模型进行训练,得到预设模型。
具体地,训练方式可以采用梯度反向传播的训练方式。
训练样本包括第一预设数量组历史实验数据;每一组历史实验数据包括历史实验数据集的特征参数、历史实验语义分割模型的模型类别以及历史实验超参数;历史实验数据集的特征参数是对每一组历史实验数据对应的历史实验过程中语义分割模型的训练样本数据进行转换得到的,历史实验语义分割模型的模型类别是每一组历史实验数据对应的历史实验过程中语义分割模型的模型类别,历史实验超参数是每一组历史实验数据对应的历史实验过程中确定的语义分割模型的超参数;语义分割模型的模型类别种类包括大面积脏污分割算法模板、细小划痕缺陷分割算法模板和通用缺陷分割算法模板。
需要说明的是,第一预设数量组的取值至少大于50,从而使得训练出的预设模型的输出更加精确。语义分割模型的训练样本包括若干工业场景下存在视觉缺陷的样本图像,对每一组历史实验数据对应的历史实验过程中语义分割模型的训练样本数据进行转换的过程,可参考上述实施例中数据集的特征参数的确定过程,在此不再赘述。
本实施例中,由于基于训练样本对初始模型进行训练,得到预设模型,从而使得预设模型输出的语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值和语义分割模型的模型类别更加精确。
在一个实施例中,根据搜索空间和语义分割模型的模型类别,确定语义分割模型的超参数,包括:
基于数据集对初始语义分割模型进行训练,得到语义分割模型;
将搜索空间输入至黑盒优化器,获取黑盒优化器每次输出的超参数,并将黑盒优化器每次输出的超参数输入至语义分割模型,控制语义分割模型输出在每次输出的超参数条件下的性能指标至黑盒优化器和早停器。
需要说明的是,若将黑盒优化器输出的超参数记为Pi,搜索空间记为P,则Pi∈P。例如,搜索空间中包括学习率、迭代次数、层数和每层神经元的个数这四种待搜索超参数的取值范围,其中,学习率的取值范围为60至40,迭代次数的取值范围为15至25,层数的取值范围为18至26,每层神经元的个数的取值范围为10至20,则黑盒优化器每次输出的超参数包括学习率的取值、迭代次数的取值、层数的取值和每层神经元的个数的取值,且超参数中每一参数的取值范围以搜索空间中每一超参数的取值范围为准。可以理解的是,黑盒优化器每次输出的超参数均是不同的。
若黑盒优化器输出超参数的总次数达到第二预设数量,则控制黑盒优化器结束输出,并将所有性能指标中最佳性能指标对应的超参数,作为语义分割模型的超参数。
需要说明的是,最佳性能指标也即是所有性能指标中最高的性能指标。
若早停器接收到的性能指标中存在第三预设数量个性能指标不满足预设条件,则控制黑盒优化器和语义分割模型停止运行。
本实施例中,通过设置早停器,实现提早结束一些预期结果较差的实验,从而减少时间消耗,提高实验效率。
在一个实施例中,确定语义分割模型的超参数的示意图可以如图3所示。图3中所涉及的名词的解释可参考上述方法实施例中对名词的具体解释,在此不再赘述。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的超参数搜索方法的超参数搜索装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个超参数搜索装置实施例中的具体限定可以参见上文中对于超参数搜索方法的限定,在此不再赘述。
在一个实施例中,如图4所示,提供了一种超参数搜索装置,包括:获取模块402、第一确定模块404、第二确定模块406和第三确定模块408,其中:
获取模块402,用于获取数据集,数据集包含若干工业场景下存在视觉缺陷的样本图像,每一样本图像对应有缺陷信息;缺陷信息包括缺陷类别、缺陷总面积、缺陷数量和每一样本图像中每一缺陷的面积;
第一确定模块404,用于根据数据集中的样本图像及对应的缺陷信息,确定数据集的特征参数;特征参数包括样本图像尺寸、样本图像能量均值、样本图像像素值均值、样本图像的显著性区域占全图的比例、样本图像缺陷类别数量均值、样本图像缺陷面积占全图的比例、样本图像缺陷数量均值、样本图像最大缺陷面积占全图的比例和样本图像最小缺陷面积占全图的比例;
第二确定模块406,用于根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别;语义分割模型用于进行缺陷检测;语义分割模型的模型类别用于确定语义分割模型进行缺陷检测时所采用的算法;
第三确定模块408,用于根据搜索空间和语义分割模型的模型类别,确定语义分割模型的超参数。
在一个实施例中,第一确定模块404,包括:
第一获取单元,用于获取数据集中每一样本图像的像素点数量,根据每一样本图像的像素点数量和数据集的样本图像数量,确定样本图像尺寸;
第二获取单元,用于获取每一样本图像的能量图,根据每一样本图像的能量图和样本图像数量,确定样本图像能量均值;
第一确定单元,用于根据每一样本图像中每一像素点的红色分量值、蓝色分量值和绿色分量值,确定每一样本图像对应的红色分量值、蓝色分量值和绿色分量值;根据每一样本图像对应的红色分量值、蓝色分量值和绿色分量值、以及每一样本图像的像素点数量,确定每一样本图像的红色分量均值、蓝色分量均值和绿色分量均值;根据每一样本图像的红色分量均值、蓝色分量均值和绿色分量均值、以及样本图像数量,确定样本图像像素值均值;
第三获取单元,用于获取每一样本图像的显著性区域;根据每一样本图像的显著性区域、每一样本图像的图像面积和样本图像数量,确定样本图像的显著性区域占全图的比例;
第二确定单元,用于根据每一样本图像对应的缺陷类别和样本图像数量,确定样本图像缺陷类别数量均值;
第三确定单元,用于根据每一样本图像对应的缺陷总面积、每一样本图像的图像面积和样本图像数量,确定样本图像缺陷面积占全图的比例;
第四确定单元,用于根据每一样本图像对应的缺陷数量和样本图像数量,确定样本图像缺陷数量均值;
第五确定单元,用于从每一样本图像对应的每一缺陷的面积中获取最大的面积,根据最大的面积和最大面积对应的样本图像的图像面积,确定样本图像最大缺陷面积占全图的比例;
第六确定单元,用于从每一样本图像对应的每一缺陷的面积中获取最小的面积,根据最小的面积和最小面积对应的样本图像的图像面积,确定样本图像最小缺陷面积占全图的比例。
在一个实施例中,第二确定模块406,包括:
第一输出单元,用于将特征参数输入至预设模型,输出语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值和语义分割模型的模型类别;
第七确定单元,用于根据每一超参数的搜索空间的中值,确定每一超参数的取值范围;
第八确定单元,用于依据每一超参数的取值范围,确定搜索空间。
在一个实施例中,预设模型为2层多层感知机,第二确定模块406,包括:
第二输出单元,用于将特征参数输入至2层多层感知机,2层多层感知机的第一支路输出语义分割模型的模型类别,2层多层感知机的第二支路输出语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值;
第九确定单元,用于根据每一超参数的搜索空间的中值,确定每一超参数的取值范围;
第十确定单元,用于依据每一超参数的取值范围,确定搜索空间。
在一个实施例中,第七确定单元,包括:
第一获取子单元,用于获取训练预设模型时的验证集拟合误差;
第二获取子单元,用于获取验证集拟合误差与预设倍数之间乘积;
确定子单元,用于将每一超参数的搜索空间的中值与乘积之间的差值,作为每一超参数的取值范围的下限值,将每一超参数的搜索空间的中值与乘积之间的和值,作为每一超参数的取值范围的上限值。
在一个实施例中,第二确定模块406,还包括:
第一得到单元,用于基于训练样本对初始模型进行训练,得到预设模型;训练样本包括第一预设数量组历史实验数据;每一组历史实验数据包括历史实验数据集的特征参数、历史实验语义分割模型的模型类别以及历史实验超参数;历史实验数据集的特征参数是对每一组历史实验数据对应的历史实验过程中语义分割模型的训练样本数据进行转换得到的,历史实验语义分割模型的模型类别是每一组历史实验数据对应的历史实验过程中语义分割模型的模型类别,历史实验超参数是每一组历史实验数据对应的历史实验过程中确定的语义分割模型的超参数;语义分割模型的模型类别种类包括大面积脏污分割算法模板、细小划痕缺陷分割算法模板和通用缺陷分割算法模板。
在一个实施例中,第三确定模块408,包括:
第二得到单元,用于基于数据集对初始语义分割模型进行训练,得到语义分割模型;
第四获取单元,用于将搜索空间输入至黑盒优化器,获取黑盒优化器每次输出的超参数,并将黑盒优化器每次输出的超参数输入至语义分割模型,控制语义分割模型输出在每次输出的超参数条件下的性能指标至黑盒优化器和早停器;
第一控制单元,用于若黑盒优化器输出超参数的总次数达到第二预设数量,则控制黑盒优化器结束输出,并将所有性能指标中最佳性能指标对应的超参数,作为语义分割模型的超参数;
第二控制单元,用于若早停器接收到的性能指标中存在第三预设数量个性能指标不满足预设条件,则控制黑盒优化器和语义分割模型停止运行。
上述超参数搜索装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据集、数据集的特征参数、搜索空间、语义分割模型的模型类别等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种超参数搜索方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取数据集,数据集包含若干工业场景下存在视觉缺陷的样本图像,每一样本图像对应有缺陷信息;缺陷信息包括缺陷类别、缺陷总面积、缺陷数量和每一样本图像中每一缺陷的面积;
根据数据集中的样本图像及对应的缺陷信息,确定数据集的特征参数;特征参数包括样本图像尺寸、样本图像能量均值、样本图像像素值均值、样本图像的显著性区域占全图的比例、样本图像缺陷类别数量均值、样本图像缺陷面积占全图的比例、样本图像缺陷数量均值、样本图像最大缺陷面积占全图的比例和样本图像最小缺陷面积占全图的比例;
根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别;语义分割模型用于进行缺陷检测;语义分割模型的模型类别用于确定语义分割模型进行缺陷检测时所采用的算法;
根据搜索空间和语义分割模型的模型类别,确定语义分割模型的超参数。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取数据集中每一样本图像的像素点数量,根据每一样本图像的像素点数量和数据集的样本图像数量,确定样本图像尺寸;
获取每一样本图像的能量图,根据每一样本图像的能量图和样本图像数量,确定样本图像能量均值;
根据每一样本图像中每一像素点的红色分量值、蓝色分量值和绿色分量值,确定每一样本图像对应的红色分量值、蓝色分量值和绿色分量值;根据每一样本图像对应的红色分量值、蓝色分量值和绿色分量值、以及每一样本图像的像素点数量,确定每一样本图像的红色分量均值、蓝色分量均值和绿色分量均值;根据每一样本图像的红色分量均值、蓝色分量均值和绿色分量均值、以及样本图像数量,确定样本图像像素值均值;
获取每一样本图像的显著性区域;根据每一样本图像的显著性区域、每一样本图像的图像面积和样本图像数量,确定样本图像的显著性区域占全图的比例;
根据每一样本图像对应的缺陷类别和样本图像数量,确定样本图像缺陷类别数量均值;
根据每一样本图像对应的缺陷总面积、每一样本图像的图像面积和样本图像数量,确定样本图像缺陷面积占全图的比例;
根据每一样本图像对应的缺陷数量和样本图像数量,确定样本图像缺陷数量均值;
从每一样本图像对应的每一缺陷的面积中获取最大的面积,根据最大的面积和最大面积对应的样本图像的图像面积,确定样本图像最大缺陷面积占全图的比例;
从每一样本图像对应的每一缺陷的面积中获取最小的面积,根据最小的面积和最小面积对应的样本图像的图像面积,确定样本图像最小缺陷面积占全图的比例。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将特征参数输入至预设模型,输出语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值和语义分割模型的模型类别;根据每一超参数的搜索空间的中值,确定每一超参数的取值范围;依据每一超参数的取值范围,确定搜索空间。
在一个实施例中,预设模型为2层多层感知机,处理器执行计算机程序时还实现以下步骤:
将特征参数输入至2层多层感知机,2层多层感知机的第一支路输出语义分割模型的模型类别,2层多层感知机的第二支路输出语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值;根据每一超参数的搜索空间的中值,确定每一超参数的取值范围;依据每一超参数的取值范围,确定搜索空间。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取训练预设模型时的验证集拟合误差;获取验证集拟合误差与预设倍数之间乘积;将每一超参数的搜索空间的中值与乘积之间的差值,作为每一超参数的取值范围的下限值,将每一超参数的搜索空间的中值与乘积之间的和值,作为每一超参数的取值范围的上限值。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
基于训练样本对初始模型进行训练,得到预设模型;训练样本包括第一预设数量组历史实验数据;每一组历史实验数据包括历史实验数据集的特征参数、历史实验语义分割模型的模型类别以及历史实验超参数;历史实验数据集的特征参数是对每一组历史实验数据对应的历史实验过程中语义分割模型的训练样本数据进行转换得到的,历史实验语义分割模型的模型类别是每一组历史实验数据对应的历史实验过程中语义分割模型的模型类别,历史实验超参数是每一组历史实验数据对应的历史实验过程中确定的语义分割模型的超参数;语义分割模型的模型类别种类包括大面积脏污分割算法模板、细小划痕缺陷分割算法模板和通用缺陷分割算法模板。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
基于数据集对初始语义分割模型进行训练,得到语义分割模型;
将搜索空间输入至黑盒优化器,获取黑盒优化器每次输出的超参数,并将黑盒优化器每次输出的超参数输入至语义分割模型,控制语义分割模型输出在每次输出的超参数条件下的性能指标至黑盒优化器和早停器;
若黑盒优化器输出超参数的总次数达到第二预设数量,则控制黑盒优化器结束输出,并将所有性能指标中最佳性能指标对应的超参数,作为语义分割模型的超参数;
若早停器接收到的性能指标中存在第三预设数量个性能指标不满足预设条件,则控制黑盒优化器和语义分割模型停止运行。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取数据集,数据集包含若干工业场景下存在视觉缺陷的样本图像,每一样本图像对应有缺陷信息;缺陷信息包括缺陷类别、缺陷总面积、缺陷数量和每一样本图像中每一缺陷的面积;根据数据集中的样本图像及对应的缺陷信息,确定数据集的特征参数;特征参数包括样本图像尺寸、样本图像能量均值、样本图像像素值均值、样本图像的显著性区域占全图的比例、样本图像缺陷类别数量均值、样本图像缺陷面积占全图的比例、样本图像缺陷数量均值、样本图像最大缺陷面积占全图的比例和样本图像最小缺陷面积占全图的比例;根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别;语义分割模型用于进行缺陷检测;语义分割模型的模型类别用于确定语义分割模型进行缺陷检测时所采用的算法;根据搜索空间和语义分割模型的模型类别,确定语义分割模型的超参数。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取数据集中每一样本图像的像素点数量,根据每一样本图像的像素点数量和数据集的样本图像数量,确定样本图像尺寸;
获取每一样本图像的能量图,根据每一样本图像的能量图和样本图像数量,确定样本图像能量均值;
根据每一样本图像中每一像素点的红色分量值、蓝色分量值和绿色分量值,确定每一样本图像对应的红色分量值、蓝色分量值和绿色分量值;根据每一样本图像对应的红色分量值、蓝色分量值和绿色分量值、以及每一样本图像的像素点数量,确定每一样本图像的红色分量均值、蓝色分量均值和绿色分量均值;根据每一样本图像的红色分量均值、蓝色分量均值和绿色分量均值、以及样本图像数量,确定样本图像像素值均值;
获取每一样本图像的显著性区域;根据每一样本图像的显著性区域、每一样本图像的图像面积和样本图像数量,确定样本图像的显著性区域占全图的比例;
根据每一样本图像对应的缺陷类别和样本图像数量,确定样本图像缺陷类别数量均值;
根据每一样本图像对应的缺陷总面积、每一样本图像的图像面积和样本图像数量,确定样本图像缺陷面积占全图的比例;
根据每一样本图像对应的缺陷数量和样本图像数量,确定样本图像缺陷数量均值;
从每一样本图像对应的每一缺陷的面积中获取最大的面积,根据最大的面积和最大面积对应的样本图像的图像面积,确定样本图像最大缺陷面积占全图的比例;
从每一样本图像对应的每一缺陷的面积中获取最小的面积,根据最小的面积和最小面积对应的样本图像的图像面积,确定样本图像最小缺陷面积占全图的比例。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将特征参数输入至预设模型,输出语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值和语义分割模型的模型类别;根据每一超参数的搜索空间的中值,确定每一超参数的取值范围;依据每一超参数的取值范围,确定搜索空间。
在一个实施例中,预设模型为2层多层感知机,计算机程序被处理器执行时还实现以下步骤:
将特征参数输入至2层多层感知机,2层多层感知机的第一支路输出语义分割模型的模型类别,2层多层感知机的第二支路输出语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值;根据每一超参数的搜索空间的中值,确定每一超参数的取值范围;依据每一超参数的取值范围,确定搜索空间。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取训练预设模型时的验证集拟合误差;获取验证集拟合误差与预设倍数之间乘积;将每一超参数的搜索空间的中值与乘积之间的差值,作为每一超参数的取值范围的下限值,将每一超参数的搜索空间的中值与乘积之间的和值,作为每一超参数的取值范围的上限值。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
基于训练样本对初始模型进行训练,得到预设模型;训练样本包括第一预设数量组历史实验数据;每一组历史实验数据包括历史实验数据集的特征参数、历史实验语义分割模型的模型类别以及历史实验超参数;历史实验数据集的特征参数是对每一组历史实验数据对应的历史实验过程中语义分割模型的训练样本数据进行转换得到的,历史实验语义分割模型的模型类别是每一组历史实验数据对应的历史实验过程中语义分割模型的模型类别,历史实验超参数是每一组历史实验数据对应的历史实验过程中确定的语义分割模型的超参数;语义分割模型的模型类别种类包括大面积脏污分割算法模板、细小划痕缺陷分割算法模板和通用缺陷分割算法模板。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
基于数据集对初始语义分割模型进行训练,得到语义分割模型;将搜索空间输入至黑盒优化器,获取黑盒优化器每次输出的超参数,并将黑盒优化器每次输出的超参数输入至语义分割模型,控制语义分割模型输出在每次输出的超参数条件下的性能指标至黑盒优化器和早停器;若黑盒优化器输出超参数的总次数达到第二预设数量,则控制黑盒优化器结束输出,并将所有性能指标中最佳性能指标对应的超参数,作为语义分割模型的超参数;若早停器接收到的性能指标中存在第三预设数量个性能指标不满足预设条件,则控制黑盒优化器和语义分割模型停止运行。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取数据集,数据集包含若干工业场景下存在视觉缺陷的样本图像,每一样本图像对应有缺陷信息;缺陷信息包括缺陷类别、缺陷总面积、缺陷数量和每一样本图像中每一缺陷的面积;根据数据集中的样本图像及对应的缺陷信息,确定数据集的特征参数;特征参数包括样本图像尺寸、样本图像能量均值、样本图像像素值均值、样本图像的显著性区域占全图的比例、样本图像缺陷类别数量均值、样本图像缺陷面积占全图的比例、样本图像缺陷数量均值、样本图像最大缺陷面积占全图的比例和样本图像最小缺陷面积占全图的比例;根据特征参数,确定语义分割模型的搜索空间和语义分割模型的模型类别;语义分割模型用于进行缺陷检测;语义分割模型的模型类别用于确定语义分割模型进行缺陷检测时所采用的算法;根据搜索空间和语义分割模型的模型类别,确定语义分割模型的超参数。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取数据集中每一样本图像的像素点数量,根据每一样本图像的像素点数量和数据集的样本图像数量,确定样本图像尺寸;
获取每一样本图像的能量图,根据每一样本图像的能量图和样本图像数量,确定样本图像能量均值;
根据每一样本图像中每一像素点的红色分量值、蓝色分量值和绿色分量值,确定每一样本图像对应的红色分量值、蓝色分量值和绿色分量值;根据每一样本图像对应的红色分量值、蓝色分量值和绿色分量值、以及每一样本图像的像素点数量,确定每一样本图像的红色分量均值、蓝色分量均值和绿色分量均值;根据每一样本图像的红色分量均值、蓝色分量均值和绿色分量均值、以及样本图像数量,确定样本图像像素值均值;
获取每一样本图像的显著性区域;根据每一样本图像的显著性区域、每一样本图像的图像面积和样本图像数量,确定样本图像的显著性区域占全图的比例;
根据每一样本图像对应的缺陷类别和样本图像数量,确定样本图像缺陷类别数量均值;
根据每一样本图像对应的缺陷总面积、每一样本图像的图像面积和样本图像数量,确定样本图像缺陷面积占全图的比例;
根据每一样本图像对应的缺陷数量和样本图像数量,确定样本图像缺陷数量均值;
从每一样本图像对应的每一缺陷的面积中获取最大的面积,根据最大的面积和最大面积对应的样本图像的图像面积,确定样本图像最大缺陷面积占全图的比例;
从每一样本图像对应的每一缺陷的面积中获取最小的面积,根据最小的面积和最小面积对应的样本图像的图像面积,确定样本图像最小缺陷面积占全图的比例。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将特征参数输入至预设模型,输出语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值和语义分割模型的模型类别;根据每一超参数的搜索空间的中值,确定每一超参数的取值范围;依据每一超参数的取值范围,确定搜索空间。
在一个实施例中,预设模型为2层多层感知机,计算机程序被处理器执行时还实现以下步骤:
将特征参数输入至2层多层感知机,2层多层感知机的第一支路输出语义分割模型的模型类别,2层多层感知机的第二支路输出语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值;根据每一超参数的搜索空间的中值,确定每一超参数的取值范围;依据每一超参数的取值范围,确定搜索空间。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取训练预设模型时的验证集拟合误差;获取验证集拟合误差与预设倍数之间乘积;将每一超参数的搜索空间的中值与乘积之间的差值,作为每一超参数的取值范围的下限值,将每一超参数的搜索空间的中值与乘积之间的和值,作为每一超参数的取值范围的上限值。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
基于训练样本对初始模型进行训练,得到预设模型;训练样本包括第一预设数量组历史实验数据;每一组历史实验数据包括历史实验数据集的特征参数、历史实验语义分割模型的模型类别以及历史实验超参数;历史实验数据集的特征参数是对每一组历史实验数据对应的历史实验过程中语义分割模型的训练样本数据进行转换得到的,历史实验语义分割模型的模型类别是每一组历史实验数据对应的历史实验过程中语义分割模型的模型类别,历史实验超参数是每一组历史实验数据对应的历史实验过程中确定的语义分割模型的超参数;语义分割模型的模型类别种类包括大面积脏污分割算法模板、细小划痕缺陷分割算法模板和通用缺陷分割算法模板。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
基于数据集对初始语义分割模型进行训练,得到语义分割模型;将搜索空间输入至黑盒优化器,获取黑盒优化器每次输出的超参数,并将黑盒优化器每次输出的超参数输入至语义分割模型,控制语义分割模型输出在每次输出的超参数条件下的性能指标至黑盒优化器和早停器;若黑盒优化器输出超参数的总次数达到第二预设数量,则控制黑盒优化器结束输出,并将所有性能指标中最佳性能指标对应的超参数,作为语义分割模型的超参数;若早停器接收到的性能指标中存在第三预设数量个性能指标不满足预设条件,则控制黑盒优化器和语义分割模型停止运行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种超参数搜索方法,其特征在于,所述方法包括:
获取数据集,所述数据集包含若干工业场景下存在视觉缺陷的样本图像,每一样本图像对应有缺陷信息;所述缺陷信息包括缺陷类别、缺陷总面积、缺陷数量和每一样本图像中每一缺陷的面积;
根据所述数据集中的样本图像及对应的缺陷信息,确定所述数据集的特征参数;所述特征参数包括样本图像尺寸、样本图像能量均值、样本图像像素值均值、样本图像的显著性区域占全图的比例、样本图像缺陷类别数量均值、样本图像缺陷面积占全图的比例、样本图像缺陷数量均值、样本图像最大缺陷面积占全图的比例和样本图像最小缺陷面积占全图的比例;
根据所述特征参数,确定语义分割模型的搜索空间和所述语义分割模型的模型类别;所述语义分割模型用于进行缺陷检测;所述语义分割模型的模型类别用于确定所述语义分割模型进行缺陷检测时所采用的算法;
所述根据所述特征参数,确定语义分割模型的搜索空间和所述语义分割模型的模型类别,包括:
将所述特征参数输入至预设模型,输出所述语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值和所述语义分割模型的模型类别;
根据每一超参数的搜索空间的中值,确定每一超参数的取值范围;
依据每一超参数的取值范围,确定所述搜索空间;
根据所述搜索空间和所述语义分割模型的模型类别,确定所述语义分割模型的超参数。
2.根据权利要求1所述的方法,其特征在于,所述根据所述数据集中的样本图像及对应的缺陷信息,确定所述数据集的特征参数,包括:
获取数据集中每一样本图像的像素点数量,根据每一样本图像的像素点数量和数据集的样本图像数量,确定样本图像尺寸;
获取每一样本图像的能量图,根据每一样本图像的能量图和所述样本图像数量,确定样本图像能量均值;
根据每一样本图像中每一像素点的红色分量值、蓝色分量值和绿色分量值,确定每一样本图像对应的红色分量值、蓝色分量值和绿色分量值;根据每一样本图像对应的红色分量值、蓝色分量值和绿色分量值、以及每一样本图像的像素点数量,确定每一样本图像的红色分量均值、蓝色分量均值和绿色分量均值;根据每一样本图像的红色分量均值、蓝色分量均值和绿色分量均值、以及所述样本图像数量,确定样本图像像素值均值;
获取每一样本图像的显著性区域;根据每一样本图像的显著性区域、每一样本图像的图像面积和所述样本图像数量,确定样本图像的显著性区域占全图的比例;
根据每一样本图像对应的缺陷类别和所述样本图像数量,确定样本图像缺陷类别数量均值;
根据每一样本图像对应的缺陷总面积、每一样本图像的图像面积和所述样本图像数量,确定样本图像缺陷面积占全图的比例;
根据每一样本图像对应的缺陷数量和所述样本图像数量,确定样本图像缺陷数量均值;
从每一样本图像对应的每一缺陷的面积中获取最大的面积,根据最大的面积和所述最大面积对应的样本图像的图像面积,确定样本图像最大缺陷面积占全图的比例;
从每一样本图像对应的每一缺陷的面积中获取最小的面积,根据所述最小的面积和所述最小面积对应的样本图像的图像面积,确定样本图像最小缺陷面积占全图的比例。
3.根据权利要求1所述的方法,其特征在于,所述预设模型为2层多层感知机,所述根据所述特征参数,确定语义分割模型的搜索空间和所述语义分割模型的模型类别,包括:
将所述特征参数输入至所述2层多层感知机,所述2层多层感知机的第一支路输出所述语义分割模型的模型类别,所述2层多层感知机的第二支路输出所述语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值;
根据每一超参数的搜索空间的中值,确定每一超参数的取值范围;
依据每一超参数的取值范围,确定所述搜索空间。
4.根据权利要求1所述的方法,其特征在于,所述根据每一超参数的搜索空间的中值,确定每一超参数的取值范围,包括:
获取训练所述预设模型时的验证集拟合误差;
获取所述验证集拟合误差与预设倍数之间乘积;
将每一超参数的搜索空间的中值与所述乘积之间的差值,作为每一超参数的取值范围的下限值,将每一超参数的搜索空间的中值与所述乘积之间的和值,作为每一超参数的取值范围的上限值。
5.根据权利要求1所述的方法,其特征在于,所述预设模型的训练过程,包括:
基于训练样本对初始模型进行训练,得到所述预设模型;
所述训练样本包括第一预设数量组历史实验数据;每一组历史实验数据包括历史实验数据集的特征参数、历史实验语义分割模型的模型类别以及历史实验超参数;历史实验数据集的特征参数是对每一组历史实验数据对应的历史实验过程中所述语义分割模型的训练样本数据进行转换得到的,历史实验语义分割模型的模型类别是每一组历史实验数据对应的历史实验过程中所述语义分割模型的模型类别,历史实验超参数是每一组历史实验数据对应的历史实验过程中确定的所述语义分割模型的超参数;所述语义分割模型的模型类别种类包括大面积脏污分割算法模板、细小划痕缺陷分割算法模板和通用缺陷分割算法模板。
6.根据权利要求1所述的方法,其特征在于,所述根据所述搜索空间和所述语义分割模型的模型类别,确定所述语义分割模型的超参数,包括:
基于所述数据集对初始语义分割模型进行训练,得到所述语义分割模型;
将所述搜索空间输入至黑盒优化器,获取所述黑盒优化器每次输出的超参数,并将所述黑盒优化器每次输出的超参数输入至所述语义分割模型,控制所述语义分割模型输出在每次输出的超参数条件下的性能指标至所述黑盒优化器和早停器;
若所述黑盒优化器输出超参数的总次数达到第二预设数量,则控制所述黑盒优化器结束输出,并将所有性能指标中最佳性能指标对应的超参数,作为所述语义分割模型的超参数;
若所述早停器接收到的性能指标中存在第三预设数量个性能指标不满足预设条件,则控制所述黑盒优化器和所述语义分割模型停止运行。
7.一种超参数搜索装置,其特征在于,所述装置包括:
获取模块,用于获取数据集,所述数据集包含若干工业场景下存在视觉缺陷的样本图像,每一样本图像对应有缺陷信息;所述缺陷信息包括缺陷类别、缺陷总面积、缺陷数量和每一样本图像中每一缺陷的面积;
第一确定模块,用于根据所述数据集中的样本图像及对应的缺陷信息,确定所述数据集的特征参数;所述特征参数包括样本图像尺寸、样本图像能量均值、样本图像像素值均值、样本图像的显著性区域占全图的比例、样本图像缺陷类别数量均值、样本图像缺陷面积占全图的比例、样本图像缺陷数量均值、样本图像最大缺陷面积占全图的比例和样本图像最小缺陷面积占全图的比例;
第二确定模块,用于根据所述特征参数,确定语义分割模型的搜索空间和所述语义分割模型的模型类别;所述语义分割模型用于进行缺陷检测;所述语义分割模型的模型类别用于确定所述语义分割模型进行缺陷检测时所采用的算法;
所述根据所述特征参数,确定语义分割模型的搜索空间和所述语义分割模型的模型类别,包括:
将所述特征参数输入至预设模型,输出所述语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值和所述语义分割模型的模型类别;
根据每一超参数的搜索空间的中值,确定每一超参数的取值范围;
依据每一超参数的取值范围,确定所述搜索空间;
第三确定模块,用于根据所述搜索空间和所述语义分割模型的模型类别,确定所述语义分割模型的超参数。
8.根据权利要求7所述的装置,其特征在于,预设模型为2层多层感知机,所述第二确定模块,包括:
第二输出单元,用于将所述特征参数输入至所述2层多层感知机,所述2层多层感知机的第一支路输出所述语义分割模型的模型类别,所述2层多层感知机的第二支路输出所述语义分割模型的所有待搜索超参数中每一超参数的搜索空间的中值;
第九确定单元,用于根据每一超参数的搜索空间的中值,确定每一超参数的取值范围;
第十确定单元,用于依据每一超参数的取值范围,确定所述搜索空间。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202210563959.0A 2022-05-23 2022-05-23 超参数搜索方法、装置、计算机设备和存储介质 Active CN114663662B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210563959.0A CN114663662B (zh) 2022-05-23 2022-05-23 超参数搜索方法、装置、计算机设备和存储介质
PCT/CN2022/120479 WO2023226259A1 (zh) 2022-05-23 2022-09-22 超参数搜索方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210563959.0A CN114663662B (zh) 2022-05-23 2022-05-23 超参数搜索方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN114663662A CN114663662A (zh) 2022-06-24
CN114663662B true CN114663662B (zh) 2022-09-09

Family

ID=82036266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210563959.0A Active CN114663662B (zh) 2022-05-23 2022-05-23 超参数搜索方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN114663662B (zh)
WO (1) WO2023226259A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663662B (zh) * 2022-05-23 2022-09-09 深圳思谋信息科技有限公司 超参数搜索方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465844A (zh) * 2020-12-29 2021-03-09 华北电力大学 一种用于图像语义分割的多类别损失函数及其设计方法
CN112613515A (zh) * 2020-11-23 2021-04-06 上海眼控科技股份有限公司 语义分割方法、装置、计算机设备和存储介质
CN112767369A (zh) * 2021-01-25 2021-05-07 佛山科学技术学院 小五金的缺陷识别检测方法、装置及计算机可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229479B (zh) * 2017-08-01 2019-12-31 北京市商汤科技开发有限公司 语义分割模型的训练方法和装置、电子设备、存储介质
CN109816116B (zh) * 2019-01-17 2021-01-29 腾讯科技(深圳)有限公司 机器学习模型中超参数的优化方法及装置
CN109993304B (zh) * 2019-04-02 2020-12-15 北京同方软件有限公司 一种基于语义分割的检测模型压缩方法
CN110110862A (zh) * 2019-05-10 2019-08-09 电子科技大学 一种基于适应性模型的超参数优化方法
US11023783B2 (en) * 2019-09-11 2021-06-01 International Business Machines Corporation Network architecture search with global optimization
CN111582374A (zh) * 2020-05-09 2020-08-25 北京百度网讯科技有限公司 超参数搜索方法、装置、设备以及存储介质
CN111797833A (zh) * 2020-05-21 2020-10-20 中国科学院软件研究所 一种面向遥感语义分割的自动化机器学习方法及系统
US20210383223A1 (en) * 2020-06-03 2021-12-09 Google Llc Joint Architecture And Hyper-Parameter Search For Machine Learning Models
CN113869521A (zh) * 2020-06-30 2021-12-31 华为技术有限公司 构建预测模型的方法、装置、计算设备和存储介质
DE102020210352A1 (de) * 2020-08-14 2022-02-17 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Transferlernen zwischen modifizierten Aufgaben
CN112149809A (zh) * 2020-10-23 2020-12-29 北京百度网讯科技有限公司 模型超参数的确定方法及设备、计算设备和介质
GB202017369D0 (en) * 2020-11-02 2020-12-16 Tomtom Global Content Bv Neural network models for semantic image segmentation
CN114385876B (zh) * 2022-01-13 2022-09-13 北京九章云极科技有限公司 一种模型搜索空间生成方法、装置及系统
CN114663662B (zh) * 2022-05-23 2022-09-09 深圳思谋信息科技有限公司 超参数搜索方法、装置、计算机设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613515A (zh) * 2020-11-23 2021-04-06 上海眼控科技股份有限公司 语义分割方法、装置、计算机设备和存储介质
CN112465844A (zh) * 2020-12-29 2021-03-09 华北电力大学 一种用于图像语义分割的多类别损失函数及其设计方法
CN112767369A (zh) * 2021-01-25 2021-05-07 佛山科学技术学院 小五金的缺陷识别检测方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN114663662A (zh) 2022-06-24
WO2023226259A1 (zh) 2023-11-30

Similar Documents

Publication Publication Date Title
CN106156781A (zh) 排序卷积神经网络构建方法及其图像处理方法与装置
US11164306B2 (en) Visualization of inspection results
CN112001399B (zh) 基于局部特征显著化的图像场景分类方法和装置
CN114663662B (zh) 超参数搜索方法、装置、计算机设备和存储介质
CN112861659A (zh) 一种图像模型训练方法、装置及电子设备、存储介质
CN112101364A (zh) 基于参数重要性增量学习的语义分割方法
CN112150497A (zh) 基于二值神经网络的局部激活方法与系统
CN111242066A (zh) 大尺寸图像目标检测方法、装置及计算机可读存储介质
CN115344805A (zh) 素材审核方法、计算设备及存储介质
CN115471439A (zh) 显示面板缺陷的识别方法、装置、电子设备及存储介质
CN111666872B (zh) 一种数据不平衡下的高效行为识别方法
CN117058235A (zh) 跨多种室内场景的视觉定位方法
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
CN116524296A (zh) 设备缺陷检测模型的训练方法、装置和设备缺陷检测方法
CN116434303A (zh) 基于多尺度特征融合的人脸表情捕捉方法、装置及介质
CN114494782B (zh) 图像处理方法、模型训练方法、相关装置及电子设备
CN113283429B (zh) 基于深度卷积神经网络的液位式表计读数方法
CN112907450B (zh) 三维时序图像处理方法、装置、计算机设备和存储介质
CN114820755A (zh) 一种深度图估计方法及系统
CN114549340A (zh) 对比度增强方法、计算机程序产品、存储介质及电子设备
CN113902959A (zh) 图像识别方法、装置、计算机设备和存储介质
CN112862002A (zh) 多尺度目标检测模型的训练方法、目标检测方法和装置
CN111428770A (zh) 网络模型训练及电感缺陷识别方法、装置、电子设备
CN115424027B (zh) 针对画面前景人物的图像相似度比对方法、装置以及设备
CN111915621B (zh) 一种融合深度神经网络与cv模型的污损图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant