CN116452621B - 一种基于强化学习的理想轮廓生成算法、装置及存储介质 - Google Patents

一种基于强化学习的理想轮廓生成算法、装置及存储介质 Download PDF

Info

Publication number
CN116452621B
CN116452621B CN202310234431.3A CN202310234431A CN116452621B CN 116452621 B CN116452621 B CN 116452621B CN 202310234431 A CN202310234431 A CN 202310234431A CN 116452621 B CN116452621 B CN 116452621B
Authority
CN
China
Prior art keywords
image
data
contour
marked
standard template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310234431.3A
Other languages
English (en)
Other versions
CN116452621A (zh
Inventor
肖圣端
张权
王刚
赵哲
吕炎州
袁亿新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yihong Intelligent Equipment Co ltd
Original Assignee
Guangzhou Yihong Intelligent Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yihong Intelligent Equipment Co Ltd filed Critical Guangzhou Yihong Intelligent Equipment Co Ltd
Priority to CN202310234431.3A priority Critical patent/CN116452621B/zh
Publication of CN116452621A publication Critical patent/CN116452621A/zh
Application granted granted Critical
Publication of CN116452621B publication Critical patent/CN116452621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/12Computing arrangements based on biological models using genetic models
    • G06N3/126Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于强化学习的理想轮廓生成算法、装置及存储介质。本发明所述的一种基于强化学习的理想轮廓生成算法包括:获取正常产品的图像,对该图像进行轮廓标注,得到第一标注图像;通过遗传算法,对所述第一标注图像进行数据增强,获得一组标准模板图像,其中,所述标准模板图像包括所述第一标注图像以及多个第二标注图像,所述第二标注图像与所述第一标注图像中的轮廓具有角度偏转;获取待检测图像,对所述待检测图像进行轮廓数据标注,并与所述标准模板图像进行一一匹配;若匹配成功,则将匹配成功的所述标准模板图像中的轮廓数据作为所述待检测图像的理想轮廓数据。本发明具有提高匹配度准确度,提高了生成标准图像模板的效率的优点。

Description

一种基于强化学习的理想轮廓生成算法、装置及存储介质
技术领域
本发明涉及轮廓生成领域,特别是涉及基于强化学习的理想轮廓生成算法领域。
背景技术
在工业生产中,产品时常出现边界开裂、毛刺、变形等现象,目前通常的处理方式是拟合轮廓,然后与标准模板对应轮廓比对,找出缺陷并生成连续的轮廓线。
但此类传统计算方法存在以下缺点:
1、无法解决由拍照角度带来的图像处理问题,在两种不同的角度下,轮廓仅仅是趋势相似,这个相似用普通的比对无法描述。
发明内容
基于此,本发明的目的在于,提供一种基于强化学习的理想轮廓生成算法、装置及存储介质,其具有提高匹配度准确度,减少了人力的投入,提高了生成标准图像模板的效率的优点。
本申请是通过如下技术方案实现的,一方面本申请提供一种基于强化学习的理想轮廓生成算法,其包括:
获取正常产品的图像,对该图像进行轮廓标注,得到第一标注图像;
通过遗传算法,对所述第一标注图像进行数据增强,获得一组标准模板图像,其中,所述标准模板图像包括所述第一标注图像以及多个第二标注图像,所述第二标注图像与所述第一标注图像中的轮廓具有角度偏转;
获取待检测图像,对所述待检测图像进行轮廓数据标注,并与所述标准模板图像进行一一匹配;
若匹配成功,则将匹配成功的所述标准模板图像中的轮廓数据作为所述待检测图像的理想轮廓数据。
进一步地,若匹配不成功,则还包括如下步骤:
通过HED网络对标注后的所述待检测图像进行特征提取,得到HED轮廓数据,将所述HED轮廓数据打散为点列数据;
将所述点列数据输入至DRL模型,使用强化学习对轮廓趋势线按时序评估,得到所述待检测图像的理想轮廓数据。
进一步地,通过遗传算法,对所述第一标注图像进行数据增强,获得一组标准模板图像,具体包括:
对所述第一标注图像固定x坐标,搜索x的定义域[x0,xl];
在x方向做划分:利用数学分析工具寻找到所有的不连续点x1,x2,...xm,构建出分段连续区间[x0,x1],[x1,x2],...,[xm-1,xm];
在每个分段连续区间内,根据所述第一标注图像中标注的轮廓,采取以下方式生成插入点:
若实际轮廓(x,y)符合多项式公式,在每个区间邻域内取多个实际轮廓数据,根据公式
yn=anxn+an-1xn-1+...+a0
得到yi,(i=0...k),此时插入点坐标为其中:
其中k=0,1,.....;
若实际轮廓(x,y)所在的曲线光滑,此时x方向基函数定义为:
构建插值式:
其中f是原函数;k=0,1,.....;
获取在不同条件下对应的产品的图像数据,形成一组标准模板图像。
进一步地,获得一组标准模板图像后,还包括:
通过遗传算法,将所述标准模板图像的轮廓拆分为多段,每两张所述标准模板图像使用部分断进行交叉运算。
进一步地,通过遗传算法,将所述标准模板图像的轮廓拆分为多段,每两张所述标准模板图像使用部分断进行交叉运算后,还包括:
在多段轮廓上进行反等运算,生成对应变形状态的产品仿真图像数据。
进一步地,将所述点列数据输入至DRL模型,使用强化学习对轮廓趋势线按时序评估,得到所述待检测图像的理想轮廓数据后,还包括:
将所述HED轮廓数据与所述理想轮廓进行求差运算,得出所述待检测图像的缺陷形状、长度、面积等矩向量。
进一步地,所述DRL模型使用DQN算法,由神经网络与Q-Learning结合得到。
另一方面,本申请还提供一种生成理想轮廓的装置,包括:
第一标注图像获取模块:获取正常产品的图像,对该图像进行轮廓标注,得到第一标注图像;
标准模板拟合模块:通过遗传算法,对所述第一标注图像进行数据增强,获得一组标准模板图像,其中,所述标准模板图像包括所述第一标注图像以及多个第二标注图像,所述第二标注图像与所述第一标注图像中的轮廓具有角度偏转;
图像轮廓匹配模块:获取待检测图像,对所述待检测图像进行轮廓数据标注,并与所述标准模板图像进行一一匹配;
理想轮廓生成模块:若匹配成功,则将匹配成功的所述标准模板图像作为所述待检测图像的理想轮廓数据。
另一方面,本申请还提供一种计算机设备,其特征在于,包括:
至少一个存储器以及至少一个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述至少一个处理器执行,使得所述至少一个处理器实现上述任一项所述的一种基于强化学习的理想轮廓生成算法的步骤。
另一方面,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述任一项所述的一种基于强化学习的理想轮廓生成算法的步骤。
本申请通过将遗传算法运用到图像数据的扩充上,能够在只需要少量正常产品的第一标注图像的情况下,通过遗传算法的模拟仿真对数据进行扩充,等效于对产品在镜头下的偏移进行模拟,然后获得不同偏移量下对应的第二标注图像,使得进行产品检测时能够有一组完备的标准图像模板进行匹配,提高匹配度准确度,同时由于是通过算法进行仿真得到的数据,减少了人力的投入,提高了生成标准图像模板的效率。
此外通过遗传算法对将所述标准模板图像的轮廓拆分为多段,每两张所述标准模板图像使用部分断进行交叉运算来预防图像欠拟合的问题,通过在多段轮廓上进行反等运算,生成对应变形状态的产品仿真图像数据来解决图像过拟合的问题,通过建立DRL模型,并选取使用DQN算法、神经网络与Q-Learning,了对存在缺陷的产品实现了理想轮廓的生成,最终通过差分运算,得到一个Region区域,计算该区域的缺陷形状、长度、面积等矩向量。
为了更好地理解和实施,下面结合附图详细说明本发明。
附图说明
图1为本申请实施例提供的一种基于强化学习的理想轮廓生成算法的流程图;
图2为本申请实施例根据的一种实现强化学习的理想轮廓生成算法的装置的结构框图;
图3为本申请实施例根据的一种计算机设备的结构框图。
附图标记:400:一种实现强化学习的理想轮廓生成算法的装置;401:第一标注图像获取模块;402:标准模板图像拟合模块;403:图像轮廓匹配模块;404:理想轮廓生成模块;405:检测图像变换模块;406:理想轮廓拟合模块;
910:处理器;920:存储器。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确,所描述的实施例仅仅是本申请实施例一部分实施例,而不是全部的实施例。基于本申请实施例中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中,需要理解的是,术语“第一”、“第二”、“第三”等仅用于区别类似的对象,而不必用于描述特定的顺序或先后次序,也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
在工业生产中,产品时常出现边界开裂、毛刺、变形等现象,目前通常的处理方式是拟合轮廓,然后与标准模板对应轮廓比对,找出缺陷并生成连续的轮廓线。
但此类传统计算方法存在以下缺点:
1、无法解决由拍照角度带来的图像处理问题,在两种不同的角度下,轮廓仅仅是趋势相似,这个相似用普通的比对无法描述;
2、在一定的变化区域内,需要多个模板叠加才能计算出少部分拟合。
3、拟合精度不够,常常欠拟合。
基于上述问题,本申请提出一种基于强化学习的理想轮廓生成算法,在一个实施例中,如图1所示,该方法包括如下步骤:
S10:获取正常产品的图像,对该图像进行轮廓标注,得到第一标注图像。
正常产品为待检测产品中确定产品不存在边界开裂、毛刺、变形等现象的产品。其正常图像为产品水平摆设的前提下,镜头正对产品拍摄获得的图像,以此图像进行轮廓标注得到的图像为第一标注图像。
S20:通过遗传算法,对第一标注图像进行数据增强,获得一组标准模板图像,其中,标准模板图像包括第一标注图像以及多个第二标注图像,第二标注图像与第一标注图像中的轮廓具有角度偏转。
遗传算法(Genetic Algorithm,GA)是根据大自然中生物体进化规律而设计提出的。是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型,是一种通过模拟自然进化过程搜索最优解的方法。该算法通过数学的方式,利用计算机仿真运算,将问题的求解过程转换成类似生物进化中的染色体基因的交叉、变异等过程。
在本申请中,通过遗传算法对图像数据进行增强,模拟正常产品进行偏转得到的各个角度下的第二标注图像,从而以少量的正常产品的第一标注图像作为样本,仿真模拟得到更多的第二标注图像,达到以少样本模型获取到足够的训练数据量的目的,一方面避免了由于样本数量不足的问题,另一方面由于是仿真生成的样本数据,因此提高了样本的获取效率。
S30:获取待检测图像,对待检测图像进行轮廓数据标注,并与标准模板图像进行一一匹配。
轮廓数据标注是先对待检测图像进行拍摄,获取待检测图像的轮廓图,根据获得的轮廓图,对其边界进行数据点标记,并生成对应数据点的位置信息。
将完成轮廓数据标记后待检测图像的轮廓图与S20中的标准模板图像进行一一匹配,避免因为拍摄角度和产品的摆放位置引起的误判现象,从而能够得到该待检测图像是否存在缺陷,并且因为标准模板图中存在有大量模拟仿真得到的不同偏转角度下的第二标注图像,提高了待检测图像的匹配准确率。
S40:若匹配成功,则将匹配成功的标准模板图像作为待检测图像的理想轮廓数据。
本申请通过将遗传算法运用到图像数据的扩充上,能够在只需要少量正常产品的第一标注图像的情况下,通过遗传算法的模拟仿真对数据进行扩充,等效于对产品在镜头下的偏移进行模拟,然后获得不同偏移量下对应的第二标注图像,使得进行产品检测时能够有一组完备的标准图像模板进行匹配,提高匹配度准确度,同时由于是通过算法进行仿真得到的数据,减少了人力的投入,提高了生成标准图像模板的效率。
在另一个可选的实施例中,还提供了对存在缺陷的产品的轮廓处理算法,用于生成存在缺陷的产品的理想轮廓图,包括如下步骤:
S41:若匹配不成功,通过HED网络对标注后的待检测图像进行特征提取,得到HED轮廓数据,将HED轮廓数据打散为点列数据;
将点列数据输入至DRL模型,使用强化学习对轮廓趋势线按时序评估,得到待检测图像的理想轮廓数据。
在另一个可选的实施例中,DRL模型使用DQN算法,由神经网络与Q-Learning结合得到。
HED网络是一种多尺度多融合(multi-scale and multi-level featurelearning)的网络结构,将内核的VGG16的每一组的最后一个卷积层的输出取出来,因为每一组得到的图像的长宽尺寸是不一样的,通过转置卷积(transposed convolution)/反卷积(deconv)对每一组得到的图像数据再做一遍运算,使得每个尺度(VGG16的每一组就是一个尺度)上得到图像,都是相同的大小了,其中VGG16代表的是深度为16的VGG模型。
将一个数据(一个图)输入到网络(GNN)中,会得到一个输出数据(同样是图),输出的图和输入的图相比,顶点、边、以及全局信息会发生改变。
DRL是将深度学习(DL)与强化学习(RL)结合,直接从高维原始数据学习控制策略。而DQN是DRL的其中一种算法,它要做的就是将卷积神经网络(CNN)和Q-Learning结合起来,CNN的输入是原始图像数据(作为状态State),输出则是每个动作Action对应的价值评估Value Function(Q值)。
结合Q-learning和策略梯度两种方法,分为Actor network网络与Criticnetwork评估网络。
输入Input:3*4=12个(xi,yi)向量。其中3是分解总层数,4是每一个特征层系数。
Actor network网络考虑8个坐标系方向用于(xi,yi)变换自由度,方向1:0-45度,方向2:45-90度,...,方向8:315-360度。故输入层后接一个8个节点的隐藏层。操作为普通的卷积运算,通道数扩充为2(为了将x,y坐标系的基元扩展出去),紧接后面一层为坐标修正层,防止运算值超出规定象限。再经过4个特征融合层(前一个点特征,当前点特征,标签后一个点特征,趋势线时间序列特征),得到3*4=12个(xi,yi)向量做为Output。
Critic network网络:输入1为Actor network网络输出3*4=12个(xi,yi)向量,输入2为未经Actor network网络计算的原始数据Input:3*4=12个(xi,yi)向量。将Input1与Input2经过一个比较器层得到最后的评估结果。
Q-learning是根据强化学习算法中值迭代的算法,Q即为Q(s,a),就是再某一个时刻的s状态下,采取a动作能够获得收益的期望,环境会根据智能体的动作反馈相应的奖励,所以通常将状态和行为构建成一张用于存储Q值的Q值表,根据Q值来选取动作以获得较大收益。
具体的,原始输入数据是一个区间段内点坐标(x,y)集合。
构建数据域网络,选择尺度函数:
其中为尺度函数
选择基函数
同理
这样y方向数据为:
其中|c0,c1,c2,c3是特征层系数,为基函数。
每一层有4个参数|c0,c1,c2,c3,共3个特征层,每一层的分辨率是1,2,4。再次转化到空间域,使用基函数重建,重建特征层也为3个。
定义损失函数,由于仅涉及到值的比较,故采用MSE
DQN的拟合目标为最优贝尔曼方程,其数学表达式为
其中Rt为在状态St做出选择动作at后,系统返回的奖励,γ为回报的折扣率,为状态St下的期望值。
当数据点已经计算完成为(x,y),随后开始计算下一点(x1,y1),这里取两个策略方向,一个向前,一个向后。如果单从本身的轮廓数据来分析,无法知道哪些点偏离了理想轮廓,这时候需要导入标注数据。标注数据与实际轮廓数据存在许多异构性,如:频段相似的区间,有的直径(自变量x区间长度)大,有的直径小,故选择一个合适的映射函数,本申请的做法是获取x所在区间的频域段,再获取每个标注轮廓频域段,从这些标注数据频域段中取出分割开的频域段数据,然后将实际的数据区间映射到分割开的数据区间,这些区间存在前后多个,根据一个奖励函数评估最优的预测数据Xnext,同样,y方向根据x值也需要计算出一个奖励函数。定义DQN的拟合的奖励函数为:
其中Rt为在状态St做出选择动作at后,系统返回的奖励,γ为回报的折扣率,为状态St下的期望值。
定义一个action选取矩阵,选取矩阵的构建以实际轮廓为依据,如数据小区间内数据只有len1个,对应标注数据有len2个,则构建一个len1*len2的评估矩阵。每构建完成一个实际数据,统计每个标注数据对应区间段内的mse,损失最小则计算目标参数|c0,c1,c2,c3
在实际的检测中,会产生轮廓拓扑形变,这里定义两个仿射矩阵,一个矩阵做缩放、旋转
一个矩阵做平移[a31 a32]
将这两个矩阵作用到标注数据数据中生成理想轮廓数据,增强数据集,然后作用到实际轮廓,计算DQN的拟合目标。选取最优化矩阵参数。
在另一个实施例中,通过遗传算法,对第一标注图像进行数据增强,获得一组标准模板图像,具体包括:
对第一标注图像固定x坐标,搜索x的定义域[x0,xl];
在x方向做划分:利用数学分析工具寻找到所有的不连续点x1,x2,...xm,构建出分段连续区间[x0,x1],[x1,x2],...,[xm-1,xm];
使用传统的xld边缘查找,再将边缘打散为一个点列a1,a2,...,an。
为了把每个点的特征扩充,并且不影响点的排布,定义以下规则:
交叉操作:将(ai,aj)点整数部分或小数部分分别调换;
变异操作:为了不使数据超出轮廓区间,只将ai与aj点的(x,y)点坐标的x,y小数部分分解成二进制形式,然后将0,1对换,如00000变异成10000等.
选择操作:在构建点附近是否有相关的轮廓线片段,如果有就选中,否则不选中;
计算适应度:选择出a01,a02,...,a0n,如果存在另一个边缘序列a11,a12,...,a1n,计算两个边缘序列的距离(利用点至最近线段距离,然后将n个计算结果相加),如果距离在规定的值域内,则这个点列a01,a02,...,a0n是适应的。
在每个分段连续区间内,根据第一标注图像中标注的轮廓,采取以下方式生成插入点:
若实际轮廓(x,y)符合多项式公式,在每个区间邻域内取多个实际轮廓数据,根据多项式公式
yn=anxn+an-1xn-1+...+a0
得到yi,(i=0...k),此时插入点坐标为其中
其中,k=0,1,.....,
若实际轮廓(x,y)所在的曲线光滑,此时x方向基函数定义为:
其中xk为x轴的坐标变量,k=0,1,.....;
构建插值式:
其中f是原函数;
获取在不同条件下对应的产品的图像数据,形成一组标准模板图像。
在另一个实施例中,通过遗传算法,将标准模板图像的轮廓拆分为多段,每两张标准模板图像使用部分断进行交叉运算,用于解决欠拟合的问题。
在另一个实施例中,通过遗传算法,将标准模板图像的轮廓拆分为多段,每两张标准模板图像使用部分断进行交叉运算后,还包括:
在多段轮廓上进行反等运算,生成对应变形状态的产品仿真图像数据。
欠拟合是指模型拟合程度不高,数据距离拟合曲线较远,或指模型没有很好地捕捉到数据特征,不能够很好地拟合数据。
在本申请中,工业产品制程上的问题,会导致外壳有轻微差别,并且在成像阶段,拍照角度或产品轻微滑动,导致成像的轮廓会有变形现象,由于这些现象都是随机的,数据集不可能收集齐全,故用现场的部分图像去做训练集,做出的模型会有欠拟合问题。使用交叉运算后,从各个方向、趋势上对数据进行扩充,解决欠拟合问题。
过拟合(overfitting,或称拟合过度)是指过于紧密或精确地匹配特定数据集,以致于无法良好地拟合其他数据或预测未来的观察结果的现象。
在另一个实施例中,将点列数据输入至DRL模型,使用强化学习对轮廓趋势线按时序评估,得到待检测图像的理想轮廓数据后,还包括:
将HED轮廓数据与理想轮廓进行求差运算,得出待检测图像的缺陷形状、长度、面积等矩向量。
网络的时序构建:在小区间内,第t次的取值与前一次的取值相关,即:
xt=a*xt
其中a为相关系数,xt为x坐标变量。
a主要用用于适配区间,因为同一个轮廓每一个对应标注区间长度都可能不一样,故使用这个变化的参数来平稳序列。这样网络层就多一层自回归AR层。
如果有多个标注数据,找到对应的各个区域,计算平均数。
模型推理完成后,输出一系列的理想轮廓点,按照各个区间内的对应顺序,将这些点连结起来,就得到一个xld数据,将xld闭合,得到Region区域,Region区域为理想轮廓。
将HED轮廓数据与理想轮廓进行求差运算,从而计算出非正常产品的缺陷形状、长度、面积等矩向量。
本申请通过将遗传算法运用到图像数据的扩充上,能够在只需要少量正常产品的第一标注图像的情况下,通过遗传算法的模拟仿真对数据进行扩充,等效于对产品在镜头下的偏移进行模拟,然后获得不同偏移量下对应的第二标注图像,使得进行产品检测时能够有一组完备的标准图像模板进行匹配,提高匹配度准确度,同时由于是通过算法进行仿真得到的数据,减少了人力的投入,提高了生成标准图像模板的效率。
此外通过遗传算法对将所述标准模板图像的轮廓拆分为多段,每两张所述标准模板图像使用部分断进行交叉运算来预防图像欠拟合的问题,通过在多段轮廓上进行反等运算,生成对应变形状态的产品仿真图像数据来解决图像过拟合的问题,通过建立DRL模型,并选取使用DQN算法、神经网络与Q-Learning,了对存在缺陷的产品实现了理想轮廓的生成,最终通过差分运算,得到一个Region区域,计算该区域的缺陷形状、长度、面积等矩向量。
结合图2,本发明还提供一种实现强化学习的理想轮廓生成算法的装置400,包括:
第一标注图像获取模块401:获取正常产品的图像,对该图像进行轮廓标注,得到第一标注图像;
标准模板图像拟合模块402:通过遗传算法,对第一标注图像进行数据增强,获得一组标准模板图像,其中,标准模板图像包括第一标注图像以及多个第二标注图像,第二标注图像与第一标注图像中的轮廓具有角度偏转;
图像轮廓匹配模块403:获取待检测图像,对待检测图像进行轮廓数据标注,并与标准模板图像进行一一匹配;
理想轮廓生成模块404:若匹配成功,则将匹配成功的标准模板图像作为待检测图像的理想轮廓数据。
在一可选的实施例中,一种实现强化学习的理想轮廓生成算法的装置400还包括:
检测图像变换模块405:用于若匹配不成功,通过HED网络对标注后的待检测图像进行特征提取,得到HED轮廓数据,将HED轮廓数据打散为点列数据。
理想轮廓拟合模块406:用于将点列数据输入至DRL模型,使用强化学习对轮廓趋势线按时序评估,得到待检测图像的理想轮廓数据。
在一个可选的实施例中,标准图像拟合模块402包括遗传算法增强单元:用于对所述第一标注图像固定x坐标,搜索x的定义域[x0,xl];
在x方向做划分:利用数学分析工具寻找到所有的不连续点x1,x2,...xm,构建出分段连续区间[x0,x1],[x1,x2],...,[xm-1,xm]。
在每个分段连续区间内,根据所述第一标注图像中标注的轮廓,采取以下方式生成插入点。
若实际轮廓(x,y)符合多项式公式,在每个区间邻域内取多个实际轮廓数据,根据公式
yn=anxn+an-1xn-1+...+a0
得到yi,(i=0...k),此时插入点坐标为其中
其中k为,
若实际轮廓(x,y)所在的曲线光滑,此时x方向基函数定义为:
构建插值式:
其中f是原函数;
获取在不同条件下对应的产品的图像数据,形成一组标准模板图像。
在一个可选的实施例中,标准图像拟合模块402还包括欠拟合预防单元:用于通过遗传算法,将所述标准模板图像的轮廓拆分为多段,每两张所述标准模板图像使用部分断进行交叉运算。
在一个可选的实施例中,标准图像拟合模块402还包括过拟合预防单元:用于在多段轮廓上进行反等运算,生成对应变形状态的产品仿真图像数据。
在一可选的实施例中,一种实现强化学习的理想轮廓生成算法的装置400还包括:
缺陷参数计算模块407:用于将HED轮廓数据与理想轮廓进行求差运算,得出待检测图像的缺陷形状、长度、面积等矩向量。
如图3所示,图3是本申请实施例根据一示例性实施例示出的一种计算机设备的结构框图。所述计算机设备包括处理器910和存储器920。该主控芯片中处理器910的数量可以是一个或者多个,图3中以一个处理器910为例。该主控芯片中存储器920的数量可以是一个或者多个,图3中以一个存储器920为例。
存储器920作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请实施例任意实施例所述的一种基于强化学习的理想轮廓生成算法程序,以及本申请实施例任意实施例所述的一种基于强化学习的理想轮廓生成算法对应的程序指令/模块。存储器920可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器920可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器920可进一步包括相对于处理器910远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器910通过运行存储在存储器920中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述任一实施例所记载的一种基于强化学习的理想轮廓生成算法。
本申请实施例还提供了一种计算机可读存储介质,其上储存有计算机程序,该计算机程序被处理器执行时实现上述任意一个实施例所述的一种基于强化学习的理想轮廓生成算法。
本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读储存介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其它数据。计算机的存储介质的例子包括但不限于:相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其它类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其它内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其它光学存储、磁盒式磁带、磁带磁磁盘存储或其它磁性存储设备或任何其它非传输介质,可用于存储可以被计算设备访问的信息。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,则本发明也意图包含这些改动和变形。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,则本发明也意图包含这些改动和变形。

Claims (9)

1.一种基于强化学习的理想轮廓生成算法,其特征在于,包括:
获取正常产品的图像,对该图像进行轮廓标注,得到第一标注图像;
通过遗传算法,对所述第一标注图像进行数据增强,获得一组标准模板图像,其中,所述标准模板图像包括所述第一标注图像以及多个第二标注图像,所述第二标注图像与所述第一标注图像中的轮廓具有角度偏转;
获取待检测图像,对所述待检测图像进行轮廓数据标注,并与所述标准模板图像进行一一匹配;
若匹配成功,则将匹配成功的所述标准模板图像中的轮廓数据作为所述待检测图像的理想轮廓数据,若匹配不成功,则还包括如下步骤:
通过HED网络对标注后的所述待检测图像进行特征提取,得到HED轮廓数据,将所述HED轮廓数据打散为点列数据;
将所述点列数据输入至DRL模型,使用强化学习对轮廓趋势线按时序评估,得到所述待检测图像的理想轮廓数据。
2.根据权利要求1所述的一种基于强化学习的理想轮廓生成算法,其特征在于,通过遗传算法,对所述第一标注图像进行数据增强,获得一组标准模板图像,具体包括:
对所述第一标注图像固定x坐标,搜索x的定义域[x0,xl];
在x方向做划分:利用数学分析工具寻找到所有的不连续点x1,x2,...xm,构建出分段连续区间[x0,x1],[x1,x2],...,[xm-1,xm];
在每个分段连续区间内,根据所述第一标注图像中标注的轮廓,采取以下方式生成插入点:
若实际轮廓(x,y)符合多项式公式,在每个区间邻域内取多个实际轮廓数据,根据公式
yn=anxn+an-1xn-1+...+a0
得到yi,(i=0...k),此时插入点坐标为其中:
其中k=0,1,.....;
若实际轮廓(x,y)所在的曲线光滑,此时x方向基函数定义为:
构建插值式:
其中f是原函数;k=0,1,.....;
获取在不同条件下对应的产品的图像数据,形成一组标准模板图像。
3.根据权利要求2所述的一种基于强化学习的理想轮廓生成算法,其特征在于,获得一组标准模板图像后,还包括:
通过遗传算法,将所述标准模板图像的轮廓拆分为多段,每两张所述标准模板图像使用部分断进行交叉运算。
4.根据权利要求1所述的一种基于强化学习的理想轮廓生成算法,其特征在于,通过遗传算法,将所述标准模板图像的轮廓拆分为多段,每两张所述标准模板图像使用部分断进行交叉运算后,还包括:
在多段轮廓上进行反等运算,生成对应变形状态的产品仿真图像数据。
5.根据权利要求4所述的一种基于强化学习的理想轮廓生成算法,其特征在于,将所述点列数据输入至DRL模型,使用强化学习对轮廓趋势线按时序评估,得到所述待检测图像的理想轮廓数据后,还包括:
将所述HED轮廓数据与所述理想轮廓数据进行求差运算,得出所述待检测图像的缺陷形状、长度、面积等矩向量。
6.根据权利要求5所述的一种基于强化学习的理想轮廓生成算法,其特征在于,
所述DRL模型使用DQN算法,由神经网络与Q-Learning结合得到。
7.一种生成理想轮廓的装置,其特征在于,包括:
第一标注图像获取模块:获取正常产品的图像,对该图像进行轮廓标注,得到第一标注图像;
标准模板拟合模块:通过遗传算法,对所述第一标注图像进行数据增强,获得一组标准模板图像,其中,所述标准模板图像包括所述第一标注图像以及多个第二标注图像,所述第二标注图像与所述第一标注图像中的轮廓具有角度偏转;
图像轮廓匹配模块:获取待检测图像,对所述待检测图像进行轮廓数据标注,并与所述标准模板图像进行一一匹配;
理想轮廓生成模块:若匹配成功,则将匹配成功的所述标准模板图像作为所述待检测图像的理想轮廓数据,若匹配不成功,则还包括如下步骤:
通过HED网络对标注后的所述待检测图像进行特征提取,得到HED轮廓数据,将所述HED轮廓数据打散为点列数据;
将所述点列数据输入至DRL模型,使用强化学习对轮廓趋势线按时序评估,得到所述待检测图像的理想轮廓数据。
8.一种计算机设备,其特征在于,包括:
至少一个存储器以及至少一个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1至6任一项所述的一种基于强化学习的理想轮廓生成算法的步骤。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种基于强化学习的理想轮廓生成算法的步骤。
CN202310234431.3A 2023-03-10 2023-03-10 一种基于强化学习的理想轮廓生成算法、装置及存储介质 Active CN116452621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310234431.3A CN116452621B (zh) 2023-03-10 2023-03-10 一种基于强化学习的理想轮廓生成算法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310234431.3A CN116452621B (zh) 2023-03-10 2023-03-10 一种基于强化学习的理想轮廓生成算法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN116452621A CN116452621A (zh) 2023-07-18
CN116452621B true CN116452621B (zh) 2023-12-15

Family

ID=87126633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310234431.3A Active CN116452621B (zh) 2023-03-10 2023-03-10 一种基于强化学习的理想轮廓生成算法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116452621B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934835A (zh) * 2019-01-25 2019-06-25 广西科技大学 基于深度强化网络邻接连接的轮廓检测方法
CN110494894A (zh) * 2017-04-07 2019-11-22 科磊股份有限公司 基于轮廓的缺陷检测
CN111311608A (zh) * 2020-02-05 2020-06-19 方军 评估伤口的方法、设备和计算机可读存储介质
CN111882548A (zh) * 2020-07-31 2020-11-03 北京小白世纪网络科技有限公司 基于深度学习的病理图像中细胞计数方法及装置
CN112001880A (zh) * 2020-06-29 2020-11-27 浙江大学 一种平面构件的特征参数检测方法及装置
CN112508975A (zh) * 2020-12-21 2021-03-16 上海眼控科技股份有限公司 一种图像识别方法、装置、设备及存储介质
CN112784017A (zh) * 2021-01-28 2021-05-11 河海大学 基于主亲和性表示的档案跨模态数据特征融合方法
CN113435707A (zh) * 2021-06-03 2021-09-24 大连钜智信息科技有限公司 基于深度学习和计权型多因子评价的测土配方施肥方法
CN113538376A (zh) * 2021-07-15 2021-10-22 长江存储科技有限责任公司 存储阵列的缺陷定位方法、装置、设备及可读存储介质
CN114049499A (zh) * 2021-11-18 2022-02-15 南昌黑鲨科技有限公司 用于连续轮廓的目标对象检测方法、设备及存储介质
CN114300099A (zh) * 2021-11-24 2022-04-08 大连工业大学 一种基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法
CN114520743A (zh) * 2022-02-24 2022-05-20 周口师范学院 一种网络异常流量检测方法、系统及可存储介质
CN114821754A (zh) * 2022-04-27 2022-07-29 南昌虚拟现实研究院股份有限公司 半闭眼图像生成方法、装置、可读存储介质及电子设备
CN114882437A (zh) * 2022-05-23 2022-08-09 浙江大华技术股份有限公司 一种识别模型的训练方法、装置、电子设备和存储介质
CN114972174A (zh) * 2022-04-06 2022-08-30 电子科技大学中山学院 一种缺陷检测方法、装置、电子设备及存储介质
CN115115857A (zh) * 2022-05-25 2022-09-27 深圳市雨滴科技有限公司 一种图像匹配方法、装置及计算机设备
CN115278729A (zh) * 2022-06-29 2022-11-01 大连海事大学 一种海洋物联网中无人机协作数据收集与数据卸载方法
CN115690102A (zh) * 2022-12-29 2023-02-03 摩尔线程智能科技(北京)有限责任公司 缺陷检测方法、装置、电子设备、存储介质和程序产品

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748061B2 (en) * 2016-12-19 2020-08-18 Futurewei Technologies, Inc. Simultaneous localization and mapping with reinforcement learning
EP3732628A1 (en) * 2018-05-18 2020-11-04 Google LLC Learning data augmentation policies

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110494894A (zh) * 2017-04-07 2019-11-22 科磊股份有限公司 基于轮廓的缺陷检测
CN109934835A (zh) * 2019-01-25 2019-06-25 广西科技大学 基于深度强化网络邻接连接的轮廓检测方法
CN111311608A (zh) * 2020-02-05 2020-06-19 方军 评估伤口的方法、设备和计算机可读存储介质
CN112001880A (zh) * 2020-06-29 2020-11-27 浙江大学 一种平面构件的特征参数检测方法及装置
CN111882548A (zh) * 2020-07-31 2020-11-03 北京小白世纪网络科技有限公司 基于深度学习的病理图像中细胞计数方法及装置
CN112508975A (zh) * 2020-12-21 2021-03-16 上海眼控科技股份有限公司 一种图像识别方法、装置、设备及存储介质
CN112784017A (zh) * 2021-01-28 2021-05-11 河海大学 基于主亲和性表示的档案跨模态数据特征融合方法
CN113435707A (zh) * 2021-06-03 2021-09-24 大连钜智信息科技有限公司 基于深度学习和计权型多因子评价的测土配方施肥方法
CN113538376A (zh) * 2021-07-15 2021-10-22 长江存储科技有限责任公司 存储阵列的缺陷定位方法、装置、设备及可读存储介质
CN114049499A (zh) * 2021-11-18 2022-02-15 南昌黑鲨科技有限公司 用于连续轮廓的目标对象检测方法、设备及存储介质
CN114300099A (zh) * 2021-11-24 2022-04-08 大连工业大学 一种基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法
CN114520743A (zh) * 2022-02-24 2022-05-20 周口师范学院 一种网络异常流量检测方法、系统及可存储介质
CN114972174A (zh) * 2022-04-06 2022-08-30 电子科技大学中山学院 一种缺陷检测方法、装置、电子设备及存储介质
CN114821754A (zh) * 2022-04-27 2022-07-29 南昌虚拟现实研究院股份有限公司 半闭眼图像生成方法、装置、可读存储介质及电子设备
CN114882437A (zh) * 2022-05-23 2022-08-09 浙江大华技术股份有限公司 一种识别模型的训练方法、装置、电子设备和存储介质
CN115115857A (zh) * 2022-05-25 2022-09-27 深圳市雨滴科技有限公司 一种图像匹配方法、装置及计算机设备
CN115278729A (zh) * 2022-06-29 2022-11-01 大连海事大学 一种海洋物联网中无人机协作数据收集与数据卸载方法
CN115690102A (zh) * 2022-12-29 2023-02-03 摩尔线程智能科技(北京)有限责任公司 缺陷检测方法、装置、电子设备、存储介质和程序产品

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Deep Reinforcement Learning in Computer Vision;Ngan Le 等;《arXiv:2108.11510》;1-103 *
云制造环境下工业机器人远程监控系统设计与实现;于博;《中国优秀硕士学位论文全文数据库 信息科技辑》;I140-469 *
基于深度学习的表面缺陷检测算法研究;刘力哲;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-1245 *
头部可变形统计图谱构建及脑区自动分割算法研究;陈朝峰;《中国博士论文全文数据库 医药卫生科技辑》;E076-4 *
镍基单晶高温合金磨削加工工艺与质量影响因素研究;冯耀利;《中国优秀硕士学位论文全文数据库 工程科技I辑》;B022-1394 *

Also Published As

Publication number Publication date
CN116452621A (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN110930454B (zh) 一种基于边界框外关键点定位的六自由度位姿估计算法
US11556797B2 (en) Systems and methods for polygon object annotation and a method of training an object annotation system
CN109785385B (zh) 视觉目标跟踪方法及系统
CN107784288B (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN112348849A (zh) 一种孪生网络视频目标跟踪方法及装置
CN109584327B (zh) 人脸老化模拟方法、装置以及设备
CN111833237A (zh) 基于卷积神经网络和局部单应性变换的图像配准方法
CN112884820B (zh) 一种影像初始配准及神经网络的训练方法、装置和设备
CN112365511B (zh) 基于重叠区域检索与对齐的点云分割方法
CN114757904A (zh) 一种基于ai深度学习算法的表面缺陷检测方法
CN115810133B (zh) 基于图像处理和点云处理的焊接控制方法及相关设备
Böhland et al. Influence of synthetic label image object properties on GAN supported segmentation pipelines
CN114912972A (zh) 基于区块链的网络推广营销平台及其方法
CN109242832B (zh) 一种多时相多光谱遥感影像变化检测方法及系统
US20130121558A1 (en) Point Selection in Bundle Adjustment
CN116452621B (zh) 一种基于强化学习的理想轮廓生成算法、装置及存储介质
CN115630660B (zh) 基于卷积神经网络的条码定位方法和装置
CN114998630B (zh) 一种从粗到精的地对空图像配准方法
JP2006318232A (ja) 解析用メッシュ修正装置
Ong et al. Machine learning for human design: Sketch interface for structural morphology ideation using neural networks
CN112837420B (zh) 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统
Fan et al. Arbitrary surface data patching method based on geometric convolutional neural network
CN115170793A (zh) 面向工业产品质检的小样本图像分割自我校准方法
CN113989381A (zh) 一种基于改进的海鸥算法的多相机标定方法
Zhang et al. A method for identifying and repairing holes on the surface of unorganized point cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 101-301, Building 3, No. 9, Huijiang South 2nd Road, Dashi Street, Panyu District, Guangzhou City, Guangdong Province, 5114300

Patentee after: Guangzhou Yihong Intelligent Equipment Co.,Ltd.

Country or region after: Zhong Guo

Address before: Room 101-301, Building 3, No. 9, Huijiang South 2nd Road, Dashi Street, Panyu District, Guangzhou City, Guangdong Province, 5114300

Patentee before: GUANGZHOU EHOLLY INTELLIGENT EQUIPMENT Co.,Ltd.

Country or region before: Zhong Guo

CP03 Change of name, title or address