CN114581510A - 基于模式识别的卷帘窗阻力点定位方法及人工智能系统 - Google Patents

基于模式识别的卷帘窗阻力点定位方法及人工智能系统 Download PDF

Info

Publication number
CN114581510A
CN114581510A CN202210191390.XA CN202210191390A CN114581510A CN 114581510 A CN114581510 A CN 114581510A CN 202210191390 A CN202210191390 A CN 202210191390A CN 114581510 A CN114581510 A CN 114581510A
Authority
CN
China
Prior art keywords
deformation
rolling window
image
connected domain
convolution kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210191390.XA
Other languages
English (en)
Other versions
CN114581510B (zh
Inventor
韩政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou Baoxiang Energy Saving Tech Co ltd
Original Assignee
Yangzhou Baoxiang Energy Saving Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou Baoxiang Energy Saving Tech Co ltd filed Critical Yangzhou Baoxiang Energy Saving Tech Co ltd
Priority to CN202210191390.XA priority Critical patent/CN114581510B/zh
Publication of CN114581510A publication Critical patent/CN114581510A/zh
Application granted granted Critical
Publication of CN114581510B publication Critical patent/CN114581510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于模式识别的卷帘窗阻力点定位方法及人工智能系统,涉及智能生产控制领域。包括:获取卷帘窗在每个位置下的卷帘窗紧凑图;根据灰度差异值得到卷帘窗完全闭合状态下的帧图像中的形变连通域,得到形变连通域的形状向量;构建形变检测网络,对所有卷帘窗紧凑图进行卷积,计算初始卷积核中心点在各方向上的形变偏移量对卷积核进行调整,利用调整后的卷积核对图像进行提取特征得到特征图;对形变检测网络进行训练;利用训练好的形变检测网络进行检测,得到形变的卷帘窗帧图像。本发明对卷帘窗帧图像进行自适应卷积核设计,通过获取形变区域像素点的形变值变化与形变偏移量的关系,能有效提高网络的收敛速度和形变的检测精度。

Description

基于模式识别的卷帘窗阻力点定位方法及人工智能系统
技术领域
本申请涉及智能生产控制领域,具体涉及一种基于模式识别的卷帘窗阻力点定位方法及人工智能系统。
背景技术
卷帘窗是一种新型的遮阳产品,卷帘窗开启方式分为两种,一种是手动,一种是电动,电动的卷帘窗是可以实现智能控制的。卷帘窗的作用有:防晒、隔音、抗风雪和防沙等功能。
卷帘窗在智能控制的过程可能由于导轨设计存在偏差或者卷帘材料制作过程中可能存在由于卷帘刚度不够,受挤压变形,造成卷帘开启关闭存在阻碍的现象。现有技术中,对卷帘窗运行过程中的校正手段是利用计时器对行程过程进行计时,从而对阻碍点进行校正。
发明人在实现本发明实施例的过程中,发现背景技术中至少存在以下缺陷:现有技术中存在的问题在于,利用计时器进行卷帘形成阻力点检测自动化能力过低,根据光照参数进行智能调节的过程中,无法检测出卷帘窗在运行过程中存在的阻力点的精确位置,只能检测出运行过程中存在阻力点的大概位置,检测误差较大,无法根据检测结果有效的对卷帘窗或轨道进行修正。
发明内容
针对上述技术问题,本发明提供了一种基于模式识别的卷帘窗阻力点定位方法及人工智能系统。
第一方面,本文发明实施例提出了一种基于模式识别的卷帘窗阻力点定位方法,包括:
获取卷帘窗完全闭合状态下的帧图像并进行二值化处理,得到完全闭合状态下的卷帘窗紧凑图;
根据完全闭合状态下的卷帘窗紧凑图中各像素点及其八邻域像素点的灰度值计算灰度差异值,根据灰度差异值得到完全闭合状态下的卷帘窗紧凑图中的灰度连通域;
对得到的灰度连通域进行连通域分割得到形变连通域,获取形变连通域的重心点,计算重心点在八邻域方向上到连通域边缘的长度得到形变连通域的形状向量;
构建形变检测网络,所述形变检测网络至少包括用于对紧凑图进行卷积和特征提取的编码器和用于上采样输出存在形变的卷帘窗图像及其位置的解码器;
所述编码器对紧凑图进行卷积和特征提取的方法包括:设置初始卷积核对所有卷帘窗紧凑图进行卷积,根据形变连通域的形状向量计算初始卷积核中心点在每个方向上的形变偏移量,根据每个方向上的形变偏移量对卷积核进行调整,利用调整后的卷积核对图像进行分层卷积提取特征得到特征图;
对构建的形变检测网络进行训练,将获取每个位置的卷帘窗紧凑图和标准卷帘窗图像作为输入;存在形变连通域的卷帘窗帧图像作为输出进行网络训练;
获取待检测的卷帘窗在各个位置下的帧图像,根据训练好的形变检测网络对卷帘窗的缺陷进行检测,输出卷帘窗存在形变的位置下的卷帘窗帧图像。
根据卷帘窗闭合状态下的卷帘窗紧凑图中像素点的灰度值计算灰度差异,根据灰度差异值得到卷帘窗完全闭合状态下的卷帘窗紧凑图中的灰度连通域的过程如下:
将任意灰度值相同的像素点作为种子点,对各种子点的八邻域像素点计算灰度差异值,利用种子生长法,将灰度差异值小于差异阈值的像素点作为同一连通域的像素点,得到灰度连通域,连通域内的像素点作为新的种子点继续进行八邻域分析,直到灰度差异值没有小于差异阈值时停止迭代,得到所有的灰度连通域;
灰度差异值的计算公式如下:
c=|gx,y-gx+i,y+j|
式中:c为灰度差异值,gx,y表示坐标为(x,y)的像素点的灰度值,gx+i,y+j表示坐标为(x+i,y+j)的像素点的灰度值,i,j的取值为[-1,0,1],即像素点的八邻域像素点的灰度值。
计算重心点在八邻域方向上到连通域边缘的长度得到形变连通域的形状向量的方法为:根据形变连通域的重心点的位置,获取重心点在八邻域方向上到形变连通域边缘的连线的长度,得到形变连通域的形状向量:Xa=[l1,l2,…,l8],lk,k=1,2…,8,其中Xa为第a个形变连通域的形状向量,lk表示八邻域方向上的连线长度,k为邻域方向的序号。
根据连通域的形状向量计算初始卷积核中心点在每个方向上的形变偏移量的方法为:根据设置的初始卷积核大小和形变连通域中的形状向量计算卷积核中心点在八邻域方向上的形变偏移量,具体计算公式如下:
Figure BDA0003524539700000021
式中:Pk表示第k个方向上的形变偏移量,lk表示八邻域中第k个方向上的连线长度,Min[Xa]表示第a个形变连通域的形状向量中的最小值,即八邻域方向上的最小的连线长度,α为单位偏移量新增缩放系数,α=eN-1
根据每个方向上的形变偏移量对卷积核进行调整的具体过程为:根据计算得到的每个方向上的形变偏移量对卷积核进行自适应调整,对每个方向进行不同的偏移量变化,得到不规则的卷积核。
根据训练好的形变检测网络对卷帘窗的缺陷进行检测,得到存在形变的卷帘窗图像的过程为:根据轨道不同位置对测试窗帘的帧图像进行标号,将测试窗帘的帧图像输入训练好的形变检测网络,最终输出存在形变的卷帘窗图像,根据输出的卷帘窗图像的标号进行缺陷定位,完成对卷帘窗的缺陷检测。
第二方面,本发明实施例提出了一种基于模式识别的卷帘窗人工智能生产控制系统,包括:
图像处理模块:用于处理采集的卷帘窗每个位置下的帧图像,得到卷帘窗紧凑图;
网络模型构建模块:用于构建形变检测网络,根据设置的初始卷积核大小和形状向量计算卷积核中心点在每个方向上的形变偏移量,根据形变偏移量对卷积核进行调整,利用调整后的卷积核对图像进行分层卷积提取特征得到特征图,根据卷帘窗紧凑图和特征图对形变检测网络进行训练;
实时检测模块:根据训练好的形变检测网络对实时获得的待检测的卷帘窗每个位置下的帧图像进行检测,得到存在形变的卷帘窗图像及其形变位置。
相比于现有技术,本发明实施例的有益效果在于:
(1)基于本申请所述通过静态图像中存在形变的图像进行连通域分析,获取各个位置的形变连通域以及形变连通域的特征信息,相较于现有技术有益效果在于能够利用静态图像的形变连通域特征信息对后续不同位置的卷帘窗图像进行自适应卷积核设计,有利于提高网络的收敛速度和检测精度。
(2)基于本申请所述通过多尺度自适应卷积核进行编码器卷积处理,获取特征图,并通过形变尺度不变损失对网络损失函数进行构建,能够获取卷帘窗形变区域像素点的形变值变化与形变偏移量的关系,相较于现有技术有益效果在于能够提高形变的检测精度,保证损失函数收敛后的网络输出效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于模式识别的卷帘窗阻力点定位方法的流程示意图。
图2是本发明实施例提供的卷帘窗图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征;在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
实施例1
本发明实施例提供了一种基于模式识别的卷帘窗阻力点定位方法,如图1所示,包括:
S101、获取卷帘窗的卷帘窗紧凑图
通过相机获取卷帘窗每个位置下的卷帘窗紧凑图,为了更好的分析卷帘窗表面的形变特征,将空隙边缘的像素删除并平移卷帘窗图像覆盖空隙处像素点位置,得到卷帘窗每个位置下的卷帘窗紧凑图(包括卷帘窗的完全闭合状态下的帧图像)。
S102、获取卷帘窗完全闭合状态下的帧图像中的灰度连通域
对卷帘窗闭合状态下的帧图像进行灰度特征分析,根据卷帘窗闭合状态下的帧图像中像素点的灰度值对相邻的像素点进行灰度差异计算,利用种子生长法和灰度差异值得到卷帘窗闭合状态下的帧图像的灰度连通域,通过对灰度连通域的分割得到正常卷帘窗图像和形变卷帘窗图像,即正常连通域和形变连通域。
S103、得到形变连通域的形状向量
提取所有的形变连通域,得到形变连通域的重心点位置,根据重心点位置得到重心点在八邻域方向上到形变连通域边缘的连线长度,从而获取形变连通域的形状向量。
S104、构建形变检测网络模型
利用卷帘窗闭合状态下的帧图像的形变特征,作为形变卷积核的学习特征,构建卷积方式和设计损失函数,得到形变检测网络模型。
S105、计算卷积核中心点在各方向上的形变偏移量
将形变连通域的形状向量中的最小值作为单位偏移量,根据形状向量的数据计算卷积核重心点在八邻域的方向上的形变偏移量,根据形变偏移量进行卷积核的自适应调整,提高网络的收敛速度和检测精度。
S106、提取图像特征得到形变卷帘窗图像
根据形变偏移量对卷积核进行调整,利用调整后的卷积核,对图像进行同时卷积提取形变特征,得到形变卷帘窗图像。
S107、对构建的形变检测网络进行训练
对获取的卷帘窗每个位置下的卷帘窗紧凑图进行卷积和特征提取,与S105-S106方法相同(即对卷帘窗紧凑图进行S105-S106的步骤),从而完成对构建的形变检测网络的训练过程,得到训练好的形变检测网络。
S108、获取存在形变的卷帘窗图像
通过训练好的形变检测网络对卷帘窗不同位置的测试卷帘窗的每个位置下的帧图像进行形变检测,通过训练好的形变检测网络进行检测能够提高形变检测效率和检测精度。
实施例2
本发明实施例提供了一种基于模式识别的卷帘窗阻力点定位方法,如图1所示,具体内容包括:
S201、获取卷帘窗每个位置下的卷帘窗紧凑图
通过相机获取卷帘窗每个位置下的卷帘窗紧凑图,为了更好的分析卷帘窗表面的形变特征,将空隙边缘的像素删除并平移卷帘窗图像覆盖空隙处像素点位置,得到卷帘窗每个位置下的卷帘窗紧凑图(包括卷帘窗的完全闭合状态下的帧图像)。
1.获取卷帘窗每个位置下的灰度图像
通过相机获取卷帘窗每个位置下的图像,相机拍摄角度为正视视角,如图2所示。对卷帘窗卷帘窗每个位置下的图像进行灰度化处理,得到卷帘窗每个位置下的灰度图像;
相机采集的频率可根据卷帘窗在轨道上的运动速度设定,正常的卷帘窗在轨道运行速度为匀速,具体数值大小视情况而定。
2.获取卷帘窗每个位置下的卷帘窗紧凑图
通过像素点标记分别将卷帘窗中每个位置下的灰度图像中属于卷帘窗区域的像素点标记为1,属于卷帘窗之间的空隙的像素点标记为0,得到卷帘窗的每个位置下的卷帘窗二值图。
为了更好的分析卷帘窗表面的形变特征,将空隙边缘的像素删除并平移卷帘窗图像覆盖空隙处的像素点位置,将得到的每个位置下的卷帘窗二值图和灰度图像相乘,得到仅包含卷帘窗的每个位置下的卷帘窗紧凑图。
S202、获取卷帘窗完全闭合状态下的帧图像中的灰度连通域
对卷帘窗闭合状态下的帧图像进行灰度特征分析,根据卷帘窗闭合状态下的帧图像中像素点的灰度值对相邻的像素点进行灰度差异计算,利用种子生长法和灰度差异值得到卷帘窗闭合状态下的帧图像的灰度连通域,通过对灰度连通域的分割得到正常卷帘窗图像和形变卷帘窗图像,即正常连通域和形变连通域。
对卷帘窗完全闭合状态下的帧图像中所有像素点的灰度值和坐标进行统计,获取存在灰度差异的像素点的位置坐标。
将任一灰度值相同的像素点作为种子点,对各种子点的八邻域像素点进行灰度差异值的计算,利用种子生长法,将灰度差异值小于差异阈值的像素点作为同一连通域的像素点,得到灰度连通域,连通域内的像素点作为新的种子点继续进行八邻域分析,直到灰度差异值没有小于差异阈值时停止迭代,得到所有的灰度连通域,本实施例中差异阈值设置为2,即将满足灰度差异值c<2的像素点分割为同一连通域;
灰度差异值的计算公式如下:
c=|gx,y-gx+i,y+j|
式中:c为灰度差异值,gx,y表示坐标为(x,y)的像素点的灰度值,gx+i,y+j表示坐标为(x+i,y+j)的像素点的灰度值,i,j的取值为[-1,0,1],即该像素点八邻域内像素点的灰度值。
种子点与八邻域内满足灰度差异条件的像素点归为同一连通域后,邻域内满足条件的像素点作为新的种子点,进行下一个八邻域判断,直到不满足条件为止。通过不断迭代,将灰度值相同的像素点划分为多个灰度连通域,其中根据种子生长法获得的所有满足条件的连通域为正常连通域,其他区域即为形变连通域。多个灰度连通域图像中包括:正常卷帘窗图像和形变卷帘窗图像(即正常连通域和形变连通域)。
S203、得到形变连通域的形状向量
提取所有的形变连通域,得到形变连通域的重心点位置,根据重心点位置得到重心点在八邻域方向上到形变连通域边缘的连线长度,从而获取形变连通域的形状向量。
根据形变连通域的重心点的位置,获取重心点在八邻域方向上到形变连通域边缘的连线的长度,得到形变连通域的形状向量:Xa=[l1,l2,…,l8],lk,k=1,2…,8,其中Xa为第a个形变连通域的形状向量,lk表示八邻域方向上的连线长度,k为邻域方向的序号。
形变连通域的形状向量为后续运动图像的形变检测网络训练提供有效信息。
S204、构建形变检测网络模型
利用卷帘窗闭合状态下的帧图像的形变特征,作为形变卷积核的学习特征,构建卷积方式和设计损失函数,得到形变检测网络模型。
通过卷帘窗在轨道上进行开闭运动,得到连续多帧的卷帘窗图像,并作为训练集图像对形变检测网络进行训练,能够带来的好处:能够提高网络检测卷帘窗表面形变的精度。
由于后续卷帘窗每个位置下的图像的形变检测网络设计与卷帘窗完全闭合状态下的图像中的形变信息有关,所以,需要获取各个位置下发生形变的测试参考图像。
S205、计算卷积核中心点在各方向上的形变偏移量
将形变连通域的形状向量中的最小值作为单位偏移量,根据形状向量的数据计算卷积核重心点在八邻域的方向上的形变偏移量,根据形变偏移量进行卷积核的自适应调整,提高网络的收敛速度和检测精度。
编码器(Encoder)获取图像特征的方式通过卷积核滑窗卷积下采样,设置3×3大小的初始卷积核,根据步骤S1中所得到的形变连通域的形状向量X,得到卷积核中心点在每个方向上的形变偏移量Pk,对卷积核进行形变设计,为每一个形变卷积核上的像素点新增卷积核形变偏移量Pk,得到自适应形变卷积核。8个方向上的形变偏移量Pk的计算方式为:初始卷积核中心点距离8个方向的长度为1,形变连通域得到的形状向量中Min[lk]作为单位偏移量。
根据设置的初始卷积核大小和形变连通域中的形状向量计算卷积核中心点在八邻域方向上的形变偏移量,具体计算公式如下:
Figure BDA0003524539700000081
式中:Pk表示第k个方向上的形变偏移量,lk表示八邻域中第k个方向上的连线长度,Min[Xa]表示第a个形变连通域的形状向量中的最小值,即八邻域方向上的最小的连线长度,α为单位偏移量新增缩放系数,α=eN-1
得到每个方向上的偏移量
Figure BDA0003524539700000082
Figure BDA0003524539700000083
其中,
Figure BDA0003524539700000084
表示向下取整,
Figure BDA0003524539700000085
表示按照形变连通域重心点在8个方向上到边缘的最小距离作为单位长度,对初始长度新增形变偏移量。由于在网络多层卷积的过程中,感受野问题的影响,所以,为单位偏移量新增放缩系数α=eN-1,其中,N表示卷积的层数,Nmax=5,初始值α0=1。
S206、提取图像特征得到形变卷帘窗图像
根据形变偏移量对卷积核进行调整,利用调整后的卷积核,对图像进行同时卷积提取形变特征,得到形变卷帘窗图像。
本实施例对形变连通域的进行自适应调整卷积核尺寸,形变偏移量即为新的卷积核尺寸,对每个方向进行不同的偏移量变化,得到一个不规则的卷积核对形变连通域进行卷积提取形变特征,提高了检测的精确度。
为了提高网络卷积的自适应能力,根据不同形状的形变连通域的大小获取多尺度形变卷积核,利用多尺度卷积核对图像进行同时卷积提取形变特征,获取方法同S205,该部分也可以删除。
S207、对构建的形变检测网络进行训练
对获取的卷帘窗每个位置下的卷帘窗紧凑图进行卷积和特征提取,与S105-S106方法相同(即对卷帘窗紧凑图进行S205-S206的步骤),从而完成对构建的形变检测网络的训练过程,得到训练好的形变检测网络。
形变检测网络的结构为:Encoder-Decoder,网络的输入为:待检测的不同位置的卷帘窗紧凑图,输出为:存在形变的卷帘窗图像。编码器(Encoder)进行卷帘窗紧凑图的卷积和特征提取,获取特征图,并经过解码器(Decoder)进行上采样输出发生形变的卷帘窗图像。网络结构模型可参考深度残差网络ResNets。网络的训练集包括:不同位置下的形变图像和正常图像。
形变检测网络的损失函数为:Loss=L1+L2,其中,
Figure BDA0003524539700000091
表示均方误差损失函数,其中,yu表示网络输出像素点的形变值,y′u表示网络标签图像的像素点的形变标签值,
Figure BDA0003524539700000092
其中,yu,y′u的表示含义不变,yv表示形变像素点的形变偏移量yv下对应的形变值yu的改变量,yv表示形变像素点的形变偏移量yv下对应的形变值yu的改变量。
S208、获取存在形变的卷帘窗图像
通过训练好的形变检测网络对卷帘窗不同位置的测试卷帘窗的每个位置下的帧图像进行形变检测,通过训练好的形变检测网络进行检测能够提高形变检测效率和检测精度。
输入为:待检测的卷帘窗每个位置下的帧图像,利用训练好的形变检测网络模型进行形变检测,输出为:存在形变的卷帘窗图像。
利用训练好的形变检测网络对轨道不同位置获取的卷帘窗帧图像进行形变检测,为了能够实现轨道缺陷定位,可以根据轨道不同位置实现将测试卷帘窗的每个位置下的帧图像进行标号,网络输出的存在形变的卷帘帧图像能够根据图像标号在轨道各位置进行缺陷定位,根据缺陷位置对当前卷帘窗进行返工排除缺陷。
基于与上述方法相同的发明构思,本实施例还提供了一种基于模式识别的卷帘窗人工智能生产控制系统,本实施例中基于模式识别的卷帘窗人工智能生产控制系统包括图像处理模块、网络模型构建模块和实时检测模块,所述图像处理模块、网络模型构建模块和实时检测模块,以实现如一种基于模式识别的卷帘窗阻力点定位方法的实施例中所描述的对卷帘窗的缺陷进行检测和智能控制的具体方法。
由于一种基于模式识别的卷帘窗阻力点定位方法实施例中已经对对卷帘窗的缺陷进行检测和智能控制的具体方法进行了说明,此处不再赘述。
本发明中涉及诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本发明的方法和系统中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
上述实施例仅仅是为清楚地说明所做的举例,并不构成对本发明的保护范围的限制。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无需也无法对所有的实施方式予以穷举。凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (7)

1.一种基于模式识别的卷帘窗阻力点定位方法,其特征在于,包括:
获取卷帘窗完全闭合状态下的帧图像并进行二值化处理,得到完全闭合状态下的卷帘窗紧凑图;
根据完全闭合状态下的卷帘窗紧凑图中各像素点及其八邻域像素点的灰度值计算灰度差异值,根据灰度差异值得到完全闭合状态下的卷帘窗紧凑图中的灰度连通域;
对得到的灰度连通域进行连通域分割得到形变连通域,获取形变连通域的重心点,计算重心点在八邻域方向上到连通域边缘的长度得到形变连通域的形状向量;
构建形变检测网络,所述形变检测网络至少包括用于对紧凑图进行卷积和特征提取的编码器和用于上采样输出存在形变的卷帘窗图像及其位置的解码器;
所述编码器对紧凑图进行卷积和特征提取的方法包括:设置初始卷积核对所有卷帘窗紧凑图进行卷积,根据形变连通域的形状向量计算初始卷积核中心点在每个方向上的形变偏移量,根据每个方向上的形变偏移量对卷积核进行调整,利用调整后的卷积核对图像进行分层卷积提取特征得到特征图;
对构建的形变检测网络进行训练,将获取每个位置的卷帘窗紧凑图和标准卷帘窗图像作为输入;存在形变连通域的卷帘窗帧图像作为输出进行网络训练;
获取待检测的卷帘窗在各个位置下的帧图像,根据训练好的形变检测网络对卷帘窗的缺陷进行检测,输出卷帘窗存在形变的位置下的卷帘窗帧图像。
2.根据权利要求1所述的一种基于模式识别的卷帘窗阻力点定位方法,其特征在于,所述根据卷帘窗闭合状态下的卷帘窗紧凑图中像素点的灰度值计算灰度差异,根据灰度差异值得到卷帘窗完全闭合状态下的卷帘窗紧凑图中的灰度连通域的过程如下:
将任意灰度值相同的像素点作为种子点,对各种子点的八邻域像素点计算灰度差异值,利用种子生长法,将灰度差异值小于差异阈值的像素点作为同一连通域的像素点,得到灰度连通域,连通域内的像素点作为新的种子点继续进行八邻域分析,直到灰度差异值没有小于差异阈值时停止迭代,得到所有的灰度连通域;
灰度差异值的计算公式如下:
c=|gx,y-gx+i,y+j|
式中:c为灰度差异值,gx,y表示坐标为(x,y)的像素点的灰度值,gx+i,y+j表示坐标为(x+i,y+j)的像素点的灰度值,i,j的取值为[-1,0,1],即像素点的八邻域像素点的灰度值。
3.根据权利要求1所述的一种基于模式识别的卷帘窗阻力点定位方法,其特征在于,所述计算重心点在八邻域方向上到连通域边缘的长度得到形变连通域的形状向量的方法为:根据形变连通域的重心点的位置,获取重心点在八邻域方向上到形变连通域边缘的连线的长度,得到形变连通域的形状向量:Xa=[l1,l2,…,l8],lk,k=1,2…,8,其中Xa为第a个形变连通域的形状向量,lk表示八邻域方向上的连线长度,k为邻域方向的序号。
4.根据权利要求1所述的一种基于模式识别的卷帘窗阻力点定位方法,其特征在于,所述根据连通域的形状向量计算初始卷积核中心点在每个方向上的形变偏移量的方法为:根据设置的初始卷积核大小和形变连通域中的形状向量计算卷积核中心点在八邻域方向上的形变偏移量,具体计算公式如下:
Figure FDA0003524539690000021
式中:Pk表示第k个方向上的形变偏移量,lk表示八邻域中第k个方向上的连线长度,Min[Xa]表示第a个形变连通域的形状向量中的最小值,即八邻域方向上的最小的连线长度,α为单位偏移量新增缩放系数,α=eN-1
5.根据权利要求1所述的一种基于模式识别的卷帘窗阻力点定位方法,其特征在于,所述根据每个方向上的形变偏移量对卷积核进行调整的具体过程为:根据计算得到的每个方向上的形变偏移量对卷积核进行自适应调整,对每个方向进行不同的偏移量变化,得到不规则的卷积核。
6.根据权利要求1所述的一种基于模式识别的卷帘窗阻力点定位方法,其特征在于,所述根据训练好的形变检测网络对卷帘窗的缺陷进行检测,得到存在形变的卷帘窗图像的过程为:根据轨道不同位置对测试窗帘的帧图像进行标号,将测试窗帘的帧图像输入训练好的形变检测网络,最终输出存在形变的卷帘窗图像,根据输出的卷帘窗图像的标号进行缺陷定位,完成对卷帘窗的缺陷检测。
7.一种基于模式识别的卷帘窗人工智能生产控制系统,包括:图像处理模块、网络模型构建模块和实时检测模块,其特征在于:
图像处理模块:用于处理采集的卷帘窗每个位置下的帧图像,得到卷帘窗紧凑图;
网络模型构建模块:用于构建形变检测网络,根据设置的初始卷积核大小和形状向量计算卷积核中心点在每个方向上的形变偏移量,根据形变偏移量对卷积核进行调整,利用调整后的卷积核对图像进行分层卷积提取特征得到特征图,根据卷帘窗紧凑图和特征图对形变检测网络进行训练;
实时检测模块:根据训练好的形变检测网络对实时获得的待检测的卷帘窗每个位置下的帧图像进行检测,得到存在形变的卷帘窗图像及其形变位置。
CN202210191390.XA 2022-02-28 2022-02-28 基于模式识别的卷帘窗阻力点定位方法及人工智能系统 Active CN114581510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210191390.XA CN114581510B (zh) 2022-02-28 2022-02-28 基于模式识别的卷帘窗阻力点定位方法及人工智能系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210191390.XA CN114581510B (zh) 2022-02-28 2022-02-28 基于模式识别的卷帘窗阻力点定位方法及人工智能系统

Publications (2)

Publication Number Publication Date
CN114581510A true CN114581510A (zh) 2022-06-03
CN114581510B CN114581510B (zh) 2022-11-29

Family

ID=81776735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210191390.XA Active CN114581510B (zh) 2022-02-28 2022-02-28 基于模式识别的卷帘窗阻力点定位方法及人工智能系统

Country Status (1)

Country Link
CN (1) CN114581510B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808796A (zh) * 2024-02-23 2024-04-02 陕西长空齿轮有限责任公司 一种基于计算机视觉的齿轮表面损伤检测方法
CN117808796B (zh) * 2024-02-23 2024-05-28 陕西长空齿轮有限责任公司 一种基于计算机视觉的齿轮表面损伤检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292319A (zh) * 2017-08-04 2017-10-24 广东工业大学 一种基于可变形卷积层的特征图像提取的方法及装置
CN109255757A (zh) * 2018-04-25 2019-01-22 江苏大学 一种机器视觉自然放置葡萄串果梗区域分割方法
CN111383209A (zh) * 2019-12-20 2020-07-07 华南理工大学 一种基于全卷积自编码器网络的无监督瑕疵检测方法
US20200234420A1 (en) * 2019-01-17 2020-07-23 Beijing Boe Optoelectronics Technology Co., Ltd. Method and apparatus for detecting image defects, computing device, and computer readable storage medium
CN112101251A (zh) * 2020-09-18 2020-12-18 电子科技大学 基于可变卷积神经网络的sar自动目标识别方法
CN112651968A (zh) * 2021-01-20 2021-04-13 广东工业大学 一种基于深度信息的木板形变与凹坑检测方法
CN113469951A (zh) * 2021-06-08 2021-10-01 燕山大学 一种基于级联区域卷积神经网络的轮毂缺陷检测方法
WO2022012240A1 (zh) * 2020-07-16 2022-01-20 京东方科技集团股份有限公司 检测显示面板不良的方法及装置
CN113963008A (zh) * 2021-11-26 2022-01-21 广东奥普特科技股份有限公司 一种高分辨率图像的小目标语义分割方法及系统
CN114092696A (zh) * 2020-07-29 2022-02-25 北京金山云网络技术有限公司 图像分割方法、装置、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292319A (zh) * 2017-08-04 2017-10-24 广东工业大学 一种基于可变形卷积层的特征图像提取的方法及装置
CN109255757A (zh) * 2018-04-25 2019-01-22 江苏大学 一种机器视觉自然放置葡萄串果梗区域分割方法
US20200234420A1 (en) * 2019-01-17 2020-07-23 Beijing Boe Optoelectronics Technology Co., Ltd. Method and apparatus for detecting image defects, computing device, and computer readable storage medium
CN111383209A (zh) * 2019-12-20 2020-07-07 华南理工大学 一种基于全卷积自编码器网络的无监督瑕疵检测方法
WO2022012240A1 (zh) * 2020-07-16 2022-01-20 京东方科技集团股份有限公司 检测显示面板不良的方法及装置
CN114092696A (zh) * 2020-07-29 2022-02-25 北京金山云网络技术有限公司 图像分割方法、装置、电子设备及存储介质
CN112101251A (zh) * 2020-09-18 2020-12-18 电子科技大学 基于可变卷积神经网络的sar自动目标识别方法
CN112651968A (zh) * 2021-01-20 2021-04-13 广东工业大学 一种基于深度信息的木板形变与凹坑检测方法
CN113469951A (zh) * 2021-06-08 2021-10-01 燕山大学 一种基于级联区域卷积神经网络的轮毂缺陷检测方法
CN113963008A (zh) * 2021-11-26 2022-01-21 广东奥普特科技股份有限公司 一种高分辨率图像的小目标语义分割方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曹凯: "基于卷积神经网络的外观缺陷检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
赵丰: "基于卷积神经网络的表面缺陷检测方法综述", 《第十四届全国信号和智能信息处理与应用学术会议论文集 》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808796A (zh) * 2024-02-23 2024-04-02 陕西长空齿轮有限责任公司 一种基于计算机视觉的齿轮表面损伤检测方法
CN117808796B (zh) * 2024-02-23 2024-05-28 陕西长空齿轮有限责任公司 一种基于计算机视觉的齿轮表面损伤检测方法

Also Published As

Publication number Publication date
CN114581510B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN107609525B (zh) 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN109670429B (zh) 一种基于实例分割的监控视频多目标人脸检测方法及系统
CN107437245B (zh) 基于深度卷积神经网络的高速铁路接触网故障诊断方法
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN108918536B (zh) 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质
CN109034245B (zh) 一种利用特征图融合的目标检测方法
CN111738342B (zh) 一种受电弓异物检测方法、存储介质及计算机设备
CN107944354B (zh) 一种基于深度学习的车辆检测方法
EP3819859A1 (en) Sky filter method for panoramic images and portable terminal
US9008440B2 (en) Component recognizing apparatus and component recognizing method
CN107480585B (zh) 基于dpm算法的目标检测方法
CN115880784B (zh) 基于人工智能的景区多人动作行为监测方法
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN111914698B (zh) 图像中人体的分割方法、分割系统、电子设备及存储介质
CN111079821A (zh) 一种脱轨自动制动拉环脱落故障图像识别方法
CN110766016B (zh) 一种基于概率神经网络的喷码字符识别方法
CN116030396B (zh) 一种用于视频结构化提取的精确分割方法
CN103871081A (zh) 一种自适应鲁棒在线目标跟踪方法
CN108256462A (zh) 一种商场监控视频中的人数统计方法
CN108898623A (zh) 目标跟踪方法及设备
CN106056078B (zh) 一种基于多特征回归式集成学习的人群密度估计方法
CN111754538A (zh) Usb表面缺陷检测的阈值分割方法
CN112668725A (zh) 一种基于改进特征的金属洗手盆缺陷目标训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant