CN111523535B - 基于机器视觉与深度学习的类圆对象识别计数检测算法 - Google Patents

基于机器视觉与深度学习的类圆对象识别计数检测算法 Download PDF

Info

Publication number
CN111523535B
CN111523535B CN202010252859.7A CN202010252859A CN111523535B CN 111523535 B CN111523535 B CN 111523535B CN 202010252859 A CN202010252859 A CN 202010252859A CN 111523535 B CN111523535 B CN 111523535B
Authority
CN
China
Prior art keywords
image
circle
filter stick
pixel
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010252859.7A
Other languages
English (en)
Other versions
CN111523535A (zh
Inventor
张堃
吴建国
张培建
姜朋朋
李子杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202010252859.7A priority Critical patent/CN111523535B/zh
Publication of CN111523535A publication Critical patent/CN111523535A/zh
Application granted granted Critical
Publication of CN111523535B publication Critical patent/CN111523535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于机器视觉与深度学习的类圆对象识别计数检测算法，包括采用工业相机对所要统计的滤棒对象的垂直截面图像进行采集；从获得的图像中利用自适应阈值二值化和FindContours()函数获得滤棒对象的感兴趣区域；将获得的感兴趣区域切成a个A*A像素子图；将获得的a个A*A像素子图放入改进的SAA‑unet模型中进行训练；将训练完的a个A*A像素子图进行复原，重新获得感兴趣区域；再将重新获得的感兴趣区域进行滤棒对象的统计计数，本发明加入了SAA‑unet数学理论、结构构造原理来提高检测的效率的计数检测方法，更为高效与智能，解决了人工计数高强度作业，工作效率低，误差大等容易出错的问题，算法准确率高达98.7%。

Description

基于机器视觉与深度学习的类圆对象识别计数检测算法
技术领域
本发明涉及一种识别计数检测算法，具体涉及一种基于机器视觉与深度学习的类圆对象识别计数检测算法。
背景技术
滤棒对象在生活中无处不在，如棒材、药品、香烟装箱等。此滤棒对象在生活中不可避免需要统计；目前，对于装箱的滤棒对象技术往往采取人工直接计数或者不检测方式，利用人工直接检测方式计数方法劳动强度大，眼睛易疲劳，计数精度低，且误差因人而异。特别是在对于大规模数量滤棒检测时，严重的视力恶化和注意力不集中的不适可能发生在检察员身上，这绝对会损害其计数准确性和工人健康；由于稳定性、准确性和廉价的优点，机器视觉已经成为目标检测领域重要的解决方案，并且已经有很多成熟的检测系统能够满足工业现场实际要求。
相较于传统视觉算法，基于机器学习的检测算法能够有较好的普适性。在面对复杂光照条件下生成的图片基于机器学习的检测算法具有良好的精度，摆脱了传统算法中依赖人工主观设置；对于本次设计中我们使用传统的视觉算法进行粗定位的功能，大大减少了计算负荷同时使用机器学习模型对样本数据进行训练，对粗定位精确，提高了系统计数准确性；利用机器学习精确定位时兼顾了图像像素间的区局特征而且保留了灰度图像上的局部特征，对于滤棒目标地识别、定位、计数具有更高的准确率以及高速率，其优秀性能完全能够达到工业现场要求。
在专利CN 106529551 A《面向包装行业的滤棒对象智能识别计数检测算法》中采用了工业相机采集所要统计的滤棒对象的垂直截面图像，从获取图像中利用固定阈值方法获得滤棒对象感兴趣区域，再从中截取有效区域进行去噪，对去噪后的图像利用自适应局部二值化图像，删除无效区域和无效点处理；涉及到的滤棒统计计数算法包括正常滤棒检测、缺陷滤棒检测、凹凸区域检测、边界漏检处理；而在此基础上加入深度学习理论、结构构造原理来提高检测的效率的计数检测方法尚未见报道。
发明内容
发明目的：针对技术的不足，本发明的目的是提供基于机器视觉与深度学习的基于机器视觉与深度学习的类圆对象识别计数检测算法，对CN 106529551 A的计数检测方法进行了优化，更为高效与智能，解决现有技术中存在的人工计数高强度作业，工作效率低，误差大等容易出错的问题。
技术方案：为了实现上述发明目的，本发明采用的技术方案为：
基于机器视觉与深度学习的类圆对象识别计数检测算法，其特征在于：包括以下步骤：
步骤一、采用工业相机对所要统计的滤棒对象的垂直截面图像进行采集；
步骤二、从获得的垂直截面图像中利用自适应阈值二值化和FindContours()函数获得滤棒对象的感兴趣区域，大小为l×w；
步骤三、将获得的感兴趣区域切成a个A*A像素子图；
步骤四、将获得的a个A*A像素子图放入改进的SAA-unet模型中进行分割；
步骤五、将训练完的a个A*A像素子图进行复原，重新获得感兴趣区域；
步骤六、再将重新获得的感兴趣区域进行滤棒对象的统计计数。
进一步的，步骤二中通过自适应阈值二值化算法将获得的图像转换为二值化图像，再采用FindContours()函数通过设置参数对二值化图像进行轮廓检测，选择最大的外轮廓区域，作为感兴趣区域；所述参数为image、contours、hierarchy、int mode、intmethod、Point偏移量；且int mode设置为CV_RETR_CCOMP建立两个等级的轮廓，CV_RETR_TREE建立一个等级树结构的轮廓；int method设置为CV_CHAIN_APPROX_NONE存储所有的轮廓点，相邻的两个点的像素位置差不超过1。
进一步的，步骤2中通过自适应阈值二值化算法将获得的图像转换为二值化图像，具体算法如下：
自适应阈值二值化方法获得二值图
将未经任何处理的垂直截面图像，通过自适应二值化算法获得的二值图，算法如下：
用P(n)来表示第n个点的灰度值，T(n)来表示二值化后的值.用fs(n)来表示第n个点之前s个点的灰度值的和，就是
Figure BDA0002434985840000021
其中s表示第n个点之前的累积点数；
用s和另一个变量t，其中t表示一个常数，就可以简单的说明P(n)应该是0还是1，该公式为：
Figure BDA0002434985840000031
根据大量现场实验结果来看，这里的s和t最佳的取值范围是s＝image.width/8，而t＝15的时候效果最好，且1为黑(背景)，0为白(前景)；
现在定义T(n)的时候，用的是平均值，也就是说之前扫描过的若干点对于当前点的影响或者说权重是一样的；
所以这里改进成离当前点越近的像素对当前点的影响越大，越远则越小，用距离加权公式g(n)代替T(n)；公式如下：
Figure BDA0002434985840000032
颜色计算依赖的扫描顺序一般都是水平扫描的；像素值实际上取决于水平位置上的邻接点的灰度值，竖直方向的像素可以维护前面依次水平扫描产生的g(n)序列，在某个g(n)被使用之前，可以让其和前一个g(n)取一个平均值，这样的话，可以获得这个最终的值；
另外由于需要给定一个初始的迭代值，取g(n)＝127*s，127是灰度0～255的中间值。
进一步的，步骤2中再采用FindContours()函数通过设置参数对二值化图像进行轮廓检测，选择最大的外轮廓区域，作为感兴趣区域，具体方法如下；
采用FindContours()函数获得滤棒对象的感兴趣区域
将经自适应二值化处理后的图像通过FindContours()函数获得滤棒对象的感兴趣区域；先从findContours()函数原型设置参数：findContours(InputOutputArrayimage,OutputArrayOfArrays contours,OutputArray hierarchy,int mode,int method,Pointoffset＝Point())；
输入图像image为一个2值单通道图像；contours参数为检测的轮廓数组，每一个轮廓用一个point类型的vector表示；hiararchy参数和轮廓个数相同，每个轮廓contours[i]对应4个hierarchy元素hierarchy[i][0]～hierarchy[i][3]，分别表示后一个轮廓、前一个轮廓、父轮廓、内嵌轮廓的索引编号，如果没有对应项，该值设置为负数；
通过mode轮廓的检索模式：CV_RETR_CCOMP建立两个等级的轮廓，上面的一层为外边，里面的一层为内孔的边界；如果内孔内还有一个连通物体，这个物体的边界也在顶层；CV_RETR_TREE建立一个等级树结构的轮廓；
通过method轮廓的近似办法：CV_CHAIN_APPROX_NONE存储所有的轮廓点，相邻的两个点的像素位置差不超过1，即max(abs(x1-x2)，abs(y2-y1))＝＝1；对二值图像中找出的轮廓，并要在自适应二值化处理后的图像中进行分析获得感兴趣区域。
进一步的，步骤三中a为80，A*A像素子图为128*128像素子图，并记录切割时子图左上点在原图上坐标生成子图位置序列，保存在txt文件中。
进一步的，步骤四中，SAA-unet模型训练在采样时采用one-stage目标检测，融合self attention argument模块，并通过focalloss损失函数降低简单的负样本在训练中所占的权重，同时抑制有严重畸变、粘连的滤棒对象目标；
Self-Attention机制流程表示为：
Figure BDA0002434985840000041
进一步的，步骤四中：为了加强深层网络中紧凑特征的学习能力，通过SAA-Unet网络在第D1层到第D2层网络部署了Self-Attention Argument模块，其他层保留传统卷积操作；在Self-Attention基础上，通过独立添加相对宽(W)和相对高(H)实现二维相关自注意力；对于像素i＝(ix,iy)关于像素j＝(jx,jy)的a维Attention计算方式如下所示：
Figure BDA0002434985840000042
qi表示对于i的查询矢量，也就是Q的第i行，也就是长为Dk的矢量；
kj表示对于j的查询矢量，也就是K的第j行，也就是长为Dk的矢量；
Figure BDA0002434985840000051
和
Figure BDA0002434985840000052
表示对于相对宽度jx-ix和相对高度jy-iy学习到的嵌入表示，各自均为Dk长度的矢量，对应于r组成的参数矩阵rW和rH是(2W-1,Dk)和(2H-1,Dk)；输出的包含位置信息的注意力权重矩阵如下所示：
Figure BDA0002434985840000053
Self Attention Argument模块；采用e×e卷积核对SAA模块得到的编码特征进行组合拼接；最后将输入项通过一个标准f×f卷积得到的feature map和拼接好的编码特征组合成一个新的feature map作为输出结果，以代替常规卷积操作，由于Self AttentionArgument均为矩阵操作，所以在计算复杂度方面仅有少量增加；
同时对SAA-unet模型中得损失函数进行专项设计：
Figure BDA0002434985840000054
进一步的，步骤五中，将训练完的后的h个A*A像素子图进行图像复原，拼接成被切割前的图片，重新获得感兴趣区域，通过读取子图序列txt文件，读取子图在原图的相对位置，完成原图的重建。
进一步的，步骤六中，对重新获得的感兴趣区域进行滤棒对象的统计计数包括以下步骤：
1)定位初始滤棒对象：
通过以(l/2,w/2)为中心1.5r为半径，统计像素值大于v的有效点确定起始滤棒位置坐标；参数r为滤棒生产标定半径值，参数v为滤棒生产标定横截面积值，以上变量取值均来自国家烟草产品标准规定；
2)结构元定位圆心；
多个滤棒堆叠满足“圆相切”几何规律，即每个滤棒最多被i个滤棒包围，且近似按照α°/滤棒分布；只要确定一个滤棒的圆心即可推断出相邻滤棒的位置；圆心定位算法流程如下：
在图像中央m×m感兴趣区域按匹配寻找第一个结构元位置；该结构元满足所有像素均为n；
对已检测到的结构元按照α1°，α2°，α3°和α4°四个方向进行逐像素移动，当满足结构元出现L像素时停止移动；即确定将结构元移动到边缘位置；
通过对β°/β1°垂直方向和β2°/β3°水平方向上结构元的中心连线取中垂线，其交点可近似确定为滤棒中心；
3)基于隐马尔可夫的圆相切搜索策略；
根据圆相切几何关系，当确定了一个圆心后，相邻的p个圆会出现在方向范围内；只需要确定合适的搜索步长d，即可搜索到p1个方向上相邻圆内的结构元，通过基于隐马尔可夫得圆相切搜索策略，能够有效搜索到滤棒目标；
4)滤棒对象目标统计计数
使用结构元填充与圆相切位置检测算法分别完成滤棒目标的识别与计数，以此完成滤棒对象目标统计计数。
进一步的，所述3)基于隐马尔可夫的圆相切搜索策略；具体算法如下：
根据圆相切几何关系，当确定了一个圆心后，相邻的6个圆会出现在方向O1:30°、O2:90°、O3:150°、O4:210° O5:270° O6:330°范围内；需要确定合适的搜索步长d，即可搜索到6个方向上相邻圆内的结构元；
根据相切原理，步长d具有一个可变范围：d_min为历史滤棒半径累计平均值r_avg，d_max为3r_avg；为了使6个方向上的圆心定位更准确，通过基于高斯分布来观测搜索步长d大小；
其中μ＝2r_avg，σ2＝r_avg；
搜索步长d即为高斯分布中观测随机数；
考虑到结构元确定的圆心为近似圆心，且滤棒受到挤压造成形变导致获得的也是近似的圆相切模型；如果能够预测出更优化的搜索步长d与搜索角度O，即可及时释放误差累计，提高整体检测精度；因此，采用隐马尔科夫模型(Hidden Markov Model,HMM)对搜索步长d和搜索角度O进行优化预测；以下称搜索步长缩放比例与搜索角度构成的叠加状态为比例-角度状态；
将搜索步长缩放比例与搜索角度作为待预测值作为HMM的隐藏链，而从圆心出发，向六个方向到边缘的距离xi，其中i＝1:6记为HMM的观测链，HMM预测流程；
比例-角度隐藏链状态表示公式，如下所示:
S＝{S1,S2,...,Sm},m＝9
其中缩放比例范围定为±10％，其代表着基于x来缩放搜索步长d；搜索角度O也同时满足±15°阈值范围，即有缩放比例-角度状态序列S，
Figure BDA0002434985840000071
通过HMM计算，每个xi将对应一个概率最大状态序列Sm，并通过极大似然法计算概率；
滤棒各比例-角度初始概率公式，如下所示:
π＝{π1,π2,...,πm},m＝9
其中πi表示状态Si的初始概率；
经过统计分析可以得出任意的状态Si出现的次数为Ni，经过一步转移的匹配的状态Si到另一状态Sj，则状态转移概率公式，如下所示:
Figure BDA0002434985840000072
将所有滤棒匹配比例-角度状态Si的一步转移概率以矩阵的形式列出，则会得到一个9×9的一步转移概率矩阵:
Figure BDA0002434985840000073
由此可以确定隐藏的马尔科夫链，其状态转移过程；
实验发现，状态Si和xi服从高斯分布；状态Si所对应的xi个数记为N′i；
因为xi与Si存在一一对应的关系，所以Ni＝N′i；xi的高斯密度函数的均值μi和方差σi 2为：
Figure BDA0002434985840000082
Figure BDA0002434985840000083
由于不同方向状态Si对应的距离x计算得到的均值μi和方差σi 2不同，所以在同一距离xk对应不同比例-角度Si发生概率也不同；给定距离xk,其发生概率为：
Figure BDA0002434985840000085
根据Viterbi算法，只需要使
Figure BDA0002434985840000086
概率最大，即可实现xi对应的比例-角度Si概率预测；
通过上述几何关系，设计了一种可以实现快速识别定位。有益效果：与现有技术相比，本发明通过对获得的图像中利用自适应阈值二值化和FindContours()函数获得滤棒对象的感兴趣区域，并在此基础上加入SAA-unet数学理论、结构构造原理来提高检测的效率的计数检测方法，不仅对现有技术中的计数检测方法进行了优化，使其更加高效与智能，而且解决现有技术中存在的人工计数高强度作业，工作效率低，误差大等容易出错的问题，算法准确率高达98.7％。
附图说明
图1是本发明实施例中总体流程图像图；
图2是本发明实施例中原始图像图；
图3是本发明实施例中二值化图像图；
图4是本发明实施例中使用的SAA-Unet模型图；
图5是本发明实施例中结构元填充示意图；
图6为本发明实施例中自适应搜索示意图；
图7为本发明实施例中计数效果图。
具体实施方式
下面结合具体实施例进一步说明本发明，但这些实施例并不用来限制本发明。
实施例1
基于机器视觉与深度学习的类圆对象识别计数检测算法，如图1所示，包括以下步骤：
步骤一：利用工业相机采集滤棒对象的垂直截面图像，即工业相机捕捉到的实物。
步骤二：从获得的垂直截面图像中利用自适应二值化和FindContours()函数获得滤棒对象的感兴趣区域。
(1)自适应阈值二值化方法获得二值图
如图2为未经任何处理的垂直截面图像，通过自适应二值化算法获得的二值图如图3所示，算法如下：
用P(n)来表示第n个点的灰度值，T(n)来表示二值化后的值.用fs(n)来表示第n个点之前s个点的灰度值的和，就是
Figure BDA0002434985840000091
其中s表示第n个点之前的累积点数；
用s和另一个变量t，其中t表示一个常数，就可以简单的说明P(n)应该是0还是1了，这个公式就是
Figure BDA0002434985840000092
根据大量现场实验结果来看，这里的s和t最佳的取值范围是s＝image.width/8，而t＝15的时候效果最好，且1为黑(背景)，0为白(前景)；
现在定义T(n)的时候，用的是平均值，也就是说之前扫描过的若干点对于当前点的影响或者说权重是一样的。
所以这里改进成离当前点越近的像素对当前点的影响越大，越远则越小，用距离加权公式g(n)代替T(n)；公式如下：
Figure BDA0002434985840000101
现在的颜色计算依赖的扫描顺序一般都是水平扫描的。这样的话，像素值实际上取决于水平位置上的邻接点的灰度值，竖直方向的像素可以维护前面依次水平扫描产生的g(n)序列，在某个g(n)被使用之前，可以让其和前一个g(n)取一个平均值，这样的话，可以获得这个最终的值。
另外由于需要给定一个初始的迭代值，这里取g(n)＝127*s，127是灰度0～255的中间值。
(2)采用FindContours()函数获得滤棒对象的感兴趣区域
将经自适应二值化处理后的图像通过FindContours()函数获得滤棒对象的感兴趣区域；先从findContours()函数原型设置参数：findContours(InputOutputArrayimage,OutputArrayOfArrays contours,OutputArray hierarchy,int mode,int method,Pointoffset＝Point())；
输入图像image必须为一个2值单通道图像；contours参数为检测的轮廓数组，每一个轮廓用一个point类型的vector表示；hiararchy参数和轮廓个数相同，每个轮廓contours[i]对应4个hierarchy元素hierarchy[i][0]～hierarchy[i][3]，分别表示后一个轮廓、前一个轮廓、父轮廓、内嵌轮廓的索引编号，如果没有对应项，该值设置为负数。
通过mode轮廓的检索模式：CV_RETR_CCOMP建立两个等级的轮廓，上面的一层为外边，里面的一层为内孔的边界。如果内孔内还有一个连通物体，这个物体的边界也在顶层。CV_RETR_TREE建立一个等级树结构的轮廓。
通过method轮廓的近似办法：CV_CHAIN_APPROX_NONE存储所有的轮廓点，相邻的两个点的像素位置差不超过1，即max(abs(x1-x2)，abs(y2-y1))＝＝1；对二值图像中找出的轮廓，并要在自适应二值化处理后的图像中进行分析获得感兴趣区域。
步骤三：将获得的感兴趣区域切成80个128*128像素子图，并记录切割时子图左上点在原图上坐标生成子图位置序列，保存在txt文件中。
步骤四：将获得的80个128*128像素子图放入已有unet模型中进行训练。
如图4所示。本发明所构造的SAA-Unet网络的各层具体参数如下：
C1、C2两卷积层：输入尺寸为128×128，输入通道数为3，卷积核为3×3，步长为1,边缘填充方式为‘valid’,激活函数为ReLU,输出尺寸为128×128，输出通道数为64。
P1下采样层：输入尺寸为128×128，输入通道数为64，池化核为2×2，步长为1，边缘填充方式为‘same’，输出尺寸为64×64。
C3为增强卷积、C4为普通卷积：输入尺寸为64×64，输入通道数为64，卷积核为3×3，步长为1,边缘填充方式为‘valid’,激活函数为ReLU,输出尺寸为64×64，输出通道数为128。
P2下采样层：输入尺寸为64×64，输入通道数为128，池化核为2×2，步长为1，边缘填充方式为‘same’，输出尺寸为32×32，
C5为增强卷积、C6为普通卷积：输入尺寸为32×32，输入通道数为128，卷积核为3×3，步长为1,边缘填充方式为‘valid’,激活函数为ReLU,输出尺寸为32×32，输出通道数为256。
P3下采样层：输入尺寸为32×32，输入通道数为256，池化核为2×2，步长为1，边缘填充方式为‘same’，输出尺寸为16×16。
C7为增强卷积、C8为普通卷积：输入尺寸为16×16，输入通道数为128，卷积核为3×3，步长为1,边缘填充方式为‘valid’,激活函数为ReLU,输出尺寸为16×16，输出通道数为512。
P4下采样层：输入尺寸为16×16，输入通道数为512，池化核为2×2，步长为1，边缘填充方式为‘same’，输出尺寸为8×8。
C9为增强卷积、C10为普通卷积：输入尺寸为8×8，输入通道数为512，卷积核为3×3，步长为1,边缘填充方式为‘valid’,激活函数为ReLU,输出尺寸为8×8，输出通道数为1024。
U1反卷积层：输入尺寸为8×8，输入通道数为512，卷积核为2×2，步长为2，边缘填充方式为‘same’，输出尺寸为16×16。
将U1反卷积后的结果与对应尺寸的C6卷积的结果进行拼接，拼接维度为3。
C11、C12两增强卷积层：输入尺寸为16×16，输入通道数为1024，卷积核为3×3，步长为1,边缘填充方式为‘valid’,激活函数为ReLU,输出尺寸为16×16，输出通道数为512。
U2反卷积层：输入尺寸为16×16，输入通道数为512，卷积核为2×2，步长为2，边缘填充方式为‘same’，输出尺寸为32×32。
将U2反卷积后的结果与对应尺寸的C4卷积的结果进行拼接，拼接维度为3。
C13、C14两卷积层：输入尺寸为32×32，输入通道数为512，卷积核为3×3，步长为1,边缘填充方式为‘valid’,激活函数为ReLU,输出尺寸为64×64，输出通道数为256。
U3反卷积层：输入尺寸为32×32，输入通道数为256，卷积核为2×2，步长为2，边缘填充方式为‘same’，输出尺寸为64×64。
将U3反卷积后的结果与对应尺寸的C2卷积的结果进行拼接，拼接维度为3。
C15、C16两卷积层：输入尺寸为64×64，输入通道数为128，卷积核为3×3，步长为1,边缘填充方式为‘valid’,激活函数为ReLU,输出尺寸为64×64，输出通道数为64。
U4反卷积层：输入尺寸为64×64，输入通道数为128，卷积核为2×2，步长为2，边缘填充方式为‘same’，输出尺寸为128×128。
C17、C18两卷积层：输入尺寸为128×128，输入通道数为64，卷积核为3×3，步长为1,边缘填充方式为‘valid’,激活函数为ReLU,输出尺寸为128×128，输出通道数为64。
输出层：输入尺寸为128×128，输入通道数为64，卷积核为3×3，步长为1,边缘填充方式为‘same’,激活方式为线性激活，输出尺寸为128×128，输出通道数为1。
步骤五：将训练完的80个128*128像素子图进行图像复原，拼接成被切割前的图片，重新获得感兴趣区域，通过读取子图序列txt文件，读取子图在原图的相对位置，完成原图的重建。
步骤六：将重新获得的感兴趣区域进行滤棒对象统计计数。具体如下：
1)定位初始滤棒对象：
对重新获得的感兴趣区域采用结构单元填充的方法且长宽为5×5的矩形结构单元计数效果最佳；
在每个结构单元中心进行连接构建出一个几何图形，几何图形的中心即为滤棒对象目标中心；
精确定位滤棒对象中心，能够准确对滤棒对象数量进行计算。
通过以(700,350)为中心1.5×7.5为半径，统计像素值大于60的有效点确定起始滤棒位置坐标；其中7.5为滤棒生产标定横截面积值，60为滤棒生产标定横截面积值，上变量取值均来自国家烟草产品标准规定；
2)结构元定位圆心；
多个滤棒堆叠满足“圆相切”几何规律，即每个滤棒最多被6个滤棒包围，且近似按照60°/滤棒分布。只要确定一个滤棒的圆心即可推断出相邻滤棒的位置。
但是根据SAA-Unet获得的Mask的结果，发现所获得的滤棒并非标准圆，呈现为不规则多边形及边缘锯齿状，如图5所示。传统基于中垂线找圆心的方法不适用滤棒图像，因而本文提出一个结构元定位圆心的方法，该方法可以降低4000余个不规则圆心定位的误差累计。
通过实验对比3×5～5×9像素的矩形结构元对计数精度的影响，发现采用5×5结构元效果最佳。圆心定位算法流程如下：
在图像中央50×50感兴趣区域按匹配寻找第一个结构元位置。该结构元满足所有像素均为255。
对已检测到的结构元按照0°，90°，180°和270°四个方向进行逐像素移动，当满足结构元出现0像素时停止移动。即确定将结构元移动到边缘位置。
通过对90°/270°垂直方向和0°/180°水平方向上结构元的中心连线取中垂线，其交点可近似确定为滤棒中心。；
3)基于隐马尔可夫的圆相切搜索策略；
根据圆相切几何关系，当确定了一个圆心后，相邻的6个圆会出现在方向O1:30°、O2:90°、O3:150°、O4:210° O5:270° O6:330°范围内。只需要确定合适的搜索步长d，即可搜索到6个方向上相邻圆内的结构元，如图6所示。
根据相切原理，步长d具有一个可变范围：d_min为历史滤棒半径累计平均值r_avg，d_max为3r_avg。为了使6个方向上的圆心定位更准确，本文提出基于高斯分布来观测搜索步长d大小。
其中μ＝2r_avg，σ2＝r_avg。
搜索步长d即为高斯分布中观测随机数。
考虑到结构元确定的圆心为近似圆心，且滤棒受到挤压造成形变导致获得的也是近似的圆相切模型。如果能够预测出更优化的搜索步长d与搜索角度O，即可及时释放误差累计，提高整体检测精度。因此，采用隐马尔科夫模型(Hidden Markov Model,HMM)对搜索步长d和搜索角度O进行优化预测。以下称搜索步长缩放比例与搜索角度构成的叠加状态为比例-角度状态。
将搜索步长缩放比例与搜索角度作为待预测值作为HMM的隐藏链，而从圆心出发，向六个方向到边缘的距离xi，其中i＝1:6记为HMM的观测链。
比例-角度隐藏链状态表示公式，如下所示:
S＝{S1,S2,...,Sm},m＝9
其中缩放比例范围定为±10％，其代表着基于x来缩放搜索步长d。搜索角度O也同时满足±15°阈值范围。即有缩放比例-角度状态序列S，
Figure BDA0002434985840000141
通过HMM计算，每个xi将对应一个概率最大状态序列Sm，并通过极大似然法计算概率。滤棒各比例-角度初始概率公式，如下所示:
π＝{π1,π2,...,πm},m＝9
其中πi表示状态Si的初始概率。
经过统计分析可以得出任意的状态Si出现的次数为Ni，经过一步转移的匹配的状态Si到另一状态Sj，则状态转移概率公式，如下所示:
Figure BDA0002434985840000151
将所有滤棒匹配比例-角度状态Si的一步转移概率以矩阵的形式列出，则会得到一个9×9的一步转移概率矩阵:
Figure BDA0002434985840000152
由此可以确定隐藏的马尔科夫链。
实验发现，状态Si和xi服从高斯分布。状态Si所对应的xi个数记为N′i
因为xi与Si存在一一对应的关系，所以Ni＝N′i。xi的高斯密度函数的均值μi和方差σi 2为：
Figure BDA0002434985840000154
由于不同方向状态Si对应的距离x计算得到的均值μi和方差σi 2不同，所以在同一距
离xk对应不同比例-角度Si发生概率也不同。给定距离xk,其发生概率为：
Figure BDA0002434985840000156
根据Viterbi算法，本文只需要使
Figure BDA0002434985840000157
概率最大，即可实现xi对应的比例-角度Si概率预测。
通过这种几何关系，设计了一种可以实现快速识别定位；
4)如图7计数效果图所示，使用结构元填充与圆相切位置检测算法分别完成滤棒目标的识别与计数，以此完成滤棒对象目标统计计数，在通过工业现场反复测试后证明本专利中所设计的算法其误差率能够维持在0.41/1000箱，误范围在1～3。
需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (8)

1.基于机器视觉与深度学习的类圆对象识别计数检测算法，其特征在于：包括以下步骤：
步骤一、采用工业相机对所要统计的滤棒对象的垂直截面图像进行采集；
步骤二、从获得的垂直截面图像中利用自适应阈值二值化和FindContours()函数获得滤棒对象的感兴趣区域，大小为l×w；
步骤三、将获得的感兴趣区域切成a个A*A像素子图；
步骤四、将获得的a个A*A像素子图放入改进的SAA-unet模型中进行分割；
SAA-unet模型训练在采样时采用one-stage目标检测，融合self attention argument模块，并通过focalloss损失函数降低简单的负样本在训练中所占的权重，同时抑制有严重畸变、粘连的滤棒对象目标；
Self-Attention机制流程表示为：
Figure FDA0003396942920000011
为了加强深层网络中紧凑特征的学习能力，通过SAA-Unet网络在第D1层到第D2层网络部署了Self-Attention Argument模块，其他层保留传统卷积操作；在Self-Attention基础上，通过独立添加相对宽(W)和相对高(H)实现二维相关自注意力；对于像素i＝(ix,iy)关于像素j＝(jx,jy)的a维Attention计算方式如下所示：
Figure FDA0003396942920000012
qi表示对于i的查询矢量，也就是Q的第i行，也就是长为Dk的矢量；
kj表示对于j的查询矢量，也就是K的第j行，也就是长为Dk的矢量；
Figure FDA0003396942920000013
和
Figure FDA0003396942920000014
表示对于相对宽度jx-ix和相对高度jy-iy学习到的嵌入表示，各自均为Dk长度的矢量，对应于r组成的参数矩阵rW和rH是(2W-1,Dk)和(2H-1,Dk)；输出的包含位置信息的注意力权重矩阵如下所示：
Figure FDA0003396942920000015
Self Attention Argument模块；采用e×e卷积核对SAA模块得到的编码特征进行组合拼接；最后将输入项通过一个标准f×f卷积得到的feature map和拼接好的编码特征组合成一个新的feature map作为输出结果，以代替常规卷积操作，由于Self AttentionArgument均为矩阵操作，所以在计算复杂度方面仅有少量增加；
同时对SAA-unet模型中得损失函数进行专项设计：
Figure FDA0003396942920000021
步骤五、将训练完的a个A*A像素子图进行复原，重新获得感兴趣区域；
步骤六、再将重新获得的感兴趣区域进行滤棒对象的统计计数。
2.根据权利要求1所述的基于机器视觉与深度学习的类圆对象识别计数检测算法，其特征在于：步骤二中通过自适应阈值二值化算法将获得的图像转换为二值化图像，再采用FindContours()函数通过设置参数对二值化图像进行轮廓检测，选择最大的外轮廓区域，作为感兴趣区域；所述参数为image、contours、hierarchy、int mode、int method、Point偏移量；且int mode设置为CV_RETR_CCOMP建立两个等级的轮廓，CV_RETR_TREE建立一个等级树结构的轮廓；int method设置为CV_CHAIN_APPROX_NONE存储所有的轮廓点，相邻的两个点的像素位置差不超过1。
3.根据权利要求2所述的基于机器视觉与深度学习的类圆对象识别计数检测算法，其特征在于：步骤2中通过自适应阈值二值化算法将获得的图像转换为二值化图像，具体算法如下：
自适应阈值二值化方法获得二值图
将未经任何处理的垂直截面图像，通过自适应二值化算法获得的二值图，算法如下：
用P(n)来表示第n个点的灰度值，T(n)来表示二值化后的值.用fs(n)来表示第n个点之前s个点的灰度值的和，就是
Figure FDA0003396942920000022
其中s表示第n个点之前的累积点数；
用s和另一个变量t，其中t表示一个常数，就可以简单的说明P(n)应该是0还是1了，这个公式就是
Figure FDA0003396942920000023
根据大量现场实验结果来看，这里的s和t最佳的取值范围是s＝image.width/8，而t＝15的时候效果最好，且1为黑(背景)，0为白(前景)；
现在定义T(n)的时候，用的是平均值，也就是说之前扫描过的若干点对于当前点的影响或者说权重是一样的；
所以这里改进成离当前点越近的像素对当前点的影响越大，越远则越小，用距离加权公式g(n)代替T(n)；公式如下：
Figure FDA0003396942920000031
颜色计算依赖的扫描顺序一般都是水平扫描的；像素值实际上取决于水平位置上的邻接点的灰度值，竖直方向的像素可以维护前面依次水平扫描产生的g(n)序列，在某个g(n)被使用之前，可以让其和前一个g(n)取一个平均值，这样的话，可以获得这个最终的值；
另外由于需要给定一个初始的迭代值，取g(n)＝127*s，127是灰度0～255的中间值。
4.根据权利要求2所述的基于机器视觉与深度学习的类圆对象识别计数检测算法，其特征在于：步骤2中再采用FindContours()函数通过设置参数对二值化图像进行轮廓检测，选择最大的外轮廓区域，作为感兴趣区域，具体方法如下；
采用FindContours()函数获得滤棒对象的感兴趣区域
将经自适应二值化处理后的图像通过FindContours()函数获得滤棒对象的感兴趣区域；先从findContours()函数原型设置参数：findContours(InputOutputArray image,OutputArrayOfArrays contours,OutputArray hierarchy,int mode,int method,Pointoffset＝Point())；
输入图像image必须为一个2值单通道图像；contours参数为检测的轮廓数组，每一个轮廓用一个point类型的vector表示；hiararchy参数和轮廓个数相同，每个轮廓contours[i]对应4个hierarchy元素hierarchy[i][0]～hierarchy[i][3]，分别表示后一个轮廓、前一个轮廓、父轮廓、内嵌轮廓的索引编号，如果没有对应项，该值设置为负数；
通过mode轮廓的检索模式：CV_RETR_CCOMP建立两个等级的轮廓，上面的一层为外边，里面的一层为内孔的边界；如果内孔内还有一个连通物体，这个物体的边界也在顶层；CV_RETR_TREE建立一个等级树结构的轮廓；
通过method轮廓的近似办法：CV_CHAIN_APPROX_NONE存储所有的轮廓点，相邻的两个点的像素位置差不超过1，即max(abs(x1-x2)，abs(y2-y1))＝＝1；对二值图像中找出的轮廓，并要在自适应二值化处理后的图像中进行分析获得感兴趣区域。
5.根据权利要求1所述的基于机器视觉与深度学习的类圆对象识别计数检测算法，其特征在于：步骤三中a为80，A*A像素子图为128*128像素子图，并记录切割时子图左上点在原图上坐标生成子图位置序列，保存在txt文件中。
6.根据权利要求1所述的基于机器视觉与深度学习的类圆对象识别计数检测算法，其特征在于：步骤五中，将训练完的后的h个A*A像素子图进行图像复原，拼接成被切割前的图片，重新获得感兴趣区域，通过读取子图序列txt文件，读取子图在原图的相对位置，完成原图的重建。
7.根据权利要求1所述的基于机器视觉与深度学习的类圆对象识别计数检测算法，其特征在于：步骤六中，对重新获得的感兴趣区域进行滤棒对象的统计计数包括以下步骤：
1)定位初始滤棒对象：
通过以(l/2,w/2)为中心1.5r为半径，统计像素值大于v的有效点确定起始滤棒位置坐标；参数r为滤棒生产标定半径值，参数v为滤棒生产标定横截面积值；
2)结构元定位圆心；
多个滤棒堆叠满足“圆相切”几何规律，即每个滤棒最多被i个滤棒包围，且近似按照α°/滤棒分布；只要确定一个滤棒的圆心即可推断出相邻滤棒的位置；圆心定位算法流程如下：
在图像中央m×m感兴趣区域按匹配寻找第一个结构元位置；该结构元满足所有像素均为n；
对已检测到的结构元按照α1°，α2°，α3°和α4°四个方向进行逐像素移动，当满足结构元出现L像素时停止移动；即确定将结构元移动到边缘位置；
通过对β°/β1°垂直方向和β2°/β3°水平方向上结构元的中心连线取中垂线，其交点可近似确定为滤棒中心；
3)基于隐马尔可夫的圆相切搜索策略；
根据圆相切几何关系，当确定了一个圆心后，相邻的p个圆会出现在方向范围内；只需要确定合适的搜索步长d，即可搜索到p1个方向上相邻圆内的结构元，通过基于隐马尔可夫得圆相切搜索策略，能够有效搜索到滤棒目标；
4)滤棒对象目标统计计数
使用结构元填充与圆相切位置检测算法分别完成滤棒目标的识别与计数，以此完成滤棒对象目标统计计数。
8.根据权利要求7所述的基于机器视觉与深度学习的类圆对象识别计数检测算法，其特征在于：所述3)基于隐马尔可夫的圆相切搜索策略；具体算法如下：
根据圆相切几何关系，当确定了一个圆心后，相邻的6个圆会出现在方向O1:30°、O2:90°、O3:150°、O4:210°O5:270°O6:330°范围内；需要确定合适的搜索步长d，即可搜索到6个方向上相邻圆内的结构元；
根据相切原理，步长d具有一个可变范围：d_min为历史滤棒半径累计平均值r_avg，d_max为3r_avg；为了使6个方向上的圆心定位更准确，通过基于高斯分布来观测搜索步长d大小；
其中μ＝2r_avg，σ2＝r_avg；
搜索步长d即为高斯分布中观测随机数；
考虑到结构元确定的圆心为近似圆心，且滤棒受到挤压造成形变导致获得的也是近似的圆相切模型；如果能够预测出更优化的搜索步长d与搜索角度O，即可及时释放误差累计，提高整体检测精度；因此，采用隐马尔科夫模型(Hidden Markov Model,HMM)对搜索步长d和搜索角度O进行优化预测；以下称搜索步长缩放比例与搜索角度构成的叠加状态为比例-角度状态；
将搜索步长缩放比例与搜索角度作为待预测值作为HMM的隐藏链，而从圆心出发，向六个方向到边缘的距离xi，其中i＝1:6记为HMM的观测链，HMM预测流程；
比例-角度隐藏链状态表示公式，如下所示:
S＝{S1,S2,...,Sm},m＝9
其中缩放比例范围定为±10％，其代表着基于x来缩放搜索步长d；搜索角度O也同时满足±15°阈值范围，即有缩放比例-角度状态序列S，
S1＝-10％,-15°
S2＝-10％,15°
Figure FDA0003396942920000061
S9＝10％,15°；
通过HMM计算，每个xi将对应一个概率最大状态序列Sm，并通过极大似然法计算概率；
滤棒各比例-角度初始概率公式，如下所示:
π＝{π1,π2,...,πm},m＝9
其中πi表示状态Si的初始概率；
经过统计分析可以得出任意的状态Si出现的次数为Ni，经过一步转移的匹配的状态Si到另一状态Sj，则状态转移概率公式，如下所示:
Figure FDA0003396942920000062
将所有滤棒匹配比例-角度状态Si的一步转移概率以矩阵的形式列出，则会得到一个9×9的一步转移概率矩阵:
Figure FDA0003396942920000063
由此可以确定隐藏的马尔科夫链，其状态转移过程；
实验发现，状态Si和xi服从高斯分布；状态Si所对应的xi个数记为N′i；
因为xi与Si存在一一对应的关系，所以Ni＝N′i；xi的高斯密度函数的均值μi和方差
Figure FDA0003396942920000071
为：
Figure FDA0003396942920000072
Figure FDA0003396942920000073
由于不同方向状态Si对应的距离x计算得到的均值μi和方差
Figure FDA0003396942920000074
不同，所以在同一距离xk对应不同比例-角度Si发生概率也不同；给定距离xk,其发生概率为：
Figure FDA0003396942920000075
根据Viterbi算法，只需要使
Figure FDA0003396942920000076
概率最大，即可实现xi对应的比例-角度Si概率预测；
通过上述几何关系，设计了一种可以实现快速识别定位。
CN202010252859.7A 2020-04-01 2020-04-01 基于机器视觉与深度学习的类圆对象识别计数检测算法 Active CN111523535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010252859.7A CN111523535B (zh) 2020-04-01 2020-04-01 基于机器视觉与深度学习的类圆对象识别计数检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010252859.7A CN111523535B (zh) 2020-04-01 2020-04-01 基于机器视觉与深度学习的类圆对象识别计数检测算法

Publications (2)

Publication Number Publication Date
CN111523535A CN111523535A (zh) 2020-08-11
CN111523535B true CN111523535B (zh) 2022-03-15

Family

ID=71902315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010252859.7A Active CN111523535B (zh) 2020-04-01 2020-04-01 基于机器视觉与深度学习的类圆对象识别计数检测算法

Country Status (1)

Country Link
CN (1) CN111523535B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037195B (zh) * 2020-08-31 2023-04-07 中冶赛迪信息技术(重庆)有限公司 一种棒材长度异常的检测方法、系统、设备及介质
CN112365468A (zh) * 2020-11-11 2021-02-12 南通大学 基于AA-gate-Unet的海上风电塔筒涂层缺陷检测方法
CN113570676B (zh) * 2021-08-19 2023-11-03 北京京东振世信息技术有限公司 一种计数的方法和装置
CN113935086B (zh) * 2021-09-17 2022-08-02 哈尔滨工业大学 一种基于计算机视觉和深度学习的结构智能设计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529551A (zh) * 2016-11-02 2017-03-22 南通大学 面向包装行业的类圆对象智能识别计数检测算法
CN108898589A (zh) * 2018-06-19 2018-11-27 南通大学 基于高速机器视觉的过滤棒爆珠智能检测方法
CN110674827A (zh) * 2019-09-24 2020-01-10 哈尔滨工业大学 一种融合深度学习与形态学滤波的设备状态视觉检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934848B (zh) * 2019-03-07 2023-05-23 贵州大学 一种基于深度学习的运动物体精准定位的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529551A (zh) * 2016-11-02 2017-03-22 南通大学 面向包装行业的类圆对象智能识别计数检测算法
CN108898589A (zh) * 2018-06-19 2018-11-27 南通大学 基于高速机器视觉的过滤棒爆珠智能检测方法
CN110674827A (zh) * 2019-09-24 2020-01-10 哈尔滨工业大学 一种融合深度学习与形态学滤波的设备状态视觉检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Batch Target Recognition Count under Complex Conditions Based on Att-Unet;engPeng Jiang et al.;《2020 5th International Conference on Computer and Communication Systems (ICCCS)》;20200318;第1-5页 *
基于人工智能及大数据技术对中药饮片生产质量管控的研究;周明;《中国优秀博硕士学位论文全文数据库(博士)医药卫生科技辑》;20181115(第11期);第E057-15页 *

Also Published As

Publication number Publication date
CN111523535A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111523535B (zh) 基于机器视觉与深度学习的类圆对象识别计数检测算法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
CN111462120B (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
CN112232349A (zh) 模型训练方法、图像分割方法及装置
CN111582294B (zh) 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用
CN108491786B (zh) 一种基于分级网络和聚类合并的人脸检测方法
CN110210431B (zh) 一种基于点云语义标注和优化的点云分类方法
CN110070531B (zh) 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置
CN108764244B (zh) 基于卷积神经网络和条件随机场的潜在目标区域检测方法
CN111915628B (zh) 一种基于预测目标密集边界点的单阶段实例分割方法
CN112085072B (zh) 基于时空特征信息的草图检索三维模型的跨模态检索方法
CN115546768B (zh) 基于多尺度机制和注意力机制的路面标线识别方法及系统
CN113011288A (zh) 一种基于Mask RCNN算法的遥感建筑物检测方法
CN114627052A (zh) 一种基于深度学习的红外图像漏气漏液检测方法及系统
CN115272304B (zh) 一种基于图像处理的布匹缺陷检测方法和系统
CN112949338A (zh) 深度学习与Hough变换结合的二维条码精确定位方法
CN111999741A (zh) 路侧激光雷达目标检测方法及装置
CN115100652A (zh) 基于高分遥感图像的电子地图自动化生成方法
CN115661860A (zh) 一种狗行为动作识别技术的方法、装置、系统及存储介质
CN114037684A (zh) 一种基于yolov5和注意力机制模型的疵点检测方法
CN113065400A (zh) 基于无锚框两阶段网络检测发票印章的方法及装置
CN112270694A (zh) 基于激光雷达扫描图进行城市环境动态目标检测的方法
CN116721410A (zh) 一种航空发动机密集零部件三维实例分割方法和系统
CN111882543B (zh) 一种基于AA R2Unet和HMM的香烟滤棒计数方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant