CN113673526A - 气泡检测方法、终端及计算机可读存储介质 - Google Patents

气泡检测方法、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN113673526A
CN113673526A CN202110839628.0A CN202110839628A CN113673526A CN 113673526 A CN113673526 A CN 113673526A CN 202110839628 A CN202110839628 A CN 202110839628A CN 113673526 A CN113673526 A CN 113673526A
Authority
CN
China
Prior art keywords
bubble
dispensing area
network model
image
screen image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110839628.0A
Other languages
English (en)
Inventor
黄积晟
李乾坤
任宇鹏
崔婵婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110839628.0A priority Critical patent/CN113673526A/zh
Publication of CN113673526A publication Critical patent/CN113673526A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种气泡检测方法、终端及计算机可读存储介质,本申请中通过对获取的待检测的镜头屏幕图像进行特征提取得到镜头屏幕图像中的点胶区域图;再采用语义分割模型对点胶区域图进行处理以生成气泡掩码图像;进入通过气泡掩膜图像确定气泡是否合格。本申请的气泡检测方法能够自动检测并提取点胶区域图,不需要物理手动,避免人工干预检测结果,既能提高检测准确度又可以提高检测效率;且通过语义分割网络模型生成的气泡掩膜图像确定气泡是否合格,能够提高气泡类型的检测精确度。

Description

气泡检测方法、终端及计算机可读存储介质
技术领域
本发明涉及图像识别技术领域,特别是涉及一种气泡检测方法、终端及计算机可读存储介质。
背景技术
在镜头上安装屏幕时,需要在屏幕四周的一定区域内涂上胶水,以使屏幕通过胶水固定在镜头上。但是由于工艺的原因,点胶操作时会造成不出胶,少出胶,出胶不均匀的情况。这些情况就会导致在屏幕内的点胶区域产生气泡。气泡过大过多则会影响整个产品的质量。因此检测气泡是否符合规范显得尤为重要。
发明内容
本发明主要解决的技术问题是提供一种气泡检测方法、终端及计算机可读存储介质,解决现有技术中如何从屏幕图像中判断点胶区域的气泡是否符合要求的问题。
为解决上述技术问题,本发明采用的第一个技术方案是:提供一种气泡检测方法,该气泡检测方法包括:获取待检测的镜头屏幕图像;提取镜头屏幕图像中的点胶区域图;采用语义分割模型对点胶区域图进行处理,生成气泡掩码图像;通过气泡掩膜图像确定气泡是否合格。
其中,提取镜头屏幕图像中的点胶区域图的步骤,包括:通过检测网络模型检测镜头屏幕图像的点胶区域图;确定点胶区域图的形状和点胶区域图在镜头屏幕图像中的位置信息;根据形状和位置信息提取镜头屏幕图像中点胶区域图。
其中,检测网络模型包括依次级联的第一卷积层、第一池化层、第一上采样层;通过检测网络模型检测镜头屏幕图像的点胶区域图的步骤包括:第一卷积层对镜头屏幕图像进行特征提取得到第一特征图;第一池化层对第一特征图进行压缩处理得到第二特征图;第一上采样层对第二特征图进行放大处理得到第三特征图;第三特征图与第一特征图连接输出得到镜头屏幕图像对应的点胶区域图。
其中,检测网络模型还包括第二卷积层,第二卷积层设置于第一池化层和第一上采样层之间,且第二卷积层与上采样层级联;第一上采样层对第二特征图进行放大处理得到第三特征图的步骤包括:第二卷积层对第二特征图进行特征图提取得到第四特征图;第一上采样层对第四特征图进行放大处理得到第三特征图。
其中,检测网络模型为布署于Caffe网络框架上的YOLOv3-Tiny网络。
其中,语义分割网络包括多个上卷积层、池化层、上采样层和下卷积层;采用语义分割模型对点胶区域图进行处理,生成气泡掩码图像的步骤具体包括:上卷积层对不同尺寸的点胶区域图进行编码下采样得到不同尺寸的特征图;池化层对不同尺寸的特征图进行压缩;上采样层对池化层压缩的特征图进行解码;将上采样层解码得到的特征图连接上卷积层编码得到的特征图;通过下卷积层对上采样层连接上卷积层的特征图进行特征提取,得到点胶区域图的气泡掩码图。
其中,语义分割网络包括四个下卷积层,四个下卷积层的图像通道数依次为16、32、64、128。
其中,语义分割模型为布署于OpenVINO网络框架上的U-net网络。
其中,提取镜头屏幕图像中的点胶区域的步骤之后还包括:以镜头屏幕图像的中心为起始点划射线,计算设定方向范围内射线上的像素;判断射线上当前像素点的前一像素点与后一像素点的差值是否大于预设值;如果前一像素点与后一像素点的差值大于预设值,则确定当前像素点为边缘点。
其中,提取镜头屏幕图像中的点胶区域的步骤之后还包括:根据点胶区域的形状特性对多个边缘点进行过滤拟合得到点胶区域的内边缘形状和位置。
其中,根据点胶区域的形状特性对多个边缘点进行过滤拟合得到点胶区域的内边缘形状和位置的步骤具体包括:在点胶区域的横轴/纵轴方向上划分多个区域;统计多个区域中的边缘点个数;选取横轴/纵轴方向上的区域中边缘点个数最多的两个区域,并将两个区域中的边缘点分别逆合成两条直线。
其中,提取镜头屏幕图像中的点胶区域的步骤之后还包括:判断内边缘形状是否符合预设形状;如果内边缘形状不符合预设形状,则降低形状等级或对边缘点进行降噪处理后再次拟合内边缘形状。
其中,通过气泡掩膜图像确定气泡是否合格的步骤具体包括:判断气泡与内边缘或点胶区域外边缘之间的距离是否大于预设距离;如果大于,则气泡属于中心气泡;如果不大于,则气泡属于边缘气泡。
其中,通过气泡掩膜图像确定气泡是否合格的步骤具体包括:判断气泡的信息是否符合预设信息;如果气泡的信息不符合预设信息,则发出警报。
其中,获取待检测的镜头屏幕图像的步骤之前包括:对初始检测网络模型进行训练得到检测网络模型。
其中,对初始检测网络模型进行训练得到检测网络模型的步骤包括:获取第一训练样本集,第一训练样本集包括多个屏幕图像,屏幕图像为标注有点胶区域的真实位置信息和真实形状的图像;通过初始检测网络模型对屏幕图像进行检测得到屏幕图像中点胶区域的预测位置信息和预测形状;通过点胶区域的预测位置信息和真实位置信息、预测形状和真实形状构建第一损失函数;通过第一损失函数对初始检测网络模型进行迭代训练得到检测网络模型。
其中,获取待检测的镜头屏幕图像的步骤之前包括:对初始语义分割网络模型进行训练得到语义分割网络模型。
其中,对初始语义分割网络模型进行训练得到语义分割网络模型的步骤包括:获取第二训练样本集,第二训练样本集包括多个点胶区域图像,点胶区域图像为标注有气泡真实位置和气泡真实类型的图像;通过初始语义分割网络模型对点胶区域图像进行检测得到点胶区域图像中气泡的预测位置和预测类型;通过气泡的预测位置和真实位置、预测类型和真实类型构建第二损失函数;通过第二损失函数对初始语义分割网络模型进行迭代训练得到语义分割网络模型。
为解决上述技术问题,本发明采用的第二个技术方案是:提供一种终端,终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序,处理器用于实现上述气泡检测方法的步骤。
为解决上述技术问题,本发明采用的第三个技术方案是:提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述气泡检测方法中的步骤。
本发明的有益效果是:区别于现有技术的情况,提供的一种气泡检测方法、终端及计算机可读存储介质,本申请中通过对获取的待检测的镜头屏幕图像进行特征提取得到镜头屏幕图像中的点胶区域图;再采用语义分割模型对点胶区域图进行处理以生成气泡掩码图像;进入通过气泡掩膜图像确定气泡是否合格。本申请的气泡检测方法能够自动检测并提取点胶区域图,不需要物理手动,避免人工干预检测结果,既能提高检测准确度又可以提高检测效率;且通过语义分割网络模型生成的气泡掩膜图像确定气泡是否合格,能够提高气泡类型的检测精确度。
附图说明
图1是本发明提供的气泡检测方法的流程示意图;
图2是本发明提供的气泡检测方法一具体实施例的流程示意图;
图3是图2提供的气泡检测方法中步骤S201一具体实施例的流程示意图;
图4是图2提供的气泡检测方法中步骤S202一具体实施例的流程示意图;
图5是本发明提供的终端一实施方式的示意框图;
图6是本发明提供的计算机可读存储介质一实施方式的示意框图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明所提供的一种气泡检测方法做进一步详细描述。
请参阅图1,图1是本发明提供的气泡检测方法的流程示意图。本实施例中提供一种气泡检测方法,该气泡检测方法包括如下步骤。
S11:获取待检测的镜头屏幕图像。
具体地,通过图像采集装置采集包含镜头屏幕的图像。镜头屏幕图像的采集环境是在正常采光环境下进行。其中,镜头屏幕图像包含四周分布的点胶区域。镜头屏幕通过点胶区域固定在镜筒上。其中,图像采集装置可以为照相机。在一具体实施例中,从镜头屏幕远离镜筒的一侧进行图像采集。
S12:提取镜头屏幕图像中的点胶区域图。
具体地,通过检测网络模型检测镜头屏幕图像的点胶区域图。确定点胶区域图的形状和点胶区域图在镜头屏幕图像中的位置信息;根据形状和位置信息提取镜头屏幕图像中点胶区域图。其中,检测网络模型为布署于Caffe网络框架上的YOLOv3-Tiny网络。
在一具体实施例中,检测镜头屏幕图像的点胶区域图之后还包括:以镜头屏幕图像的中心为起始点划射线,计算设定方向范围内射线上的像素;判断射线上当前像素点的前一像素点与后一像素点的差值是否大于预设值;如果前一像素点与后一像素点的差值大于预设值,则确定当前像素点为边缘点。在一可选实施例中,根据点胶区域的形状特性对多个边缘点进行过滤拟合得到点胶区域的内边缘形状和位置。
S13:采用语义分割模型对点胶区域图进行处理,生成气泡掩码图像。
具体地,语义分割网络包括多个上卷积层、池化层、上采样层和下卷积层。其中,语义分割网络包括四个下卷积层,四个下卷积层的图像通道数依次为16、32、64、128。语义分割模型为布署于OpenVINO网络框架上的U-net网络。在一可选实施例中,上卷积层对不同尺寸的点胶区域图进行编码下采样得到不同尺寸的特征图;池化层对不同尺寸的特征图进行压缩;上采样层对池化层压缩的特征图进行解码;将上采样层解码得到的特征图连接上卷积层编码得到的特征图;通过下卷积层对上采样层连接上卷积层的特征图进行特征提取,得到点胶区域图的气泡掩码图。
S14:通过气泡掩膜图像确定气泡是否合格。
具体地,判断气泡的信息是否符合预设信息;如果气泡的信息不符合预设信息,则发出警报,提醒镜头屏幕图像中的气泡不符合要求。
本实施例提供的气泡检测方法中,通过对获取的待检测的镜头屏幕图像进行特征提取得到镜头屏幕图像中的点胶区域图;再采用语义分割模型对点胶区域图进行处理以生成气泡掩码图像;进入通过气泡掩膜图像确定气泡是否合格。该气泡检测方法能够自动检测并提取点胶区域图,不需要物理手动,避免人工干预检测结果,既能提高检测准确度又可以提高检测效率;且通过语义分割网络模型生成的气泡掩膜图像确定气泡是否合格,能够提高气泡类型的检测精确度。
请参阅图2,图2是本发明提供的气泡检测方法一具体实施例的流程示意图。本实施例中提供一种气泡检测方法,该气泡检测方法包括如下步骤。
S201:对初始检测网络模型进行训练得到检测网络模型。
具体地,初始检测网络模型包括依次级联的第一卷积层、第一池化层、第一上采样层。初始检测网络模型还可以包括第二卷积层,第二卷积层设置于第一池化层和第一上采样层之间,且第二卷积层与上采样层级联。通过设置第二卷积层既能够达到合并周围特征的需求,又能够加强语义特征的表述。在不增加大量耗时的情况下,增加网络的准确度。通过选定第一训练样本集对初始检测网络模型进行迭代训练,进而调节各层的参数,进而得到检测网络模型。其中,初始检测网络模型为布署于Caffe网络框架上的YOLOv3-Tiny网络,并对其进行轻量化改进。请参阅图3,图3是图2提供的气泡检测方法中步骤S201一具体实施例的流程示意图,具体包括如下步骤。
S2011:获取第一训练样本集,第一训练样本集包括多个屏幕图像,屏幕图像为标注有点胶区域的真实位置信息和真实形状的图像。
具体地,第一训练样本集可以包括多个屏幕图像。屏幕图像上标注有点胶区域的真实位置信息以及点胶区域分布形成的真实形状的图像。在一可选实施例中,点胶区域的真实形状可以为圆形,也可以为圆角矩形。
S2012:通过初始检测网络模型对屏幕图像进行检测得到屏幕图像中点胶区域的预测位置信息和预测形状。
具体地,第一卷积层对屏幕图像进行特征提取得到第一特征图;第一池化层对第一特征图进行压缩处理得到第二特征图;第一上采样层对第二特征图进行放大处理得到第三特征图;第三特征图与第一特征图连接输出得到屏幕图像对应的点胶区域图,进而根据点胶区域图检测得到点胶区域的预测位置和预测形状。
S2013:通过点胶区域的预测位置信息和真实位置信息、预测形状和真实形状构建第一损失函数。
具体地,采用损失函数对点胶区域的预测位置信息和真实位置信息、预测形状和真实形状之间的误差值进行计算。在一具体实施例中,第一损失函数包括MSE(MeanSquared Error,均值方差)Loss和BCE(Binary Cross-Entropy,二元交叉熵)Loss。
S2014:通过第一损失函数对初始检测网络模型进行迭代训练得到检测网络模型。
具体地,通过预测位置信息和真实位置信息、预测形状和真实形状之间的误差值对初始检测网络模型进行迭代训练得到检测网络模型。
在一可选实施例中,初始检测网络模型的结果反向传播,根据第一损失函数反馈的损失值对初始检测网络模型的权重进行修正。在一可选实施例中,也可以对初始检测网络模型中的参数进行修正,实现对初始检测网络模型的训练。
将屏幕图像输入到初始检测网络模型中,初始检测网络模型对屏幕图像中的位置和形状进行预测。当预测位置信息和真实位置信息、预测形状和真实形状之间的误差值小于预设阈值,预设阈值可以自行设置,例如1%、5%等,则停止对初始检测网络模型的训练并获得检测网络模型。
S202:对初始语义分割网络模型进行训练得到语义分割网络模型。
具体地,初始语义分割网络包括多个上卷积层、池化层、上采样层和下卷积层。其中,初始语义分割网络包括四个下卷积层,四个下卷积层的图像通道数依次为16、32、64、128。初始语义分割模型为布署于OpenVINO网络框架上的U-net网络,U-net网络结合到OpenVINO网络框架中是为了加速网络前向过程。请参阅图4,图4是图2提供的气泡检测方法中步骤S202一具体实施例的流程示意图,具体包括如下步骤。
S2021:获取第二训练样本集,第二训练样本集包括多个点胶区域图像,点胶区域图像为标注有气泡真实位置和气泡真实类型的图像。
具体地,第二训练样本集可以包括多个点胶区域图像。点胶区域图像上标注有气泡的真实位置和气泡真实类型的图像。其中,点胶区域图像中可以包括一个气泡,也可以包括多个气泡。气泡的大小形状可以各不相同,有的气泡占几百像素,有的气泡只有几个像素。
S2022:通过初始语义分割网络模型对点胶区域图像进行检测得到点胶区域图像中气泡的预测位置和预测类型。
具体地,上卷积层对不同尺寸的点胶区域图进行编码下采样得到不同尺寸的特征图;池化层对不同尺寸的特征图进行压缩;上采样层对池化层压缩的特征图进行解码;将上采样层解码得到的特征图连接上卷积层编码得到的特征图;通过下卷积层对上采样层连接上卷积层的特征图进行特征提取,得到点胶区域图的气泡掩码图,进而根据气泡掩码图检测得到气泡的预测位置和预测类型。
S2023:通过气泡的预测位置和真实位置、预测类型和真实类型构建第二损失函数。
具体地,采用交叉熵损失函数对气泡的预测位置和真实位置、预测类型和真实类型之间的误差值进行计算。在一具体实施例中,第二损失函数为交叉熵损失Cross-entropyLoss。
S2024:通过第二损失函数对初始语义分割网络模型进行迭代训练得到语义分割网络模型。
具体地,通过气泡的预测位置和真实位置、预测类型和真实类型之间的误差值对初始语义分割网络模型进行迭代训练得到语义分割网络模型。
在一可选实施例中,初始语义分割网络模型的结果反向传播,根据第二损失函数反馈的损失值对初始语义分割网络模型的权重进行修正。在一可选实施例中,也可以对初始语义分割网络模型中的参数进行修正,实现对初始语义分割网络模型的训练。
将点胶区域图像输入到初始语义分割网络模型中,初始语义分割网络模型对点胶区域中气泡的位置和类型进行预测。当气泡的预测位置和真实位置、预测类型和真实类型之间的误差值小于预设阈值,预设阈值可以自行设置,例如1%、5%等,则停止对初始语义分割网络模型的训练并获得语义分割网络模型。
S203:获取待检测的镜头屏幕图像。
具体地,通过图像采集装置采集包含镜头屏幕图像。镜头屏幕图像的采集环境是在正常采光环境下进行。其中,镜头屏幕图像包含四周分布的点胶区域。镜头屏幕通过点胶区域固定在镜筒上。其中,图像采集装置可以为照相机。在一具体实施例中,从镜头屏幕远离镜筒的一侧进行图像采集。
S204:通过检测网络模型检测镜头屏幕图像的点胶区域图。
具体地,通过训练得到的检测网络模型对镜头屏幕图像进行检测得到点胶区域图。第一卷积层对镜头屏幕图像进行特征提取得到第一特征图;第一池化层对第一特征图进行压缩处理得到第二特征图;第一上采样层对第二特征图进行放大处理得到第三特征图;第三特征图与第一特征图连接输出得到镜头屏幕图像对应的点胶区域图。在一具体实施例中,第二卷积层对第二特征图进行特征图提取得到第四特征图;第一上采样层对第四特征图进行放大处理得到第三特征图。其中,检测网络模型为布署于Caffe网络框架上的YOLOv3-Tiny网络。
S205:确定点胶区域图的形状和点胶区域图在镜头屏幕图像中的位置信息。
具体地,以镜头屏幕图像的中心为起始点划射线,计算设定方向范围内射线上的像素;判断射线上当前像素点的前一像素点与后一像素点的差值是否大于预设值;如果前一像素点与后一像素点的差值大于预设值,则确定当前像素点为内边缘点。为了减少计算量,只需计算180度方向的射线,另外一半是相同的。由于点胶区域的内边缘与外边缘之间的距离相等,所以在确定点胶区域的内边缘点时,也就确定了点胶区域的外边缘点。
S206:根据点胶区域的形状特性对多个边缘点进行过滤拟合得到点胶区域的内边缘形状和位置。
具体地,在点胶区域的横轴/纵轴方向上划分多个区域;统计多个区域中的边缘点个数。在一可选实施例中,可以根据超椭圆计算公式
Figure BDA0003178473150000101
直接进行拟合。但是超椭圆公式过于拟合算法计算量太大,高次运算耗时高,因此将圆角矩形拆分为四个半圆以及四条边。使用直方图方法,将纵轴左边按照10个像素划分为若干个区域,选取横轴/纵轴方向上的区域中边缘点个数最多的两个区域,并将两个区域中的边缘点分别逆合成两条直线。然后计算横向和纵向分别分布的两条直线相交的四个顶点,以及统计矩形内的点。通过判断点到四个顶点的距离,可以划分出属于四个圆角的点集。之后使用最小二乘拟合四个圆角的圆形参数。使用矩形相连两条边缘计算角平分线,分别将四个圆角圆形的圆心投影到角平分线上,调整圆角的参数,达到最佳,进而拟合形成圆角矩形。最后通过判断四个圆角的差异和四条边缘的差异来判断圆角是否拟合成功。如果圆角矩形拟合失败,则降等使用拟合的矩形。根据矩形的规则判断是否符合矩形形状。如果失败,则边缘检测失败。
在另一可选实施例中,根据圆角矩形计算公式(x-a)2+(y-b)2=1拟合圆形。由于边缘点存在噪声点,第一次拟合圆形边缘会过大,因此过滤在第一次拟合圆外的边缘点,重新进行第二次拟合,二次拟合圆形边缘效果更佳。
通过上述方法中的至少一个对多个边缘点进行过滤拟合得到点胶区域的内边缘形状。判断内边缘形状是否符合预设形状;如果内边缘形状不符合预设形状,则降低形状等级或对边缘点进行降噪处理后再次拟合内边缘形状。如果拟合的内边缘形状符合预设形状,则确定预设形状为待检测的镜头屏幕图像中点胶区域的形状。
S207:根据形状和位置信息提取镜头屏幕图像中点胶区域图。
具体地,根据点胶区域的位置信息和点胶区域的形状在镜头屏幕图像中提取点胶区域图,剔除除点胶区域图之外的其它部分。
S208:采用语义分割模型对点胶区域图进行处理,生成气泡掩码图像。
具体地,通过上卷积层对不同尺寸的点胶区域图进行编码下采样得到不同尺寸的特征图;池化层对不同尺寸的特征图进行压缩;上采样层对池化层压缩的特征图进行解码;将上采样层解码得到的特征图连接上卷积层编码得到的特征图;通过下卷积层对上采样层连接上卷积层的特征图进行特征提取,得到点胶区域图的气泡掩码图。
S209:判断气泡与内边缘或点胶区域外边缘之间的距离是否大于预设距离。
具体地,使用连通域进行检测,并将点胶区域中的每个气泡单独提取出来,进而计算气泡的质心、中心和圆度等相关数据。
如果气泡与内边缘或点胶区域外边缘之间的距离大于预设距离,则直接跳转至步骤S210。如果气泡与内边缘或点胶区域外边缘之间的距离不大于预设距离,则直接跳转至步骤S211。
在一具体实施例中,判断气泡的质心与内边缘或外边缘之间的距离是否小于阈值。其中,阈值可以根据需求自行设定。例如,阈值可以为20个像素。
S210:则气泡属于中心气泡。
具体地,如果气泡与内边缘或点胶区域外边缘之间的距离大于预设距离,则确定该气泡属于中心气泡。在一具体实施例中,如果气泡的质心与内边缘或外边缘之间的距离不小于20个像素,则可确认该气泡为中心气泡。
S211:则气泡属于边缘气泡。
具体地,如果气泡与内边缘或点胶区域外边缘之间的距离不大于预设距离,则确定该气泡属于边缘气泡。在一具体实施例中,如果气泡的质心与内边缘或外边缘之间的距离小于20个像素,则可确认该气泡为边缘气泡
S212:判断气泡的信息是否符合预设信息。
具体地,如果气泡的信息符合预设信息,则直接跳转至步骤S214。如果气泡的信息不符合预设信息,则直接跳转至步骤S213。
当该气泡为中心气泡时,在一具体实施例中,判断气泡的宽度是否大于第一阈值。如果气泡的宽度大于第一阈值,则直接跳转至步骤S213;如果气泡的宽度不大于第一阈值,则直接跳转至步骤S214。在另一具体实施例中,判断中心区域的气泡的个数是否大于第二阈值。如果中心区域的气泡的个数大于第二阈值,则直接跳转至步骤S213;如果中心区域的气泡的个数不大于第二阈值,则直接跳转至步骤S214。在另一具体实施例中,判断单个气泡面积是否大于第三阈值。如果单个气泡面积大于第三阈值,则直接跳转至步骤S213;如果单个气泡面积不大于第三阈值,则直接跳转至步骤S214。在另一具体实施例中,判断两个气泡质心连线的距离是否小于第四阈值。如果两个气泡质心连线的距离小于第四阈值,则直接跳转至步骤S213;如果两个气泡质心连线的距离不小于第四阈值,则直接跳转至步骤S214。
当该气泡为边缘气泡时,在一具体实施例中,判断气泡的宽度是否大于第一阈值。如果气泡的宽度大于第一阈值,则直接跳转至步骤S213;如果气泡的宽度不大于第一阈值,则直接跳转至步骤S214。在另一具体实施例中,判断中心区域的气泡的个数是否大于第二阈值。如果中心区域的气泡的个数大于第二阈值,则直接跳转至步骤S213;如果中心区域的气泡的个数不大于第二阈值,则直接跳转至步骤S214。在另一具体实施例中,判断单个气泡长度是否大于点胶区域长度的一半,如果单个气泡长度大于点胶区域长度的一半,则直接跳转至步骤S213;如果单个气泡长度不大于点胶区域长度的一半,则直接跳转至步骤S214。在另一具体实施例中,判断单个气泡面积是否大于第三阈值。如果单个气泡面积大于第三阈值,则直接跳转至步骤S213;如果单个气泡面积不大于第三阈值,则直接跳转至步骤S214。在另一具体实施例中,判断连续气泡的长度是否大于点胶区域周长的一半,如果连续气泡的长度大于点胶区域周长的一半,则直接跳转至步骤S213;如果连续气泡的长度不大于点胶区域周长的一半,则直接跳转至步骤S214。
S213:则发出警报。
具体地,如果气泡的信息不符合预设信息,则发出警报。
气泡属于中心气泡时,当气泡的宽度大于第一阈值时,则发出警报。当中心区域的气泡个数大于第二阈值时,则发出警报。当单个气泡面积大于第三阈值,则发出警报。当两个气泡质心连线的距离小于第四阈值,则发出警报。
气泡属于边缘气泡时,当气泡的宽度大于第一阈值时,则发出警报。当中心区域的气泡的个数大于第二阈值时,则发出警报。当单个气泡长度大于点胶区域长度的一半时,则发出警报。当单个气泡面积大于第三阈值时,则发出警报。当连续气泡的长度大于点胶区域周长的一半时,则发出警报。
S214:则输出OK。
具体地,如果气泡的信息符合预设信息,则输出OK,表明该气泡符合要求。
当气泡属于中心气泡时,如果气泡的宽度不大于第一阈值时,则输出OK。当中心区域的气泡个数不大于第二阈值时,则输出OK。当单个气泡面积不大于第三阈值,则输出OK。当两个气泡质心连线的距离不小于第四阈值,则输出OK。
气泡属于边缘气泡时,当气泡的宽度不大于第一阈值时,则发出警报。当中心区域的气泡的个数不大于第二阈值时,则发出警报。当单个气泡长度不大于点胶区域长度的一半时,则发出警报。当单个气泡面积不大于第三阈值时,则发出警报。当连续气泡的长度不大于点胶区域周长的一半时,则发出警报。
本实施例中通过对获取的待检测的镜头屏幕图像进行特征提取得到镜头屏幕图像中的点胶区域图;再采用语义分割模型对点胶区域图进行处理以生成气泡掩码图像;进入通过气泡掩膜图像确定气泡是否合格。本申请的气泡检测方法能够自动检测并提取点胶区域图,不需要物理手动,避免人工干预检测结果,既能提高检测准确度又可以提高检测效率;且通过语义分割网络模型生成的气泡掩膜图像确定气泡是否合格,能够提高气泡类型的检测精确度。
参阅图5,图5是本发明提供的终端一实施方式的示意框图。如图5所示,该实施方式中的终端70包括:处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机程序该计算机程序被处理器71执行时实现上述轨迹跟踪控制方法中,为避免重复,此处不一一赘述。
参阅图6,图6是本发明提供的计算机可读存储介质一实施方式的示意框图。
本申请的实施方式中还提供一种计算机可读存储介质90,计算机可读存储介质90存储有计算机程序901,计算机程序901中包括程序指令,处理器执行程序指令,实现本申请实施方式提供的任一项目标跟踪方法。
其中,计算机可读存储介质90可以是前述实施方式的计算机设备的内部存储单元,例如计算机设备的硬盘或内存。计算机可读存储介质90也可以是计算机设备的外部存储设备,例如计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
以上仅为本发明的实施方式,并非因此限制本发明的专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (20)

1.一种气泡检测方法,其特征在于,所述气泡检测方法包括:
获取待检测的镜头屏幕图像;
提取所述镜头屏幕图像中的点胶区域图;
采用语义分割模型对所述点胶区域图进行处理,生成气泡掩码图像;
通过所述气泡掩膜图像确定所述气泡是否合格。
2.根据权利要求1所述的气泡检测方法,其特征在于,
所述提取所述镜头屏幕图像中的点胶区域图的步骤,包括:
通过检测网络模型检测所述镜头屏幕图像的点胶区域图;
确定所述点胶区域图的形状和所述点胶区域图在所述镜头屏幕图像中的位置信息;
根据所述形状和所述位置信息提取所述镜头屏幕图像中所述点胶区域图。
3.根据权利要求1所述的气泡检测方法,其特征在于,
所述检测网络模型包括依次级联的第一卷积层、第一池化层、第一上采样层;
所述通过检测网络模型检测所述镜头屏幕图像的点胶区域图的步骤包括:
所述第一卷积层对所述镜头屏幕图像进行特征提取得到第一特征图;
所述第一池化层对所述第一特征图进行压缩处理得到第二特征图;
所述第一上采样层对所述第二特征图进行放大处理得到第三特征图;
所述第三特征图与所述第一特征图连接输出得到所述镜头屏幕图像对应的所述点胶区域图。
4.根据权利要求3所述的气泡检测方法,其特征在于,
所述检测网络模型还包括第二卷积层,所述第二卷积层设置于所述第一池化层和所述第一上采样层之间,且所述第二卷积层与所述上采样层级联;
所述所述第一上采样层对所述第二特征图进行放大处理得到第三特征图的步骤包括:
所述第二卷积层对所述第二特征图进行特征图提取得到第四特征图;
所述第一上采样层对所述第四特征图进行放大处理得到所述第三特征图。
5.根据权利要求2所述的气泡检测方法,其特征在于,所述检测网络模型为布署于Caffe网络框架上的YOLOv3-Tiny网络。
6.根据权利要求1所述的气泡检测方法,其特征在于,
所述语义分割网络包括多个上卷积层、池化层、上采样层和下卷积层;
所述采用语义分割模型对所述点胶区域图进行处理,生成气泡掩码图像的步骤具体包括:
所述上卷积层对不同尺寸的所述点胶区域图进行编码下采样得到不同尺寸的特征图;
所述池化层对不同尺寸的所述特征图进行压缩;
所述上采样层对所述池化层压缩的所述特征图进行解码;
将所述上采样层解码得到的所述特征图连接所述上卷积层编码得到的所述特征图;
通过所述下卷积层对所述上采样层连接所述上卷积层的所述特征图进行特征提取,得到所述点胶区域图的所述气泡掩码图。
7.根据权利要求6所述的气泡检测方法,其特征在于,所述语义分割网络包括四个所述下卷积层,四个所述下卷积层的图像通道数依次为16、32、64、128。
8.根据权利要求6所述的气泡检测方法,其特征在于,所述语义分割模型为布署于OpenVINO网络框架上的U-net网络。
9.根据权利要求2所述的气泡检测方法,其特征在于,
所述提取所述镜头屏幕图像中的点胶区域的步骤之后还包括:
以所述镜头屏幕图像的中心为起始点划射线,计算设定方向范围内所述射线上的像素;
判断所述射线上当前像素点的前一像素点与后一像素点的差值是否大于预设值;
如果所述前一像素点与所述后一像素点的差值大于所述预设值,则确定所述当前像素点为边缘点。
10.根据权利要求9所述的气泡检测方法,其特征在于,
所述提取所述镜头屏幕图像中的点胶区域的步骤之后还包括:
根据所述点胶区域的形状特性对多个所述边缘点进行过滤拟合得到所述点胶区域的内边缘形状和位置。
11.根据权利要求10所述的气泡检测方法,其特征在于,
所述根据所述点胶区域的形状特性对多个所述边缘点进行过滤拟合得到所述点胶区域的内边缘形状和位置的步骤具体包括:
在所述点胶区域的横轴/纵轴方向上划分多个区域;
统计多个所述区域中的边缘点个数;
选取横轴/纵轴方向上的所述区域中边缘点个数最多的两个区域,并将所述两个区域中的边缘点分别逆合成两条直线。
12.根据权利要求11所述的气泡检测方法,其特征在于,
所述提取所述镜头屏幕图像中的点胶区域的步骤之后还包括:
判断所述内边缘形状是否符合预设形状;
如果所述内边缘形状不符合所述预设形状,则降低形状等级或对所述边缘点进行降噪处理后再次拟合所述内边缘形状。
13.根据权利要求12所述的气泡检测方法,其特征在于,
所述通过所述气泡掩膜图像确定所述气泡是否合格的步骤具体包括:
判断所述气泡与所述内边缘或所述点胶区域外边缘之间的距离是否大于预设距离;
如果大于,则所述气泡属于中心气泡;
如果不大于,则所述气泡属于边缘气泡。
14.根据权利要求13所述的气泡检测方法,其特征在于,
所述通过所述气泡掩膜图像确定所述气泡是否合格的步骤具体包括:
判断所述气泡的信息是否符合所述预设信息;
如果所述气泡的信息不符合所述预设信息,则发出警报。
15.根据权利要求2所述的气泡检测方法,其特征在于,
所述获取待检测的镜头屏幕图像的步骤之前包括:
对初始检测网络模型进行训练得到所述检测网络模型。
16.根据权利要求15所述的气泡检测方法,其特征在于,
所述对初始检测网络模型进行训练得到所述检测网络模型的步骤包括:
获取第一训练样本集,所述第一训练样本集包括多个屏幕图像,所述屏幕图像为标注有点胶区域的真实位置信息和真实形状的图像;
通过所述初始检测网络模型对所述屏幕图像进行检测得到所述屏幕图像中所述点胶区域的预测位置信息和预测形状;
通过所述点胶区域的所述预测位置信息和所述真实位置信息、所述预测形状和所述真实形状构建第一损失函数;
通过所述第一损失函数对所述初始检测网络模型进行迭代训练得到所述检测网络模型。
17.根据权利要求1所述的气泡检测方法,其特征在于,
所述获取待检测的镜头屏幕图像的步骤之前包括:
对初始语义分割网络模型进行训练得到所述语义分割网络模型。
18.根据权利要求17所述的气泡检测方法,其特征在于,
所述对初始语义分割网络模型进行训练得到所述语义分割网络模型的步骤包括:
获取第二训练样本集,所述第二训练样本集包括多个点胶区域图像,所述点胶区域图像为标注有气泡真实位置和气泡真实类型的图像;
通过所述初始语义分割网络模型对所述点胶区域图像进行检测得到所述点胶区域图像中所述气泡的预测位置和预测类型;
通过所述气泡的所述预测位置和所述真实位置、所述预测类型和所述真实类型构建第二损失函数;
通过所述第二损失函数对所述初始语义分割网络模型进行迭代训练得到所述语义分割网络模型。
19.一种终端,其特征在于,所述终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序,所述处理器用于执行所述程序数据以实现如权利要求1~18任一项所述气泡检测方法中的步骤。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1~18任一项所述气泡检测方法中的步骤。
CN202110839628.0A 2021-07-23 2021-07-23 气泡检测方法、终端及计算机可读存储介质 Pending CN113673526A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110839628.0A CN113673526A (zh) 2021-07-23 2021-07-23 气泡检测方法、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110839628.0A CN113673526A (zh) 2021-07-23 2021-07-23 气泡检测方法、终端及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113673526A true CN113673526A (zh) 2021-11-19

Family

ID=78540037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110839628.0A Pending CN113673526A (zh) 2021-07-23 2021-07-23 气泡检测方法、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113673526A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116560123A (zh) * 2023-07-11 2023-08-08 深圳市磐锋精密技术有限公司 一种用于移动终端的lcd粘接点胶质量检测方法
CN117409007A (zh) * 2023-12-15 2024-01-16 深圳市什方智造科技有限公司 一种电池加热膜贴合度的确定方法、装置、设备及介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050271248A1 (en) * 2004-06-02 2005-12-08 Raytheon Company Vehicular target acquisition and tracking using a generalized hough transform for missile guidance
CN103646398A (zh) * 2013-12-04 2014-03-19 山西大学 一种皮肤镜病灶自动分割方法
CN107067412A (zh) * 2017-04-01 2017-08-18 江苏移动信息系统集成有限公司 一种多信息融合的视频火焰烟雾检测方法
CN108805209A (zh) * 2018-06-14 2018-11-13 清华大学深圳研究生院 一种基于深度学习的肺结节筛查方法
CN110097542A (zh) * 2019-04-19 2019-08-06 中山大学 芯片气泡的检测方法、装置及存储介质
CN110570350A (zh) * 2019-09-11 2019-12-13 深圳开立生物医疗科技股份有限公司 一种二维卵泡检测方法、装置和超声设备及可读存储介质
CN111028202A (zh) * 2019-11-14 2020-04-17 苏州斯玛维科技有限公司 Led芯片的x射线气泡缺陷图像处理方法、设备、存储介质及系统
CN111077166A (zh) * 2018-10-19 2020-04-28 北京金山云网络技术有限公司 液晶屏的瑕疵检测方法、装置及终端设备
CN111414938A (zh) * 2020-03-04 2020-07-14 中国计量大学 一种板式换热器内气泡的目标检测方法
CN111833324A (zh) * 2020-07-09 2020-10-27 中国计量大学 基于深度学习的光纤插芯缺陷检测方法
CN112529875A (zh) * 2020-12-14 2021-03-19 孙占民 一种基于人工智能的光伏组件玻璃爆裂预警方法及系统
CN112653884A (zh) * 2019-10-10 2021-04-13 北京滴普科技有限公司 一种屏幕质量优缺的评价方法
CN112669311A (zh) * 2021-01-08 2021-04-16 西北大学 一种陶瓷显微图像气泡的提取方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050271248A1 (en) * 2004-06-02 2005-12-08 Raytheon Company Vehicular target acquisition and tracking using a generalized hough transform for missile guidance
CN103646398A (zh) * 2013-12-04 2014-03-19 山西大学 一种皮肤镜病灶自动分割方法
CN107067412A (zh) * 2017-04-01 2017-08-18 江苏移动信息系统集成有限公司 一种多信息融合的视频火焰烟雾检测方法
CN108805209A (zh) * 2018-06-14 2018-11-13 清华大学深圳研究生院 一种基于深度学习的肺结节筛查方法
CN111077166A (zh) * 2018-10-19 2020-04-28 北京金山云网络技术有限公司 液晶屏的瑕疵检测方法、装置及终端设备
CN110097542A (zh) * 2019-04-19 2019-08-06 中山大学 芯片气泡的检测方法、装置及存储介质
CN110570350A (zh) * 2019-09-11 2019-12-13 深圳开立生物医疗科技股份有限公司 一种二维卵泡检测方法、装置和超声设备及可读存储介质
CN112653884A (zh) * 2019-10-10 2021-04-13 北京滴普科技有限公司 一种屏幕质量优缺的评价方法
CN111028202A (zh) * 2019-11-14 2020-04-17 苏州斯玛维科技有限公司 Led芯片的x射线气泡缺陷图像处理方法、设备、存储介质及系统
CN111414938A (zh) * 2020-03-04 2020-07-14 中国计量大学 一种板式换热器内气泡的目标检测方法
CN111833324A (zh) * 2020-07-09 2020-10-27 中国计量大学 基于深度学习的光纤插芯缺陷检测方法
CN112529875A (zh) * 2020-12-14 2021-03-19 孙占民 一种基于人工智能的光伏组件玻璃爆裂预警方法及系统
CN112669311A (zh) * 2021-01-08 2021-04-16 西北大学 一种陶瓷显微图像气泡的提取方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
NGUYEN, T.H. 等: "A robust approach to detect gas bubbles through images analysis", INTELLIGENT DECISION TECHNOLOGIES, vol. 14, no. 2, 1 January 2020 (2020-01-01) *
付磊 等: "基于改进Fast-SCNN的塑瓶气泡缺陷实时分割算法", 计算机应用, vol. 40, no. 6, 10 June 2020 (2020-06-10) *
王军宁 等: "红外头盔式眼动仪的瞳孔中心定位算法", 西安电子科技大学学报, vol. 38, no. 3, 20 June 2011 (2011-06-20) *
翰墨凝香: "视频瞳孔跟踪之星团模型", Retrieved from the Internet <URL:https://www.cnblogs.com/ren19930504/p/4319156.html> *
韩蕙佚: "基于星射线模型和高密度连通区域聚类的瞳孔中心定位算法", 中国优秀硕士学位论文全文数据库信息科技辑, no. 2016, 15 December 2016 (2016-12-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116560123A (zh) * 2023-07-11 2023-08-08 深圳市磐锋精密技术有限公司 一种用于移动终端的lcd粘接点胶质量检测方法
CN116560123B (zh) * 2023-07-11 2023-09-15 深圳市磐锋精密技术有限公司 一种用于移动终端的lcd粘接点胶质量检测方法
CN117409007A (zh) * 2023-12-15 2024-01-16 深圳市什方智造科技有限公司 一种电池加热膜贴合度的确定方法、装置、设备及介质
CN117409007B (zh) * 2023-12-15 2024-04-12 深圳市什方智造科技有限公司 一种电池加热膜贴合度的确定方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN109685060B (zh) 图像处理方法和装置
CN113673526A (zh) 气泡检测方法、终端及计算机可读存储介质
CN108171104A (zh) 一种文字检测方法及装置
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN105678347A (zh) 行人检测方法及装置
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN112287912B (zh) 基于深度学习的车道线检测方法以及装置
CN105405138B (zh) 基于显著性检测的水面目标跟踪方法
CN110008932A (zh) 一种基于计算机视觉的车辆违章压线检测方法
CN111626295B (zh) 车牌检测模型的训练方法和装置
CN107346547B (zh) 基于单目平台的实时前景提取方法及装置
CN115631112B (zh) 一种基于深度学习的建筑轮廓矫正方法及装置
CN107578011A (zh) 视频关键帧的判定方法及装置
CN110335322B (zh) 基于图像的道路识别方法及道路识别装置
US20130294707A1 (en) Geometric modelization of images and applications
CN110135382B (zh) 一种人体检测方法和装置
CN111126248A (zh) 一种遮挡下的车辆识别方法及装置
Pal et al. Determining digital circularity using integer intervals
CN111639642B (zh) 一种图像处理方法、设备及装置
CN110796684B (zh) 目标跟踪方法以及相关装置
CN113592801A (zh) 视频图像的条纹干扰检测方法及其装置
CN113850252A (zh) 防振锤螺栓检测方法、装置和电子设备
CN110889867B (zh) 一种车脸受损程度检测方法及装置
CN112183229A (zh) 基于计算动态参数的作业纸图像的字格提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination