CN115937571A - 车用玻璃球面度检测装置及其检测方法 - Google Patents

车用玻璃球面度检测装置及其检测方法 Download PDF

Info

Publication number
CN115937571A
CN115937571A CN202211301005.9A CN202211301005A CN115937571A CN 115937571 A CN115937571 A CN 115937571A CN 202211301005 A CN202211301005 A CN 202211301005A CN 115937571 A CN115937571 A CN 115937571A
Authority
CN
China
Prior art keywords
feature
detection
matrix
classification
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211301005.9A
Other languages
English (en)
Inventor
李世利
刘振平
郝小连
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Changxin Vehicle Equipment Co ltd
Original Assignee
Jiangsu Changxin Vehicle Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Changxin Vehicle Equipment Co ltd filed Critical Jiangsu Changxin Vehicle Equipment Co ltd
Priority to CN202211301005.9A priority Critical patent/CN115937571A/zh
Publication of CN115937571A publication Critical patent/CN115937571A/zh
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本申请涉及玻璃球面度检测技术领域,其具体地公开了一种车用玻璃球面度检测装置及其检测方法,其通过第一卷积神经网络模型、第二卷积神经网络模型和非局部神经网络来分别提取出多个检测视角下的实际待检测车用玻璃图像特征以及标准车用玻璃参考图像特征的全局高维隐含关联特征信息,并以这两者的差分特征来表示所述汽车钢化玻璃球面的实际图像全局特征和标准图像全局特征之间的一致性特征,以此进行所述待检测车用特种玻璃的球面度检测,以提高玻璃球面度检测的精准度。

Description

车用玻璃球面度检测装置及其检测方法
技术领域
本申请涉及玻璃球面度检测技术领域,且更为具体地,涉及一种车用玻璃球面度检测装置及其检测方法。
背景技术
汽车用加发热丝天线钢化玻璃,即用银浆在玻璃上印刷通电发热的线条。发热丝通电后可使玻璃表面温度迅速达到40℃-75℃之间,在寒冷的冬季,能够消除玻璃表面上凝结的霜和雾。
在钢化玻璃的生产过程中,在高温来回加热时,需要严格控制高温度数和高温时间,并且由于钢化玻璃在出炉瞬间就会定型和钢化,因此还需要加速玻璃出炉的时间,使得出炉时间控制为几秒。
汽车钢化玻璃球面测量需在汽车钢化玻璃烘弯后立即进行,以便确认汽车钢化玻璃球面是否吻合,不合格品及时返炉,因而,对测量的速度及精度要求很高,但现有的人工汽车玻璃球面检测方式大多是接触测量方法,检测速度慢、精度低,根本无法达到检测要求。
因此,期待一种更为精准快速的车用玻璃球面度检测装置。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种车用玻璃球面度检测装置及其检测方法,其通过第一卷积神经网络模型、第二卷积神经网络模型和非局部神经网络来分别提取出多个检测视角下的实际待检测车用玻璃图像特征以及标准车用玻璃参考图像特征的全局高维隐含关联特征信息,并以这两者的差分特征来表示所述汽车钢化玻璃球面的实际图像全局特征和标准图像全局特征之间的一致性特征,以此进行所述待检测车用特种玻璃的球面度检测,以提高检测的速度和精准度,通过这样的方式,从而大幅度提高生产出的车用特种玻璃的质量和安全性。
根据本申请的一个方面,提供了一种车用玻璃球面度检测装置,其包括:图像采集模块,用于获取由摄像头从多个拍摄角度采集的被检测车用玻璃的多个检测视角图像和标准车用玻璃的多个参考视角图像;检测视角图像编码模块,用于将所述多个检测视角图像中各个检测视角图像分别通过作为过滤器的第一卷积神经网络模型以得到多个检测视角特征向量;检测视角图像特征局部关联编码模块,用于将所述多个检测视角特征向量排列为二维特征矩阵后通过作为特征提取器的第二卷积神经网络模型以得到检测特征矩阵;检测视角图像特征全局关联编码模块,用于将所述检测特征矩阵通过非局部神经网络以得到全局检测特征矩阵;参考图像编码模块,用于通过所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型和所述非局部神经网络,从所述多个参考视角图像得到全局参考特征矩阵;差分模块,用于计算所述全局检测特征矩阵和所述全局参考特征矩阵之间的差分特征矩阵作为分类特征矩阵;分类特征校正模块,用于对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵;以及球面度检测结果生成模块,用于将所述校正后分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待检测车用特种玻璃的球面度是否满足要求。
根据本申请的另一方面,提供了一种车用玻璃球面度检测方法,其包括:获取由摄像头从多个拍摄角度采集的被检测车用玻璃的多个检测视角图像和标准车用玻璃的多个参考视角图像;将所述多个检测视角图像中各个检测视角图像分别通过作为过滤器的第一卷积神经网络模型以得到多个检测视角特征向量;将所述多个检测视角特征向量排列为二维特征矩阵后通过作为特征提取器的第二卷积神经网络模型以得到检测特征矩阵;将所述检测特征矩阵通过非局部神经网络以得到全局检测特征矩阵;通过所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型和所述非局部神经网络,从所述多个参考视角图像得到全局参考特征矩阵;计算所述全局检测特征矩阵和所述全局参考特征矩阵之间的差分特征矩阵作为分类特征矩阵;对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵;将所述校正后分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待检测车用特种玻璃的球面度是否满足要求。
与现有技术相比,本申请提供的一种车用玻璃球面度检测装置及其检测方法,其通过第一卷积神经网络模型、第二卷积神经网络模型和非局部神经网络来分别提取出多个检测视角下的实际待检测车用玻璃图像特征以及标准车用玻璃参考图像特征的全局高维隐含关联特征信息,并以这两者的差分特征来表示所述汽车钢化玻璃球面的实际图像全局特征和标准图像全局特征之间的一致性特征,以此进行所述待检测车用特种玻璃的球面度检测,以提高检测的速度和精准度,通过这样的方式,从而大幅度提高生产出的车用特种玻璃的质量和安全性。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的车用玻璃球面度检测装置的应用场景图。
图2图示了根据本申请实施例的车用玻璃球面度检测装置的框图示意图。
图3图示了根据本申请实施例的车用玻璃球面度检测装置中检测视角图像特征全局关联编码模块的框图。
图4图示了根据本申请实施例的车用玻璃球面度检测装置中球面度检测结果生成模块的框图。
图5图示了根据本申请实施例的车用玻璃球面度检测方法的流程图。
图6图示了根据本申请实施例的车用玻璃球面度检测方法的系统架构的示意图。
图7图示了根据本申请实施例的车用玻璃球面度检测方法中,将所述检测特征矩阵通过非局部神经网络以得到全局检测特征矩阵的流程图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
场景概述
如上所述,汽车钢化玻璃球面测量需在汽车钢化玻璃烘弯后立即进行,以便确认汽车钢化玻璃球面是否吻合,不合格品及时返炉,因而,对测量的速度及精度要求很高,但现有的人工汽车玻璃球面检测方式大多是接触测量方法,检测速度慢、精度低,根本无法达到检测要求。因此,期待一种更为精准快速的车用玻璃球面度检测装置。
相应地,考虑到对于汽车钢化玻璃球面的检测可以根据其在多个视角的图像特征与标准合格产品相对应的各个视角的图像特征进行一致性比较来进行。并且还考虑到在所述多个视角下的汽车钢化玻璃球面的图像之间具有隐藏的关联性特征,因此,在本申请的技术方案中,采用基于深度学习的人工智能检测方法来分别提取出多个检测视角下的实际待检测车用玻璃图像特征以及标准车用玻璃参考图像特征的全局高维隐含关联特征信息,并以这两者的差分特征来表示所述汽车钢化玻璃球面的实际图像全局特征和标准图像全局特征之间的一致性特征,以此进行所述待检测车用特种玻璃的球面度检测,以提高检测的速度和精准度。这样,能够大幅度提高生产出的车用特种玻璃的质量和安全性。
具体地,在本申请的技术方案中,首先,通过摄像头从多个拍摄角度采集被检测车用玻璃的多个检测视角图像和标准车用玻璃的多个参考视角图像。然后,对于实际的被检测车用玻璃的多个检测视角图像,使用在图像的局部隐藏特征提取方面具有优异表现的通过作为过滤器的第一卷积神经网络模型来对于所述多个检测视角图像中各个检测视角图像进行处理,以分别提取出所述多个检测视角图像中各个检测视角图像中的局部隐含特征分布信息,从而得到多个检测视角特征向量。
接着,进一步将所述多个检测视角特征向量排列为二维特征矩阵以整合所述多个检测视角图像中的局部隐含特征,有利于提高后续对于所述各个视角下的检测图像的关联特征提取的充分性和准确性。然后,使用作为特征提取器的第二卷积神经网络模型对于所述二维特征矩阵进行处理,以提取出所述二维特征矩阵中的各个位置的隐含关联特征,即所述多个检测视角图像特征之间的局部隐藏关联特征信息,从而得到检测特征矩阵。
进一步地,应可以理解,考虑到由于卷积是典型的局部操作,而对于所述从多个拍摄角度采集的被检测车用玻璃的多个检测视角图像来说,所述各个检测视角图像之间并非是孤立存在的,所述各个检测视角图像间的关联性产生前景目标。因此,在本申请的技术方案中,为了充分地提取出所述从多个拍摄角度采集的被检测车用玻璃的多个检测视角图像的关联性,使用非局部神经网络来进一步进行图像的特征提取。也就是,将所述检测特征矩阵通过非局部神经网络以得到全局检测特征矩阵。特别地,这里,所述非局部神经网络通过计算所述从多个拍摄角度采集的被检测车用玻璃的多个检测视角图像的相似度捕获隐藏的依赖信息,进而建模上下文特征,使网络关注所述各个检测视角图像间的整体内容,进而在分类、检测任务中提升主干网络特征提取能力。
然后,同样地,对于所述标准车用玻璃的多个参考视角图像,也将其通过所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型和所述非局部神经网络中进行编码处理,从而得到与所述被检测车用玻璃的多个检测视角图像的全局隐含关联特征具有相同特征分布信息的全局参考特征矩阵。进一步地,再以所述全局检测特征矩阵和所述全局参考特征矩阵之间的差分特征矩阵来表示在多个检测视角下的所述实际待检测车用玻璃图像的全局隐含关联特征与所述标准车用玻璃参考图像的全局隐含关联特征的一致性特征分布信息,并以此来进行分类,从而得到用于表示待检测车用特种玻璃的球面度是否满足要求的分类结果。
特别地,在本申请的技术方案中,由于所述分类特征矩阵是计算所述全局检测特征矩阵和所述全局参考特征矩阵之间的按位置差分所获得的差分特征矩阵,并且所述全局检测特征矩阵和所述全局参考特征矩阵本身就包含不同拍摄角度采集的图像语义特征,这就使得所述分类特征矩阵的各个位置之间具有由图像视角语义和按位置差分计算引入的相位差,这会导致所述分类特征矩阵在分类器的类概率聚合上具有较差的效果,也就是,影响经由分类器收敛到预定类概率值。
因此,优选地,对所述分类特征矩阵进行矩阵的波函数表征聚合,表示为:
其中是所述分类特征矩阵的最大特征值的倒数。
也就是,通过引入所述分类特征矩阵的波函数表示,即幅度表示强度信息,而相位表示周期位置信息,来对所述分类特征矩阵的类概率表征进行类复函数域的聚合,从而弥补所述分类特征矩阵的各位置之间的相位差在类概率聚合上导致的负面影响(也就是,从波函数原理出发进行同相加强和异相抵消)。这样,就促进了对所述分类特征矩阵进行分类时,所述分类特征矩阵的特征分布经由分类器收敛到预定类概率值,提升了分类准确性。这样,能够提高对于所述待检测车用特种玻璃的球面度检测的速度和精准度,进而提高生产出的车用特种玻璃的质量和安全性。
基于此,本申请提供了一种车用玻璃球面度检测装置,其包括:图像采集模块,用于获取由摄像头从多个拍摄角度采集的被检测车用玻璃的多个检测视角图像和标准车用玻璃的多个参考视角图像;检测视角图像编码模块,用于将所述多个检测视角图像中各个检测视角图像分别通过作为过滤器的第一卷积神经网络模型以得到多个检测视角特征向量;检测视角图像特征局部关联编码模块,用于将所述多个检测视角特征向量排列为二维特征矩阵后通过作为特征提取器的第二卷积神经网络模型以得到检测特征矩阵;检测视角图像特征全局关联编码模块,用于将所述检测特征矩阵通过非局部神经网络以得到全局检测特征矩阵;参考图像编码模块,用于通过所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型和所述非局部神经网络,从所述多个参考视角图像得到全局参考特征矩阵;差分模块,用于计算所述全局检测特征矩阵和所述全局参考特征矩阵之间的差分特征矩阵作为分类特征矩阵;分类特征校正模块,用于对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵;以及,球面度检测结果生成模块,用于将所述校正后分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待检测车用特种玻璃的球面度是否满足要求。
图1图示了根据本申请实施例的车用玻璃球面度检测装置的应用场景图。如图1所示,在该应用场景中,首先,通过摄像头(例如,图1中所示意的C)采集被检测车用玻璃(例如,图1中所示意的G1)的多个检测视角图像和标准车用玻璃(例如,图1中所示意的G2)的多个参考视角图像,然后,将采集的所述被检测车用玻璃的多个检测视角图像和所述标准车用玻璃的多个参考视角图像输入至部署有车用玻璃球面度检测算法的服务器中(例如,图1中所示意的S),其中,所述服务器能够使用所述车用玻璃球面度检测算法对所述被检测车用玻璃的多个检测视角图像和所述标准车用玻璃的多个参考视角图像进行处理以生成待检测车用特种玻璃的球面度检测结果。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2图示了根据本申请实施例的车用玻璃球面度检测装置的框图示意图。如图2所示,根据本申请实施例的所述车用玻璃球面度检测装置100,包括:图像采集模块110,用于获取由摄像头从多个拍摄角度采集的被检测车用玻璃的多个检测视角图像和标准车用玻璃的多个参考视角图像;检测视角图像编码模块120,用于将所述多个检测视角图像中各个检测视角图像分别通过作为过滤器的第一卷积神经网络模型以得到多个检测视角特征向量;检测视角图像特征局部关联编码模块130,用于将所述多个检测视角特征向量排列为二维特征矩阵后通过作为特征提取器的第二卷积神经网络模型以得到检测特征矩阵;检测视角图像特征全局关联编码模块140,用于将所述检测特征矩阵通过非局部神经网络以得到全局检测特征矩阵;参考图像编码模块150,用于通过所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型和所述非局部神经网络,从所述多个参考视角图像得到全局参考特征矩阵;差分模块160,用于计算所述全局检测特征矩阵和所述全局参考特征矩阵之间的差分特征矩阵作为分类特征矩阵;分类特征校正模块170,用于对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵;以及,球面度检测结果生成模块180,用于将所述校正后分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待检测车用特种玻璃的球面度是否满足要求。
在本申请实施例中,所述图像采集模块110,用于获取由摄像头从多个拍摄角度采集的被检测车用玻璃的多个检测视角图像和标准车用玻璃的多个参考视角图像。如上所述,汽车钢化玻璃球面测量需在汽车钢化玻璃烘弯后立即进行,以便确认汽车钢化玻璃球面是否吻合,不合格品及时返炉,因而,对测量的速度及精度要求很高,但现有的人工汽车玻璃球面检测方式大多是接触测量方法,检测速度慢、精度低,根本无法达到检测要求。因此,期待一种更为精准快速的车用玻璃球面度检测装置。
相应地,考虑到对于汽车钢化玻璃球面的检测可以根据其在多个视角的图像特征与标准合格产品相对应的各个视角的图像特征进行一致性比较来进行。并且还考虑到在所述多个视角下的汽车钢化玻璃球面的图像之间具有隐藏的关联性特征,因此,在本申请的技术方案中,采用基于深度学习的人工智能检测方法来分别提取出多个检测视角下的实际待检测车用玻璃图像特征以及标准车用玻璃参考图像特征的全局高维隐含关联特征信息,并以这两者的差分特征来表示所述汽车钢化玻璃球面的实际图像全局特征和标准图像全局特征之间的一致性特征,以此进行所述待检测车用特种玻璃的球面度检测,以提高检测的速度和精准度。这样,能够大幅度提高生产出的车用特种玻璃的质量和安全性。
在本申请一个具体的实施例中,通过摄像头采集被检测车用玻璃的多个检测视角图像和标准车用玻璃的多个参考视角图像。
在本申请实施例中,所述检测视角图像编码模块120,用于将所述多个检测视角图像中各个检测视角图像分别通过作为过滤器的第一卷积神经网络模型以得到多个检测视角特征向量。应可以理解,考虑到卷积神经网络模型在图像的局部隐藏特征提取方面具有优异表现,因此,第一卷积神经网络模型来对于所述多个检测视角图像中各个检测视角图像进行处理,以分别提取出所述多个检测视角图像中各个检测视角图像中的局部隐含特征分布信息,从而得到多个检测视角特征向量。
在本申请一个具体的实施例中,所述检测视角图像编码模块120,进一步用于:所述第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:基于卷积核对所述输入数据进行卷积处理以生成卷积特征图;对所述卷积特征图进行基于特征矩阵的全局均值池化处理以生成池化特征图;以及,对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征增图;其中,所述第一卷积神经网络模型的最后一层的输出为所述多个检测视角特征向量。
在本申请实施例中,所述检测视角图像特征局部关联编码模块130,用于将所述多个检测视角特征向量排列为二维特征矩阵后通过作为特征提取器的第二卷积神经网络模型以得到检测特征矩阵。应可以理解,考虑到在所述多个视角下的汽车钢化玻璃球面的图像之间具有隐藏的关联性特征,因此,先,将所述多个检测视角特征向量排列为二维特征矩阵以整合所述多个检测视角图像中的局部隐含特征,有利于提高后续对于所述各个视角下的检测图像的关联特征提取的充分性和准确性。然后,使用作为特征提取器的第二卷积神经网络模型对于所述二维特征矩阵进行处理,以提取出所述二维特征矩阵中的各个位置的隐含关联特征,即所述多个检测视角图像特征之间的局部隐藏关联特征信息,从而得到检测特征矩阵。
在本申请一个具体的实施例中,所述检测视角图像特征局部关联编码模块130,进一步用于:所述第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行:基于二维卷积核对所述输入数据进行卷积处理以生成卷积特征图;对所述卷积特征图进行沿通道维度的均值池化处理以生成池化特征图;以及,对所述池化特征图进行激活处理以生成激活特征图;其中,所述第二卷积神经网络模型的最后一层的输出为所述检测特征矩阵。
在本申请实施例中,所述检测视角图像特征全局关联编码模块140,用于将所述检测特征矩阵通过非局部神经网络以得到全局检测特征矩阵。应可以理解,考虑到由于卷积是典型的局部操作,而对于所述从多个拍摄角度采集的被检测车用玻璃的多个检测视角图像来说,所述各个检测视角图像之间并非是孤立存在的,所述各个检测视角图像间的关联性产生前景目标。因此,在本申请的技术方案中,为了充分地提取出所述从多个拍摄角度采集的被检测车用玻璃的多个检测视角图像的关联性,使用非局部神经网络来进一步进行图像的特征提取。也就是,将所述检测特征矩阵通过非局部神经网络以得到全局检测特征矩阵。特别地,这里,所述非局部神经网络通过计算所述从多个拍摄角度采集的被检测车用玻璃的多个检测视角图像的相似度捕获隐藏的依赖信息,进而建模上下文特征,使网络关注所述各个检测视角图像间的整体内容,进而在分类、检测任务中提升主干网络特征提取能力。
图3图示了根据本申请实施例的车用玻璃球面度检测装置中检测视角图像特征全局关联编码模块的框图。如图3所示,在本申请一个具体的实施例中,所述检测视角图像特征全局关联编码模块140,包括:第一卷积单元141,用于将所述检测特征矩阵通过所述非局部神经网络的第一点卷积层以得到第一特征图;第二卷积单元142,用于将所述检测特征矩阵通过所述非局部神经网络的第二点卷积层以得到第二特征图;第三卷积单元143,用于将所述检测特征矩阵通过所述非局部神经网络的第三点卷积层以得到第三特征图;第一加权和计算单元144,用于计算所述第一特征图和所述第二特征图的按位置加权和以得到第一融合特征图;归一化单元145,用于将所述第一融合特征图通过Softmax函数以对所述第一融合特征图中各个位置的特征值进行归一化处理以得到归一化第一融合特征图;第二加权和计算单元146,用于计算所述归一化第一融合特征图和所述第三特征图之间的按位置加权和以得到第二融合特征图;相似性度量值计算单元147,用于以嵌入高斯相似性函数计算所述第二融合特征图中各个位置间的相似性度量值以得到全局感知特征矩阵;以及,第三加权和计算单元147,用于计算所述全局感知特征矩阵和所述检测特征矩阵的按位置加权和以得到所述全局检测特征矩阵。
在本申请实施例中,所述参考图像编码模块150,用于通过所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型和所述非局部神经网络,从所述多个参考视角图像得到全局参考特征矩阵。同样地,对于所述标准车用玻璃的多个参考视角图像,也将其通过所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型和所述非局部神经网络中进行编码处理,从而得到与所述被检测车用玻璃的多个检测视角图像的全局隐含关联特征具有相同特征分布信息的全局参考特征矩阵。
在本申请实施例中,所述差分模块160,用于计算所述全局检测特征矩阵和所述全局参考特征矩阵之间的差分特征矩阵作为分类特征矩阵。也就是,通过计算所述全局检测特征矩阵和所述全局参考特征矩阵之间的差分特征矩阵来表示在多个检测视角下的所述实际待检测车用玻璃图像的全局隐含关联特征与所述标准车用玻璃参考图像的全局隐含关联特征的一致性特征分布信息。
在本申请一个具体的实施例中,所述差分模块,进一步用于:以如下公式计算所述全局检测特征矩阵和所述全局参考特征矩阵之间的差分特征矩阵作为分类特征矩阵;
其中,所述公式为:
其中,表示所述第一特征矩阵,表示所述第二特征矩阵,表示按位置作差,表示表示所述分类特征矩阵。
在本申请实施例中,所述分类特征校正模块170,用于对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵。特别地,在本申请的技术方案中,由于所述分类特征矩阵是计算所述全局检测特征矩阵和所述全局参考特征矩阵之间的按位置差分所获得的差分特征矩阵,并且所述全局检测特征矩阵和所述全局参考特征矩阵本身就包含不同拍摄角度采集的图像语义特征,这就使得所述分类特征矩阵的各个位置之间具有由图像视角语义和按位置差分计算引入的相位差,这会导致所述分类特征矩阵在分类器的类概率聚合上具有较差的效果,也就是,影响经由分类器收敛到预定类概率值。因此,优选地,对所述分类特征矩阵进行矩阵的波函数表征聚合。
在本申请一个具体的实施例中,所述分类特征校正模块,进一步用于:以如下公式对所述分类特征矩阵进行特征分布校正以得到所述校正后分类特征矩阵;其中,所述公式为:
其中表示所述分类特征矩阵,表示所述分类特征矩阵中各个位置的特征值的最大特征值的倒数,表示按位置点乘。
也就是,通过引入所述分类特征矩阵的波函数表示,即幅度表示强度信息,而相位表示周期位置信息,来对所述分类特征矩阵的类概率表征进行类复函数域的聚合,从而弥补所述分类特征矩阵的各位置之间的相位差在类概率聚合上导致的负面影响(也就是,从波函数原理出发进行同相加强和异相抵消)。这样,就促进了对所述分类特征矩阵进行分类时,所述分类特征矩阵的特征分布经由分类器收敛到预定类概率值,提升了分类准确性。这样,能够提高对于所述待检测车用特种玻璃的球面度检测的速度和精准度,进而提高生产出的车用特种玻璃的质量和安全性。
在本申请实施例中,所述球面度检测结果生成模块180,用于将所述校正后分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待检测车用特种玻璃的球面度是否满足要求。
图4图示了根据本申请实施例的车用玻璃球面度检测装置中球面度检测结果生成模块的框图。如图4所示,在本申请一个具体的实施例中,所述球面度检测结果生成模块180,包括:矩阵展开单元181,用于将所述校正后分类特征矩阵按列展开为列向量;全连接编码单元182,用于使用所述分类器的多个全连接层对所述列向量进行全连接编码以得到分类特征向量;以及,分类单元183,用于将所述分类特征向量输入所述分类器的Softmax分类函数以获得分类结果。
综上,基于本申请实施例的所述车用玻璃球面度检测装置,其通过第一卷积神经网络模型、第二卷积神经网络模型和非局部神经网络来分别提取出多个检测视角下的实际待检测车用玻璃图像特征以及标准车用玻璃参考图像特征的全局高维隐含关联特征信息,并以这两者的差分特征来表示所述汽车钢化玻璃球面的实际图像全局特征和标准图像全局特征之间的一致性特征,以此进行所述待检测车用特种玻璃的球面度检测,以提高检测的速度和精准度,通过这样的方式,从而大幅度提高生产出的车用特种玻璃的质量和安全性。
如上所述,根据本申请实施例的所述车用玻璃球面度检测装置100可以实现在各种终端设备中,例如部署有车用玻璃球面度检测算法的服务器等。在一个示例中,根据车用玻璃球面度检测装置100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该车用玻璃球面度检测装置100可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该车用玻璃球面度检测装置100同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该车用玻璃球面度检测装置100与该终端设备也可以是分立的设备,并且车用玻璃球面度检测装置100可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
示例性方法
图5图示了根据本申请实施例的车用玻璃球面度检测方法的流程图。如图5所示,根据本申请实施例的所述车用玻璃球面度检测方法,包括:S110,获取由摄像头从多个拍摄角度采集的被检测车用玻璃的多个检测视角图像和标准车用玻璃的多个参考视角图像;S120,将所述多个检测视角图像中各个检测视角图像分别通过作为过滤器的第一卷积神经网络模型以得到多个检测视角特征向量;S130,将所述多个检测视角特征向量排列为二维特征矩阵后通过作为特征提取器的第二卷积神经网络模型以得到检测特征矩阵;S140,将所述检测特征矩阵通过非局部神经网络以得到全局检测特征矩阵;S150,通过所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型和所述非局部神经网络,从所述多个参考视角图像得到全局参考特征矩阵;S160,计算所述全局检测特征矩阵和所述全局参考特征矩阵之间的差分特征矩阵作为分类特征矩阵;S170,对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵;以及,S180,将所述校正后分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待检测车用特种玻璃的球面度是否满足要求。
图6图示了根据本申请实施例的车用玻璃球面度检测方法的系统架构的示意图。如图6所示,在本申请实施例的所述车用玻璃球面度检测方法的系统架构中,首先,获取由摄像头从多个拍摄角度采集的被检测车用玻璃的多个检测视角图像,并所述多个检测视角图像中各个检测视角图像分别通过作为过滤器的第一卷积神经网络模型以得到多个检测视角特征向量。然后,将所述多个检测视角特征向量排列为二维特征矩阵后通过作为特征提取器的第二卷积神经网络模型以得到检测特征矩阵。接着,将所述检测特征矩阵通过非局部神经网络以得到全局检测特征矩阵。同时,获取由摄像头从多个拍摄角度采集的标准车用玻璃的多个参考视角图像,并将其依次通过所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型和所述非局部神经网络以得到全局参考特征矩阵。再然后,计算所述全局检测特征矩阵和所述全局参考特征矩阵之间的差分特征矩阵作为分类特征矩阵。最后,对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵,并将所述校正后分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待检测车用特种玻璃的球面度是否满足要求。
在本申请一个具体的实施例中,所述将所述多个检测视角图像中各个检测视角图像分别通过作为过滤器的第一卷积神经网络模型以得到多个检测视角特征向量,包括:所述第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:基于卷积核对所述输入数据进行卷积处理以生成卷积特征图;对所述卷积特征图进行基于特征矩阵的全局均值池化处理以生成池化特征图;以及,对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征增图;其中,所述第一卷积神经网络模型的最后一层的输出为所述多个检测视角特征向量。
在本申请一个具体的实施例中,所述将所述多个检测视角特征向量排列为二维特征矩阵后通过作为特征提取器的第二卷积神经网络模型以得到检测特征矩阵,包括:所述第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行:基于二维卷积核对所述输入数据进行卷积处理以生成卷积特征图;对所述卷积特征图进行沿通道维度的均值池化处理以生成池化特征图;以及,对所述池化特征图进行激活处理以生成激活特征图;其中,所述第二卷积神经网络模型的最后一层的输出为所述检测特征矩阵。
图7图示了根据本申请实施例的车用玻璃球面度检测方法中,将所述检测特征矩阵通过非局部神经网络以得到全局检测特征矩阵的流程图。如图7所示,在本申请一个具体的实施例中,所述将所述检测特征矩阵通过非局部神经网络以得到全局检测特征矩阵,包括:S210,将所述检测特征矩阵通过所述非局部神经网络的第一点卷积层以得到第一特征图;S220,将所述检测特征矩阵通过所述非局部神经网络的第二点卷积层以得到第二特征图;S230,将所述检测特征矩阵通过所述非局部神经网络的第三点卷积层以得到第三特征图;S240,计算所述第一特征图和所述第二特征图的按位置加权和以得到第一融合特征图;S250,将所述第一融合特征图通过Softmax函数以对所述第一融合特征图中各个位置的特征值进行归一化处理以得到归一化第一融合特征图;S260,计算所述归一化第一融合特征图和所述第三特征图之间的按位置加权和以得到第二融合特征图;S270,以嵌入高斯相似性函数计算所述第二融合特征图中各个位置间的相似性度量值以得到全局感知特征矩阵;S280,计算所述全局感知特征矩阵和所述检测特征矩阵的按位置加权和以得到所述全局检测特征矩阵。
在本申请一个具体的实施例中,所述计算所述全局检测特征矩阵和所述全局参考特征矩阵之间的差分特征矩阵作为分类特征矩阵,包括:以如下公式计算所述全局检测特征矩阵和所述全局参考特征矩阵之间的差分特征矩阵作为分类特征矩阵;
其中,所述公式为:
其中,表示所述第一特征矩阵,表示所述第二特征矩阵,表示按位置作差,表示表示所述分类特征矩阵。
在本申请一个具体的实施例中,所述对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵,包括:以如下公式对所述分类特征矩阵进行特征分布校正以得到所述校正后分类特征矩阵;其中,所述公式为:
其中表示所述分类特征矩阵,表示所述分类特征矩阵中各个位置的特征值的最大特征值的倒数,表示按位置点乘。
在本申请一个具体的实施例中,所述将所述校正后分类特征矩阵通过分类器以得到分类结果,包括:将所述校正后分类特征矩阵按列展开为列向量;使用所述分类器的多个全连接层对所述列向量进行全连接编码以得到分类特征向量;以及,将所述分类特征向量输入所述分类器的Softmax分类函数以获得分类结果。
综上,基于本申请实施例的所述车用玻璃球面度检测方法,其通过第一卷积神经网络模型、第二卷积神经网络模型和非局部神经网络来分别提取出多个检测视角下的实际待检测车用玻璃图像特征以及标准车用玻璃参考图像特征的全局高维隐含关联特征信息,并以这两者的差分特征来表示所述汽车钢化玻璃球面的实际图像全局特征和标准图像全局特征之间的一致性特征,以此进行所述待检测车用特种玻璃的球面度检测,以提高检测的速度和精准度,通过这样的方式,从而大幅度提高生产出的车用特种玻璃的质量和安全性。

Claims (10)

1.一种车用玻璃球面度检测装置,其特征在于,包括:图像采集模块,用于获取由摄像头从多个拍摄角度采集的被检测车用玻璃的多个检测视角图像和标准车用玻璃的多个参考视角图像;检测视角图像编码模块,用于将所述多个检测视角图像中各个检测视角图像分别通过作为过滤器的第一卷积神经网络模型以得到多个检测视角特征向量;检测视角图像特征局部关联编码模块,用于将所述多个检测视角特征向量排列为二维特征矩阵后通过作为特征提取器的第二卷积神经网络模型以得到检测特征矩阵;检测视角图像特征全局关联编码模块,用于将所述检测特征矩阵通过非局部神经网络以得到全局检测特征矩阵;参考图像编码模块,用于通过所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型和所述非局部神经网络,从所述多个参考视角图像得到全局参考特征矩阵;差分模块,用于计算所述全局检测特征矩阵和所述全局参考特征矩阵之间的差分特征矩阵作为分类特征矩阵;分类特征校正模块,用于对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵;以及球面度检测结果生成模块,用于将所述校正后分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待检测车用特种玻璃的球面度是否满足要求。
2.根据权利要求1所述的车用玻璃球面度检测装置,其特征在于,所述检测视角图像编码模块,进一步用于:所述第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:基于卷积核对所述输入数据进行卷积处理以生成卷积特征图;对所述卷积特征图进行基于特征矩阵的全局均值池化处理以生成池化特征图;以及对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征增图;其中,所述第一卷积神经网络模型的最后一层的输出为所述多个检测视角特征向量。
3.根据权利要求2所述的车用玻璃球面度检测装置,其特征在于,所述检测视角图像特征局部关联编码模块,进一步用于:所述第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行:基于二维卷积核对所述输入数据进行卷积处理以生成卷积特征图;对所述卷积特征图进行沿通道维度的均值池化处理以生成池化特征图;对所述池化特征图进行激活处理以生成激活特征图;其中,所述第二卷积神经网络模型的最后一层的输出为所述检测特征矩阵。
4.根据权利要求3所述的车用玻璃球面度检测装置,其特征在于,所述检测视角图像特征全局关联编码模块,包括:第一卷积单元,用于将所述检测特征矩阵通过所述非局部神经网络的第一点卷积层以得到第一特征图;第二卷积单元,用于将所述检测特征矩阵通过所述非局部神经网络的第二点卷积层以得到第二特征图;第三卷积单元,用于将所述检测特征矩阵通过所述非局部神经网络的第三点卷积层以得到第三特征图;第一加权和计算单元,用于计算所述第一特征图和所述第二特征图的按位置加权和以得到第一融合特征图;归一化单元,用于将所述第一融合特征图通过Softmax函数以对所述第一融合特征图中各个位置的特征值进行归一化处理以得到归一化第一融合特征图;第二加权和计算单元,用于计算所述归一化第一融合特征图和所述第三特征图之间的按位置加权和以得到第二融合特征图;相似性度量值计算单元,用于以嵌入高斯相似性函数计算所述第二融合特征图中各个位置间的相似性度量值以得到全局感知特征矩阵;第三加权和计算单元,用于计算所述全局感知特征矩阵和所述检测特征矩阵的按位置加权和以得到所述全局检测特征矩阵。
5.根据权利要求4所述的车用玻璃球面度检测装置,其特征在于,所述差分模块,进一步用于:以如下公式计算所述全局检测特征矩阵和所述全局参考特征矩阵之间的差分特征矩阵作为分类特征矩阵;其中,所述公式为:
其中,表示所述第一特征矩阵,表示所述第二特征矩阵,表示按位置作差,表示表示所述分类特征矩阵。
6.根据权利要求5所述的车用玻璃球面度检测装置,其特征在于,所述分类特征校正模块,进一步用于:以如下公式对所述分类特征矩阵进行特征分布校正以得到所述校正后分类特征矩阵;其中,所述公式为:
其中表示所述分类特征矩阵,表示所述分类特征矩阵中各个位置的特征值的最大特征值的倒数,表示按位置点乘。
7.根据权利要求6所述的车用玻璃球面度检测装置,其特征在于,所述球面度检测结果生成模块,包括:矩阵展开单元,用于将所述校正后分类特征矩阵按列展开以得到列向量;全连接编码单元,用于使用所述分类器的多个全连接层对所述列向量进行全连接编码以得到分类特征向量;以及分类单元,用于将所述分类特征向量输入所述分类器的Softmax分类函数以获得分类结果。
8.一种车用玻璃球面度检测方法,其特征在于,包括:获取由摄像头从多个拍摄角度采集的被检测车用玻璃的多个检测视角图像和标准车用玻璃的多个参考视角图像;将所述多个检测视角图像中各个检测视角图像分别通过作为过滤器的第一卷积神经网络模型以得到多个检测视角特征向量;将所述多个检测视角特征向量排列为二维特征矩阵后通过作为特征提取器的第二卷积神经网络模型以得到检测特征矩阵;将所述检测特征矩阵通过非局部神经网络以得到全局检测特征矩阵;通过所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型和所述非局部神经网络,从所述多个参考视角图像得到全局参考特征矩阵;计算所述全局检测特征矩阵和所述全局参考特征矩阵之间的差分特征矩阵作为分类特征矩阵;对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵;将所述校正后分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待检测车用特种玻璃的球面度是否满足要求。
9.根据权利要求8所述的车用玻璃球面度检测方法,其特征在于,所述将所述检测特征矩阵通过非局部神经网络以得到全局检测特征矩阵,包括:将所述检测特征矩阵通过所述非局部神经网络的第一点卷积层以得到第一特征图;将所述检测特征矩阵通过所述非局部神经网络的第二点卷积层以得到第二特征图;将所述检测特征矩阵通过所述非局部神经网络的第三点卷积层以得到第三特征图;计算所述第一特征图和所述第二特征图的按位置加权和以得到第一融合特征图;将所述第一融合特征图通过Softmax函数以对所述第一融合特征图中各个位置的特征值进行归一化处理以得到归一化第一融合特征图;计算所述归一化第一融合特征图和所述第三特征图之间的按位置加权和以得到第二融合特征图;以嵌入高斯相似性函数计算所述第二融合特征图中各个位置间的相似性度量值以得到全局感知特征矩阵;计算所述全局感知特征矩阵和所述检测特征矩阵的按位置加权和以得到所述全局检测特征矩阵。
10.根据权利要求9所述的车用玻璃球面度检测方法,其特征在于,所述将所述校正后分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待检测车用特种玻璃的球面度是否满足要求,包括:将所述校正后分类特征矩阵按列展开为列向量;使用所述分类器的多个全连接层对所述列向量进行全连接编码以得到分类特征向量;以及将所述分类特征向量输入所述分类器的Softmax分类函数以获得分类结果。
CN202211301005.9A 2022-10-24 2022-10-24 车用玻璃球面度检测装置及其检测方法 Withdrawn CN115937571A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211301005.9A CN115937571A (zh) 2022-10-24 2022-10-24 车用玻璃球面度检测装置及其检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211301005.9A CN115937571A (zh) 2022-10-24 2022-10-24 车用玻璃球面度检测装置及其检测方法

Publications (1)

Publication Number Publication Date
CN115937571A true CN115937571A (zh) 2023-04-07

Family

ID=86551376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211301005.9A Withdrawn CN115937571A (zh) 2022-10-24 2022-10-24 车用玻璃球面度检测装置及其检测方法

Country Status (1)

Country Link
CN (1) CN115937571A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116295116A (zh) * 2023-04-13 2023-06-23 广东省旭晟半导体股份有限公司 红外线发射模组及其制备方法
CN116597163A (zh) * 2023-05-18 2023-08-15 广东省旭晟半导体股份有限公司 红外光学透镜及其制备方法
CN116645365A (zh) * 2023-07-21 2023-08-25 锋睿领创(珠海)科技有限公司 基于频谱的石英玻璃检测方法、装置、设备及介质
CN117197029A (zh) * 2023-04-28 2023-12-08 浙江工交机械股份有限公司 球销的自动化生产线及其方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116295116A (zh) * 2023-04-13 2023-06-23 广东省旭晟半导体股份有限公司 红外线发射模组及其制备方法
CN117197029A (zh) * 2023-04-28 2023-12-08 浙江工交机械股份有限公司 球销的自动化生产线及其方法
CN117197029B (zh) * 2023-04-28 2024-05-03 浙江工交机械股份有限公司 球销的自动化生产线及其方法
CN116597163A (zh) * 2023-05-18 2023-08-15 广东省旭晟半导体股份有限公司 红外光学透镜及其制备方法
CN116645365A (zh) * 2023-07-21 2023-08-25 锋睿领创(珠海)科技有限公司 基于频谱的石英玻璃检测方法、装置、设备及介质
CN116645365B (zh) * 2023-07-21 2023-11-17 锋睿领创(珠海)科技有限公司 基于频谱的石英玻璃检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN115937571A (zh) 车用玻璃球面度检测装置及其检测方法
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
CN112215119B (zh) 一种基于超分辨率重建的小目标识别方法、装置及介质
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN113052185A (zh) 一种基于Faster R-CNN的小样本目标检测方法
CN105069472A (zh) 一种基于卷积神经网络自适应的车辆检测方法
CN108520203B (zh) 基于融合自适应多外围框与十字池化特征的多目标特征提取方法
CN114627447A (zh) 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统
CN110826457B (zh) 一种复杂场景下的车辆检测方法及装置
CN114782298B (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN113298850B (zh) 一种基于注意力机制与特征融合的目标跟踪方法及系统
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN115205543A (zh) 不锈钢橱柜的智能制造方法及其系统
CN113095358A (zh) 一种图像融合方法及系统
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法
CN117152459A (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN113327271B (zh) 基于双光孪生网络决策级目标跟踪方法、系统及存储介质
CN116664867B (zh) 一种基于多证据融合选取训练样本的特征提取方法及装置
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
CN114677504B (zh) 目标检测方法、装置、设备终端和可读存储介质
CN111612803A (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN113160050B (zh) 基于时空神经网络的小目标识别方法及系统
CN114998711A (zh) 一种空中红外弱小目标检测方法、系统及计算机存储介质
CN114724245A (zh) 基于csi的增量学习人体动作识别方法
CN113379787A (zh) 基于3d卷积孪生神经网络和模板更新的目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230407