CN116297496A - 多光谱智能缺陷检测方法 - Google Patents

多光谱智能缺陷检测方法 Download PDF

Info

Publication number
CN116297496A
CN116297496A CN202310523781.1A CN202310523781A CN116297496A CN 116297496 A CN116297496 A CN 116297496A CN 202310523781 A CN202310523781 A CN 202310523781A CN 116297496 A CN116297496 A CN 116297496A
Authority
CN
China
Prior art keywords
camera
image
light source
defect detection
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310523781.1A
Other languages
English (en)
Other versions
CN116297496B (zh
Inventor
和江镇
王岩松
都卫东
王天翔
吴健雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Focusight Technology Co Ltd
Original Assignee
Focusight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Focusight Technology Co Ltd filed Critical Focusight Technology Co Ltd
Priority to CN202310523781.1A priority Critical patent/CN116297496B/zh
Publication of CN116297496A publication Critical patent/CN116297496A/zh
Application granted granted Critical
Publication of CN116297496B publication Critical patent/CN116297496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及多光谱缺陷检测,为了解决现有的光谱缺陷检测存在成本高、工位多、检测耗时和效率低的问题,提供一种多光谱智能缺陷检测方法,包括如下步骤,S1:搭建由多种光源组成的多光谱光源,和具有数量与光源相等,且经分光镜后能各自获取相应光谱影像的相机组;S2:调节S1搭建的多光谱光源和相机组到理想成像效果;S3:通过相机标定,坐标系转换和相机组图像融合完成数据融合;S4:通过采图,标注图像和训练神经网络,构件软件系统;S5:使用S1中搭建的装置,配合S3和S4训练好的神经网络对产品进行缺陷检测,本发明具有造价低、工位少、检测快速和检测效率高的特点。

Description

多光谱智能缺陷检测方法
技术领域
本发明涉及多光谱缺陷检测,尤其是一种多光谱智能缺陷检测方法。
背景技术
1)、早前的检测方法将多光谱用于机器视觉非标检测项目,是直接使用多光谱相机对被测物进行成像;传统的多光谱相机由于视野与帧率限制,且价格昂贵,很难直接与深度学习结合,用于机器视觉缺陷检测的问题。
2)、后来为了降低成本,逐渐使用多个不同的特定光谱相机,这些相机相对于多光谱相机视野与帧率都有提升,且价格较低,分多个工位,对被测物进行拍照,得到多张不同光谱的图像,使用这些图像来综合分析检测被测物;存在问题如下:
①、直接使用多光谱相机,则目前市场上多光谱相机的视野与帧率普遍都很低,很难满足机器视觉非标检测项目的需求,且多光谱相机价格较高,增加项目成本;
②、多个不同的特定光谱相机分多个工位进行检测,则由于不同工位相机相对于被测物安放位置不同,相机拍摄的图像很难完成对齐操作,而对齐操作是完成图像在通道维度上的融合,从而使数据能够直接送入深度学习网络的关键步骤;且由于是分为多个工位,多个相机无法同时拍照,需要分先后顺序进行拍照,以及需要运动装置将被测物送到各个工位,该过程非常耗时,严重影响效率。
综上所述现有的光谱缺陷检测存在成本高、工位多、检测耗时和效率低的问题。
发明内容
本发明要解决的技术问题是:为了解决现有的光谱缺陷检测存在成本高、工位多、检测耗时和效率低的问题,提供一种多光谱智能缺陷检测方法。
本发明解决其技术问题所采用的技术方案是:一种多光谱智能缺陷检测方法,包括如下步骤,
S1:搭建由多种光源组成的多光谱光源,和具有数量与光源相等,且经分光镜后能各自获取相应光谱影像的相机组;
S2:调节步骤S1中搭建的多光谱光源和相机组到理想成像效果;
S3:通过相机标定,坐标系转换和相机组图像融合完成数据融合;
S4:通过采图,标注图像和训练神经网络,构件软件系统;
S5:使用步骤S1中搭建的装置,配合步骤S3和步骤S4训练好的神经网络对产品进行缺陷检测。
进一步地,所述步骤S1搭建的装置包括成角度设置在被测物前方且同时为被测物打光的,第一光谱光源、第二光谱光源、第三光谱光源和第N光谱光源,第一光谱光源、第二光谱光源、第三光谱光源和第N光谱光源组成多光谱光源;
被测物的正前方设置镜头,镜头与被测物之间具有畅通路径,多光谱光源为被测物打光后的反射光通过所述路径形成检测光路,反射光经反射镜调整光路后送入第一分光镜,第一分光镜的侧面安装第一相机组,一部分反射光透过第一分光镜被第一相机组捕捉并拍摄反射光中相应色谱段的被测物图像,另一部分反射光被反射进入第二分光镜;
第二分光镜的侧面安装第二相机组,一部分反射光透过第二分光镜被第二相机组捕捉并拍摄反射光中相应色谱段的被测物图像,另一部分反射光被反射进入第N分光镜;
第N分光镜的侧面安装第N相机组,一部分反射光透过第N分光镜被第N相机组捕捉并拍摄反射光中相应色谱段的被测物图像,另一部分反射光被反射进入第三相机组,第三相机组捕捉并拍摄反射光中相应色谱段的被测物图像。
进一步地,所述步骤S3中的相机标定包括如下步骤:
S31:采用张正友标定法标定出各个相机的参数,参数包括:
Figure SMS_1
:第i个相机的外参矩阵,是一个3*3的矩阵;
Figure SMS_2
,/>
Figure SMS_3
,/>
Figure SMS_4
:第i个相机的径向畸变参数;
Figure SMS_5
,/>
Figure SMS_6
:第i个相机的切向畸变参数。
进一步地,所述径向畸变参数为一组三个,切向畸变参数为一组两个。
进一步地,所述步骤S3中的坐标系转换包括如下步骤:
S32:对每个相机进行畸变矫正,畸变矫正公式包括径向畸变矫正公式和切向畸变矫正公式;
径向畸变矫正公式为:
Figure SMS_7
Figure SMS_8
切向畸变矫正公式为:
Figure SMS_9
Figure SMS_10
畸变矫正公式中:
Figure SMS_11
,/>
Figure SMS_12
,x,y:分别指矫正后的坐标与矫正前坐标;
r:指图像像素点到图像中心点的距离;
S33:按畸变矫正公式先对图像做径向畸变矫正再做切向畸变矫正;
S34:设视野最大的相机为第k个相机,记为相机k,其外参矩阵为
Figure SMS_13
,其他相机的外参矩阵用/>
Figure SMS_14
表示,j表示所有相机中除了相机k以外的所有相机;将其他相机的图像转换到相机k的图像坐标系下,转换公式为:
Figure SMS_15
Figure SMS_16
,/>
Figure SMS_17
,/>
Figure SMS_18
,/>
Figure SMS_19
:分别指相机j矫正后的坐标与矫正前坐标,/>
Figure SMS_20
指第j个相机外参矩阵的逆,/>
Figure SMS_21
指相机k的外参矩阵。
进一步地,所述步骤S3中的图像融合包括如下步骤:
S35:相机k图像的分辨率保持不变其他相机的图像分分辨率缩放为:
Figure SMS_22
,其中:/>
Figure SMS_23
与/>
Figure SMS_24
为相机j的视野宽高,/>
Figure SMS_25
与/>
Figure SMS_26
为相机k的视野宽高,/>
Figure SMS_27
与/>
Figure SMS_28
为相机j图像的水平方向与竖直方向的像素分辨率;
S36:步骤S35中相机k图像的分辨率最大,为
Figure SMS_29
将其他相机的图像右边、下边以及右下边补0,填充为与之相同的分辨率;
S37:将所有相机图像的灰度值归一化到0-1范围内;
S38:将步骤S37中经过归一化的图像进行通道合并,得到一幅多通道图像。
进一步地,所述步骤S4中的采图包括如下步骤:
S41:同时触发所有相机,等待所有相机本次采图完成;
S42:将所有相机采集到的图像按照步骤S3中的步骤,进行数据融合,构成一幅多通道图像;
S43:重复步骤S41和步骤S42的步骤。
进一步地,所述步骤S4中的标注图像包括如下步骤:
S44:在所有相机图像的原图上,能清晰显示缺陷的位置进行打标;
S45:将标记结果通过步骤S3进行坐标系转换,转换后的标注显示在多通道图像上;
S46:将所有转换后的标注取并集,得到的并集作为多通道图像上的标注。
进一步地,所述步骤S4中的训练神经网络包括如下步骤:
S47:批量的采图和标注图像,构成数据集;
S48:划分数据集为训练集,测试集与验证集;
S49:根据项目的准确率与效率需求,新选择一个神经网络,将标注好的数据送入神经网络进行训练。
进一步地,所述步骤S5中对产品进行缺陷检测包括如下步骤:
S51:使用步骤S1中搭建的装置进行采图;
S52:使用步骤S3对步骤S51采集的图像进行数据融合;
S53:将步骤S52融合好的数据送入步骤S4训练好的神经网络对产品进行缺陷检测。
本发明的有益效果是,本发明的一种多光谱智能缺陷检测方法,(1)本发明使用多个不同的特定谱段的相机(相对于多光谱相机价格低得多),通过分光装置进行组合,构成多光谱成像装置,能达到多光谱相机的成像效果,且增大了视野与帧率,同时降低了成本,使得多光谱成像可用于机器视觉非标检测项目;(2)相对于直接使用多个不同的特定光谱相机分多个工位进行成像的方案,本发明设计了分光装置,将多个相机组合成一套成像装置,使得被测物在各相机中的外参理论上相同,只需做略微调整就能用于图像的对齐操作,从而完成图像在通道维度上的融合,从而可以送入深度学习网络;且本发明设计的机械结构使得多个相机能够同时对被测物进行拍照,从而提高了成像效率;(3)本发明通过以分光装置为核心搭建的,由不同光谱相机与光源组成的成像系统,替代传统的多光谱相机,从而提高了视野与帧率,同时相对于传统多光谱相机降低了成本。随着视野与帧率提高,使得多光谱可适用于对视野与帧率以及成本要求较高的机器视觉非标检测项目,且可以与深度学习结合,达到更好的检测效果。
综上所述本发明具有造价低、工位少、检测快速和检测效率高的特点。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的步骤S1中搭建装置的结构示意图。
图2是本发明的运作流程图。
图中:1.被测物,2.红外光源,3.可见光源,4.紫外光源,5.镜头,6.反射镜,7.分光镜,8.紫外相机,9.红外相机,10.可见光相机。
具体实施方式
现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
如图1和图2所述的一种多光谱智能缺陷检测方法,
步骤S1:如图1所示搭建装置,其中分光镜7为半透半反材质,即一半的光产生反射,另一半的光会透射,按照图中的光路图,将镜头5从被测物1处采集的光信号送入所有的相机进行成像;使用与相机谱段相对应的光源对被测物1打光,本发明中就使用了3个相机,一个可见光相机10,一个红外相机9和一个紫外相机8,同时也对应地使用可见光源3,红外光源2与紫外光源4对被测物1进行打光;可根据实际项目需求来选择相机谱段或者增减相机数量,同时根据相机选择光源,按照本发明的原理对装置进行适当地修改;反射镜6用于改变光路路径使相机能更好的成像。
步骤S2:调节光源位姿以及相机成像参数,使所有相机的成像效果都能够满足需求。
步骤S3:通过相机标定,坐标系转换和相机组图像融合完成数据融合;
其中相机标定包括如下步骤:
步骤S31:采用张正友标定法标定出各个相机的参数,参数包括:
Figure SMS_30
:第i个相机的外参矩阵,是一个3*3的矩阵;
Figure SMS_31
,/>
Figure SMS_32
,/>
Figure SMS_33
:第i个相机的径向畸变参数;
Figure SMS_34
,/>
Figure SMS_35
:第i个相机的切向畸变参数。
坐标系转换包括如下步骤:
步骤S32:对每个相机进行畸变矫正,畸变矫正公式包括径向畸变矫正公式和切向畸变矫正公式;
径向畸变矫正公式为:
Figure SMS_36
Figure SMS_37
切向畸变矫正公式为:
Figure SMS_38
Figure SMS_39
畸变矫正公式中:
Figure SMS_40
,/>
Figure SMS_41
,x,y:分别指矫正后的坐标与矫正前坐标;
r:指图像像素点到图像中心点的距离;
步骤S33:按畸变矫正公式先对图像做径向畸变矫正再做切向畸变矫正;
步骤S34:设视野最大的相机为第k个相机,记为相机k,其外参矩阵为
Figure SMS_42
,其他相机的外参矩阵用/>
Figure SMS_43
表示,j表示所有相机中除了相机k以外的所有相机;将其他相机的图像转换到相机k的图像坐标系下,转换公式为:
Figure SMS_44
Figure SMS_45
,/>
Figure SMS_46
,/>
Figure SMS_47
,/>
Figure SMS_48
:分别指相机j矫正后的坐标与矫正前坐标,/>
Figure SMS_49
指第j个相机外参矩阵的逆,/>
Figure SMS_50
指相机k的外参矩阵。
图像融合包括如下步骤:
步骤S35:相机k图像的分辨率保持不变其他相机的图像分分辨率缩放为:
Figure SMS_51
,其中:/>
Figure SMS_52
与/>
Figure SMS_53
为相机j的视野宽高,/>
Figure SMS_54
与/>
Figure SMS_55
为相机k的视野宽高,/>
Figure SMS_56
与/>
Figure SMS_57
为相机j图像的水平方向与竖直方向的像素分辨率;
步骤S36:步骤S35中相机k图像的分辨率最大,为
Figure SMS_58
将其他相机的图像右边、下边以及右下边补0,填充为与之相同的分辨率;
步骤S37:将所有相机图像的灰度值归一化到0-1范围内;
步骤S38:将步骤S37中经过归一化的图像进行通道合并,得到一幅多通道图像。
步骤S4:通过采图,标注图像和训练神经网络,构件软件系统;
其中采图包括如下步骤:
步骤S41:同时触发所有相机,等待所有相机本次采图完成;
步骤S42:将所有相机采集到的图像按照步骤S3中的步骤,进行数据融合,构成一幅多通道图像;
步骤S43:重复步骤S41和步骤S42的步骤。
标注图像包括如下步骤:
步骤S44:在所有相机图像的原图上,能清晰显示缺陷的位置进行打标;
步骤S45:将标记结果通过步骤S3进行坐标系转换,转换后的标注显示在多通道图像上;
步骤S46:将所有转换后的标注取并集,得到的并集作为多通道图像上的标注。
训练神经网络包括如下步骤:
步骤S47:批量的采图和标注图像,构成数据集,
步骤S48:划分数据集为训练集,测试集与验证集;
步骤S49:根据项目的准确率与效率需求,新选择一个神经网络,将标注好的数据送入神经网络进行训练。
步骤S5:使用步骤S1中搭建的装置,配合步骤S3和步骤S4训练好的神经网络对产品进行缺陷检测,具体检测步骤如下:
步骤S51:使用步骤S1中搭建的装置进行采图;
步骤S52:使用步骤S3对步骤S51采集的图像进行数据融合;
步骤S53:将步骤S52融合好的数据送入步骤S4训练好的神经网络对产品进行缺陷检测。
以上说明书中描述的只是本发明的具体实施方式,各种举例说明不对本发明的实质内容构成限制,所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形,而不背离发明的实质和范围。

Claims (10)

1.一种多光谱智能缺陷检测方法,其特征在于:包括如下步骤,
S1:搭建由多种光源组成的多光谱光源,和具有数量与光源相等,且经分光镜后能各自获取相应光谱影像的相机组;
S2:调节步骤S1中搭建的多光谱光源和相机组到理想成像效果;
S3:通过相机标定,坐标系转换和相机组图像融合完成数据融合;
S4:通过采图,标注图像和训练神经网络,构件软件系统;
S5:使用步骤S1中搭建的装置,配合步骤S3和步骤S4训练好的神经网络对产品进行缺陷检测。
2.如权利要求1所述的多光谱智能缺陷检测方法,其特征在于:所述步骤S1搭建的装置包括成角度设置在被测物前方且同时为被测物打光的,第一光谱光源、第二光谱光源、第三光谱光源和第N光谱光源,第一光谱光源、第二光谱光源、第三光谱光源和第N光谱光源组成多光谱光源;
被测物的正前方设置镜头,镜头与被测物之间具有畅通路径,多光谱光源为被测物打光后的反射光通过所述路径形成检测光路,反射光经反射镜调整光路后送入第一分光镜,第一分光镜的侧面安装第一相机组,一部分反射光透过第一分光镜被第一相机组捕捉并拍摄反射光中相应色谱段的被测物图像,另一部分反射光被反射进入第二分光镜;
第二分光镜的侧面安装第二相机组,一部分反射光透过第二分光镜被第二相机组捕捉并拍摄反射光中相应色谱段的被测物图像,另一部分反射光被反射进入第N分光镜;
第N分光镜的侧面安装第N相机组,一部分反射光透过第N分光镜被第N相机组捕捉并拍摄反射光中相应色谱段的被测物图像,另一部分反射光被反射进入第三相机组,第三相机组捕捉并拍摄反射光中相应色谱段的被测物图像。
3.如权利要求1所述的多光谱智能缺陷检测方法,其特征在于:所述步骤S3中的相机标定包括如下步骤:
S31:采用张正友标定法标定出各个相机的参数,参数包括:
Figure QLYQS_1
:第i个相机的外参矩阵,是一个3*3的矩阵;
Figure QLYQS_2
,/>
Figure QLYQS_3
,/>
Figure QLYQS_4
:第i个相机的径向畸变参数;
Figure QLYQS_5
,/>
Figure QLYQS_6
:第i个相机的切向畸变参数。
4.如权利要求3所述的多光谱智能缺陷检测方法,其特征在于:所述径向畸变参数为一组三个,切向畸变参数为一组两个。
5.如权利要求1所述的多光谱智能缺陷检测方法,其特征在于:所述步骤S3中的坐标系转换包括如下步骤:
S32:对每个相机进行畸变矫正,畸变矫正公式包括径向畸变矫正公式和切向畸变矫正公式;
径向畸变矫正公式为:
Figure QLYQS_7
Figure QLYQS_8
切向畸变矫正公式为:
Figure QLYQS_9
Figure QLYQS_10
畸变矫正公式中:
Figure QLYQS_11
,/>
Figure QLYQS_12
,x,y:分别指矫正后的坐标与矫正前坐标;
r:指图像像素点到图像中心点的距离;
S33:按畸变矫正公式先对图像做径向畸变矫正再做切向畸变矫正;
S34:设视野最大的相机为第k个相机,记为相机k,其外参矩阵为
Figure QLYQS_13
,其他相机的外参矩阵用/>
Figure QLYQS_14
表示,j表示所有相机中除了相机k以外的所有相机;将其他相机的图像转换到相机k的图像坐标系下,转换公式为:
Figure QLYQS_15
Figure QLYQS_16
,/>
Figure QLYQS_17
,/>
Figure QLYQS_18
,/>
Figure QLYQS_19
:分别指相机j矫正后的坐标与矫正前坐标,/>
Figure QLYQS_20
指第j个相机外参矩阵的逆,/>
Figure QLYQS_21
指相机k的外参矩阵。
6.如权利要求1所述的多光谱智能缺陷检测方法,其特征在于:所述步骤S3中的图像融合包括如下步骤:
S35:相机k图像的分辨率保持不变其他相机的图像分分辨率缩放为:
Figure QLYQS_22
,其中:/>
Figure QLYQS_23
与/>
Figure QLYQS_24
为相机j的视野宽高,/>
Figure QLYQS_25
与/>
Figure QLYQS_26
为相机k的视野宽高,/>
Figure QLYQS_27
与/>
Figure QLYQS_28
为相机j图像的水平方向与竖直方向的像素分辨率;
S36:步骤S35中相机k图像的分辨率最大,为
Figure QLYQS_29
将其他相机的图像右边、下边以及右下边补0,填充为与之相同的分辨率;
S37:将所有相机图像的灰度值归一化到0-1范围内;
S38:将步骤S37中经过归一化的图像进行通道合并,得到一幅多通道图像。
7.如权利要求1所述的多光谱智能缺陷检测方法,其特征在于:所述步骤S4中的采图包括如下步骤:
S41:同时触发所有相机,等待所有相机本次采图完成;
S42:将所有相机采集到的图像按照步骤S3中的步骤,进行数据融合,构成一幅多通道图像;
S43:重复步骤S41和步骤S42的步骤。
8.如权利要求1所述的多光谱智能缺陷检测方法,其特征在于:所述步骤S4中的标注图像包括如下步骤:
S44:在所有相机图像的原图上,能清晰显示缺陷的位置进行打标;
S45:将标记结果通过步骤S3进行坐标系转换,转换后的标注显示在多通道图像上;
S46:将所有转换后的标注取并集,得到的并集作为多通道图像上的标注。
9.如权利要求1所述的多光谱智能缺陷检测方法,其特征在于:所述步骤S4中的训练神经网络包括如下步骤:
S47:批量的采图和标注图像,构成数据集;
S48:划分数据集为训练集,测试集与验证集;
S49:根据项目的准确率与效率需求,新选择一个神经网络,将标注好的数据送入神经网络进行训练。
10.如权利要求1所述的多光谱智能缺陷检测方法,其特征在于:所述步骤S5中对产品进行缺陷检测包括如下步骤:
S51:使用步骤S1中搭建的装置进行采图;
S52:使用步骤S3对步骤S51采集的图像进行数据融合;
S53:将步骤S52融合好的数据送入步骤S4训练好的神经网络对产品进行缺陷检测。
CN202310523781.1A 2023-05-11 2023-05-11 多光谱智能缺陷检测方法 Active CN116297496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310523781.1A CN116297496B (zh) 2023-05-11 2023-05-11 多光谱智能缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310523781.1A CN116297496B (zh) 2023-05-11 2023-05-11 多光谱智能缺陷检测方法

Publications (2)

Publication Number Publication Date
CN116297496A true CN116297496A (zh) 2023-06-23
CN116297496B CN116297496B (zh) 2023-08-01

Family

ID=86796168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310523781.1A Active CN116297496B (zh) 2023-05-11 2023-05-11 多光谱智能缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116297496B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117517326A (zh) * 2024-01-04 2024-02-06 中成空间(深圳)智能技术有限公司 柔性光伏组件的批量电池片检测方法、装置及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112098337A (zh) * 2020-08-31 2020-12-18 清华大学深圳国际研究生院 一种高分辨率光谱图像快速获取装置及方法
KR102197297B1 (ko) * 2019-09-27 2020-12-31 서울대학교산학협력단 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법
WO2021150973A1 (en) * 2020-01-24 2021-07-29 Duke University Intelligent automated imaging system
CN113483892A (zh) * 2021-06-25 2021-10-08 七海测量技术(深圳)有限公司 一种多光谱影像测量系统和方法
CN114897990A (zh) * 2022-03-31 2022-08-12 聚时科技(上海)有限公司 一种基于神经网络的相机畸变标定方法、系统和存储介质
CN114937233A (zh) * 2022-05-13 2022-08-23 上海叠铖光电科技有限公司 一种基于多光谱数据深度学习的识别方法和识别装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102197297B1 (ko) * 2019-09-27 2020-12-31 서울대학교산학협력단 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법
WO2021150973A1 (en) * 2020-01-24 2021-07-29 Duke University Intelligent automated imaging system
CN112098337A (zh) * 2020-08-31 2020-12-18 清华大学深圳国际研究生院 一种高分辨率光谱图像快速获取装置及方法
CN113483892A (zh) * 2021-06-25 2021-10-08 七海测量技术(深圳)有限公司 一种多光谱影像测量系统和方法
CN114897990A (zh) * 2022-03-31 2022-08-12 聚时科技(上海)有限公司 一种基于神经网络的相机畸变标定方法、系统和存储介质
CN114937233A (zh) * 2022-05-13 2022-08-23 上海叠铖光电科技有限公司 一种基于多光谱数据深度学习的识别方法和识别装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117517326A (zh) * 2024-01-04 2024-02-06 中成空间(深圳)智能技术有限公司 柔性光伏组件的批量电池片检测方法、装置及系统
CN117517326B (zh) * 2024-01-04 2024-05-07 中成空间(深圳)智能技术有限公司 柔性光伏组件的批量电池片检测方法、装置及系统

Also Published As

Publication number Publication date
CN116297496B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN107024339B (zh) 一种头戴显示设备的测试装置及方法
CN116297496B (zh) 多光谱智能缺陷检测方法
CN107800965B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
US20120147232A1 (en) Imaging apparatus
CN109714535A (zh) 一种基于色差的自动对焦机器视觉测量装置及方法
CN105046647B (zh) 全液晶仪表360°全景车用监控系统及其工作方法
CN111462693A (zh) 一种对amoled曲面屏进行外部光学补偿的方法及系统
CN111047586B (zh) 一种基于机器视觉的像素当量测量方法
CN106093055B (zh) 一种复数张菲林质量检测方法
CN111986267B (zh) 一种多相机视觉系统的坐标系统标定方法
CN109596054A (zh) 长条形工件的尺寸检测识别方法
JP2014035261A (ja) 情報処理方法、情報処理装置、プログラム、撮像装置、検査方法、検査装置、及び基板の製造方法
CN113538431B (zh) 显示屏瑕疵定位方法、装置、终端设备及系统
JPH1141629A (ja) 校正パターン表示装置及びこの校正パターン表示装置が適用されるカラー表示装置の表示特性測定装置
CN102592302A (zh) 数字化卡通智能动检系统及动检方法
CN112326683B (zh) 一种利用光谱差分平场矫正检测镜头洁净度的方法
CN104869375B (zh) 一种图像边缘融合中的三维平滑曲面颜色校正系统及方法
CN106546196B (zh) 一种光轴实时校准方法及系统
CN112992336A (zh) 一种病理智能诊断系统
CN115776560B (zh) 基于裸眼3d技术的图像拼接修复处理系统及其方法
CN108230385B (zh) 单相机运动检测超高叠层、超薄烟标数量方法及装置
CN104034729A (zh) 用于电路板分选的五维成像系统及其成像方法
CN109932160A (zh) Aoi与灰度计检测系统及方法
CN108848358A (zh) 色彩汇聚误差的修正方法及装置
CN112562008B (zh) 一种局部双目视觉测量中的靶标点匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant