CN116297496B - 多光谱智能缺陷检测方法 - Google Patents
多光谱智能缺陷检测方法 Download PDFInfo
- Publication number
- CN116297496B CN116297496B CN202310523781.1A CN202310523781A CN116297496B CN 116297496 B CN116297496 B CN 116297496B CN 202310523781 A CN202310523781 A CN 202310523781A CN 116297496 B CN116297496 B CN 116297496B
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- light source
- cameras
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 230000007547 defect Effects 0.000 title claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims abstract description 6
- 230000003595 spectral effect Effects 0.000 claims abstract description 3
- 238000001228 spectrum Methods 0.000 claims description 42
- 238000012937 correction Methods 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 claims description 5
- 238000005498 polishing Methods 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及多光谱缺陷检测，为了解决现有的光谱缺陷检测存在成本高、工位多、检测耗时和效率低的问题，提供一种多光谱智能缺陷检测方法，包括如下步骤，S1：搭建由多种光源组成的多光谱光源，和具有数量与光源相等，且经分光镜后能各自获取相应光谱影像的相机组；S2：调节S1搭建的多光谱光源和相机组到理想成像效果；S3：通过相机标定，坐标系转换和相机组图像融合完成数据融合；S4：通过采图，标注图像和训练神经网络，构件软件系统；S5：使用S1中搭建的装置，配合S3和S4训练好的神经网络对产品进行缺陷检测，本发明具有造价低、工位少、检测快速和检测效率高的特点。
Description
技术领域
本发明涉及多光谱缺陷检测，尤其是一种多光谱智能缺陷检测方法。
背景技术
1）、早前的检测方法将多光谱用于机器视觉非标检测项目，是直接使用多光谱相机对被测物进行成像；传统的多光谱相机由于视野与帧率限制，且价格昂贵，很难直接与深度学习结合，用于机器视觉缺陷检测的问题。
2）、后来为了降低成本，逐渐使用多个不同的特定光谱相机，这些相机相对于多光谱相机视野与帧率都有提升，且价格较低，分多个工位，对被测物进行拍照，得到多张不同光谱的图像，使用这些图像来综合分析检测被测物；存在问题如下：
①、直接使用多光谱相机，则目前市场上多光谱相机的视野与帧率普遍都很低，很难满足机器视觉非标检测项目的需求，且多光谱相机价格较高，增加项目成本；
②、多个不同的特定光谱相机分多个工位进行检测，则由于不同工位相机相对于被测物安放位置不同，相机拍摄的图像很难完成对齐操作，而对齐操作是完成图像在通道维度上的融合，从而使数据能够直接送入深度学习网络的关键步骤；且由于是分为多个工位，多个相机无法同时拍照，需要分先后顺序进行拍照，以及需要运动装置将被测物送到各个工位，该过程非常耗时，严重影响效率。
综上所述现有的光谱缺陷检测存在成本高、工位多、检测耗时和效率低的问题。
发明内容
本发明要解决的技术问题是：为了解决现有的光谱缺陷检测存在成本高、工位多、检测耗时和效率低的问题，提供一种多光谱智能缺陷检测方法。
本发明解决其技术问题所采用的技术方案是：一种多光谱智能缺陷检测方法，包括如下步骤，
S1：搭建由多种光源组成的多光谱光源，和具有数量与光源相等，且经分光镜后能各自获取相应光谱影像的相机组；
S2：调节步骤S1中搭建的多光谱光源和相机组到理想成像效果；
S3：通过相机标定，坐标系转换和相机组图像融合完成数据融合；
S4：通过采图，标注图像和训练神经网络，构件软件系统；
S5：使用步骤S1中搭建的装置，配合步骤S3和步骤S4训练好的神经网络对产品进行缺陷检测。
进一步地，所述步骤S1搭建的装置包括成角度设置在被测物前方且同时为被测物打光的，第一光谱光源、第二光谱光源、第三光谱光源和第N光谱光源，第一光谱光源、第二光谱光源、第三光谱光源和第N光谱光源组成多光谱光源；
被测物的正前方设置镜头，镜头与被测物之间具有畅通路径，多光谱光源为被测物打光后的反射光通过所述路径形成检测光路，反射光经反射镜调整光路后送入第一分光镜，第一分光镜的侧面安装第一相机组，一部分反射光透过第一分光镜被第一相机组捕捉并拍摄反射光中相应色谱段的被测物图像，另一部分反射光被反射进入第二分光镜；
第二分光镜的侧面安装第二相机组，一部分反射光透过第二分光镜被第二相机组捕捉并拍摄反射光中相应色谱段的被测物图像，另一部分反射光被反射进入第N分光镜；
第N分光镜的侧面安装第N相机组，一部分反射光透过第N分光镜被第N相机组捕捉并拍摄反射光中相应色谱段的被测物图像，另一部分反射光被反射进入第三相机组，第三相机组捕捉并拍摄反射光中相应色谱段的被测物图像。
进一步地，所述步骤S3中的相机标定包括如下步骤：
S31：采用张正友标定法标定出各个相机的参数，参数包括：
：第i个相机的外参矩阵，是一个3*3的矩阵；
，/>，/>：第i个相机的径向畸变参数；
，/>：第i个相机的切向畸变参数。
进一步地，所述径向畸变参数为一组三个，切向畸变参数为一组两个。
进一步地，所述步骤S3中的坐标系转换包括如下步骤：
S32：对每个相机进行畸变矫正，畸变矫正公式包括径向畸变矫正公式和切向畸变矫正公式；
径向畸变矫正公式为：
切向畸变矫正公式为：
畸变矫正公式中：
，/>，x，y：分别指矫正后的坐标与矫正前坐标；
r：指图像像素点到图像中心点的距离；
S33：按畸变矫正公式先对图像做径向畸变矫正再做切向畸变矫正；
S34：设视野最大的相机为第k个相机，记为相机k，其外参矩阵为，其他相机的外参矩阵用/>表示，j表示所有相机中除了相机k以外的所有相机；将其他相机的图像转换到相机k的图像坐标系下，转换公式为：
，/>，/>，/>：分别指相机j矫正后的坐标与矫正前坐标，/>指第j个相机外参矩阵的逆，/>指相机k的外参矩阵。
进一步地，所述步骤S3中的图像融合包括如下步骤：
S35：相机k图像的分辨率保持不变其他相机的图像分分辨率缩放为：
，其中：/>与/>为相机j的视野宽高，/>与为相机k的视野宽高,/>与/>为相机j图像的水平方向与竖直方向的像素分辨率；
S36：步骤S35中相机k图像的分辨率最大，为将其他相机的图像右边、下边以及右下边补0，填充为与之相同的分辨率；
S37：将所有相机图像的灰度值归一化到0-1范围内；
S38：将步骤S37中经过归一化的图像进行通道合并，得到一幅多通道图像。
进一步地，所述步骤S4中的采图包括如下步骤：
S41：同时触发所有相机，等待所有相机本次采图完成；
S42：将所有相机采集到的图像按照步骤S3中的步骤，进行数据融合，构成一幅多通道图像；
S43：重复步骤S41和步骤S42的步骤。
进一步地，所述步骤S4中的标注图像包括如下步骤：
S44：在所有相机图像的原图上，能清晰显示缺陷的位置进行打标；
S45：将标记结果通过步骤S3进行坐标系转换，转换后的标注显示在多通道图像上；
S46：将所有转换后的标注取并集，得到的并集作为多通道图像上的标注。
进一步地，所述步骤S4中的训练神经网络包括如下步骤：
S47：批量的采图和标注图像，构成数据集；
S48：划分数据集为训练集，测试集与验证集；
S49：根据项目的准确率与效率需求，新选择一个神经网络，将标注好的数据送入神经网络进行训练。
进一步地，所述步骤S5中对产品进行缺陷检测包括如下步骤：
S51：使用步骤S1中搭建的装置进行采图；
S52：使用步骤S3对步骤S51采集的图像进行数据融合；
S53：将步骤S52融合好的数据送入步骤S4训练好的神经网络对产品进行缺陷检测。
本发明的有益效果是，本发明的一种多光谱智能缺陷检测方法，（1）本发明使用多个不同的特定谱段的相机（相对于多光谱相机价格低得多），通过分光装置进行组合，构成多光谱成像装置，能达到多光谱相机的成像效果，且增大了视野与帧率，同时降低了成本，使得多光谱成像可用于机器视觉非标检测项目；（2）相对于直接使用多个不同的特定光谱相机分多个工位进行成像的方案，本发明设计了分光装置，将多个相机组合成一套成像装置，使得被测物在各相机中的外参理论上相同，只需做略微调整就能用于图像的对齐操作，从而完成图像在通道维度上的融合，从而可以送入深度学习网络；且本发明设计的机械结构使得多个相机能够同时对被测物进行拍照，从而提高了成像效率；（3）本发明通过以分光装置为核心搭建的，由不同光谱相机与光源组成的成像系统，替代传统的多光谱相机，从而提高了视野与帧率，同时相对于传统多光谱相机降低了成本。随着视野与帧率提高，使得多光谱可适用于对视野与帧率以及成本要求较高的机器视觉非标检测项目，且可以与深度学习结合，达到更好的检测效果。
综上所述本发明具有造价低、工位少、检测快速和检测效率高的特点。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的步骤S1中搭建装置的结构示意图。
图2是本发明的运作流程图。
图中：1.被测物，2.红外光源，3.可见光源，4.紫外光源，5.镜头，6.反射镜，7.分光镜，8.紫外相机，9.红外相机，10.可见光相机。
具体实施方式
现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1和图2所述的一种多光谱智能缺陷检测方法，
步骤S1：如图1所示搭建装置，其中分光镜7为半透半反材质，即一半的光产生反射，另一半的光会透射，按照图中的光路图，将镜头5从被测物1处采集的光信号送入所有的相机进行成像；使用与相机谱段相对应的光源对被测物1打光，本发明中就使用了3个相机，一个可见光相机10，一个红外相机9和一个紫外相机8，同时也对应地使用可见光源3，红外光源2与紫外光源4对被测物1进行打光；可根据实际项目需求来选择相机谱段或者增减相机数量，同时根据相机选择光源，按照本发明的原理对装置进行适当地修改；反射镜6用于改变光路路径使相机能更好的成像。
步骤S2：调节光源位姿以及相机成像参数，使所有相机的成像效果都能够满足需求。
步骤S3：通过相机标定，坐标系转换和相机组图像融合完成数据融合；
其中相机标定包括如下步骤：
步骤S31：采用张正友标定法标定出各个相机的参数，参数包括：
：第i个相机的外参矩阵，是一个3*3的矩阵；
，/>，/>：第i个相机的径向畸变参数；
，/>：第i个相机的切向畸变参数。
坐标系转换包括如下步骤：
步骤S32：对每个相机进行畸变矫正，畸变矫正公式包括径向畸变矫正公式和切向畸变矫正公式；
径向畸变矫正公式为：
切向畸变矫正公式为：
畸变矫正公式中：
，/>，x，y：分别指矫正后的坐标与矫正前坐标；
r：指图像像素点到图像中心点的距离；
步骤S33：按畸变矫正公式先对图像做径向畸变矫正再做切向畸变矫正；
步骤S34：设视野最大的相机为第k个相机，记为相机k，其外参矩阵为，其他相机的外参矩阵用/>表示，j表示所有相机中除了相机k以外的所有相机；将其他相机的图像转换到相机k的图像坐标系下，转换公式为：
，/>，/>，/>：分别指相机j矫正后的坐标与矫正前坐标，/>指第j个相机外参矩阵的逆，/>指相机k的外参矩阵。
图像融合包括如下步骤：
步骤S35：相机k图像的分辨率保持不变其他相机的图像分分辨率缩放为：
，其中：/>与/>为相机j的视野宽高，/>与为相机k的视野宽高,/>与/>为相机j图像的水平方向与竖直方向的像素分辨率；
步骤S36：步骤S35中相机k图像的分辨率最大，为将其他相机的图像右边、下边以及右下边补0，填充为与之相同的分辨率；
步骤S37：将所有相机图像的灰度值归一化到0-1范围内；
步骤S38：将步骤S37中经过归一化的图像进行通道合并，得到一幅多通道图像。
步骤S4：通过采图，标注图像和训练神经网络，构件软件系统；
其中采图包括如下步骤：
步骤S41：同时触发所有相机，等待所有相机本次采图完成；
步骤S42：将所有相机采集到的图像按照步骤S3中的步骤，进行数据融合，构成一幅多通道图像；
步骤S43：重复步骤S41和步骤S42的步骤。
标注图像包括如下步骤：
步骤S44：在所有相机图像的原图上，能清晰显示缺陷的位置进行打标；
步骤S45：将标记结果通过步骤S3进行坐标系转换，转换后的标注显示在多通道图像上；
步骤S46：将所有转换后的标注取并集，得到的并集作为多通道图像上的标注。
训练神经网络包括如下步骤：
步骤S47：批量的采图和标注图像，构成数据集，
步骤S48：划分数据集为训练集，测试集与验证集；
步骤S49：根据项目的准确率与效率需求，新选择一个神经网络，将标注好的数据送入神经网络进行训练。
步骤S5：使用步骤S1中搭建的装置，配合步骤S3和步骤S4训练好的神经网络对产品进行缺陷检测，具体检测步骤如下：
步骤S51：使用步骤S1中搭建的装置进行采图；
步骤S52：使用步骤S3对步骤S51采集的图像进行数据融合；
步骤S53：将步骤S52融合好的数据送入步骤S4训练好的神经网络对产品进行缺陷检测。
以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离发明的实质和范围。
Claims (7)
1.一种多光谱智能缺陷检测方法，其特征在于：包括如下步骤，
S1：搭建由多种光源组成的多光谱光源，和具有数量与光源相等，且经分光镜后能各自获取相应光谱影像的相机组；
S2：调节步骤S1中搭建的多光谱光源和相机组到理想成像效果；
S3：通过相机标定，坐标系转换和相机组图像融合完成数据融合；
S4：通过采图，标注图像和训练神经网络，构件软件系统；
S5：使用步骤S1中搭建的装置，配合步骤S3和步骤S4训练好的神经网络对产品进行缺陷检测；
所述步骤S1搭建的装置包括成角度设置在被测物前方且同时为被测物打光的，第一光谱光源、第二光谱光源、第三光谱光源和第N光谱光源，第一光谱光源、第二光谱光源、第三光谱光源和第N光谱光源组成多光谱光源；
被测物的正前方设置镜头，镜头与被测物之间具有畅通路径，多光谱光源为被测物打光后的反射光通过所述路径形成检测光路，反射光经反射镜调整光路后送入第一分光镜，第一分光镜的侧面安装第一相机组，一部分反射光透过第一分光镜被第一相机组捕捉并拍摄反射光中相应色谱段的被测物图像，另一部分反射光被反射进入第二分光镜；
第二分光镜的侧面安装第二相机组，一部分反射光透过第二分光镜被第二相机组捕捉并拍摄反射光中相应色谱段的被测物图像，另一部分反射光被反射进入第N分光镜；
第N分光镜的侧面安装第N相机组，一部分反射光透过第N分光镜被第N相机组捕捉并拍摄反射光中相应色谱段的被测物图像，另一部分反射光被反射进入第三相机组，第三相机组捕捉并拍摄反射光中相应色谱段的被测物图像；
所述步骤S3中的图像融合包括如下步骤：
S35：相机k图像的分辨率保持不变其他相机的图像分分辨率缩放为：
，其中：/>与/>为相机j的视野宽高，/>与/>为相机k的视野宽高/>与/>为相机j图像的水平方向与竖直方向的像素分辨率；
S36：步骤S35中相机k图像的分辨率最大，为，将其他相机的图像右边、下边以及右下边补0，填充为与之相同的分辨率；
S37：将所有相机图像的灰度值归一化到0-1范围内；
S38：将步骤S37中经过归一化的图像进行通道合并，得到一幅多通道图像；
所述步骤S4中的采图包括如下步骤：
S41：同时触发所有相机，等待所有相机本次采图完成；
S42：将所有相机采集到的图像按照步骤S3中的步骤，进行数据融合，构成一幅多通道图像；
S43：重复步骤S41和步骤S42的步骤。
2.如权利要求1所述的多光谱智能缺陷检测方法，其特征在于：所述步骤S3中的相机标定包括如下步骤：
S31：采用张正友标定法标定出各个相机的参数，参数包括：
：第i个相机的外参矩阵，是一个3*3的矩阵；
，/>，/>：第i个相机的径向畸变参数；
，/>：第i个相机的切向畸变参数。
3.如权利要求2所述的多光谱智能缺陷检测方法，其特征在于：所述径向畸变参数为一组三个，切向畸变参数为一组两个。
4.如权利要求1所述的多光谱智能缺陷检测方法，其特征在于：所述步骤S3中的坐标系转换包括如下步骤：
S32：对每个相机进行畸变矫正，畸变矫正公式包括径向畸变矫正公式和切向畸变矫正公式；
径向畸变矫正公式为：
切向畸变矫正公式为：
畸变矫正公式中：
，/>，x，y：分别指矫正后的坐标与矫正前坐标；
r：指图像像素点到图像中心点的距离；
S33：按畸变矫正公式先对图像做径向畸变矫正再做切向畸变矫正；
S34：设视野最大的相机为第k个相机，记为相机k，其外参矩阵为，其他相机的外参矩阵用/>表示，j表示所有相机中除了相机k以外的所有相机；将其他相机的图像转换到相机k的图像坐标系下，转换公式为：
，/>，/> ，/>：分别指相机j矫正后的坐标与矫正前坐标, />指第j个相机外参矩阵的逆，/>指相机k的外参矩阵。
5.如权利要求1所述的多光谱智能缺陷检测方法，其特征在于：所述步骤S4中的标注图像包括如下步骤：
S44：在所有相机图像的原图上，能清晰显示缺陷的位置进行打标；
S45：将标记结果通过步骤S3进行坐标系转换，转换后的标注显示在多通道图像上；
S46：将所有转换后的标注取并集，得到的并集作为多通道图像上的标注。
6.如权利要求1所述的多光谱智能缺陷检测方法，其特征在于：所述步骤S4中的训练神经网络包括如下步骤：
S47：批量的采图和标注图像，构成数据集；
S48：划分数据集为训练集，测试集与验证集；
S49：根据项目的准确率与效率需求，新选择一个神经网络，将标注好的数据送入神经网络进行训练。
7.如权利要求1所述的多光谱智能缺陷检测方法，其特征在于：所述步骤S5中对产品进行缺陷检测包括如下步骤：
S51：使用步骤S1中搭建的装置进行采图；
S52：使用步骤S3对步骤S51采集的图像进行数据融合；
S53：将步骤S52融合好的数据送入步骤S4训练好的神经网络对产品进行缺陷检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310523781.1A CN116297496B (zh) | 2023-05-11 | 2023-05-11 | 多光谱智能缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310523781.1A CN116297496B (zh) | 2023-05-11 | 2023-05-11 | 多光谱智能缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116297496A CN116297496A (zh) | 2023-06-23 |
| CN116297496B true CN116297496B (zh) | 2023-08-01 |
Family
ID=86796168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310523781.1A Active CN116297496B (zh) | 2023-05-11 | 2023-05-11 | 多光谱智能缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116297496B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117517326B (zh) * | 2024-01-04 | 2024-05-07 | 中成空间（深圳）智能技术有限公司 | 柔性光伏组件的批量电池片检测方法、装置及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102197297B1 (ko) * | 2019-09-27 | 2020-12-31 | 서울대학교산학협력단 | 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법 |
| WO2021150973A1 (en) * | 2020-01-24 | 2021-07-29 | Duke University | Intelligent automated imaging system |
| CN112098337B (zh) * | 2020-08-31 | 2023-10-10 | 清华大学深圳国际研究生院 | 一种高分辨率光谱图像快速获取装置及方法 |
| CN113483892B (zh) * | 2021-06-25 | 2024-05-17 | 七海测量技术（深圳）有限公司 | 一种多光谱影像测量系统和方法 |
| CN114897990A (zh) * | 2022-03-31 | 2022-08-12 | 聚时科技(上海)有限公司 | 一种基于神经网络的相机畸变标定方法、系统和存储介质 |
| CN114937233A (zh) * | 2022-05-13 | 2022-08-23 | 上海叠铖光电科技有限公司 | 一种基于多光谱数据深度学习的识别方法和识别装置 |
-
2023
- 2023-05-11 CN CN202310523781.1A patent/CN116297496B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN116297496A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107024339B (zh) | 一种头戴显示设备的测试装置及方法 | |
| CN116297496B (zh) | 多光谱智能缺陷检测方法 | |
| CN111462693B (zh) | 一种对amoled曲面屏进行外部光学补偿的方法及系统 | |
| WO2017121058A1 (zh) | 一种全光信息采集系统 | |
| CN109714535A (zh) | 一种基于色差的自动对焦机器视觉测量装置及方法 | |
| US20120147232A1 (en) | Imaging apparatus | |
| CN102213618A (zh) | 颜色测定装置、以及颜色测定方法 | |
| CN105046647B (zh) | 全液晶仪表360°全景车用监控系统及其工作方法 | |
| CN113538431B (zh) | 显示屏瑕疵定位方法、装置、终端设备及系统 | |
| CN111047586B (zh) | 一种基于机器视觉的像素当量测量方法 | |
| CN106093055B (zh) | 一种复数张菲林质量检测方法 | |
| CN110940670A (zh) | 基于机器视觉的柔印标签印刷首稿检测系统及其实现方法 | |
| CN109596054A (zh) | 长条形工件的尺寸检测识别方法 | |
| CN102592302A (zh) | 数字化卡通智能动检系统及动检方法 | |
| JPH1141629A (ja) | 校正パターン表示装置及びこの校正パターン表示装置が適用されるカラー表示装置の表示特性測定装置 | |
| CN108230385B (zh) | 单相机运动检测超高叠层、超薄烟标数量方法及装置 | |
| CN112326683B (zh) | 一种利用光谱差分平场矫正检测镜头洁净度的方法 | |
| CN104869375B (zh) | 一种图像边缘融合中的三维平滑曲面颜色校正系统及方法 | |
| CN113624458A (zh) | 基于双路全投射光的薄膜均匀性检测系统 | |
| CN112992336A (zh) | 一种病理智能诊断系统 | |
| CN115578473B (zh) | 一种衍射光波导输出图像校正方法及系统 | |
| CN115776560B (zh) | 基于裸眼3d技术的图像拼接修复处理系统及其方法 | |
| CN109932160A (zh) | Aoi与灰度计检测系统及方法 | |
| CN110696481A (zh) | 一种印花机自动对版方法 | |
| CN106768891B (zh) | 一种基于反射图像方法检测物体表面法线误差的专用设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |