CN117132590B - 一种基于图像的多板卡缺陷检测方法及装置 - Google Patents
一种基于图像的多板卡缺陷检测方法及装置 Download PDFInfo
- Publication number
- CN117132590B CN117132590B CN202311378207.8A CN202311378207A CN117132590B CN 117132590 B CN117132590 B CN 117132590B CN 202311378207 A CN202311378207 A CN 202311378207A CN 117132590 B CN117132590 B CN 117132590B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- unmatched
- grating
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 32
- 230000002950 deficient Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 9
- 230000008447 perception Effects 0.000 claims description 9
- 238000004519 manufacturing process Methods 0.000 claims description 7
- 230000006855 networking Effects 0.000 claims description 6
- 230000001678 irradiating effect Effects 0.000 claims description 5
- 238000013461 design Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 229940049705 immune stimulating antibody conjugate Drugs 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000008187 granular material Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于图像的多板卡缺陷检测方法及装置,涉及数据处理领域,在该方法中,通过对M张板分别拍摄图像,共M张图像,以便通过将M张图像相互之间进行图像匹配,就可以确定M张板卡中是否有存在缺陷的板卡,无需人工处理,也无需神经网络处理,从而可以实现以更低的成本实现板卡缺陷检测。
Description
技术领域
本发明涉及数据处理领域,尤其涉及一种基于图像的多板卡缺陷检测方法及装置。
背景技术
缺陷检测是生产过程中的重要环节,其通过对产品进行分析,能够检测出质量存在缺陷的残次品。以板卡生产为例,板卡质量要求其板面需要平整且光滑,不能存在裂缝,鼓包,凹陷等。因此,一种方式的通过人工进行缺陷检测,以筛选出质量存在缺陷的板卡,但其缺点在于人力成本很高。另一种方式是对板卡进行拍摄,然后通过神经网络对拍摄的图像进行处理,以确定出质量存在缺陷的板卡,然而,神经网络的训练以及重训练也需要耗费资源和成本。
因此,如何以更低的成本实现板卡缺陷检测是目前研究的热点问题。
发明内容
本发明实施例提供一种基于图像的多板卡缺陷检测方法及装置,以更低的成本实现板卡缺陷检测。
为达到上述目的,本发明采用如下技术方案:
第一方面,提供一种基于图像的多板卡缺陷检测方法,该方法包括:获取M张板卡各自的图像,共M张图像,M为大于1的整数;通过将M张图像相互之间进行图像匹配,得到M张图像各自的匹配结果,共M个匹配结果;根据M个匹配结果,确定M张板卡中是否有存在缺陷的板卡。
一种可能的设计方案中,通过将M张图像相互之间进行图像匹配,得到M张图像各自的匹配结果,共M个匹配结果,包括;将M张图像中的第i张图像,i遍历1至M,与M张图像中的M-1张图像匹配,得到第i张图像的匹配结果,M-1张图像为M张图像中除第i张图像以外的其他图像。
可选地,将M张图像中的第i张图像,i遍历1至M,与M张图像中的M-1张图像匹配,得到第i张图像的匹配结果,包括:对第i张图像进行格栅化处理,得到第i张图像的N个格栅图像,其中,N为大于1的整数,第i张图像的N个格栅图像拼接即为第i张图像;将第i张图像的N个格栅图像中的第j个格栅图像,j遍历1至N,分别与M-1张图像匹配,得到第i张图像的N个格栅图像中不匹配的格栅图像,以及不匹配的格栅图像中不匹配的区域在不匹配的格栅图像中的坐标;通过将第i张图像的N个格栅图像拼接即为第i张图像,确定不匹配的区域在第i张图像中的坐标,其中,不匹配的区域在第i张图像中的坐标即为第i张图像的匹配结果。
进一步的,将第i张图像的N个格栅图像中的第j个格栅图像,j遍历1至N,分别与M-1张图像匹配,得到第i张图像的N个格栅图像中不匹配的格栅图像,以及不匹配的格栅图像中不匹配的区域在不匹配的格栅图像中的坐标,包括;
针对M张板卡均是有图案或非均色的板卡;
对M-1张图像中的每张图像均进行格栅化处理,得到每张图像的N个格栅图像,其中,每张图像的N个格栅图像拼接即为该张图像,每张图像的N个格栅图像中的第j个格栅图像的尺寸与第i张图像的N个格栅图像的第j个格栅图像的尺寸相同;将第i张图像的N个格栅图像中的第j个格栅图像,与每张图像的N个格栅图像中的第j个格栅图像进行匹配,j遍历1至N,得到不匹配的格栅图像,以及不匹配的格栅图像中不匹配的区域在不匹配的格栅图像中的坐标;
或者,针对M张板卡均是有无图案且均色的板卡;
对M-1张图像中的每张图像均进行格栅化处理,得到每张图像的N个格栅图像,其中,每张图像的N个格栅图像拼接即为该张图像,第i张图像的N个格栅图像的第j个格栅图像的尺寸与每张图像的N个格栅图像中的任一格栅图像的尺相同;将第i张图像的N个格栅图像中的第j个格栅图像,与每张图像的N个格栅图像中随机抽取的任一个格栅图像进行匹配,j遍历1至N,得到不匹配的格栅图像,以及不匹配的格栅图像中不匹配的区域在不匹配的格栅图像中的坐标。
例如,将第i张图像的N个格栅图像中的第j个格栅图像,与每张图像的N个格栅图像中的第j个格栅图像进行匹配,j遍历1至N,得到不匹配的格栅图像,以及不匹配的格栅图像中不匹配的区域在不匹配的格栅图像中的坐标,包括:
通过将第i张图像的N个格栅图像中的第j个格栅图像的每个像素点的像素值,与每张图像的N个格栅图像中的第j个格栅图像中对应的每个像素点的像素值比较,确定第i张图像的N个格栅图像中像素值的差值大于预设阈值的像素点,像素值的差值大于预设阈值的像素点所在的格栅图像即为不匹配的格栅图像;对像素值的差值大于预设阈值的像素点进行扩大区域范围的泛化处理,得到不匹配的区域,并确定不匹配的区域在不匹配的格栅图像中的坐标。
又例如,将第i张图像的N个格栅图像中的第j个格栅图像,与每张图像的N个格栅图像中随机抽取的任一个格栅图像进行匹配,j遍历1至N,得到不匹配的格栅图像,以及不匹配的格栅图像中不匹配的区域在不匹配的格栅图像中的坐标,包括:
通过将第i张图像的N个格栅图像中的第j个格栅图像的每个像素点的像素值,与每张图像的N个格栅图像中随机抽取的任一个格栅图像中对应的每个像素点的像素值比较,确定第i张图像的N个格栅图像中像素值的差值大于预设阈值的像素点,像素值的差值大于预设阈值的像素点所在的格栅图像即为不匹配的格栅图像;对像素值的差值大于预设阈值的像素点进行扩大区域范围的泛化处理,得到不匹配的区域,并确定不匹配的区域在不匹配的格栅图像中的坐标。
一种可能的设计方案中,根据M个匹配结果,确定M张板卡中是否有存在缺陷的板卡,包括;根据M个匹配结果,从M张图像中确定存在不匹配的区域的目标图像;通过对目标图像对应的板卡执行通信感知一体化操作,确定目标图像对应的目标板卡是否为存在缺陷的板卡。
可选地,M张板卡的生产线上的第一智能机床和第二智能机床之间设置有滑轨,且第一智能机床和第二智能机床通过侧行波束组网连接;通过对目标图像对应的目标板卡执行通信感知一体化操作,确定目标图像对应的目标板卡是否为存在缺陷的板卡,包括;通过滑轨将目标板卡移动到第一智能机床和第二智能机床之间;在第一智能机床和第二智能机床使用侧行波束通信的过程中,侧行波束方向面向目标板卡存在不匹配的区域的第一智能机床,使用侧行波束照射不匹配的区域;第一智能机床根据侧行波束照射产生的回波信号,确定目标图像对应的目标板卡是否为存在缺陷的板卡。
其中,照射不匹配的区域的侧行波束为至少一个侧行窄波束,至少一个侧行窄波束有侧行窄波束能覆盖不匹配的区域边缘,若回波信号的强度大于强度阈值,则表示目标图像对应的目标板卡为存在缺陷的板卡。
第二方面,提供一种基于图像的多板卡缺陷检测装置,该装置被配置为:获取M张板卡各自的图像,共M张图像,M为大于1的整数;通过将M张图像相互之间进行图像匹配,得到M张图像各自的匹配结果,共M个匹配结果;根据M个匹配结果,确定M张板卡中是否有存在缺陷的板卡。
一种可能的设计方案中,该装置被配置为:将M张图像中的第i张图像,i遍历1至M,与M张图像中的M-1张图像匹配,得到第i张图像的匹配结果,M-1张图像为M张图像中除第i张图像以外的其他图像。
可选地,该装置被配置为:对第i张图像进行格栅化处理,得到第i张图像的N个格栅图像,其中,N为大于1的整数,第i张图像的N个格栅图像拼接即为第i张图像;将第i张图像的N个格栅图像中的第j个格栅图像,j遍历1至N,分别与M-1张图像匹配,得到第i张图像的N个格栅图像中不匹配的格栅图像,以及不匹配的格栅图像中不匹配的区域在不匹配的格栅图像中的坐标;通过将第i张图像的N个格栅图像拼接即为第i张图像,确定不匹配的区域在第i张图像中的坐标,其中,不匹配的区域在第i张图像中的坐标即为第i张图像的匹配结果。
进一步的,该装置被配置为:针对M张板卡均是有图案或非均色的板卡;
对M-1张图像中的每张图像均进行格栅化处理,得到每张图像的N个格栅图像,其中,每张图像的N个格栅图像拼接即为该张图像,每张图像的N个格栅图像中的第j个格栅图像的尺寸与第i张图像的N个格栅图像的第j个格栅图像的尺寸相同;将第i张图像的N个格栅图像中的第j个格栅图像,与每张图像的N个格栅图像中的第j个格栅图像进行匹配,j遍历1至N,得到不匹配的格栅图像,以及不匹配的格栅图像中不匹配的区域在不匹配的格栅图像中的坐标;
或者,针对M张板卡均是有无图案且均色的板卡;
对M-1张图像中的每张图像均进行格栅化处理,得到每张图像的N个格栅图像,其中,每张图像的N个格栅图像拼接即为该张图像,第i张图像的N个格栅图像的第j个格栅图像的尺寸与每张图像的N个格栅图像中的任一格栅图像的尺相同;将第i张图像的N个格栅图像中的第j个格栅图像,与每张图像的N个格栅图像中随机抽取的任一个格栅图像进行匹配,j遍历1至N,得到不匹配的格栅图像,以及不匹配的格栅图像中不匹配的区域在不匹配的格栅图像中的坐标。
例如,该装置被配置为:通过将第i张图像的N个格栅图像中的第j个格栅图像的每个像素点的像素值,与每张图像的N个格栅图像中的第j个格栅图像中对应的每个像素点的像素值比较,确定第i张图像的N个格栅图像中像素值的差值大于预设阈值的像素点,像素值的差值大于预设阈值的像素点所在的格栅图像即为不匹配的格栅图像;对像素值的差值大于预设阈值的像素点进行扩大区域范围的泛化处理,得到不匹配的区域,并确定不匹配的区域在不匹配的格栅图像中的坐标。
又例如,该装置被配置为:通过将第i张图像的N个格栅图像中的第j个格栅图像的每个像素点的像素值,与每张图像的N个格栅图像中随机抽取的任一个格栅图像中对应的每个像素点的像素值比较,确定第i张图像的N个格栅图像中像素值的差值大于预设阈值的像素点,像素值的差值大于预设阈值的像素点所在的格栅图像即为不匹配的格栅图像;对像素值的差值大于预设阈值的像素点进行扩大区域范围的泛化处理,得到不匹配的区域,并确定不匹配的区域在不匹配的格栅图像中的坐标。
一种可能的设计方案中,该装置被配置为:根据M个匹配结果,从M张图像中确定存在不匹配的区域的目标图像;通过对目标图像对应的板卡执行通信感知一体化操作,确定目标图像对应的目标板卡是否为存在缺陷的板卡。
可选地,M张板卡的生产线上的第一智能机床和第二智能机床之间设置有滑轨,且第一智能机床和第二智能机床通过侧行波束组网连接;该装置被配置为:通过滑轨将目标板卡移动到第一智能机床和第二智能机床之间;在第一智能机床和第二智能机床使用侧行波束通信的过程中,侧行波束方向面向目标板卡存在不匹配的区域的第一智能机床,使用侧行波束照射不匹配的区域;第一智能机床根据侧行波束照射产生的回波信号,确定目标图像对应的目标板卡是否为存在缺陷的板卡。
其中,照射不匹配的区域的侧行波束为至少一个侧行窄波束,至少一个侧行窄波束有侧行窄波束能覆盖不匹配的区域边缘,若回波信号的强度大于强度阈值,则表示目标图像对应的目标板卡为存在缺陷的板卡。
第三方面,提供了一种基于图像的多板卡缺陷检测装置,包括:处理器和存储器;该存储器用于存储计算机程序,当该处理器执行该计算机程序时,以使该基于图像的多板卡缺陷检测装置执行上述的基于图像的多板卡缺陷检测方法。
在一种可能的设计方案中,第三方面所述的基于图像的多板卡缺陷检测装置还可以包括收发器。该收发器可以为收发电路或接口电路。该收发器可以用于第三方面所述的基于图像的多板卡缺陷检测装置与其他基于图像的多板卡缺陷检测装置通信。
第四方面,提供一种计算机可读存储介质,包括:计算机程序或指令;当该计算机程序或指令在计算机上运行时,使得该计算机执行上述的基于图像的多板卡缺陷检测方法。
综上,上述的方法及装置具体如下技术效果:
通过对M张板分别拍摄图像,共M张图像,以便通过将M张图像相互之间进行图像匹配,就可以确定M张板卡中是否有存在缺陷的板卡,无需人工处理,也无需神经网络处理,从而可以实现以更低的成本实现板卡缺陷检测。
附图说明
图1为本发明实施例提供的基于图像的多板卡缺陷检测系统的架构示意图;
图2为本发明实施例提供的基于图像的多板卡缺陷检测方法的流程示意图;
图3为本发明实施例提供的电子设备的结构示意图。
具体实施方式
方便理解,下面先介绍本发明实施例所涉及的技术术语。
1、波束:
波束是指网络设备或终端的发射机或接收机通过天线阵列形成的具有指向性的特殊的发送或接收效果,类似于手电筒将光收敛到一个方向形成的光束。通过波束的形式进行信号的发送和接收,可以有效提升信号的传输据距离。
波束可以是宽波束,或者窄波束,或者其他类型波束。形成波束的技术可以是波束赋形技术或者其他技术。波束赋形技术具体可以为数字波束赋形技术、模拟波束赋形技术或者混合数字/模拟波束赋形技术等。
波束一般和资源对应。例如,进行波束测量时,网络设备通过不同的资源来测量不同的波束,终端反馈测得的资源质量,网络设备可以知道对应的波束的质量。在数据传输时,波束也可以通过其对应的资源指示。例如,网络设备通过下行控制信息(downlinkcontrol information,DCI)中的传输配置编号(transmission configuration index,TCI)字段指示一个传输配置指示-状态(state),终端根据该TCI-状态中包含的参考资源来确定该参考资源对应的波束。
在通信协议中,波束可以具体表征为数字波束,模拟波束,空域滤波器(spatialdomain filter),空间滤波器(spatial filter),空间参数(spatial parameter),TCI,TCI-状态等。用于发送信号的波束可以称为发送波束(transmission beam,或Tx beam),空域发送滤波器(spatial domain transmission filter),空间发送滤波器(spatialtransmission filter),空域发送参数(spatial domain transmission parameter),空间发射参数(spatial transmission parameter)等。用于接收信号的波束可以称为接收波束(reception beam,或Rx beam),空域接收滤波器(spatial domain reception filter),空间接收滤波器(spatial reception filter),空域接收参数(spatial domain receptionparameter),空间接收参数(spatial reception parameter)等。
可以理解,本发明实施例统一采用波束进行表述,但波束可以替换理解为其他等同的概念,且不限于上述提到的概念。
2、资源:
在通信协议中,参考信号是以资源的形式进行配置的。网络设备会将各个参考信号以资源的形式配置给终端,一个资源即为一个配置信息单元,通常包括一个参考信号相关的参数,如参考信号的时频资源位置,端口数,时域类型(周期性/半静态/非周期)等等。
资源可以是上行信号资源,也可以是下行信号资源。上行信号包括但不限于探测参考信号(sounding reference signal,SRS),解调参考信号(demodulation referencesignal,DMRS)。下行信号包括但不限于:信道状态信息参考信号(channel stateinformation reference signal,CSI-RS)、小区专用参考信号(cell specific referencesignal,CS-RS)、UE专用参考信号(user equipment specific reference signal,US-RS)、解调参考信号(demodulation reference signal,DMRS)、以及同步信号/物理广播信道块(synchronization system/physical broadcast channel block,SS/PBCH block)。其中,SS/PBCH block可以简称为同步信号块(synchronization signal block,SSB)。
资源可以通过无线资源控制(radio resource control,RRC)消息配置。在配置结构上,一个资源是一个数据结构,包括其对应的上行/下行信号的相关参数。例如,上行/下行信号的类型、承载上行/下行信号的资源粒、上行/下行信号的发送时间和周期、发送上行/下行信号所采用的端口数等。每一个上行/下行信号的资源具有唯一的标识,以标识该下行信号的资源。可以理解的是,资源的标识也可以称为资源的标识,本发明实施例对此不作任何限制。
3、通信感知一体化技术(Integrated sensing and communication, ISAC):
近年来,无线感知技术引起了工业界和学术界的广泛关注。无线感知技术通过分析无线信号在传播过程中的变化,获得信号传播空间(信道)的特性,以实现场景的感知。这里的场景既包括目标本身的因素(是否有目标的位置、姿态、动作等),也包括其他外物因素(如建筑物、移动的车辆等)。例如,雷达是一种最为经典的无线感知手段,在农业、气象等领域都有广泛的应用,其基本原理是发射机发射特定的波形信号,经过无线信道后被接收机所接收,结合发射信号和接收信号进行信号处理,从而提取出无线信道中感兴趣的目标。
ISAC的感知模式可以分为以下6种模式:
1)基站(base station)发终端收。2)终端发基站收。3)基站A发基站B收:4)终端A发终端B收。5)基站自发自收。6)终端自发自收。
本发明实施例的技术方案可以应用于各种系统,例如无线保真(wirelessfidelity, WiFi)系统,车到任意物体(vehicle to everything,V2X)通信系统、设备间(device-todevie,D2D)通信系统、车联网通信系统、第4代(4th generation,4G)移动通信系统,如长期演进(long term evolution,LTE)系统、全球互联微波接入(worldwideinteroperability for microwave access,WiMAX)通信系统、第五代(5th generation,5G)移动通信系统,如新空口(new radio,NR)系统,以及未来的通信系统,如第六代(6thgeneration,6G)移动通信系统等。
本发明将围绕可包括多个设备、组件、模块等的系统来呈现各个方面、实施例或特征。应当理解和明白的是,各个系统可以包括另外的设备、组件、模块等,并且/或者可以并不包括结合附图讨论的所有设备、组件、模块等。此外,还可以使用这些方案的组合。
另外,在本发明实施例中,“示例的”、“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用示例的一词旨在以具体方式呈现概念。
本发明实施例中,“信息(information)”,“信号(signal)”,“消息(message)”,“信道(channel)”、“信令(singaling)”有时可以混用,应当指出的是,在不强调其区别时,其所要表达的含义是匹配的。“的(of)”,“相应的(corresponding,relevant)”和“对应的(corresponding)”有时可以混用,应当指出的是,在不强调其区别时,其所要表达的含义是匹配的。此外,本发明提到的“/”可以用于表示“或”的关系。
本发明实施例描述的网络架构以及业务场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着网络架构的演变和新业务场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。
为便于理解本发明实施例,首先以图1中示出的系统为例详细说明适用于本发明实施例的基于图像的多板卡缺陷检测系统。示例性的,图1为本发明实施例提供的基于图像的多板卡缺陷检测系统的架构示意图。
如图1所示,该基于图像的多板卡缺陷检测系统包括多个设备。
其中,多个设备中的任一设备都可以是终端。
终端也可以称为用户设备(user equipment,UE)、接入终端、用户单元(subscriber unit)、用户站、移动站(mobile station,MS)、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置。本发明的实施例中的终端可以是手机(mobile phone)、蜂窝电话(cellular phone)、智能电话(smart phone)、平板电脑(Pad)、无线数据卡、个人数字助理电脑(personal digital assistant,PDA)、无线调制解调器(modem)、手持设备(handset)、膝上型电脑(laptop computer)、机器类型通信(machine type communication,MTC)终端、带无线收发功能的电脑、虚拟现实(virtualreality,VR)终端、增强现实(augmented reality,AR)终端、智能家居设备(例如,冰箱、电视、空调、电表等)、智能机器人、机械臂、车间设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、车载终端、具有终端功能的路边单元(road side unit,RSU)等、飞行设备(例如,智能机器人、热气球、无人机、飞机)等。本发明的终端还可以是作为一个或多个部件或者单元而内置于车辆的车载模块、车载模组、车载部件、车载芯片或者车载单元。终端设备还可以是其他具有终端功能的设备,例如,终端设备还可以是D2D通信中担任终端功能的设备。
本发明的实施例对终端的设备形态不做限定,用于实现终端的功能的装置可以是终端;也可以是能够支持终端实现该功能的装置,例如芯片系统。该装置可以被安装在终端中,或者和终端匹配使用。本发明实施例中,芯片系统可以由芯片构成,也可以包括芯片和其他分立器件。
终端之间通信所使用的波束可以称为侧行波束,如侧行宽波束或侧行窄波束。本发明实施例中终端的形态可以是智能机床,如第一智能机床和第二智能机床。
方便理解,下面将结合图2,通过方法实施例具体介绍该方法的流程。
示例性的,图2为本发明实施例提供的基于图像的多板卡缺陷检测方法的流程示意图。如图2所示,该基于图像的多板卡缺陷检测方法可以由电子设备执行,该电子设备可以是终端,该方法的流程如下:
S201,获取M张板卡各自的图像,共M张图像。
M为大于1的整数。同样尺寸的M张板卡,在同样的室内光照条件下,采用同样的拍摄设备,以同样的机位分别对其进行拍摄,得到M张图像。
S202,通过将M张图像相互之间进行图像匹配,得到M张图像各自的匹配结果,共M个匹配结果。
一种可能的设计方案中,通过将M张图像相互之间进行图像匹配,得到M张图像各自的匹配结果,共M个匹配结果,包括;终端可以将M张图像中的第i张图像,i遍历1至M,与M张图像中的M-1张图像匹配,得到第i张图像的匹配结果,M-1张图像为M张图像中除第i张图像以外的其他图像,下面具体介绍。
步骤1:终端可以对第i张图像进行格栅化处理,得到第i张图像的N个格栅图像。其中,N为大于1的整数,第i张图像的N个格栅图像拼接即为第i张图像。例如,N=3*3,也即,将第i张图像等分成9宫格。
步骤2:终端可以将第i张图像的N个格栅图像中的第j个格栅图像,j遍历1至N,分别与M-1张图像匹配,得到第i张图像的N个格栅图像中不匹配的格栅图像,以及不匹配的格栅图像中不匹配的区域在不匹配的格栅图像中的坐标。
针对M张板卡均是有图案或非均色的板卡;
终端可以对M-1张图像中的每张图像均进行格栅化处理,得到每张图像的N个格栅图像。其中,每张图像的N个格栅图像拼接即为该张图像,每张图像的N个格栅图像中的第j个格栅图像的尺寸与第i张图像的N个格栅图像的第j个格栅图像的尺寸相同。终端可以将第i张图像的N个格栅图像中的第j个格栅图像,与每张图像的N个格栅图像中的第j个格栅图像进行匹配,j遍历1至N,得到不匹配的格栅图像,以及不匹配的格栅图像中不匹配的区域在不匹配的格栅图像中的坐标。
例如,终端可以通过将第i张图像的N个格栅图像中的第j个格栅图像的每个像素点的像素值,与每张图像的N个格栅图像中的第j个格栅图像中对应的每个像素点的像素值比较,确定第i张图像的N个格栅图像中像素值的差值大于预设阈值的像素点,像素值的差值大于预设阈值的像素点所在的格栅图像即为不匹配的格栅图像。终端可以对像素值的差值大于预设阈值的像素点进行扩大区域范围的泛化处理(如将该像素点周围的像素点也看着是像素值的差值大于预设阈值的像素点),也即,将像素值的差值大于预设阈值的离散像素点连成一片区域,或者说扩大区域,得到不匹配的区域,并确定不匹配的区域在不匹配的格栅图像中的坐标。这样做的好处在于方便S403中的波束照射,比如,多个像素点分别在两个区域,通过扩大区域,使得这两个区域连接成一个区域,这样仅使用波束照射该区域即可,可以降低波束开销。
或者,针对M张板卡均是有无图案且均色的板卡;
终端可以对M-1张图像中的每张图像均进行格栅化处理,得到每张图像的N个格栅图像。其中,每张图像的N个格栅图像拼接即为该张图像,第i张图像的N个格栅图像的第j个格栅图像的尺寸与每张图像的N个格栅图像中的任一格栅图像的尺相同。终端可以将第i张图像的N个格栅图像中的第j个格栅图像,与每张图像的N个格栅图像中随机抽取的任一个格栅图像进行匹配,j遍历1至N,得到不匹配的格栅图像,以及不匹配的格栅图像中不匹配的区域在不匹配的格栅图像中的坐标。
又例如,终端可以通过将第i张图像的N个格栅图像中的第j个格栅图像的每个像素点的像素值,与每张图像的N个格栅图像中随机抽取的任一个格栅图像中对应的每个像素点的像素值比较,确定第i张图像的N个格栅图像中像素值的差值大于预设阈值的像素点,像素值的差值大于预设阈值的像素点所在的格栅图像即为不匹配的格栅图。类似的,终端可以对像素值的差值大于预设阈值的像素点进行扩大区域范围的泛化处理,得到不匹配的区域,并确定不匹配的区域在不匹配的格栅图像中的坐标。同理,这样做的好处在于方便S403中的波束照射,比如,多个像素点分别在两个区域,通过扩大区域,使得这两个区域连接成一个区域,这样仅使用波束照射该区域即可,可以降低波束开销。
步骤3:终端可以通过将第i张图像的N个格栅图像拼接即为第i张图像,确定不匹配的区域在第i张图像中的坐标。其中,不匹配的区域在第i张图像中的坐标即为第i张图像的匹配结果。
S203,根据M个匹配结果,确定M张板卡中是否有存在缺陷的板卡。
一种可能的设计方案中,终端可以根据M个匹配结果,从M张图像中确定存在不匹配的区域的目标图像。终端可以通过对目标图像对应的板卡执行通信感知一体化操作,确定目标图像对应的目标板卡是否为存在缺陷的板卡。
例如,M张板卡的生产线上的第一智能机床和第二智能机床之间设置有滑轨,且第一智能机床和第二智能机床通过侧行波束组网连接。终端可以通过控制滑轨将目标板卡移动到第一智能机床和第二智能机床之间。在第一智能机床和第二智能机床使用侧行波束通信的过程中,侧行波束方向面向目标板卡存在不匹配的区域的第一智能机床,使用侧行波束照射不匹配的区域。第一智能机床根据侧行波束照射产生的回波信号,确定目标图像对应的目标板卡是否为存在缺陷的板卡,并反馈给终端。
其中,照射不匹配的区域的侧行波束为至少一个侧行窄波束(具体可以是多个侧行窄波束),至少一个侧行窄波束有侧行窄波束能覆盖不匹配的区域边缘。此时,由于一个使用多个侧行窄波束照射,不匹配的区域内的凹陷、凸起或者裂缝在某个侧行窄波束以一定角度照射下,其边缘会产生比较强的回波信号。如此,若回波信号的强度大于强度阈值,则表示目标图像对应的目标板卡为存在缺陷的板卡。
可以理解,使用侧行窄波束是因为其能量密度大,产生回波信号也更强,方便感知,且也能够提高感知精度,从而更准确的确定目标板卡是否为存在缺陷的板卡。
综上,通过对M张板分别拍摄图像,共M张图像,以便通过将M张图像相互之间进行图像匹配,就可以确定M张板卡中是否有存在缺陷的板卡,无需人工处理,也无需神经网络处理,从而可以实现以更低的成本实现板卡缺陷检测。
以上结合图2详细说明了本发明实施例提供的基于图像的多板卡缺陷检测方法。以下结合图3详细说明用于执行本发明实施例提供的基于图像的多板卡缺陷检测方法的基于图像的多板卡缺陷检测装置。
该装置被配置为:获取M张板卡各自的图像,共M张图像,M为大于1的整数;通过将M张图像相互之间进行图像匹配,得到M张图像各自的匹配结果,共M个匹配结果;根据M个匹配结果,确定M张板卡中是否有存在缺陷的板卡。
一种可能的设计方案中,该装置被配置为:将M张图像中的第i张图像,i遍历1至M,与M张图像中的M-1张图像匹配,得到第i张图像的匹配结果,M-1张图像为M张图像中除第i张图像以外的其他图像。
可选地,该装置被配置为:对第i张图像进行格栅化处理,得到第i张图像的N个格栅图像,其中,N为大于1的整数,第i张图像的N个格栅图像拼接即为第i张图像;将第i张图像的N个格栅图像中的第j个格栅图像,j遍历1至N,分别与M-1张图像匹配,得到第i张图像的N个格栅图像中不匹配的格栅图像,以及不匹配的格栅图像中不匹配的区域在不匹配的格栅图像中的坐标;通过将第i张图像的N个格栅图像拼接即为第i张图像,确定不匹配的区域在第i张图像中的坐标,其中,不匹配的区域在第i张图像中的坐标即为第i张图像的匹配结果。
进一步的,该装置被配置为:针对M张板卡均是有图案或非均色的板卡;
对M-1张图像中的每张图像均进行格栅化处理,得到每张图像的N个格栅图像,其中,每张图像的N个格栅图像拼接即为该张图像,每张图像的N个格栅图像中的第j个格栅图像的尺寸与第i张图像的N个格栅图像的第j个格栅图像的尺寸相同;将第i张图像的N个格栅图像中的第j个格栅图像,与每张图像的N个格栅图像中的第j个格栅图像进行匹配,j遍历1至N,得到不匹配的格栅图像,以及不匹配的格栅图像中不匹配的区域在不匹配的格栅图像中的坐标;
或者,针对M张板卡均是有无图案且均色的板卡;
对M-1张图像中的每张图像均进行格栅化处理,得到每张图像的N个格栅图像,其中,每张图像的N个格栅图像拼接即为该张图像,第i张图像的N个格栅图像的第j个格栅图像的尺寸与每张图像的N个格栅图像中的任一格栅图像的尺相同;将第i张图像的N个格栅图像中的第j个格栅图像,与每张图像的N个格栅图像中随机抽取的任一个格栅图像进行匹配,j遍历1至N,得到不匹配的格栅图像,以及不匹配的格栅图像中不匹配的区域在不匹配的格栅图像中的坐标。
例如,该装置被配置为:通过将第i张图像的N个格栅图像中的第j个格栅图像的每个像素点的像素值,与每张图像的N个格栅图像中的第j个格栅图像中对应的每个像素点的像素值比较,确定第i张图像的N个格栅图像中像素值的差值大于预设阈值的像素点,像素值的差值大于预设阈值的像素点所在的格栅图像即为不匹配的格栅图像;对像素值的差值大于预设阈值的像素点进行扩大区域范围的泛化处理,得到不匹配的区域,并确定不匹配的区域在不匹配的格栅图像中的坐标。
又例如,该装置被配置为:通过将第i张图像的N个格栅图像中的第j个格栅图像的每个像素点的像素值,与每张图像的N个格栅图像中随机抽取的任一个格栅图像中对应的每个像素点的像素值比较,确定第i张图像的N个格栅图像中像素值的差值大于预设阈值的像素点,像素值的差值大于预设阈值的像素点所在的格栅图像即为不匹配的格栅图像;对像素值的差值大于预设阈值的像素点进行扩大区域范围的泛化处理,得到不匹配的区域,并确定不匹配的区域在不匹配的格栅图像中的坐标。
一种可能的设计方案中,该装置被配置为:根据M个匹配结果,从M张图像中确定存在不匹配的区域的目标图像;通过对目标图像对应的板卡执行通信感知一体化操作,确定目标图像对应的目标板卡是否为存在缺陷的板卡。
可选地,M张板卡的生产线上的第一智能机床和第二智能机床之间设置有滑轨,且第一智能机床和第二智能机床通过侧行波束组网连接;该装置被配置为:通过滑轨将目标板卡移动到第一智能机床和第二智能机床之间;在第一智能机床和第二智能机床使用侧行波束通信的过程中,侧行波束方向面向目标板卡存在不匹配的区域的第一智能机床,使用侧行波束照射不匹配的区域;第一智能机床根据侧行波束照射产生的回波信号,确定目标图像对应的目标板卡是否为存在缺陷的板卡。
其中,照射不匹配的区域的侧行波束为至少一个侧行窄波束,至少一个侧行窄波束有侧行窄波束能覆盖不匹配的区域边缘,若回波信号的强度大于强度阈值,则表示目标图像对应的目标板卡为存在缺陷的板卡。
示例性地,图3为本发明实施例提供的电子设备的结构示意图。该电子设备可以是终端,也可以是可设置于终端或网络设备的芯片(系统)或其他部件或组件。如图3所示,电子设备500可以包括处理器501。可选地,电子设备500还可以包括存储器502和/或收发器503。其中,处理器501与存储器502和收发器503耦合,如可以通过通信总线连接。
下面结合图3对电子设备500的各个构成部件进行具体的介绍:
其中,处理器501是电子设备500的控制中心,可以是一个处理器,也可以是多个处理元件的统称。例如,处理器501是一个或多个中央处理器(central processing unit,CPU),也可以是特定集成电路(application specific integrated circuit,ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路,例如:一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(fieldprogrammable gate array,FPGA)。
可选地,处理器501可以通过运行或执行存储在存储器502内的软件程序,以及调用存储在存储器502内的数据,执行电子设备500的各种功能,例如执行上述图2所示的基于图像的多板卡缺陷检测方法。
在具体的实现中,作为一种实施例,处理器501可以包括一个或多个CPU,例如图3中所示出的CPU0和CPU1。
在具体实现中,作为一种实施例,电子设备1200也可以包括多个处理器。这些处理器中的每一个可以是一个单核处理器(single-CPU),也可以是一个多核处理器(multi-CPU)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
其中,所述存储器502用于存储执行本发明方案的软件程序,并由处理器501来控制执行,具体实现方式可以参考上述方法实施例,此处不再赘述。
可选地,存储器502可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器502可以和处理器501集成在一起,也可以独立存在,并通过电子设备500的接口电路(图3中未示出)与处理器501耦合,本发明实施例对此不作具体限定。
收发器503,用于与其他电子设备之间的通信。例如,电子设备500为终端,收发器503可以用于与网络设备通信,或者与另一个终端设备通信。又例如,电子设备500为网络设备,收发器503可以用于与终端通信,或者与另一个网络设备通信。
可选地,收发器503可以包括接收器和发送器(图3中未单独示出)。其中,接收器用于实现接收功能,发送器用于实现发送功能。
可选地,收发器503可以和处理器501集成在一起,也可以独立存在,并通过电子设备500的接口电路(图3中未示出)与处理器501耦合,本发明实施例对此不作具体限定。
需要说明的是,图3中示出的电子设备500的结构并不构成对该电子设备的限定,实际的电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
此外,电子设备500的技术效果可以参考上述方法实施例所述的基于图像的多板卡缺陷检测方法的技术效果,此处不再赘述。
应理解,在本发明实施例中的处理器可以是中央处理单元(central processingunit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本发明实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的随机存取存储器(random accessmemory,RAM)可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
上述实施例,可以全部或部分地通过软件、硬件(如电路)、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系,但也可能表示的是一种“和/或”的关系,具体可参考前后文进行理解。
本发明中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a, b, c, a-b, a-c, b-c, 或a-b-c,其中a,b,c可以是单个,也可以是多个。
应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (2)
1.一种基于图像的多板卡缺陷检测方法,其特征在于,所述方法包括:
获取M张板卡各自的图像,共M张图像,M为大于1的整数;
通过将所述M张图像相互之间进行图像匹配,得到所述M张图像各自的匹配结果,共M个匹配结果;
根据所述M个匹配结果,确定所述M张板卡中是否有存在缺陷的板卡;
其中,通过将所述M张图像相互之间进行图像匹配,得到所述M张图像各自的匹配结果,共M个匹配结果,包括;
将所述M张图像中的第i张图像,i遍历1至M,与所述M张图像中的M-1张图像匹配,得到所述第i张图像的匹配结果,所述M-1张图像为所述M张图像中除所述第i张图像以外的其他图像;
其中,将所述M张图像中的第i张图像,i遍历1至M,与所述M张图像中的M-1张图像匹配,得到所述第i张图像的匹配结果,包括:
对所述第i张图像进行格栅化处理,得到所述第i张图像的N个格栅图像,其中,N为大于1的整数,所述第i张图像的N个格栅图像拼接即为所述第i张图像;
将所述第i张图像的N个格栅图像中的第j个格栅图像,j遍历1至N,分别与所述M-1张图像匹配,得到所述第i张图像的N个格栅图像中不匹配的格栅图像,以及所述不匹配的格栅图像中不匹配的区域在所述不匹配的格栅图像中的坐标;
通过将所述第i张图像的N个格栅图像拼接即为所述第i张图像,确定所述不匹配的区域在所述第i张图像中的坐标,其中,所述不匹配的区域在所述第i张图像中的坐标即为所述第i张图像的匹配结果;
其中,将所述第i张图像的N个格栅图像中的第j个格栅图像,j遍历1至N,分别与所述M-1张图像匹配,得到所述第i张图像的N个格栅图像中不匹配的格栅图像,以及所述不匹配的格栅图像中不匹配的区域在所述不匹配的格栅图像中的坐标,包括;
针对所述M张板卡均是有图案或非均色的板卡;
对所述M-1张图像中的每张图像均进行格栅化处理,得到所述每张图像的N个格栅图像,其中,所述每张图像的N个格栅图像拼接即为该张图像,所述每张图像的N个格栅图像中的第j个格栅图像的尺寸与所述第i张图像的N个格栅图像的第j个格栅图像的尺寸相同;
将所述第i张图像的N个格栅图像中的第j个格栅图像,与所述每张图像的N个格栅图像中的第j个格栅图像进行匹配,j遍历1至N,得到所述不匹配的格栅图像,以及所述不匹配的格栅图像中不匹配的区域在所述不匹配的格栅图像中的坐标;
或者,针对所述M张板卡均是有无图案且均色的板卡;
对所述M-1张图像中的每张图像均进行格栅化处理,得到所述每张图像的N个格栅图像,其中,所述每张图像的N个格栅图像拼接即为该张图像,所述第i张图像的N个格栅图像的第j个格栅图像的尺寸与所述每张图像的N个格栅图像中的任一格栅图像的尺相同;
将所述第i张图像的N个格栅图像中的第j个格栅图像,与所述每张图像的N个格栅图像中随机抽取的任一个格栅图像进行匹配,j遍历1至N,得到所述不匹配的格栅图像,以及所述不匹配的格栅图像中不匹配的区域在所述不匹配的格栅图像中的坐标;
以及,将所述第i张图像的N个格栅图像中的第j个格栅图像,与所述每张图像的N个格栅图像中的第j个格栅图像进行匹配,j遍历1至N,得到所述不匹配的格栅图像,以及所述不匹配的格栅图像中不匹配的区域在所述不匹配的格栅图像中的坐标,包括:
通过将所述第i张图像的N个格栅图像中的第j个格栅图像的每个像素点的像素值,与所述每张图像的N个格栅图像中的第j个格栅图像中对应的每个像素点的像素值比较,确定所述第i张图像的N个格栅图像中像素值的差值大于预设阈值的像素点,所述像素值的差值大于预设阈值的像素点所在的格栅图像即为所述不匹配的格栅图像;
对所述像素值的差值大于预设阈值的像素点进行扩大区域范围的泛化处理,得到所述不匹配的区域,并确定所述不匹配的区域在所述不匹配的格栅图像中的坐标;
以及,将所述第i张图像的N个格栅图像中的第j个格栅图像,与所述每张图像的N个格栅图像中随机抽取的任一个格栅图像进行匹配,j遍历1至N,得到所述不匹配的格栅图像,以及所述不匹配的格栅图像中不匹配的区域在所述不匹配的格栅图像中的坐标,包括:
通过将所述第i张图像的N个格栅图像中的第j个格栅图像的每个像素点的像素值,与所述每张图像的N个格栅图像中随机抽取的任一个格栅图像中对应的每个像素点的像素值比较,确定所述第i张图像的N个格栅图像中像素值的差值大于预设阈值的像素点,所述像素值的差值大于预设阈值的像素点所在的格栅图像即为所述不匹配的格栅图像;
对所述像素值的差值大于预设阈值的像素点进行扩大区域范围的泛化处理,得到所述不匹配的区域,并确定所述不匹配的区域在所述不匹配的格栅图像中的坐标;
其中,根据所述M个匹配结果,确定所述M张板卡中是否有存在缺陷的板卡,包括;
根据所述M个匹配结果,从所述M张图像中确定存在所述不匹配的区域的目标图像;
通过对所述目标图像对应的板卡执行通信感知一体化操作,确定所述目标图像对应的目标板卡是否为存在缺陷的板卡;
以及,所述M张板卡的生产线上的第一智能机床和第二智能机床之间设置有滑轨,且所述第一智能机床和所述第二智能机床通过侧行波束组网连接;通过对所述目标图像对应的目标板卡执行通信感知一体化操作,确定所述目标图像对应的目标板卡是否为存在缺陷的板卡,包括;
通过所述滑轨将所述目标板卡移动到所述第一智能机床和所述第二智能机床之间;
在所述第一智能机床和所述第二智能机床使用侧行波束通信的过程中,侧行波束方向面向所述目标板卡存在所述不匹配的区域的所述第一智能机床,使用侧行波束照射所述不匹配的区域;
所述第一智能机床根据侧行波束照射产生的回波信号,确定所述目标图像对应的目标板卡是否为存在缺陷的板卡。
2.根据权利要求1所述的一种基于图像的多板卡缺陷检测方法,其特征在于,照射所述不匹配的区域的侧行波束为至少一个侧行窄波束,所述至少一个侧行窄波束有侧行窄波束能覆盖所述不匹配的区域边缘,若所述回波信号的强度大于强度阈值,则表示所述目标图像对应的目标板卡为存在缺陷的板卡。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311378207.8A CN117132590B (zh) | 2023-10-24 | 2023-10-24 | 一种基于图像的多板卡缺陷检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311378207.8A CN117132590B (zh) | 2023-10-24 | 2023-10-24 | 一种基于图像的多板卡缺陷检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117132590A CN117132590A (zh) | 2023-11-28 |
CN117132590B true CN117132590B (zh) | 2024-03-01 |
Family
ID=88860330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311378207.8A Active CN117132590B (zh) | 2023-10-24 | 2023-10-24 | 一种基于图像的多板卡缺陷检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117132590B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018036146A1 (zh) * | 2016-08-26 | 2018-03-01 | 东方网力科技股份有限公司 | 基于卷积神经网络的目标匹配方法、装置及存储介质 |
CN112070759A (zh) * | 2020-09-16 | 2020-12-11 | 浙江光珀智能科技有限公司 | 一种叉车托盘检测与定位方法及系统 |
CN112801937A (zh) * | 2020-12-29 | 2021-05-14 | 彩虹(合肥)液晶玻璃有限公司 | 一种玻璃基板翘曲缺陷检测方法、装置及其系统 |
CN112986259A (zh) * | 2021-02-09 | 2021-06-18 | 清华大学 | 智能终端oled面板制造工艺的缺陷检测方法以及装置 |
CN113240801A (zh) * | 2021-06-08 | 2021-08-10 | 矿冶科技集团有限公司 | 一种物料堆三维重构方法、装置、电子设备及存储介质 |
WO2021164395A1 (zh) * | 2020-02-18 | 2021-08-26 | 上海商汤临港智能科技有限公司 | 图像处理方法、装置、电子设备及计算机程序产品 |
WO2021179316A1 (zh) * | 2020-03-13 | 2021-09-16 | 华为技术有限公司 | 选择波束的方法和通信装置 |
CN114091620A (zh) * | 2021-12-01 | 2022-02-25 | 常州市宏发纵横新材料科技股份有限公司 | 一种模板匹配检测方法、计算机设备及存储介质 |
CN114693959A (zh) * | 2020-12-30 | 2022-07-01 | 东声(苏州)智能科技有限公司 | 图像目标匹配定位方法、存储介质和计算机 |
CN114862760A (zh) * | 2022-03-30 | 2022-08-05 | 中山大学中山眼科中心 | 一种早产儿视网膜病变检测方法及装置 |
CN115272291A (zh) * | 2022-08-24 | 2022-11-01 | 广东拓斯达科技股份有限公司 | 一种贴膜的缺陷检测方法、装置、设备及存储介质 |
WO2022262152A1 (zh) * | 2021-06-18 | 2022-12-22 | 深圳市商汤科技有限公司 | 地图构建方法及装置、电子设备、存储介质和计算机程序产品 |
CN115631345A (zh) * | 2022-10-20 | 2023-01-20 | 海信电子科技(深圳)有限公司 | 一种多目设备的特征匹配方法及多目设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116433559A (zh) * | 2021-12-31 | 2023-07-14 | 鸿海精密工业股份有限公司 | 产品外观缺陷检测方法、电子设备及存储介质 |
-
2023
- 2023-10-24 CN CN202311378207.8A patent/CN117132590B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018036146A1 (zh) * | 2016-08-26 | 2018-03-01 | 东方网力科技股份有限公司 | 基于卷积神经网络的目标匹配方法、装置及存储介质 |
WO2021164395A1 (zh) * | 2020-02-18 | 2021-08-26 | 上海商汤临港智能科技有限公司 | 图像处理方法、装置、电子设备及计算机程序产品 |
WO2021179316A1 (zh) * | 2020-03-13 | 2021-09-16 | 华为技术有限公司 | 选择波束的方法和通信装置 |
CN112070759A (zh) * | 2020-09-16 | 2020-12-11 | 浙江光珀智能科技有限公司 | 一种叉车托盘检测与定位方法及系统 |
CN112801937A (zh) * | 2020-12-29 | 2021-05-14 | 彩虹(合肥)液晶玻璃有限公司 | 一种玻璃基板翘曲缺陷检测方法、装置及其系统 |
CN114693959A (zh) * | 2020-12-30 | 2022-07-01 | 东声(苏州)智能科技有限公司 | 图像目标匹配定位方法、存储介质和计算机 |
CN112986259A (zh) * | 2021-02-09 | 2021-06-18 | 清华大学 | 智能终端oled面板制造工艺的缺陷检测方法以及装置 |
CN113240801A (zh) * | 2021-06-08 | 2021-08-10 | 矿冶科技集团有限公司 | 一种物料堆三维重构方法、装置、电子设备及存储介质 |
WO2022262152A1 (zh) * | 2021-06-18 | 2022-12-22 | 深圳市商汤科技有限公司 | 地图构建方法及装置、电子设备、存储介质和计算机程序产品 |
CN114091620A (zh) * | 2021-12-01 | 2022-02-25 | 常州市宏发纵横新材料科技股份有限公司 | 一种模板匹配检测方法、计算机设备及存储介质 |
CN114862760A (zh) * | 2022-03-30 | 2022-08-05 | 中山大学中山眼科中心 | 一种早产儿视网膜病变检测方法及装置 |
CN115272291A (zh) * | 2022-08-24 | 2022-11-01 | 广东拓斯达科技股份有限公司 | 一种贴膜的缺陷检测方法、装置、设备及存储介质 |
CN115631345A (zh) * | 2022-10-20 | 2023-01-20 | 海信电子科技(深圳)有限公司 | 一种多目设备的特征匹配方法及多目设备 |
Non-Patent Citations (1)
Title |
---|
一种基于图像匹配的吊放式声呐方位修正方法;姚新;刘征宇;吴楚楚;张磊磊;;声学技术(第02期);43-46 * |
Also Published As
Publication number | Publication date |
---|---|
CN117132590A (zh) | 2023-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10820213B2 (en) | Method and apparatus for analyzing communication environment based on property information of an object | |
US11277755B2 (en) | Method and apparatus for analyzing communication environment based on property information of an object | |
US20180138996A1 (en) | Method and apparatus for analysing communication channel in consideration of material and contours of objects | |
CN104853379B (zh) | 一种无线网络质量评估方法及装置 | |
CN111092673B (zh) | 一种资源选择方法及终端设备 | |
CN111919221B (zh) | 用于处理图像的方法和装置 | |
CN106303908B (zh) | 设备间通信方法及设备间通信装置 | |
DE112017007355T5 (de) | Drahtlose vorrichtungsinformationssysteme und verfahren | |
CN108055063B (zh) | 一种可重构的柔性节点及节点重构方法 | |
CN117499979B (zh) | 一种相控阵天线的目标探测方法及装置 | |
CN117132590B (zh) | 一种基于图像的多板卡缺陷检测方法及装置 | |
CN106941685B (zh) | 一种确定天线接反的方法及系统 | |
CN103916873A (zh) | 一种现网补站的邻区配置方法和装置 | |
CN116867061B (zh) | 定位方法及设备 | |
CN114980194B (zh) | 干扰检测方法、装置及存储介质 | |
KR101694521B1 (ko) | 전파지문지도 생성 장치 및 방법 | |
Xiaohua et al. | Propagation prediction model and performance analysis of RFID system under metallic container production circumstance | |
KR20170065612A (ko) | 제어 신호를 송신하기 위한 가중된 집계 기반 방법 및 디바이스 | |
CN117796007A (zh) | 共享频谱带中的发送器检测 | |
CN106162615B (zh) | 一种解决laa系统中pci混淆或冲突的方法、装置和设备 | |
CN112311482A (zh) | 定位方法、装置、系统、接收节点、发射节点和存储介质 | |
EP4078861A1 (en) | Swapped section detection and azimuth prediction | |
Fraga-Lamas et al. | Analysis, Design and Empirical Validation of a Smart Campus based on LoRaWAN | |
CN117687013B (zh) | 基于5g的安防高精度定位方法 | |
CN114697973B (zh) | 小区天线类型的确定方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |