CN116958104A - 物料表面图像处理方法、装置及存储介质 - Google Patents
物料表面图像处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116958104A CN116958104A CN202310944755.6A CN202310944755A CN116958104A CN 116958104 A CN116958104 A CN 116958104A CN 202310944755 A CN202310944755 A CN 202310944755A CN 116958104 A CN116958104 A CN 116958104A
- Authority
- CN
- China
- Prior art keywords
- image
- sequence
- target
- spliced
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000463 material Substances 0.000 title claims abstract description 115
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 9
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 48
- 230000003287 optical effect Effects 0.000 abstract description 36
- 238000005070 sampling Methods 0.000 description 9
- 238000007689 inspection Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请提供物料表面图像处理方法、装置及存储介质，所述方法包括：获取待拼接图像序列；其中，由多个线扫相机同步采集待检测物料的不同列的区域得到所述待拼接图像序列；根据基准坐标系、目标坐标序列，将所述待拼接图像序列中各个图像匹配到对应的目标位置；其中，所述目标坐标序列与所述待拼接图像序列相适应；生成与所述待检测物料对应的目标全景图像。本申请提供的技术方案，可以提高自动光学检测的检测效率。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种物料表面图像处理方法、装置及存储介质。
背景技术
自动光学检测(Automated Optical Inspection，AOI)为高速高精度光学影像检测系统，运用机器视觉为检测标准技术，可以改良传统上以人力使用光学仪器进行检测的缺点，应用层面包括从高科技产业之研发、制造品管，以至国防、民生、医疗、环保、电力等领域。
自动光学检测在工业制程应用场景下，通过光学方式取得待检品的表面状态，以影像处理来检测出待检品是否存在相应的缺陷。在实际的工业制程中，待检品通常会被设计在同一个物料板中，即一个物料板中存在有多个待检品，例如在一个物料板上设计有多个相同的印制线路板(对应为待检品)，在实际的光学检测方案中，通常是基于完整的物料板的表面图像，将完整的表面图像经过特定图像分割规则进行图像分割处理，以分割得到对应每个印制线路板的表面图像，进而对每个印制线路板进行光学检测。
发明人发现，由于物料板的尺寸大、用于光学检测的图像精度需求高，通常是将单个相机采集到的图像进行图像拼接处理以得到完整的物料板的高精度表面图像。然而，在单个相机采集图像的方式下自动光学检测的检测速度相对较低，其次，受到单个相机与物料板的位置间的精确性、稳定性的因素，导致后续图像拼接效率相对较低，自动光学检测的检测效率相对较低。
发明内容
有鉴于此，本申请实施例提供了一种物料表面图像处理方法、装置及存储介质，以解决现有技术中自动光学检测的检测效率相对较低的技术问题。
本申请一方面提供了一种物料表面图像处理方法，所述方法包括：
获取待拼接图像序列；其中，由多个线扫相机同步采集待检测物料的不同列的区域得到所述待拼接图像序列；
根据基准坐标系、目标坐标序列，将所述待拼接图像序列中各个图像匹配到对应的目标位置；其中，所述目标坐标序列与所述待拼接图像序列相适应；
生成与所述待检测物料对应的目标全景图像。
在一个实施方式中，在所述获取待拼接图像序列步骤之前，所述方法还包括：
确定所述目标坐标序列。
在一个实施方式中，所述确定所述目标坐标序列，包括：
获取校准图像序列；其中，由多个线扫相机同步采集校准物料的不同列的区域得到所述校准图像序列，所述校准物料的不同列的区域均设置有对应的标识域；
将所述校准图像序列中各个图像与校准全景图像进行重叠匹配，其中，所述校准全景图像与所述校准物料相对应，所述校准图像序列中各图像上的标识域与所述校准全景图像上对应的标识域相重叠；
基于所述基准坐标系，确定重叠匹配后所述校准图像序列中各个图像的第一角点的坐标，生成第一角点坐标序列，并确定所述第一角点坐标序列为目标坐标序列。
在一个实施方式中，所述根据基准坐标系、目标坐标序列，将所述待拼接图像序列中各个图像匹配到对应的目标位置，包括：
根据基准坐标系、目标坐标序列，确定所述待拼接图像序列中每个图像与所述基准坐标系对应的映射关系；
根据所述映射关系，将所述待拼接图像序列中各个图像顺序匹配到所述基准坐标系上对应的目标位置。
在一个实施方式中，所述生成与所述待检测物料对应的目标全景图像，包括：
确定所述基准坐标系中的目标区域；其中，所述目标区域与所述待检测物料及其与物料载台的相对位置相适应；
根据所述目标区域中顶层图像生成与所述待检测物料对应的目标全景图像。
在一个实施方式中，所述生成与所述待检测物料对应的目标全景图像，还包括：
确定所述待拼接图像序列中相邻两个图像各自对应的重合区域；
对所述重合区域的两层图像进行融合处理，从顶层恢复融合后的图像。
在一个实施方式中，所述对所述重合区域的两层图像进行融合处理，从顶层恢复融合后的图像，包括：
对所述重合区域进行缝合线查找，生成掩膜；
基于所述重合区域的两层图像和所述掩膜，构建拉普拉斯金字塔；
以所述掩膜为权重，对所述拉普拉斯金字塔的每层的图像进行加权计算；
对加权好的每层，从最顶层恢复融合后的图像。
本申请另一方面还提供了一种物料表面图像处理装置，包括：
获取模块，用于获取待拼接图像序列；其中，由多个线扫相机同步采集待检测物料的不同列的区域得到所述待拼接图像序列；
匹配模块，用于根据基准坐标系、目标坐标序列，将所述待拼接图像序列中各个图像匹配到对应的目标位置；其中，所述目标坐标序列与所述待拼接图像序列相适应；
生成模块，用于生成与所述待检测物料对应的目标全景图像。
本申请另一方面还提供了一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而实现上述的物料表面图像处理方法。
本申请另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时，从而实现上述的物料表面图像处理方法。
本申请提供的物料表面图像处理方法、装置及存储介质，至少具有如下有益效果：
本申请提供的技术方案，可以通过获取到由多个线扫相机同步采集到的待检测物料的各列图像，并利用将图像序列中的图像匹配到目标位置的方式，从而能够快速地生成待检测物料的全景图像。相对单相机采集图像进行拼接的方式，利用将图像序列中的图像匹配到目标位置的方式在缩短全景图像的生成时间的同时，还能够有效减少的算力资源的占用，提高自动光学检测的整体检测效率。其次，对应于本实施方式，需要通过多个线扫相机同步采集到的待检测物料的各列图像，减少采图时间，进一步地提高自动光学检测的整体检测效率。对应于本实施方式，可以通过多个线扫相机间的精确且稳定的相对位置关系，可以生成的全景图像的效果更好、生成效率更高，进一步地提高自动光学检测的整体检测效率。
可见，通过上述的方式，能够提高自动光学检测的检测效率。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。需要说明的是，下面描述中的附图是示意性的而不应理解为对本申请进行任何限制，在附图中：
图1示出了本申请一个实施方式中的物料表面图像处理方法的示意图；
图2示出了本申请一个实施方式中的物料表面图像处理装置的示意图；
图3示出了本申请一个实施方式中的计算机设备的示意图。
具体实施方式
为了使本申请实施方式的目的、技术方案和优点更加清楚，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请所要保护的范围。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
虽然下文描述的过程包括以特定的顺序出现的多个操作，但是应该清楚地了解到，这些过程也可以包括更多或者更少的操作，这些操作可以顺序执行或者并行执行。
实施例1
本申请提供的物料表面图像处理方法，可以适用于多线扫相机同步采集待检测物料的表面图像的方式以进行自动光学检测的应用场景下。在该应用场景下，可以通过对物料载台与多个线扫相机的配合设置，以实现每个线扫相机可采集到对应的图像。具体地，各个线扫相机的规格一致、采集到的图像的规格相同，即就是说，每个线扫相机的采样幅宽相同、采样幅长相同；其中，可以通过同步控制采样开始与结束的方式来实现采样幅长相同。其次，线扫相机的个数对应由物料载台上可检测的物料板的最大规格决定。举例来说，若线扫相机的采样幅宽固定为80毫米(mm)，待检测物料板的物料载台上可检测的最大的物料板的幅宽为280毫米(mm)，则至少需要四个线扫相机，相邻两个线扫相机的采样域存在重合；又如，若线扫相机的采样幅宽固定为70毫米(mm)，待检测物料板的物料载台上可检测的最大的物料板的幅宽为280毫米(mm)，则至少需要五个线扫相机，相邻两个线扫相机的采样域存在重合。所有线扫相机同一时刻采集到的线，其对应在物料板上处于同一直线。
为了解决单个相机采集图像的方式下自动光学检测的检测效率相对较低的问题，基于上述多线扫相机同步采集图像的方式，本申请一个实施方式提供一种物料表面图像处理方法，通过对多线扫相机同步采集的图像进行图像处理从而从整体上提高了检测效率。
具体地，请参阅图1，在一个实施方式中，物料表面图像处理方法可以包括以下多个步骤。
S101：获取待拼接图像序列；其中，由多个线扫相机同步采集待检测物料的不同列的区域得到所述待拼接图像序列。
在本实施方式中，在未上料时，多个线扫相机的采样面对应为物料载台的台面，每个线扫相机采集固定幅宽的图像，依据逐个相机采集到的区域将物料载台的台面划分为不同列，需要说明的是相邻列存在重合的区域。在上料时，则同理将待检测物料的表面划分为不同列，例如A列、B列、C列。需要说明的是，上述A列、B列、C列，并不以此为限制，在实际应用中还可以有D列、E列等。
S102：根据基准坐标系、目标坐标序列，将所述待拼接图像序列中各个图像匹配到对应的目标位置；其中，所述目标坐标序列与所述待拼接图像序列相适应。
在本实施方式中，基准坐标系可以是基于CAD的二维坐标系，也可以是由预设底层图片确定的基准坐标系。目标坐标系序列与基准坐标系相对应，目标坐标系序列与待拼接图像序列相适应。对于待拼接图像序列中的每个图像，可以根据目标坐标系序列中对应坐标，从而将图像匹配到对应的目标位置。举例来说，若基准坐标系为上述像素坐标系u-v，若待拼接图像序列中有三个待拼接图像a、b、c，目标坐标序列中对应有三个坐标，分别为(0,0)、(7000,0)、(14000,0)。那么，则根据坐标(0,0)将待拼接图像a匹配到对应的目标位置，根据坐标(7000,0)将待拼接图像b匹配到对应的目标位置，根据坐标(14000,0)将待拼接图像c匹配到对应的目标位置。具体地，将待拼接图像匹配到对应的目标位置，可以通过目标坐标序列中对应的坐标，从而确定待拼接图像的定位点在基准坐标系上的坐标，定位点可以是待拼接图像上的任意点，优选为待拼接图像左上角点。例如，对于待拼接图像a，则可以确定图像a左上角点的坐标为(0,0)，则根据图像a左上角点的坐标将图像a匹配到基准坐标系上对应的目标位置。需要说明的是，上述目标坐标序列中的坐标仅是为便于理解本申请所作的简单举例说明，在实际应用中，目标坐标序列中的坐标与待拼接图像到基准坐标系的匹配规则相适应。例如，基于待拼接图像的右上角点的坐标进行匹配，则目标坐标序列中对应有三个坐标可能分别为(8000,0)、(15000,0)、(22000,0)，同理可将各个待拼接图像匹配到对应的目标位置，此处不再赘述。
在本实施方式中，需要强调的是，通过上述将待拼接图像序列中各个图像匹配到对应的目标位置的方式，即可以实现对待拼接图像序列中图像的准拼接。具体而言，在将待拼接图像序列中图像全部匹配到对应的目标位置后，相邻两个图像间存在重合区域。也就是说在相邻两个图像的重叠区域内的图像相一致。
S103：生成与所述待检测物料对应的目标全景图像。
在本实施方式中，在将待拼接图像序列中各个图像匹配到对应的目标位置后，通过捕捉顶层图像的方式，生成与待检测物料对应的目标全景图像。生成的与待检测物料对应的目标全景图像用于后续对待检测物料的自动光学检测，后续自动光学检测的具体技术可采用现有技术实现，本文不再赘述。
在本实施方式中，通过获取到由多个线扫相机同步采集到的待检测物料的各列图像，并利用将图像序列中的图像匹配到目标位置的方式，从而能够快速地生成待检测物料的全景图像。相对单相机采集图像进行拼接的方式，利用将图像序列中的图像匹配到目标位置的方式在缩短全景图像的生成时间的同时，还能够有效减少算力资源的占用，提高自动光学检测的整体检测效率。其次，对应于本实施方式，需要通过多个线扫相机同步采集到的待检测物料的各列图像，减少采图时间，进一步地提高自动光学检测的整体检测效率。对应于本实施方式，可以通过多个线扫相机间的精确且稳定的相对位置关系，可以生成的全景图像的效果更好、生成效率更高，进一步地提高自动光学检测的整体检测效率。
在一个实施方式中，在所述获取待拼接图像序列步骤之前，所述方法还包括：
确定所述目标坐标序列。
在本实施方式中，目标坐标序列可以根据对应的图像匹配的规则来确定，例如上述例子中的左上角点匹配规则又或是右上角点匹配规则，当然还可以是左下角点匹配规则、右下角点匹配规则等，此处不再赘述。需要注意的是，以图像上任意点确定的目标坐标序列，并以坐标序列对应的匹配规则将图像匹配到对应的目标位置，均应当属于本申请的保护范围。
需要说明的，目标序列的确定可以是通过预设的定值，例如，对于硬件参数完全相同的多台自动光学检测设备，当其一的目标序列确定后，其他的目标序列完全可以通过复制的方式确定，此处复制的目标序列相对而言即就是预设的定值。目标序列的确定可以是通过校准的方式确定，详情参见下文的一个实施方式。
本实施方式中，可以通过多种方式来确定目标序列，对此不做限制，例如直接复制目标序列的方式。
可见，通过本实施方式，能够进一步地提高自动光学检测的整体检测效率。
在一个实施方式中，所述确定所述目标坐标序列，包括：
获取校准图像序列；其中，由多个线扫相机同步采集校准物料的不同列的区域得到所述校准图像序列，所述校准物料的不同列的区域均设置有对应的标识域；
将所述校准图像序列中各个图像与校准全景图像进行重叠匹配，其中，所述校准全景图像与所述校准物料相对应，所述校准图像序列中各图像上的标识域与所述校准全景图像上对应的标识域相重叠；
基于所述基准坐标系，确定重叠匹配后所述校准图像序列中各个图像的第一角点的坐标，生成第一角点坐标序列，并确定所述第一角点坐标序列为目标坐标序列。
在本实施方式中，通过标识域的重叠匹配的方式，从而可以将序列各个图像匹配到对应的位置，从而可以确定出各个图像中的第一角点的坐标，生成目标坐标序列。需要说明的是，第一角点可以是图像上任意点，例如上述左上角点、右上角点等。其中，校准图像序列中各个图像可以根据生成的目标坐标序列及相应的匹配规则，将校准图像序列中各个图像匹配到对应的位置，使得校准图像序列中各图像上的标识域与校准全景图像上对应的标识域相重叠。
在本实施方式中，通过校准物料，以及标识域重叠匹配的方式，反推出目标坐标序列，在提高目标序列的可靠性的同时，还能够对自动光学检测系统进行校准，进一步地提高自动光学检测的整体检测效率。
在一个实施方式中，所述根据基准坐标系、目标坐标序列，将所述待拼接图像序列中各个图像匹配到对应的目标位置，包括：
根据基准坐标系、目标坐标序列，确定所述待拼接图像序列中每个图像与所述基准坐标系对应的映射关系；
根据所述映射关系，将所述待拼接图像序列中各个图像顺序匹配到所述基准坐标系上对应的目标位置。
在本实施方式中，确定待拼接图像序列中每个图像与基准坐标系对应的映射关系，换句话说也就是确定上述匹配规则。举例来说，若确定图像的左上角点对应映射到目标坐标序列中对应坐标的位置，则根据该映射关系将图像整体映射到基准坐标系上对应的目标位置。本实施方式中，由于上述匹配规则本申请不做限制，故确定的映射关系也可以是多种方式，对此不做限制，均应当属于本申请的保护范围。
通过本实施方式，能够进一步地提高自动光学检测的整体检测效率。
在一个实施方式中，所述生成与所述待检测物料对应的目标全景图像，包括：
确定所述基准坐标系中的目标区域；其中，所述目标区域与所述待检测物料及其与物料载台的相对位置相适应；
根据所述目标区域中顶层图像生成与所述待检测物料对应的目标全景图像。
在本实施方式中，确定基准坐标系中的目标区域，即就是框选出待检测物料的区域。在实际应用中，本方式中的方法可以适用于不同规格的待检测物料，对应不同规格的待检测物料，其对应的上料位置的也不同，即与物料载台的相对位置也不同。因此，可以根据待检测物料的规格、待检测物料与物料载台的相对位置确定出目标区域。从而基于确定出的目标区域生成全景图。
可见，通过本实施方式，能够适用不同的物料，提高自动光学检测的检测范围。同时，通过确定目标区域的方式，能过使得生成的全景图与实际待检测物料相适应，能过减少生成的图像的尺寸，提高生成图像的适用效率，减少算力资源，进一步地提高自动光学检测的整体检测效率。
在一个实施方式中，所述生成与所述待检测物料对应的目标全景图像，还包括：
确定所述待拼接图像序列中相邻两个图像各自对应的重合区域；
对所述重合区域的两层图像进行融合处理，从顶层恢复融合后的图像。
在本实施方式中，不需要对相邻图像进行图像拼接处理，就能够实现重合区域的图像融合，提高了重合区域的图像融合效率。通过对重合区域的图像处理，从而使得经融合处理后得到的全景图像对重合区域的待检测物料有更清晰、全面的描述，从而更有利于自动光学检测。可见，通过本实施方式，能够进一步地提高自动光学检测的整体检测效率。
在一个实施方式中，所述对所述重合区域的两层图像进行融合处理，从顶层恢复融合后的图像，包括：
对所述重合区域进行缝合线查找，生成掩膜；
基于所述重合区域的两层图像和所述掩膜，构建拉普拉斯金字塔；
以所述掩膜为权重，对所述拉普拉斯金字塔的每层的图像进行加权计算；
对加权好的每层，从最顶层恢复融合后的图像。
在本实施方式中，通过使用构建拉普拉斯金字塔实现图像融合的方式，能够提高图像融合效率以及融合后顶层图像的清晰度，从而更有利于自动光学检测。进一步地提高自动光学检测的整体检测效率。
实施例2
本实施例提供了物料表面图像处理装置，以应用于上述实施例1提供的物料表面图像处理方法进行说明。请参阅图2所示，本申请一个实施方式提供的物料表面图像处理装置，可以包括以下多个模块。
获取模块，用于获取待拼接图像序列；其中，由多个线扫相机同步采集待检测物料的不同列的区域得到所述待拼接图像序列；
匹配模块，用于根据基准坐标系、目标坐标序列，将所述待拼接图像序列中各个图像匹配到对应的目标位置；其中，所述目标坐标序列与所述待拼接图像序列相适应；
生成模块，用于生成与所述待检测物料对应的目标全景图像。
本申请实施例提供的物料表面图像处理装置，可以应用于如上述实施例1中提供的物料表面图像处理方法，相关细节参考上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
需要说明的是：本申请实施例中提供的物料表面图像处理装置在进行物料表面图像处理时，仅以上述各功能模块/功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块/功能单元完成，即将物料表面图像处理装置的内部结构划分成不同的功能模块/功能单元，以完成以上描述的全部或者部分功能。另外，上述方法实施例1提供的物料表面图像处理方法的实施方式与本实施例2提供的物料表面图像处理装置的实施方式属于同一构思，本实施例2提供的物料表面图像处理装置的具体实现过程详见上述方法实施例1，这里不再赘述。
实施例3
请参阅图3所示，本申请一个实施方式还提供了一种计算机设备，该计算机设备可以是桌上型计算机、笔记本电脑、掌上电脑以及云端服务器等计算机设备。该计算机设备可以包括，但不限于，处理器和存储器。其中，处理器和存储器可以通过总线或者其他方式连接。
其中，处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、图形处理器(GraphicsProcessing Unit，GPU)、嵌入式神经网络处理器(Neural-network Processing Unit，NPU)或者其他专用的深度学习协处理器、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请上述实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请一个实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述方法实施方式中的方法。
本领域技术人员可以理解，实现本申请上述实施方式方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施方式的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
以上实施方式的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施方式中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
虽然结合附图描述了本申请的实施方式，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本申请创造的保护范围之中。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种物料表面图像处理方法，其特征在于，所述方法包括：
获取待拼接图像序列；其中，由多个线扫相机同步采集待检测物料的不同列的区域得到所述待拼接图像序列；
根据基准坐标系、目标坐标序列，将所述待拼接图像序列中各个图像匹配到对应的目标位置；其中，所述目标坐标序列与所述待拼接图像序列相适应；
生成与所述待检测物料对应的目标全景图像。
2.如权利要求1所述的物料表面图像处理方法，其特征在于，在所述获取待拼接图像序列步骤之前，还包括：
确定所述目标坐标序列。
3.如权利要求2所述的物料表面图像处理方法，其特征在于，所述确定所述目标坐标序列，包括：
获取校准图像序列；其中，由多个线扫相机同步采集校准物料的不同列的区域得到所述校准图像序列，所述校准物料的不同列的区域均设置有对应的标识域；
将所述校准图像序列中各个图像与校准全景图像进行重叠匹配，其中，所述校准全景图像与所述校准物料相对应，所述校准图像序列中各图像上的标识域与所述校准全景图像上对应的标识域相重叠；
基于所述基准坐标系，确定重叠匹配后所述校准图像序列中各个图像的第一角点的坐标，生成第一角点坐标序列，并确定所述第一角点坐标序列为目标坐标序列。
4.如权利要求1-3任一项所述的物料表面图像处理方法，其特征在于，所述根据基准坐标系、目标坐标序列，将所述待拼接图像序列中各个图像匹配到对应的目标位置，包括：
根据基准坐标系、目标坐标序列，确定所述待拼接图像序列中每个图像与所述基准坐标系对应的映射关系；
根据所述映射关系，将所述待拼接图像序列中各个图像顺序匹配到所述基准坐标系上对应的目标位置。
5.如权利要求4所述的物料表面图像处理方法，其特征在于，所述生成与所述待检测物料对应的目标全景图像，包括：
确定所述基准坐标系中的目标区域；其中，所述目标区域与所述待检测物料及其与物料载台的相对位置相适应；
根据所述目标区域中顶层图像生成与所述待检测物料对应的目标全景图像。
6.如权利要求5所述的物料表面图像处理方法，其特征在于，所述生成与所述待检测物料对应的目标全景图像，还包括：
确定所述待拼接图像序列中相邻两个图像各自对应的重合区域；
对所述重合区域的两层图像进行融合处理，从顶层恢复融合后的图像。
7.如权利要求6所述的物料表面图像处理方法，其特征在于，所述对所述重合区域的两层图像进行融合处理，从顶层恢复融合后的图像，包括：
对所述重合区域进行缝合线查找，生成掩膜；
基于所述重合区域的两层图像和所述掩膜，构建拉普拉斯金字塔；
以所述掩膜为权重，对所述拉普拉斯金字塔的每层的图像进行加权计算；
对加权好的每层，从最顶层恢复融合后的图像。
8.一种物料表面图像处理装置，其特征在于，包括：
获取模块，用于获取待拼接图像序列；其中，由多个线扫相机同步采集待检测物料的不同列的区域得到所述待拼接图像序列；
匹配模块，用于根据基准坐标系、目标坐标序列，将所述待拼接图像序列中各个图像匹配到对应的目标位置；其中，所述目标坐标序列与所述待拼接图像序列相适应；
生成模块，用于生成与所述待检测物料对应的目标全景图像。
9.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而实现如权利要求1-7中任一项所述的物料表面图像处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-7中任一项所述的物料表面图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310944755.6A CN116958104A (zh) | 2023-07-28 | 2023-07-28 | 物料表面图像处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310944755.6A CN116958104A (zh) | 2023-07-28 | 2023-07-28 | 物料表面图像处理方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116958104A true CN116958104A (zh) | 2023-10-27 |
Family
ID=88448871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310944755.6A Pending CN116958104A (zh) | 2023-07-28 | 2023-07-28 | 物料表面图像处理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116958104A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978755A (zh) * | 2019-03-11 | 2019-07-05 | 广州杰赛科技股份有限公司 | 全景图像合成方法、装置、设备与存储介质 |
| CN110648283A (zh) * | 2019-11-27 | 2020-01-03 | 成都纵横大鹏无人机科技有限公司 | 图像拼接方法、装置、电子设备和计算机可读存储介质 |
| CN111738923A (zh) * | 2020-06-19 | 2020-10-02 | 京东方科技集团股份有限公司 | 图像处理方法、设备及存储介质 |
| WO2021012520A1 (zh) * | 2019-07-23 | 2021-01-28 | 平安科技（深圳）有限公司 | 三维mra医学图像拼接方法、装置、电子设备及计算机可读存储介质 |
| CN114332830A (zh) * | 2021-12-15 | 2022-04-12 | 中汽创智科技有限公司 | 图像处理方法、装置及介质 |
| CN114972023A (zh) * | 2022-04-21 | 2022-08-30 | 合众新能源汽车有限公司 | 图像拼接处理方法、装置、设备及计算机存储介质 |
| CN115082565A (zh) * | 2022-05-11 | 2022-09-20 | 的卢技术有限公司 | 相机标定方法、装置、服务器及介质 |
-
2023
- 2023-07-28 CN CN202310944755.6A patent/CN116958104A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978755A (zh) * | 2019-03-11 | 2019-07-05 | 广州杰赛科技股份有限公司 | 全景图像合成方法、装置、设备与存储介质 |
| WO2021012520A1 (zh) * | 2019-07-23 | 2021-01-28 | 平安科技（深圳）有限公司 | 三维mra医学图像拼接方法、装置、电子设备及计算机可读存储介质 |
| CN110648283A (zh) * | 2019-11-27 | 2020-01-03 | 成都纵横大鹏无人机科技有限公司 | 图像拼接方法、装置、电子设备和计算机可读存储介质 |
| CN111738923A (zh) * | 2020-06-19 | 2020-10-02 | 京东方科技集团股份有限公司 | 图像处理方法、设备及存储介质 |
| CN114332830A (zh) * | 2021-12-15 | 2022-04-12 | 中汽创智科技有限公司 | 图像处理方法、装置及介质 |
| CN114972023A (zh) * | 2022-04-21 | 2022-08-30 | 合众新能源汽车有限公司 | 图像拼接处理方法、装置、设备及计算机存储介质 |
| CN115082565A (zh) * | 2022-05-11 | 2022-09-20 | 的卢技术有限公司 | 相机标定方法、装置、服务器及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 马嘉琳;张锦明;孙卫新;: "基于相机标定的全景图拼接方法研究", 系统仿真学报, no. 05 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107590453B (zh) | 增强现实场景的处理方法、装置及设备、计算机存储介质 | |
| WO2017076106A1 (zh) | 图像的拼接方法和装置 | |
| CN111222395A (zh) | 目标检测方法、装置与电子设备 | |
| JP2011134012A (ja) | 画像処理装置、その画像処理方法及びプログラム | |
| CN111256628A (zh) | 墙面平整度检测方法、装置、计算机设备和存储介质 | |
| CN109479082A (zh) | 图象处理方法及装置 | |
| CN113744348A (zh) | 一种参数标定方法、装置及雷视融合检测设备 | |
| CN114004882A (zh) | 一种二维地图生成方法、装置、终端设备及存储介质 | |
| CN115797359B (zh) | 基于电路板上锡膏的检测方法、设备和存储介质 | |
| CN114332349B (zh) | 一种双目结构光边缘重建方法、系统及存储介质 | |
| CN109829401A (zh) | 基于双拍摄设备的交通标志识别方法及装置 | |
| WO2024012463A1 (zh) | 一种定位方法及装置 | |
| CN116152066B (zh) | 一种元件完整形貌的点云检测方法、系统、设备及介质 | |
| CN116935013A (zh) | 基于三维重建的电路板点云大范围拼接方法及系统 | |
| CN109859313B (zh) | 3d点云数据获取方法、装置、3d数据生成方法及系统 | |
| CN111797715A (zh) | 车位检测方法、装置、电子设备及存储介质 | |
| CN116958104A (zh) | 物料表面图像处理方法、装置及存储介质 | |
| CN112785651A (zh) | 用于确定相对位姿参数的方法和装置 | |
| CN114092564B (zh) | 无重叠视域多相机系统的外参数标定方法、系统、终端及介质 | |
| CN115359034A (zh) | 一种缺陷检测方法、装置、设备及存储介质 | |
| CN111401365B (zh) | Ocr图像自动生成方法及装置 | |
| CN116977305A (zh) | 一种物料表面图像处理方法、装置及存储介质 | |
| CN114463170A (zh) | 一种针对agv应用的大场景图像拼接方法 | |
| CN112446928B (zh) | 一种拍摄装置的外参确定系统和方法 | |
| CN117437288B (zh) | 摄影测量方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |