CN117576366A - 图像中目标的定位方法和缺陷检测方法、系统、电子设备 - Google Patents

图像中目标的定位方法和缺陷检测方法、系统、电子设备 Download PDF

Info

Publication number
CN117576366A
CN117576366A CN202311769878.7A CN202311769878A CN117576366A CN 117576366 A CN117576366 A CN 117576366A CN 202311769878 A CN202311769878 A CN 202311769878A CN 117576366 A CN117576366 A CN 117576366A
Authority
CN
China
Prior art keywords
boundary
initial
image
target
correct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311769878.7A
Other languages
English (en)
Inventor
陈燕娟
匡梦良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MGA Technology Shenzhen Co Ltd
Original Assignee
MGA Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MGA Technology Shenzhen Co Ltd filed Critical MGA Technology Shenzhen Co Ltd
Priority to CN202311769878.7A priority Critical patent/CN117576366A/zh
Publication of CN117576366A publication Critical patent/CN117576366A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种图像中目标的定位方法和缺陷检测方法、系统、电子设备。该定位方法包括：获取待处理图像，其中，待处理图像中包括多个目标的成像区域；在待处理图像中，提取多个目标对应的多组初始边界；对于对应第一目标的初始边界，至少根据该初始边界在待处理图像中的实际位置信息和该初始边界的预设位置信息，确定该初始边界是否为正确边界；在确定该初始边界不是正确边界的情况下，根据至少一组正确边界的位置、第二目标与第一目标的预设位置关系，确定对应第一目标的正确边界的位置，其中第一目标是多个目标中的任意一个或多个，第二目标是至少一组正确边界对应的目标。该方案可避免局部错误信息干扰，定位效率和精度均较高。

Description

图像中目标的定位方法和缺陷检测方法、系统、电子设备
技术领域
本申请涉及图像处理技术领域，具体地，涉及一种图像中目标的定位方法、一种缺陷检测方法、一种图像中目标的定位系统、一种缺陷检测系统、一种电子设备及一种存储介质。
背景技术
图像处理技术在各个领域都得到广泛地应用。以工业化生产为例，常常通过对产品的待处理图像进行处理，并通过定位目标在处理后的图像中的位置，根据该位置来检测产品的状态。
例如，在进行面板缺陷检测之前，需要先采集面板的图像，并要确定面板图像中的各个电极的位置，进而根据该位置来检测电极是否存在缺陷。换言之，如果想要缺陷检测，必须先准确定位面板图像中电极的位置。现有技术中通常根据图像中的定位标识的坐标和电极的坐标的关联关系，计算各个电极在图像中的位置。
然而，由于大多数的面板缺陷检测都需要采用线扫相机进行拍照，根据线扫相机的成像原理，当触发信号或者线扫速度不稳定时，容易导致拼接后的图像中的电极的位置与实际实体中电极的位置不对应(实体中，标识中心点与电极的位置是确定的，拍照后这个相对位置关系与实际并不对应)。所以，现有技术中根据定位标识坐标计算电极坐标的方式无法满足实际生产需求。
发明内容
为了至少部分地解决现有技术中存在的问题，根据本申请的第一个方面，提供了一种图像中目标的定位方法，包括：
获取待处理图像，其中，待处理图像中包括多个目标的成像区域；
在待处理图像中，提取多个目标对应的多组初始边界，其中每组初始边界对应至少一个目标，每组初始边界表示所对应的目标的成像区域的边界；
对于对应第一目标的初始边界，
至少根据该初始边界在待处理图像中的实际位置信息和该初始边界的预设位置信息，确定该初始边界是否为正确边界；
在确定该初始边界不是正确边界的情况下，根据至少一组正确边界的位置、第二目标与第一目标的预设位置关系，确定对应第一目标的正确边界的位置，其中第一目标是多个目标中的任意一个或多个，第二目标是至少一组正确边界对应的目标。
示例性地，方法还包括：
确定模板图像中的多组模板边界的模板信息，其中模板图像是关于正常产品的标准图像，并且每组初始边界对应一组模板边界；以及
根据每组模板边界的模板位置信息，确定对应的初始边界的预设位置信息。
示例性地，预设位置信息包括边界的预设位置，确定对应的初始边界的预设位置信息，包括：
将每组模板边界的模板位置，确定为对应的初始边界的预设位置；
确定该初始边界是否为正确边界，包括：
判断该初始边界的实际位置和该初始边界的预设位置之间的位置差异是否大于第一阈值；
如果所确定的位置差异大于第一阈值，则确定该初始边界不是正确边界。
示例性地，预设位置信息包括边界的预设尺寸，确定对应的初始边界的预设位置信息，包括：
根据每组模板边界的模板尺寸，确定对应的初始边界的预设尺寸；
确定该初始边界是否为正确边界，还包括：
根据该初始边界中的不同像素之间的相对位置关系，确定该初始边界的实际尺寸；
判断实际尺寸和该初始边界的预设尺寸之间的尺寸差异是否大于第二阈值；以及
如果所确定的尺寸差异大于第二阈值，则确定该初始边界不是正确边界。
示例性地，预设位置信息包括预设相邻间距，确定对应的初始边界的预设位置信息，包括：
对于任意的模板边界，根据该模板边界与位置相邻的另一组模板边界之间的间距，确定对应的初始边界的预设相邻间距；
确定该初始边界是否为正确边界，还包括：
计算该初始边界的位置和与该初始边界位置相邻的另一组初始边界之间的间距，作为该初始边界的实际相邻间距；
判断该初始边界的实际相邻间距和该初始边界的预设相邻间距之间的相邻间距差异是否大于第三阈值；以及
如果所确定的相邻间距差异大于第三阈值，则确定该初始边界不是正确边界。
示例性地，方法还包括：
显示第一用户界面，其中第一用户界面中包括第一控件；
响应于用户对第一控件的第一操作，接收用户所设置的阈值；
确定该初始边界是否为正确边界，包括：
根据针对当前预设位置信息的对比结果和用户所设置的、针对当前预设位置信息的阈值，确定该初始边界是否为正确边界。
示例性地，方法还包括：
显示第二用户界面，其中第二用户界面中包括第二控件；
响应于用户对第二控件的第二操作，接收用户所设置的容差系数；
确定该初始边界是否为正确边界，包括：
根据用户所设置的、针对当前预设位置信息的容差系数和针对当前预设位置信息的容差基数，计算针对当前预设位置信息的阈值；以及
根据针对当前预设位置信息的对比结果和所计算的针对当前预设位置信息的阈值，确定该初始边界是否为正确边界。
示例性地，初始边界为矩形边界，确定第一目标的正确边界的位置，包括：
确定在预设方向上距离该初始边界最近的正确边界，作为该初始边界的邻近正确边界，并将该邻近正确边界所针对的目标确定为第二目标，其中预设方向包括图像宽度方向和/或图像高度方向；以及
根据该初始边界的邻近正确边界的第一边的位置、第一目标与第二目标之间的相对位置关系，确定第一目标的第一边的位置；
其中，第一边垂直于预设方向。
示例性地，预设方向包括图像宽度方向，
确定在预设方向上距离该初始边界最近的正确边界，包括：
在图像宽度方向上，从位于该初始边界左侧的各组正确边界中查找距离该初始边界最近的一组，作为该初始边界的左邻正确边界；
从位于该初始边界右侧的各组正确边界中查找距离该初始边界最近的一组，作为该初始边界的右邻正确边界；
确定第一目标的第一边的位置，包括：
根据该初始边界的左邻正确边界的左边界的位置、该初始边界的右邻正确边界的左边界的位置、第一距离、第二距离或第三距离、第一数目，确定第一目标的正确边界的左边界的位置；
根据该初始边界的左邻正确边界的右边界的位置、该初始边界的右邻正确边界的右边界的位置、第一距离、第二距离或第三距离、第一数目，确定第一目标的正确边界的右边界的位置；
其中，该初始边界的左邻目标和右邻目标分别是该初始边界的左邻正确边界和右邻正确边界分别针对的目标；第一距离是该初始边界的左邻目标和右邻目标之间的预设距离；第二距离是第一目标与该左邻目标之间的预设距离，第三距离是第一目标与该右邻目标之间的预设距离；第一数目是位于该左邻目标和该右邻目标之间的目标的总数目。
示例性地，确定第一目标的正确边界的左边界的位置包括利用以下公式确定该目标的正确边界的左边界的位置：
其中，X表示所述第一目标的正确边界的左边界在所述图像宽度方向上的位置分量，x1表示该初始边界的左邻正确边界的左边界在所述图像宽度方向上的位置分量，d1表示所述第一距离，d2表示所述第二距离，n表示所述第一数目，m表示该初始边界与该左邻正确边界之间的目标的总数目。
示例性地，方法还包括：
确定待处理图像中的标识区域的中心位置，其中标识区域是定位标识在待处理图像中的成像区域；以及
计算每组初始边界中的每一边界所在位置与中心位置的相对距离，作为该初始边界的位置信息。
示例性地，第一距离是模板图像中的第一模板边界的左边界和第二模板边界的左边界之间的距离；第二距离是模板图像中的第三模板边界的左边界与第一模板边界的左边界之间的距离；第三距离是在第三模板边界的左边界与第二模板边界的左边界之间的距离；第三模板边界是与该初始边界对应的模板边界，第一模板边界和第二模板边界分别是与该左邻正确边界和该右邻正确边界对应的模板边界。
示例性地，提取多个目标对应的多组初始边界，包括：
对待处理图像进行目标分割和/或边缘提取，以确定待处理图像中的多个目标区域，其中每个目标区域中包括至少一个目标的成像区域；
对于每个目标区域，
在该目标区域的尺寸与预设尺寸的差小于第一尺寸阈值的情况下，确定该目标区域中包括唯一的目标；以及
根据该目标区域的至少部分边缘像素的位置，确定对应该唯一的目标的第一初始边界；
方法还包括：
确定该第一初始边界的属性为独立属性，并确定该第一初始边界所对应的目标的数量为1。
示例性地，提取多个目标对应的多组初始边界，包括：
对于每个目标区域，在该目标区域的尺寸与预设尺寸的差大于或等于第二尺寸阈值的情况下，确定该目标区域中包括预设数目的目标，其中第二尺寸阈值大于或等于第一尺寸阈值，预设数目大于或等于2；
根据该目标区域的至少部分边缘像素的位置，确定对应该预设数目的目标的第二初始边界；
方法还包括：
确定该第二初始边界的属性为粘连属性，并确定该第二初始边界对应的目标的数量为预设数目。
示例性地，在确定第一目标的正确边界的位置之后，方法还包括：
对于每个第二初始边界，根据该第二初始边界的粘连属性、预设数目和所确定的对应预设数目的目标的正确边界，确定预设数目的目标中的每个目标的正确边界。
根据本申请另一方面，还提供一种缺陷检测方法，包括：
获取产品的待检测图像；
利用上述图像中目标的定位方法，确定待检测图像中的对应多个目标的多组正确边界；以及
根据多组正确边界的位置和每组正确边界中的各个像素的像素值，确定产品中的各个目标是否存在缺陷。
根据本申请另一方面，还提供一种图像中目标的定位系统，包括：
获取模块，用于获取待处理图像，其中，待处理图像中包括多个目标的成像区域；
提取模块，用于在待处理图像中，提取多个目标对应的多组初始边界，其中每组初始边界对应至少一个目标，每组初始边界表示所对应的目标的成像区域的边界；
判断模块，用于对于对应第一目标的初始边界，至少根据该初始边界在待处理图像中的实际位置信息和该初始边界的预设位置信息，确定该初始边界是否为正确边界；
确定模块，用于对于对应第一目标的初始边界，在确定该初始边界不是正确边界的情况下，根据至少一组正确边界的位置、第二目标与第一目标的预设位置关系，确定对应第一目标的正确边界的位置，其中第一目标是多个目标中的任意一个或多个，第二目标是至少一组正确边界对应的目标。
根据本申请另一方面，还提供一种缺陷检测系统，包括：
获取模块，用于获取产品的待检测图像；
定位模块，用于利用上述图像中目标的定位方法，确定待检测图像中的对应多个目标的多组正确边界；以及
检测模块，用于根据多组正确边界的位置和每组正确边界中的各个像素的像素值，确定产品中的各个目标是否存在缺陷。
根据本申请另一方面，还提供一种电子设备，包括处理器和存储器，其特征在于，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述图像中目标的定位方法和/或上述缺陷检测方法。
根据本申请另一方面，还提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述图像中目标的定位方法和/或上述缺陷检测方法。
根据本申请实施例的上述方案，在提取待处理图像中各目标(或目标组)的初始边界的基础上，根据初始边界的预设位置信息判断每个初始边界是否为正确边界。并在确定任一第一目标(目标组)的初始边界不是正确边界的情况下，根据已提取的第二目标的正确边界的位置和第二目标与当前的第一目标的预设位置关系，可以快速且准确地确定出当前的第一目标的正确边界的位置。这种方案通过全局判断目标的位置，具有避免局部错误信息干扰的优点，因此定位更准确。此外，这种方案的执行逻辑简单，计算量也较小，从而定位效率也更高。这样，在准确定位目标的基础上，可以进一步实现对目标的缺陷检测，从而还可以提高缺陷检测的精度和效率。并且，这种方案在图像成像效果差导致目标边界提取不够精准的情况下，也依然可以较准确地定位出目标在图像中的位置。该方案可以适用于多种目标定位的场景，方案的可拓展性更好，用户体验也更好。
在发明内容中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本申请内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
以下结合附图，详细说明本申请的优点和特征。
附图说明
本申请的下列附图在此作为本申请的一部分用于理解本申请。附图中示出了本申请的实施方式及其描述，用来解释本申请的原理。在附图中，
图1示出根据本申请一个实施例的图像中目标的定位方法的示意性流程图；
图2示出根据本申请一个实施例的待处理图像的局部；
图3示出根据本申请另一实施例的待处理图像的局部；
图4示出根据本申请一个实施例的缺陷检测方法的示意性流程图；
图5示出根据本申请一个实施例的目标的定位系统的示意性框图；
图6示出根据本申请一个实施例的缺陷检测系统的示意性框图；以及
图7示出根据本申请实施例的电子设备的示意性框图。
具体实施方式
在下文的描述中，提供了大量的细节以便能够彻底地理解本申请。然而，本领域技术人员可以了解，如下描述仅示例性地示出了本申请的优选实施例，本申请可以无需一个或多个这样的细节而得以实施。此外，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行详细描述。
为了至少部分地解决上述技术问题，根据本申请的一个方面，提供了一种图像中目标的定位方法。图1示出根据本申请一个实施例的图像中目标的定位方法100的示意性流程图。如图所示，该方法100包括步骤S110、步骤S140、步骤S160和步骤S170。根据本申请实施例的图像中目标的定位方法100可以应用于各种领域中需要对图像中目标的边界进行精确定位的场合。为了简便，下文以目标为面板的电极为例进行展开阐释。
在步骤S110中，获取待处理图像。其中，待处理图像中包括多个目标的成像区域。
待处理图像可以是包括多个目标的各种产品的图像。待处理图像可以是灰度图像，也可以是彩色图像。其可以是任意合适尺寸、合适分辨率的图像，也可以是满足预设要求的图像。可以采用任何现有的或者未来的图像采集方式获取待处理图像。待处理图像可以是图像采集装置直接采集到的原始图像，也可以是对原始图像进行预处理操作后的图像。该预处理操作可以包括为了改善图像的视觉效果，提高图像的清晰度，或是突出图像中的某些特征等便于定位目标的所有操作。例如，预处理操作可以包括滤波等去噪操作，也可以包括诸如对图像整体的灰度、对比度、亮度等不影响缺陷检测的图像调整操作。
以待处理图像是包括多个电极的面板的图像为例。在工业生产的实际应用中，可以通过线扫相机对面板进行扫描，逐行获取面板的图像信息。线扫相机会沿一个方向运动，在运动过程中，连续获取宽度为1个像素的一维图像信息，并最终将一维图像进行拼接，形成二维的待处理图像。待处理图像中包括多个目标的成像区域。可以理解，面板中的电极的数目通常较多，因此，在待处理图像中存在多个电极区域。图2示出根据本申请一个实施例的待处理图像的局部。如图所示，待处理图像可以是面板的图像，待处理图像中包括多个电极的成像区域。其中，图中白色线框所框区域对应一个电极的成像区域。
在步骤S140中，从待处理图像中，提取多个目标对应的多组初始边界。
示例性地，初始边界可以包括目标的较为典型的特征，例如目标上的点、边线、框等任何易于识别的特征或者几者的组合，本申请不对其进行限制。此步骤中可以采用任意合适的方法，提取初始边界。例如，可以采用基于边缘检测的方法提取电极的初始边界，例如可以利用Canny边缘检测、Sobel算子、Laplacian算子等的边缘检测算法，识别待处理图像中亮度或颜色突变的位置，从而找到目标的边界。又例如，还可以采用基于阈值分割的方法，将图像根据亮度、颜色或纹理信息进行分割，只保留感兴趣目标的区域。可以理解，通过设置适当的阈值，可以将目标与背景分离，从而得到目标的边界。或者，还可以采用例如基于图论的分割算法(Graph Cut、Mean-Shift等)，将图像分割成不同的区域，其中包括目标区域。然后，通过进一步处理，可以提取目标的边界。当然，还可以采用基于边缘连接的方法、基于深度学习的方法如卷积神经网络(CNN)等，进行端到端的目标边界提取，使得提取结果更加准确。
每组初始边界对应至少一个目标，每组初始边界表示所对应的目标的成像区域的边界。换言之，每组初始边界可以对应一个目标，也可以对应多个目标。以初始边界是矩形边界(后文称作检测框)为例。例如，在图2中的每个电极是独立的，并且在图像中的边界较为明显，因此，在一些情况下，每组初始边界中可以仅对应一个电极，图中示出了一个电极的初始边界210。而在另一些情况下，每组初始边界中可以对应多个目标，或说对应一个目标组。图3示出根据本申请另一实施例的待处理图像的局部。如图3所示，以目标是电极(bump)，图中标识1处的线框所框的为一组黏连电极。图中的8个电极连接在一起，单一电极的边界难以被识别到，从而难以判定单一电极的边界，尤其是位于中间的电极的边界。对于这种情况，此步骤中所能提取的仅为位于最左侧的电极的左边缘和位于最右侧的电极的右边缘的信息，从而只能得到图中示出的初始边界220。因此，初始边界220则对应8个电极。而对于位于标识2的线框所框的各个单电极，每个电极都有较明显的独立边界。因此，对于标识2的线框所框的各个电极的初始边界可以被提取出来，并且该初始边界即对应该电极。示例性地，图中无论单电极还是黏连电极(外边界)与背景均形成较为明显的对比。因此，可以通过比较阈值的方法，对目标边界进行检测。
步骤S160，对于对应第一目标的初始边界，至少根据该初始边界在待处理图像中的实际位置信息和该初始边界的预设位置信息，确定该初始边界是否为正确边界。
可以理解，在一些情况下，受到成像效果或背景等其他因素的干扰，往往存在对一些电极的初始边界提取失败，或者提取的边界偏离电极的成像区域的边界。从而，实际提取的初始边界可能无法准确表示电极的实际位置。在此步骤中，还判定每组初始边界是否为电极的正确边界。
第一目标是多个目标中的任意一个或多个。换言之，在面板图像中，第一目标可以是任意一个独立的电极，也可能是任意一个由多个黏连电极组成的电极组。此步骤可以遍历提取到的每组初始边界执行。
示例性地，预设位置信息可以是产品的设计参数或说模板数据。预设位置信息可以是根据已确定为同一类产品的模板图像中各个电极的正确边界在图像中的位置信息，或者，还包括各个电极之间、电极与定位标识之间的相对位置信息。例如，在面板检测之初，可以预先对前几个无缺陷的面板进行人工标准或半自动标注，得到定位标识的位置以及每个电极的检测框。并可以根据这些检测框在图像中的位置信息，确定关于模板中每个电极的预设位置信息。以预设位置信息包括模板图像中定位标识中心到各个电极的成像区域的左边界之间的距离为例。可以将实际提取出的任一电极或任一组电极的左边界与待处理图像中的定位标识中心的实际距离与预设位置信息中的定位标识到该电极的边界框的左边界的距离进行比较，从而判断出所提取的该电极的初始边界是否为正确边界。判断正确边界的逻辑和标准可以是任意的，其可以根据实际需求进行任意设置。例如，可以在初始边界所表示的电极的实际位置信息和对应的预设位置信息的偏差在允许范围内的情况下，确定初始边界为正确边界；而在偏差超出允许范围内的情况下，确定初始边界为异常边界。可以理解，在理想条件下，图像成像效果较好，边界提取的准确性更高，从而提取的各个目标或目标组的初始边界中的大多数均可以是正确边界。此时，可能仅少部分初始边界被判定为异常边界。而图像成像效果不好的情况下，边界提取的准确性可能较低，从而可能出现较多的异常边界。需要说明的是，对于未能提取到初始边界的目标或目标组，尽管未能成功获取其初始边界的实际位置信息，但为了便于计算，可以直接按照其初始边界为异常边界进行后续处理。
步骤S170，对于对应第一目标的初始边界，在确定该初始边界不是正确边界的情况下，根据至少一组正确边界的位置、第二目标与第一目标的预设位置关系，确定对应第一目标的正确边界的位置。第二目标是至少一组正确边界对应的目标。
可以理解，由于存在多个目标，在提取目标边界的过程中，未能成功提取到正确边界的目标可能是任意的。为简化描述，可以将对应正确边界的目标称作第二目标。
为了便于理解，可以将每个异常边界所对应的目标，称作异常目标。在此步骤中，对于每个异常目标，均可以根据该异常目标周围的至少一个第二目标的正确边界的位置以及该第二目标与该异常目标的预设位置关系，确定该异常目标的正确边界框。示例性地，预设位置关系可以是预设的相对距离。例如，预设位置关系可以是每个第二目标和当前的异常目标在模板图像中的相对距离。
具体地，在此步骤中，可以根据与当前异常目标位置邻近的第二目标的正确边界以及该第二目标与当前异常目标的预设位置关系确定当前异常目标的正确边界。当前异常目标位置邻近的第二目标可以是在一个方向或多个方向上与当前异常目标的位置邻近。该预设方向可以是诸如上下左右的方向，或者是当前目标的宽度方向和高度方向，又或者是图像的宽度方向和高度方向。
以初始边界是检测框为例。示例性地，可以根据产品的设计参数等信息，确定第二目标与当前异常目标的预设位置关系。例如，可以在模板图像中标注各个目标或目标组的矩形边界，作为标注框。并可以确定第二目标的标注框的左边界与当前异常目标的标注框的左边界的距离、第二目标的标注框的左边界与当前异常目标的标注框的左边界的距离等。然后，可以根据预设位置关系和在待处理图像中提取出的第二目标的检测框(正确边界)的左边界和右边界的位置，分别确定出待处理图像中当前异常目标的正确边界，即左边界和右边界的位置。例如，对于在待处理图像中当前异常目标左右两侧均存在正确边界的情况，可以根据位于当前异常目标左右两侧的两个第二目标的正确边界在待处理图像中的位置、当前异常目标分别与这两个第二目标的相对位置关系，确定当前异常目标的正确边界。对于在待处理图像中当前异常目标仅有一侧存在正确边界的情况，可以根据位该正确边界在待处理图像中的位置、当前异常目标与该正确边界对应的第二目标的相对位置关系，确定当前异常目标的正确边界。
示例性地，继续参考图3，6、7、8、9号电极的位置均匀排布，其中8、9号电极的图像位置出现偏差，而电极6和电极7的边界为正确边界。此时，可以将6号电极和7号电极作为第二目标，并可以根据在待处理图像中针对两者提取的正确边界的位置，6号电极和7号电极分别与8号电极和9号电极之间的预设位置关系，重新确定8号电极和9号电极边界的正确边界，即对8号电极和9号电极进行重新定位。
可以理解，对于面板而言，电极的位置本身通常不会发生较大的偏差。但在采集面板的图像的过程中，很可能由于触发信号不稳，或者运动速度不均而造成电极在图像中的位置存在偏差。示例性地，线扫相机可以沿电极的宽度方向(例如对应图2的图像宽度方向)运动。在对面板的电极进行拍摄的某一时间段内，线扫相机运动可能加快，在此期间，经过相同宽度目标的时间变短，因此拍摄的图像会变少，合成后宽度会明显小于正常图像。换言之，线扫相机运动或触发的不稳定会导致此段时间内拍摄的图像拉伸或者压缩。因此，存在对于电极宽度和间距均匀的面板，获取到的待处理图像中可能存在电极宽度和间距不均匀的情况。例如，图中所示的面板电极2-4均匀分布，但获取到的待处理图像中，彼此间距不同。如果仍然根据图像中的定位标识(mark)的坐标进行电极坐标关联，计算各个电极在图像中的位置，就有可能造成目标的定位框(虚线方框)不能对齐电极，甚至完全偏离电极，出现在电极之间的间隙区域等问题。显而易见地，根据图像中的定位标识(mark)的坐标进行电极坐标关联得到每个电极的定位框很会对例如缺陷检测的后续处理，产生不利影响。为了解决该问题，需要寻求一种电极区域自动补偿的方式，虽然可以遍历逐个对每个电极区域进行补偿矫正，但该方式只能局部处理关注的一个电极区域的信息，当出现背景线路复杂，循环单一特征少的时候，且当前这个电极偏位坐标较大时，出现无法处理的状态。并且，对于面板检测而言，一旦电极区域的位置识别不准确，导致检测出现偏差，严重影响检测准确性。
而根据本申请实施例的上述方案，在提取待处理图像中各目标(或目标组)的初始边界的基础上，根据初始边界的预设位置信息判断每个初始边界是否为正确边界。并在确定任一第一目标(目标组)的初始边界不是正确边界的情况下，根据已提取的第二目标的正确边界的位置和第二目标与当前的第一目标的预设位置关系，可以快速且准确地确定出当前的第一目标的正确边界的位置。这种方案不仅定位速度快，并且通过全局判断目标的位置，具有避免局部错误信息干扰的优点，因此定位更准确。此外，这种方案的执行逻辑简单，计算量也较小，从而定位效率也更高。这样，在准确定位目标的基础上，可以进一步实现对目标的缺陷检测，从而还可以提高缺陷检测的精度和效率。并且，这种方案在图像成像效果差导致目标边界提取不够精准的情况下，也依然可以较准确地定位出目标在图像中的位置。该方案可以适用于多种目标定位的场景，方案的可拓展性更好，用户体验也更好。
示例性地，图像中目标的定位方法还包括步骤S121和步骤122，在步骤S121中，确定模板图像中的多组模板边界的模板信息。
模板图像是关于正常产品的标准图像。示例性地，对于某一个型号的产品，可以选取正常产品制作模板。模板图像可以是样品产品的图像，也可以是获取到的第一个面板的图像。模板图像也可能是获取到的多个图像，经过人工检查筛选出不存在偏差的图像。总之，在确保模板图像没有问题后，人工或半自动确定每个电极或每组电极(例如黏连电极)的边界作为模板边界，记录为模板信息。可以认为模板图像是在理想环境下获取的正常产品的图像，后续环境和操作不变的情况下，获取到的正常产品图像均应当与模板图像一致，仅当出现特殊情况，例如机器老化、受到干扰等情况才会出现上述待处理图像偏差的情况。
在后续的获取图像的过程中，待处理图像的每组初始边界对应一组模板边界。示例性地，有时待处理图像中的电极边界可能由于模糊等情况而未能准确定位，此时可以采用模板中的对应边界进行辅助定位。通俗地讲，可以认为是将模板中对电极的标定框套用在获取到的每一个面板图像上，使新获取的面板图像的电极与模板中的电极相对应，用户可以直观地看出待处理图像中的电极标定框与模板中的电极标定框之间是否存在偏差。在步骤S122中，根据每组模板边界的模板位置信息，确定对应的初始边界的预设位置信息。示例性地，模板中存储的预设位置信息可以包括电极与定位标识之间的距离信息以及电极的宽度信息，根据待处理图像得到的实际位置信息可能包括电极边界之间的距离信息，因此，可以对二者进行转化计算，使实际位置信息与预设位置信息相互对应，避免将电极间距离的实际位置信息与电极宽度的预设位置信息相互对应的情况出现。
在正常生产中，大部分图像上目标的实际位置信息与模板图像中目标的预设位置信息匹配良好，无需调整或者仅需细微调整即可完成目标图像的定位，从而加快定位速度，减少调整所需的计算量。将预设位置信息与实际位置信息进行对应，可以降低定位出错的可能性。
示例性地，预设位置信息可以包括边界的预设位置。边界的预设位置可以包括边界的X坐标，X坐标可以是边界与定位标识之间的关系(定位标识可能为原点)。步骤S122中确定对应的初始边界的预设位置信息还包括步骤S1221：将每组模板边界的模板位置，确定为对应的初始边界的预设位置。
步骤S1221中，确定该初始边界是否为正确边界，包括判断该初始边界的实际位置和该初始边界的预设位置之间的位置差异是否大于第一阈值。示例性地，可以将每组模板边界的模板位置插入待处理图像中，作为待处理图像的预设位置。此时，预设位置与实际位置可以同时显示在待处理图像上，此时可以判断实际位置和预设位置之间的偏移。这样可以直观地显示出偏移的大小，如果所确定的位置差异大于第一阈值，则确定该初始边界不是正确边界。当然，也可以将实际位置信息转化成数值，如图2所示，例如第一电极(标识2)的左边界距离定位标识(标识1)10mm，与预设位置信息记录的数值进行比较，也可以判定该初始边界是否为正确边界。第一阈值可以根据电极间的间距按一定比例设置，例如偏差不大于电极宽度的5％；也可以是预先设置的数值，例如0.5mm。由此，可以简单地判定当前电极的定位是否正确。
示例性地，预设位置信息可以包括边界的预设尺寸。步骤S122中确定对应的初始边界的预设位置信息还包括步骤S1222：根据每组模板边界的模板尺寸，确定对应的初始边界的预设尺寸。
步骤S1222中，预设尺寸可以是电极的宽度。示例性地，模板尺寸包括了每个电极的边界与定位标识的距离关系，由此可以根据每个电极的左边界位置，以及这个电极的右边界位置，确定每个电极的预设尺寸。
确定该初始边界是否为正确边界，还包括根据该初始边界中的不同像素之间的相对位置关系，确定该初始边界的实际尺寸。继续以电极的宽度为例，换言之，根据待处理图像中初始边界，即电极的左边界和右边界之间的像素距离，得到电极的实际尺寸。如图3所示，6号电极的左边界(标识10)和右边界(标识13)之间的像素距离可以是通过电极右边界到定位标识的像素值，与电极左边界到定位标识的像素值相减得到。判断实际尺寸和该初始边界的预设尺寸之间的尺寸差异是否大于第二阈值。如果所确定的尺寸差异大于第二阈值，则确定该初始边界不是正确边界。例如，电极的实际尺寸为100像素，对应5mm，而预设尺寸为4.5mm，尺寸差异为0.5mm。0.5mm大于第二阈值，则该初始边界不是正确边界。这样将电极的尺寸也纳入了定位是否准确的标准，更加不易出现误判。
示例性地，预设位置信息包括预设相邻间距，步骤S122中确定对应的初始边界的预设位置信息，包括步骤S1223：对于任意的模板边界，根据该模板边界与位置相邻的另一组模板边界之间的间距，确定对应的初始边界的预设相邻间距。
步骤S1223中，确定该初始边界是否为正确边界，还包括计算该初始边界的位置和与该初始边界位置相邻的另一组初始边界之间的间距，作为该初始边界的实际相邻间距。如图3所示，确定标识13是否为正确边界，还需要计算标识13和标识12的间距，即标识13所示初始边界的实际相邻间距。判断该初始边界的实际相邻间距和该初始边界的预设相邻间距之间的相邻间距差异是否大于第三阈值。预设相邻间距即为模板中标识13和标识12对应的模板边界的间距。如果所确定的相邻间距差异大于第三阈值，则确定该初始边界不是正确边界。这样将电极之间的间距也纳入了定位是否准确的标准，进一步避免出现误判的可能。
对于步骤S122来说，如图3所示，可以包括步骤S1221、S1222、S1223中的一个或多个步骤，且不关心步骤的先后顺序。
示例性地，图像中目标的定位方法包括显示第一用户界面，其中第一用户界面中包括第一控件。第一控件可以包括例如旋钮、文本框、拖动条等。用户可以对第一控件执行第一操作，例如输入数值等。图像中目标的定位方法还包括响应于用户对第一控件的第一操作，接收用户所设置的阈值。第一控件可以至少接收用户输入的上述第一阈值、第二阈值、第三阈值中的一个或多个。用户所设置的阈值可以包括具体的数值，例如0.5mm、100像素等。步骤S160中确定该初始边界是否为正确边界，包括根据针对当前预设位置信息的对比结果和用户所设置的、针对当前预设位置信息的阈值，确定该初始边界是否为正确边界。如上所述，针对当前预设位置信息的结果可以包括实际位置信息与预设位置信息偏差的数值。例如，在一个示例中，用户设置的第二阈值对应尺寸的差异，数值为0.5mm，第一电极的宽度的实际尺寸和预设尺寸相差0.3mm。则判定相差的数值小于第二阈值，该初始边界是正确边界。在另一个示例中，第二电极的宽度的实际尺寸和预设尺寸相差0.8mm，第二阈值为0.5mm，则判定相差的数值大于第二阈值，该初始边界不是正确边界。可以理解，阈值设置越大，定位的偏差越大，定位质量可能有所下降。而阈值设置越小，定位精度越高，但对于设备的性能要求较高，或者需要较长的时间对数据进行处理。用户可以根据实际产品的定位要求，对阈值进行适当调整，提高或降低判定标准，从而平衡定位的质量与定位所需的时间。
示例性地，图像中目标的定位方法还包括显示第二用户界面，其中所述第二用户界面中包括第二控件。第二控件也可以包括例如旋钮、文本框、拖动条等。图像中目标的定位方法还包括响应于用户对第二控件的第二操作，接收用户所设置的容差系数。容差系数可以是根据产品的情况，设置的一个比例。步骤S160确定该初始边界是否为正确边界还包括：根据用户所设置的、针对当前预设位置信息的容差系数和针对当前预设位置信息的容差基数，计算针对当前预设位置信息的阈值。具体地，以标识6为例，第一容差系数为0.8，模板中记录的信息为X坐标为100，宽度为10，与左侧5的间距为15，与右侧一个电极的距离为20。在获取到额定待处理图像中计算得到坐标为110，即X坐标的误差abs(110-100)＝10，宽度与第一容差系数的乘积10*0.8＝8，即针对当前预设位置信息(X坐标)的第四阈值为8。
同理，示例性地，实际提取的宽度为16，关于尺寸的第二比例系数为0.3，即尺寸的误差abs(16-10)＝6，针对当前预设位置信息(尺寸)的第五阈值为10*0.3＝3。
容易理解，上述容差系数和容差基数可以是针对不同的检测量，例如示例1中，第一容差系数针对X坐标的偏差，容差基数为电极的宽度。容差系数和容差基数可以是针对相同的检测量，例如示例2中，第二容差系数针对电极的尺寸(宽度)，容差基数也为电极的尺寸。
根据针对当前预设位置信息的对比结果和所计算的针对当前预设位置信息的阈值，确定该初始边界是否为正确边界。示例1中，X坐标的误差大于第四阈值，该初始边界不是正确边界。示例2中，尺寸的误差大于第五阈值，该初始边界也不是正确边界。
通过设置容差系数和容差基数，可以在用户更换产品种类时，无需对阈值进行手动设置。容差基数为产品自身的性质，阈值会根据容差基数的改变而随之改变。这样可以大幅降低人工设置时出错的可能性，也无需人工设置时，操作人员对阈值的计算，简化了操作。
示例性地，初始边界为矩形边界。步骤S170中确定第一目标的正确边界的位置，包括步骤S171：确定在预设方向上距离该初始边界最近的正确边界，作为该初始边界的邻近正确边界，并将该邻近正确边界所针对的目标确定为第二目标。如上所述，线扫相机输出的图像通常只会在一个方向的可能出现偏差，因此，预设方向应当与线扫相机的扫描方向相同，即预设方向可以根据扫描方向对应图像宽度方向或图像高度方向。
继续参考图3，其中，8、9号电极的图像位置出现偏差，而电极6和电极7的边界为正确边界。以9号电极为第一目标，可以确定在横向方向上距离其边界最近的正确边界，即6号电极，以及7号电极。6号电极和7号电极确定为第二目标。
步骤S172：根据该初始边界的邻近正确边界的第一边的位置、第一目标与第二目标之间的相对位置关系，确定第一目标的第一边的位置。例如，根据定位标识到第一边的距离、第一目标和第二目标之间的距离，计算出第一目标的第一边到定位标识的距离，从而确定第一目标的第一边的位置。在上述具体实施例中，第一边垂直于预设方向。
示例性地，预设方向包括图像宽度方向，步骤S171中确定在预设方向上距离该初始边界最近的正确边界，包括：
步骤S1711：在图像宽度方向上，从位于该初始边界左侧的各组正确边界中查找距离该初始边界最近的一组，作为该初始边界的左邻正确边界。继续参考图3，9号电极的左侧最近的正确边界为6号电极，即：9号电极初始边界的左邻正确边界为6号电极。
步骤S1712：从位于该初始边界右侧的各组正确边界中查找距离该初始边界最近的一组，作为该初始边界的右邻正确边界。9号电极的右侧最近的正确边界为7号电极，即：9号电极初始边界的右邻正确边界为7号电极。
步骤S172中确定第一目标的第一边的位置，包括步骤S1721：根据该初始边界的左邻正确边界的左边界的位置、该初始边界的右邻正确边界的左边界的位置、第一距离、第二距离或第三距离、第一数目，确定第一目标的正确边界的左边界的位置。该初始边界的左邻目标和右邻目标分别是该初始边界的左邻正确边界和右邻正确边界分别针对的目标。
如图3所示，第一目标为8号电极，第一目标的左边界即标号12所示的边界。左邻正确边界的左边界即为标号10所示的边界，右邻正确边界的左边界即标号14所示的边界。第一距离是该初始边界的左邻目标和右邻目标之间的预设距离，即6号电极和7号电极对应模板中电极之间的距离；第二距离是第一目标与该左邻目标之间的预设距离，即8号电极和6号电极对应模板中电极之间的距离；第三距离是第一目标与该右邻目标之间的预设距离，即8号电极和7号电极对应模板中电极之间的距离；第一数目是位于该左邻目标和该右邻目标之间的目标的总数目，该左邻目标和该右邻目标之间的目标为8号和9号电极，即第一数目为2。
以及步骤S1722：根据该初始边界的左邻正确边界的右边界的位置、该初始边界的右邻正确边界的右边界的位置、第一距离、第二距离或第三距离、第一数目，确定第一目标的正确边界的右边界的位置。步骤S1721中目标为左边界，将左边界替换为右边界。即可达成步骤S1722。
上述的技术方案，先根据第二目标的左边界重新定位第一目标的左边界，再根据第二目标的右边界重新定位第一目标的右边界，从而实现对第一目标左右边界的定位。
示例性地，确定第一目标的正确边界的左边界的位置包括利用以下公式确定该目标的正确边界的左边界的位置：
其中，X表示第一目标的正确边界的左边界在图像宽度方向上的位置分量，x1表示该初始边界的左邻正确边界的左边界在图像宽度方向上的位置分量，x2表示该初始边界的右邻正确边界的左边界在图像宽度方向上的位置分量，d1表示第一距离，d2表示第二距离，n表示第一数目，m表示该初始边界与该左邻正确边界之间的目标的总数目。
示例性地，第一距离是模板图像中的第一模板边界的左边界和第二模板边界的左边界之间的距离；第二距离是模板图像中的第三模板边界的左边界与第一模板边界的左边界之间的距离；第三距离是在第三模板边界的左边界与第二模板边界的左边界之间的距离；第三模板边界是与该初始边界对应的模板边界，第一模板边界和第二模板边界分别是与该左邻正确边界和该右邻正确边界对应的模板边界。
继续以图3为例，要获得第一目标(8号电极)的左边界(标识12)在图像宽度方向上的位置分量X，首先获取该初始边界的左邻正确边界(6号电极)的左边界(标识10)在图像宽度方向上的位置分量x1，该初始边界的右邻正确边界(7号电极)的左边界(标识14)在图像宽度方向上的位置分量x2，第一距离(6号电极和7号电极对应模板的预设距离)以及第二距离(8号电极和6号电极对应模板的预设距离)。n＝2，对于8号电极，m＝0。x2-x1为标识14和标识10之间的实际距离，x2-x1-d1即为标识14和标识10之间的实际距离与标识14和标识10之间的预设距离之差。换言之，x2-x1-d1是3个电极的尺寸(宽度)误差，和3个电极间距误差的总和。
可以认为是将误差进行均分，由于电极均匀排布，因此可以将误差均分后补偿至每一个第一目标的边界。标识12位置分量X可以表示标识10的位置分量x1加上第二距离(标识10和标识12的预设距离)再加上均分的误差。
例如，标识10的位置为100，标识10与标识12的预设距离为20，标识10与标识14的预设距离为60，标识14的实际位置为163，可以得出标识10与标识14的实际距离为63，误差总和为63-60＝3。因此，标识12的实际位置为100+20+1＝121。
在未示出的实施例中，也可以通过直接计算目标边界的实际距离，即上文中x2-x1可以通过直接测量两个第二目标的边界之间的距离得到，而非通过两个第二目标的位置分量做差得到。
对于均匀分布的电极，通过上述公式可以简单高效地确定第一目标边界的位置信息。
示例性地，目标的定位方法还包括确定待处理图像中的标识区域的中心位置，其中标识区域是定位标识在待处理图像中的成像区域。如上所述，线扫相机的图像需要具有一个定位标识，图像上的其他位置可以根据该基准点确定，相当于坐标系中的原点。优选地，定位标识可以包括设置在没有线路的区域的较大的十字形或者圆形的图案，这些图案便于识别，可以通过机器视觉自动识别定位。定位标识可以确定为定位标识的中心位置。计算每组初始边界中的每一边界所在位置与中心位置的相对距离，作为该初始边界的位置信息。将定位标识的坐标确定(例如作为原点，X＝0)，即可通过每一边界所在位置与定位标识的相对距离，例如横向距离为5，即该边界X＝5，从而建立系统内的坐标系统。
示例性地，提取多个目标对应的多组初始边界，包括对待处理图像进行目标分割和/或边缘提取，以确定待处理图像中的多个目标区域，其中每个目标区域中包括至少一个目标的成像区域。在图3所示的实施例中，可以通过阈值分割或者边缘检测等算法，将电极区域与背景区域进行区分。图中白色区域为电极区域，即为目标区域。
对于每个目标区域，在该目标区域的尺寸与预设尺寸的差小于第一尺寸阈值的情况下，确定该目标区域中包括唯一的目标。例如，标识1所示的目标为多个黏连的电极，其尺寸远大于单个电极的尺寸。预设尺寸设置得接近单个电极的尺寸，因此，通过设置第一尺寸阈值，可以保留出现偏差而变形的单个电极图像，而排除掉黏连的电极图像。
根据该目标区域的至少部分边缘像素的位置，确定对应该唯一的目标的第一初始边界。上述方法还包括确定该第一初始边界的属性为独立属性，并确定该第一初始边界所对应的目标的数量为1。
由于对单个电极的定位与对黏连电极的定位方法不同，因此，可以将单个电极与黏连电极区分开，便于后续的定位。
示例性地，提取多个目标对应的多组初始边界，包括对于每个目标区域，在该目标区域的尺寸与预设尺寸的差大于或等于第二尺寸阈值的情况下，确定该目标区域中包括预设数目的目标，其中第二尺寸阈值大于或等于第一尺寸阈值，预设数目大于或等于2。如上所述，黏连的电极区域其中包括至少2个电极。两个电极通过线路连接在一起，其边界的尺寸远大于单个电极的边界尺寸。因此，可以设置大于或等于第一尺寸阈值的第二尺寸阈值，只要目标区域与预设尺寸的差大于或等于第二尺寸阈值，即可确认目标区域为黏连电极。
根据该目标区域的至少部分边缘像素的位置，确定对应该预设数目的目标的第二初始边界。上述方法还包括确定该第二初始边界的属性为粘连属性，并确定该第二初始边界对应的目标的数量为预设数目。
示例性地，在确定第一目标的正确边界的位置之后，上述定位方法100还包括：对于每个第二初始边界，根据该第二初始边界的黏连属性、预设数目和所确定的对应预设数目的目标的正确边界，确定预设数目的目标中的每个目标的正确边界。如图3所示，由于黏连电极区域仅能判定左边界、右边界的第二初始边界，可以根据模板，将与黏连电极内每个电极的位置对应划分边界，从而定位黏连电极内部的每个电极的位置。例如，预设数目为8，在模板图像中，黏连电极组的左右边界之间的距离是100个像素。而在待处理图像中所确定的黏连电极组的正确检测框的左右边界之间的距离是90个像素。模板图像中黏连电极组中的每个电极的左边界与电极组的左边界之间的距离是ai(i＝1,2,3，……8)。则可以确定在处理图像中，黏连电极组中的每个电极的左边界的位置为b+0.9*ai，其中b表示待处理图像中所确定的黏连电极组的左边界的位置。按照这种方法可以分别确定出在处理图像中这8个电极的左边界和右边界的位置，从而可以准确得到这8个电极的检测框。
上述方案可以在多个目标组合在一起的情况下，也能针对每个目标均确定出正确边界，从而该定位方法可以适用于多种场景。
根据本发明的另一方面，还提供了一种缺陷检测方法。图4示出根据本申请一个实施例的缺陷检测方法400的示意性流程图。如图所示，该缺陷检测方法400包括：步骤S410步骤S420和步骤S430。
步骤S410获取产品的待检测图像；
步骤S420利用上述的图像中目标的定位方法100，确定待检测图像中的对应多个目标的多组正确边界。
步骤S430根据多组正确边界的位置和每组正确边界中的各个像素的像素值，确定产品中的各个目标是否存在缺陷。示例性地，在检测的过程中，可以根据所确定的每个电极的检测框的对应区域中各个像素的像素值确定当前的电极区域是不是存在异常。例如，可以预设一像素阈值，并统计每个检测框的对应区域中像素值超过像素阈值的像素的数目占比，并根据该数目占比来确定当前的电极区域是否存在异常。
对于电极的检测主要针对焊接情况，如图3所示，电极区域会因为焊接产生细密的凸点。对于凸点较少的电极，可能存在虚焊的情况，而有些电极可能由于过焊而出现破损甚至缺失。因此，对于电极的检测，需要将每个电极对应定位在检测框内，如果出现检测框与电极不对应的情况，可能会出现以下情况：1.检测框内包括背景图案，可能导致检测时将背景图像认为是缺陷，出现误检。2.部分电极或电极的部分区域不被定位于检测框内，这部分电极被漏检。
因此，上述方案可以在对待检测目标准确定位的基础上快速且准确地实现针对每个目标的缺陷检测。可以有效避免检测框中的图像与待检测的部分出现偏移、不对应，提高检测的准确性。
根据本发明的另一方面，还提供了一种图像中目标的定位系统，图5示出根据本申请一个实施例的图像中目标的定位系统500的示意性框图。
如图所示，定位系统500包括：
获取模块510，用于获取待处理图像，其中，待处理图像中包括多个目标的成像区域。提取模块520，用于在待处理图像中，提取多个目标对应的多组初始边界，其中每组初始边界对应至少一个目标，每组初始边界表示所对应的目标的成像区域的边界。判断模块530，用于对于对应第一目标的初始边界，至少根据该初始边界在待处理图像中的实际位置信息和该初始边界的预设位置信息，确定该初始边界是否为正确边界。确定540模块，用于对于对应第一目标的初始边界，在确定该初始边界不是正确边界的情况下，根据至少一组正确边界的位置、第二目标与第一目标的预设位置关系，确定对应第一目标的正确边界的位置，其中第一目标是多个目标中的任意一个或多个，第二目标是至少一组正确边界对应的目标。
根据本申请的另一方面，还提供一种缺陷检测系统，图6示出根据本申请一个实施例的缺陷检测系统600的示意性框图。如图所示，缺陷检测系统600包括：
获取模块610，用于获取产品的待检测图像；
定位模块620，用于利用如上述的图像中目标的定位方法，确定待检测图像中的对应多个目标的多组正确边界；以及
检测模块630，用于根据多组正确边界的位置和每组正确边界中的各个像素的像素值，确定产品中的各个目标是否存在缺陷。
根据本申请的另一方面，还提供一种电子设备。图7示出根据本申请实施例的电子设备700的示意性框图。如图所示，电子设备700包括处理器710和存储器720。存储器720中存储有计算机程序指令，计算机程序指令被处理器710运行时用于执行上述图像中目标的定位方法100。
根据本申请的另一方面，还提供一种存储介质。在存储介质上存储了程序指令，程序指令在运行时用于执行上述图像中目标的定位方法100。存储介质例如可以包括可擦除可编程只读存储器(EPROM)、便携式只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。存储介质可以是一个或多个计算机可读存储介质的任意组合。
本领域普通技术人员通过阅读上述有关图像中目标的定位方法和缺陷检测方法的相关描述，可以理解上述图像中目标的定位系统和缺陷检测系统、电子设备和存储介质的具体实现方案和有益效果，为了简洁，在此不再赘述。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本申请的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的图像中目标的定位系统和缺陷检测系统中的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请的具体实施方式或对具体实施方式的说明，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种图像中目标的定位方法，其特征在于，包括：
获取待处理图像，其中，所述待处理图像中包括多个目标的成像区域；
在所述待处理图像中，提取所述多个目标对应的多组初始边界，其中每组初始边界对应至少一个目标，每组初始边界表示所对应的目标的成像区域的边界；
对于对应第一目标的初始边界，
至少根据该初始边界在所述待处理图像中的实际位置信息和该初始边界的预设位置信息，确定该初始边界是否为正确边界；
在确定该初始边界不是正确边界的情况下，根据至少一组正确边界的位置、第二目标与所述第一目标的预设位置关系，确定对应所述第一目标的正确边界的位置，其中所述第一目标是所述多个目标中的任意一个或多个，所述第二目标是所述至少一组正确边界对应的目标。
2.如权利要求1所述的图像中目标的定位方法，其特征在于，所述方法还包括：
确定模板图像中的多组模板边界的模板信息，其中所述模板图像是关于正常产品的标准图像，并且每组初始边界对应一组模板边界；以及
根据每组模板边界的模板位置信息，确定对应的初始边界的预设位置信息。
3.如权利要求2所述的图像中目标的定位方法，其特征在于，所述预设位置信息包括边界的预设位置，所述确定对应的初始边界的预设位置信息，包括：
将每组模板边界的模板位置确定为对应的初始边界的预设位置；
所述确定该初始边界是否为正确边界，包括：
判断该初始边界的实际位置和该初始边界的预设位置之间的位置差异是否大于第一阈值；
如果所确定的位置差异大于所述第一阈值，则确定该初始边界不是正确边界。
4.如权利要求3所述的图像中目标的定位方法，其特征在于，所述预设位置信息包括边界的预设尺寸，所述确定对应的初始边界的预设位置信息，包括：
根据每组模板边界的模板尺寸，确定对应的初始边界的预设尺寸；
所述确定该初始边界是否为正确边界，还包括：
根据该初始边界中的不同像素之间的相对位置关系，确定该初始边界的实际尺寸；
判断所述实际尺寸和该初始边界的预设尺寸之间的尺寸差异是否大于第二阈值；以及
如果所确定的尺寸差异大于所述第二阈值，则确定该初始边界不是正确边界。
5.如权利要求4所述的图像中目标的定位方法，其特征在于，所述预设位置信息包括预设相邻间距，所述确定对应的初始边界的预设位置信息，包括：
对于任意的模板边界，根据该模板边界与位置相邻的另一组模板边界之间的间距，确定对应的初始边界的预设相邻间距；
所述确定该初始边界是否为正确边界，还包括：
计算该初始边界的位置和与该初始边界位置相邻的另一组初始边界之间的间距，作为该初始边界的实际相邻间距；
判断该初始边界的实际相邻间距和该初始边界的预设相邻间距之间的相邻间距差异是否大于第三阈值；以及
如果所确定的相邻间距差异大于所述第三阈值，则确定该初始边界不是正确边界。
6.如权利要求1所述的图像中目标的定位方法，其特征在于，所述方法还包括：
显示第一用户界面，其中所述第一用户界面中包括第一控件；
响应于用户对所述第一控件的第一操作，接收所述用户所设置的阈值；
所述确定该初始边界是否为正确边界，包括：
根据针对当前预设位置信息的对比结果和用户所设置的、针对当前预设位置信息的阈值，确定该初始边界是否为正确边界。
7.如权利要求1所述的图像中目标的定位方法，其特征在于，所述方法还包括：
显示第二用户界面，其中所述第二用户界面中包括第二控件；
响应于用户对所述第二控件的第二操作，接收所述用户所设置的容差系数；
所述确定该初始边界是否为正确边界，包括：
根据用户所设置的、针对当前预设位置信息的容差系数和针对当前预设位置信息的容差基数，计算针对当前预设位置信息的阈值；以及
根据针对当前预设位置信息的对比结果和所计算的针对当前预设位置信息的阈值，确定该初始边界是否为正确边界。
8.如权利要求1至7任一项所述的图像中目标的定位方法，其特征在于，所述初始边界为矩形边界，所述确定所述第一目标的正确边界的位置，包括：
确定在预设方向上距离该初始边界最近的正确边界，作为该初始边界的邻近正确边界，并将该邻近正确边界所针对的目标确定为所述第二目标，其中所述预设方向包括图像宽度方向和/或图像高度方向；以及
根据该初始边界的邻近正确边界的第一边的位置、所述第一目标与所述第二目标之间的相对位置关系，确定所述第一目标的第一边的位置；
其中，所述第一边垂直于所述预设方向。
9.如权利要求8所述的图像中目标的定位方法，其特征在于，所述预设方向包括图像宽度方向，
所述确定在预设方向上距离该初始边界最近的正确边界，包括：
在所述图像宽度方向上，从位于该初始边界左侧的各组正确边界中查找距离该初始边界最近的一组，作为该初始边界的左邻正确边界；
从位于该初始边界右侧的各组正确边界中查找距离该初始边界最近的一组，作为该初始边界的右邻正确边界；
所述确定所述第一目标的第一边的位置，包括：
根据该初始边界的左邻正确边界的左边界的位置、该初始边界的右邻正确边界的左边界的位置、第一距离、第二距离或第三距离、第一数目，确定所述第一目标的正确边界的左边界的位置；
根据该初始边界的左邻正确边界的右边界的位置、该初始边界的右邻正确边界的右边界的位置、所述第一距离、所述第二距离或所述第三距离、所述第一数目，确定所述第一目标的正确边界的右边界的位置；
其中，该初始边界的左邻目标和右邻目标分别是该初始边界的左邻正确边界和右邻正确边界分别针对的目标；所述第一距离是该初始边界的左邻目标和右邻目标之间的预设距离；所述第二距离是所述第一目标与该左邻目标之间的预设距离，所述第三距离是所述第一目标与该右邻目标之间的预设距离；所述第一数目是位于该左邻目标和该右邻目标之间的目标的总数目。
10.如权利要求9所述的图像中目标的定位方法，其特征在于，所述确定所述第一目标的正确边界的左边界的位置包括利用以下公式确定该目标的正确边界的左边界的位置：
其中，X表示所述第一目标的正确边界的左边界在所述图像宽度方向上的位置分量，x1表示该初始边界的左邻正确边界的左边界在所述图像宽度方向上的位置分量，d1表示所述第一距离，d2表示所述第二距离，n表示所述第一数目，m表示该初始边界与该左邻正确边界之间的目标的总数目。
11.如权利要求1至7任一项所述的图像中目标的定位方法，其特征在于，所述方法还包括：
确定所述待处理图像中的标识区域的中心位置，其中所述标识区域是定位标识在所述待处理图像中的成像区域；以及
计算每组初始边界中的每一边界所在位置与所述中心位置的相对距离，作为该初始边界的位置信息。
12.如权利要求9所述的图像中目标的定位方法，其特征在于，所述第一距离是模板图像中的第一模板边界的左边界和第二模板边界的左边界之间的距离；所述第二距离是模板图像中的第三模板边界的左边界与所述第一模板边界的左边界之间的距离；所述第三距离是在所述第三模板边界的左边界与所述第二模板边界的左边界之间的距离；所述第三模板边界是与该初始边界对应的模板边界，所述第一模板边界和所述第二模板边界分别是与该左邻正确边界和该右邻正确边界对应的模板边界。
13.如权利要求1至7任一项所述的图像中目标的定位方法，其特征在于，所述提取所述多个目标对应的多组初始边界，包括：
对所述待处理图像进行目标分割和/或边缘提取，以确定所述待处理图像中的多个目标区域，其中每个目标区域中包括至少一个目标的成像区域；
对于每个目标区域，
在该目标区域的尺寸与预设尺寸的差小于第一尺寸阈值的情况下，确定该目标区域中包括唯一的目标；以及
根据该目标区域的至少部分边缘像素的位置，确定对应该唯一的目标的第一初始边界；
所述方法还包括：
确定该第一初始边界的属性为独立属性，并确定该第一初始边界所对应的目标的数量为1。
14.如权利要求13所述的图像中目标的定位方法，其特征在于，所述提取所述多个目标对应的多组初始边界，包括：
对于每个目标区域，在该目标区域的尺寸与所述预设尺寸的差大于或等于第二尺寸阈值的情况下，确定该目标区域中包括预设数目的目标，其中所述第二尺寸阈值大于或等于所述第一尺寸阈值，所述预设数目大于或等于2；
根据该目标区域的至少部分边缘像素的位置，确定对应该预设数目的目标的第二初始边界；
所述方法还包括：
确定该第二初始边界的属性为粘连属性，并确定该第二初始边界对应的目标的数量为所述预设数目。
15.如权利要求14所述的图像中目标的定位方法，其特征在于，
在确定所述第一目标的正确边界的位置之后，所述方法还包括：
对于每个第二初始边界，根据该第二初始边界的粘连属性、所述预设数目和所确定的对应所述预设数目的目标的正确边界，确定所述预设数目的目标中的每个目标的正确边界。
16.一种缺陷检测方法，其特征在于，包括：
获取产品的待检测图像；
利用如权利要求1至15任一项所述的图像中目标的定位方法，确定所述待检测图像中的对应多个目标的多组正确边界；以及
根据所述多组正确边界的位置和每组正确边界中的各个像素的像素值，确定所述产品中的各个目标是否存在缺陷。
17.一种图像中目标的定位系统，其特征在于，包括：
获取模块，用于获取待处理图像，其中，所述待处理图像中包括多个目标的成像区域；
提取模块，用于在所述待处理图像中，提取所述多个目标对应的多组初始边界，其中每组初始边界对应至少一个目标，每组初始边界表示所对应的目标的成像区域的边界；
判断模块，用于对于对应第一目标的初始边界，至少根据该初始边界在所述待处理图像中的实际位置信息和该初始边界的预设位置信息，确定该初始边界是否为正确边界；
确定模块，用于对于对应第一目标的初始边界，在确定该初始边界不是正确边界的情况下，根据至少一组正确边界的位置、第二目标与所述第一目标的预设位置关系，确定对应所述第一目标的正确边界的位置，其中所述第一目标是所述多个目标中的任意一个或多个，所述第二目标是所述至少一组正确边界对应的目标。
18.一种缺陷检测系统，其特征在于，包括：
获取模块，用于获取产品的待检测图像；
定位模块，用于利用如权利要求1至15任一项所述的图像中目标的定位方法，确定所述待检测图像中的对应多个目标的多组正确边界；以及
检测模块，用于根据所述多组正确边界的位置和每组正确边界中的各个像素的像素值，确定所述产品中的各个目标是否存在缺陷。
19.一种电子设备，包括处理器和存储器，其特征在于，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至15任一项所述的图像中目标的定位方法和/或如权利要求16所述的缺陷检测方法。
20.一种存储介质，在所述存储介质上存储了程序指令，其特征在于，所述程序指令在运行时用于执行如权利要求1至15任一项所述的图像中目标的定位方法和/或如权利要求16所述的缺陷检测方法。
CN202311769878.7A 2023-12-20 2023-12-20 图像中目标的定位方法和缺陷检测方法、系统、电子设备 Pending CN117576366A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311769878.7A CN117576366A (zh) 2023-12-20 2023-12-20 图像中目标的定位方法和缺陷检测方法、系统、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311769878.7A CN117576366A (zh) 2023-12-20 2023-12-20 图像中目标的定位方法和缺陷检测方法、系统、电子设备

Publications (1)

Publication Number Publication Date
CN117576366A true CN117576366A (zh) 2024-02-20

Family

ID=89890115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311769878.7A Pending CN117576366A (zh) 2023-12-20 2023-12-20 图像中目标的定位方法和缺陷检测方法、系统、电子设备

Country Status (1)

Country Link
CN (1) CN117576366A (zh)

Similar Documents

Publication Publication Date Title
CN109472271B (zh) 印刷电路板图像轮廓提取方法及装置
CN111474184B (zh) 基于工业机器视觉的aoi字符缺陷检测方法和装置
US6771807B2 (en) Method and system for detecting defects on a printed circuit board
WO2018068415A1 (zh) 元件错件检测方法和系统
CN112577969B (zh) 一种基于机器视觉的缺陷检测方法以及缺陷检测系统
CN109752392B (zh) 一种pcb板缺陷类型检测系统和方法
CN110838097A (zh) 一种基于机器视觉的输送带偏移测量方法
CN112085700B (zh) X射线图像中焊缝区域的自动化提取方法、系统及介质
CN111861979A (zh) 一种定位方法、设备及计算机可读存储介质
Said et al. Automated detection and classification of non-wet solder joints
US20200193561A1 (en) Automatic Detection, Counting, and Measurement of Lumber Boards Using a Handheld Device
CN113112396B (zh) 导电粒子的检测方法
CN112419225B (zh) 一种基于引脚分割的sop型芯片检测方法及系统
CN115375610A (zh) 检测方法及装置、检测设备和存储介质
CN115375608A (zh) 检测方法及装置、检测设备和存储介质
CN117576366A (zh) 图像中目标的定位方法和缺陷检测方法、系统、电子设备
CN113192061B (zh) Led封装外观检测图像的提取方法、装置、电子设备和存储介质
Wu et al. Accurate localization of defective circular PCB mark based on sub-pixel edge detection and least square fitting
US6526165B1 (en) Methods and apparatuses for refining a geometric description of an object having a plurality of extensions
CN109215068B (zh) 图像放大率测量方法及装置
CN112837285A (zh) 一种板面图像的边缘检测方法及装置
JP2000321038A (ja) パターン欠陥検出方法
CN110874837A (zh) 一种基于局部特征分布的缺陷自动检测方法
JP2008269264A (ja) 画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラム
JPH08234226A (ja) 液晶基板製造用画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination