CN116380918A - 缺陷检测方法、装置及设备 - Google Patents

缺陷检测方法、装置及设备 Download PDF

Info

Publication number
CN116380918A
CN116380918A CN202310562812.4A CN202310562812A CN116380918A CN 116380918 A CN116380918 A CN 116380918A CN 202310562812 A CN202310562812 A CN 202310562812A CN 116380918 A CN116380918 A CN 116380918A
Authority
CN
China
Prior art keywords
target
dimensional image
spectrum
image
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310562812.4A
Other languages
English (en)
Inventor
邹志明
吴梓荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ganzhou Qiutian Microelectronics Co ltd
Original Assignee
Ganzhou Qiutian Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ganzhou Qiutian Microelectronics Co ltd filed Critical Ganzhou Qiutian Microelectronics Co ltd
Priority to CN202310562812.4A priority Critical patent/CN116380918A/zh
Publication of CN116380918A publication Critical patent/CN116380918A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种缺陷检测方法、装置及设备。该方法包括：获取第一二维图像和第二二维图像，第一二维图像是第一摄像装置以第一视角对待检测物品进行拍摄获得的图像，第二二维图像是第二摄像装置以第二视角对待检测物品进行拍摄获得的图像；对第一二维图像和第二二维图像进行处理，获得目标低能量谱和目标相位谱，目标低能量谱包括第一二维图像的低能量谱和第二二维图像的低能量谱，目标相位谱包括第一二维图像的相位谱和第二二维图像的相位谱；对目标低能量谱和目标相位谱执行匹配计算，确定缺陷信息，缺陷信息包括缺陷相对于待检测物品的坐标信息和缺陷的形状大小信息。该方法可以实现对待检测物品内部存在的缺陷的检测。

Description

缺陷检测方法、装置及设备
技术领域
本申请涉及图像识别技术领域，尤其涉及一种缺陷检测方法、装置及设备。
背景技术
对产品进行缺陷检测对提高生产效率和保证生产质量均具有重要意义。目前，对生产线上的待检测物品(例如，透射式液晶盒)进行缺陷检测，主要是通过对摄像装置获取的待检测物品的图像进行分析，以确定待检测物品是否存在确定。
传统技术提供的缺陷检测方法仅适用于表面检测。具体来说，传统技术对待检测物品的图像进行缺陷检测所获得的检测结果，仅能反应出待检测物品或待检测物品的表面是否存在缺陷。也就是说，若待检测物品的内部存在缺陷，则传统技术无法检测出待检测物品内部存在的该缺陷。
因此，亟需一种缺陷检测方法，该方法可以实现对待检测物品内部存在的缺陷的检测。
发明内容
本申请提供了一种缺陷检测方法、装置及设备，通过该方法可以实现对待检测物品内部存在的缺陷的检测。
第一方面，本申请实施例提供了一种缺陷检测方法，所述方法包括：获取第一二维图像和第二二维图像，其中，所述第一二维图像是第一摄像装置以第一视角对待检测物品进行拍摄获得的图像，所述第二二维图像是第二摄像装置以第二视角对所述待检测物品进行拍摄获得的图像，所述第一视角与所述第二视角是两个不同的视角；对所述第一二维图像和所述第二二维图像进行处理，获得目标低能量谱和目标相位谱，其中，所述目标低能量谱包括所述第一二维图像的低能量谱和所述第二二维图像的低能量谱，所述目标相位谱包括所述第一二维图像的相位谱和所述第二二维图像的相位谱；对所述目标低能量谱和所述目标相位谱执行匹配计算，确定缺陷信息，其中，所述缺陷信息包括所述缺陷相对于所述待检测物品的三维坐标信息和所述缺陷的形状大小信息。
在一种可能的设计中，所述对所述第一二维图像和所述第二二维图像进行处理，获得目标低能量谱和目标相位谱，包括：根据所述第一二维图像和所述第二二维图像，获得目标频谱，其中，所述目标频谱包括所述第一二维图像的频谱和所述第二二维图像的频谱；对所述目标频谱执行傅里叶逆变换，获得傅里叶谱、目标能量谱和所述目标相位谱；基于谱残差的显著性检测算法，对所述傅里叶谱、所述目标能量谱和所述目标相位谱进行显著性检测，获得目标灰度谱图像；根据所述待检测物品对应的掩码图和所述目标灰度谱图像，获得所述目标低能量谱。
可选的，在另一种可能的设计中，所述根据所述第一二维图像和所述第二二维图像，获得目标频谱，包括：根据所述第一二维图像和所述第二二维图像，确定目标二维图像，其中，所述目标二维图像包括所述第一二维图像的信息和所述第二二维图像的信息；对所述目标二维图像执行傅里叶变换处理，获得所述目标频谱。
可选的，在另一种可能的设计中，所述根据所述第一二维图像和所述第二二维图像，确定目标二维图像，包括：根据所述第一摄像装置的内参数和外参数对所述第一二维图像进行校正，获得校正后的第一二维图像；以及根据所述第二摄像装置的内参数和外参数对所述第二二维图像进行校正，获得校正后的第二二维图像；根据第一转换矩阵，将所述校正后的所述第一二维图像转换为世界坐标系中的预设平面中的图像；其中，所述第一转换矩阵表示物品在所述世界坐标系和所述第一摄像装置对所述物品拍摄所获得的二维图像的像素坐标系之间的位置映射关系；根据第二转换矩阵，将所述校正后的第二二维图像转换为所述预设平面中的图像，其中，所述第二转换矩阵表示物品在所述世界坐标系和所述第二摄像装置对所述物品拍摄所获得的二维图像的像素坐标系之间的位置映射关系；在所述世界坐标系中，根据匹配算法，对所述预设平面中的所述校正后的第一二维图像和所述预设平面中的所述校正后的第二二维图像中的各像素点进行匹配，以获得所述目标二维图像。
可选的，在另一种可能的设计中，在所述根据所述第一摄像装置的内参数和外参数对所述第一二维图像进行校正，获得校正后的第一二维图像；以及根据所述第二摄像装置的内参数和外参数对所述第二二维图像进行校正，获得校正后的第二二维图像之前，所述方法还包括：分别对所述第一摄像装置和所述第二摄像装置进行标定，获得第一标定参数和第二标定参数，其中，所述第一标定参数包括所述第一转换矩阵、所述第一摄像装置的内参数和外参数，所述第二标定参数包括所述第二转换矩阵、所述第二摄像装置的内参数和外参数。
可选的，在另一种可能的设计中，所述对所述目标低能量谱和所述目标相位谱执行匹配计算，确定缺陷信息，包括：根据匹配算法，对所述目标低能量谱和所述目标相位谱执行匹配计算确定多个对应关系，其中，每个对应关系为所述目标低能量谱中的一个目标点和所述目标相位谱中的一个目标点之间的对应关系；根据所述多个对应关系所关联的所述目标低能量谱中的多个目标点的低能量，确定所述缺陷的形状大小信息；根据所述多个对应关系所关联的所述目标相位谱中的多个目标点的相位，确定所述缺陷相对于所述待检测物品的三维坐标信息。
可选的，在另一种可能的设计中，所述根据所述多个对应关系所关联的所述目标低能量谱中的多个目标点的低能量，确定所述缺陷的形状大小信息，包括：对所述多个对应关系所关联的所述目标低能量谱中的多个目标点的低能量中的每个目标点关联的低能量计算差值，获得所述多个目标点中的每个目标点的低能量差值结果；以及，根据所述多个目标点的低能量差值结果，确定所述缺陷的形状大小信息；所述根据所述多个对应关系所关联的所述目标相位谱中的多个目标点的相位，确定所述缺陷相对于所述待检测物品的三维坐标信息，包括：对所述多个对应关系所关联的所述目标相位谱中的多个目标点的相位中的每个目标点关联的相位计算差值，获得所述多个目标点中的每个目标点的相位差值结果；以及，根据所述多个目标点的相位差值结果，确定所述缺陷相对于所述待检测物品的三维坐标信息。
可选的，在另一种可能的设计中，所述获取第一二维图像和第二二维图像，包括：在所述待检测物品存在缺陷的情况下，获取所述第一二维图像和所述第二二维图像。
可选的，在另一种可能的设计中，所述第一二维图像具体是所述第一摄像装置以所述第一视角对处于目标位置的所述待检测物品进行拍摄获得的图像，所述第二二维图像具体是所述第二摄像装置以所述第二视角对处于所述目标位置的所述待检测物品进行拍摄获得的图像。
可选的，在另一种可能的设计中，所述第一视角或所述第二视角为垂直于所述待检测物品中的缺陷的视角。
第二方面，本申请还提供了一种缺陷检测装置，所述控制装置包括：获取模块用于：获取第一二维图像和第二二维图像，其中，所述第一二维图像是第一摄像装置以第一视角对待检测物品进行拍摄获得的图像，所述第二二维图像是第二摄像装置以第二视角对所述待检测物品进行拍摄获得的图像，所述第一视角与所述第二视角是两个不同的视角；处理模块用于：对所述第一二维图像和所述第二二维图像进行处理，获得目标低能量谱和目标相位谱，其中，所述目标低能量谱包括所述第一二维图像的低能量谱和所述第二二维图像的低能量谱，所述目标相位谱包括所述第一二维图像的相位谱和所述第二二维图像的相位谱；所述处理模块还用于：对所述目标低能量谱和所述目标相位谱执行匹配计算，确定缺陷信息，其中，所述缺陷信息包括所述缺陷相对于所述待检测物品的三维坐标信息和所述缺陷的形状大小信息。
第三方面，本申请还提供了缺陷检测设备，包括至少一个处理器，所述至少一个处理器用于与存储器耦合，读取并执行所述存储器中的指令，以实现前述第一方面中任一种可能设计中所提供的方法。
可选地，所示缺陷检测设备还包括该存储器。
第四方面，本申请还提供了一种系统，包括前述第三方面所提供的缺陷检测设备。
第五方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行前述第一方面中任一种可能设计中所提供的方法。
第六方面，本申请还提供了一种芯片系统，包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片系统的设备执行前述第一方面中任一种可能设计中所提供的方法。
第七方面，本申请实施例还提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行前述第一方面中任一种可能设计中所提供的方法。
本申请实施例提供的缺陷检测方法，包括：获取第一二维图像和第二二维图像，其中，第一二维图像是第一摄像装置以第一视角对待检测物品进行拍摄获得的图像，第二二维图像是第二摄像装置以第二视角对待检测物品进行拍摄获得的图像，第一视角与第二视角是两个不同的视角；对第一二维图像和第二二维图像进行处理，获得目标低能量谱和目标相位谱，其中，目标低能量谱包括第一二维图像的低能量谱和第二二维图像的低能量谱，目标相位谱包括第一二维图像的相位谱和第二二维图像的相位谱；对目标低能量谱和目标相位谱执行匹配计算，确定缺陷信息，其中，缺陷信息包括缺陷相对于待检测物品的三维坐标信息和缺陷的形状大小信息。上述缺陷检测过程中，首先获取以不同视角对待检测物品进行拍摄所获得的不同的二维图像(即第一二维图像和第二二维图像)。然后对不同的二维图像进行处理获得目标低能量谱和目标相位谱。进一步，根据目标低能量谱和目标相位谱执行匹配计算可以获得缺陷信息，缺陷信息包括缺陷相对于待检测物品的三维坐标信息和缺陷的形状大小信息。综上，本申请实施例提供的缺陷检测方法可以实现对待检测物品内部存在的缺陷的检测。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是适用于本申请实施例提供的缺陷检测方法的应用场景100的示意图。
图2是上述图1示出的摄像装置102和待检测物品1的示意图。
图3是本申请实施例提供的一种缺陷检测方法的示意图。
图4是本申请实施例提供的另一种缺陷检测方法的示意图。
图5是上述图4提供的缺陷检测方法所涉及的一种预设平面的示意图。
图6是上述图4提供的缺陷检测方法的工作原理的示意图。
图7本申请实施例提供的一种缺陷检测装置的结构示意图。
图8本申请实施例提供的一种缺陷检测设备的结构示意图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
本文中术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“至少一个”是指一个或者多个，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
首先，对本申请实施例中涉及的专业术语进行介绍。
模拟图像，又称为连续图像。模拟图像是指在二维坐标系中连续变化的图像，即图像的像点是无限稠密的，同时具有灰度值(即图像从暗到亮的变化值)。
数字图像，又称数码图像或数位图像。数字图像是二维图像用有限数字数值像素的表示。数字图像是由模拟图像数字化得到的、以像素(pixel)为基本元素的、可以用数字计算机或数字电路存储和处理的图像。通常的二维数字图像是一个矩型，可以用一个二维数组f(x,y)来表示，其中x,y是二维空间中的某坐标系的坐标，f(x,y)表示图像在该点处的灰度值等性质。
深度图，又称为深度图像。深度图是指存储单视图所有像素的深度值的二维图像，是空间单位(比如毫米)。深度图是一张二维图像，深度图和原图等大小。深度图中的每个位置保存的是该位置像素的深度值。深度值就是相机坐标系下的Z坐标值。其中，相机坐标系是以相机的聚焦中心为原点，以光轴为Z轴建立的三维直角坐标系。
下面，结合附图介绍本申请实施例适用的应用场景。
图1是适用于本申请实施例提供的缺陷检测方法的应用场景100的示意图。示例性的，图1示出的应用场景100包括：光学检测平台101、轨道102、摄像装置103、计算设备104和机械装置105。对摄像装置103、计算设备104和机械装置105之间的连接方式不做具体限定。例如，摄像装置103、计算设备104和机械装置105中的任意两个装置之间可以通过有线连接的方式进行连接。又如，摄像装置103、计算设备104和机械装置105中的任意两个装置之间可以通过无线连接(例如，蓝牙)的方式进行连接。
光学检测平台101，用于放置轨道102。可选的，光学检测平台101上还可以设置有定位装置(图1并未示出)，其中，定位装置用于对轨道102中放置的待检测物品位于轨道102上的位置进行定位。也就是说，光学检测平台101上设置的定位装置可以确定轨道102上放置的待检测物品的位置。
轨道102，用于放置一个或多个待检测物品(例如，图1示出的待检测物品1和待检测物品2)，且每个待检测物品在轨道102的运动方向为：从轨道102的起始位置运动至轨道102的结束位置。
摄像装置103，用于采集轨道102上传输的待检测物品的图像。例如，在图1示出待检测物品1从轨道103的起始位置朝向轨道102的结束位置运动的过程中，摄像装置103可以对待检测物品1进行拍摄获取待检测物品1的至少一张图像。还应理解的是，摄像装置103可以至少包括两个摄像设备，其中，在同一时刻这两个摄像设备针对轨道102上传输的待检测物品进行拍摄时的拍摄角度不同。也就是说，在同一时刻，这两个摄像设备针对轨道102上传输的待检测物品进行拍摄所获得的两张图像也不完全相同。示例性的，下面以图2示出的摄像装置103和待检测物品1的侧面剖视图为例进行描述。参见图2，摄像装置103包括的两个摄像设备分别为摄像设备1和摄像设备2。其中，摄像设备1和摄像设备2对待检测物品1进行拍摄的拍摄角度不同。具体来说，摄像设备1对待检测物品1存在的缺陷1和缺陷2均以垂直于待检测物品1的角度进行拍摄；摄像设备2对待检测物品1存在的缺陷1的拍摄角度参见图2示出的摄像设备2和缺陷1之间的连线，以及，摄像设备2对待检测物品1存在的缺陷2的拍摄角度参见图2示出的摄像设备2和缺陷2之间的连线。在一些实现方式中，摄像装置103可以是双目摄像机，其中，摄像设备1和摄像设备2是该双目摄像机包括的两个摄像设备。可选的，在另一些实现方式中，摄像装置103还可以不是双目摄像机。
计算设备104，用于对摄像装置103采集的图像进行缺陷检测处理获得检测结果，并根据检测结果确定是否需要将摄像装置103所采集的图像所关联的待检测物品从轨道102上检出。在计算设备104确定需要将摄像装置103所采集的图像所关联的待检测物品从轨道102上检出的情况下，计算设备104向机械装置105发送控制指令，其中，控制指令指示机械装置105将该控制指令所指示的待检测物品从轨道102上检出。在本申请实施例中，对计算设备104的呈现方式不做具体限定。计算设备104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
应理解的是，上述图1示出的应用场景仅为示意，并不对本申请实施例适用的应用场景构成任何限定。例如，摄像装置103还可以包括更多数目的摄像设备。又如，图1示出的应用场景100还可以包括更多数目的机械装置105。再如，轨道102上还可以包括更多数目的待检测物品。
上文结合图1和图2详细介绍了本申请实施例适用的应用场景。接下来，将结合图3至图6对本申请实施例提供的缺陷检测方法进行详细介绍。
图3是本申请实施例提供的一种缺陷检测方法的示意图。本申请实施例提供的缺陷检测方法可以由计算设备来执行。可以理解的是，该计算设备可以实现为软件、或者软件和硬件的组合。其中，本申请实施例中的计算设备可以但不限于是服务器或用户使用的终端设备。示例性的，上述计算设备可以但不限于是上述图1示出的计算设备104。如图3所示，本申请实施例提供的缺陷检测方法包括S310至S330。下面，对S310至S330进行详细介绍。
S310，获取第一二维图像和第二二维图像，其中，第一二维图像是第一摄像装置以第一视角对待检测物品进行拍摄获得的图像，第二二维图像是第二摄像装置以第二视角对待检测物品进行拍摄获得的图像，第一视角与第二视角是两个不同的视角。
执行上述S310的目的，即利用至少两个摄像装置以两个不同视角对存在缺陷的该待检测物品进行拍摄以获得第一二维图像和第二二维图像。其中，第一二维图像具体是第一摄像装置以第一视角对处于目标位置的待检测物品进行拍摄获得的图像，第二二维图像具体是第二摄像装置以第二视角对处于目标位置的待检测物品进行拍摄获得的图像。
在第一摄像装置获得第一二维图像和第二摄像装置获得第二二维图像的场景中，仅需要第一摄像装置的拍摄视角(即第一视角)和第二摄像装置的拍摄视角(即第二视角)不同即可。在一些实现方式中，第一视角或第二视角为垂直于待检测物品中的缺陷的视角。示例性的，第一摄像装置可以为图2示出的摄像设备1，第二摄像装置可以为图2示出的摄像设备2，待检测物品可以为图2示出的待检测物品1，图2示出的摄像设备1以垂直于缺陷1的视角进行拍摄，摄像设备2以非垂直于缺陷1的视角进行拍摄。在另一些实现方式中，第一视角和第二视角为非垂直于待检测物品中的缺陷的视角。示例性的，继续以图2示出的摄像设备为例，图2示出的摄像设备1可以非垂直于缺陷1的视角进行拍摄，摄像设备2可以以非垂直于缺陷1的视角进行拍摄。
在本申请实施例中，对第一摄像装置和第二摄像装置的呈现方式不作具体限定。例如，第一摄像装置和第二摄像装置可以是双目摄像机中的两个不同的摄像机，这种实现方式中，两个不同的摄像机被封装在双目摄像机中。又如，第一摄像装置和第二摄像装置可以是两个独立的摄像机。
在本申请实施例中，对执行S310的执行条件不作具体限定。在一些实现方式中，执行S310，即获取第一二维图像和第二二维图像，包括：在待检测物品存在缺陷的情况下，获取第一二维图像和第二二维图像。这种实现方式中，仅在待检测的物品存在缺陷的情况下执行本申请实施例提供的缺损检测方法，这样有利于节省资源。可选的，在另一些实现方式中，在执行本申请实施提供的缺损检测方法之前，无需确定待检测物品是否存在缺陷。这种实现方式中，无论待检测物品是否存在缺陷均会执行本申请实施例提供的缺损检测方法。
可以理解的是，本申请实施例描述的任意一个二维图像是指不包括深度信息的二维数字图像。其中，任意一个二维图像可以但不限于为第一二维图像或第二二维图像。
S320，对第一二维图像和第二二维图像进行处理，获得目标低能量谱和目标相位谱，其中，目标低能量谱包括第一二维图像的低能量谱和第二二维图像的低能量谱，目标相位谱包括第一二维图像的相位谱和第二二维图像的相位谱。
执行上述S320，即对第一二维图像和第二二维图像进行处理，获得目标低能量谱和目标相位谱，包括：根据第一二维图像和第二二维图像，获得目标频谱，其中，目标频谱包括第一二维图像的频谱和第二二维图像的频谱；对目标频谱执行傅里叶逆变换，获得傅里叶谱、目标能量谱和目标相位谱；基于谱残差的显著性检测算法，对傅里叶谱、目标能量谱和目标相位谱进行显著性检测，获得目标灰度谱图像；根据待检测物品对应的掩码图和目标灰度谱图像，获得目标低能量谱。
在一些实现方式中，根据第一二维图像和第二二维图像，获得目标频谱，包括：根据第一二维图像和第二二维图像，确定目标二维图像，其中，目标二维图像包括第一二维图像的信息和第二二维图像的信息；对目标二维图像执行傅里叶变换处理，获得目标频谱。也就是说，目标频谱包括第一二维图像的频谱和第二二维图像的频谱。
在一些实现方式中，根据第一二维图像和第二二维图像，确定目标二维图像，包括：根据第一摄像装置的内参数和外参数对第一二维图像进行校正，获得校正后的第一二维图像；以及根据第二摄像装置的内参数和外参数对第二二维图像进行校正，获得校正后的第二二维图像；根据第一转换矩阵，将校正后的第一二维图像转换为世界坐标系中的预设平面中的图像；其中，第一转换矩阵表示物品在世界坐标系和第一摄像装置对物品拍摄所获得的二维图像的像素坐标系之间的位置映射关系；根据第二转换矩阵，将校正后的第二二维图像转换为预设平面中的图像，其中，第二转换矩阵表示物品在世界坐标系和第二摄像装置对物品拍摄所获得的二维图像的像素坐标系之间的位置映射关系；在世界坐标系中，根据匹配算法，对预设平面中的校正后的第一二维图像和预设平面中的校正后的第二二维图像中的各像素点进行匹配，以获得目标二维图像。示例性的，图5示出的校正后的输入图像1所在平面可以为上述校正后的第一二维图像所在的预设平面，图5示出的校正后的输入图像2所在平面可以为上述校正后的第二二维图像所在的预设平面。在图5中，这两个校正后的图像均位于预设平面，且这两个图像相互平行(即，这两个图像的极线是共线的)。上述实现方式中描述的匹配算法用于实现立体匹配(Stereo Matching)，立体匹配的目标是从不同视点图像(例如，第一二维图像和第二二维图像)中找到匹配的对应点。对匹配算法不作具体限定，可以根据实际场景进行选取。例如，匹配算法可以但不限于是：绝对差之和(Sum of Absolute Differences，SAD)匹配算法或者代价计算(Cost Computation)匹配算法。
上述实现方式中，涉及利用摄像装置的标定参数对该摄像装置拍摄获得的二维图像进行校正的流程。在执行校正之前，还可以对摄像装置进行标定以获得摄像装置的标定参数。基于此，在一些实现方式中，在根据第一摄像装置的内参数和外参数对第一二维图像进行校正，获得校正后的第一二维图像；以及根据第二摄像装置的内参数和外参数对第二二维图像进行校正，获得校正后的第二二维图像之前，方法还包括：分别对第一摄像装置和第二摄像装置进行标定，获得第一标定参数和第二标定参数，其中，第一标定参数包括第一转换矩阵、第一摄像装置的内参数和外参数，第二标定参数包括第二转换矩阵、第二摄像装置的内参数和外参数。对第一摄像装置和第二摄像装置进行标定的标定方法不作具体限定，例如该标定方法可以但不限于是张正友标定法。
任意一个摄像装置的内参数可以包括摄像装置的焦距、像素大小等。任意一个摄像装置的外参数是该任意一个摄像装置在世界坐标系中的参数。其中，任意一个摄像装置的外参数可以包括摄像装置的位置、旋转方向等。上述世界坐标系可以是人为定义的坐标系。第一摄像装置和第二摄像装置拍摄的图像的极线行对齐，即在极线对齐后，第一摄像装置坐标系的X轴和第二摄像装置坐标系的X轴均与基线平行，第一摄像装置坐标系的Z轴和第一摄像装置的像平面垂直，以及第二摄像装置坐标系的Z轴和第二摄像装置的像平面垂直。也就是说，第一摄像装置和第二摄像装置拍摄的图像的极线行对齐，使得第一摄像装置的主光轴和第二摄像装置的主光轴是相互平行的。再换句话说，第一摄像装置和第二摄像装置拍摄的图像的极线行对齐，使得第一摄像装置拍摄获得的第一二维图像中的第一目标像素点和第二二维图像中的第二目标像素点位于相同行，其中，第一目标像素点和第二目标像素点是待检测物品中的同一物点的成像结果。
S330，对目标低能量谱和目标相位谱执行匹配计算，确定缺陷信息，其中，缺陷信息包括缺陷相对于待检测物品的三维坐标信息和缺陷的形状大小信息。
执行上述S330，即对目标低能量谱和目标相位谱执行匹配计算，确定缺陷信息，包括：根据匹配算法，对目标低能量谱和目标相位谱执行匹配计算确定多个对应关系，其中，每个对应关系为目标低能量谱中的一个目标点和目标相位谱中的一个目标点之间的对应关系；根据多个对应关系所关联的目标低能量谱中的多个目标点的低能量，确定缺陷的形状大小信息；根据多个对应关系所关联的目标相位谱中的多个目标点的相位，确定缺陷相对于待检测物品的三维坐标信息。
目标低能量谱中的目标点和目标相位谱中的目标点之间存在对应关系，其中，目标低能量谱中的目标点的低能量谱包括第一二维图像中的待检测物品中的目标位置的低能量谱和第二二维图像中的待检测物品中的目标位置的低能量谱，目标相位谱中的目标点的相位谱包括第一二维图像中的待检测物品中的目标位置的相位谱和第二二维图像中的待检测物品中的目标位置的相位谱。
缺陷相对于待检测物品的三维坐标信息包括缺陷相对于待检测物品的深度位置。也就是说，缺陷相对于待检测物品的三维坐标信息可以获知缺陷位于待检测物品的表面或内部。缺陷的形状大小信息包括缺陷的形状和缺陷的大小。
在一些实现方式中，根据多个对应关系所关联的目标低能量谱中的多个目标点的低能量，确定缺陷的形状大小信息，包括：对多个对应关系所关联的目标低能量谱中的多个目标点的低能量中的每个目标点关联的低能量计算差值，获得多个目标点中的每个目标点的低能量差值结果；以及，根据多个目标点的低能量差值结果，确定缺陷的形状大小信息；根据多个对应关系所关联的目标相位谱中的多个目标点的相位，确定缺陷相对于待检测物品的三维坐标信息，包括：对多个对应关系所关联的目标相位谱中的多个目标点的相位中的每个目标点关联的相位计算差值，获得多个目标点中的每个目标点的相位差值结果；以及，根据多个目标点的相位差值结果，确定缺陷相对于待检测物品的三维坐标信息。
应理解的是，上述图3所描述的缺陷检测方法仅为示意，并不对本申请提供的缺陷检测方法构成任何限定。例如，上述待检测物品还可以包括多个缺陷。例如，第一摄像装置和第二摄像装置还可以替换为更多数目的摄像装置，其中，更多数目的摄像装置以对应的更多数目的视角对存在缺陷的待检测物品进行拍摄，获得更多数目的二维图像。此后，对更多数目的二维图像进行立体配准获得目标图像，并根据该目标图像确定目标频谱。
在本申请实施例中，根据以不同视角对待检测物品进行拍摄获得不同的二维图像，进一步，跟对不同的二维图像进行处理获得目标低能量谱和目标相位谱。此后，根据目标低能量谱和目标相位谱执行匹配计算可以获得缺陷信息，缺陷信息包括缺陷相对于待检测物品的三维坐标信息和缺陷的形状大小信息。综上，本申请实施例提供的缺陷检测方法可以实现对待检测物品内部存在的缺陷的检测。
下面，结合图4介绍本申请实施例提供的另一种缺陷检测方法。可以理解的是，图4所述描述的缺陷检测方法为上述图3所描述的缺陷检测方法的一个具体示例，图4所描述的方法仅为示意，并不对本申请提供的缺陷检测方法构成任何限定。
图4是本申请实施例提供的另一种缺陷检测方法的示意图。本申请实施例提供的缺陷检测方法可以由计算设备来执行。可以理解的是，该计算设备可以实现为软件、或者软件和硬件的组合。示例性的，本申请实施例中所描述的计算设备可以但不限于是上述图1示出的计算设备104。如图4所示，该方法包括步骤S401至步骤S407。下面，对步骤S401至步骤S407进行详细介绍。
S401，计算设备获得输入图像1和输入图像2，其中，输入图像1是利用摄像设备1以拍摄角度1对存在缺陷的待检测物品1进行拍摄获得的数字图像，输入图像2是利用摄像设备2以拍摄角度2对存在缺陷的待检测物品1进行拍摄获得的数字图像，摄像设备1和摄像设备2是两个不同的摄像设备，拍摄角度1和拍摄角度2是两个不同的拍摄角度。
执行上述S401，即以不同拍摄角度(即拍摄角度1和拍摄角度2)对存在缺陷的待检测物品1执行图像采集处理，以获得输入图像2和输入图像1。可以理解的是，输入图像1和输入图像2不完全相同。
对拍摄角度1和拍摄角度2不作具体限定，仅需满足拍摄角度1和拍摄角度2是两个不同的拍摄角度。对待检测物品1包括的缺陷数目不作具体限定。示例性的，参见图2示出的待检测物品1的侧面剖视图，待检测物品1包括2个缺陷，缺陷1位于待检测物品1的表面，缺陷2位于待检测物品1的内部。摄像设备1以垂直于缺陷的拍摄角度进行拍摄获得输入图像1，摄像设备2以倾斜于缺陷的拍摄角度进行拍摄获得输入图像2。可以理解的是，图2示出的待检测物品1可以但不限于为透射式液晶盒或LED显示屏等设备。
S402，计算设备根据输入图像1和输入图像2，获得目标图像1，目标图像1包括输入图像1的信息和输入图像2的信息。
输入图像1、输入图像2和目标图像1是二维数字图像。也就是说，输入图像1、输入图像2和目标图像1中的任意一张图像是由像素点组成的离散图像，每个像素点都有明确的数值表示。目标图像1包括输入图像1的信息和输入图像2的信息。也就是说，目标图像1包括输入图像1包括的缺陷的信息和输入图像2包括的缺陷的信息。在本申请实施例中，目标图像1中的第i个位置处的信息包括输入图像1中的第i个位置处的信息和输入图像2中的第i个位置处的信息，i为大于零的整数，i的最大取值是根据目标图像1的大小确定的。可以理解的是，输入图像1、输入图像2和目标图像1是大小相同的图像。例如，输入图像1、输入图像2和目标图像1可以是40像素乘100像素大小的图像。
执行上述S402，即计算设备根据输入图像1和输入图像2，获得目标图像1，包括：计算设备对摄像设备1和摄像设备2进行标定，获得获取摄像设备1的标定结果1和摄像设备2的标定结果2；计算设备根据摄像设备1的内参数1对输入图像1进行校正获得校正后的输入图像1，以及根据摄像设备2的内参数2对输入图像2进行校正获得校正后的输入图像2，并利用单应性转换矩阵1将校正后的输入图像1转换至位于预设平面，以及利用和单应性转换矩阵2将校正后的输入图像2转换至位于预设平面；计算设备对校正后的输入图像2和校正后的输入图像3执行匹配计算，获得目标图像。
标定结果1包括摄像设备1的内参数1、摄像设备1的外参数1和摄像设备1的单应性转换矩阵1。标定结果2包括摄像设备2的内参数2、摄像设备2的外参数2和摄像设备2的单应性转换矩阵2。任意一个摄像设备的内参数是与该任意一个摄像设备自身特性相关的参数。其中，任意一个摄像设备的内参数可以包括摄像设备的焦距、像素大小等。任意一个摄像设备的外参数是该任意一个摄像设备在世界坐标系中的参数。其中，任意一个摄像设备的外参数可以包括摄像设备的位置、旋转方向等。上述世界坐标系可以是人为定义的坐标系。其中，一个摄像设备的单应性转换矩阵用于描述物体在世界坐标系和像素坐标系之间的位置映射关系。在本申请实施例中，对标定方法不作具体限定，可以根据传统技术中的标定方法获得摄像设备1的标定结果1和摄像设备2的标定结果2。示例性的，上述传统技术的标定方法可以但不限于是张正友标定法。
在预设平面中的校正后的输入图像1和校正后的输入图像2是预设平面中互相平行的两张图像。且位于预设平面中的校正后的输入图像1和校正后的输入图像2不存在畸变。这样，基于校正后的输入图像1和校正后的输入图像2确定的目标图像的结果更加准确，可以进一步提高缺陷检测结果的准确度。示例性的，图5示出了将校正后的输入图像1所在平面和校正后的输入图像2所在平面装换至预设平面后，校正后的输入图像1和校正后的输入图像2在预设平面中相互平行的示意图。可以理解的是，执行上述S408之后，校正后的两张输入图像(即，输入图像2和输入图像3)位于同一平面且互相平行，即图像的每行像素之间共线。
上述实现方式中，“计算设备对校正后的输入图像2和校正后的输入图像3执行匹配计算，获得目标图像”，即计算设备将两张校正后的图像中具有相同/相似属性的内容或结构进行像素上的识别与对齐。对匹配算法不做具体限定。例如，匹配算法可以但不限于是以下任意一种算法：基于滑动窗口的匹配法、平方差匹配法、相关匹配法或归一化相关匹配法。示例性的，以基于滑动窗口的图像匹配算法为例，对于校正后的输入图像1中一个像素点，在校正后的输入图像2中从左到右用一个尺寸滑动窗口内的像素和它计算相似程度，相似度的度量有很多方法，比如误差平方和算法(Sum of Squared Differences，SSD)，SSD越小的位置对应的像素点就是最佳匹配结果。
S403，计算设备对目标图像执行傅里叶变换，获得频谱1。
在本申请实施例中，为便于描述，下文中将目标图像简记为f(x,y)，目标图像的大小为M×N，M和N为正整数。(x,y)表示像素点的坐标，x表示像素点的横坐标，y表示像素点的纵坐标。基于此，计算设备对目标图像执行傅里叶变换所获得的频谱1可以通过以下数学公式表示：
Figure BDA0004244122210000131
在公式(4.1)中，u和v为离散频率变量，且u＝0,1,...,M-1；v＝0,1,...,N-1。exp()函数表示以自然常数e为底的指数函数，
Figure BDA0004244122210000141
表示的是e的
Figure BDA0004244122210000142
次方。
S404，计算设备对频谱1执行傅里叶逆变换，获得傅里叶谱1、能量谱1和相位谱1。
执行S404，即计算设备对频谱1执行傅里叶逆变换，获得傅里叶谱1、能量谱1和相位谱1，包括：计算设备对频谱1执行傅里叶逆变换，获得二维离散傅里叶逆变换结果；根据二维离散傅里叶逆变换结果，获得傅里叶谱1、能量谱1和相位谱1。
继续以公式(4.1)示出的频谱1为例，计算设备对频谱1执行傅里叶逆变换后，所获得的二维离散傅里叶逆变换f(x,y)可以通过以下数学公式表示：
Figure BDA0004244122210000143
在公式(4.2)中，u和v为离散频率变量，且u＝0,1,...,M-1；v＝0,1,...,N-1。exp()函数表示以自然常数e为底的指数函数，
Figure BDA0004244122210000144
表示的是e的
Figure BDA0004244122210000145
次方。
进一步，根据二维离散傅里叶逆变换f(x,y)获得的傅里叶谱1通过以下数学公式表示：
|F(u,v)|＝[Re2(u,v)+Im2(u,v)]0.5 公式(4.3)
在公式(4.3)中，Re(u,v)是F(u,v)的实部。Im(u,v)是F(u,v)的虚部。
进一步，根据二维离散傅里叶逆变换f(x,y)获得的相位谱1可以通过以下数学公式表示：
Figure BDA0004244122210000146
在公式(4.4)中，Re(u,v)是F(u,v)的实部。Im(u,v)是F(u,v)的虚部。可以理解的是，相位谱1是对傅里叶谱1的虚部除以傅里叶谱1的实部的结果求反正切函数获得的结果。
进一步，根据二维离散傅里叶逆变换f(x,y)获得能量谱1通过以下数学公式表示：
P(u,v)＝Re2(u,v)+Im2(u,v) 公式(4.5)
在公式(4.5)中，arctan[]是反正切函数。Re(u,v)是F(u,v)的实部。Im(u,v)是F(u,v)的虚部。可以理解的是，能量谱1是对傅里叶谱1的虚部的平方与傅里叶谱1的实部的平方执行求和处理的结果。
S405，计算设备基于谱残差的显著性检测算法，对傅里叶谱1、能量谱1和相位谱1进行显著性检测，获得灰度谱图像1。
执行上述S405，即计算设备基于谱残差的显著性检测算法对傅里叶谱1、相位谱1和能量谱1进行处理，确定灰度谱图像1，可以包括以下步骤：根据傅里叶谱1，获得傅里叶谱1对应的幅值；对傅里叶谱1对应的幅值和1的求和结果取对数后得到log谱对应的滤波结果；利用均值滤波器对log谱进行均值滤波，获得log谱对应的滤波结果；将log谱与log谱对应的滤波结果的差值，确定为谱残差；对谱残差和相位谱1进行二维傅里叶逆变换，并利用高斯滤波器对二维傅里叶逆变换结果进行滤波处理，获得处理后的显著图像；将处理后的显著图像转换为8位灰度图像，获得灰度谱图像1。可以理解的是，相位谱1和能量谱1有关。
接下来，结合数学表达式描述上述实现方式中的每个实现步骤。
在本申请实施例中，上述处理后的显著图像可以通过以下数学公式表示：
S(x)＝g(x)·F-1[exp(R(f)+P(f))]2 公式(4.6)
在公式(4.6)中，S(x)表示处理后的显著图像。g(x)表示高斯滤波器。F-1[]表示二维离散傅里叶逆变换。exp()函数表示以自然常数e为底的指数函数。R(f)表示谱残差。P(f)表示相位谱1。
在本申请实施例中，公式(4.6)中的谱残差R(f)可以通过以下数学公式表示：
Figure BDA0004244122210000151
在公式(4.7)中，L(f)表示对(1+A(f))取以自然对数e为底的对数谱(即上述log谱)。hn(f)·L(f)表示对L(f)进行均值滤波后的结果(即上述log谱对应的滤波结果)。hn(f)表示窗口大小为n×n的均值滤波器，该滤波器边缘采用复制策略，n为正整数。A(f)表示对f(x,y)进行二维离散傅里叶变换后的幅值。F表示二维离散傅里叶变换。
在本申请实施例中，上述公式(4.6)中的P(f)可以通过以下数学公式表示：
Figure BDA0004244122210000152
在公式(4.8)中，P(f)表示相位谱1。F表示二维离散傅里叶变换。
在本申请实施例中，将处理后的显著图像转换为8位灰度图像，获得上述灰度谱图像1G(x)可以通过以下数学公式表示：
Figure BDA0004244122210000161
S406，计算设备根据待检测物品对应的掩码图和灰度谱图像1，获得低能量谱1。
图像的频率是表征图像中灰度变化剧烈程度的指标，图像的边缘是突变部分，变化较快。也就是说，图像的边缘是高频分量(即能量高)。图像的噪声大部分情况下是高频部分，图像平缓部分则为低频分量。在本申请实施例中，执行上述S405的目的是，将灰度谱图像1中的存在噪音的位置用于掩码图进行图像掩膜，即利用这种图像掩膜的方式相当于屏蔽了存在噪音的区域，完成了目标候选区域(即，待检测物品1所在区域)的提取，把目标可能存在的位置(候选区域)尽可能地突出显示了出来。这种目标候选区域提取方法十分直观，关键是找到为图像合理增加背景掩膜的方法。其中，掩码图的大小和灰度谱图像1的大小相同。掩码图是由像素值为0和1构成二维数字图像。具体来说，即令待检测物品1所在区域与灰度谱图像1的取值相同，而该区域外的值都设为零。
S407，计算设备根据低能量谱1和相位谱1执行匹配计算，确定缺陷信息1，其中，缺陷信息1包括缺陷相对于待检测物品1的三维坐标信息和缺陷的形状大小信息。
执行上述S407，即计算设备根据低能量谱1和相位谱1执行匹配计算，确定缺陷信息1，包括：计算设备根据匹配算法，对低能量谱1和相位谱1执行匹配计算确定多个对应关系，其中，每个对应关系为低能量谱1中的一个目标点和相位谱1中的一个目标点之间的对应关系；计算设备根据多个对应关系所关联的低能量谱1中的多个目标点的低能量，确定缺陷的形状大小信息；计算设备根据多个对应关系所关联的相位谱1中的多个目标点的相位，确定缺陷相对于待检测物品1的三维坐标信息。
可以理解的是，缺陷相对于待检测物品1的三维坐标信息可以得知缺陷相对于待检测物品1的深度位置。也就是说，缺陷相对于待检测物品1的三维坐标信息可以获知缺陷位于待检测物品1的表面或内部。在本申请实施例中，缺陷相对于待检测物品1的三维坐标信息可以是缺陷相对于待检测物品1的中心坐标(0x,0y,0z)的位置信息。其中，三维坐标的x轴坐标表示缺陷相对于0x的距离，三维坐标的y轴坐标表示缺陷相对于0y的距离，三维坐标的z轴坐标表示缺陷相对于0z的距离。缺陷的形状大小信息包括缺陷的形状和缺陷的大小。
其中，根据多个对应关系所关联的低能量谱1中的多个目标点的低能量，确定缺陷的形状大小信息，包括：对多个对应关系所关联的低能量谱1中的多个目标点的低能量中的每个目标点关联的低能量计算差值，获得多个目标点中的每个目标点的低能量差值结果；以及，根据多个目标点的低能量差值结果，确定缺陷的形状大小信息。
其中，根据多个对应关系所关联的相位谱1中的多个目标点的相位，确定缺陷相对于待检测物品的三维坐标信息，包括：对多个对应关系所关联的相位谱1中的多个目标点的相位中的每个目标点关联的相位计算差值，获得多个目标点中的每个目标点的相位差值结果；以及，根据多个目标点的相位差值结果，确定缺陷相对于待检测物品的三维坐标信息。
上述实现方式中，匹配算法用于实现立体匹配(Stereo Matching)，立体匹配的目标是从不同视点图像(例如，低能量谱1和相位谱1)中找到匹配的对应点。对立体匹配算法不作具体限定，可以根据实际场景进行选取。例如，立体匹配算法可以但不限于是：绝对差之和(Sum of Absolute Differences，SAD)匹配算法、或者代价计算(Cost Computation)匹配算法。
示例性的，图6示出了本申请实施例图4提供的缺陷检测方法的工作原理的示意图。对图6中未详细介绍的内容可以参见上文S401至S407中的相关描述。
应理解的是，图4所描述的缺陷检测方法仅为示意，并不对本申请提供的缺陷检测方法构成任何限定。例如，图4所描述的两个摄像设备(即，摄像设备1和摄像设备2)还可以替换为更多数目(例如，3个或5个等)的摄像设备，基于此，该更多数目的摄像设备可以获得更多数目的输入图像，上述实现方式中的目标图像可以包括该更多数目的输入图像的信息。
在本申请实施例中，首先获取以不同视角对待检测物品进行拍摄所获得的输入图像1和输入图像2。然后，根据输入图像1和输入图像2获得目标图像。进一步，对目标图像进行处理获得低能量谱1和相位谱1。此后，根据低能量谱1和相位谱1执行匹配计算可以获得缺陷信息1，缺陷信息1包括缺陷相对于待检测物品1的三维坐标信息和缺陷的形状大小信息。综上，本申请实施例提供的缺陷检测方法可以实现对待检测物品内部存在的缺陷的检测。上文，结合图1至图6详细介绍了本申请提供的缺陷检测方法适用的应用场景和缺陷检测方法。下面，结合图7和图8介绍本申请提供的缺陷检测装置和设备。应理解，上文中缺陷检测方法与下文中缺陷检测装置和设备相对应，下文中未详细描述的内容可以参见上述方法实施例中的相关描述。
图7是本申请实施例提供的一种缺陷检测装置的结构示意图。如图7所示，缺陷检测装置包括获取模块710和处理模块720。下面对判获取模块710和处理模块720中的每个模块的作用进行介绍。
所述获取模块710用于：获取第一二维图像和第二二维图像，其中，所述第一二维图像是第一摄像装置以第一视角对待检测物品进行拍摄获得的图像，所述第二二维图像是第二摄像装置以第二视角对所述待检测物品进行拍摄获得的图像，所述第一视角与所述第二视角是两个不同的视角；处理模块720用于：对所述第一二维图像和所述第二二维图像进行处理，获得目标低能量谱和目标相位谱，其中，所述目标低能量谱包括所述第一二维图像的低能量谱和所述第二二维图像的低能量谱，所述目标相位谱包括所述第一二维图像的相位谱和所述第二二维图像的相位谱；所述处理模块720还用于：对所述目标低能量谱和所述目标相位谱执行匹配计算，确定缺陷信息，其中，所述缺陷信息包括所述缺陷相对于所述待检测物品的三维坐标信息和所述缺陷的形状大小信息。
图8是本申请实施例提供的一种缺陷检测设备的结构示意图。如图8所示，包括存储器801、处理器802、通信接口803以及通信总线804。其中，存储器801、处理器802、通信接口803通过通信总线804实现彼此之间的通信连接。
存储器801可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器801可以存储程序，当存储器801中存储的程序被处理器802执行时，处理器802和通信接口803用于执行本申请实施例的缺陷检测方法的各个步骤。
处理器802可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的缺陷检测装置中的单元所需执行的功能，或者执行本申请实施例的缺陷检测方法的各个步骤。
处理器802还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请提供的缺陷检测方法的各个步骤可以通过处理器802中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器802还可以是通用处理器、数字信号处理器(digitalsignal processing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmablegate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器801，处理器802读取存储器801中的信息，结合其硬件完成本申请实施例的缺陷检测装置中包括的单元所需执行的功能，或者执行本申请方法实施例的缺陷检测方法。
通信接口803使用例如但不限于收发器一类的收发装置，来实现图8所示的设备与其他设备或通信网络之间的通信。
通信总线804可包括在图8所示的设备各个部件(例如，存储器801、处理器802、通信接口803)之间传送信息的通路。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质包括计算机程序，当其在计算机上运行时，使得该计算机执行上述方法实施例提供的方法。
本申请还提供了一种芯片系统，包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片系统的设备执行上述方法实施例提供的方法。
本申请实施例还提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行上述方法实施例提供的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种缺陷检测方法，其特征在于，所述方法包括：
获取第一二维图像和第二二维图像，其中，所述第一二维图像是第一摄像装置以第一视角对待检测物品进行拍摄获得的图像，所述第二二维图像是第二摄像装置以第二视角对所述待检测物品进行拍摄获得的图像，所述第一视角与所述第二视角是两个不同的视角；
对所述第一二维图像和所述第二二维图像进行处理，获得目标低能量谱和目标相位谱，其中，所述目标低能量谱包括所述第一二维图像的低能量谱和所述第二二维图像的低能量谱，所述目标相位谱包括所述第一二维图像的相位谱和所述第二二维图像的相位谱；
对所述目标低能量谱和所述目标相位谱执行匹配计算，确定缺陷信息，其中，所述缺陷信息包括所述缺陷相对于所述待检测物品的三维坐标信息和所述缺陷的形状大小信息。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一二维图像和所述第二二维图像进行处理，获得目标低能量谱和目标相位谱，包括：
根据所述第一二维图像和所述第二二维图像，获得目标频谱，其中，所述目标频谱包括所述第一二维图像的频谱和所述第二二维图像的频谱；
对所述目标频谱执行傅里叶逆变换，获得傅里叶谱、目标能量谱和所述目标相位谱；
基于谱残差的显著性检测算法，对所述傅里叶谱、所述目标能量谱和所述目标相位谱进行显著性检测，获得目标灰度谱图像；
根据所述待检测物品对应的掩码图和所述目标灰度谱图像，获得所述目标低能量谱。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一二维图像和所述第二二维图像，获得目标频谱，包括：
根据所述第一二维图像和所述第二二维图像，确定目标二维图像，其中，所述目标二维图像包括所述第一二维图像的信息和所述第二二维图像的信息；
对所述目标二维图像执行傅里叶变换处理，获得所述目标频谱。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一二维图像和所述第二二维图像，确定目标二维图像，包括：
根据所述第一摄像装置的内参数和外参数对所述第一二维图像进行校正，获得校正后的第一二维图像；以及根据所述第二摄像装置的内参数和外参数对所述第二二维图像进行校正，获得校正后的第二二维图像；
根据第一转换矩阵，将所述校正后的所述第一二维图像转换为世界坐标系中的预设平面中的图像；其中，所述第一转换矩阵表示物品在所述世界坐标系和所述第一摄像装置对所述物品拍摄所获得的二维图像的像素坐标系之间的位置映射关系；
根据第二转换矩阵，将所述校正后的第二二维图像转换为所述预设平面中的图像，其中，所述第二转换矩阵表示物品在所述世界坐标系和所述第二摄像装置对所述物品拍摄所获得的二维图像的像素坐标系之间的位置映射关系；
在所述世界坐标系中，根据匹配算法，对所述预设平面中的所述校正后的第一二维图像和所述预设平面中的所述校正后的第二二维图像中的各像素点进行匹配，以获得所述目标二维图像。
5.根据权利要求4所述的方法，其特征在于，在所述根据所述第一摄像装置的内参数和外参数对所述第一二维图像进行校正，获得校正后的第一二维图像；以及根据所述第二摄像装置的内参数和外参数对所述第二二维图像进行校正，获得校正后的第二二维图像之前，所述方法还包括：
分别对所述第一摄像装置和所述第二摄像装置进行标定，获得第一标定参数和第二标定参数，其中，所述第一标定参数包括所述第一转换矩阵、所述第一摄像装置的内参数和外参数，所述第二标定参数包括所述第二转换矩阵、所述第二摄像装置的内参数和外参数。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述对所述目标低能量谱和所述目标相位谱执行匹配计算，确定缺陷信息，包括：
根据匹配算法，对所述目标低能量谱和所述目标相位谱执行匹配计算确定多个对应关系，其中，每个对应关系为所述目标低能量谱中的一个目标点和所述目标相位谱中的一个目标点之间的对应关系；
根据所述多个对应关系所关联的所述目标低能量谱中的多个目标点的低能量，确定所述缺陷的形状大小信息；
根据所述多个对应关系所关联的所述目标相位谱中的多个目标点的相位，确定所述缺陷相对于所述待检测物品的三维坐标信息。
7.根据权利要求6所述的方法，其特征在于，
所述根据所述多个对应关系所关联的所述目标低能量谱中的多个目标点的低能量，确定所述缺陷的形状大小信息，包括：
对所述多个对应关系所关联的所述目标低能量谱中的多个目标点的低能量中的每个目标点关联的低能量计算差值，获得所述多个目标点中的每个目标点的低能量差值结果；以及，
根据所述多个目标点的低能量差值结果，确定所述缺陷的形状大小信息；
所述根据所述多个对应关系所关联的所述目标相位谱中的多个目标点的相位，确定所述缺陷相对于所述待检测物品的三维坐标信息，包括：
对所述多个对应关系所关联的所述目标相位谱中的多个目标点的相位中的每个目标点关联的相位计算差值，获得所述多个目标点中的每个目标点的相位差值结果；以及，
根据所述多个目标点的相位差值结果，确定所述缺陷相对于所述待检测物品的三维坐标信息。
8.根据权利要求1至5任一项所述的方法，其特征在于，所述获取第一二维图像和第二二维图像，包括：
在所述待检测物品存在缺陷的情况下，获取所述第一二维图像和所述第二二维图像。
9.根据权利要求1至5任一项所述的方法，其特征在于，
所述第一二维图像具体是所述第一摄像装置以所述第一视角对处于目标位置的所述待检测物品进行拍摄获得的图像，所述第二二维图像具体是所述第二摄像装置以所述第二视角对处于所述目标位置的所述待检测物品进行拍摄获得的图像。
10.根据权利要求1至5任一项所述的方法，其特征在于，
所述第一视角或所述第二视角为垂直于所述待检测物品中的缺陷的视角。
11.一种缺陷检测装置，其特征在于，所述装置包括：
获取模块用于：获取第一二维图像和第二二维图像，其中，所述第一二维图像是第一摄像装置以第一视角对待检测物品进行拍摄获得的图像，所述第二二维图像是第二摄像装置以第二视角对所述待检测物品进行拍摄获得的图像，所述第一视角与所述第二视角是两个不同的视角；
处理模块用于：对所述第一二维图像和所述第二二维图像进行处理，获得目标低能量谱和目标相位谱，其中，所述目标低能量谱包括所述第一二维图像的低能量谱和所述第二二维图像的低能量谱，所述目标相位谱包括所述第一二维图像的相位谱和所述第二二维图像的相位谱；
所述处理模块还用于：对所述目标低能量谱和所述目标相位谱执行匹配计算，确定缺陷信息，其中，所述缺陷信息包括所述缺陷相对于所述待检测物品的三维坐标信息和所述缺陷的形状大小信息。
12.一种缺陷检测设备，其特征在于，包括至少一个处理器，所述至少一个处理器用于与存储器耦合，读取并执行所述存储器中的指令，以实现如权利要求1至10中任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行权利要求1至10中任一项所述的方法。
CN202310562812.4A 2023-05-18 2023-05-18 缺陷检测方法、装置及设备 Pending CN116380918A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310562812.4A CN116380918A (zh) 2023-05-18 2023-05-18 缺陷检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310562812.4A CN116380918A (zh) 2023-05-18 2023-05-18 缺陷检测方法、装置及设备

Publications (1)

Publication Number Publication Date
CN116380918A true CN116380918A (zh) 2023-07-04

Family

ID=86967774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310562812.4A Pending CN116380918A (zh) 2023-05-18 2023-05-18 缺陷检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116380918A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758082A (zh) * 2023-08-21 2023-09-15 无锡市方顺型钢科技有限公司 基于人工智能的型钢生产质量检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000028535A (ja) * 1999-05-11 2000-01-28 Nidek Co Ltd 欠陥検査装置
WO2015114779A1 (ja) * 2014-01-30 2015-08-06 ヤマハ発動機株式会社 実装部品の検査装置
CN111256628A (zh) * 2020-01-21 2020-06-09 浙江清华柔性电子技术研究院 墙面平整度检测方法、装置、计算机设备和存储介质
CN114882088A (zh) * 2022-04-29 2022-08-09 上海精积微半导体技术有限公司 图像配准方法及缺陷检测方法
CN115839957A (zh) * 2023-02-20 2023-03-24 深圳新视智科技术有限公司 显示模组夹层缺陷的检测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000028535A (ja) * 1999-05-11 2000-01-28 Nidek Co Ltd 欠陥検査装置
WO2015114779A1 (ja) * 2014-01-30 2015-08-06 ヤマハ発動機株式会社 実装部品の検査装置
CN111256628A (zh) * 2020-01-21 2020-06-09 浙江清华柔性电子技术研究院 墙面平整度检测方法、装置、计算机设备和存储介质
CN114882088A (zh) * 2022-04-29 2022-08-09 上海精积微半导体技术有限公司 图像配准方法及缺陷检测方法
CN115839957A (zh) * 2023-02-20 2023-03-24 深圳新视智科技术有限公司 显示模组夹层缺陷的检测方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王宏硕;杨永跃;: "基于改进显著性模型的TFT-LCD面板缺陷检测", 电子测量与仪器学报, vol. 32, no. 07, pages 29 - 35 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758082A (zh) * 2023-08-21 2023-09-15 无锡市方顺型钢科技有限公司 基于人工智能的型钢生产质量检测方法
CN116758082B (zh) * 2023-08-21 2023-10-13 无锡市方顺型钢科技有限公司 基于人工智能的型钢生产质量检测方法

Similar Documents

Publication Publication Date Title
CN111091063B (zh) 活体检测方法、装置及系统
CN111179358B (zh) 标定方法、装置、设备及存储介质
CN108230397B (zh) 多目摄像机标定与校正方法和装置、设备、程序和介质
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20110228052A1 (en) Three-dimensional measurement apparatus and method
CN110706182B (zh) 一种屏蔽罩平面度检测方法、装置、终端设备及存储介质
WO2019232793A1 (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
CN109974623B (zh) 基于线激光和双目视觉的三维信息获取方法和装置
CN111667448A (zh) 一种图像处理方法、装置及设备
JP2024507089A (ja) 画像のコレスポンデンス分析装置およびその分析方法
CN105953741B (zh) 一种钢结构局部几何变形的测量系统和方法
CN112257713A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN111383254A (zh) 一种深度信息获取方法、系统及终端设备
CN113674220A (zh) 一种图像差异检测方法、检测装置和存储介质
CN116380918A (zh) 缺陷检测方法、装置及设备
CN109584312A (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN111311671A (zh) 一种工件测量方法、装置、电子设备及存储介质
CN112598610A (zh) 一种深度图像获得方法、装置、电子设备及存储介质
CN112836726A (zh) 一种基于视频信息的指针类仪表示数读取方法及装置
CN117452347A (zh) 一种深度相机的精度测试方法及相关装置、存储介质
CN112102378A (zh) 图像配准方法、装置、终端设备及计算机可读存储介质
CN115035168B (zh) 基于多约束的光伏面板多源图像配准方法、装置及系统
CN115631245A (zh) 一种校正方法、终端设备及存储介质
CN116485905A (zh) 一种暗光环境下相机与激光雷达的联合标定方法
CN109754365B (zh) 一种图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination