CN116559181A - 基于光度立体视觉的缺陷检测方法、系统、装置及介质 - Google Patents

基于光度立体视觉的缺陷检测方法、系统、装置及介质 Download PDF

Info

Publication number
CN116559181A
CN116559181A CN202310827547.8A CN202310827547A CN116559181A CN 116559181 A CN116559181 A CN 116559181A CN 202310827547 A CN202310827547 A CN 202310827547A CN 116559181 A CN116559181 A CN 116559181A
Authority
CN
China
Prior art keywords
target
determining
detected
map
normal vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310827547.8A
Other languages
English (en)
Other versions
CN116559181B (zh
Inventor
丁丁
韩昭嵘
王灿
高润泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Original Assignee
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingxi Robot Intelligent Technology Co ltd filed Critical Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority to CN202310827547.8A priority Critical patent/CN116559181B/zh
Publication of CN116559181A publication Critical patent/CN116559181A/zh
Application granted granted Critical
Publication of CN116559181B publication Critical patent/CN116559181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了基于光度立体视觉的缺陷检测方法、系统、装置及介质，包括：获取待测物体表面在光源不同相位下的M张目标图像；根据所述目标图像，基于光度立体算法确定所述待测物体表面的法向量和反射系数，根据所述法向量确定目标曲率图，根据所述反射系数确定目标反射率图；根据所述法向量，基于条件随机场算法确定所述待测物体表面的目标视差值，根据所述目标视差值确定目标深度图；根据所述目标曲率图、所述目标反射率图和所述目标深度图进行缺陷检测，得到所述待测物体表面的检测结果。本发明降低了对待测物体材质的要求，拓展了光度立体视觉法的应用范围，提高物体表面缺陷检测的准确性和可靠性。

Description

基于光度立体视觉的缺陷检测方法、系统、装置及介质
技术领域
本发明涉及一种计算机视觉技术领域，尤其涉及一种基于光度立体视觉的缺陷检测方法、系统、装置及介质。
背景技术
在传统缺陷检测领域，由于被测物体的材质原因，传统的机器视觉系统或简单二维图像层面的缺陷检测无法满足对缺陷有效、准确的成像要求。
目前光度立体技术已经广泛应用于物体表面的缺陷检测，能够高效率且高准确率地检测出表面三维缺陷，但是传统的光度立体技术是假设物体为漫反射材质的基础上进行缺陷检测，即必须以漫反射的方式反射入射光，对于有镜面反射的物体使用上述方法进行表面检测会导致得到错误的检测结果。
因此，传统的光度立体技术存在待检测物体表面会有反射入射光干扰，从而导致应用范围存在局限性，降低待测物体的适用性问题。
发明内容
本发明的目的在于提供一种基于光度立体视觉的缺陷检测方法、系统、装置及介质，解决了现有技术中传统的光度立体技术存在待检测物体表面会有反射入射光干扰，从而导致应用范围存在局限性，降低待测物体的适用性问题。
本发明第一方面提供一种基于光度立体视觉的缺陷检测方法，包括：
获取待测物体表面在光源不同相位下的M张目标图像，其中，M为大于等于3的正整数；
根据目标图像，基于光度立体算法确定待测物体表面的法向量和反射系数，根据法向量确定待测物体表面的目标曲率图，根据反射系数确定待测物体表面的目标反射率图；
根据法向量，基于条件随机场算法确定待测物体表面的目标视差值，根据目标视差值确定待测物体表面的目标深度图；
根据目标曲率图、目标反射率图和目标深度图进行缺陷检测，得到待测物体表面的检测结果。
作为优选，根据目标图像，基于光度立体算法确定待测物体表面的法向量和反射系数，根据法向量确定待测物体表面的目标曲率图，根据反射系数确定待测物体表面的目标反射率图包括：
根据目标图像，获取目标图像中每个像素点的亮度和光源向量；
根据每个像素点的亮度和光源向量，基于光度立体算法确定待测物体表面的法向量和反射系数；
根据法向量确定待测物体表面的目标曲率图；
根据反射系数确定待测物体表面的目标反射率图。
作为优选，根据法向量确定待测物体表面的目标曲率图包括：
根据法向量，利用预先设定的曲率转换模型确定待测物体表面的曲率值；
根据曲率值确定待测物体表面的目标曲率图。
作为优选，根据法向量，基于条件随机场算法确定待测物体表面的目标视差值，根据目标视差值确定待测物体表面的目标深度图包括：
根据法向量，基于条件随机场的离散连续优化算法确定每个像素点的目标视差标签；
根据每个像素点的目标视差标签，通过预先确定的视差标签和视差值对应关系确定待测物体表面每个像素点的目标视差值；
根据目标视差值确定待测物体表面的目标深度图。
作为优选，根据法向量，基于条件随机场的离散连续优化算法确定每个像素点的目标视差标签包括：
根据法向量转换为视差梯度场，得到每个像素点的视差梯度场；
根据条件随机场预先设定的初始化结果和每个像素点的视差梯度场，基于条件随机场的离散连续优化算法确定连续能量函数最小时每个像素点的目标视差标签。
作为优选，方法还包括：
基于预先设定的约束条件，对目标深度图上所属预设区域的目标视差标签进行优化处理，得到优化后的目标视差标签；
根据优化后的目标视差标签，通过预先确定的视差标签和视差值对应关系确定待测物体表面优化后的目标视差值；
根据优化后的目标视差值更新目标深度图，得到优化后的目标深度图。
作为优选，光源包括横向条纹光源和纵向条纹光源。
本发明第二方面提供一种基于光度立体视觉的缺陷检测系统，包括：
目标图像获取模块，用于获取待测物体表面在光源不同相位下的M张目标图像，其中，M为大于等于3的正整数；
曲率图和反射图获取模块，用于根据目标图像，基于光度立体算法确定待测物体表面的法向量和反射系数，根据法向量确定待测物体表面的目标曲率图，根据反射系数确定待测物体表面的目标反射率图；
深度图获取模块，用于根据法向量，基于条件随机场算法确定待测物体表面的目标视差值，根据目标视差值确定待测物体表面的目标深度图；
检测结果获取模块，用于根据目标曲率图、目标反射率图和目标深度图进行缺陷检测，得到待测物体表面的检测结果。
本发明第三方面提供一种基于光度立体视觉的缺陷检测装置，包括光源发射器、相机和数据处理器，数据处理器包括存储器和一个或多个处理器，存储器中存储有可执行代码，一个或多个处理器执行可执行代码时，用于实现上述任一项的基于光度立体视觉的缺陷检测方法。
本发明第四方面提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述任一项的基于光度立体视觉的缺陷检测方法。
本发明的有益效果至少包括：本发明通过对被测物体表面采集多张不同角度照明的图像数据，应用光度立体算法确定物体表面的法向量和反射系数，进而得到曲率图和反射率图，接着使用条件随机场算法，利用法向量寻找目标视差值，进而得到物体表面的深度图。最后利用曲率图、反射率图和深度图进行缺陷检测，得到物体表面的检测结果，降低了对待测物体材质的要求，拓展了光度立体视觉法的应用范围，提高物体表面缺陷检测的准确性和可靠性。
附图说明
图1为本发明实施例提供的基于光度立体视觉的缺陷检测方法的流程示意图；
图2为本发明实施例提供的确定目标曲率图和目标反射率图的流程示意图；
图3为本发明实施例提供的具体确定目标曲率图的流程示意图；
图4为本发明实施例提供的确定目标深度图的流程示意图；
图5为本发明实施例提供的确定目标视差标签的流程示意图；
图6为本发明实施例提供的确定优化后的目标深度图的流程示意图；
图7为本发明实施例提供的基于光度立体视觉的缺陷检测系统的框图；
图8为本发明实施例提供的电子设备的内部结构示意图。
具体实施方式
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
显而易见地，下面描述中的附图仅仅是本发明的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本发明应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本发明公开的内容相关的本领域的普通技术人员而言，在本发明揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本发明公开的内容不充分。
在本发明中提及“实施例”意味着，结合实施例描述的特定持征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本发明所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本发明所涉及的技术术语或者科学术语应当为本发明所属技术领域内具有一般技能的人士所理解的通常意义。本发明所涉及的”一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本发明所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本发明所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本发明所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本发明所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
图1为本发明实施例提供的基于光度立体视觉的缺陷检测方法的流程示意图，如图1所示，该方法包括以下步骤：
步骤S101、获取待测物体表面在光源不同相位下的M张目标图像，其中，M为大于等于3的正整数。
在一个实施例中，光源包括横向条纹光源和纵向条纹光源。本发明实施例采用高速线扫相机对待测物体表面进行拍摄获取图像，高速线扫相机是一种专门用于高速运动物体拍摄的相机，采用线扫描技术能够在高速运动物体的移动过程中连续获取物体图像。高速线扫相机与光源组成相对位置不变的拍摄系统，成像目标物体与该拍摄系统相对运动。物体移动会触发高速线扫相机采集，高速线扫相机每采集一行图像时会触发多次，高速线扫相机触发时也会随之触发光源，每次光源触发会变换成设定好的高速线扫相机进行发光，目的是获得物体在光源不同角度时的多张图像，采集结束最终呈现的是多张物体在光源不同相位下的图像。
步骤S102、根据目标图像，基于光度立体算法确定待测物体表面的法向量和反射系数，根据法向量确定待测物体表面的目标曲率图，根据反射系数确定待测物体表面的目标反射率图。
图2为本发明实施例提供的确定目标曲率图和目标反射率图的流程示意图，如图2所示，在图1所示流程的基础上，步骤S102包括以下步骤：
步骤S201、根据目标图像，获取目标图像中每个像素点的亮度和光源向量。
步骤S202、根据每个像素点的亮度和光源向量，基于光度立体算法确定待测物体表面的法向量和反射系数。
光度立体算法中图像上每个像素点的辐照方程：
，其中，I(x,y)为每个像素点的亮度，L为光源向量，N(x,y)为每个像素点的表面法向量，k(x,y)为每个像素点的表面反射系数。
本实施例中，通过高速线扫相机与光源的同步拍摄，获取了8张光源在不同相位下的目标图像，其中4张为光源的竖直条纹交替闪烁获得，另外4张图像为光源的水平条纹交替闪烁获得。光源向量为标定好的（L1、L2…L8），I(x,y)为已知量，求解待测物体表面的法向量和反射系数k，且/>。根据辐照方程，获得以下方程组：/>
也就是说在光度立体算法中，通过将不同光源下的光线亮度作为方程组的系数，将每个像素点的亮度作为方程组的常数项，可以得到一个带有未知法向量和反射系数的方程组。通过最小二乘法求解该方程组即可得到每个像素点的法向量和反射系数k。
步骤S203、根据法向量确定待测物体表面的目标曲率图。
图3为本发明实施例提供的具体确定目标曲率图的流程示意图，如图3所示，在图2所示流程的基础上，步骤S203包括以下步骤：
步骤S301、根据法向量，利用预先设定的曲率转换模型确定待测物体表面的曲率值。
在一个实施例中，预先设定的曲率转换模型为：其中，p和q表示在x和y方向上的曲率。
具体求解过程为将法向量的分量与曲率转换模型进行比较，得到以下关系：
为了求解p和q，对上述方程进行变形和求解。首先，将第一个和第二个方程平方相加，得到：
综合上述方程：
求解p和q：
步骤S302、根据曲率值确定待测物体表面的目标曲率图。
要得到目标曲率图，可以将曲率值映射到一种可视化的形式，例如颜色或高度。一种常用的方法是使用伪彩色映射，将不同曲率值分别映射到不同的颜色上。作为举例，可以先确定一个颜色映射表，将曲率范围内的值均匀地映射到不同的颜色上。然后，对于每个点的曲率值，根据映射表找到对应的颜色，将该点的颜色设置为这个颜色。这样，每个点就对应了一个颜色，从而形成了曲率图。作为另一个举例，可以将曲率值映射到高度上，例如将曲率值乘以一个比例因子作为该点的高度值，从而得到一个立体的曲率图。
继续参照图2，在步骤S203之后执行步骤S204。
步骤S204、根据反射系数确定待测物体表面的目标反射率图。
要得到目标反射率图，可以将反射系数映射到一种可视化的形式，例如颜色或灰度。一种常用的方法是使用灰度映射，将不同反射系数的值映射到不同的灰度上。作为举例，可以先确定一个灰度映射表，将反射系数范围内的值均匀地映射到不同的灰度上。然后，对于每个点的反射系数，根据映射表找到对应的灰度，将该点的颜色设置为这个灰度。这样，每个点就对应了一个灰度，从而形成了反射率图。作为另一个举例，可以将反射系数映射到颜色上，例如将反射系数的值转换为RGB颜色值，从而得到一个彩色的反射率图。
继续参照图1，在步骤S102之后执行步骤S103。
步骤S103、根据法向量，基于条件随机场算法确定待测物体表面的目标视差值，根据目标视差值确定待测物体表面的目标深度图。
图4为本发明实施例提供的确定目标深度图的流程示意图，如图4所示，在图1所示流程的基础上，步骤S103包括以下步骤：
步骤S401、根据法向量，基于条件随机场的离散连续优化算法确定每个像素点的目标视差标签。
图5为本发明实施例提供的确定目标视差标签的流程示意图，如图5所示，在图4所示流程的基础上，步骤S401包括以下步骤：
步骤S501、根据法向量转换为视差梯度场，得到每个像素点的视差梯度场。
在步骤S501中将法向量转换为视差梯度场，，因此，，其中，gx和gy为标量常数，取值为[0-1]，得到的G为法向量对应像素点的梯度方向值。gx和gy分别代表像素坐标系下x和y方向上的物理长度与深度之比，也就是所谓的像素长与视差之比。在实际应用中，常常采用快速的标定方法来获取这些参数。比如，使用棋盘格或者球形标定板等特殊的标定物，通过图像处理算法自动提取标定物上的特征点，进而计算出摄像机的内部参数和畸变系数，从而得到标量常数gx和gy的值。
步骤S502、根据条件随机场预先设定的初始化结果和每个像素点的视差梯度场，基于条件随机场的离散连续优化算法确定连续能量函数最小时每个像素点的目标视差标签。
在一个实施例中，设X={1…m}和Y={1…n}分别是x维度和y维度上像素索引的集合，令D=dZ为一系列视差值，其中，Z为视差标签的离散集合。计算视差值时需要在每个像素位置计算出多个视差假设值，这些假设值通常是在一定范围内取值的。例如，在基于区域的立体匹配算法中，通常会在每个像素位置计算出一段视差值范围内的所有假设值。这样做的目的是为了找到最佳的匹配，即在两个视图中像素位置最相似的点。视差标签是指将视差值离散化后得到的标签，通常是一个整数值。在离散化时，可以将一段连续的视差值范围映射到一个视差标签上，这个标签代表了该范围内所有像素的视差值。因此，通过基于条件随机场的离散连续优化算法确定连续能量函数最小，寻找最优的视差标签，就能获取到最优的视差标签所对应的视差值，以及对应像素点。计算每个像素位置的所有视差假设值，会产生成本体积，成本体积中的每个值为相应像素点处视差值的相似性。
基于条件随机场的离散连续优化算法确定连续能量函数最小的计算公式如下：
其中，C为计算的成本体积，Z(x,y)为条件随机场预先设定的初始化结果，正则化参数和/>分别控制各自的x和y的视差梯度场对假设成本体积的影响，正则化参数/>和取值[0-1]，r函数为非线性惩罚函数。即通过对假设成本体积C、正则化参数/>和/>、惩罚函数r函数的优化，使得模型预测的假设成本体积C尽可能小。
这里的r函数为截断二次函数：，其中，a为控制截断程度的参数，取值[0-1]。
通过基于条件随机场的离散连续优化算法确定连续能量函数最小的计算公式进行转化，得到：
由此公式获取寻找得到连续能量函数最小时每个像素点的目标视差标签。
继续参照图4，在步骤S401之后执行步骤S402。
步骤S402、根据每个像素点的目标视差标签，通过预先确定的视差标签和视差值对应关系确定待测物体表面每个像素点的目标视差值。
在每次迭代中，获取到像素点的目标视差标签，由此可知该目标视差标签对应的视差值，最终获取到所有的目标视差值。
步骤S403、根据目标视差值确定待测物体表面的目标深度图。
图6为本发明实施例提供的确定优化后的目标深度图的流程示意图，如图6所示，在图4所示流程的基础上，该方法还包括以下步骤：
步骤S601、基于预先设定的约束条件，对目标深度图上所属预设区域的目标视差标签进行优化处理，得到优化后的目标视差标签。
在步骤S601中，针对预设区域需要视差标签优化，进而得到优化后的视差标签，针对不同的预设区域所对应的约束条件不同，可以分为以下四种情况：
（1）预设区域为：若像素点坐标(x,y)的右边和下边均存在有效像素，则像素点坐标(x,y)所构成的区域对应的约束条件；
（2）预设区域为：若像素点坐标(x,y)的右边和下边均不存在有效像素，则像素点坐标(x,y)所构成的区域对应的约束条件；
（3）预设区域为：若像素点坐标(x,y)的右边存在有效像素而下边不存在有效像素，则像素点坐标(x,y)所构成的区域对应的约束条件；
（4）预设区域为：若像素点坐标(x,y)的右边不存在有效像素而下边存在有效像素，则像素点坐标(x,y)所构成的区域对应的约束条件；
根据以上约束条件，基于各像素点优化后进行计算，即可以获得优化后的视差标签。
步骤S602、根据优化后的目标视差标签，通过预先确定的视差标签和视差值对应关系确定待测物体表面优化后的目标视差值。
步骤S603、根据优化后的目标视差值更新目标深度图，得到优化后的目标深度图。
继续参照图1，在步骤S103之后执行步骤S104。
步骤S104、根据目标曲率图、目标反射率图和目标深度图进行缺陷检测，得到待测物体表面的检测结果。
获取图像后，可以根据缺陷的不同类型，选择不同的图像进行分析，可以解决绝大部分的缺陷难题，使用方式如下：
目标曲率图上展现的为物体的凹凸信息，检测出缺陷的位置、面积、周长、凸度、凹度、惯性率等信息。
目标反射率图上可以清晰的展现漫反射的缺陷与镜面反射的缺陷，通过简单的图像二值化来分割图像即可达到分离漫反射缺陷的目的。
目标深度图上可以对物体的真实三维信息进行展示，确定检测出缺陷的长宽、大小等真实物理信息。
通过步骤S101至步骤S104，对被测物体表面采集多张不同角度照明的图像数据，应用光度立体算法确定物体表面的法向量和反射系数，进而得到曲率图和反射率图，接着使用条件随机场算法，利用法向量寻找目标视差值，进而得到物体表面的深度图。最后利用曲率图、反射率图和深度图进行缺陷检测，得到物体表面的检测结果，降低了对待测物体材质的要求，拓展了光度立体视觉法的应用范围，提高物体表面缺陷检测的准确性和可靠性。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了基于光度立体视觉的缺陷检测系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7为本发明实施例提供的基于光度立体视觉的缺陷检测系统的框图，如图7所示，该系统包括：
目标图像获取模块701，用于获取待测物体表面在光源不同相位下的M张目标图像，其中，M为大于等于3的正整数。
在一个实施例中，光源包括横向条纹光源和纵向条纹光源。
曲率图和反射图获取模块702，用于根据目标图像，基于光度立体算法确定待测物体表面的法向量和反射系数，根据法向量确定待测物体表面的目标曲率图，根据反射系数确定待测物体表面的目标反射率图。
在一个实施例中，曲率图和反射图获取模块702包括：
数据获取单元，用于根据目标图像，获取目标图像中每个像素点的亮度和光源向量。
图像参数获取单元，用于根据每个像素点的亮度和光源向量，基于光度立体算法确定待测物体表面的法向量和反射系数。
曲率图获取单元，用于根据法向量确定待测物体表面的目标曲率图。
在一个实施例中，曲率图获取单元执行包括如下步骤：
根据法向量，利用预先设定的曲率转换模型确定待测物体表面的曲率值。
根据曲率值确定待测物体表面的目标曲率图。
反射率图获取单元，用于根据反射系数确定待测物体表面的目标反射率图。
深度图获取模块703，用于根据法向量，基于条件随机场算法确定待测物体表面的目标视差值，根据目标视差值确定待测物体表面的目标深度图。
在一个实施例中，深度图获取模块703包括：
视差标签获取单元，用于根据法向量，基于条件随机场的离散连续优化算法确定每个像素点的目标视差标签。
在一个实施例中，视差标签获取单元执行包括如下步骤：
根据法向量转换为视差梯度场，得到每个像素点的视差梯度场。
根据条件随机场预先设定的初始化结果和每个像素点的视差梯度场，基于条件随机场的离散连续优化算法确定连续能量函数最小时每个像素点的目标视差标签。
视差值获取单元，用于根据每个像素点的目标视差标签，通过预先确定的视差标签和视差值对应关系确定待测物体表面每个像素点的目标视差值。
深度图获取单元，用于根据目标视差值确定待测物体表面的目标深度图。
在一个实施例中，深度图获取模块703还执行包括如下步骤：
基于预先设定的约束条件，对目标深度图上所属预设区域的目标视差标签进行优化处理，得到优化后的目标视差标签；
根据优化后的目标视差标签，通过预先确定的视差标签和视差值对应关系确定待测物体表面优化后的目标视差值；
根据优化后的目标视差值更新目标深度图，得到优化后的目标深度图。
检测结果获取模块704，用于根据目标曲率图、目标反射率图和目标深度图进行缺陷检测，得到待测物体表面的检测结果。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了基于光度立体视觉的缺陷检测装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述任一项方法实施例中的步骤。
可选地，上述基于光度立体视觉的缺陷检测装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的基于光度立体视觉的缺陷检测方法，本发明实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意基于光度立体视觉的缺陷检测方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于光度立体视觉的缺陷检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，图8为本发明实施例提供的电子设备的内部结构示意图，如图8所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图8所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现基于光度立体视觉的缺陷检测方法，数据库用于存储数据。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于光度立体视觉的缺陷检测方法，其特征在于，包括：
获取待测物体表面在光源不同相位下的M张目标图像，其中，M为大于等于3的正整数；
根据所述目标图像，基于光度立体算法确定所述待测物体表面的法向量和反射系数，根据所述法向量确定所述待测物体表面的目标曲率图，根据所述反射系数确定所述待测物体表面的目标反射率图；
根据所述法向量，基于条件随机场算法确定所述待测物体表面的目标视差值，根据所述目标视差值确定所述待测物体表面的目标深度图；
根据所述目标曲率图、所述目标反射率图和所述目标深度图进行缺陷检测，得到所述待测物体表面的检测结果。
2.根据权利要求1所述的基于光度立体视觉的缺陷检测方法，其特征在于，所述根据所述目标图像，基于光度立体算法确定所述待测物体表面的法向量和反射系数，根据所述法向量确定所述待测物体表面的目标曲率图，根据所述反射系数确定所述待测物体表面的目标反射率图包括：
根据所述目标图像，获取所述目标图像中每个像素点的亮度和光源向量；
根据每个所述像素点的亮度和所述光源向量，基于光度立体算法确定所述待测物体表面的法向量和反射系数；
根据所述法向量确定所述待测物体表面的目标曲率图；
根据所述反射系数确定所述待测物体表面的目标反射率图。
3.根据权利要求2所述的基于光度立体视觉的缺陷检测方法，其特征在于，所述根据所述法向量确定所述待测物体表面的目标曲率图包括：
根据所述法向量，利用预先设定的曲率转换模型确定所述待测物体表面的曲率值；
根据所述曲率值确定所述待测物体表面的目标曲率图。
4.根据权利要求1所述的基于光度立体视觉的缺陷检测方法，其特征在于，所述根据所述法向量，基于条件随机场算法确定所述待测物体表面的目标视差值，根据所述目标视差值确定所述待测物体表面的目标深度图包括：
根据所述法向量，基于条件随机场的离散连续优化算法确定每个像素点的目标视差标签；
根据所述每个像素点的目标视差标签，通过预先确定的视差标签和视差值对应关系确定所述待测物体表面每个像素点的目标视差值；
根据所述目标视差值确定所述待测物体表面的目标深度图。
5.根据权利要求4所述的基于光度立体视觉的缺陷检测方法，其特征在于，所述根据所述法向量，基于条件随机场的离散连续优化算法确定每个像素点的目标视差标签包括：
根据所述法向量转换为视差梯度场，得到每个像素点的视差梯度场；
根据所述条件随机场预先设定的初始化结果和所述每个像素点的视差梯度场，基于条件随机场的离散连续优化算法确定连续能量函数最小时每个像素点的目标视差标签。
6.根据权利要求4所述的基于光度立体视觉的缺陷检测方法，其特征在于，所述方法还包括：
基于预先设定的约束条件，对所述目标深度图上所属预设区域的所述目标视差标签进行优化处理，得到优化后的目标视差标签；
根据所述优化后的目标视差标签，通过预先确定的视差标签和视差值对应关系确定所述待测物体表面优化后的目标视差值；
根据所述优化后的目标视差值更新所述目标深度图，得到优化后的目标深度图。
7.根据权利要求1所述的基于光度立体视觉的缺陷检测方法，其特征在于，所述光源包括横向条纹光源和纵向条纹光源。
8.一种基于光度立体视觉的缺陷检测系统，其特征在于，包括：
目标图像获取模块，用于获取待测物体表面在光源不同相位下的M张目标图像，其中，M为大于等于3的正整数；
曲率图和反射图获取模块，用于根据所述目标图像，基于光度立体算法确定所述待测物体表面的法向量和反射系数，根据所述法向量确定所述待测物体表面的目标曲率图，根据所述反射系数确定所述待测物体表面的目标反射率图；
深度图获取模块，用于根据所述法向量，基于条件随机场算法确定所述待测物体表面的目标视差值，根据所述目标视差值确定所述待测物体表面的目标深度图；
检测结果获取模块，用于根据所述目标曲率图、所述目标反射率图和所述目标深度图进行缺陷检测，得到所述待测物体表面的检测结果。
9.一种基于光度立体视觉的缺陷检测装置，其特征在于，包括光源发射器、相机和数据处理器，所述数据处理器包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-7中任一项所述的基于光度立体视觉的缺陷检测方法。
10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-7中任一项所述的基于光度立体视觉的缺陷检测方法。
CN202310827547.8A 2023-07-07 2023-07-07 基于光度立体视觉的缺陷检测方法、系统、装置及介质 Active CN116559181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310827547.8A CN116559181B (zh) 2023-07-07 2023-07-07 基于光度立体视觉的缺陷检测方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310827547.8A CN116559181B (zh) 2023-07-07 2023-07-07 基于光度立体视觉的缺陷检测方法、系统、装置及介质

Publications (2)

Publication Number Publication Date
CN116559181A true CN116559181A (zh) 2023-08-08
CN116559181B CN116559181B (zh) 2023-10-10

Family

ID=87502186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310827547.8A Active CN116559181B (zh) 2023-07-07 2023-07-07 基于光度立体视觉的缺陷检测方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN116559181B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710379A (zh) * 2024-02-06 2024-03-15 杭州灵西机器人智能科技有限公司 一种无损检测模型构建方法、无损检测方法、装置及介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150355104A1 (en) * 2014-06-09 2015-12-10 Keyence Corporation Inspection Apparatus, Inspection Method, And Program
US20150374210A1 (en) * 2013-03-13 2015-12-31 Massachusetts Institute Of Technology Photometric stereo endoscopy
CN107607546A (zh) * 2017-09-19 2018-01-19 佛山缔乐视觉科技有限公司 基于光度立体视觉的皮革缺陷检测方法、系统及装置
CN109448041A (zh) * 2018-10-29 2019-03-08 重庆金山医疗器械有限公司 一种胶囊内镜图像三维重建方法及系统
CN110473217A (zh) * 2019-07-25 2019-11-19 沈阳工业大学 一种基于Census变换的双目立体匹配方法
WO2020001197A1 (zh) * 2018-06-29 2020-01-02 Oppo广东移动通信有限公司 图像处理方法、电子设备、计算机可读存储介质
CN110807798A (zh) * 2018-08-03 2020-02-18 华为技术有限公司 图像识别方法、系统、相关设备以及计算机可读存储介质
US20200160547A1 (en) * 2018-11-21 2020-05-21 Samsung Electronics Co., Ltd. Method of predicting depth values of lines, method of outputting three-dimensional (3d) lines, and apparatus thereof
KR102179236B1 (ko) * 2019-07-22 2020-11-16 주식회사 에스에프에이 다면광학계와 영상 합성을 이용한 검사시스템 및 그 검사방법
CN112435248A (zh) * 2020-11-30 2021-03-02 深圳市泰沃德技术有限公司 缺陷检测方法、装置、控制装置和可读存储介质
CN112734756A (zh) * 2021-03-29 2021-04-30 惠州高视科技有限公司 基于光度立体视觉的检测方法及系统
CN113658155A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种基于光度立体的物体表面瑕疵检测分析方法及装置
CN116205894A (zh) * 2023-03-17 2023-06-02 宁波敏捷信息科技有限公司 基于多信息融合的轴承滚子缺陷检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150374210A1 (en) * 2013-03-13 2015-12-31 Massachusetts Institute Of Technology Photometric stereo endoscopy
US20150355104A1 (en) * 2014-06-09 2015-12-10 Keyence Corporation Inspection Apparatus, Inspection Method, And Program
CN107607546A (zh) * 2017-09-19 2018-01-19 佛山缔乐视觉科技有限公司 基于光度立体视觉的皮革缺陷检测方法、系统及装置
WO2020001197A1 (zh) * 2018-06-29 2020-01-02 Oppo广东移动通信有限公司 图像处理方法、电子设备、计算机可读存储介质
CN110807798A (zh) * 2018-08-03 2020-02-18 华为技术有限公司 图像识别方法、系统、相关设备以及计算机可读存储介质
CN109448041A (zh) * 2018-10-29 2019-03-08 重庆金山医疗器械有限公司 一种胶囊内镜图像三维重建方法及系统
US20200160547A1 (en) * 2018-11-21 2020-05-21 Samsung Electronics Co., Ltd. Method of predicting depth values of lines, method of outputting three-dimensional (3d) lines, and apparatus thereof
KR102179236B1 (ko) * 2019-07-22 2020-11-16 주식회사 에스에프에이 다면광학계와 영상 합성을 이용한 검사시스템 및 그 검사방법
CN110473217A (zh) * 2019-07-25 2019-11-19 沈阳工业大学 一种基于Census变换的双目立体匹配方法
CN112435248A (zh) * 2020-11-30 2021-03-02 深圳市泰沃德技术有限公司 缺陷检测方法、装置、控制装置和可读存储介质
CN112734756A (zh) * 2021-03-29 2021-04-30 惠州高视科技有限公司 基于光度立体视觉的检测方法及系统
CN113658155A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种基于光度立体的物体表面瑕疵检测分析方法及装置
CN116205894A (zh) * 2023-03-17 2023-06-02 宁波敏捷信息科技有限公司 基于多信息融合的轴承滚子缺陷检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
YANLONG CAO等: "Photometric-Stereo-Based Defect Detection System for Metal Parts", SENSORS, vol. 22, no. 21, pages 1 - 17 *
徐科;王磊;向境;周鹏;: "基于多点光源的金属表面三维缺陷检测方法", 中国科技论文, no. 04, pages 420 - 424 *
毛凌;解梅;: "基于高阶CRF模型的图像语义分割", 计算机应用研究, no. 11, pages 3514 - 3517 *
黄军;王聪;刘越;毕天腾;: "单目深度估计技术进展综述", 中国图象图形学报, no. 12, pages 2081 - 2097 *
黄秀玲;陆宏建;任超;黄崇杏;: "基于四光源光度立体法的药品泡罩包装中铝箔缺陷检测方法", 包装学报, no. 03, pages 47 - 51 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710379A (zh) * 2024-02-06 2024-03-15 杭州灵西机器人智能科技有限公司 一种无损检测模型构建方法、无损检测方法、装置及介质
CN117710379B (zh) * 2024-02-06 2024-05-10 杭州灵西机器人智能科技有限公司 一种无损检测模型构建方法、无损检测方法、装置及介质

Also Published As

Publication number Publication date
CN116559181B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
US11941831B2 (en) Depth estimation
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN103438826B (zh) 激光与视觉相结合的钢板的三维测量系统及方法
CN116559181B (zh) 基于光度立体视觉的缺陷检测方法、系统、装置及介质
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN115856829B (zh) 一种雷达三维数据转换的图像数据识别方法及系统
CN113689578A (zh) 一种人体数据集生成方法及装置
US10432915B2 (en) Systems, methods, and devices for generating three-dimensional models
CN115685160A (zh) 基于标靶的激光雷达与相机标定方法、系统、电子设备
CN116129037A (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
Peng et al. Simultaneous perimeter measurement for 3D object with a binocular stereo vision measurement system
CN114396875A (zh) 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
CN112197708B (zh) 测量方法及装置、电子设备及存储介质
KR101865886B1 (ko) 근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템
CN112002016A (zh) 基于双目视觉的连续曲面重建方法、系统和装置
CN115656991A (zh) 车辆外参标定方法、装置、设备以及存储介质
Wan et al. A performance comparison of feature detectors for planetary rover mapping and localization
JP6822086B2 (ja) シミュレーション装置、シミュレーション方法およびシミュレーションプログラム
JP2022130613A (ja) 検出装置、検出方法、情報処理装置、及び処理プログラム
CN114511631A (zh) 摄像机视觉物体高度测量方法、装置及计算机可读存储介质
JP4546155B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
CN115861156A (zh) 缺陷检测方法、装置、计算机设备和存储介质
JP6787389B2 (ja) 検出装置、検出システム、検出方法、情報処理装置、及び処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant