CN116958145B - 图像处理方法、装置、视觉检测系统及电子设备 - Google Patents
图像处理方法、装置、视觉检测系统及电子设备 Download PDFInfo
- Publication number
- CN116958145B CN116958145B CN202311217388.6A CN202311217388A CN116958145B CN 116958145 B CN116958145 B CN 116958145B CN 202311217388 A CN202311217388 A CN 202311217388A CN 116958145 B CN116958145 B CN 116958145B
- Authority
- CN
- China
- Prior art keywords
- gradient
- image
- depth
- target
- depth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 title abstract description 13
- 230000000007 visual effect Effects 0.000 title abstract description 7
- 230000002159 abnormal effect Effects 0.000 claims abstract description 104
- 238000012545 processing Methods 0.000 claims abstract description 77
- 238000005070 sampling Methods 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000011179 visual inspection Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 28
- 230000008859 change Effects 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- UDHXJZHVNHGCEC-UHFFFAOYSA-N Chlorophacinone Chemical compound C1=CC(Cl)=CC=C1C(C=1C=CC=CC=1)C(=O)C1C(=O)C2=CC=CC=C2C1=O UDHXJZHVNHGCEC-UHFFFAOYSA-N 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理方法、装置、视觉检测系统及电子设备，属于图像处理技术领域。图像处理方法包括：获取待处理的深度图像；基于所述深度图像的梯度特征，确定所述深度图像的梯度异常区域；对所述梯度异常区域进行掩膜处理；对掩膜处理后的所述深度图像进行拟合，得到所述深度图像的基准面。图像处理方法可以改善拟合出来的基准面精度，提高深度图像基准面拟合的准确性和可靠性。
Description
技术领域
本申请属于图像处理技术领域，尤其涉及一种图像处理方法、装置、视觉检测系统及电子设备。
背景技术
在工业检测领域中，可通过深度信息对产品进行缺陷检测、高度差测量、平面度检查等，目前的测量方法通常基于基准面进行，而基准面的拟合质量直接影响到测量数据的准确性，基准面拟合的越好，测量数据越精确。
目前常用的基准面拟合方法有直接采用最小二乘法进行拟合，或者使用随机采样一致性（Random Sample Consensus，Ransac）进行采样后再使用最小二乘法进行拟合等方法，直接采用最小二乘法容易受到噪点的干扰，导致拟合的基准面偏离产品表面；而使用Ransac方法虽然可以有效滤除噪点干扰，但在存在较大范围干扰区域时，不可避免的会选取到干扰区域中的点，影响最终最小二乘法拟合的准确性。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种图像处理方法、装置、视觉检测系统及电子设备，可以改善拟合的基准面精度，提高深度图像基准面拟合的准确性和可靠性。
第一方面，本申请提供了一种图像处理方法，该方法包括：
获取待处理的深度图像；
基于所述深度图像的梯度特征，确定所述深度图像的梯度异常区域；
对所述梯度异常区域进行掩膜处理；
对掩膜处理后的所述深度图像进行拟合，得到所述深度图像的基准面。
根据本申请的图像处理方法，通过获取深度图像的梯度特征，区分出深度图像中的梯度异常区域，对异常区域进行掩膜处理，剔除梯度异常区域的图像信息，在存在较大范围干扰区域，也能滤除干扰区域的点，对掩膜处理后的深度图像进行拟合，得到高精度的深度图像的基准面，通过改善拟合出来的基准面精度，有效提高深度图像基准面拟合的准确性和可靠性。
根据本申请的一个实施例，所述基于所述深度图像的梯度特征，确定所述深度图像的梯度异常区域，包括：
获取所述深度图像对应的目标梯度图像；
基于所述目标梯度图像，确定目标梯度阈值；
基于所述目标梯度阈值，确定所述梯度异常区域。
根据本申请的一个实施例，所述基于所述目标梯度阈值，确定所述梯度异常区域，包括：
基于所述目标梯度阈值，确定至少一个初始梯度异常区域，所述初始梯度异常区域的梯度值大于所述目标梯度阈值；
获取所述初始梯度异常区域的连通域，并确定所述连通域的最小外接矩形；
基于所述最小外接矩形进行膨胀处理，得到所述初始梯度异常区域对应的膨胀梯度异常区域；
基于所述至少一个初始梯度异常区域的膨胀梯度异常区域，确定所述梯度异常区域。
根据本申请的一个实施例，所述获取所述深度图像对应的目标梯度图像，包括：
获取所述深度图像的水平梯度图像和垂直梯度图像；
对所述水平梯度图像和所述垂直梯度图像进行融合处理，得到所述目标梯度图像。
根据本申请的一个实施例，所述目标梯度阈值基于所述目标梯度图像的均值和标准差确定。
根据本申请的一个实施例，所述对掩膜处理后的所述深度图像进行拟合，得到所述深度图像的基准面，包括：
基于掩膜处理后的所述深度图像，通过随机采样一致性算法随机采样所述深度图像的点，得到目标深度点集，所述目标深度点集中的深度点不属于所述梯度异常区域的深度点；
基于所述目标深度点集，拟合得到所述基准面。
根据本申请的一个实施例，所述基于所述目标深度点集，拟合得到所述基准面，包括：
基于所述目标深度点集，通过最小二乘法拟合得到所述基准面。
第二方面，本申请提供了一种图像处理装置，该装置包括：
获取模块，用于获取待处理的深度图像；
第一处理模块，用于基于所述深度图像的梯度特征，确定所述深度图像的梯度异常区域；
第二处理模块，用于对所述梯度异常区域进行掩膜处理；
第三处理模块，用于对掩膜处理后的所述深度图像进行拟合，得到所述深度图像的基准面。
根据本申请的图像处理装置，通过获取深度图像的梯度特征，区分出深度图像中的梯度异常区域，对异常区域进行掩膜处理，剔除梯度异常区域的图像信息，在存在较大范围干扰区域，也能滤除干扰区域的点，对掩膜处理后的深度图像进行拟合，得到高精度的深度图像的基准面，通过改善拟合出来的基准面精度，有效提高深度图像基准面拟合的准确性和可靠性。
第三方面，本申请提供了一种视觉检测系统，包括：
图像采集装置，所述图像采集装置用于采集深度图像；
控制器，所述控制器与所述图像采集装置电连接，所述控制器用于执行如上述第一方面所述的图像处理方法。
根据本申请的视觉检测系统，通过图像采集装置采集深度图像，控制器对图像采集装置采集的深度图像进行基准面拟合，得到精度高的深度图像的基准面，有效提高基准面拟合的准确性。
第四方面，本申请提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的图像处理方法。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请实施例提供的图像处理方法的流程示意图之一；
图2是本申请实施例提供的图像处理方法的流程示意图之二；
图3是本申请实施例提供的图像处理装置的结构示意图；
图4是本申请实施例提供的视觉检测系统的结构示意图；
图5是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法、图像处理装置、视觉检测系统、电子设备和可读存储介质进行详细地说明。
其中，图像处理方法可应用于终端，具体可由，终端中的硬件或软件执行。
该终端包括但不限于具有触摸敏感表面（例如，触摸屏显示器和/或触摸板）的移动电话或平板电脑等便携式通信设备。还应当理解的是，在某些实施例中，该终端可以不是便携式通信设备，而是具有触摸敏感表面（例如，触摸屏显示器和/或触摸板）的台式计算机。
以下各个实施例中，描述了包括显示器和触摸敏感表面的终端。然而，应当理解的是，终端可以包括诸如物理键盘、鼠标和控制杆的一个或多个其它物理用户接口设备。
本申请实施例提供的图像处理方法，该图像处理方法的执行主体可以为电子设备或者电子设备中能够实现该图像处理方法的功能模块或功能实体，本申请实施例提及的电子设备包括但不限于手机、平板电脑、电脑、相机和可穿戴设备等，下面以电子设备作为执行主体为例对本申请实施例提供的图像处理方法进行说明。
图像处理方法用于对深度图像进行基准面拟合，拟合出的基准面可以应用于对产线上的产品进行缺陷检测、高度差测量、平面度检查等检测。
如图1所示，该图像处理方法包括：步骤110至步骤140。
步骤110、获取待处理的深度图像。
其中，深度图像是用于反映图像场景中各点深度数据的图像。
在实际执行中，获取待处理的深度图像可以获取产线上某个产品或工件的深度图像，该深度图像表征了该产品或工件上各点的深度数据。
可以理解的是，深度图像可以表现为平面的深度图像，也可以表现为曲面的深度图像，与深度图像所表征的物体相关，深度图像中存在一些噪声或不准确的深度值，需要进行基准面拟合，并将深度信息与实际场景中的平面或曲面对齐。
在该步骤中，可以通过3D设备直接采集获取深度图像，也可以通过将3D设备获取的点云数据转换为深度图像的格式。
例如，可以通过3D设备的深度传感器接收红外光、激光等其他技术，测量物体与深度传感器之间的距离，从而获取场景中的深度信息，得到待处理的深度图像。
再例如，可以通过3D设备获取点云数据，根据点云数据算法实现点云数据转换为深度图像的格式。
步骤120、基于深度图像的梯度特征，确定深度图像的梯度异常区域。
其中，深度图像的梯度特征包括图像像素点的位置信息、梯度大小和梯度方向等特征，根据深度图像的梯度特征，可以确定出深度图像中梯度特征异于邻近区域的梯度异常区域。
需要说明的是，光滑平面或光滑曲面的深度图像，其表面的深度数据变化是渐变的，相邻像素点之间的深度值差值一般较小，但由于获取的深度图像中存在一些噪声或不准确的深度数据，光滑平面或光滑曲面的深度图像上会存在异常的突变凸起或凹陷，导致出现梯度异常区域，梯度异常区域内的相邻像素点之间的深度数据差值较大。
在实际执行中，可以通过将深度图像中某区域内相邻像素点差值与光滑平面或光滑曲面之间相邻像素点之间的差值进行比较，判断该区域是否为梯度异常区域。
当深度图像中某区域内相邻像素点差值明显大于光滑平面或光滑曲面之间相邻像素点之间的差值，可以确定该区域为深度图像的梯度异常区域。
需要说明的是，在步骤120、基于深度图像的梯度特征，确定深度图像的梯度异常区域之前，步骤110、获取待处理的深度图像之后，还包括对深度图像进行预处理，可以通过选用小尺寸的均值滤波或中值滤波对深度图像做简单的平滑处理，滤除细小噪点，使深度图像更加清晰和可靠，有利于确定梯度异常区域。
步骤130、对梯度异常区域进行掩膜处理。
其中，掩膜是一种可用于选择性操作的二值图像，掩膜中的像素表示梯度异常区域对应点的像素，掩膜与梯度异常区域具有相同的尺寸。
掩膜处理为使用掩膜选择性地改变深度图像的梯度异常区域，使其与其他正常区域进行区分，掩膜可以通过手动创建或图像分割算法生成。
在实际执行中，可以通过将对梯度异常区域处的像素点设置为0，其他正常区域处的像素点设置为1，使梯度异常区域与其他正常区域进行区分，生成掩膜图像。
在该实施例中，对梯度异常区域进行掩膜处理，将深度图像的梯度异常区域与其他正常区域进行区分，有利于剔除梯度异常区域的数据进行基准面拟合，提高基准面拟合的准确性。
步骤140、对掩膜处理后的深度图像进行拟合，得到深度图像的基准面。
其中，拟合得到深度图像的基准面可以为平面或曲面，与深度图像所表征物体的种类相关。
在实际执行中，可以通过使用适当的数学函数或模型对掩膜处理后的深度图像进行拟合，以获得深度图像的基准面。
例如，可以采用最小二乘法对掩膜处理后的深度图像进行拟合，可以高效地对基准面进行估计，得到深度图像的基准面。
相关技术中，通过随机采样一致性的方法迭代得到的最优内点集，使用最小二乘法拟合基准面，但由于随机采样不可避免会采样到干扰区域中的点，导致迭代出的最优内点集包含干扰区域中的点，影响最终最小二乘法拟合的准确性。
本申请实施例中，通过深度图像的梯度特征，确定深度图像中梯度特征异于邻近区域的梯度异常区域（即对基准面拟合造成干扰的干扰区域），对梯度异常区域进行掩膜处理，剔除梯度异常区域的点，在存在较大范围干扰区域，也能滤除干扰区域的点，使用掩膜处理后的深度图像进行基准面拟合，有效提高深度图像基准面拟合的准确性和可靠性。
根据本申请实施例提供的图像处理方法，通过获取深度图像的梯度特征，区分出深度图像中的梯度异常区域，对异常区域进行掩膜处理，剔除梯度异常区域的图像信息，在存在较大范围干扰区域，也能滤除干扰区域的点，对掩膜处理后的深度图像进行拟合，得到高精度的深度图像的基准面，通过改善拟合出来的基准面精度，有效提高深度图像基准面拟合的准确性和可靠性。
在一些实施例中，基于深度图像的梯度特征，确定深度图像的梯度异常区域，包括：
获取深度图像对应的目标梯度图像；
基于目标梯度图像，确定目标梯度阈值；
基于目标梯度阈值，确定梯度异常区域。
其中，目标梯度图像是根据深度图像计算得到的，反映了深度图像中的位置信息和梯度信息。
目标梯度阈值作为用于确定哪些梯度值应被视为梯度异常值，进一步确定梯度异常区域。
需要说明的是，深度图像的每个像素点都含有具体的深度值，可以根据深度值计算得到目标梯度图像，得到深度图像的每个像素点对应的梯度值，将梯度值与目标梯度阈值进行比较，判断对应像素点是否属于梯度异常区域。
在实际执行中，根据梯度的计算方法对深度图像的梯度进行计算，得到目标梯度图像，其中，深度图像的梯度的计算方法包括但不限于索贝尔算子（Sobel）、施加尔算子（Scharr）、拉普拉斯算子（Laplacian）等梯度计算方法。
例如，采用索贝尔算子分别计算深度图像在不同方向上的梯度，对不同方向上的梯度进行加权计算，得到目标梯度图像。
需要说明的是，目标梯度图像包括深度图像中每个像素点的坐标信息和梯度信息。
在该实施例中，通过计算目标梯度阈值，确定梯度异常区域，将梯度异常区域与其他正常区域进行区分，有利于在深度图像在拟合的过程中剔除梯度异常区域中的梯度信息，改善深度图像基准面拟合的精度。
在一些实施例中，基于目标梯度阈值，确定梯度异常区域，包括：
基于目标梯度阈值，确定至少一个初始梯度异常区域，初始梯度异常区域的梯度值大于目标梯度阈值；
获取初始梯度异常区域的连通域，并确定连通域的最小外接矩形；
基于最小外接矩形进行膨胀处理，得到初始梯度异常区域对应的膨胀梯度异常区域；
基于至少一个初始梯度异常区域的膨胀梯度异常区域，确定梯度异常区域。
在实际执行中，将目标梯度图像的像素值大小与目标梯度阈值进行比较，可以将目标梯度图像做二值化处理，确定初始梯度异常区域。
在该实施例中，对深度图像的多个不同区域的像素值大小与目标梯度阈值进行比较，可以确定一个或多个初始梯度异常区域。
需要说明的是，初始梯度异常区域是根据目标梯度阈值初步确定的梯度异常区域，初始梯度异常区域的周围可能存在着起伏，也会对基准面的拟合产生影响，在该实施例中对初始梯度异常区域做膨胀处理，减小起伏的影响。
其中，连通域是指在二值化处理后的深度图像中，连通的高亮区域所形成的范围。
在实际执行中，可以对包含连通域的最小外接矩形进行膨胀处理，以矩形短边尺寸的一半作为膨胀尺寸，膨胀初始梯度异常区域，得到初始梯度异常区域的膨胀梯度异常区域。
需要说明的是，可以对一个或多个初始梯度异常区域的连通域进行膨胀处理，得到一个或多个初始梯度异常区域的膨胀梯度异常区域，最终得到的梯度异常区域包括这一个或多个膨胀梯度异常区域。
例如，基于目标梯度阈值，确定出一个初始梯度异常区域，对该初始梯度异常区域进行膨胀处理，得到该初始梯度异常区域对应的一个膨胀梯度异常区域，该膨胀梯度异常区域为最终的梯度异常区域。
再例如，基于目标梯度阈值，确定出多个初始梯度异常区域，对多个初始梯度异常区域进行膨胀处理，得到多个初始梯度异常区域对应的多个膨胀梯度异常区域，将多个膨胀梯度异常区域进行融合处理，确定为最终的梯度异常区域，将最终的梯度异常区域的像素值设置为0，其他正常区域的像素值设置为1，得到深度图像的梯度变化响应图。
其中，梯度变化响应图用于反映深度图像各个像素点的梯度特征，通过梯度变化响应可以直观判断深度图像中的梯度异常区域和其他正常区域。
需要说明的是，梯度变化响应图中包含像素值为0的梯度异常区域和像素值为1的其他正常区域，梯度变化响应图的尺寸与深度图像的尺寸一致。
在该实施例中，通过对连通域的最小外接矩形进行膨胀处理，减小初始梯度异常区域的周围存在的起伏对基准面拟合产生的影响，提高深度图像基准面拟合的准确性。
在一些实施例中，获取深度图像对应的目标梯度图像，包括：
获取深度图像的水平梯度图像和垂直梯度图像；
对水平梯度图像和垂直梯度图像进行融合处理，得到目标梯度图像。
在实际执行中，可以通过索贝尔算子（Sobel）计算深度图像的在水平方向和垂直方向上的梯度，对梯度取绝对值后得到水平梯度图像和垂直梯度图像，索贝尔算子具有效率高、生成的目标梯度图像噪点小的特点。
可以通过对水平梯度图像和垂直梯度图像进行加权计算，得到目标梯度图像；也可以取水平梯度图像和垂直梯度图像中梯度值较大的赋值给目标梯度图像。
例如，对水平梯度图像和垂直梯度图像进行加权计算，计算的公式为：
其中，为目标梯度图像，/>为水平梯度图像，/>为垂直梯度图像，/>和/>为权重参数，且满足/>，一般取/>，/>。
再例如，取水平梯度图像和垂直梯度图像中梯度值较大的赋值给目标梯度图像，较大值的计算公式为：
其中，为目标梯度图像，/>为水平梯度图像，/>为垂直梯度图像，/>为目标梯度图像中的每一个像素点坐标。
在一些实施例中，目标梯度阈值基于目标梯度图像的均值和标准差确定。
在实际执行中，可以通过对目标梯度图像进行平滑处理，计算目标梯度图像的均值和标准差，根据梯度图像的均值和标准差，选择合适的阈值倍数N，确定目标梯度阈值。
例如，阈值倍数N可以为1倍标准差、2倍标准差等。
在该实施例中，通过目标梯度图像实际的均值和标准差均值和标准差，选择合适的阈值倍数，确定目标梯度图像，可以根据目标梯度图像的实际情况确定最佳的目标梯度阈值。
在一些实施例中，对掩膜处理后的深度图像进行拟合，得到深度图像的基准面，包括：
基于掩膜处理后的深度图像，通过随机采样一致性算法随机采样深度图像的点，得到目标深度点集，目标深度点集中的深度点不包含梯度异常区域的深度点；
基于目标深度点集，拟合得到基准面。
其中，随机采样一致性算法基于随机采样的迭代方法，通过随机选择深度图像的目标深度点集来拟合基准面。
在实际执行中，通过随机采样一致性算法随机采样掩膜处理后的深度图像的点，需要对每个采样的点进行判断是否在梯度异常区域，即判断采样点在梯度变化响应图中的像素点是否为0。
当采样点的像素值为0时，表示采样点在梯度异常区域，不能采用，需要重新选取采样点，直至选取满足数量的采样点。
需要说明的是，在获得一系列像素值为1的采样点时，需要对采样点进行筛选，可以通过计算模型的误差和距离，设置采样点阈值，其中，像素值为1的采样点表征梯度变化响应图中像素值为1的正常区域中所对应的像素点。
在梯度变化响应图中，将获得的像素值为1的采样点根据采样点阈值进行划分，将小于采样点阈值的像素点为1的采样点划分为内点，其他像素值为1的采样点划分为外点，内点和外点均为深度图像中正常区域中的点。
在实际执行中，可以对一系列像素值为1的采样点进行拟合得到内点集模型，判断该内点集模型是否为质量较好的模型。
当判断拟合后的内点集模型为质量较差的内点集模型时，可以通过设置内点阈值，重新选取采样点，直至选取采样点中内点的数量大于所设内点阈值，重新计算得到新的内点集模型。
在实际执行中，可以通过迭代选取内点数最多的点集，将内点数最多的点集中的内点作为目标深度点集，用于进行基准面拟合。
在该实施例中，通过剔除梯度异常区域的采样点，获取正常区域内的点集作为目标深度点集，可以有效提高深度图像基准面拟合的准确性和可靠性。
在一些实施例中，基于目标深度点集，拟合得到基准面，包括：
基于目标深度点集，通过最小二乘法拟合得到基准面。
在该实施例中，可以对目标深度点集中的每个点做相同的梯度异常区域判断剔除，使用最小二乘法拟合基准面，得到高精度的深度图像的基准面，其中，基准面可以为平面、曲面等。
例如，获得的目标深度点中含有N个内点，/>，……/>，当需要拟合一个二次曲面时，二次曲面的方程为：
其中，,/>……/>是未知系数，将/>展开，得到形式/>，其中，A是一个的矩阵，第i行为/>，p是一个6×1的列向量，每一行对应中的一个系数。
利用最小二乘法，求解系数p，使得残差平方和最小，解析解为/>。
得到系数p后，根据模型方程计算每一个深度图像中数据点的拟合值/>，最终可得到拟合出的基准面。
下面介绍一个具体的实施例。
如图2所示，通过获取待处理的深度图像，对深度图像进行预处理，选用小尺寸的均值滤波或中值滤波对深度图像做简单的平滑处理，滤除深度图像中的细小噪点。
使用索贝尔算子计算水平梯度图像和垂直梯度图像，对水平梯度图像和垂直梯度图像进行加权计算，得到目标梯度图像；或者取水平梯度图像和垂直梯度图像中梯度值较大的赋值给目标梯度图像。
对目标梯度图像平滑滤波，计算目标梯度图像的均值和标准差，选择合适的阈值倍数N，确定目标梯度阈值，对目标梯度图像做二值化处理，提取高于目标梯度阈值的部分作为初始梯度异常区域，确定一个或多个初始梯度异常区域。
获取初始梯度异常区域的连通域，对连通域的最小外接矩形进行膨胀处理，膨胀完所有的连通域后，梯度异常区域的像素值设置为0，其他正常区域的像素值设置为1，生成掩膜图像，得到梯度变化响应图，确定梯度异常区域。
从深度图像中随机选出一定数量的采样点，作为随机点集，判断每个采样点是否在梯度异常区域内部，即采样点在梯度变化响应图中，像素值是否为0，如果为0则表示此采样点在梯度异常区域，不能采用，需要重新选取采样点，直至选取到满足数量的采样点。
迭代选择具有内点数量最多的模型，将这些内点作为目标深度点集，对目标深度点集中的每个内点做相同的梯度异常区域判断剔除，使用最小二乘法拟合基准面。
在该实施例中，通过确定深度图像的梯度异常区域，剔除梯度异常区域内的采样点，对深度图像的基准面进行拟合，可以改善拟合出来的基准面精度，提高深度图像基准面拟合的准确性和可靠性。
本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。
本申请实施例还提供一种图像处理装置。
如图3所示，该图像处理装置包括：
获取模块310，用于获取待处理的深度图像；
第一处理模块320，用于基于所述深度图像的梯度特征，确定所述深度图像的梯度异常区域；
第二处理模块330，用于对所述梯度异常区域进行掩膜处理；
第三处理模块340，用于对掩膜处理后的所述深度图像进行拟合，得到所述深度图像的基准面。
根据本申请实施例提供的图像处理装置，通过获取深度图像的梯度特征，区分出深度图像中的梯度异常区域，对异常区域进行掩膜处理，剔除梯度异常区域的图像信息，在存在较大范围干扰区域，也能滤除干扰区域的点，对掩膜处理后的深度图像进行拟合，得到高精度的深度图像的基准面，通过改善拟合出来的基准面精度，有效提高深度图像基准面拟合的准确性和可靠性。
在一些实施例中，第一处理模块320，用于获取深度图像对应的目标梯度图像；
基于目标梯度图像，确定目标梯度阈值；
基于目标梯度阈值，确定梯度异常区域。
在一些实施例中，第一处理模块320，用于基于目标梯度阈值，确定至少一个初始梯度异常区域，初始梯度异常区域的梯度值大于目标梯度阈值；
获取初始梯度异常区域的连通域，并确定连通域的最小外接矩形；
基于最小外接矩形进行膨胀处理，得到初始梯度异常区域对应的膨胀梯度异常区域；
基于至少一个初始梯度异常区域的膨胀梯度异常区域，确定梯度异常区域。
在一些实施例中，第一处理模块320，用于获取深度图像的水平梯度图像和垂直梯度图像；
对水平梯度图像和垂直梯度图像进行融合处理，得到目标梯度图像。
在一些实施例中，目标梯度阈值基于目标梯度图像的均值和标准差确定。
在一些实施例中，第三处理模块340，用于基于掩膜处理后的深度图像，通过随机采样一致性算法随机采样深度图像的点，得到目标深度点集，目标深度点集中的深度点不属于梯度异常区域的深度点；
基于目标深度点集，拟合得到基准面。
在一些实施例中，第三处理模块340，用于基于目标深度点集，通过最小二乘法拟合得到基准面。
本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置（Mobile Internet Device，MID）、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机（ultra-mobile personalcomputer，UMPC）、上网本或者个人数字助理（personal digital assistant，PDA）等，还可以为服务器、网络附属存储器（Network Attached Storage，NAS）、个人计算机（personalcomputer，PC）、电视机（television，TV）、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓（Android）操作系统，可以为IOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1至图2的方法实施例实现的各个过程，为避免重复，这里不再赘述。
本申请还提供一种视觉检测系统。
如图4所示，该视觉检测系统包括：
图像采集装置410，图像采集装置410用于采集深度图像；
控制器420，控制器420与图像采集装置410电连接，控制器420用于执行上述的图像处理方法。
在实际执行中，控制器420对图像采集装置410采集的深度图像进行基准面拟合，拟合出的基准面可以应用于对产线上的产品进行缺陷检测、高度差测量、平面度检查等检测。
例如，可以通过图像采集装置410采集电池极片的深度图像，控制器420根据采集的电池极片的深度图像进行基准面拟合，对电池极片的平面度进行检查，以保证电池极片的质量。
根据本申请实施例提供的视觉检测系统，通过图像采集装置采集深度图像，控制器对图像采集装置采集的深度图像进行基准面拟合，得到精度高的深度图像的基准面，有效提高基准面拟合的准确性。
在一些实施例中，如图5所示，本申请实施例还提供一种电子设备500，包括处理器501、存储器502及存储在存储器502上并可在处理器501上运行的计算机程序，该程序被处理器501执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备500包括上述所述的移动电子设备和非移动电子设备。
本申请实施例还提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备500中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述图像处理方法。
其中，所述处理器为上述实施例中所述的电子设备500中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端（可以是手机，计算机，服务器，或者网络设备等）执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
Claims (8)
1.一种图像处理方法，其特征在于，包括：
获取待处理的深度图像；
基于所述深度图像的梯度特征，确定所述深度图像的梯度异常区域；
对所述梯度异常区域进行掩膜处理；
对掩膜处理后的所述深度图像进行拟合，得到所述深度图像的基准面；
所述基于所述深度图像的梯度特征，确定所述深度图像的梯度异常区域，包括：
获取所述深度图像对应的目标梯度图像；
基于所述目标梯度图像，确定目标梯度阈值；
基于所述目标梯度阈值，确定所述梯度异常区域；
所述基于所述目标梯度阈值，确定所述梯度异常区域，包括：
基于所述目标梯度阈值，确定至少一个初始梯度异常区域，所述初始梯度异常区域的梯度值大于所述目标梯度阈值；
获取所述初始梯度异常区域的连通域，并确定所述连通域的最小外接矩形；
基于所述最小外接矩形进行膨胀处理，得到所述初始梯度异常区域对应的膨胀梯度异常区域；
基于所述至少一个初始梯度异常区域的膨胀梯度异常区域，确定所述梯度异常区域。
2.根据权利要求1所述的图像处理方法，其特征在于，所述获取所述深度图像对应的目标梯度图像，包括：
获取所述深度图像的水平梯度图像和垂直梯度图像；
对所述水平梯度图像和所述垂直梯度图像进行融合处理，得到所述目标梯度图像。
3.根据权利要求1所述的图像处理方法，其特征在于，所述目标梯度阈值基于所述目标梯度图像的均值和标准差确定。
4.根据权利要求1-3任一项所述的图像处理方法，其特征在于，所述对掩膜处理后的所述深度图像进行拟合，得到所述深度图像的基准面，包括：
基于掩膜处理后的所述深度图像，通过随机采样一致性算法随机采样所述深度图像的点，得到目标深度点集，所述目标深度点集中的深度点不属于所述梯度异常区域的深度点；
基于所述目标深度点集，拟合得到所述基准面。
5.根据权利要求4所述的图像处理方法，其特征在于，所述基于所述目标深度点集，拟合得到所述基准面，包括：
基于所述目标深度点集，通过最小二乘法拟合得到所述基准面。
6.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待处理的深度图像；
第一处理模块，用于基于所述深度图像的梯度特征，确定所述深度图像的梯度异常区域；
第二处理模块，用于对所述梯度异常区域进行掩膜处理；
第三处理模块，用于对掩膜处理后的所述深度图像进行拟合，得到所述深度图像的基准面；
所述第一处理模块，用于获取所述深度图像对应的目标梯度图像；
基于所述目标梯度图像，确定目标梯度阈值；
基于所述目标梯度阈值，确定至少一个初始梯度异常区域，所述初始梯度异常区域的梯度值大于所述目标梯度阈值；
获取所述初始梯度异常区域的连通域，并确定所述连通域的最小外接矩形；
基于所述最小外接矩形进行膨胀处理，得到所述初始梯度异常区域对应的膨胀梯度异常区域；
基于所述至少一个初始梯度异常区域的膨胀梯度异常区域，确定所述梯度异常区域。
7.一种视觉检测系统，其特征在于，包括：
图像采集装置，所述图像采集装置用于采集深度图像；
控制器，所述控制器与所述图像采集装置电连接，所述控制器用于执行如权利要求1-5任一项所述的图像处理方法。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5 任一项所述图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311217388.6A CN116958145B (zh) | 2023-09-20 | 2023-09-20 | 图像处理方法、装置、视觉检测系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311217388.6A CN116958145B (zh) | 2023-09-20 | 2023-09-20 | 图像处理方法、装置、视觉检测系统及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116958145A CN116958145A (zh) | 2023-10-27 |
| CN116958145B true CN116958145B (zh) | 2023-12-22 |
Family
ID=88455064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311217388.6A Active CN116958145B (zh) | 2023-09-20 | 2023-09-20 | 图像处理方法、装置、视觉检测系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116958145B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117451722A (zh) * | 2023-11-20 | 2024-01-26 | 东莞康视达自动化科技有限公司 | 一种基于机器视觉的工件检测系统及方法 |
| CN117733819B (zh) * | 2024-02-21 | 2024-05-14 | 太原工业学院 | 一种用于电厂的智能巡检机器人运行方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105652342A (zh) * | 2016-01-13 | 2016-06-08 | 中国石油化工股份有限公司 | 一种基于地层不整合面的分段式地温梯度拟合方法 |
| CN106125149A (zh) * | 2016-06-18 | 2016-11-16 | 中国人民解放军信息工程大学 | 点质量模型中浅层高分辨率点质量最佳埋藏深度确定方法 |
| CN115115535A (zh) * | 2022-04-07 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 深度图的去噪方法、装置、介质及设备 |
| CN116091405A (zh) * | 2022-11-30 | 2023-05-09 | 武汉极动智能科技有限公司 | 图像处理方法及装置、计算机设备、存储介质 |
-
2023
- 2023-09-20 CN CN202311217388.6A patent/CN116958145B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105652342A (zh) * | 2016-01-13 | 2016-06-08 | 中国石油化工股份有限公司 | 一种基于地层不整合面的分段式地温梯度拟合方法 |
| CN106125149A (zh) * | 2016-06-18 | 2016-11-16 | 中国人民解放军信息工程大学 | 点质量模型中浅层高分辨率点质量最佳埋藏深度确定方法 |
| CN115115535A (zh) * | 2022-04-07 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 深度图的去噪方法、装置、介质及设备 |
| CN116091405A (zh) * | 2022-11-30 | 2023-05-09 | 武汉极动智能科技有限公司 | 图像处理方法及装置、计算机设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116958145A (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116958145B (zh) | 图像处理方法、装置、视觉检测系统及电子设备 | |
| CN109118542B (zh) | 激光雷达与相机之间的标定方法、装置、设备及存储介质 | |
| Juneja et al. | Performance evaluation of edge detection techniques for images in spatial domain | |
| CN107918216B (zh) | 图像Mura缺陷评估方法、系统以及可读存储介质 | |
| US20170308736A1 (en) | Three dimensional object recognition | |
| CN110458772B (zh) | 一种基于图像处理的点云滤波方法、装置和存储介质 | |
| CN115908269B (zh) | 视觉缺陷检测方法、装置、存储介质和计算机设备 | |
| KR101032446B1 (ko) | 영상의 정점 검출 장치 및 방법 | |
| CN110660072B (zh) | 一种直线边缘的识别方法、装置、存储介质及电子设备 | |
| US20210350115A1 (en) | Methods and apparatus for identifying surface features in three-dimensional images | |
| CN110634137A (zh) | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 | |
| CN114782451B (zh) | 工件缺陷检测方法、装置、电子设备及可读存储介质 | |
| CN110458857B (zh) | 中心对称图元检测方法、装置、电子设备及可读存储介质 | |
| Adu-Gyamfi et al. | Functional evaluation of pavement condition using a complete vision system | |
| CN116416227A (zh) | 背景图像处理方法和装置 | |
| CN116091998A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN116342585A (zh) | 一种产品缺陷检测方法、装置、设备及存储介质 | |
| CN116559177A (zh) | 一种缺陷检测方法、装置、设备以及存储介质 | |
| CN113554688B (zh) | 一种基于单目视觉的o型密封圈尺寸测量方法 | |
| CN113191202B (zh) | 一种图像处理方法、装置及电子设备 | |
| CN111473767B (zh) | 一种远程测距方法及装置 | |
| CN115063473A (zh) | 物体高度的检测方法、装置、计算机设备、存储介质 | |
| CN110910379B (zh) | 一种残缺检测方法及装置 | |
| CN113508395A (zh) | 用于检测对象的方法 | |
| CN117474858A (zh) | 缺陷检测方法、装置、视觉检测系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |