CN112508837A - 一种可用于深度图纹理检测的算子 - Google Patents

一种可用于深度图纹理检测的算子 Download PDF

Info

Publication number
CN112508837A
CN112508837A CN201910790861.7A CN201910790861A CN112508837A CN 112508837 A CN112508837 A CN 112508837A CN 201910790861 A CN201910790861 A CN 201910790861A CN 112508837 A CN112508837 A CN 112508837A
Authority
CN
China
Prior art keywords
image
center
original image
pixel
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910790861.7A
Other languages
English (en)
Inventor
李朋超
王金涛
曲冠彤
邵红旭
鞠长宇
赵森
郭海冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Xinsong Robot Automation Co ltd
Original Assignee
Tianjin Xinsong Robot Automation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Xinsong Robot Automation Co ltd filed Critical Tianjin Xinsong Robot Automation Co ltd
Priority to CN201910790861.7A priority Critical patent/CN112508837A/zh
Publication of CN112508837A publication Critical patent/CN112508837A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明涉及一种可用于深度图纹理检测的算子，包括以下步骤：1)确定原始图像的尺寸；2)对原始图像进行边界填充，3)使用一个九宫格，令九宫格的中心以原始图像的第一个像素开始，从左到右，从上到下依次遍历整幅图像；对于遍历过程中每个九宫格中心的灰度值，将中心的灰度值分别减去周围八个点的灰度值，取绝对值之和作为中心对应像素的新像素值；4)去除填充的最外层边界，恢复图像尺寸；5)然后将恢复尺寸后的图像通过阈值保留纹理特征。本发明鲁棒性好，对于规则或非规则纹理都有很好的提取效果，且通过设置阈值，能得到自适应提取纹理信息，例如通过增大阈值可过滤一些细微的纹理而保留物体边缘信息，减小阈值则能得到更为细微的纹理特征。

Description

一种可用于深度图纹理检测的算子
技术领域
本发明属于3D视觉图像处理领域，具体说是一种可用于深度图纹理检测的算子。
背景技术
机器人产业受到越来越多的重视。目前，机器人领域的目标是让机器人智能化，而在工业机器人打磨抛光领域，人们致力于让机器人通过传感器自动判断物体表面的粗糙度，进而确定需要打磨的区域的起始点位置，实现自动化打磨。机器人自动打磨的现有解决方案基本是通过工业线结构光相机获得物体表面的深度信息，通过对深度信息进行处理来判断打磨区域的位置。而如果能让机器人如人一样知道物体表面的纹理信息，则可以很轻易地计算出物体表面的粗糙程度，从而确定打磨区域。
纹理特征提取方法主要有统计方法如灰度共生矩阵、半方差图法等，模型法如马尔科夫随机场模型、Gibbs随机场模型、分形模型和自回归模型等，信号处理法如Tamura纹理特征、小波变换等。但上述方法中，统计法缺少全局信息的利用和理论支撑，且计算复杂度高，制约了其实际应用；型法建模难度大，求解速度慢，模型调参难；信号处理法计算量大，且对于非规则纹理的提取效果很差。
发明内容
本发明针对工业机器人打磨的真实环境，提出了一种新型的用于深度图纹理特征提取的方法，其具有效果好、鲁棒性强、速度快等优点，可适用于暴露出真实的工业打磨场景下的工件表面信息。
本发明解决其技术问题所采用的技术方案是：一种可用于深度图纹理检测的算子，包括以下步骤：
1)确定原始图像的尺寸M×N；
2)对原始图像进行边界填充，即在图像周围增加一层像素值为0的像素，得到填充图像；
3)使用一个九宫格，令九宫格的中心以原始图像的第一个像素开始，从左到右，从上到下依次遍历整幅图像；对于遍历过程中每个九宫格中心的灰度值，将中心的灰度值分别减去周围八个点的灰度值，取绝对值之和作为中心对应像素的新像素值；
4)去除填充的最外层边界，恢复图像尺寸M×N；
5)然后将恢复尺寸后的图像通过阈值保留纹理特征。
预先对原始图像进行异常值检测：当存在异常值时，修改该异常值为周围设定距离内的所有非异常值的均值。
所述对原始图像进行边界填充，使得原始图像的长和宽的值各加1像素尺寸变为(M+1)×(N+1)。
所述九宫格每次滑动步长为1个像素。
本发明具有以下有益效果及优点：
1)相对于现有的技术，运算速度快，能达到实时，可用于实际工业场景；
2)鲁棒性好，对于规则或非规则纹理都有很好的提取效果，且通过设置阈值，能得到自适应纹理纹理信息，例如通过增大阈值可过滤一些细微的纹理而保留物体边缘信息，减小阈值则能得到更为细微的纹理特征。
3)同时可检测出工件表面的相对粗糙度。
附图说明
图1a为某工件原始深度图；
图1b为本发明算子处理得到的纹理特征图；
图2为一个带处理积木的原图；
图3a为积木的深度图；
图3b为本发明算子处理得到的纹理特征图；
图4a为纹理特征图；
图4b为通过合理设置阈值得到的积木边缘特征图；
图5为技术方案流程图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明。
如图5所示，步骤一、对原始图像中的异常点进行处理填充
由于深度图的获取过程一般是利用TOF或结构光原理，通常会由于被测量表面的影响而扫描不到某些点从而造成缺失点，现有的设备会将这类点设置为特殊点以便于正常扫描到的点相区分。故需要对这些异常点(上述特殊点)进行处理，在这里的处理方法主要是：
1)判断是否存在异常值
2)若存在，则通过计算，修改其值为周围一定距离内的所有非异常值的均值。
步骤二、对步骤一中得到的图像进行处理，具体方法为：
1)确定图像的的尺寸M×N；M为行尺寸，N为列尺寸。
2)对图像进行边界填充，即在图像周围增加一层像素值为0的像素。该操作会使得图像的长和宽的值各加1像素尺寸变为(M+1)×(N+1)。
3)使用一个九宫格，在图像中，令九宫格的中心以原始图像(未进行边界填充前)的第一个像素开始，从左到右，从上到下依次遍历整幅图像，九宫格每次滑动步长为1个像素。对于九宫格中心的灰度值，将中心的灰度值值分别减去周围八个点的灰度值，取绝对值之和(即距离差之和)作为中心元素的新像素值。
4)去除填充的最外层边界，恢复原始图像尺寸M×N。
步骤三、根据实际情况，设置合适的阈值，保留需要的纹理特征。
实施例1.工业机器人打磨工件深度图分析
构成：如图1a、图1b所示的机器人工厂的一个待打磨工件，图1a为使用线结构光扫描完工件以后得到的深度图，图1b是通过本发明专利中所讲到的处理算子处理后得到的照片。
作用：为了将工件的表面的纹理信息及相对粗糙程度表示出来，以便为识别算法提供较为明显的特征分析
效果：原来的深度图由于图像的深度比较接近，故特征不明显，经由此算子处理后，不但达到预期目的显示出了其表面纹理特征及相对粗糙度(图中像素越大即越亮的地方越相对于周围粗糙)而且将工件的整个轮廓信息显示出来了。
实施例2：放于桌面上的方块边缘分析
构成：物块的实物图如图2所示；物体深度图及纹理特征图如图3a、图3b 所示；图4a、图4b分别为通过设置不同的阈值将桌面纹理及小物块的边缘图。
作用：通过算子的处理是深度图的纹理特征更加明显
效果：可以看到的是不但将小物块的边缘提取了出来，而且更惊艳地是将桌面的纹理也一种显示了出来，正名此算子作用非常强。

Claims (4)

1.一种可用于深度图纹理检测的算子，其特征在于，包括以下步骤：
1)确定原始图像的尺寸M×N；
2)对原始图像进行边界填充，即在图像周围增加一层像素值为0的像素，得到填充图像；
3)使用一个九宫格，令九宫格的中心以原始图像的第一个像素开始，从左到右，从上到下依次遍历整幅图像；对于遍历过程中每个九宫格中心的灰度值，将中心的灰度值分别减去周围八个点的灰度值，取绝对值之和作为中心对应像素的新像素值；
4)去除填充的最外层边界，恢复图像尺寸M×N；
5)然后将恢复尺寸后的图像通过阈值保留纹理特征。
2.根据权利要求1所述的一种可用于深度图纹理检测的算子，其特征在于，预先对原始图像进行异常值检测：当存在异常值时，修改该异常值为周围设定距离内的所有非异常值的均值。
3.根据权利要求1所述的一种可用于深度图纹理检测的算子，其特征在于，所述对原始图像进行边界填充，使得原始图像的长和宽的值各加1像素尺寸变为(M+1)×(N+1)。
4.根据权利要求1所述的一种可用于深度图纹理检测的算子，其特征在于，所述九宫格每次滑动步长为1个像素。
CN201910790861.7A 2019-08-26 2019-08-26 一种可用于深度图纹理检测的算子 Pending CN112508837A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910790861.7A CN112508837A (zh) 2019-08-26 2019-08-26 一种可用于深度图纹理检测的算子

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910790861.7A CN112508837A (zh) 2019-08-26 2019-08-26 一种可用于深度图纹理检测的算子

Publications (1)

Publication Number Publication Date
CN112508837A true CN112508837A (zh) 2021-03-16

Family

ID=74923828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910790861.7A Pending CN112508837A (zh) 2019-08-26 2019-08-26 一种可用于深度图纹理检测的算子

Country Status (1)

Country Link
CN (1) CN112508837A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815879A (zh) * 2017-01-17 2017-06-09 湖南优象科技有限公司 一种基于lbp特征的快速纹理合成方法
CN106897970A (zh) * 2015-12-21 2017-06-27 阿里巴巴集团控股有限公司 一种图像修复方法及装置
CN107194930A (zh) * 2017-03-27 2017-09-22 西北大学 基于元胞自动机的文物表面纹理特征提取方法
CN107862267A (zh) * 2017-10-31 2018-03-30 天津科技大学 基于完全对称局部韦伯描述子的人脸识别特征提取算法
CN108805922A (zh) * 2018-04-27 2018-11-13 河海大学 一种局部像素同质化的图像纹理特征提取方法
CN109740630A (zh) * 2018-12-06 2019-05-10 中科恒运股份有限公司 异常数据处理方法及装置
CN109886935A (zh) * 2019-01-28 2019-06-14 南京威翔科技有限公司 一种基于深度学习的道面异物检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897970A (zh) * 2015-12-21 2017-06-27 阿里巴巴集团控股有限公司 一种图像修复方法及装置
CN106815879A (zh) * 2017-01-17 2017-06-09 湖南优象科技有限公司 一种基于lbp特征的快速纹理合成方法
CN107194930A (zh) * 2017-03-27 2017-09-22 西北大学 基于元胞自动机的文物表面纹理特征提取方法
CN107862267A (zh) * 2017-10-31 2018-03-30 天津科技大学 基于完全对称局部韦伯描述子的人脸识别特征提取算法
CN108805922A (zh) * 2018-04-27 2018-11-13 河海大学 一种局部像素同质化的图像纹理特征提取方法
CN109740630A (zh) * 2018-12-06 2019-05-10 中科恒运股份有限公司 异常数据处理方法及装置
CN109886935A (zh) * 2019-01-28 2019-06-14 南京威翔科技有限公司 一种基于深度学习的道面异物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张晶: "《数字图像处理应用研究》", 30 April 2019 *

Similar Documents

Publication Publication Date Title
CN111814711B (zh) 一种应用于矿井机器视觉的图像特征快速匹配方法及系统
CN107194919B (zh) 基于规律纹理背景重建的手机屏幕缺陷检测方法
CN110648367A (zh) 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN109815865B (zh) 一种基于虚拟水尺的水位识别方法及系统
CN107945192B (zh) 一种托盘纸箱垛型实时检测方法
CN105865329B (zh) 基于视觉的成捆圆钢端面中心坐标的获取系统和方法
JP2007156939A (ja) 人物検出装置、人物検出方法及び人物検出プログラム
CN107014818B (zh) 一种镭雕缺陷视觉检测系统及方法
WO2019010916A1 (zh) 一种工件三维点云数据平滑滤波方法
CN109166125A (zh) 一种基于多边缘融合机制的三维深度图像分割算法
CN103295018A (zh) 一种枝叶遮挡果实精确识别方法
CN104778707A (zh) 一种改进广义Hough变换的电解电容检测方法
CN106355590B (zh) 一种基于图像作差的模具残留物视觉检测方法及装置
CN110687122A (zh) 一种陶瓦表面裂纹检测方法及系统
CN112884746A (zh) 一种基于边缘形状匹配的字符缺陷智能检测算法
CN116128873A (zh) 一种基于图像识别的轴承保持器检测方法、设备及介质
CN109741306B (zh) 应用于危险化学品库房堆垛的图像处理方法
CN109671084B (zh) 一种工件形状的测量方法
KR100691855B1 (ko) 영상정보의 특징 추출장치 및 그 방법
CN106530292B (zh) 一种基于线扫描相机的带钢表面缺陷图像快速辨识方法
CN113657264A (zh) 基于暗通道和knn算法融合的森林火灾烟雾根节点检测方法
CN116571410B (zh) 基于机器视觉的缺陷区域修复方法、装置、设备以及介质
CN113487538A (zh) 一种多目标分割缺陷检测方法、装置及其计算机存储介质
CN112508837A (zh) 一种可用于深度图纹理检测的算子
CN110516725A (zh) 基于机器视觉的木板条纹间距和颜色的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210316

RJ01 Rejection of invention patent application after publication