CN111652823A - 一种基于颜色信息的结构光测量高反射率物体的方法 - Google Patents
一种基于颜色信息的结构光测量高反射率物体的方法 Download PDFInfo
- Publication number
- CN111652823A CN111652823A CN202010532218.7A CN202010532218A CN111652823A CN 111652823 A CN111652823 A CN 111652823A CN 202010532218 A CN202010532218 A CN 202010532218A CN 111652823 A CN111652823 A CN 111652823A
- Authority
- CN
- China
- Prior art keywords
- highlight
- image
- pixel
- pixels
- repaired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000002310 reflectometry Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000000926 separation method Methods 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 8
- 229920006395 saturated elastomer Polymers 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000008439 repair process Effects 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 abstract description 4
- 238000000691 measurement method Methods 0.000 abstract 1
- 239000000919 ceramic Substances 0.000 description 10
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Optics & Photonics (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于颜色信息的结构光测量高反射率物体的方法,其能够根据物体的颜色信息区分图像中镜面反射区域和漫反射区域并标记出图像中的高光区域,根据反射分离理论对高光区域进行去高光处理。根据图像的纹理信息对去除高光后的图像进行修复。本发明能够解决实际生活中拍摄照片出现的高光问题,并且还原出去除高光的场景。与传统的方法相比,该方法不需要拍摄大量的图片,大大提高了图像处理的效率。实验表明本方法还可运用与结构光三维测量方法。
Description
技术领域
本发明涉及一种结构光测量方法,具体涉及结构光用于高反射率物体的测量领域。
背景技术
随着社会的发展,技术的革新。由于结构光的三维形貌测量技术具有高精度、高效率且由于非接触式检测对被测物体的损害非常低的优点,该技术越来越多的应用于各行各业。在结构光三维测量中,需要对被测物体投射编码条纹,由编码条纹投射在物体表面从而携带了物体表面的三维纹理信息,通过CCD相机接收图像,而图像条纹的灰度变化即反应了被测物体表面的三维形貌。然而在实际测量过程中,由于某些物体表面对光的反射率过强,而导致图像中产生高光。高光不仅仅使相机饱和,丢失物体表面的纹理信息,同时高光的存在还会影响到后续对图像的处理,影响图像条纹边缘轮廓的提取。而实际的工业测量中,大部分的测量对象往往为高反射率物体。针对这一现状,最早的解决方法是在物体表面喷涂一层降低反射的涂层,然后再进行测量,由于此类方法需要再物体表面喷涂涂层可能会导致测量误差和物体表面损坏等诸多不利结果。另外,也有方法采用减小曝光时间和曝光次数从而达到去除高光的效果,但是这种方法具有一定的盲目性。此外,还有采用在相机和投影前增加偏振片的方法,该方法虽然可以一定程度的去除高光,但由于增加的偏振片不仅仅削弱了强反射的光强,同时也削弱了漫反射的光强,这样就导致了图像中噪声的影响更大,同时加装偏振片也增加了整个实验系统的复杂程度。本发明提供了一种基于颜色信息去除图像中高光的测量方法且该方法简单易于实现。
发明内容
本发明提出了一种基于颜色信息的结构光高反射率物体的测量方法,能有效的去除图像中的高光,解决结构光无法测量高反射率物体的问题。
本发明目的通过如下技术方案实现:
基于颜色信息的结构光高反射率物体的测量方法,该方法包括如下步骤:
1. 图像采集:首先使用标定好的单目结构光系统获得条纹投影下高反射率物体的图像。
2. 图像高光定位:由于高反射率物体表面的特殊性质,在使用结构光系统测量这类材料时容易使得相机饱和从而产生图像中的高光区域,破环原有条纹所携带的形状、颜色、纹理等特征,对后续的三维重构产生很大影响。所以需要对图像进行去高光处理。
首先计算图像每个像素RGB通道的最小值,用每个像素RGB三通道值减去最小值得到近似无镜面图像(SF图)。公式为:
对SF图像进行修正补偿得到MSF图像,计算公式为:
其次,需要继续判断这两个像素是不连续像素还是噪声。首先需要定义像素色度,色度公式为:
当分析像素是否为不连续像素时,在单一颜色均匀的表面两个相邻像素点的色度值变化非常小,高光像素也是这样。因此,计算并定义RGB三通道的色度差:
通过设置阈值方式,当某个通道的色度差值大于这个阈值时,则为不连续像素,反之则为噪声或者高光像素。
此外,还需要分析这相邻两个像素为噪声还是高光像素。由于噪声像素的最大色度是一个定值,而相邻的强反射像素的最大色度值一定不相等。所以只需要比较这两个像素的最大色度。若相等,则为噪声,若不相等,至少有一个像素为高光像素
3. 高光区域的去除:由于合成图像中式
然后即可求得该点的漫反射分量,用该分量代替该点像素值即可去除高光。
4. 图像修复:由于金属等材料的高反射率特性会导致去除高光后原高光区域会变成黑色,这是由于高光像素中镜面分量过大而漫反射分量基本没有所导致的,这样也会破坏条纹所携带的纹理信息需要对处理后的图像进行修复。修复方法如下:
首先根据使用Bézier曲线拟合技术修复图像的边缘轮廓为后续的样本填充方案提供更精确的样本块相似度,从而提高修复的准确性。其次计算待修复样本块的优先级决定填充顺序,计算匹配块与样本块的相似度和几何距离决定最佳匹配块,最后按顺序进行填充待修复区域。
曲线拟合技术主要用于修复条纹的边缘,为后续样本填充不出错提供一种处理方案,本实验主要采用一次Bézier曲线拟合技术,其公式如下:
样本填充方法用于处理经过曲线拟合条纹边缘后的图像,其确定最优匹配块主要根据两个指标:(1)匹配块与待填充区域的相似度,(2)匹配块与待填充区域的几何距离。
(1)匹配块与待填充区域的相似度:主要通过RGB三通道的颜色相似度决定,计算公式如下:
(2)匹配块与待填充区域的几何距离:匹配块与带填充区域中心点的几何距离,其公式如下:
本发明提供一种基于颜色信息的结构光测量高反射率物体的方法。通过物体表面的颜色信息,确定图像中饱和像素的区域,根据反射分离的方法分离镜面反射和漫反射。对反射分离方法破环的图像原有信息部分,采用样本曲线拟合和样本填充的方法对图像进行修复。相对于现有的方法,该方法具有以下优点:该方法不需要拍摄大量的图片,大大提高了图像处理的效率。所需实验设备简单,成本低。且该方法适用测量范围广,可根据实际应用需求测量高反射率金属工件,扩展了结构光方法运用前景。
附图说明
图1实验整体流程图
图2实验系统结构图
图3正常情况下的陶瓷酒瓶
图4条纹投影下的陶瓷碗
图5去高光后的陶瓷酒瓶
图6去高光后的条纹投影下的陶瓷碗
图7修复后的陶瓷酒瓶
图8修复后的条纹投影下的陶瓷碗
图9 canny算子对条纹投影下陶瓷碗的边缘提取
图10 canny算子对修复后条纹投影下陶瓷碗的边缘提取
具体实施方案
下面将结合附图对本发明的具体实施作详细叙述。
1.图像采集:整个系统操作流程如图1所示,首先通过系统标定的方法对图2所示系统中的相机和投影仪进行标定,标定结束,采集所需要的图像。
2.高光像素定位:对采集到的图像,首先进行图像高光的定位,分别用图像RGB通道减去每个通道的最小值获得近似无镜面图像(SF图)。通过公式(2)获得MSF图。根据公式(3)设置阈值t=5,当原图像的像素值减去MSF图像的像素值大于阈值5则判定该点的像素为不连续像素。如下式:
其中不连续像素包括镜面像素、颜色跳变像素和噪声。我们需要进一步区分这些像素,找出镜面像素。由于镜面像素的色度变化非常小,所以该方法通过设计判断两相邻像素的色度差值来判定像素为颜色跳变像素或不连续像素。如下式:
判断完之后还需要区分镜面像素和噪声,由于噪声的最大漫反射色度是不变的,该方法即根据这个原理区分镜面像素和噪声。
3.高光去除:由于镜面像素被精确定位,接下来需要通过反射分离方法进行漫反射和镜面反射分量分离。该方法通过公式(6)获得像素点的漫反射分量,由于该公式中某一点最大漫反射色度是很难得知的,我们通过公式(8)可以近似估计最大漫反射色度,且该方法也是目前估计最大漫反射色度效果最好的。通过该方法获得本次实验对陶瓷酒瓶的色度阈值估计值为0.4,而陶瓷碗的色度阈值估计值为0.46。最后通过公式(6)获得镜面像素的漫反射分量如下式:
由于该方法是通过减法去除图像中的高光,对于高反射率物体便面成像,其像素镜面分量几乎占据了整个像素,导致图像进行高光去除之后出现如图5所示的黑色像素区域,这种黑色区域完全破坏了结构光条纹所携带的纹理信息。需要进行条纹纹理信息的修复。
4.图像修复:首先,根据一次的Bézier曲线拟合技术修复条纹的边缘轮廓,
该方法通过选择被破环条纹完好区域的边缘上两点进行修复破环区域。其次通过像素填充的方式进行图像修复,主要通过匹配块相似度和距离修正因子判定最优匹配块。匹配块的相似度通过公式(10)确定如下:
距离修正因子则为距离的倒数。采用迭代的方法完成对整张图像中破损区域的修复。其修复结果如图7和图8所示。
最后通过canny算子分别对原图和修复后图像提取条纹边缘,其结果如图9和10所示。从其结果可以清晰看出,条纹修复信息完整,且修复后图像忠于原图像。并且证明该方法可以用于实际的结构光对高反射率物体的测量。
Claims (6)
1.一种基于颜色信息的结构光测量高反射率物体的方法,其特征在于,包括步骤:
对获得的物体图像进行去高光处理,准确获得图像中的高光区域,对标记好的高光区域进行高光去除处理;
由于采用的高光去除处理使用的是由像素的值减去镜面分量后获得该像素的漫反射分量,对于高光像素其镜面分量占据像素值中较大的一部分,所以在去除镜面分量后可能获得的漫反射分量很小,导致该高光区域去除高光后变成黑色区域,需要对这类情况进行图像修复;进行图像修复时,根据图像的纹理信息对高光去除后的图像进行修复,以此还原去除高光的真实场景。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010532218.7A CN111652823A (zh) | 2020-06-12 | 2020-06-12 | 一种基于颜色信息的结构光测量高反射率物体的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010532218.7A CN111652823A (zh) | 2020-06-12 | 2020-06-12 | 一种基于颜色信息的结构光测量高反射率物体的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111652823A true CN111652823A (zh) | 2020-09-11 |
Family
ID=72349068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010532218.7A Pending CN111652823A (zh) | 2020-06-12 | 2020-06-12 | 一种基于颜色信息的结构光测量高反射率物体的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111652823A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112419185A (zh) * | 2020-11-20 | 2021-02-26 | 湖北工业大学 | 基于光场迭代的精确高反光去除方法 |
CN112785491A (zh) * | 2021-01-20 | 2021-05-11 | 北京航空航天大学 | 一种基于偏振指导的图像高光反射分离计算方法 |
-
2020
- 2020-06-12 CN CN202010532218.7A patent/CN111652823A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112419185A (zh) * | 2020-11-20 | 2021-02-26 | 湖北工业大学 | 基于光场迭代的精确高反光去除方法 |
CN112785491A (zh) * | 2021-01-20 | 2021-05-11 | 北京航空航天大学 | 一种基于偏振指导的图像高光反射分离计算方法 |
CN112785491B (zh) * | 2021-01-20 | 2022-10-04 | 北京航空航天大学 | 一种基于偏振指导的图像高光反射分离计算方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10699476B2 (en) | Generating a merged, fused three-dimensional point cloud based on captured images of a scene | |
CN109410207B (zh) | 一种基于ncc特征的无人机巡线图像输电线路检测方法 | |
CN108369650B (zh) | 标识校准图案的可能特征点的方法 | |
US10713780B2 (en) | Color quality assessment based on multispectral imaging | |
US7218795B2 (en) | Assisted scratch removal | |
CN110866924A (zh) | 一种线结构光中心线提取方法及存储介质 | |
KR20070008652A (ko) | 촬영된 이미지로부터 원 데이터를 추출하는 방법 | |
CN113096057B (zh) | 一种基于四光源光度立体法的高光消除方法 | |
CN111652823A (zh) | 一种基于颜色信息的结构光测量高反射率物体的方法 | |
Koninckx et al. | Scene-adapted structured light | |
JP6823486B2 (ja) | ひび割れ検出方法 | |
JP2005037378A (ja) | 奥行計測方法と奥行計測装置 | |
JP2024507089A (ja) | 画像のコレスポンデンス分析装置およびその分析方法 | |
CN106952262B (zh) | 一种基于立体视觉的船板加工精度分析方法 | |
WO2018196018A1 (en) | Kernel approximation on fractional differential operator for edge detection | |
CN112629409A (zh) | 一种线结构光条纹中心提取方法 | |
CN113506348A (zh) | 一种基于格雷码辅助的三维坐标计算方法 | |
CN114252449A (zh) | 一种基于线结构光的铝合金焊缝表面质量检测系统及方法 | |
Anoopa et al. | Shadow detection and removal using tri-class based thresholding and shadow matting technique | |
US9230337B2 (en) | Analysis of the digital image of the internal surface of a tyre and processing of false measurement points | |
CN107223266B (zh) | 用于边缘检测的分数阶微分算子的核近似 | |
TWI479455B (zh) | 全對焦影像之建立方法 | |
KR102141352B1 (ko) | 영상 처리 기법을 이용한 콘크리트 구조물 균열 폭 평가 방법 | |
KR20220154345A (ko) | 가우시안 가중치 최소 자승법을 이용하는 영상 처리 장치 및 그것의 윤곽선 검출 방법 | |
JP7228341B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |