CN117058182A - 一种用于视觉测距的目标检测边框优化方法 - Google Patents
一种用于视觉测距的目标检测边框优化方法 Download PDFInfo
- Publication number
- CN117058182A CN117058182A CN202310909791.9A CN202310909791A CN117058182A CN 117058182 A CN117058182 A CN 117058182A CN 202310909791 A CN202310909791 A CN 202310909791A CN 117058182 A CN117058182 A CN 117058182A
- Authority
- CN
- China
- Prior art keywords
- target
- target detection
- image
- detection frame
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000000007 visual effect Effects 0.000 title claims abstract description 21
- 238000005457 optimization Methods 0.000 title claims abstract description 17
- 230000011218 segmentation Effects 0.000 claims abstract description 35
- 230000002452 interceptive effect Effects 0.000 claims abstract description 10
- 238000012805 post-processing Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Abstract
本发明公开了一种用于视觉测距的目标检测边框优化方法，包括：通过检测模型对图像进行目标检测，得到检测边框信息；对原始图像进行预处理；将预处理后的图像和目标检测边框作为GrabCut算法的输入参数，实现非交互式的前景分割，获取到前景目标；对前景分割后的结果进行后处理；根据后处理后的图像，提取优化后的目标轮廓，并且以目标检测边框为边界对目标轮廓进行行像素扫描和列像素扫描，根据行列索引获得优化后的目标检测边框。本发明可以减小阴影和反光对复杂背景下目标分割的影响，得到完整的目标轮廓，并且可以对无遮挡多目标检测边框逐一优化，提高目标与检测边框的贴合程度。
Description
技术领域
本发明属于图像处理领域，涉及视觉测距技术，具体涉及一种用于视觉测距的目标检测边框优化方法。
背景技术
视觉测距是计算机视觉领域的研究热点，具有重要的地位。它广泛地应用于视觉导引、视觉定位、交通安全、视觉避障等研究领域。基于机器视觉的测距方法主要有两种：双目视觉测距和单目视觉测距。
近年来，深度学习在计算机视觉和图像处理领域的逐步应用取得了很大的突破。诸如目标检测、识别和图像语义分割等应用都得到了改进。以YOLO、SSD、R-CNN、FPN等为代表的目标检测算法在检测精度、检测速度、鲁棒性上都远远超过了传统的目标检测。因此，国内外不少学者将基于深度学习的目标检测算法与视觉测距方法结合用于目标测距。
将深度学习目标检测算法与视觉测距结合可以更快、更精确地对目标进行距离测量。但是现有的方法中，都未曾考虑由于光照不均、目标边界模糊等原因，引起目标检测边框与目标不贴合的情况，这将会对测距产生很大的影响，导致错误的测距结果。
发明内容
发明目的：为了克服现有技术中存在的由于光照不均、目标边界模糊等原因，引起目标检测边框与目标不贴合的问题，提供一种用于视觉测距的目标检测边框优化方法，可以减小阴影和反光对复杂背景下目标分割的影响，得到完整的目标轮廓，并且可以对无遮挡多目标检测边框逐一优化，提高目标与检测边框的贴合程度。
技术方案：为实现上述目的，本发明提供一种用于视觉测距的目标检测边框优化方法，包括如下步骤：
S1：通过检测模型对图像进行目标检测，得到检测边框信息(x,y,w,h)；
S2：对原始图像进行预处理；
S3：将步骤S2预处理后的图像和步骤S1获得的目标检测边框作为GrabCut算法的输入参数，实现非交互式的前景分割，获取到前景目标；
S4：对前景分割后的结果进行后处理；
S5：根据后处理后的图像，提取优化后的目标轮廓，并且以目标检测边框为边界对目标轮廓进行像素扫描，获得优化后的目标检测边框。
进一步地，所述步骤S2中预处理的具体操作流程为：将原始图像由RGB图像变换为HSV图像，再将HSV图像拆分成分别为H-色度、S-饱和度、V-亮度的单通道图像，然后对饱和度分量S和亮度分量V进行CLAHE处理(对比度受限的自适应直方图均衡)，将处理后的3个单通道图像合并为HSV图像，并转化为RGB图像。通过此步骤来降低阴影、反光和边界模糊等原因对目标分割的影响，具体包括：(1)通过对饱和度通道的CLAHE处理，可增强图像的细节特征，减小边界模糊对分割的影响；(2)通过对亮度通道的CLAHE处理，可以改善图像中较亮和较暗的地方，减小反光和阴影对分割的影响。
进一步地，所述步骤S3中非交互式的GrabCut算法前景分割的具体过程为：通过目标检测获取图像的边框信息，以检测边框的区域作为可能的前景区域和可能的背景区域，边框区域以外的为确定的背景区域，然后通过cv2.grabCut()函数对步骤S2的预处理图像进行自动前景分割。该方法避免了传统交互式的GrabCut算法前景分割中，使用cv2.grabCut()函数需要手动设定前景区域的步骤，提高了前景分割效率。
进一步地，所述步骤S4中后处理包括灰度化、自适应二值化、形态学优化，其中二值化阈值根据前景分割后设定的背景像素值而定。
进一步地，所述步骤S4中自适应二值化处理时，通过前景分割后设定的背景像素值，可以自动调整阈值实现二值化处理，若背景像素值为0，做阈值为0的反二值化处理；若背景像素值为255，做阈值为254的二值化处理。
进一步地，所述步骤S5中以目标检测边框为边界对目标轮廓进行行像素扫描和列像素扫描，根据行列索引获得优化后的目标检测边框。
有益效果：本发明与现有技术相比，具备如下优点：
1、本发明中在做前景目标分割时，由于光线引起的阴影和反光会影响分割效果，通过对饱和度分量和亮度分量做CLAHE处理(对比度受限的自适应直方图均衡)，可以减小阴影、反光和边界模糊等原因对目标分割的影响；
2、本发明中改进了GrabCut算法中需要手动指定前景区域的步骤，以目标检测的边框信息作为GrabCut算法输入参数，可实现非交互式的前景分割；
3、针对由于背景信息的干扰，使用传统的边缘检测算法很难在复杂背景下得到的完整的目标轮廓，本发明通过对GrabCut前景分割及后处理的方式，可以避免背景因素地干扰，通过cv2.findContours()函数获得更好的目标边缘轮廓；
4、本发明中通过对目标轮廓进行行像素扫描和列像素扫描，可以准确地得到优化后的目标检测边框；
5、针对目标检测过程中由于环境因素、边界模糊等各种因素，可能会出现目标检测边框不贴近目标的情况，通过本发明方法用于目标检测的边框优化，可以尽可能减小环境因素、边界模糊等原因的影响，提高检测框与目标的贴合程度，有利于提升视觉测距结果的准确度。
附图说明
图1为本发明的工作流程图；
图2为原始图像和预处理后的图像对比图；
图3为没有预处理的目标区域和有预处理的目标区域对比图；
图4为本发明方法提取目标轮廓和传统方法提取的轮廓对比图；
图5为边框优化前后的目标检测图像对比图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，本发明提供一种用于视觉测距的目标检测边框优化方法，包括如下步骤：
S1：通过检测模型对图像进行目标检测，得到检测边框信息(x,y,w,h)；
S2：对原始图像进行预处理，具体操作流程为：将原始图像由RGB图像变换为HSV图像，再将HSV图像拆分成分别为H-色度、S-饱和度、V-亮度的单通道图像，然后对饱和度分量S和亮度分量V进行CLAHE处理(对比度受限的自适应直方图均衡)，将处理后的3个单通道图像合并为HSV图像，并转化为RGB图像；
通过此步骤来降低阴影、反光和边界模糊等原因对目标分割的影响，具体包括：(1)通过对饱和度通道的CLAHE处理，可增强图像的细节特征，减小边界模糊对分割的影响；(2)通过对亮度通道的CLAHE处理，可以改善图像中较亮和较暗的地方，减小反光和阴影对分割的影响。
S3：将步骤S2预处理后的RGB图像和步骤S1获得的目标检测边框(x,y,w,h)作为GrabCut算法的输入参数，实现非交互式的前景分割，提取到前景目标(前景区域包括目标区域和目标区域外的多余信息)；
非交互式的GrabCut算法前景分割的具体过程为：通过目标检测获取图像的边框信息，以检测边框的区域作为可能的前景区域和可能的背景区域，边框区域以外的为确定的背景区域，然后通过cv2.grabCut()函数对步骤S2的预处理图像进行自动前景分割。
S4：对前景分割后的结果进行后处理，包括灰度化、自适应二值化、形态学优化，其中二值化阈值根据前景分割后设定的背景像素值而定；
本实施例中二值化阈值根据前景分割后设定的背景像素值255自动设置为254，即小于等于254的像素值即前景区域设置为0，大于254的像素值即背景区域设置为255；
S5：根据后处理后的图像，提取优化后的目标轮廓，并且以目标检测边框为边界对目标轮廓进行行像素扫描和列像素扫描，根据行列索引获得优化后的目标检测边框。
为了验证上述本发明方案的有效性，本实施例中将上述方案进行实例应用，具体如下：
图2中(a)为步骤S2通道拆分后的原饱和度通道图像，(b)为步骤S2经过CLAHE处理后的饱和度通道图像；(c)为步骤S2通道拆分后的原亮度通道图像，(d)为步骤S2经过CLAHE处理后的亮度通道图像；(e)为本实施例所需检测的原RGB图，(f)为经过步骤S2预处理后的RGB图像；
根据图2中(f)获得的目标区域如图3中的(b)所示，而没有经过预处理获得的目标区域如图3中的(a)所示，可以看出，经过预处理后获得的目标区域更加贴近于原图像。
本实施例中经过步骤S5获得的目标轮廓如图4中的(d)所示，而采用Sobel、Scharr和Canny方法获得的目标轮廓分别如图4中的(a)、(b)和(c)所示，从图4中可以看出，本发明方法获得的目标轮廓要明显更加贴近于目标图像。
本实施例中采用本发明方法最终获得的边框优化后的目标检测图像如图5中的(b)所示，而没有采用本发明边框优化的目标检测图像如图5中的(a)所示，可以看出图5中的(b)的边框与(a)相比，要明显更好的贴合目标图像。
本发明目的是为了提高目标检测边框与目标的贴合度，进而获取准确的测距结果。为了验证边框优化方法对测距的影响，本实施例中采用一种相似三角形测距方法进行实验验证，测量距离d＝(f*cos(α)*W)/w，其中f为焦距，α为相机的俯仰角，W为小车实际宽度，w为小车像素宽度。边框优化前后的测距结果如表1所示，从表1数据可见，采用本发明优化方法后的测距精度要明细高于未采用本发明优化方法，通过数据对比验证了本发明方法的可行性以及实际效果。
表1边框优化前后的测距对比
Claims (10)
1.一种用于视觉测距的目标检测边框优化方法，其特征在于，包括如下步骤：
S1：通过检测模型对图像进行目标检测，得到检测边框信息；
S2：对原始图像进行预处理；
S3：将步骤S2预处理后的图像和步骤S1获得的目标检测边框作为GrabCut算法的输入参数，实现非交互式的前景分割，获取到前景目标；
S4：对前景分割后的结果进行后处理；
S5：根据后处理后的图像，提取优化后的目标轮廓，并且以目标检测边框为边界对目标轮廓进行像素扫描，获得优化后的目标检测边框。
2.根据权利要求1所述的一种用于视觉测距的目标检测边框优化方法，其特征在于，所述步骤S2中预处理的具体操作流程为：将原始图像由RGB图像变换为HSV图像，再将HSV图像拆分成分别为H-色度、S-饱和度、V-亮度的单通道图像，然后对饱和度分量S和亮度分量V进行CLAHE处理，将处理后的3个单通道图像合并为HSV图像，并转化为RGB图像。
3.根据权利要求1所述的一种用于视觉测距的目标检测边框优化方法，其特征在于，所述步骤S3中非交互式的GrabCut算法前景分割的具体过程为：通过目标检测获取图像的边框信息，以检测边框的区域作为可能的前景区域和可能的背景区域，边框区域以外的为确定的背景区域，然后对步骤S2的预处理图像进行自动前景分割。
4.根据权利要求3所述的一种用于视觉测距的目标检测边框优化方法，其特征在于，所述步骤S3的非交互式的GrabCut算法前景分割中，通过cv2.grabCut()函数对步骤S2的预处理图像进行自动前景分割。
5.根据权利要求1所述的一种用于视觉测距的目标检测边框优化方法，其特征在于，所述步骤S4中后处理包括灰度化、自适应二值化、形态学优化，其中二值化阈值根据前景分割后设定的背景像素值而定。
6.根据权利要求5所述的一种用于视觉测距的目标检测边框优化方法，其特征在于，所述步骤S4中自适应二值化处理时，通过前景分割后设定的背景像素值，可以自动调整阈值实现二值化处理。
7.根据权利要求2所述的一种用于视觉测距的目标检测边框优化方法，其特征在于，所述步骤S2中CLAHE处理为对比度受限的自适应直方图均衡处理。
8.根据权利要求6所述的一种用于视觉测距的目标检测边框优化方法，其特征在于，所述步骤S4中自适应二值化处理中，若背景像素值为0，做阈值为0的反二值化处理；若背景像素值为255，做阈值为254的二值化处理。
9.根据权利要求1所述的一种用于视觉测距的目标检测边框优化方法，其特征在于，所述步骤S5中以目标检测边框为边界对目标轮廓进行行像素扫描和列像素扫描。
10.根据权利要求9所述的一种用于视觉测距的目标检测边框优化方法，其特征在于，所述步骤S5中根据行列索引获得优化后的目标检测边框。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310909791.9A CN117058182A (zh) | 2023-07-21 | 2023-07-21 | 一种用于视觉测距的目标检测边框优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310909791.9A CN117058182A (zh) | 2023-07-21 | 2023-07-21 | 一种用于视觉测距的目标检测边框优化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117058182A true CN117058182A (zh) | 2023-11-14 |
Family
ID=88661662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310909791.9A Pending CN117058182A (zh) | 2023-07-21 | 2023-07-21 | 一种用于视觉测距的目标检测边框优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117058182A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117746027A (zh) * | 2024-02-07 | 2024-03-22 | 深圳新视智科技术有限公司 | 隔膜检测中的寻边方法、装置及设备 |
-
2023
- 2023-07-21 CN CN202310909791.9A patent/CN117058182A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117746027A (zh) * | 2024-02-07 | 2024-03-22 | 深圳新视智科技术有限公司 | 隔膜检测中的寻边方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104751142B (zh) | 一种基于笔划特征的自然场景文本检测方法 | |
| CN111415363B (zh) | 一种图像边缘识别方法 | |
| CN105374015A (zh) | 基于局部对比度和笔画宽度估计的低质量文档图像二值化方法 | |
| CN108133216B (zh) | 基于机器视觉的可实现小数点读取的数码管读数识别方法 | |
| CN107766854B (zh) | 一种基于模板匹配实现快速页码识别的方法 | |
| CN109472788B (zh) | 一种飞机铆钉表面的伤痕检测方法 | |
| CN110309806B (zh) | 一种基于视频图像处理的手势识别系统及其方法 | |
| CN105447489B (zh) | 一种图片ocr识别系统的字符与背景粘连噪声消除方法 | |
| CN109543686B (zh) | 基于自适应多阈值的字符识别预处理二值化方法 | |
| CN117058182A (zh) | 一种用于视觉测距的目标检测边框优化方法 | |
| CN101315664A (zh) | 用于文字识别的文本图像预处理方法 | |
| CN108898132A (zh) | 一种基于形状上下文描述的太赫兹图像危险品识别方法 | |
| CN106778752A (zh) | 一种文字识别方法 | |
| CN108205678B (zh) | 一种含有亮斑干扰的铭牌文字识别处理方法 | |
| CN110930358B (zh) | 一种基于自适应算法的太阳能面板图像处理方法 | |
| CN106127765A (zh) | 基于自适应窗口和平滑阈值法的图像二值化系统 | |
| Wang et al. | Lane detection algorithm based on density clustering and RANSAC | |
| Tabatabaei et al. | A novel method for binarization of badly illuminated document images | |
| CN111738264A (zh) | 一种机房设备显示面板数据的智能采集方法 | |
| CN114758139B (zh) | 基坑积水检测方法 | |
| CN101702238A (zh) | 基于浮雕图像的运动分割方法 | |
| CN114267035A (zh) | 一种文档图像处理方法、系统、电子设备及可读介质 | |
| KR100893086B1 (ko) | 조명 변화에 강인한 얼굴 검출 방법 | |
| Rui | Lane line detection technology based on machine vision | |
| CN112258548B (zh) | 基于改进ViBe算法的运动目标提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |