CN113689400A - 一种深度图像截面轮廓边沿的检测方法及装置 - Google Patents
一种深度图像截面轮廓边沿的检测方法及装置 Download PDFInfo
- Publication number
- CN113689400A CN113689400A CN202110973171.2A CN202110973171A CN113689400A CN 113689400 A CN113689400 A CN 113689400A CN 202110973171 A CN202110973171 A CN 202110973171A CN 113689400 A CN113689400 A CN 113689400A
- Authority
- CN
- China
- Prior art keywords
- edge
- edge point
- point
- value
- depth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004364 calculation method Methods 0.000 claims abstract description 38
- 238000011156 evaluation Methods 0.000 claims abstract description 34
- 238000001914 filtration Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 230000005764 inhibitory process Effects 0.000 claims abstract description 6
- 230000000630 rising effect Effects 0.000 claims description 12
- 230000001629 suppression Effects 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 description 16
- 238000005259 measurement Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000000717 retained effect Effects 0.000 description 6
- 238000002366 time-of-flight method Methods 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000001559 infrared map Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000003079 width control Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
- G01B11/0608—Height gauges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Abstract
本发明公开了一种深度图像截面轮廓边沿的检测方法及装置,主要包括采集物体深度图像,获取所述物体深度图像的截面轮廓并检测截面轮廓边沿;分析截面轮廓无效值两端数据,对截面轮廓数据进行拟合,插值填补无效值位置数据;设计窗口尺寸可变的滤波器进行截面轮廓边沿点梯度计算;非极值抑制精确定位所有边沿点位置,获取所有边沿点组成边沿点序列;设定高度阈值条件对所述边沿点序列进行边沿点过滤;边沿点得分评价,获取满足高度阈值条件的最佳边沿点。设计不同类型的评价准则对边沿点序列进行评分筛选,将每个边沿点按其得分进行排序取得分最高的边沿点作为最佳边沿特征点输出,同时可实现多种应用场景下的轮廓边沿特征点快速高精度检测。
Description
技术领域
本发明涉及视觉测量领域,尤其涉及一种深度图像截面轮廓边沿的检测方法及装置。
背景技术
在视觉测量领域,对深度图像的截面轮廓进行测量分析是一项常用手段。轮廓边沿检测主要是针对有上升或下降趋势的轮廓进行梯度计算和边沿特征点检测,轮廓边沿和边沿特征点可用于截面轮廓的高度差或尺寸测量。
目前,轮廓边沿特征点主要是通过检测轮廓拐点,定位到上升或下降沿,然后将上升或下降沿中轮廓数据二阶微分为零的点作为边沿特征点,计算过程较为复杂且无法满足轮廓边沿宽度变化及其它多种应用场景。
针对这一现状,提出一种深度图像截面轮廓边沿的检测方法及装置,可实现多种应用场景下的轮廓边沿特征点快速高精度检测。
发明内容
本申请提供了一种深度图像截面轮廓边沿的检测方法及装置,以解决现有技术中计算过程较为复杂且无法满足轮廓边沿宽度变化及其它多种应用场景的问题。
本申请提供了一种深度图像截面轮廓边沿的检测方法,包括,采集物体深度图像,获取截面轮廓并检测截面轮廓边沿;分析截面轮廓无效值两端数据,对截面轮廓数据进行拟合,插值填补无效值位置数据;设计窗口尺寸可变的滤波器进行截面轮廓边沿点梯度计算;非极值抑制精确定位所有边沿点位置,获取所有边沿点组成边沿点序列;设定高度阈值条件对所述边沿点序列进行边沿点过滤;边沿点得分评价,获取满足高度阈值条件的最佳边沿点;
在一些实施例中,所述截面轮廓边沿具体分为上升沿和下降沿;
在一些实施例中,所述轮廓无效值填充根据不同场景使用线性或非线性方法对所述轮廓数据进行拟合;
在一些实施例中,所述截面轮廓边沿点梯度计算具体为:
设计窗口尺寸可变的滤波器对每个所述截面轮廓边沿点进行高斯负一阶导数滤波,计算每个所述截面轮廓边沿点位置梯度,并通过非极值抑制保留响应最强的波峰或波谷位置的轮廓点作为候选边沿点;
在一些实施例中,所述边沿点得分评价具体为:
依据不同评价准则对所有所述候选边沿点进行评分,按照评分从大到小排序,选取得分最高的边沿点作为最佳边沿点;
在一些实施例中,所述最佳边沿点的个数取决于实际应用场景的具体需求;
在一些实施例中,所述评价准则具体包括强度准则、位置准则和期望高度准则;
在一些实施例中,所述强度准则对应梯度值的绝对值,所述位置准则对应边沿点位置,所述期望高度准则对应设定高度区间;
在一些实施例中,通过所述截面轮廓边沿点梯度计算与所述非极值抑制进行边沿点定位时,可以同时检测两条边沿,并增加双边沿宽度评价准则;
本申请提供了一种深度图像截面轮廓边沿的检测装置,包括:采集单元,被配置为采集物体深度图像,获取截面轮廓并检测截面轮廓边沿;分析单元,被配置为分析截面轮廓无效值两端数据,对截面轮廓数据进行拟合,插值填补无效值位置数据;检测单元,所述检测单元包括:计算模块,被配置为设计窗口尺寸可变的滤波器进行截面轮廓边沿点梯度计算;获取模块,被配置为非极值抑制精确定位所有边沿点位置,获取所有边沿点组成边沿点序列;过滤模块,被配置为设定高度阈值条件对所述边沿点序列进行边沿点过滤;评价模块,被配置为边沿点得分评价,获取满足高度阈值条件的最佳边沿点。
本申请提供的一种深度图像截面轮廓边沿的检测方法及装置,计算过程较为简单方便而且可以满足截面轮廓边沿宽度变化及其它多种应用场景,实现多种应用场景下的截面轮廓边沿特征点的快速高精度检测。首先,在计算边沿点梯度时,利用不同步长可以检测出不同宽度的边沿;其次,使用不同尺寸大小的窗口求轮廓点的高度均值,可以很好地提高抗干扰性;最后,利用不同评价准则可以筛选出不同场景下的最佳边沿点,提高适应性以覆盖多种不同应用场景。而整个检测方案虽然主要针对的是单个边沿检测,但是在进行梯度计算和非极值抑制时,还可以同时进行两个边沿点的同时定位,另外也可以增加双边沿宽度评价准则,对双边沿点进行评分,从而能够检测出满足宽度要求的一对边沿点,可以提高检测效率与方案的适用性。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图做简单地介绍,显而易见的,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一种深度图像截面轮廓边沿的检测方法的流程图;
图2为高斯负一阶导数滤波器对轮廓点高度值滤波后的图像;
图3为本申请一种深度图像截面轮廓边沿的检测方法的截面轮廓示例图;
图4为本申请一种深度图像截面轮廓边沿的检测装置的结构示意图。
具体实施方式
下面将详细地对实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权力要求书中所详述的,本申请的一些方面相一致的系统和方法的示例。
参见图1,为本申请一种深度图像截面轮廓边沿的检测方法的流程图;
由图1可知,本申请提供了一种深度图像截面轮廓边沿的检测方法,包括S1,采集物体深度图像,获取截面轮廓并检测截面轮廓边沿;在本实施例中主要针对的是深度图像的截面轮廓边沿检测方法,深度图像与普通的二维灰度图像类似,深度图像中每个点的像素值代表了该点到相机的距离,即深度。所谓边沿是指一个区域的终止和另一个区域的开始。为检测截面轮廓边沿,首先深度相机采集物体的深度图像,其次计算机设备完成截面轮廓的获取和截面轮廓边沿的检测;S2,分析截面轮廓无效值两端数据,对截面轮廓数据进行拟合,插值填补无效值位置数据;在采集物体的深度图像时,有时会由于物体遮挡等原因得不到完整理想的物体的截面轮廓边沿,造成数据的缺失,此时的梯度计算就会失败,无法获得有效的梯度值,从而也就无法获取期望的边沿点,这时候就会因为数据缺失形成无效值。从而,在轮廓梯度计算之前要先进行无效值填充,通过分析截面轮廓的无效值两端数据,根据不同场景采用对应方法对截面轮廓数据进行拟合,对无效值位置的数据进行插值填补,最后获得完整的截面轮廓边沿点;S3,设计窗口尺寸可变的滤波器进行截面轮廓边沿点梯度计算;通过设计高斯负一阶导数滤波器对每个轮廓点的高度值进行滤波,滤波后的结果即为每个边沿点的梯度;S4,非极值抑制精确定位所有边沿点位置,获取所有边沿点组成边沿点序列;在获取的滤波结果上,通过比较每个值的前一个位置与后一个的值,当该值大于前一个值且大于后一个值,或者该值小于前一个值且小于后一个值,即认为该值为极值,此时保留该值,也就是只保留滤波后图像中的波峰和波谷位置的值,该值对应轮廓图像的位置即为边沿点位置;S5,设定高度阈值条件对所述边沿点序列进行边沿点过滤;S6,边沿点得分评价,获取满足高度阈值条件的最佳边沿点;在本实施例中,轮廓梯度计算之前先进行无效值填充,然后根据窗口大小可变的滤波器,分别计算每个边沿点梯度。通过非极值抑制和高度阈值进行边沿点过滤,精确定位波峰及波谷的位置,根据高度阈值筛选满足阈值条件的边沿点,将其作为边沿特征点组成边沿序列。对边沿点过滤的方法是设定一个高度阈值Ht,若边沿点的高度值为H,当|H|>Ht时即代表该边沿点的高度值满足阈值条件,保留该边沿点,若不满足则剔除该边沿点。
边沿得分评价根据不同评价准则对每个边沿点进行评分并按得分对其从大到小排序。得分最高的边沿点即为最佳边沿点,具体的,通过梯度计算和非极值抑制即可初步获取所有的边沿点,而边沿点过滤和边沿点得分评价是为了进一步获取满足高度阈值条件的最佳边沿点。
上述步骤S1中,所述截面轮廓边沿具体分为上升沿和下降沿;在本实施例中主要针对上升沿和下降沿两种轮廓边沿特征,图3为截面轮廓示例,如图3所示,从点1到点3,轮廓的高度值呈上升趋势,则点1-3这段轮廓为上升沿,点5为上升边沿特征点,定义为上升沿的中点(中间)位置。从点2到点4,呈下降趋势,则点2-4这段轮廓为下降沿,点6为下降边沿特征点,同样定义为下降沿的中点(中间)位置。S2中所述轮廓无效值填充根据不同场景使用线性或非线性方法对所述轮廓数据进行拟合;当由于物体遮挡等原因造成数据缺失会形成无效值,此时在无效值处梯度计算失败,无法获取期望的边沿点,通过分析轮廓无效值两端数据,当轮廓类似一个抛物线,则可以用轮廓数据进行非线性方法拟合,取无效值位置的非线性函数值来进行填充。类似的当无效值附近的轮廓类似一条直线则可用线性方法来拟合直线,进行无效值填充。分析无效值两端数据的方法即通过观察无效值附近的轮廓形状为直线型或非直线型,来决定使用线性填充或非线性填充。无效值最后填充的数据即为拟合的函数在该位置上的函数值。
上述步骤S3中,所述截面轮廓边沿点梯度计算具体为:
设计窗口尺寸可变的滤波器对每个所述截面轮廓边沿点进行高斯负一阶导数滤波,计算每个所述截面轮廓边沿点位置梯度,并通过非极值抑制保留响应最强的波峰或波谷位置的轮廓点作为候选边沿点;具体的,滤波器设计方法:一维零均值高斯函数的数学表示为:
其中σ为高斯函数的宽度控制参数,滤波器的系数取其负一阶导数:
F(i)=f(i)/a,i=-Wh,-Wh+1,...,Wh;
进一步的,通过设计高斯负一阶导数滤波器对每个轮廓点的高度值进行滤波,如图2所示,滤波后图像结果即为每个边沿点梯度,非极值抑制就是在滤波后的图像上,比较每个值的前一个位置与后一个的值,当该值大于前一个值且大于后一个值或小于前一个值且小于后一个值即认为该值为极值,保留该值,即只保留滤波后图像中的波峰和波谷位置的值,该值对应轮廓图像的位置即为边沿点位置,边沿点高度值为参与滤波计算的轮廓点的均值。
S6中所述边沿点得分评价具体为:
依据不同评价准则对所有所述候选边沿点进行评分,按照评分从大到小排序,选取得分最高的边沿点作为最佳边沿点;所述最佳边沿点的个数取决于实际应用场景的具体需求;当测量尺寸过程中需要两个边沿特征点,即输出得分最高的前两个边沿特征点,需要三个即输出得分最高的前三个边沿特征点。滤波器的移动距离也可称之为步长,若步长为N,最佳边沿点的位置为x,则轮廓边沿的位置为步长为滤波器的移动距离,若当前滤波器的中心位置为x1,步长为N,则下一次滤波时,滤波器中心位置为x1+N。步长越大,获得的滤波结果越平滑,当轮廓边沿宽度较大时可使用大步长来准确定位较宽的边沿,即待检测边沿宽度小则使用小步长,边沿宽度大则使用大步长。
所述评价准则具体包括强度准则、位置准则和期望高度准则;所述强度准则对应梯度值的绝对值,所述位置准则对应边沿点位置,所述期望高度准则对应设定高度区间;其中,强度准则是梯度值的绝对值越高的边沿点分数越高,位置准则包括两种,边沿点位置越靠前分数越高和边沿点位置越靠后分数越高,期望高度准则定义一个高度区间,边沿点所在两侧的高度值越接近该高度区间分数越高,具体的,取边沿点1,2,3,它们的梯度分别为g1,g2,g3,位置分别为p1,p2,p3,边沿两侧高度即为边沿的起始位置的轮廓点高度值和边沿结束位置的轮廓点高度值,分别为hL1和hH1、hL2和hH2、hL3和hH3。若|g1|>|g2|>|g3|,p1<p2<p3,则使用强度准则评价时,边沿点1得分最高,3得分最低;使用位置准则评价时,若需要检测靠后位置边沿点,则边沿点3得分最高,1得分最低;若需要检测靠前位置边沿点,则边沿点1得分最高,3得分最低;使用期望高度评价时,定义的高度区间为[hL2,hH2],则边沿点2得分最高。
本申请还提供了一种深度图像截面轮廓边沿的检测装置,参见图4,为本申请一种深度图像截面轮廓边沿的检测装置的结构示意图。所述装置包括:采集单元01,被配置为采集物体深度图像,获取截面轮廓并检测截面轮廓边沿;采集单元01通过配置深度相机采集物体的深度图像,在进行物体尺寸测量时,首先要通过物体的深度图来获取截面轮廓。在计算机视觉系统中,三维场景信息为图像分割、目标检测、物体跟踪等各类计算机视觉应用提供了更多的可能性,而深度图像作为一种普遍的三维场景信息表达方式得到了广泛的应用。深度图像的每个像素点的灰度值可用于表征场景中某一点距离摄像机的远近。在本实施例中,主要通过深度相机采集物体的深度图像,深度相机又称之为3D相机,具体的,就是通过深度相机能检测出拍摄空间的景深距离,这也是与普通2D相机的最大的区别。普通的彩色相机拍摄到的图片能看到相机视角内的所有物体并记录下来,但是普通相机所记录的数据不包含这些物理距离相机的距离。仅仅能通过图像的语义分析来判断哪些物体距离我们比较远,哪些物体距离我们比较近,但是并没有确切的数据。在本实施例中,通过深度相机获取到的数据,可以准确得到图像中每个点离摄像头的距离,这样加上该点在2D图像中的(x,y)坐标,就能获得图像中每个点的三维空间坐标,通过三维坐标就能还原真实场景。
需要说明的是,深度相机采集深度图像的方案有三种:结构光、双目视觉和光飞行时间法(TOF)。具体的,结构光深度相机的基本原理是通过近红外激光器,将具有一定结构特征的光线投射到被拍摄物体上,再由专门的红外摄像头进行采集。这种具备一定结构的光线,会因被摄物体的不同深度区域,而采集不同的图像相位信息,然后通过运算单元将这种结构的变化换算成深度信息,以此来获得三维结构。再详细的,通过光学手段获取被拍摄物体的三维结构,再将获取到的信息进行更深入的应用。通常采用特定波长的不可见的红外激光作为光源,它发射出来的光经过一定的编码投影在物体上,通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。根据编码图案不同一般有条纹结构光、编码结构光和散斑结构光。而结构光和散斑首先具有方案成熟,相机基线可以做的比较小,方便小型化。其次,资源消耗较低,单帧IR图就可计算出深度图,功耗低。再者,主动光源,夜晚也可使用。最后,在一定范围内精度高,分辨率高,分辨率具体可达1280×1024,帧率可达60FPS等优点。但散斑结构光容易受环境光干扰,室外体验差,随着检测距离增加,精度也会变差。目前结构光技术有一种是单目IR+投影红外点阵,另一种是双目IR+投影红外点阵,这样就相当于结构光+双目立体融合了,深度测量效果会比前者好一些,不足之处就是体积较大。而单目IR+投影红外点阵的方案虽然体积较小,但是效果会差一点。
可选择的,双目立体视觉深度相机,他是基于视差原理并利用成像设备,从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。完整的双目深度计算较为复杂,主要涉及到左右相机的特征匹配,计算会非常消耗资源,但是双目相机的硬件要求低,成本也低。普通的CMOS相机即可。而且只要光线合适,不要太昏暗,室内外都适用。与此同时,相对应的双目相机对环境光照非常敏感,光线变化导致图像偏差大,进而会导致匹配失败或精度低。其次,不适用单调缺乏纹理的场景,双目视觉根据视觉特征进行图像匹配,没有特征会导致匹配失败。再者,双目相机是纯视觉的方法,对算法要求高,所以对应的计算量较大所以导致计算复杂度较高。而又因为双目相机的测量范围和基线(两个摄像头间距)成正比,导致无法小型化,从而基线限制了测量范围。
可选择的,光飞行时间深度相机是通过测量光飞行时间来取得距离,具体而言就是通过给目标连续发射激光脉冲,然后用传感器接收从反射光线通过探测光脉冲的飞行往返时间来得到确切的目标物距离。因为光速激光,通过直接测光飞行时间实际不可行,一般通过检测达到一定手段调制后的光波的相位偏移来实现。光飞行时间法根据调制方法不同,一般可以分为两种:脉冲调制(Pulsed Modulation)和连续波调制(Continuous WaveModulation)。脉冲调制需要非常高精度时钟进行测量,且需要发出高频高强度激光,目前大多采用检测相位偏移办法来实现测量光飞行时间功能。简单来说就是,发出一道经过处理的光,碰到物体以后会反射回来,捕捉来回的时间,因为已知光速和调制光的波长,所以能快速准确计算出到物体的距离。光飞行时间法在激光能量够的情况下可达几十米,因此检测距离较远。与此同时,光飞行时间法受环境光干扰比较小。不可避免的,光飞行时间法对设备的要求较高,特别是在时间测量方面。其次,光飞行时间方案在检测相位偏移时需要多次采样积分,运算量较大,相应的资源消耗就会大。再者,光飞行时间法的边缘精度低,而又由于光飞行时间法限于资源消耗和滤波,所以它的帧率和分辨率都没办法做到较高。
对比结构光深度相机与光飞行时间深度相机来看,结构光深度相机技术的功耗会更小一些,相对而言它的技术也会更加成熟一些,自然也就更适合一些静态场景。而测量光飞行时间方案在远距离下的噪声较低,与此同时会拥有更高的FPS(每秒传输帧数),因此更适合动态的场景。目前来看,结构光深度相机技术由于应用距离有一定的限制所以主要应用于解锁以及安全支付等领域。而光飞行时间技术主要应用于智能手机后置摄影,并在AR、VR等领域(包括3D拍照、体感游戏等)有一定的作用。不难发现,3D结构光和光飞行时间两种方案各有优劣势。结构光深度相机最大的优势是相对比其他深度相机而言,它的发展是目前来看最为成熟的,而且它的成本较之其他方案也比较低。劣势是只适用于中短距离领域使用。而光飞行时间技术它的抗干扰性能较为突出,视角较宽,自然而然的它的功耗就会增高,造价贵,精度以及深度图分辨率较低。两种技术各有侧重点和适配使用的领域场景。
显而易见的,从精度、分辨率还有应用场景的范围来看,双目深度相机和光飞行深度相机都没有办法做到最大的平衡。而且对于结构光深度相机较容易受环境光的干扰,特别是受到太阳光的影响问题,由于结构光深度相机设置有红外激光发射模块,非常容易改造为主动双目来弥补该问题,所以在非无人驾驶领域,结构光深度相机,特别是散斑结构光的用途范围最广泛。
在本实施例中,采集单元内配置的深度相机采集完成物体的深度图像后,紧接着通过配置的计算机设备获取物体的截面轮廓并完成截面轮廓边沿的检测。图像截面轮廓和边沿的提取是一个非常棘手的工作,细节很容易会被过强的线条掩盖,纹理也本身就是一种很微弱的边沿分布模式。深度图像截面轮廓边沿检测装置的获取单元在获取深度相机的深度图物体轮廓,首先需要对深度相机采集的物体深度图预处理得到灰度图,深度图转换为灰度图的目的是为了淡化背景,强化物体的轮廓信息。可选择的,转化方法一种是全局阈值法,另一种是局部阈值法。全局阈值法的背景淡化能力较局部阈值法要弱一些,但是抗干扰能力较强,局部阈值法与之相反,但是局部阈值法的抗干扰能力可以提高。紧接着将灰度图二值化,得到背景分离的二值图,目的是将背景分离,二值化的算法较多,可选择的有Wellner、大律法等算法,需要说明的是,其中物体和背景在二值化图中应该为互斥关系,即如果物体用1表示,则背景应该表示为0,反之亦然。然后,使用连通域对二值图中的物体进行标记,将物体的截面轮廓提取出来,物体的截面轮廓提取基于上述所说的二值图,可使用标记算法将物体标记出来。可选择的有四连通域或八连通域,优先选择八连通域标记,因为相比于四连通域标记,八连通域标记的算法较多,也比较成熟。
分析单元02,被配置为分析截面轮廓无效值两端数据,对截面轮廓数据进行拟合,插值填补无效值位置数据;在深度相机采集完成物体的深度图像后,通过计算机设备获取得到物体的截面轮廓,采集单元01提取完成物体图像截面轮廓边沿。此时,与采集单元01连接的分析单元02开始分析截面轮廓无效值两端数据,对截面轮廓数据进行拟合,插值填补无效值位置数据;需要说明的是当物体由于遮挡等原因造成数据缺失此时形成无效值,这时无效值处梯度计算失败,无法获取期望的边沿点。通过分析轮廓无效值两端数据,根据不同场景使用线性和非线性方法对轮廓数据进行拟合,对无效值位置数据进行插值填补。当轮廓数据由于遮挡等原因有无效值存在,而此时该轮廓类似一个抛物线,则可以用轮廓数据进行抛物线(非线性方法)拟合,取无效值位置的抛物线函数值来进行填充。类似的当无效值附近的轮廓类似一条直线则可用线性方法来拟合直线,来进行无效值填充。简单来说就是分析无效值两端数据的方法即通过观察无效值附近的轮廓形状为直线型或非直线型,来决定使用线性填充或非线性填充,需要注意的是,无效值最后填充的数据即为拟合的函数在该位置上的函数值。
检测单元03所述检测单元03包括:计算模块011,被配置为设计窗口尺寸可变的滤波器进行截面轮廓边沿点梯度计算;在计算轮廓边沿点梯度时,需遍历每个轮廓点,确定边沿的起始点与终止点。通过设计窗口尺寸可变的滤波器对每个轮廓点进行高斯负一阶导数滤波,计算每个轮廓点的位置梯度,滤波后的结果即为每个边沿点的梯度。
获取模块012,被配置为非极值抑制精确定位所有边沿点位置,获取所有边沿点组成边沿点序列;在计算模块011计算完成每个轮廓点的位置梯度后,获取模块在获取的滤波结果上,通过比较每个值的前一个位置与后一个的值,当该值大于前一个值且大于后一个值,或者该值小于前一个值且小于后一个值,即认为该值为极值,此时保留该值,也就是只保留滤波后图像中的波峰和波谷位置的值,该值对应轮廓图像的位置即为边沿点位置。
过滤模块013,被配置为设定高度阈值条件对所述边沿点序列进行边沿点过滤;在过滤模块013中通过设定一个高度阈值Ht,若边沿点的高度值为H,当|H|>Ht时即代表该边沿点的高度值满足阈值条件,保留该边沿点,若不满足则剔除该边沿点。
评价模块014,被配置为边沿点得分评价,获取满足高度阈值条件的最佳边沿点;最后,通过评价模块014对所有候选的边沿点依据不同评价准则进行评分,按照评分从大到小排序,选取得分最高的边沿点作为最佳边沿点。具体的,评价准则包括强度准则、位置准则和期望高度准则,分别从边沿点梯度、位置和边沿两侧高度对边沿点进行评分。其中,强度准则是梯度值的绝对值越高的边沿点分数越高,位置准则包括两种,边沿点位置越靠前分数越高和边沿点位置越靠后分数越高,期望高度准则定义一个高度区间,边沿点所在两侧的高度值越接近该高度区间分数越高。
在本实施例中,优选的通过轮廓边沿点梯度计算与非极值抑制进行边沿点定位时,可以同时检测两条边沿,并增加双边沿宽度评价准则,与前述评价准则相结合,可定位出最接近期望宽度的双边沿。具体的,在进行双边沿检测的情况下,在计算边沿点梯度时,利用不同步长可以检测出不同宽度的边沿;其次,使用不同尺寸大小的窗口求轮廓点的高度均值,可以很好地提高抗干扰性;最后,利用不同评价准则可以筛选出不同场景下的最佳边沿点,边沿点过滤和边沿点评价的目的是为了进一步获取满足高度阈值条件的最佳边沿点,从而提高适应性与覆盖多种不同应用场景。
在进行物体尺寸测量时,常用手段是通过物体的深度图像获取物体的截面轮廓,本申请主要针对上升沿和下降沿两种截面轮廓边沿特征,通过所述截面轮廓边沿点梯度计算与所述非极值抑制进行边沿点定位时,可以同时检测两条边沿,并增加双边沿宽度评价准则;与前述评价准则相结合,可定位出最接近期望宽度的双边沿,本申请整个检测方法主要针对单个边沿点检测,在进行梯度计算和非极值抑制时,可同时进行两个边沿点的同时定位,另外增加双边沿宽度评价准则,对双边沿点进行评分,从而能够检测出满足宽度要求的一对边沿点,提高检测效率。
本申请在计算边沿点梯度时,利用不同步长可以检测出不同宽度的边沿;其次,使用不同尺寸大小的窗口求轮廓的高度均值,可以很好地提高抗干扰性;最后,利用不同评价准则可以筛选出不同场景下的最佳边沿点,提高适应性与覆盖多种不同应用场景。而本申请整个检测方法虽然主要针对单个边沿点检测,但是在进行梯度计算和非极值抑制时,可以同时进行两个边沿点的同时定位,另外增加双边沿宽度评价准则,对双边沿点进行评分,从而能够检测出满足宽度要求的一对边沿点,可提高检测效率与方案适用性。
本申请提供的实施例之间的相似部分相互参见即可,以上提供的具体实施方式只是本申请总的构思下的几个示例,并不构成本申请保护范围的限定。对于本领域的技术人员而言,在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。
Claims (10)
1.一种深度图像截面轮廓边沿的检测方法,其特征在于,包括以下步骤:
采集物体深度图像,获取截面轮廓并检测截面轮廓边沿;
分析截面轮廓无效值两端数据,对截面轮廓数据进行拟合,插值填补无效值位置数据;
设计窗口尺寸可变的滤波器进行截面轮廓边沿点梯度计算;
非极值抑制精确定位所有边沿点位置,获取所有边沿点组成边沿点序列;
设定高度阈值条件对所述边沿点序列进行边沿点过滤;
边沿点得分评价,获取满足高度阈值条件的最佳边沿点。
2.根据权利要求1所述的一种深度图像截面轮廓边沿的检测方法,其特征在于,所述边沿点得分评价具体为:
依据不同评价准则对所有所述候选边沿点进行评分,按照评分从大到小排序,选取得分最高的边沿点作为最佳边沿点。
3.根据权利要求2所述的一种深度图像截面轮廓边沿的检测方法,其特征在于,所述评价准则具体包括强度准则、位置准则和期望高度准则。
4.根据权利要求3所述的一种深度图像截面轮廓边沿的检测方法,其特征在于,所述强度准则对应梯度值的绝对值,所述位置准则对应边沿点位置,所述期望高度准则对应设定高度区间。
5.根据权利要求1-4任一项所述的一种深度图像截面轮廓边沿的检测方法,其特征在于,所述截面轮廓边沿具体分为上升沿和下降沿。
6.根据权利要求1-4任一项所述的一种深度图像截面轮廓边沿的检测方法,其特征在于,对所述轮廓无效值填充根据不同场景使用线性或非线性方法对所述轮廓数据进行拟合。
7.根据权利要求1-4任一项所述的一种深度图像截面轮廓边沿的检测方法,其特征在于,所述截面轮廓边沿点梯度计算具体为:
设计窗口尺寸可变的滤波器对每个所述截面轮廓边沿点进行高斯负一阶导数滤波,计算每个所述截面轮廓边沿点位置梯度,并通过非极值抑制保留响应最强的波峰或波谷位置的轮廓点作为候选边沿点。
8.根据权利要求1-4任一项所述的一种深度图像截面轮廓边沿的检测方法,其特征在于,所述最佳边沿点的个数取决于实际应用场景的具体需求。
9.根据权利要求1所述的一种深度图像截面轮廓边沿的检测方法,其特征在于,通过所述截面轮廓边沿点梯度计算与所述非极值抑制进行边沿点定位时,可以同时检测两条边沿,并增加双边沿宽度评价准则。
10.一种深度图像截面轮廓边沿的检测装置,其特征在于,所述装置包括:
采集单元,被配置为采集物体深度图像,获取截面轮廓并检测截面轮廓边沿;
分析单元,被配置为分析截面轮廓无效值两端数据,对截面轮廓数据进行拟合,插值填补无效值位置数据;
检测单元,所述检测单元包括:
计算模块,被配置为设计窗口尺寸可变的滤波器进行截面轮廓边沿点梯度计算;
获取模块,被配置为非极值抑制精确定位所有边沿点位置,获取所有边沿点组成边沿点序列;
过滤模块,被配置为设定高度阈值条件对所述边沿点序列进行边沿点过滤;
评价模块,被配置为边沿点得分评价,获取满足高度阈值条件的最佳边沿点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110973171.2A CN113689400B (zh) | 2021-08-24 | 2021-08-24 | 一种深度图像截面轮廓边沿的检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110973171.2A CN113689400B (zh) | 2021-08-24 | 2021-08-24 | 一种深度图像截面轮廓边沿的检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113689400A true CN113689400A (zh) | 2021-11-23 |
CN113689400B CN113689400B (zh) | 2024-04-19 |
Family
ID=78582011
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110973171.2A Active CN113689400B (zh) | 2021-08-24 | 2021-08-24 | 一种深度图像截面轮廓边沿的检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113689400B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004107266A1 (en) * | 2003-05-29 | 2004-12-09 | Honda Motor Co., Ltd. | Visual tracking using depth data |
CN105809687A (zh) * | 2016-03-08 | 2016-07-27 | 清华大学 | 一种基于图像中边沿点信息的单目视觉测程方法 |
WO2017120897A1 (zh) * | 2016-01-15 | 2017-07-20 | 武汉武大卓越科技有限责任公司 | 基于线扫描三维点云的物体表面变形特征提取方法 |
CN107578418A (zh) * | 2017-09-08 | 2018-01-12 | 华中科技大学 | 一种融合色彩和深度信息的室内场景轮廓检测方法 |
CN108038887A (zh) * | 2017-12-11 | 2018-05-15 | 天津大学 | 基于双目rgb-d相机深度轮廓估计方法 |
CN109472822A (zh) * | 2018-12-29 | 2019-03-15 | 上海大学 | 基于深度图像处理的物体尺寸测量方法 |
CN111242000A (zh) * | 2020-01-09 | 2020-06-05 | 电子科技大学 | 一种结合激光点云转向的道路边沿检测方法 |
CN112037213A (zh) * | 2020-09-07 | 2020-12-04 | 深圳市凌云视迅科技有限责任公司 | 基于统计直方图的轮廓数据稳定特征点的获取方法及装置 |
-
2021
- 2021-08-24 CN CN202110973171.2A patent/CN113689400B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004107266A1 (en) * | 2003-05-29 | 2004-12-09 | Honda Motor Co., Ltd. | Visual tracking using depth data |
WO2017120897A1 (zh) * | 2016-01-15 | 2017-07-20 | 武汉武大卓越科技有限责任公司 | 基于线扫描三维点云的物体表面变形特征提取方法 |
CN105809687A (zh) * | 2016-03-08 | 2016-07-27 | 清华大学 | 一种基于图像中边沿点信息的单目视觉测程方法 |
CN107578418A (zh) * | 2017-09-08 | 2018-01-12 | 华中科技大学 | 一种融合色彩和深度信息的室内场景轮廓检测方法 |
CN108038887A (zh) * | 2017-12-11 | 2018-05-15 | 天津大学 | 基于双目rgb-d相机深度轮廓估计方法 |
CN109472822A (zh) * | 2018-12-29 | 2019-03-15 | 上海大学 | 基于深度图像处理的物体尺寸测量方法 |
CN111242000A (zh) * | 2020-01-09 | 2020-06-05 | 电子科技大学 | 一种结合激光点云转向的道路边沿检测方法 |
CN112037213A (zh) * | 2020-09-07 | 2020-12-04 | 深圳市凌云视迅科技有限责任公司 | 基于统计直方图的轮廓数据稳定特征点的获取方法及装置 |
Non-Patent Citations (1)
Title |
---|
操宣鹏;陈一民;: "基于轮廓的kinect深度图像的空洞填补", 计算机应用与软件, no. 05 * |
Also Published As
Publication number | Publication date |
---|---|
CN113689400B (zh) | 2024-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10818026B2 (en) | Systems and methods for hybrid depth regularization | |
Goesele et al. | Multi-view stereo revisited | |
CN110378931A (zh) | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 | |
Zhang et al. | Rapid shape acquisition using color structured light and multi-pass dynamic programming | |
Čech et al. | Scene flow estimation by growing correspondence seeds | |
US8326025B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
CN110455258B (zh) | 一种基于单目视觉的无人机离地高度测量方法 | |
US20050201612A1 (en) | Method and apparatus for detecting people using stereo camera | |
US20050243323A1 (en) | Method and apparatus for automatic registration and visualization of occluded targets using ladar data | |
Wei | Converting 2d to 3d: A survey | |
CN112991369A (zh) | 基于双目视觉的行驶车辆外廓尺寸检测方法 | |
US20220092804A1 (en) | Three-dimensional imaging and sensing using a dynamic vision sensor and pattern projection | |
Vianello et al. | Robust hough transform based 3d reconstruction from circular light fields | |
Garro et al. | A novel interpolation scheme for range data with side information | |
CN108510544A (zh) | 一种基于特征聚类的光条定位方法 | |
CN108010075A (zh) | 一种基于多特征联合的局部立体匹配方法 | |
Crabb et al. | Probabilistic phase unwrapping for single-frequency time-of-flight range cameras | |
Um et al. | Three-dimensional scene reconstruction using multiview images and depth camera | |
CN113689400B (zh) | 一种深度图像截面轮廓边沿的检测方法及装置 | |
CN115290004B (zh) | 一种基于压缩感知与hsi的水下并行单像素成像方法 | |
CN115690190B (zh) | 基于光流图像和小孔成像的运动目标检测与定位方法 | |
Forkel et al. | LiDAR-SGM: Semi-global matching on LiDAR point clouds and their cost-based fusion into stereo matching | |
CN112229381A (zh) | 一种利用臂长和摄像头的智能手机测距方法 | |
CN110942480A (zh) | 一种单目单帧多光谱三维成像方法 | |
Choi et al. | Discrete and continuous optimizations for depth image super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |