CN107578418B - 一种融合色彩和深度信息的室内场景轮廓检测方法 - Google Patents
一种融合色彩和深度信息的室内场景轮廓检测方法 Download PDFInfo
- Publication number
- CN107578418B CN107578418B CN201710807970.6A CN201710807970A CN107578418B CN 107578418 B CN107578418 B CN 107578418B CN 201710807970 A CN201710807970 A CN 201710807970A CN 107578418 B CN107578418 B CN 107578418B
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- gradient
- information
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000003708 edge detection Methods 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 14
- 230000002776 aggregation Effects 0.000 claims abstract description 10
- 238000004220 aggregation Methods 0.000 claims abstract description 10
- 239000010410 layer Substances 0.000 claims description 30
- 238000001914 filtration Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000002146 bilateral effect Effects 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 239000011229 interlayer Substances 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种融合色彩和深度信息的室内场景轮廓检测方法，属于机器视觉技术领域。本发明包括以下关键技术：1、分离彩色图像为R、G和B，在每个通道上利用图像边缘检测算子分别提取边缘信息，然后通过加权融合，得到彩色图像边缘检测的整体结果；2、利用深度图像提取边缘信息，修正仅根据彩色图像进行检测时，因丢失场景三维信息而导致的伪边缘，同时加强真实边缘检测结果的置信度；3、构建梯度金字塔，多尺度多层级融合彩色图像边缘和深度图像边缘，得到边缘检测结果，进而执行边缘聚合得到最终轮廓。本发明充分发掘深度图像梯度信息，利用深度图像轮廓检测结果修正并增强彩色图像轮廓检测结果，得到更为鲁棒和精确的场景轮廓。
Description
技术领域
本发明属于机器视觉技术领域，更具体地，涉及一种融合色彩和深度信息的室内场景轮廓检测方法。
背景技术
近年来，智能机器人、虚拟现实、无人机等技术或应用愈加成熟，正快速融入人们的日常生产与生活。这些应用依赖于机器视觉领域中的各项技术，包括物体检测与识别、场景分类等，而其中较为基础的，就是提取图像边缘信息，进而构成轮廓，这是智能设备理解场景的前提之一。如何从传感设备获取的二维图像中得到更加精确且符合人类感知的物体轮廓是目前学术界和工业界的研究热点。其中，与人类生活更为密切相关的室内机器人，其应用场景为室内环境，具有场景相对复杂、物体种类繁多和光照分布不均匀等特点，这对算法提出了更大的挑战。新兴的诸如Kinect的消费级深度相机使研究者们可以快速、便捷地获取场景的彩色图像与深度图像，深度图像保留了彩色图像丢失的场景三维信息，基于二维彩色图像的轮廓检测方法难以解决由于遮挡、纹理相似、亮度变化等导致的伪边缘检测问题，而基于深度图像的轮廓检测方法正好弥补了这一缺陷。近年来，针对彩色图像和深度图像(合称RGBD图像)的轮廓检测的研究工作有很多，如何有效利用深度信息，设计更具鲁棒性的轮廓检测算法，融合彩色图像轮廓检测结果，是一个重要的研究方向。
在此方面，有许多算法被提出。Malik等人通过估计重力方向结合随机森林与SVM分类器对像素进行分类，从而检测出图像轮廓。Arbekaez等将若干区域线索聚合成基于频谱聚类的框架，使用定向流域的图转化算法，通过多尺度加权计算图像轮廓。另外还有许多算法采用马尔科夫随机场，随机森林等机器学习算法获取较好的轮廓检测结果。这些算法较于传统的边缘检测方法能取得较好的结果，但轮廓检测的精度还是不够。
还有改进的利用深度信息提取轮廓的算法，主要包括三个部分：全局像素边界(gPb)，计算每个像素作为边界的可能性，用一个权值表示；方向分水岭变换(OWT)，将gPb结果转换为多个闭合的区域；UCM(Ultrametric Contour Map)将这些闭合区域转换为层级树。对每个像素按照某一特定方向θ将其圆形邻域划分为两部分，通过计算两部分像素亮度、颜色、纹理梯度差异，来预测该像素为边界像素的概率，记为gPb(x,y,θ)，表示位置(x,y)处的像素，在方向θ上为边界像素的可能性(概率)。圆形邻域的直径大小作为尺度参数可进行调节，多个尺度上的多通道边界像素后验概率加权得到该像素点最终边界概率。对于每一个像素都得到一个0到1之间的后验概率，接着采用分水岭变换算法将这些输入转换为闭合区域，而这样存在一个问题，就是一些弱边界附近存在强边界，受其影响，这些边界也被误判为轮廓，导致最终轮廓检测结果出现错误。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种融合色彩和深度信息的室内场景轮廓检测方法，其目的在于对被测场景进行彩色图像轮廓提取和深度图像轮廓提取，之后采取梯度金字塔融合的方式获得最终的被测场景轮廓，利用深度图像轮廓检测结果修正并增强彩色图像轮廓检测结果，得到更为鲁棒和精确的场景轮廓。
为实现上述目的，按照本发明的一个方面，提供了一种融合色彩和深度信息的室内场景轮廓检测方法，所述方法包括以下步骤：
(1)将被测场景的彩色图像按颜色通道分离后分别进行边缘检测，并将检测结果进行融合处理后获得彩色图像的边缘检测结果；
(2)提取被测场景深度图像的梯度信息，根据梯度信息对图像边缘进行检测，获得深度图像边缘检测结果；
(3)根据所述彩色图像边缘检测结果和所述深度图像边缘检测结果构建梯度金字塔，根据所述梯度金字塔对彩色图像边缘和深度图像边缘进行多尺度多层级融合获得边缘检测结果，并将所述边缘检测结果进行边缘聚合操作获得被测场景的最终轮廓。
进一步地，所述步骤(1)包括以下子步骤：
(11)将被测场景的彩色图像分离成R、G和B三个通道；
(12)提取每个通道图像的边缘信息；
(13)对三个通道图像的边缘进行加权融合，得到彩色图像边缘检测结果。
进一步地，所述步骤(2)包括以下子步骤：
(21)修复被测场景深度图像中的空洞并去除噪声，得到修复后深度图像；
(22)对修复后深度图像提取梯度信息；
(23)利用梯度信息提取深度图像边缘检测结果。
进一步地，所述步骤(3)包括以下子步骤：
(31)根据所述彩色图像边缘检测结果和所述深度图像边缘检测结果构建高斯金字塔，得到尺度逐级递减的边缘图像组；
(32)对边缘图像组中每幅图像分别用水平、垂直和两个对角线共四个方向的梯度算子进行运算，得到四幅分别包含各个方向梯度信息的图像；
(33)对步骤(32)中得到的图像进行重构，将梯度金字塔转换为拉普拉斯金字塔；
(34)对重构后的高尺度图像进行区域融合，得到融合后的边缘图像；
(35)对所述边缘图像执行边缘聚合操作，得到最终图像轮廓。
进一步地，所述子步骤(12)具体为：先对单通道图像进行高斯滤波，平滑图像，抑制噪声；再用Canny算子计算梯度，得到梯度幅值与方向；再对梯度幅值进行非极大值抑制，剔除大部分非边缘像素点；最后使用双阈值算法检测和连接边缘像素点得到图像的边缘信息。
进一步地，所述子步骤(22)中梯度信息为深度梯度、凸法矢梯度或凹法矢梯度。
进一步地，所述子步骤(23)具体为：确定待测像素点a，在像素点a周围取圆形邻域，沿直径方向
将该圆形邻域一分为二，计算两部分邻域内像素点的加权梯度和，加权系数与邻域像素和a像素之间的距离成反比，两部分邻域内的加权梯度和相减得到差值，若差值大于设定阈值，则设定该像素为边缘像素，否则该像素为非边缘像素；对每个像素执行此操作，得到整幅图像的边缘。
进一步地，所述子步骤(31)具体为：设边缘图像组中第k层图像Gk为
其中，Gk(i,j)表示第k层图像在坐标(i,j)处的像素值；k为高斯金字塔层数，k＝1,2,3；G0表示彩色图像边缘或深度图像边缘；W(m,n)为5×5窗口矩阵，m、n为窗口元素坐标，窗口矩阵为：
进一步地，所述子步骤(32)具体为：对每层图像用水平、垂直和两个对角线共四个方向的梯度算子进行运算，得到四幅分别包含各个方向梯度信息的图像Dlk为
Dlk＝dl·(Gk+w0·Gk)；
其中，Gk为第k层图像，k＝1,2,3；dl为滤波算子，l＝1,2,3,4；w0为3×3卷积核；dl为
进一步地，所述子步骤(33)具体为：设方向拉普拉斯金字塔的第k层图像Lk为
其中，dl为滤波算子；Dlk为第k层包含l方向梯度信息的高斯金字塔图像；再将方向拉普拉斯金字塔图像Lk转换为拉普拉斯金字塔图像LPl，
其中，
是中心元素为1其余为0的矩阵；w为权值矩阵。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：
(1)本发明将被测场景的彩色图像按照其特性分离出红色、绿色、蓝色通道，对每个通道采用经典Canny边缘检测算子提取图像边缘，然后融合，可以保留原始图像信息，得到更为精确的轮廓结果；而传统算法将彩色图像转换为灰度图像检测边缘，丢失了色度分量信息；
(2)本发明利用被测场景的深度图像计算梯度，进而提取边缘，采用深度图像保留了场景的深度信息，能够有效解决二维彩色图像无法应对的遮挡、光照变化等问题；
(3)本发明对彩色图像和深度图像构建梯度金字塔，多尺度多层级融合得到最终轮廓，充分发掘深度图像梯度信息，利用深度图像轮廓检测结果修正并增强彩色图像轮廓检测结果，得到更为鲁棒和精确的场景轮廓。
附图说明
图1是本发明实施例的整体结构图；
图2是本发明实施例中彩色图像边缘检测示意图；
图3是本发明实施例中深度图像边缘检测流程图；
图4是本发明实施例中边缘融合流程图；
图5是本发明实施例中梯度金字塔分解－融合示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明的整体结构图见附图1，融合色彩和深度信息的室内场景轮廓检测方法包括三个重要部分，分别是彩色图像轮廓提取、深度图像轮廓提取和梯度金字塔融合。方法流程如下：
(1)将彩色图像分离成三通道，分别进行边缘检测，然后融合检测结果，得到彩色图像边缘检测结果，如图2所示。
(11)将彩色RGB图像分离为红色、绿色和蓝色三个通道。
(12)对红色、绿色和蓝色的每个通道，采用Canny边缘检测算子提取边缘信息：首先对单通道图像进行高斯滤波，平滑图像和抑制噪声；然后用Canny算子计算梯度，得到梯度幅值与方向，Canny算子如公式(12-1)所示，再对梯度幅值进行非极大值抑制，剔除大部分非边缘像素点。最后使用双阈值算法检测和连接边缘像素点。
上式中sx,sy分别为该像素点在x方向和y方向上的卷积模板。以f[i,j]表示坐标位置[i,j]处的像素值，则x方向和y方向上的差分P[i,j]和Q[i,j]分别为：
P[i,j]＝f[i,j+1]-f[i,j]+f[i+1,j+1]-f[i+1,j] (12-2)
Q[i,j]＝f[i,j]-f[i+1,j]+f[i,j+1]-f[i+1,j+1] (12-3)
对应像素的梯度幅值G[i,j]为：
梯度方向η[i,j]为：
η[i,j]＝arctan(Q[i,j]/P[i,j]) (12-5)
(13)对步骤(12)中得到的三个通道的边缘进行加权融合，得到彩色图像的整体边缘检测结果，红色、绿色和蓝色三个通道的加权系数分别为0.3、0.6、0.1，更加符合人眼视觉特性。
(2)对深度图像进行预处理，然后提取梯度信息，进而检测图像边缘，得到深度图像边缘检测结果。
(21)深度图像中存在丢失深度信息的空洞，以及一些噪声。直接使用原始深度图像进行轮廓检测会影响检测结果的完整性以及精度，因此需要对深度图像进行修复。双边滤波是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种处理方法，同时考虑空域信息和灰度相似性，达到保边去噪的目的。双边滤波器可用公式(21-1)表示，定义域核用公式(21-2)表示，值域核用公式(21-3)表示，权重系数为定义域核与值域核的乘积，用公式(21-4)表示。
上式中，g(i,j)表示位置(i,j)处像素点的双边滤波输出值，依赖于其邻域像素值f(k,l)的加权组合。其中，(k,l)表示邻域像素的坐标位置，w(i,j,k,l)表示(k,l)处像素的权重系数。
公式(21-2)定义了一个标准差为σd的高斯核d(i,j,k,l)，本发明取值为3，表征位置(i,j)处像素点与其邻域(k,l)处像素点间的空间高斯距离，空间距离越近，其值越大，反之越小。同样的，公式(21-3)定义了一个标准差为σr的高斯核r(i,j,k,l)，本发明取值为50，表征位置(i,j)处像素点与其邻域(k,l)处像素点在像素值空间的高斯距离，像素值差异越小，其值越大，反之越小。
结合像素点与其邻域像素点在空域和值域的相似性度量，得到双边滤波器中的邻域像素权重系数w(i,j,k,l)，表示如下：
(22)对步骤(21)中执行双边滤波之后得到的深度图像提取深度梯度信息。具体地，在某一像素点周围取一圆形邻域，在某一直径方向θ上将该邻域一分为二，计算两部分邻域中像素值加权和，相减得到该像素点处的深度梯度幅值，梯度方向为θ+π/2。把圆形邻域内分布在两个半圆内的像素点按照离圆形中心邻域的距离进行权值分类。距离圆域中心点越近的像素点权值越大，距离圆域中心点越远的像素点权值越小。这样处理使得整个圆域计算出的像素值更加接近中心像素点的像素值，大大减小了由于深度值渐变产生的误差。深度梯度幅值可由公式(22-1)表示：
其中，Li,Ri分别表示左右半圆域第i个像素的深度值，αi,βi为对应像素的权重，表示如下：
其中，dli、dri分别表示左右半圆域第i个像素到圆域中心点的距离，k为半圆域像素点总数，σ为高斯标准差。
(23)利用步骤(22)得到的梯度信息提取图像边缘，示意图如图3所示，确定待测像素点a，在像素点a周围取一圆形邻域，沿直径方向
将该圆形邻域一分为二，计算两部分邻域内像素点的加权梯度和，加权系数与邻域像素和a像素之间的距离成反比，两部分邻域内的加权梯度和相减得到差值，若差值大于设定阈值，则设定该像素为边缘像素，否则该像素为非边缘像素，设定阈值优选64；对每个像素执行此操作，得到整幅图像的边缘。
(3)如图5所示，对步骤(1)中得到的彩色图像边缘和步骤(2)中得到的深度图像边缘构建梯度金字塔，多尺度多层级融合彩色图像边缘和深度图像边缘，得到更为精确的边缘检测结果，进而执行边缘聚合操作得到最终轮廓。
(31)对步骤(13)中得到的彩色图像边缘和步骤(23)中得到的深度图像边缘构建高斯金字塔，得到尺度逐级递减的边缘图像组。步骤为：首先把原始图像作为金字塔的最底层G0图像，利用一个5×5的高斯核对其卷积，利用该卷积模板对每层的边缘都进行处理，在进行采样去除偶数行列后将其作为金字塔G1层图像，对G1层图像重复以上操作可以得到后续图像，每层图像都经过相似的处理完毕后，这样就可以形成一个金字塔型的数据结构，其中该结构的每层边缘都是经过平滑滤波处理后的高质量边缘。设边缘图像组中第k层图像Gk为
其中，Gk(i,j)表示第k层图像在坐标(i,j)处的像素值；k为高斯金字塔层数，k＝1,2,3；G0表示彩色图像边缘或深度图像边缘；W(m,n)为5×5窗口矩阵，m、n为窗口元素坐标，窗口矩阵为：
(32)对步骤(31)中得到的边缘图像组进行方向梯度滤波，表示为公式(32-1)。具体地，对每层图像用水平、垂直和两个对角线共四个方向的梯度算子进行运算，得到四幅分别包含各个方向梯度信息的图像Dlk为
Dlk＝dl·(Gk+w0·Gk)；
其中，Gk为第k层图像，k＝1,2,3；dl为滤波算子，l＝1,2,3,4；w0为3×3卷积核；dl为
(33)对步骤(32)中得到的图像进行重构，将梯度金字塔转换为拉普拉斯金字塔，重构低尺度图像到高尺度。设方向拉普拉斯金字塔的第k层图像Lk为
其中，dl为滤波算子；Dlk为第k层包含l方向梯度信息的高斯金字塔图像；再将方向拉普拉斯金字塔图像Lk转换为拉普拉斯金字塔图像LPl，
其中，
是中心元素为1其余为0的矩阵；w为权值矩阵。
(34)对步骤(33)中得到的高尺度图像进行区域融合，得到最终的边缘图像；如图4所示，首先从金字塔型图层中分离出高尺度图层，然后图层中图进行平滑滤波处理，再之后对要融合的图像按0.5的权值进行加权融合，直到图层中所有图像都完成融合，得到新的边缘图像。
(35)对步骤(34)中得到的边缘图像执行边缘聚合操作，得到最终图像轮廓。步骤(34)得到的边缘图像为离散的像素点集合，需要将这些像素点聚合形成连续的轮廓，也即边缘聚合操作。边缘聚合操作采用轮廓树算法实现，利用树的结构对轮廓间的包含关系进行分层，将边缘按照颜色、纹理特性差异分层，得到不同物体的轮廓。
以上内容本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种融合色彩和深度信息的室内场景轮廓检测方法，其特征在于，具体包括以下步骤：
(1)将被测场景的彩色图像按颜色通道分离后分别进行边缘检测，并将检测结果进行融合处理后获得彩色图像的边缘检测结果；所述步骤(1)包括以下子步骤：
(11)将被测场景的彩色图像分离成R、G和B三个通道；
(12)提取每个通道图像的边缘信息；
(13)对三个通道图像的边缘进行加权融合，得到彩色图像边缘检测结果；对步骤(12)中得到的三个通道的边缘进行加权融合，得到彩色图像的整体边缘检测结果，红色、绿色和蓝色三个通道的加权系数分别为0.3、0.6、0.1；
(2)提取被测场景深度图像的梯度信息，根据梯度信息对图像边缘进行检测，获得深度图像边缘检测结果；所述步骤(2)包括以下子步骤：
(21)修复被测场景深度图像中的空洞并去除噪声，得到修复后深度图像；对深度图像进行修复，双边滤波是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种处理方法，同时考虑空域信息和灰度相似性，达到保边去噪的目的，双边滤波器用公式(21-1)表示，定义域核用公式(21-2)表示，值域核用公式(21-3)表示，权重系数为定义域核与值域核的乘积，用公式(21-4)表示；
上式中，g(i,j)表示位置(i,j)处像素点的双边滤波输出值，依赖于其邻域像素值f(k,l)的加权组合；其中，(k,l)表示邻域像素的坐标位置，w(i,j,k,l)表示(k,l)处像素的权重系数；
公式(21-2)定义了一个标准差为σd的高斯核d(i,j,k,l)，取值为3，表征位置(i,j)处像素点与其邻域(k,l)处像素点间的空间高斯距离，空间高斯距离越近，其值越大，反之越小；同样的，公式(21-3)定义了一个标准差为σr的高斯核r(i,j,k,l)，取值为50，表征位置(i,j)处像素点与其邻域(k,l)处像素点在像素值空间的高斯距离，像素值差异越小，其值越大，反之越小；
结合像素点与其邻域像素点在空域和值域的相似性度量，得到双边滤波器中的邻域像素权重系数w(i,j,k,l)，表示如下：
(22)对修复后深度图像提取梯度信息；
(23)利用梯度信息提取深度图像边缘检测结果；
(3)根据所述彩色图像边缘检测结果和所述深度图像边缘检测结果构建梯度金字塔，根据所述梯度金字塔对彩色图像边缘和深度图像边缘进行多尺度多层级融合获得边缘检测结果，并将所述边缘检测结果进行边缘聚合操作获得被测场景的最终轮廓；所述步骤(3)包括以下子步骤：
(31)根据所述彩色图像边缘检测结果和所述深度图像边缘检测结果构建高斯金字塔，得到尺度逐级递减的边缘图像组；
(32)对边缘图像组中每幅图像分别用水平、垂直和两个对角线共四个方向的梯度算子进行运算，得到四幅分别包含各个方向梯度信息的图像；
(33)对步骤(32)中得到的图像进行重构，将梯度金字塔转换为拉普拉斯金字塔；
(34)对重构后的高尺度图像进行区域融合，得到融合后的边缘图像；
(35)对所述边缘图像执行边缘聚合操作，得到最终图像轮廓；边缘聚合操作采用轮廓树算法实现，利用树的结构对轮廓间的包含关系进行分层，将边缘按照颜色、纹理特性差异分层，得到不同物体的轮廓。
2.根据权利要求1所述的室内场景轮廓检测方法，其特征在于，所述子步骤(12)具体为：先对单通道图像进行高斯滤波，平滑图像，抑制噪声；再用Canny算子计算梯度，得到梯度幅值与方向；再对梯度幅值进行非极大值抑制，剔除大部分非边缘像素点；最后使用双阈值算法检测和连接边缘像素点得到图像的边缘信息。
3.根据权利要求1所述的室内场景轮廓检测方法，其特征在于，所述子步骤(22)中梯度信息为深度梯度、凸法矢梯度或凹法矢梯度。
4.根据权利要求1所述的室内场景轮廓检测方法，其特征在于，所述子步骤(31)具体为：设边缘图像组中第k层图像Gk为
其中，Gk(i,j)表示第k层图像在坐标(i,j)处的像素值；k为高斯金字塔层数，k＝1,2,3；G0表示彩色图像边缘或深度图像边缘；W(m,n)为5×5窗口矩阵，m、n为窗口元素坐标，窗口矩阵为：
5.根据权利要求1所述的室内场景轮廓检测方法，其特征在于，所述子步骤(32)具体为：对每层图像用水平、垂直和两个对角线共四个方向的梯度算子进行运算，得到四幅分别包含各个方向梯度信息的图像Dlk为
Dlk＝dl·(Gk+w0·Gk)；
其中，Gk为第k层图像，k＝1,2,3；dl为滤波算子，l＝1,2,3,4；w0为3×3卷积核；dl为
6.根据权利要求1所述的室内场景轮廓检测方法，其特征在于，所述子步骤(33)具体为：设方向拉普拉斯金字塔的第k层图像Lk为
其中，dl为滤波算子；Dlk为第k层包含l方向梯度信息的高斯金字塔图像；再将方向拉普拉斯金字塔图像Lk转换为拉普拉斯金字塔图像LPl，
其中，
是中心元素为1其余为0的矩阵；w为权值矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710807970.6A CN107578418B (zh) | 2017-09-08 | 2017-09-08 | 一种融合色彩和深度信息的室内场景轮廓检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710807970.6A CN107578418B (zh) | 2017-09-08 | 2017-09-08 | 一种融合色彩和深度信息的室内场景轮廓检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107578418A CN107578418A (zh) | 2018-01-12 |
| CN107578418B true CN107578418B (zh) | 2020-05-19 |
Family
ID=61032946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710807970.6A Expired - Fee Related CN107578418B (zh) | 2017-09-08 | 2017-09-08 | 一种融合色彩和深度信息的室内场景轮廓检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107578418B (zh) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108389214B (zh) * | 2018-03-06 | 2022-03-01 | 青岛海信医疗设备股份有限公司 | 超声图像的处理方法及装置、电子设备、存储介质 |
| CN109035251B (zh) * | 2018-06-06 | 2022-05-27 | 杭州电子科技大学 | 一种基于多尺度特征解码的图像轮廓检测方法 |
| CN109345484A (zh) * | 2018-09-30 | 2019-02-15 | 北京邮电大学 | 一种深度图修复方法及装置 |
| CN110009655B (zh) * | 2019-02-12 | 2020-12-08 | 中国人民解放军陆军工程大学 | 用于立体图像轮廓增强的八向三维算子的生成及使用方法 |
| CN110930547A (zh) * | 2019-02-28 | 2020-03-27 | 上海商汤临港智能科技有限公司 | 车门解锁方法及装置、系统、车、电子设备和存储介质 |
| CN110517211B (zh) * | 2019-07-31 | 2023-06-13 | 茂莱（南京）仪器有限公司 | 一种基于梯度域映射的图像融合方法 |
| CN111161291A (zh) * | 2019-12-31 | 2020-05-15 | 广西科技大学 | 基于目标景深信息的轮廓检测方法 |
| CN111353982B (zh) * | 2020-02-28 | 2023-06-20 | 贝壳技术有限公司 | 一种深度相机图像序列筛选方法及装置 |
| TWI736335B (zh) * | 2020-06-23 | 2021-08-11 | 國立成功大學 | 基於深度影像生成方法、電子裝置與電腦程式產品 |
| WO2022011560A1 (zh) * | 2020-07-14 | 2022-01-20 | Oppo广东移动通信有限公司 | 图像裁剪方法与装置、电子设备及存储介质 |
| CN111985329B (zh) * | 2020-07-16 | 2024-03-29 | 浙江工业大学 | 基于FCN-8s和改进Canny边缘检测的遥感图像信息提取方法 |
| CN111882504B (zh) * | 2020-08-05 | 2022-08-16 | 展讯通信（上海）有限公司 | 图像中颜色噪声的处理方法、系统、电子设备和存储介质 |
| CN112085755B (zh) * | 2020-09-14 | 2024-08-13 | 贝壳技术有限公司 | 物体轮廓检测方法、装置以及设备、存储介质 |
| CN112712536B (zh) * | 2020-12-24 | 2024-04-30 | Oppo广东移动通信有限公司 | 图像处理方法、芯片及电子装置 |
| CN112669232B (zh) * | 2020-12-24 | 2024-08-09 | 浙江大华技术股份有限公司 | 一种深度图像增强处理方法及装置 |
| CN112967305B (zh) * | 2021-03-24 | 2023-10-13 | 南京莱斯电子设备有限公司 | 一种复杂天空场景下的图像云背景检测方法 |
| CN113095334B (zh) * | 2021-03-26 | 2022-04-01 | 广西科技大学 | 一种基于视网膜明适应机制的轮廓检测方法 |
| CN112990348B (zh) * | 2021-04-12 | 2023-08-22 | 华南理工大学 | 一种自调节特征融合的小目标检测方法 |
| CN113052863B (zh) * | 2021-04-20 | 2024-09-13 | 梅卡曼德（北京）机器人科技有限公司 | 基于机器人的物体表面浅凹槽轮廓提取方法、装置、电子设备和存储介质 |
| CN113200052B (zh) * | 2021-05-06 | 2021-11-16 | 上海伯镭智能科技有限公司 | 一种用于无人驾驶的路况智能识别方法 |
| CN113131399A (zh) * | 2021-05-27 | 2021-07-16 | 国网河北省电力有限公司保定供电分公司 | 瞄准切割方法和瞄准切割系统 |
| CN113689400B (zh) * | 2021-08-24 | 2024-04-19 | 凌云光技术股份有限公司 | 一种深度图像截面轮廓边沿的检测方法及装置 |
| CN113838011A (zh) * | 2021-09-13 | 2021-12-24 | 中南大学 | 基于数字图像颜色梯度的岩石块度和/或分布规律获取方法、系统、终端及可读存储介质 |
| CN114202487B (zh) * | 2022-02-21 | 2022-07-08 | 聚时科技(江苏)有限公司 | 一种定位孔的检测方法 |
| CN114973190B (zh) * | 2022-05-07 | 2024-10-15 | 毫末智行科技有限公司 | 一种距离检测方法、装置及车辆 |
| CN114881907B (zh) * | 2022-06-30 | 2022-09-23 | 江苏集萃苏科思科技有限公司 | 光学显微图像多景深焦点合成方法、系统及图像处理方法 |
| CN116091504B8 (zh) * | 2023-04-11 | 2023-09-15 | 重庆大学 | 基于图像处理的连接管连接头质量检测方法 |
| CN116681687B (zh) * | 2023-06-20 | 2024-07-12 | 广东电网有限责任公司广州供电局 | 基于计算机视觉的导线检测方法、装置和计算机设备 |
| CN117173190B (zh) * | 2023-11-03 | 2024-02-02 | 成都中轨轨道设备有限公司 | 基于图像处理的绝缘子红外验损系统 |
| CN117237366B (zh) * | 2023-11-16 | 2024-02-06 | 福建凯达集团有限公司 | 一种薄膜防雾性能检测方法 |
| CN117612270A (zh) * | 2023-12-05 | 2024-02-27 | 飞虎互动科技(北京)有限公司 | 弱网环境下的身份验证方法、装置、设备及存储介质 |
| CN117474977B (zh) * | 2023-12-27 | 2024-03-22 | 山东旭美尚诺装饰材料有限公司 | 基于机器视觉的欧松板凹坑快速检测方法及系统 |
| CN117496189B (zh) * | 2024-01-02 | 2024-03-22 | 中国石油大学(华东) | 一种基于深度相机的矩形托盘孔识别方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354812A (zh) * | 2014-07-10 | 2016-02-24 | 北京中科盘古科技发展有限公司 | 基于多Kinect协同的深度阈值分割算法识别轮廓交互方法 |
-
2017
- 2017-09-08 CN CN201710807970.6A patent/CN107578418B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354812A (zh) * | 2014-07-10 | 2016-02-24 | 北京中科盘古科技发展有限公司 | 基于多Kinect协同的深度阈值分割算法识别轮廓交互方法 |
Non-Patent Citations (5)
| Title |
|---|
| Combining color and depth data for edge detection;Haosong Yue et al;《IEEE International Conference on Robotics and Biomimetics》;20131231;第928-933页 * |
| 基于Canny理论的自适应阈值彩色图像边缘检测;关芳芳 等;《机电产品开发与创新》;20131130;第26卷(第6期);第101-102,114页 * |
| 基于梯度金字塔图像融合的研究;李建林 等;《科学技术与工程》;20071130;第7卷(第22期);第5818-5822页 * |
| 基于自适应小波阈值和双边滤波器的去噪算法;刘芳 等;《系统仿真学报》;20141231;第26卷(第12期);第2934-2938页 * |
| 多梯度融合的RGBD图像边缘检测;王江明 等;《电子测量与仪器学报》;20170331;第31卷(第3期);第436-442页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107578418A (zh) | 2018-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107578418B (zh) | 一种融合色彩和深度信息的室内场景轮廓检测方法 | |
| CN107833220B (zh) | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 | |
| CN106529447B (zh) | 一种小样本人脸识别方法 | |
| CN108537239B (zh) | 一种图像显著性目标检测的方法 | |
| CN112967243A (zh) | 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法 | |
| CN105657402B (zh) | 一种深度图恢复方法 | |
| WO2018076212A1 (zh) | 基于反卷积神经网络的场景语义分割方法 | |
| CN108573276A (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| CN107066916B (zh) | 基于反卷积神经网络的场景语义分割方法 | |
| CN105740945A (zh) | 一种基于视频分析的人群计数方法 | |
| CN102800094A (zh) | 一种快速彩色图像分割方法 | |
| CN109685045A (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
| CN109948625A (zh) | 文本图像清晰度评估方法及系统、计算机可读存储介质 | |
| CN110544300B (zh) | 一种基于二维手绘图像特征自动生成三维模型的方法 | |
| CN111160194B (zh) | 一种基于多特征融合的静态手势图像识别方法 | |
| CN111080670A (zh) | 图像提取方法、装置、设备及存储介质 | |
| CN112446292B (zh) | 一种2d图像显著目标检测方法及系统 | |
| Chen et al. | The enhancement of catenary image with low visibility based on multi-feature fusion network in railway industry | |
| Changhui et al. | Overlapped fruit recognition for citrus harvesting robot in natural scenes | |
| CN112330639A (zh) | 一种用于彩色-热红外图像的显著性检测方法 | |
| CN116883303A (zh) | 基于特征差分补偿与融合的红外与可见光图像融合方法 | |
| CN106407975B (zh) | 基于空间-光谱结构约束的多尺度分层目标检测方法 | |
| CN108062523A (zh) | 一种红外远小目标检测方法 | |
| CN109064444B (zh) | 基于显著性分析的轨道板病害检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200519 Termination date: 20200908 |