CN113487672B - 一种复杂场景下行为关联的对象特征提取方法 - Google Patents

Abstract

一种复杂场景下行为关联的对象特征提取方法，对箱子的定位及箱内未知物体行为关联的状态检测，包括以下步骤：(1)利用RGB‑D深度相机获取场景深度信息和彩色图像，检测场景中圆形标志；(2)针对步骤(1)筛选出贴在箱子上边缘四角位置的圆形标志物，解算目标箱子空间位置与姿态；(3)针对步骤(2)获取的目标箱体，对箱子内物体进行检轮廓检测，并对其进行长方形拟合和姿态位置估计；(4)针对步骤(3)获取的根据每个独立物体在箱子里的位置与姿态，得到箱子空置区域。

Description

一种复杂场景下行为关联的对象特征提取方法

技术领域

本发明涉及一种复杂场景下行为关联的对象特征提取方法，属于机器人智能装箱应用领域。

背景技术

目前，世界各航天强国都在积极发展地外探测技术，积极占领外太空高地。美国、俄罗斯等航天大国都已经进行了太阳系内其他行星或卫星的探测活动，并同时将火星探测作为后续重要的发展方向。中国也向火星发射了“天问一号”火星探测器，对火星环绕、着陆、巡航探测等关键技术方面开展突破，迈出了中国自主开展行星探测的一大步。

在地外探测领域中，行星表面土壤、矿物的采集是一项重要任务，可以为行星表面形貌、物质成分、土壤特性等的研究提供原始材料。此任务常由行星地表探测器上的机械臂来完成，基于传感器对周围环境的感知，控制机械臂实现矿物等的抓取、存放、装箱工作。在此闭环中，自动化和准确性始终是重要指标和优化方向。随着人工智能和机器人技术水平的快速发展，如何让机器人通过自主决策采用最优的方式在复杂场景、先验知识欠缺条件下对未知对象进行探索，成为了机器人学领域和自动控制领域的热门话题，而对未知对象进行关键特征挖掘又是其中重要一环，决定着整个系统的稳定性与可靠性。因此针对复杂场景、先验知识欠缺条件下对目标对象进行特征挖掘技术将在地表探测、土壤采集等任务中有广阔的应用前景。

到目前为止，利用特征挖掘技术解决智能装箱问题在航天或航空工业上已经有了广泛的应用，但目前已有的对象特征检测方法往往基于已知或者可控的条件下的，在现有方法中，首先需要对对象箱子进行标定，机器人或机械臂装箱操作过程中，机器人或者机械臂的运动需要预先设计固定的运动轨迹，这也就要求目标箱子要保持运动状态不变，但在地外行星探索中，在探索机器人的运动中，箱子的运动状态往往会因地形颠簸或与造成运动状态不确定，在无人的情况下难以获得被干扰后的箱子位置，使得装箱系统失效。其次，在已有的工业装箱环境中，生产的工业品，往往有固定的规格和尺寸，但在脱离可控环境后，有时受限于环境和硬件设备，装箱时难以预知下一个物体的形态大小，使得装箱时产生不确定性。最后，当箱子所处环境发生剧烈变化，箱子内的物体会发生剧烈变化，使得传统对象特征提取方法失效，面对特殊场景下的装箱问题，如何应对多种不确定性是难点所在。

发明内容

本发明解决的技术问题是：针对目前现有技术中，传统目标箱体所处环境发生变化时，难以应对不同环境的不确定性的问题，提出了一种复杂场景下行为关联的对象特征提取方法。

本发明解决上述技术问题是通过如下技术方案予以实现的：

一种复杂场景下行为关联的对象特征提取方法，步骤如下：

(1)利用RGB-D深度相机获取场景RGB彩色图像、深度图像，检测场景中圆形标志；其中，圆形标志贴附于目标箱体边缘四角位置；

(2)根据步骤(1)筛选的圆形标志结算目标箱体空间位置及姿态；

(3)根据步骤(2)所得目标箱体，对箱内物体进行轮廓检测，并进行长方形拟合及姿态位置估计；

(4)对箱内各独立物体的位置与姿态进行统计，确定箱内空置区域。

所述步骤(1)中，利用RGB-D深度相机获取场景深度图像、彩色图像并检测场景中圆形标志得具体步骤如下：

(1-1)对RGB-D深度相机所获取的RGB彩色图像根据深度图进行阈值筛选，所述阈值为深度阈值，根据相机至目标箱体高度确定；

(1-2)根据目标箱体边缘四角位置的圆形标志颜色特征，对目标箱体的RGB彩色图像进行滤波，将亮度低于亮度阈值的像素点置0，对滤波后的RGB彩色图像进行霍夫圆检测，通过亮度阈值进行检测，判断是否检测到圆，若检测到，则进入步骤(2)，若未检测到，调整RGB-D深度相机位置重新获取场景深度图像和RGB彩色图像；

所述亮度阈值根据RGB彩色图像确定。

所述步骤(2)中，根据圆形标志解算目标箱体空间位置、姿态的具体方法为：

(2-1)根据步骤(1-2)中检测出的所有圆，根据圆的像素半径进行筛选，设置半径高阈值、半径低阈值，将半径大于半径高阈值或小于半径低阈值的圆剔除，根据筛选所得圆的数量判断是否完成箱体检测，若筛选到四个圆且四个圆的圆心位置大于十倍半径高阈值，则判断检测到箱体，进入步骤(2)，否则判断未检测到箱体，则移动相机位置，返回步骤(1)重新检测，直至检测到箱体；

(2-2)根据四个圆形标志的像素中心位置，计算在深度图中的对应位置，确定圆形标志的圆心深度，获取目标箱体四个顶点于相机坐标系中的坐标，将四个顶点坐标作为目标箱体的空间位置表示。

所述步骤(3)中，对目标箱体箱内物体进行轮廓检测并进行长方形拟合的具体步骤如下：

(3-1)根据步骤(2-2)所得四个圆形标志的像素中心位置，将四个圆心所围成的平行四边形作为新的感兴趣区域，同时根据盒体实际尺寸进行透视变换转换为标准矩形；

(3-2)根据步骤(1)中所得到的四个圆心标志物的像素中心位置Q₀₀、Q₀₁、Q₁₀、Q₁₁及箱体真实尺寸所对应的四个顶点坐标R₀₀、R₀₁、R₁₀、R₁₁，利用透视变换函数将以四个圆心标志物为顶点的四边形区域内的像素点投影到新的标准矩形区域内；

(3-3)将新的标准矩形作为图像的感兴趣区域，通过Canny边缘检测对盒体内物体进行边缘提取，使用5*5高斯滤波器降低图像噪声，对图像进行平滑处理，对处理后的图像使用Sobel算子计算水平方向和竖直方向的图像梯度，对图像梯度进行非极大值抑制，去除非边界点，进一步进行双阈值筛选，确定矩形物体边缘；

(3-4)根据所得矩形物体边缘使用矩形进行拟合，计算水平方向、竖直方向的最大像素值、最小像素值，获取初始矩形的四个顶点，对矩形拟合结果进行逆时针旋转，以1°为单位将一周划分为360个离散角度，于各角度下，计算该角度下的初始矩形的对角线长度，将对角线长度最小的角度返回，作为箱内物体与目标箱体的夹角θ表示，将该角度下的水平方向和竖直方向上的最大像素点、最小像素点差值作为所拟合矩形的长l_p、宽w_p，将拟合矩形的中心像素点位置作为该物体的中心像素点位置，对拟合矩形区域内所有闭合边缘进行矩形拟合，获取箱体内各物体的像素尺寸、姿态估计。

所述步骤(3-3)中，经过非极大值抑制后，设置低阈值、高阈值，抑制处理后的图像灰度变换大于高阈值的设置为强边缘像素，低于低阈值的剔除，其余设置为弱边缘像素，进行进一步判断，若弱边缘领域内仍有强边缘像素则保留，否则将弱边缘像素剔除，根据保留的强边缘像素获取矩形物体边缘。

所述步骤(4)中，根据步骤(3)所得箱体内各物体的像素尺寸、姿态估计，根据箱体尺寸及矩形像素尺寸比值，计算各像素对应的实际尺寸，获取各物体真实合体尺寸l_w及箱体内位置，将箱体内各像素点设置为可放置区域，将步骤(3)中所得拟合矩形进行绘制，将矩形内的点设置为不可放置区域，余下像素点为可放置区域。

本发明与现有技术相比的优点在于：

本发明提供的一种复杂场景下行为关联的对象特征提取方法，采用了视觉定位的方式，提高了箱子位姿解算精确度，实现了精确定位，能够有效改善了箱子快速定位的精准性，同时通过采用了颜色分割与长方形拟合相结合的方式，将箱子中不规则体的位姿参数化表达，提高箱子内部空置区域的检测精度，实现目标箱体精确定位，能够准确检测箱子内容物位置与姿态，实时解算箱子中空置区域位置。

附图说明

图1为发明提供的方法流程示意图；

具体实施方式

一种复杂场景下行为关联的对象特征提取方法，用于复杂场景下行为关联的对象特征挖掘，实现目标箱体精确定位，检测箱子内容物位置与姿态，实时解算箱子中空置区域位置，如图1所示，具体步骤如下：

(1)利用RGB-D深度相机获取场景深度信息、RGB彩色图像、深度图像，检测场景中圆形标志；其中，圆形标志贴附于目标箱体边缘四角位置；

其中，利用RGB-D深度相机获取场景深度信息、彩色图像并检测场景中圆形标志得具体步骤如下：

(1-1)对RGB-D深度相机所获取的RGB彩色图像根据深度图进行阈值筛选，所述阈值为深度阈值，根据相机至目标箱体高度确定；

(1-2)根据目标箱体边缘四角位置的圆形标志颜色特征，对目标箱体的RGB彩色图像进行滤波，将亮度低于亮度阈值的像素点置0，对滤波后的RGB彩色图像进行霍夫圆检测，通过亮度阈值进行检测，判断是否检测到圆，若检测到，则进入步骤(2)，若未检测到，调整RGB-D深度相机位置重新获取场景深度信息；

所述亮度阈值根据RGB彩色图像确定；

(2)根据步骤(1)筛选的圆形标志结算目标箱体空间位置及姿态；

其中，根据圆形标志解算目标箱体空间位置、姿态的具体方法为：

(2-1)根据步骤(1-2)中检测出的所有圆，根据圆的像素半径进行筛选，设置半径高阈值、半径低阈值，将半径大于半径高阈值或小于半径低阈值的圆剔除，根据筛选所得圆的数量判断是否完成箱体检测，若筛选到四个圆且四个圆的圆心位置大于十倍半径高阈值，则判断检测到箱体，进入步骤(2)，否则判断未检测到箱体，则移动相机位置，返回步骤(1)重新检测，直至检测到箱体；

(2-2)根据四个圆形标志的像素中心位置，计算在深度图中的对应位置，确定圆形标志的圆心深度，获取目标箱体四个顶点于相机坐标系中的坐标，将四个顶点坐标作为目标箱体的空间位置表示；

(3)根据步骤(2)所得目标箱体，对箱内物体进行轮廓检测，并进行长方形拟合及姿态位置估计；

其中，对目标箱体箱内物体进行轮廓检测并进行长方形拟合的具体步骤如下：

(3-1)根据步骤(2-2)所得四个圆形标志的像素中心位置，将四个圆心所围成的平行四边形作为新的感兴趣区域，同时根据盒体实际尺寸进行透视变换转换为标准矩形；

(3-2)根据步骤(1)中所得到的四个圆心标志物的像素中心位置Q₀₀、Q₀₁、Q₁₀、Q₁₁及箱体真实尺寸所对应的四个顶点坐标R₀₀、R₀₁、R₁₀、R₁₁，利用透视变换函数将以四个圆心标志物为顶点的四边形区域内的像素点投影到新的标准矩形区域内；

(3-3)将新的标准矩形作为图像的感兴趣区域，通过Canny边缘检测对盒体内物体进行边缘提取，使用5*5高斯滤波器降低图像噪声，对图像进行平滑处理，对处理后的图像使用Sobel算子计算水平方向和竖直方向的图像梯度，对图像梯度进行非极大值抑制，去除非边界点，进一步进行双阈值筛选，确定矩形物体边缘；

优选的，经过非极大值抑制后，设置低阈值、高阈值，抑制处理后的图像灰度变换大于高阈值的设置为强边缘像素，低于低阈值的剔除，其余设置为弱边缘像素，进行进一步判断，若弱边缘领域内仍有强边缘像素则保留，否则将弱边缘像素剔除，根据保留的强边缘像素获取矩形物体边缘；

(3-4)根据所得矩形物体边缘使用矩形进行拟合，计算水平方向、竖直方向的最大像素值、最小像素值，获取初始矩形的四个顶点，对XX坐标轴进行逆时针旋转，以1°为单位将一周划分为360个离散角度，于各角度下，计算该角度下的初始矩形的对角线长度，将对角线长度最小的角度返回，作为箱内物体与目标箱体的夹角θ表示，将该角度下的水平方向和竖直方向上的最大像素点、最小像素点差值作为所拟合矩形的长l_p、宽w_p，将拟合矩形的中心像素点位置作为该物体的中心像素点位置，对拟合矩形区域内所有闭合边缘进行矩形拟合，获取箱体内各物体的像素尺寸、姿态估计；

(4)对箱内各独立物体的位置与姿态进行统计，确定箱内空置区域，具体的，根据步骤(3)所得箱体内各物体的像素尺寸、姿态估计，根据箱体尺寸及矩形像素尺寸壁纸，计算各像素对应的实际尺寸，获取各物体真实合体尺寸l_w及箱体内位置，将箱体内各像素点设置为可放置区域，将步骤(3)中所得拟合矩形进行绘制，将矩形内的点设置为不可放置区域，余下像素点为可放置区域。

下面结合具体实施例进行进一步说明：

在本实施例中，复杂场景下行为关联的对象特征提取方法具体步骤为：

(1)利用RGB-D深度相机获取场景深度信息、彩色RGB图像、深度图像，检测场景中圆形标志；

对RGB-D深度相机所获取的RGB彩色图像根据深度图进行阈值筛选，由于已知相机离箱体有一定高度，依此设置深度阈值；

根据目标箱体边缘四角位置的圆形标志颜色特征，对RGB图像进行滤波，将亮度低于RGB图像获取的亮度阈值的像素点置为0，再对所获取的滤波后的RGB图像进行霍夫圆检测，检测原理为：

已知圆的一般方程为：

(x-a)²+(y-b)²＝r²

从平面坐标圆上的点到极坐标转换的三个参数(a,b,r)，其中(a,b)是圆心，r为圆的半径。

把X-Y平面上的圆转换到a-b-r参数空间，则图像空间中过(x,y)点圆对应参数空间中高度r变化下的一个三维锥面。取一固定值时θ进行扫描，θ的变化范围是0°到360°，坐标值也跟随跟着θ变化，若多个边缘点对应的三维空间曲线交于一点，则这些点在共同圆上，在圆心处有累积最大值，再使用阈值的方法来判断是否检测到圆；

(2)筛选出贴在箱子上边缘四角位置的圆形标志物，解算目标箱子空间位置；

根据步骤(1)中检测出的所有圆，根据圆的像素半径进行筛选，设置半径高阈值和半径低阈值，将半径高于高阈值或低于低阈值的圆剔除，最后通过所筛选出的圆的数量判断是否完成箱体检测，筛选到四个圆且四个圆的圆心位置大于十倍高阈值，则判断检测到箱体，否则判断未检测到箱体，则移动相机位置，重复步骤(1)，直至检测到箱体；

根据四个圆形标志物的像素中心位置，计算其在深度图中的对应位置从而得到圆心标志物的圆心深度，从而得到箱体的四个顶点在相机坐标系下的坐标。将这四个点的中心点作为箱体中心。将四个坐标点作为目标箱体的位置表示；

(3)对箱子内物体进行检轮廓检测，并对其进行长方形拟合；

根据检测的圆形标志物的像素中心位置，将四个圆心所围成的平行四边形作为新的感兴趣区域，同时根据箱体的实际尺寸通过透视变换为标准矩形；

根据步骤(1)中所得到的四个圆心标志物的像素中心位置Q₀₀、Q₀₁、Q₁₀、Q₁₁和箱体真实尺寸所对应的四顶点坐标R₀₀、R₀₁、R₁₀、R₁₁，使用透视变换函数将以四个圆心标志物为顶点的四边形区域内的像素点投影到新的标准矩形区域内，从而消除由于观测视角无法垂直于箱体底面所带来的畸变误差。计算变换矩阵的方式主要有：RANSAC算法、最小中值算法、PROSAC算法；

将新的标准矩形作为图像的感兴趣区域，使用Canny边缘检测对箱体内物体的边缘进行提取，具体步骤为：(1)使用5*5高斯滤波器降低图像噪声，对图像进行平滑。(2)对平滑后的图像使用Sobel算子计算水平方向和竖直方向的图像梯度。(3)对图像梯度进行非极大值抑制，去除那些非边界上的点。(4)进一步进行双阈值筛选。通过非极大值抑制后，仍然有很多的可能边缘点，进一步的设置一个双阈值，即低阈值、高阈值。灰度变化大于高阈值的设置为强边缘像素，低于低阈值的则剔除。在两者之间的设置为弱边缘。对弱边缘再进一步判断，如果其领域内有强边缘像素则保留，如果没有则剔除；

根据所获取的矩形内的物体边缘，使用矩形进行拟合，对于任意一个完整边缘，首先通过计算其在水平和竖直方向上的最小和最大像素值，得到初始矩形的四个顶点，再对坐标轴进行逆时针旋转，以1°为单位将一周划分为360个离散角度，在每个角度下，计算该角度下的初始矩形的对角线长度，将对角线长度最小的角度返回，作为物体与箱体的夹角(θ)表示，将该角度下的水平方向和竖直方向上的最大最小像素值的差作为所拟合矩形的长(l_p)和宽(w_p)，将矩形的中心像素点位置作为该物体的中心像素点位置。对矩形区域内的所有闭合边缘进行矩形拟合，则得到箱体内每一个物体的像素尺寸和姿态估计。

(4)根据每个独立物体在箱子里的位置与姿态，得到箱子空置区域。根据步骤(3)中所得到的像素尺寸和像素中心位置，通过已知的箱体尺寸和步骤(3)中所得到的矩形像素尺寸的比值，计算出每像素所对应的实际尺寸，从而得到真实的箱体尺寸l_w、l_w和其在箱体内的位置。先将箱体内的所有像素点都设置为可放置区域，将步骤(3)中的所有拟合矩形进行绘制，将矩形内的点设置为不可放置区域，则剩下的像素点即为可放置区域，用于下一物块摆放的计算。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

本发明说明书中未作详细描述的内容属于本领域技术人员的公知技术。

Claims (3)

1.一种复杂场景下行为关联的对象特征提取方法，其特征在于步骤如下：

(1)利用RGB-D深度相机获取场景RGB彩色图像、深度图像，检测场景中圆形标志；其中，圆形标志贴附于目标箱体边缘四角位置；

(2)根据步骤(1)筛选的圆形标志结算目标箱体空间位置及姿态；

(3)根据步骤(2)所得目标箱体，对箱内物体进行轮廓检测，并进行长方形拟合及姿态位置估计；

(4)对箱内各独立物体的位置与姿态进行统计，确定箱内空置区域；

所述步骤(1)中，利用RGB-D深度相机获取场景深度图像、彩色图像并检测场景中圆形标志得具体步骤如下：

(1-1)对RGB-D深度相机所获取的RGB彩色图像根据深度图进行阈值筛选，所述阈值为深度阈值，根据相机至目标箱体高度确定；

(1-2)根据目标箱体边缘四角位置的圆形标志颜色特征，对目标箱体的RGB彩色图像进行滤波，将亮度低于亮度阈值的像素点置0，对滤波后的RGB彩色图像进行霍夫圆检测，通过亮度阈值进行检测，判断是否检测到圆，若检测到，则进入步骤(2)，若未检测到，调整RGB-D深度相机位置重新获取场景深度图像和RGB彩色图像；

所述亮度阈值根据RGB彩色图像确定；

所述步骤(2)中，根据圆形标志解算目标箱体空间位置、姿态的具体方法为：

(2-1)根据步骤(1-2)中检测出的所有圆，根据圆的像素半径进行筛选，设置半径高阈值、半径低阈值，将半径大于半径高阈值或小于半径低阈值的圆剔除，根据筛选所得圆的数量判断是否完成箱体检测，若筛选到四个圆且四个圆的圆心位置大于十倍半径高阈值，则判断检测到箱体，进入步骤(2)，否则判断未检测到箱体，则移动相机位置，返回步骤(1)重新检测，直至检测到箱体；

(2-2)根据四个圆形标志的像素中心位置，计算在深度图中的对应位置，确定圆形标志的圆心深度，获取目标箱体四个顶点于相机坐标系中的坐标，将四个顶点坐标作为目标箱体的空间位置表示；

所述步骤(3)中，对目标箱体箱内物体进行轮廓检测并进行长方形拟合的具体步骤如下：

(3-1)根据步骤(2-2)所得四个圆形标志的像素中心位置，将四个圆心所围成的平行四边形作为新的感兴趣区域，同时根据盒体实际尺寸进行透视变换转换为标准矩形；

(3-2)根据步骤(1)中所得到的四个圆心标志物的像素中心位置Q₀₀、Q₀₁、Q₁₀、Q₁₁及箱体真实尺寸所对应的四个顶点坐标R₀₀、R₀₁、R₁₀、R₁₁，利用透视变换函数将以四个圆心标志物为顶点的四边形区域内的像素点投影到新的标准矩形区域内；

(3-3)将新的标准矩形作为图像的感兴趣区域，通过Canny边缘检测对盒体内物体进行边缘提取，使用5*5高斯滤波器降低图像噪声，对图像进行平滑处理，对处理后的图像使用Sobel算子计算水平方向和竖直方向的图像梯度，对图像梯度进行非极大值抑制，去除非边界点，进一步进行双阈值筛选，确定矩形物体边缘；

(3-4)根据所得矩形物体边缘使用矩形进行拟合，计算水平方向、竖直方向的最大像素值、最小像素值，获取初始矩形的四个顶点，对矩形拟合结果进行逆时针旋转，以1°为单位将一周划分为360个离散角度，于各角度下，计算该角度下的初始矩形的对角线长度，将对角线长度最小的角度返回，作为箱内物体与目标箱体的夹角θ表示，将该角度下的水平方向和竖直方向上的最大像素点、最小像素点差值作为所拟合矩形的长l_p、宽w_p，将拟合矩形的中心像素点位置作为该物体的中心像素点位置，对拟合矩形区域内所有闭合边缘进行矩形拟合，获取箱体内各物体的像素尺寸、姿态估计。

2.根据权利要求1所述的一种复杂场景下行为关联的对象特征提取方法，其特征在于：

所述步骤(3-3)中，经过非极大值抑制后，设置低阈值、高阈值，抑制处理后的图像灰度变换大于高阈值的设置为强边缘像素，低于低阈值的剔除，其余设置为弱边缘像素，进行进一步判断，若弱边缘领域内仍有强边缘像素则保留，否则将弱边缘像素剔除，根据保留的强边缘像素获取矩形物体边缘。

3.根据权利要求1所述的一种复杂场景下行为关联的对象特征提取方法，其特征在于：

所述步骤(4)中，根据步骤(3)所得箱体内各物体的像素尺寸、姿态估计，根据箱体尺寸及矩形像素尺寸比值，计算各像素对应的实际尺寸，获取各物体真实合体尺寸l_w及箱体内位置，将箱体内各像素点设置为可放置区域，将步骤(3)中所得拟合矩形进行绘制，将矩形内的点设置为不可放置区域，余下像素点为可放置区域。