CN111626996B - 基于dem三维特征分布的滑动窗口检测方法 - Google Patents

Abstract

本申请提供基于DEM三维特征分布的滑动窗口检测算法，具体步骤如下；步骤一业务场景与基本定义；步骤二，质量特征分布及安全关系模型；步骤三，滑动窗口算法。本发明提供基于DEM三维特征分布的滑动窗口检测算法，根据现场采集的数据，进行DEM三维建模，进一步提取三维特征及分布，建立三维特征分布与抓取效果、抓取安全的关系模型，并通过仿真实验，验证检测方法的效果，为无人值守系统安全抓取提供安全有效的抓取区域。

Description

基于DEM三维特征分布的滑动窗口检测方法

技术领域

本发明属于无人行车抓取安全与抓取检测领域，特别是涉及基于DEM三维特征分布的滑动窗口检测方法。

背景技术

干散堆料发货出现无人值守的新业务模式，但是干散料的分布连续、极不规则、动态变化快，抓取区域的检测，涉及业务的安全、稳定，实时根据干散堆料的分布情况，检测三维图像与发货安全、效果相关的特征及分布，给出抓取区域的分布情况，直接关系到系统的可用性。三维图像的检测、生成及分割等技术已经应用于生产、安全预警等各个方面。如应用检测技术获得DEM三维模型，应用DEM三维特征检测与分割路面裂缝区域，或通过目标图像比对报警，或用于坡度误差、地形分析等应用。在干散料的抓取工作中，抓取质量与抓取安全，是抓取工作的难点，当前无人值守的散料发货刚处于试用阶段，在干散料的三维分布特征与抓取效果、抓取安全方面，还没见到相关的研究，是急需解决的难题，在细颗粒干散料无人值守系统的抓取发料工作中，干散料的三维分布连续、极不规则、动态变化快，抓斗抓取区域的选择，关系到抓取的安全性与抓取效果，在三维分布极端的情况下，抓取区域选择不当，易引起抓斗翻转、闭合绳脱槽等事故，或抓取效果较差，达不到抓取效率要求。基于干散料的分布特性，申请人提出一种基于三维特征分布的滑动窗口检测算法。

发明内容

为了解决以上问题，本发明提供基于DEM三维特征分布的滑动窗口检测方法，根据现场采集的数据，进行DEM三维建模，进一步提取三维特征及分布，建立三维特征分布与抓取效果、抓取安全的关系模型，并通过仿真实验，验证检测方法的效果，为无人值守系统安全抓取提供安全有效的抓取区域，为达此目的，本发明提供基于DEM三维特征分布的滑动窗口检测方法，具体步骤如下；

步骤一，业务场景与基本定义；

在干散料码头、仓库中，散料的堆放为倾倒或抓斗抛放形成，其三维分布既连续又极不规则，工业级干散料无人值守装运业务，要求系统安全、高效，干散堆料的变化较快，要保证安全，要根据现场抓斗抓取姿态与堆料分布情况，建立三维特征分布与安全关系模型，在安全的情况下方可抓取；在抓取质量方面，对每一次抓取位的堆料分布情况建模；

根据建模需要，做如下基本定义：

(1)单元窗口：整个堆料区域划分为M×N个基本方格，称为单元窗口，每个单元窗口为边长为l的正方形，整个区域可视作一个三维矩阵A_mn，每个单元窗口A_mn的平均高度为H_mn(m∈(1…M)，n∈(1…N))；

(2)抓取窗口：在抓斗抓取物料时，抓斗完全张开时抓取范围在平面上的投影称为抓取窗口，假设堆料区域A_mn分成

个抓取窗口，对于任何抓取窗口

其包含P×Q个单元窗口；

(3)抓取子窗口：为表示三维分布特征，将任何一个抓取窗口W_pq划分为多个子窗口，每个子窗口包含U×V个单元窗口，称为抓取子窗口W_uv，位于抓取窗口中心位置的虚拟子窗口W_c称为中心子窗口，实际应用中，子窗口数量划分越细，数据表达越精确；

(4)质量分布向心度(AFF_uv)：表示任何一个子窗口W_uv堆料量以及离抓取窗口中心聚集的程度，如果抓取窗口高度越高、物料离中心点越近，其向心度越高；

(5)滑动窗口：为寻找物料分布满足安全与特征分布较好的抓取位置，按抓取窗口的大小，每隔S行、T列动态滑动此窗口，记录滑动过程中所有窗口的p、q值及特征分布数据，此窗口称之为滑动窗口；

步骤二质量特征分布及安全关系模型；

对于任何一个抓取窗口，其包含P×Q个单元窗口，则窗口W_pq为：

其中

在W_pq窗口抓取作业时，其抓取方式中物料集中在中心一带最有利，如果抓取窗口的物料分布为中间凹，抓取的量较少，达不到抓取效果与效率要求，当大斜坡方向与抓斗长边方向一致时，抓取量介于两者之间，同时易产生动滑轮脱槽的安全风险；

要保证每一次抓取质量满足要求，设计抓取窗口W_pq的特征参数与特征模型，为方便表达抓取窗口的物料分布情况，从以下几个特征值来考虑：

1、中心平均高度，对于窗口W_pq来讲，其抓取分布于式(1)所在的区域，假设在各窗口的物料分布在P_x∈[l₁，l₂]中心带，对于连续分布的干散料来讲，在总量一定时，中心带的平均高度HS_z能较好的反应物料分布好坏的一个特征；

2、质量分布向心度，将抓取窗口W_pq分为多个抓取子窗口W_uv，每一个子窗口W_uv包含U×V个单元窗口，对于任何一个窗口W_uv，其中心离W_pq线的垂直距离为l_uv，且HS_z越大、 l_uv越小，其质量分布向心度越好，即形成“峰”状分布，即特征值

与HS_z乘积越大，抓取效果越好，当子窗口在[1，l₁]与[l₂，P]范围时，对抓取不利；

根据上述分析，定论质量分布向心度为：

AFF_uv＝α*HS_z*D_uv (式2)

其中，α值为：

对于整个抓取窗口，其质量分布向心度为所有子窗口向心度之和的平均值，由此可得：

根据式(2)，可以求出任何一个子窗口的质量分布向心度值，用于评测在此窗口在抓取时是否满足抓取效果，如果满足则实施抓取动作，否则通过滑动窗口，找到合适的抓取窗口位置；

对于任意一个抓取窗口W_pq，抓取时抓斗倾斜度越小抓取越安全，出现安全事故的机率越低，细颗粒散料的理想分布的情况是中间高、四周低，即P_x∈[l₁，l₂]时，抓取安全且效果好；

为分析安全关系，将整个窗口分为中心带WZ_c、周边四个子窗口WZ_k(k∈[1，4])，则对于任何一个周边子窗口WZ_k，中心带WZ_c为：

其中，WZ_c的中心点位于((1+P)/2，(yWc+1+Q/2))，抓取窗口可表示为：

用W_n表示HS_z高于各子窗口WZ_k平均高度的数量，W_n＝2时最危险， W_n＝3次之，当W_n＝4时最安全，四个周边子窗口的根据抓斗长边左右两边的位置，分为WL_pq和WR_pq，即W_pq＝(WL_pq WR_pq)，假设HL_pq、HR_pq表示W_pq左右两边窗口的均高，SW_pq表示W_pq的安全特征系数，则SW_pq可表示为：

SW_pq＝β*HS_z/abs(HL_Pq-HR_Pq) (式6)

式(6)中，当W_n＝2或W_n＝3，左右两边的子窗口高度相差达到某一危险值H_d时，会发生安全事故，安全情况，此时β＝0，其它情况下，β＝1，由式6可知，SW_pq值越大，越安全；

步骤三滑动窗口算法；

如果规则的划分各抓取窗口，SW_pq与AFF_pq同时符合抓取要求的W_pq并不多，从全局上看，有些窗口经过移动之后，很容易满足两个条件要求，因此，从第一个窗口W₁₁开始，每次下、右移动S、T个单元窗口位置，计算其质量向心度与安全特征值，一直到所有满足滑动的窗口计算完成，则每个滑动窗口的位置为：

作为本发明进一步改进，单元窗口中定义M＝33，N＝99，共33*99个单元窗口，设 P＝8，Q＝16，U＝2，V＝4，则全场可划分为

共24个抓取窗口，每个窗口又划分为8个子窗口，相关数据根据现场堆料的分布数据生成。

本申请提供基于DEM三维特征分布的滑动窗口检测方法，在抓取前根据物料的分布情况进行检测、分析，分判断分布相对安全、效果的影响特征，如中心凹陷、超高坡度等特征，建立整个区域的DEM三维特征分布模型，进一步利用滑动窗口，检测安全、高效的抓取区域。仿真结果表明，基于DTM三维特征分布的滑动窗口检测算法能根据堆料的分布情况，较好的给出高效、安全抓取区域，为无人值守行车抓取工程应用提供了全新的检测方法。

附图说明

图1为干散堆料高程图；

图2(a)为抓取窗口实景图；

图2(b)为抓取窗口分布图；

图2(c)为中心子窗口图；

图3为抓取窗口抓取方式与典型的三维分布图；

图4为几种典型的三维分布情况；

图5为三维特征数据及安全系数仿真结果分布图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供基于DEM三维特征分布的滑动窗口检测方法，在抓取前根据物料的分布情况进行检测、分析，分判断分布相对安全、效果的影响特征，如中心凹陷、超高坡度等特征，建立整个区域的DEM三维特征分布模型，进一步利用滑动窗口，检测安全、高效的抓取区域。仿真结果表明，基于DTM三维特征分布的滑动窗口检测算法能根据堆料的分布情况，较好的给出高效、安全抓取区域，为无人值守行车抓取工程应用提供了全新的检测方法。

本发明提供基于DEM三维特征分布的滑动窗口检测方法，具体实施例如下；

步骤一业务场景与基本定义；

在干散料码头、仓库中，散料的堆放通常为倾倒或抓斗抛放形成，其三维分布既连续又极不规则，如图1所示。工业级干散料无人值守装运业务，要求系统安全、高效。干散堆料的变化较快，要保证安全，要根据现场抓斗抓取姿态与堆料分布情况，建立三维特征分布与安全关系模型，在安全的情况下方可抓取；在抓取质量方面，对每一次抓取位的堆料分布情况建模；

根据建模需要，做如下基本定义：

(1)单元窗口：整个堆料区域划分为M×N个基本方格，称为单元窗口。每个单元窗口为边长为l的正方形，整个区域可视作一个三维矩阵A_mn，每个单元窗口A_mn的平均高度为H_mn(m∈(1…M)，n∈(1…N))。

(2)抓取窗口：在抓斗抓取物料时，抓斗完全张开时抓取范围在平面上的投影称为抓取窗口，图2(a)表示实际抓取窗口的场景，图2(b)表示料场按规则划分为连续分布的抓取窗口。假设堆料区域A_mn分成

个抓取窗口，对于任何抓取窗口

其包含P×Q个单元窗口。

(3)抓取子窗口：为表示三维分布特征，将任何一个抓取窗口W_pq划分为多个子窗口，每个子窗口包含U×V个单元窗口，称为抓取子窗口W_uv。位于抓取窗口中心位置的虚拟子窗口W_c称为中心子窗口。如图2(c)所示，窗口W_c为当前抓取窗口的中心窗口，整个窗口被划分为4个子窗口。实际应用中，子窗口数量划分越细，数据表达越精确。

(4)质量分布向心度(AFF_uv)：表示任何一个子窗口W_uv堆料量以及离抓取窗口中心聚集的程度。从直观上看，如果抓取窗口高度越高、物料离中心点越近，其向心度越高。

(5)滑动窗口：为寻找物料分布满足安全与特征分布较好的抓取位置，按抓取窗口的大小，每隔S行、T列动态滑动此窗口，记录滑动过程中所有窗口的p、q值及特征分布数据，此窗口称之为滑动窗口。

步骤二质量特征分布及安全关系模型；

对于任何一个抓取窗口，其包含P×Q个单元窗口，则窗口W_pq为：

其中

在W_pq窗口抓取作业时，其抓取方式如图3(1)所示，物料集中在中心一带最有利，如图3(2)所示；如果抓取窗口的物料分布为中间凹，抓取的量较少，达不到抓取效果与效率要求，如图3(3)所示；当大斜坡方向与抓斗长边方向一致时，抓取量介于(2) 与(3)之间，同时易产生动滑轮脱槽的安全风险，如图3(4)所示。

要保证每一次抓取质量满足要求，设计抓取窗口W_pq的特征参数与特征模型。为方便表达抓取窗口的物料分布情况，从以下几个特征值来考虑：1、中心平均高度。如图3(2)～3(4)所示，对于窗口W_pq来讲，其抓取分布于式(1)所在的区域，如所3(2)所示，假设在各窗口的物料分布在P_x∈[l₁，l₂]中心带，对于连续分布的干散料来讲，在总量一定时，中心带的平均高度HS_z能较好的反应物料分布好坏的一个特征。2、质量分布向心度。将抓取窗口W_pq分为多个抓取子窗口W_uv，每一个子窗口W_uv包含U×V个单元窗口。对于任何一个窗口W_uv，其中心离W_pq线的垂直距离为l_uv，且HS_z越大、l_uv越小，其质量分布向心度越好，即形成“峰”状分布，即特征值

与HS_z乘积越大，抓取效果越好，当子窗口在[1，l₁]与[l₂，P]范围时，对抓取不利。根据上述分析，定论质量分布向心度为：

AFF_uv＝α*HS_z*D_uv (式2)

其中，α值为：

对于整个抓取窗口，其质量分布向心度为所有子窗口向心度之和的平均值，由此可得：

根据式(2)，可以求出任何一个子窗口的质量分布向心度值，用于评测在此窗口在抓取时是否满足抓取效果，如果满足则实施抓取动作，否则通过滑动窗口，找到合适的抓取窗口位置。

对于任意一个抓取窗口W_pq，抓取时抓斗倾斜度越小抓取越安全，出现安全事故的机率越低，如图4所示。细颗粒散料的理想分布的情况是中间高、四周低，即P_x∈[l₁，l₂]时，抓取安全且效果好。

为分析安全关系，将整个窗口分为中心带WZ_c、周边四个子窗口WZ_k(k∈[1，4])。则对于任何一个周边子窗口WZ_k。中心带WZ_c为：

其中，WZ_c的中心点位于((1+P)/2，(yWc+1+Q/2))。抓取窗口可表示为：

用W_n表示HS_z高于各子窗口WZ_k平均高度的数量，由图4及现场情况可知，W_n＝2时最危险，W_n＝3次之，当W_n＝4时最安全。四个周边子窗口的根据抓斗长边左右两边的位置，分为WL_pq和WR_pq，即W_pq＝(WL_pq WR_pq)，假设HL_pq、HR_pq表示W_pq左右两边窗口的均高，SW_pq表示W_pq的安全特征系数，则SW_pq可表示为：

SW_pq＝β*HS_z/abs(HL_pq-HR_Pq) (式6)

式(6)中，当W_n＝2或W_n＝3，左右两边的子窗口高度相差达到某一危险值H_d时，会发生安全事故，安全情况，此时β＝0，其它情况下，β＝1。由式6可知，SW_pq值越大，越安全。

步骤三滑动窗口算法；

如图1所示的料场区域中，如果规则的划分各抓取窗口，SW_pq与AFF_pq同时符合抓取要求的W_pq并不多，从全局上看，有些窗口经过移动之后，很容易满足两个条件要求。因此，从第一个窗口W₁₁开始，每次下、右移动S、T个单元窗口位置，计算其质量向心度与安全特征值，一直到所有满足滑动的窗口计算完成。则每个滑动窗口的位置为：

则滑动窗口算法过程如下：

模型仿真与分析如下：

采集现场高程数据，并应用插值方式生成DEM数据，生成物料三维模型，根据模型，对抓取窗口的中心带高度、周边子窗口高度差及W_n等三维特征进行提取，并根据式(4) 与式(6)计算得到窗口的质量分布向心度、抓取安全系数，再按式(7)的滑动次数，在整个发货区域滑动窗口，获得整个区域的滑动窗口向心度及安全系数，并记录所有滑动窗口的数据。

在图1的DEM三维图，M＝33，N＝99，共33*99个单元窗口，设P＝8，Q＝16， U＝2，V＝4，则全场可划分为

共24个抓取窗口，每个窗口又划分为8个子窗口。设S＝2，T＝2，由式(7)可知全场抓取窗口共滑动40*14共560次。经仿真得到各滑动窗口向心度及安全系数分布。三维物料分布、向心度分布、安全系统分布、危险区域等特征数据分布如图5所示。左上图为物料分布原始数据，右上为各滑动窗口向心度分布，左下为滑动窗口安全系统分布图，右下为风险分布图。向心度分布图中，数据越大，物料分布越集中，抓取效果越好。

由图5仿真结果分布及三维物料原始分布情况对比可知，物料分布集中处，质量分布向心度AFF高，在抓取时安全性SW也较好，二者分布重合区域相似，交集部分为抓取同时满足抓取质量与安全的抓取窗口分布区域。风险的分布与安全的分布处于区域基本相反，安全风险值较高区域，尽量避免抓取工作。在实际操作过程中，需要定义安全抓取值及抓取质量向心度值后，过滤其中不满足要求的值点，余下分布区域为可安全抓取区。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (2)

1.基于DEM三维特征分布的滑动窗口检测方法，具体步骤如下，其特征在于；

步骤一，业务场景与基本定义；

在干散料码头、仓库中，散料的堆放为倾倒或抓斗抛放形成，其三维分布既连续又极不规则，工业级干散料无人值守装运业务，要求系统安全、高效，干散堆料的变化较快，要保证安全，要根据现场抓斗抓取姿态与堆料分布情况，建立三维特征分布与安全关系模型，在安全的情况下方可抓取；在抓取质量方面，对每一次抓取位的堆料分布情况建模；

根据建模需要，做如下基本定义：

(1)单元窗口：整个堆料区域划分为M×N个基本方格，称为单元窗口，每个单元窗口为边长为l的正方形，整个区域可视作一个三维矩阵A_mn，每个单元窗口A_mn的平均高度为H_mn(m∈(1…M)，n∈(1…N))；

(2)抓取窗口：在抓斗抓取物料时，抓斗完全张开时抓取范围在平面上的投影称为抓取窗口，假设堆料区域A_mn分成

个抓取窗口，对于任何抓取窗口

其包含P×Q个单元窗口；

(3)抓取子窗口：为表示三维分布特征，将任何一个抓取窗口W_pq划分为多个子窗口，每个子窗口包含U×V个单元窗口，称为抓取子窗口W_uv，位于抓取窗口中心位置的虚拟子窗口W_c称为中心子窗口，实际应用中，子窗口数量划分越细，数据表达越精确；

(4)质量分布向心度(AFF_uv)：表示任何一个子窗口W_uv堆料量以及离抓取窗口中心聚集的程度，如果抓取窗口高度越高、物料离中心点越近，其向心度越高；

(5)滑动窗口：为寻找物料分布满足安全与特征分布较好的抓取位置，按抓取窗口的大小，每隔S行、T列动态滑动此窗口，记录滑动过程中所有窗口的p、q值及特征分布数据，此窗口称之为滑动窗口；

步骤二质量特征分布及安全关系模型；

对于任何一个抓取窗口，其包含P×Q个单元窗口，则窗口W_pq为：

在W_pq窗口抓取作业时，其抓取方式中物料集中在中心一带最有利，如果抓取窗口的物料分布为中间凹，抓取的量较少，达不到抓取效果与效率要求，当大斜坡方向与抓斗长边方向一致时，抓取量介于两者之间，同时易产生动滑轮脱槽的安全风险；

要保证每一次抓取质量满足要求，设计抓取窗口W_pq的特征参数与特征模型，为方便表达抓取窗口的物料分布情况，从以下几个特征值来考虑：

1、中心平均高度，对于窗口W_pq来讲，其抓取分布于式(1)所在的区域，假设在各窗口的物料分布在P_x∈[l₁，l₂]中心带，对于连续分布的干散料来讲，在总量一定时，中心带的平均高度HS_z能较好的反应物料分布好坏的一个特征；

2、质量分布向心度，将抓取窗口W_pq分为多个抓取子窗口W_uv，每一个子窗口W_uv包含U×V个单元窗口，对于任何一个窗口W_uv，其中心离W_pq线的垂直距离为l_uv，且HS_z越大、l_uv越小，其质量分布向心度越好，即形成“峰”状分布，即特征值

与HS_z乘积越大，抓取效果越好，当子窗口在[1，l₁]与[l₂，P]范围时，对抓取不利；

根据上述分析，定论质量分布向心度为：

AFF_uv＝α*HS_z*D_uv (式2)

其中，α值为：

对于整个抓取窗口，其质量分布向心度为所有子窗口向心度之和的平均值，由此可得：

根据式(2)，可以求出任何一个子窗口的质量分布向心度值，用于评测在此窗口在抓取时是否满足抓取效果，如果满足则实施抓取动作，否则通过滑动窗口，找到合适的抓取窗口位置；

对于任意一个抓取窗口W_pq，抓取时抓斗倾斜度越小抓取越安全，出现安全事故的机率越低，细颗粒散料的理想分布的情况是中间高、四周低，即P_x∈[l₁，l₂]时，抓取安全且效果好；

为分析安全关系，将整个窗口分为中心带WZ_c、周边四个子窗口WZ_k(k∈[1，4])，则对于任何一个周边子窗口WZ_k，中心带WZ_c为：

其中，WZ_c的中心点位于((1+P)/2，(yWc+1+Q/2))，抓取窗口可表示为：

用W_n表示HS_z高于各子窗口WZ_k平均高度的数量，W_n＝2时最危险，W_n＝3次之，当W_n＝4时最安全，四个周边子窗口的根据抓斗长边左右两边的位置，分为WL_pq和WR_pq，即W_pq＝(WL_pq WR_pq)，假设HL_pq、HR_pq表示W_pq左右两边窗口的均高，SW_pq表示W_pq的安全特征系数，则SW_pq可表示为：

SW_pq＝β*HS_z/abs(HL_pq-HR_pq) (式6)

式(6)中，当W_n＝2或W_n＝3，左右两边的子窗口高度相差达到某一危险值H_d时，会发生安全事故，安全情况，此时β＝0，其它情况下，β＝1，由式6可知，SW_pq值越大，越安全；

步骤三滑动窗口算法；

如果规则的划分各抓取窗口，SW_pq与AFF_pq同时符合抓取要求的W_pq并不多，从全局上看，有些窗口经过移动之后，很容易满足两个条件要求，因此，从第一个窗口W₁₁开始，每次下、右移动S、T个单元窗口位置，计算其质量向心度与安全特征值，一直到所有满足滑动的窗口计算完成，则每个滑动窗口的位置为：

2.根据权利要求1所述的基于DEM三维特征分布的滑动窗口检测方法，其特征在于，单元窗口中定义M＝33，N＝99，共33*99个单元窗口，设P＝8，Q＝16，U＝2，V＝4，则全场可划分为

共24个抓取窗口，每个窗口又划分为8个子窗口。

Images