CN113723180B

CN113723180B - 构建服务机器人主动物品检测模型数据集的方法和系统

Info

Publication number: CN113723180B
Application number: CN202110814133.2A
Authority: CN
Inventors: 田国会; 刘少鹏
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2021-07-19
Filing date: 2021-07-19
Publication date: 2023-08-01
Anticipated expiration: 2041-07-19
Also published as: CN113723180A

Abstract

本公开公开了一种构建服务机器人主动物品检测模型数据集的方法，包括生成主动物品检测路径数据和构建模型的主动物品检测数据集；生成主动物品检测路径数据为：获取每个图像采集的坐标信息，根据坐标信息生成当前环境的图像采集地图；根据图像采集地图确定检测路径的起点和终点；根据图像采集间的动作关系，生成当前环境的图像采集拓扑地图；根据起点和终点，在图像采集拓扑地图中生成主动物品检测的路径数据；构建模型的主动物品检测数据集为：拆分生成的主动物品检测的路径数据，得到数据对，并对数据对进行筛选；对筛选后的数据对进行分类存储，构建构成模型的主动物品检测数据集。

Description

构建服务机器人主动物品检测模型数据集的方法和系统

技术领域

本公开属于机器人物品检测和导航技术领域，尤其涉及一种构建服务机器人主动物品检测模型数据集的方法和系统。

背景技术

在人类的日常生活中，物品检测是服务机器人完成物品操作的重要前提；随着人工智能等新技术的快速发展，在计算机领域物品检测的性能得到了极大的提高，其中一些性能优良的物品检测模型为机器人领域的物品检测任务提供了支持；为了更好地完成物品操作任务，服务机器人不仅要通过物品检测模型来获取物品的位置，而且能够根据物品检测的结果来移动机器人到达可以操作物品的位置，这个过程称为主动物品检测。

为了解决机器人主动物品检测问题，Phil Ammirato构建了一个主动视觉数据集(Active Vision Dataset Benchmark，AVDB)，基于强化学习的方法来训练主动物品检测模型；AVDB数据集包含了大量从真实家庭场景中拍摄的RGB-D 图像，用来模拟一个服务机器人在家庭场景中运动时捕获的图像；这些图像包含了一系列的操作物品，用来构成不同的主动物品检测任务。

发明人发现，AVDB数据集主要是用于训练基于强化学习的物品主动检测模型，然而这种方式存在如下问题：(1)在强化学习的训练过程中，被训练的智能体需要在AVDB数据中不断的探索和尝试，目的是学习一个较好的动作策略来指导机器人主动靠近目标物品；然而，这个探索和尝试的过程是非常漫长的，并不是每一轮主动物品检测任务都能够获得成功，这造成了主动物品检测模型训练时间长、效率低、准确率差的结果；(2)在每一个主动物品检测任务中， AVDB数据集没有给出任务结束的位置，也就是最佳的物品观测位置，这使得AVDB 数据集训练出的主动物品检测模型不能够在恰当物品操作的位置使机器人停止运动；以上两点对于机器人主动物品检测性能的提高带来了极大的困难。

发明内容

本公开为了解决上述问题，提出了一种构建服务机器人主动物品检测模型数据集的方法和系统，本公开能够生成大量高效的主动物品检测路径数据，这些路径数据不仅可以提高主动物品检测模型的训练效率和性能，而且其中每条路径包含的任务结束位置可以让模型具备在合适的位置结束主动物品检测的能力。

为了实现上述目的，第一方面，本公开提出了一种构建服务机器人主动物品检测模型数据集的方法，采用如下技术方案：

构建服务机器人主动物品检测模型数据集的方法，包括生成主动物品检测路径数据和构建模型的主动物品检测数据集；

生成主动物品检测路径数据为：

获取每个图像采集的坐标信息，根据坐标信息生成当前环境的图像采集地图；根据图像采集地图确定检测路径的起点和终点；

根据图像采集间的动作关系，生成当前环境的图像采集拓扑地图；

根据起点和终点，在图像采集拓扑地图中生成主动物品检测的路径数据；

构建模型的主动物品检测数据集为：

拆分生成的主动物品检测的路径数据，得到数据对，并对数据对进行筛选；

对筛选后的数据对进行分类存储，构建模型的主动物品检测数据集。

进一步的，从AVDB数据集中获取每个图像采集的坐标信息，根据坐标信息生成当前环境的图像采集地图，所述采集地图反应不同图像采集点之间的位置关系。

进一步的，基于AVDB数据集标注信息中的动作关系，采用网络分析工具NetworkX，生成当前环境的图像采集拓扑地图。

进一步的，基于图像采集地图，选取一张图片作为一条路径的起点，对该图片视野内的图像采集点进行图像收集，从收集到的图像中筛选出包含目标物品的采集图片，根据这些采集图片中目标物品的位置和标记框的大小来筛选出目标物品最佳观测位置对应的图片，该图片作为当前主动物品检测路径的终点。

进一步的，在一个主动物品检测路径生成的过程中，已知路径的起点和终点，在当前环境的图像采集拓扑地图中使用NetworkX中的Dijkstra路径规划算法生成主动物品检测的路径数据。

进一步的，将生成的主动物品检测路径数据进行拆分，拆分成“键-值”的形式。

进一步的，对所有的路径完成拆分后，形成数据对，根据数据对的键进行数据整理。

进一步的，当相同的键仅对应一种值时，保留该数据对；当相同的键对应多种值时，统计出不同值出现的频次，保留出现频次最大的值对应的数据对，删除其他数据对。

进一步的，根据生成的数据对，按照不同采集环境进行分类存储，构成面向分类模型的主动物品检测数据集。

为了实现上述目的，第二方面，本公开还提出了一种构建服务机器人主动物品检测模型数据集的系统，采用如下技术方案：

构建服务机器人主动物品检测模型数据集的系统，包括主动物品检测路径数据生成模块和主动物品检测数据集构建模块：

所述主动物品检测路径数据生成模块，被配置为：

所述主动物品检测数据集构建模块被配置为：

对筛选后的数据对进行分类存储，构建构成模型的主动物品检测数据集。

与现有技术相比，本公开的有益效果为：

1、本公开可以在现有数据集的基础上，通过提出的高效主动物品检测路径数据生成方法和面向分类模型的主动物品检测数据生成方法来自动的生成用于训练主动物品检测模型的数据，避免了人工采集数据和人工标注数据这两项繁重的工作，大大提高了数据集构建的效率和成本。

2、本公开能够基于生成的图像采集点地图和图像采集拓扑地图来生成主动物品检测路径数据，这些路径数据可以提高基于强化学习的主动物品检测模型的训练效率，让智能体更加快速地学习到主动物品检测的策略。

3、本公开中，在生成的主动物品检测路径的基础上，通过路径数据拆分、数据对整理、数据对统计和筛选等步骤生成了可用于训练分类模型的数据集；该数据集为使用分类模型解决主动物品检测问题提供了数据支持，为主动物品检测的研究提供了一种新的思路。

附图说明

构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。

图1为本公开实施例1的主动物品检测路径数据生成流程图；

图2为本公开实施例1的图像采集点地图示意图；

图3为本公开实施例1的路径终点生成示意图；

图4为本公开实施例1的图像采集拓扑地图示意图；

图5为本公开实施例1的主动物品检测路径示意图；

图6为本公开实施例1的主动物品检测数据生成方法的流程图。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

实施例1：

如图1和图6所示，本实施例提供了一种构建服务机器人主动物品检测模型数据集的方法，包括生成主动物品检测路径数据和构建模型的主动物品检测数据集；

如图1所示，生成主动物品检测路径数据为：

从AVDB数据集中获取有用的数据；在本实施例中，AVDB数据集包含了从 14个家庭环境中采集到的稠密RGB-D图片，这些数据可以模拟机器人基于6种不同的动作在各个的环境里运动和获取不同观测的情况；优选的，6种动作的类型和范围分别是：前进30cm、后退30cm、向右移动30cm、向左移动30cm、顺时针旋转30°和逆时针旋转30°；AVDB数据集的标注信息包含了相邻两个采集图片的位置关系，格式如下：

{

图片1：{动作1：图像2，动作2：图像3，……}，

图片n：{……}，

……

}。

在本实施例中，从AVDB数据集中选取一张图片I，并从中选取一个物品O作为目标物品。

在本实施例中，以选好的I和O作为要生成的路径数据的起点，表示为(I， O)。

在本实施例中，生成I所在环境的图像采集点地图；该图像采集点地图生成方法采用AVDB数据集网站公开的现有技术实现，既采用现有代码实现；为了更好的对本实施例进行说明，如图2所示，给出了一个生成的图像采集点地图样例，其中黑点表示图像采集的位置201，以图像采集为圆心，每旋转30°采集图像一次，射线表示图像采集的方向203；环境中的障碍物202(如桌子)用方框表示。

在本实施例中，以(I，O)为路径起点，来确定路径的终点。

具体地，如图3所示，图3中304为(I，O)的图像采集位置，图3中301 为I，302为O；以图3中304的观测方向生成一个圆心角为60°的扇形投影305；收集图3中305包含的所有图片，从中筛选出包含O且O的面积较大并位于图像中心区域的图片I’303。所以(I，O)为起点的路径终点为(I’，O)306。

生成图像采集拓扑地图；具体地，根据采集到图片之间的位置关系，使用NetworkX工具生成当前环境的图像采集拓扑地图M；图4给出了一个生成的图像采集拓扑地图的样例，其中每个点表示每一张采集到的图片，如果两个点之间存在连线，说明这两个点之间存在位置关系，即机器人采用某个动作就可以从当前的点到达相连的一个点。

在本实施例中，已知M、(I，O)和(I’，O)，可利用NetworkX中的Dijkstra 路径规划算法来生成具有不同长度的路径集合P。

生成主动物品检测路径；具体地，对P进行筛选，从中找出合适的路径作为最终的主动物品检测路径数据。筛选规则有两条：①确保每条路径中所有的图片都要包含目标物品；②路径的长度要在P中是最短的；图4给出了一条经过筛选后的主动物品检测路径，图4白色且带有编号的点表示了该路径顺序，0表示起点，9表示终点；图5是每个路径点代表的图片，以及两个路径点之间的动作关系；最终，每条生成的主动物品检测路径的数据格式为：{[图片1，动作1]， [图片2，动作2]，……，[图片n，结束]}，同时，每条路径对应一个O。

如图6所示，构建模型的主动物品检测数据集为：

在本实施例中，获取主动物品检测路径数据；并拆分路径数据。

具体地，当路径数据为{[图片1，动作1]，[图片2，动作2]，……，[图片n，结束]}且目标物品为时O，将此路径拆分为{[(图片1，O)：动作1]，[(图片2，O，)：动作2]，……，[(图片n，O)：结束]}的格式，其中每个元素(如 [(图片1，O)：动作1])称为一个数据对，其中“(图片1，O)”为键，“动作1”为值。

整理数据对；具体地，将所有生成的路径数据进行拆分生成数据对，按照相同的键对数据对进行分类合并，合并后的格式为：{(图片1，O)：[动作1，动作2，……]，(图片2，O)：[动作1，动作2，……]，……，(图片n，O)： [动作1，动作2，……]}。

在本实施例中，数据对统计，统计出每个键对应值的类型和不同值出现的频数。

在本实施例中，判断数据对，当一个数据对中的键只包含一种类型的值时，保留这个数据对。

在本实施例中，筛选数据，当一个数据对中的键包含多种类型的值时，只保留出现频次最高的那个值，其他的值删除掉，然后保留此数据对。

在本实施例中，整理数据；对保留下的数据对进行整理，保存为如下格式： {(图片1，O，动作1)，(图片2，O，动作2)，……，(图片n，O，动作n)}。

在本实施例中，按照上述过程，将生成的数据对按照不同采集环境进行分类存储，构成面向分类模型的主动物品检测数据集。

实施例2：

本实施例提供了一种构建服务机器人主动物品检测模型数据集的系统，包括主动物品检测路径数据生成模块和主动物品检测数据集构建模块：

所述主动物品检测路径数据生成模块，被配置为：

所述主动物品检测数据集构建模块被配置为：

以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。

Claims

1.构建服务机器人主动物品检测模型数据集的方法，其特征在于，包括生成主动物品检测路径数据和构建模型的主动物品检测数据集；

生成主动物品检测路径数据为：

构建模型的主动物品检测数据集为：

对筛选后的数据对进行分类存储，构建模型的主动物品检测数据集；

基于AVDB数据集标注信息中的动作关系，采用网络分析工具NetworkX，生成当前环境的图像采集拓扑地图；

基于图像采集地图，选取一张图片作为一条路径的起点，对该图片视野内的图像采集点进行图像收集，从采集点中筛选出包含目标物品的采集图片，根据这些采集图片中目标物品的位置和标记框的大小来筛选出目标物品最佳观测位置对应的图片，该图片作为当前主动物品检测路径的终点；

将生成的主动物品检测路径数据进行拆分，拆分成“键-值”的形式；

对所有的路径完成拆分后，形成数据对，根据数据对的键进行数据整理；

当相同的键仅对应一种值时，保留该数据对；当相同的键对应多种值时，统计出不同值出现的频次，保留出现频次最大的值对应的数据对，删除其他数据对。

2.如权利要求1所述的构建服务机器人主动物品检测模型数据集的方法，其特征在于，从AVDB数据集中获取每个图像采集的坐标信息，根据坐标信息生成当前环境的图像采集地图，所述采集地图反应不同图像采集点之间的位置关系。

3.如权利要求1所述的构建服务机器人主动物品检测模型数据集的方法，其特征在于，在一个主动物品检测路径生成的过程中，已知路径的起点和终点，在当前环境的图像采集拓扑地图中使用NetworkX中的Dijkstra路径规划算法生成主动物品检测的路径数据。

4.如权利要求1所述的构建服务机器人主动物品检测模型数据集的方法，其特征在于，根据生成的数据对，按照不同采集环境进行分类存储，构成面向分类模型的主动物品检测数据集。

5.构建服务机器人主动物品检测模型数据集的系统，其特征在于，包括主动物品检测路径数据生成模块和主动物品检测数据集构建模块：

所述主动物品检测路径数据生成模块，被配置为：

所述主动物品检测数据集构建模块被配置为：

对筛选后的数据对进行分类存储，构建构成模型的主动物品检测数据集；

对所有的路径完成拆分后，形成数据对，根据数据对的键进行数据整理；当相同的键仅对应一种值时，保留该数据对；当相同的键对应多种值时，统计出不同值出现的频次，保留出现频次最大的值对应的数据对，删除其他数据对。