CN110248093B - 一种数据采集方法、系统和终端设备 - Google Patents

Abstract

本发明提供一种数据采集方法、系统和终端设备，方法包括：获取需要拍照物体的模型文件，所述模型文件包括：3D信息和纹理贴图信息；制备拍照场景，所述拍照场景包括：模型储备区，用于放置需要拍照物体的模型；模型生成区；用于放置生成的模拟场景中物体的模型；模型储备区和模型生成区下方均设置平面模型作为底座；在模型生成区生成至少一个数量和/或至少一个种类的模拟场景中物体的模型；检测模型生成区的模拟场景中物体的模型是否静止，若静止，则开始拍照；拍照生成图片并生成对应的标签文件，标签文件包括图片中每一个物体的6维姿态。成本低廉，调试方便，更改灵活性高，效率高，克服了人工测量时间和资金成本高，误差大等缺点。

Description

一种数据采集方法、系统和终端设备

技术领域

本发明涉及数据采集技术领域，尤其涉及一种数据采集方法、系统和终端设备。

背景技术

随着信息时代的发展，电子商务已经与每个人息息相关，大多数人都有在网上购物的习惯。随之带来的是物流行业的快速兴起，物流现在已经开始逐渐告别纯粹人工分拣的时代，机器分拣已经成为未来的趋势。如阿里巴巴的菜鸟仓库，京东的智能仓储，都在逐渐用机器的方式来代替人类。机器分拣相比于人，有错误率低，可24小时不间断工作，成本低，智能化高等特点。除了物流行业，在工业生产中，比如3C产业环境、机床加工产业需要从上游供应链获取相应的配件，而这些配件有时并不是严格排列好的，而是分散堆叠在一个备货区中。这时为了能够正确地将零件安置在生产线上，一个比较好的解决方案，是用机械臂加机械手完成，这类似于人类的抓取。但是要想实现机械手准确抓取，有一个前提条件就是系统必须获取被抓物体的6维姿态，进而根据抓取算法进行抓取。

获取被抓物体姿态的方法有很多，如点云算法、深度相机、多目相机等。随着今年深度学习的发展，尤其是深度学习在视觉领域取得重大成功，用深度学习方法解算物体6维姿态成了一个新的、有潜力的方法。

用深度学习方法训练神经网络，使得神经网络有辨别图片中物体6维姿态的能力，最典型的做法就是使用监督学习方法。也即，用大量标记好图片中物体6维姿态信息的图片去训练神经网络，经过大量的迭代学习后，神经网络就拥有了辨别图片中物体6维姿态的能力。

但是，训练神经网络需要给网络喂入大量的有标签数据(即，包含了物体6维姿态信息的图片)，这个数据量通常是百万级别以上的。传统的方式是用人工测量，但是面对如此大的数据量，传统的获取方法就有了不可实现性。

发明内容

本发明为了解决现有的人工无法测量大的数据量的带标签数据图片数据集的问题，提供一种数据采集方法、系统和终端设备。

为了解决上述问题，本发明采用的技术方案如下所述：

一种数据采集方法，包括如下步骤：S1：获取需要拍照物体的模型文件，所述模型文件包括：3D信息和纹理贴图信息；S2：制备拍照场景，所述拍照场景包括：模型储备区，用于放置所述需要拍照物体的模型；模型生成区；用于放置生成的模拟场景中物体的模型；所述模型储备区和所述模型生成区下方均设置平面模型作为底座；S3：在所述模型生成区生成至少一个数量和/或至少一个种类的所述模拟场景中物体的模型；S4：检测所述模型生成区的所述模拟场景中物体的模型是否静止，若静止，则开始拍照；S5：所述拍照生成图片并生成对应的标签文件，所述标签文件包括所述图片中每一个物体的6维姿态。

在本发明的一种实施例中，还包括如下步骤：S6：在所述拍照结束后，删除所述模型生成区的所述模拟场景中物体的模型，重新生成所需要的模拟场景中的模型。在所述模型储备区和所述模型生成区下方设置至少三个平面模型的所述底座。所述模拟场景中物体的模型的所述数量和种类是预先设置的；步骤S5中所述拍照生成所述图片的数量和拍照区域范围是预先设置的。所述图片和所述对应的标签文件在同一个文件夹中。所述图片的格式和/或分辨率是预先设置的。采用Unity 3D软件处理所述需要拍照物体的模型文件；通过在所述Unity 3D软件中导入Litjson插件使在所述拍照每生成一张所述图片时生成对应的.json格式的所述标签文件。

本发明还提供一种数据采集系统，包括：模型文件获取单元，用于获取需要拍照物体的模型文件，所述模型文件包括：3D信息和纹理贴图信息；制作拍照场景单元，用于制备拍照场景，所述拍照场景包括：模型储备区，用于放置所述需要拍照物体的模型；模型生成区；用于放置生成的模拟场景中物体的模型；所述模型储备区和所述模型生成区下方均设置平面模型作为底座；处理器单元，用于在所述模型生成区生成至少一个数量和/或至少一个种类的所述模拟场景中物体的模型；检测所述模型生成区的所述模拟场景中物体的模型是否静止，若静止，则开始拍照；所述拍照生成图片并生成对应的标签文件，所述标签文件包括所述需要拍照物体的6维姿态。

本发明又提供一种数据采集终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任一所述方法的步骤。

本发明再提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。

本发明的有益效果为：提供一种数据采集方法、系统和终端设备，实现快速、灵活地生成图片数据集，数据集中每个照片都对应标签文件，标签文件记录照片中物体的6维姿态信息。本发明成本低廉，调试方便，更改灵活性高，尤其是效率很高，克服了人工测量时间和资金成本高，误差大等缺点。

附图说明

图1是本发明实施例中一种数据采集方法示意图。

图2是本发明实施例中又一种数据采集方法示意图。

图3是本发明实施例中数据采集系统示意图。

图4是本发明实施例中数据采集终端设备的示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

姿态是描述一个物体在空间中旋转状态的术语。常用的姿态描述方法有欧拉角、轴角、四元数等。不同的描述方法各有优缺点，如欧拉角是不可传递的，旋转的顺序影响旋转的结果，不同的应用又可能适用于不同的旋转顺序，旋转顺序无法统一等。四元数描述法的优点有：1.鲁棒性更好，不会出现万向节锁死；2.使用简单；3.高效，不引起歧义。本申请所有的姿态都基于四元数描述。

6维姿态是除了姿态外，另外增加了物体三维坐标信息的术语。6维姿态可以唯一确定物体在空间中的位置和旋转状态。

.json文件是一种源于JAVASCRIPT的文本记录格式文件，该格式具有语法清晰，结构简单，表达能力强等优点，适合做数据集标签。

实施例1

如图1所示，本发明提供一种数据采集方法，包括如下步骤：

S1：获取需要拍照物体的模型文件，所述模型文件包括：3D信息和纹理贴图信息；

S2：制备拍照场景，所述拍照场景包括：

模型储备区，用于放置所述需要拍照物体的模型；

模型生成区；用于放置生成的模拟场景中物体的模型；

所述模型储备区和所述模型生成区下方均设置平面模型作为底座；

S3：在所述模型生成区生成至少一个数量和/或至少一个种类的所述模拟场景中物体的模型；

在本发明的一种实施例中，模型的所述数量和种类是预先设置的。

S4：检测所述模型生成区的所述模拟场景中物体的模型是否静止，若静止，则开始拍照；

本发明找到了堆叠物体稳定堆叠的判断依据和相应的使得系统稳定的模型框架。

S5：所述拍照生成图片并生成对应的标签文件，所述标签文件包括所述需要拍照物体的6维姿态。

在本发明的另一种实施例中，拍照生成所述图片的数量和拍照区域范围是预先设置的；图片的格式和/或分辨率是预先设置的。即可以生成多种格式、分辨率的图片。

如图2所示，本发明的方法还包括如下步骤：

S6：在所述拍照结束后，删除所述模型生成区的所述模拟场景中物体的模型，重新生成所需要的模拟场景中的模型。

在本发明的一种实施例中，在模型储备区和模型生成区下方设置至少三个平面模型的底座，是为了防止模型文件穿透底座，造成系统检测不到模型生成区的模拟场景中物体的模型是否静止。

实施例2

本发明的方法可以基于Unity 3D软件处理需要拍照物体的模型文件。

具体的，包括如下流程：

1.获取需要拍照物体的模型文件：分两种情况：

情况1：已经有需要拍照物体的模型文件。

如果模型文件中已经包含有纹理贴图信息，则模型文件已备好。如果该模型文件仅包含3D信息，且需要考虑模型纹理贴图时，则导入Cinema4D/Blender，进行贴图纹理编辑，最后导出，导出格式需要符合Unity3D的要求。

情况2：若没有备好需要拍照物体的模型文件。

可以在3D软件中编辑制作模型文件。推荐使Cinema4D/Blender/Solidworks等，本发明使用的是Cinema4D。模型文件制作完成后，后续操作同情况1。

在本发明的一种实施例中，模型文件可以是obj文件，一般搭配一个.mtl文件作为材质纹理文件。

2.将准备好的模型文件导入Unity3D软件中。Unity3D支持多种格式导入，推荐使用.FBX，这也是Unity3D官方推荐使用的格式。本发明使用的是.FBX格式。

3.在Unity3D中制作拍照场景。拍照场景分为两个区域：模型储备区、模型生成区。模型储备区放置要拍照的所有模型文件，模型生成区在未运行时为空。两个区域都有平面模型作为底座。因为可能要模拟堆叠场景的物体模型，所以生成区要做的大些，并且为了防止模型文件穿透底座，造成系统检测不到模型生成区的模型已稳定，进而不开始拍照，所以底座下方放置另外两个同样的底座。

4.在Visual Studio中，用C#编写控制脚本。因为要用.json文件作为标签文件，所以需要安装Litjson插件。Litjson插件是一款Visual Studio插件，可以使得C#拥有编辑.json文件的能力。

步骤a.根据用户输入参数，在系统开始运行后在模型生成区生成相应数量的，种类的模型。

步骤b.脚本检测场景中是否所有对象都已静止，若全部静止，则根据用户输入所需图片数量，拍照区域范围，开始拍照。

步骤c.拍照过程中，每生成一张图片，都产生一个对应的.json标签文件，json格式的标签文件记录了该图片中每一个物体的6维姿态。

步骤d.若用户要求多组堆叠情况，则上一组拍照数量满足要求后，删除所有模型生成区的模型，重置系统状态。

步骤4.运行系统。在对应文件夹中生成图片和对应的.json标签文件。

本发明基于Unity3D，在工作流程中提出了基于Unity3D的生成数据集的场景，该场景具有方便调试，生成效率高等特点。可以实现快速、灵活地生成图片数据集。数据集中每个照片都对应一个.json文件，记录照片中所有物体的6维姿态信息。本发明成本低廉，调试方便，更改灵活性高，尤其是效率很高，克服了人工从测量时间成本高，资金成本高，误差大等缺点。

实施例3

如图3所示，本发明还提供一种数据采集系统，包括：

模型文件获取单元，用于获取需要拍照物体的模型文件，所述模型文件包括：3D信息和纹理贴图信息；

制作拍照场景单元，用于制备拍照场景，所述拍照场景包括：

模型储备区，用于放置所述需要拍照物体的模型；

模型生成区；用于放置生成的模拟场景物体的模型；

所述模型储备区和所述模型生成区下方均设置平面模型作为底座；

处理器单元，用于在所述模型生成区生成至少一个数量和/或至少一个种类的所述模拟场景物体的模型；检测所述模拟场景物体的模型是否静止，若静止，则开始拍照；所述拍照生成图片并生成对应的标签文件，所述标签文件包括所述需要拍照物体的6维姿态。

在本发明的一种实施例中，处理器还可以执行如下程序：在所述拍照结束后，删除所述模型生成区的所述模拟场景中物体的模型，重新生成所需要的模拟场景中的模型。

可以理解的是，上述各个单元是功能限定的，具体采用什么形式的硬件结构不受限制，采用什么样的软件形式也不受限制。

实施例4

如图4所示，本发明一实施例提供的数据采集终端设备的示意图。该实施例的数据采集终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如获取需要拍照物体的模型文件的程序。所述处理器执行所述计算机程序时实现上述各个数据采集方法实施例中的步骤，例如图1所示的步骤S1-S5。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各单元的功能。

示例性的，所述计算机程序可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述数据采集终端设备中的执行过程。例如，所述计算机程序可以被分割成：模型文件获取单元，用于获取需要拍照物体的模型文件，所述模型文件包括：3D信息和纹理贴图信息；制作拍照场景单元，用于制备拍照场景，所述拍照场景包括：模型储备区，用于放置所述需要拍照物体的模型；模型生成区；用于放置生成的模拟场景物体的模型；所述模型储备区和所述模型生成区下方均设置平面模型作为底座；处理器单元，在所述模型生成区生成至少一个数量和/或至少一个种类的所述模拟场景物体的模型；检测所述模拟场景物体的模型是否静止，若静止，则开始拍照；所述拍照生成图片并生成对应的标签文件，所述标签文件包括所述需要拍照物体的6维姿态。

所述数据采集终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述数据采集终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是数据采集终端设备的示例，并不构成对数据采集终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述数据采集终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述数据采集终端设备的控制中心，利用各种接口和线路连接整个数据采集终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述数据采集终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

实施例5

所述数据采集终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种数据采集方法，其特征在于，包括如下步骤：

S1：获取需要拍照物体的模型文件，所述模型文件包括：3D信息和纹理贴图信息；

S2：制备拍照场景，所述拍照场景包括：

模型储备区，用于放置所述需要拍照物体的模型；

模型生成区；用于放置生成的模拟场景中物体的模型；

所述模型储备区和所述模型生成区下方均设置平面模型作为底座；

S3：在所述模型生成区生成至少一个数量和/或至少一个种类的所述模拟场景中物体的模型；

S4：检测所述模型生成区的所述模拟场景中物体的模型是否静止，若静止，则开始拍照；

S5：所述拍照生成图片并生成对应的标签文件，所述标签文件包括所述图片中每一个物体的6维姿态。

2.如权利要求1所述的数据采集方法，其特征在于，还包括如下步骤：

S6：在所述拍照结束后，删除所述模型生成区的所述模拟场景中物体的模型，重新生成所需要的模拟场景中的模型。

3.如权利要求1所述的数据采集方法，其特征在于，在所述模型储备区和所述模型生成区下方设置至少三个平面模型的所述底座。

4.如权利要求1所述的数据采集方法，其特征在于，步骤S2中，所述模拟场景中物体的模型的所述数量和种类是预先设置的；步骤S5中所述拍照生成所述图片的数量和拍照区域范围是预先设置的。

5.如权利要求1所述的数据采集方法，其特征在于，所述图片和所述对应的标签文件在同一个文件夹中。

6.如权利要求1所述的数据采集方法，其特征在于，所述图片的格式和/或分辨率是预先设置的。

7.如权利要求1-6任一所述的数据采集方法，其特征在于，采用Unity3D软件处理所述需要拍照物体的模型文件；通过在所述Unity3D软件中导入Litjson插件使在所述拍照每生成一张所述图片时生成对应的.json格式的所述标签文件。

8.一种数据采集系统，其特征在于，包括：

模型文件获取单元，用于获取需要拍照物体的模型文件，所述模型文件包括：3D信息和纹理贴图信息；

制作拍照场景单元，用于制备拍照场景，所述拍照场景包括：

模型储备区，用于放置所述需要拍照物体的模型；

模型生成区；用于放置生成的模拟场景中物体的模型；

所述模型储备区和所述模型生成区下方均设置平面模型作为底座；

处理器单元，用于在所述模型生成区生成至少一个数量和/或至少一个种类的所述模拟场景中物体的模型；检测所述模型生成区的所述模拟场景中物体的模型是否静止，若静止，则开始拍照；所述拍照生成图片并生成对应的标签文件，所述标签文件包括所述需要拍照物体的6维姿态。

9.一种数据采集终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一所述方法的步骤。

Images