CN111951259A - 目标检测数据集生成方法、装置、系统和电子设备 - Google Patents

Abstract

本发明提供了一种目标检测数据集生成方法、装置、系统和电子设备，通过获取所述采集台采集的多张不同角度的工件的第一图片；提取每张所述第一图片中的工件图像；把所述工件图像放入预存的背景图片中，得到第二图片；根据工件图像的位置和大小在所述第二图片中生成边框信息和标签；从而可快速生成目标检测数据集，工作效率高。

Description

目标检测数据集生成方法、装置、系统和电子设备

技术领域

本发明涉及人工智能技术领域，尤其涉及一种目标检测数据集生成方法、装置、系统和电子设备。

背景技术

在人工智能领域，基于深度学习的目标检测算法是近年来比较热门的研究课题。在把目标检测算法应用到实际工业时，因为产品迭代周期短和数据集的短缺，需要为经常更新的目标检测物体建立相对应的数据集。一般的建立目标检测的数据集的过程主要有三步：

第一步，将待检测物体放在不同的背景环境下，从尽可能多的不同角度拍照；

第二步，人工地用标签软件将待检测目标物从放置台背景用四方形框出并标签；

第三步，将被编辑的图片保存为二进制文件，形成数据集，方便以后检测算法读入。

通常情况下，为了保证训练出来模型的鲁棒性，同一个被检测的物体要有数千张到数万张不等的数据集。用人工的方法来逐张地采集照片并对数据分割和标签，会耗费大量的时间和精力，且效率太低不能满足工业产品特别是电子产品更新换代的要求。

发明内容

鉴于上述现有技术的不足之处，本申请实施例的目的在于提供一种目标检测数据集生成方法、装置、系统和电子设备，其生成目标检测数据集的效率高。

第一方面，本申请实施例提供一种目标检测数据集生成方法，应用于数据采集装置,所述数据采集装置包括采集台，所述采集台包括可旋转的转台和设置在所述转台上方且角度可调的摄像机，所述目标检测数据集生成方法包括步骤：

获取所述采集台采集的多张不同角度的工件的第一图片；

提取每张所述第一图片中的工件图像；

把所述工件图像放入预存的背景图片中，得到第二图片；

根据工件图像的位置和大小在所述第二图片中生成边框信息和标签。

所述的目标检测数据集生成方法中，所述通过所述采集台获取多张不同角度的工件的第一图片的步骤包括：

向所述采集台发送控制指令，以控制所述采集台的转台转动多个不同的角度，并在转台的每个角度下，控制所述摄像机从多个不同角度拍摄工件的第一图片。

所述的目标检测数据集生成方法中，所述提取每张所述第一图片中的工件图像的步骤之后，还包括：

对每个所述工件图像进行预处理，从而由每个所述工件图像生成多个角度和/或大小不同的工件图像。

进一步的，所述对每个所述工件图像进行预处理，从而由每个所述工件图像生成多个角度和/或大小不同的工件图像的步骤包括：

对所述工件图像进行旋转处理：把所述工件图像转动多个不同角度，每转动一个角度则保存为一个新的工件图像；

和/或

对所述工件图像进行缩放处理：把所述工件图像按多个缩放比例值进行缩放，每缩放一次则保存为一个新的工件图像。

所述的目标检测数据集生成方法中，所述把所述工件图像放入预存的背景图片中，得到第二图片的步骤包括：

把同一个工件图像在不同位置放入所述背景图片，从而每个工件图像对应得到多个第二图片。

第二方面，本申请实施例提供一种目标检测数据集生成装置，包括：

获取模块，用于获取所述采集台采集的多张不同角度的工件的第一图片；

提取模块，用于提取每张所述第一图片中的工件图像；

合成模块，用于把所述工件图像放入预存的背景图片中，得到第二图片；

生成模块，用于根据工件图像的位置和大小在所述第二图片中生成边框信息和标签。

一些实施方式中，所述的目标检测数据集生成装置，还包括：

预处理模块，用于对每个所述工件图像进行预处理，从而由每个所述工件图像生成多个角度和/或大小不同的工件图像。

一些实施方式中，所述合成模块在把所述工件图像放入预存的背景图片中以得到第二图片时，

把同一个工件图像在不同位置放入所述背景图片，从而每个工件图像对应得到多个第二图片。

第三方面，本申请实施例提供一种电子设备，其包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行所述的目标检测数据集生成方法的步骤。

第四方面，本申请实施例提供一种目标检测数据集生成系统，包括采集台和处理装置，所述采集台与所述处理装置电性连接；

所述采集台包括可旋转的转台和设置在所述转台上方且角度可调的摄像机；所述摄像机用于拍摄放置在所述转台上的工件的第一图片；

所述处理装置用于控制所述采集台采集多张不同角度的工件的第一图片，并获取多张所述第一图片，提取每张所述第一图片中的工件图像，把所述工件图像放入预存的背景图片中以得到第二图片，根据工件图像的位置和大小在所述第二图片中生成边框信息和标签。

有益效果：

本申请实施例提供的一种目标检测数据集生成方法、装置、系统和电子设备，通过获取所述采集台采集的多张不同角度的工件的第一图片；提取每张所述第一图片中的工件图像；把所述工件图像放入预存的背景图片中，得到第二图片；根据工件图像的位置和大小在所述第二图片中生成边框信息和标签；从而可快速生成目标检测数据集，工作效率高。

附图说明

图1为本申请实施例提供的目标检测数据集生成方法的流程图。

图2为本申请实施例提供的目标检测数据集生成装置的模块图。

图3为本申请实施例提供的电子设备的结构示意图。

图4为本申请实施例提供的目标检测数据集生成系统的模块图。

图5为本申请实施例提供的示例性的采集台的结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参阅图1，本申请实施例还提供一种目标检测数据集生成方法，应用于数据采集装置,数据采集装置包括采集台，采集台包括可旋转的转台和设置在转台上方且角度可调的摄像机，目标检测数据集生成方法包括步骤：

A1.获取采集台采集的多张不同角度的工件的第一图片；

A2.提取每张第一图片中的工件图像；

A3.把工件图像放入预存的背景图片中，得到第二图片；

A4.根据工件图像的位置和大小在第二图片中生成边框信息和标签。

其中，步骤A1包括：向采集台发送控制指令，以控制采集台的转台转动多个不同的角度，在转台的每个角度下，控制摄像机从多个不同角度拍摄工件的第一图片。

以图5所示的采集台为例，该采集台，包括基座1、设置在基座1上的转台2、设置在转台2上方的摄像机3，以及用于调整摄像机3的拍摄角度的调整机构4；转台2用于放置待拍照的工件90，摄像机3用于拍摄该工件90的图片。其中，调整机构4包括圆弧形滑轨4.1和驱动装置4.2，该圆弧形滑轨4.1设置在纵向平面（即垂直于转台2上表面的平面）内且其圆心与转台2上表面的转动中心重合，摄像机3滑动设置在圆弧形滑轨4.1上，且其光轴沿圆弧形滑轨4.1的径向设置，驱动装置4.2用于驱动摄像机3沿圆弧形滑轨4.1移动。

具体的，把工件90放置在转台2上后，可控制转台2按照预设的多个角度依次进行转动，或者随机生成多个转动角度并使转台2按照这些随机的转动角度依次进行转动；转台2每转动一次后暂停转动，然后控制摄像机3按照预设的多个角度依次进行拍摄，或者随机生成多个拍摄角度并使摄像机3按照这些随机生成的拍摄角度依次进行拍摄。若在一次采集作业中，转台2转动了N个角度，每个角度下摄像机3从M个不同角度进行拍摄，将得到N*M张第一图片，当N和M足够大时，可得到足够数量的数据来形成目标检测数据集。且由于该拍摄过程除了放置工件的步骤需要人工进行，其它步骤完全是自动化的，与人工逐张地采集照片的方式相比，劳动强度更小，工作效率更高。

事实上，当采用图5的采集台时，在采集第一图片时，还可以先控制摄像机3按照多个预设的位置在圆弧形滑轨4.1上依次移动，或者按照多个随机生成的位置在圆弧形滑轨4.1上依次移动；摄像机3每移动一次后暂停移动，然后控制转台2按照预设的多个角度依次进行转动，或者按照多个随机生成的角度依次进行转动，转台2每转动一次，摄像机3就拍摄一次。

此外，当采用图5的采集台时，还可以使转台2以预设转速转动，使摄像机3以预设速度在圆弧形滑轨4.1上移动，摄像机3在移动的同时以预设的频率进行连续拍照。与前述的间断式的采集方式相比，该方法的连续性更好，效率更高。

其中，在步骤A2中，可采用现有技术中的图像处理方法把工件90的图像从第一图片中分割提取出来，如使用基于图像梯度的分割方法进行提取(第一图片包含了旋转台和目标物体，旋转台平面是均匀平面，所以这部分的图像梯度为零，目标物体的有自己的形状，纹理所以它的图形梯度不为零，由此可将目标物体从旋转台中分割出来)。

在一些优选的实施方式中，步骤A2之后，还包括：

A5.对每个工件图像进行预处理，从而由每个工件图像生成多个角度和/或大小不同的工件图像。

其中，进行的预处理包括旋转处理和/或缩放处理；

旋转处理为：把工件图像转动多个不同角度，每转动一个角度则保存为一个新的工件图像；

缩放处理为：把工件图像按多个缩放比例值进行缩放，每缩放一次则保存为一个新的工件图像。

通过预处理，可用一个工件图像生成多个不同大小的工件图像，从而可成倍地增加目标检测数据集的数据量，进一步提高工作效率。其中，进行旋转处理时可根据多个预设旋转角度进行转动，也可以随机生成多个旋转角度进行转动；进行缩放处理时，可根据多个预设缩放比例值进行缩放，也可以随机生成多个缩放比例值进行缩放，缩放比例值一般在0.2-1之间取值，且缩放后物体的像素原则上不得小于32*32，若物体像素太小会导致丢失一些识别特征，这样的图片生成的数据集，会影响训练目标检测模型。因此，若缩放后得到的工件图像的像素小于32*32，则删除该工件图像，或以预设的固定比例（如1.1）对该工件图像逐次放大，直到其像素不小于32*32。

其中，在步骤A3中，预存的背景图片一般为工业治具图片或待检测工业背景图片，均为工件实际生产/使用过程中所处位置的背景的图片，可事先进行拍摄并存储好，从而，通过该方法得到的目标检测数据集可用于对应应用场景的目标检测算法训练中。当工件可能被应用于多个不同的应用场景时，可事先对该多个应用场景中工件所处位置的背景进行拍摄得到多幅预存的背景图片，在此处可针对每个预存的背景图片执行步骤A3、A4（还可包括A5），从而可通过一次采集，得到多个针对不同应用场景的目标检测数据集。

在一些优选实施方式中，该步骤A3包括：

把同一个工件图像在不同位置放入背景图片，从而每个工件图像对应得到多个第二图片。

在实际生产过程中，工件的位置可能会发生变化，通过把同一个工件图像在不同位置放入背景图片可得到更多的数据，使得到的目标检测数据集更有效可靠，从而使用该目标检测数据集训练的目标检测算法更加准确有效。其中，把同一个工件图像在不同位置放入背景图片时，可根据多个预设的放入位置进行放入，也可根据多个随机生成的放入位置进行放入。

若是按照随机生成的放入位置进行放入，为了使放入位置能够比较均匀地在背景图片中分布，可先把该背景图片均匀划分为多个区域，然后在每个区域随机生成相同数量的放入位置（每个区域至少生成一个放入位置）。通过该方法，可避免放入位置过于集中，提高目标检测数据集的有效性。

在把工件图像放入背景图片的对应位置时，可以用工件图像中的一个特征点为基准，使该特征点与目标位置点重合，一般地，会选取工件图像的重心点为基准。

在实际应用中，把工件图像放入背景图片的不同位置后，有些放置位置会导致工件图像的部分区域由于超出背景图片的范围而缺失。为此，可先获取目标位置点与背景图片的四个边沿之间的距离（此处称之为第一距离），然后获取工件图像轮廓线上的点与该工件图像重心点之间的在上、下、左、右四个方向上的最大距离（此处称之为第二距离），然后用四个第一距离与对应的四个第二距离比较，若第一距离小于对应的第二距离，则根据该对应的第二距离调整目标位置点，令调整后的对应的第一距离不小于该第二距离；最后才按照调整后的目标位置点放入工件图像。实际上，若发现至少第一距离小于对应的第二距离时，也可以直接删除对应的目标位置点，即放弃把工件图像按照该目标位置点放入背景图片中。

为避免工件图像的部分区域由于超出背景图片的范围而缺失，还可以先获取目标位置点与背景图片的四个边沿之间的距离（即获取四个第一距离），然后获取工件图像轮廓线上的点与该工件图像重心点之间的最大距离（此处称之为第三距离），然后用四个第一距离与该第三距离进行比较，若某个第一距离小于该第三距离，则根据第三距离调整目标位置点，令调整后的对应的第一距离不小于该第三距离；最后才按照调整后的目标位置点放入工件图像。与前述方式相比，该方式只需要获取一个第三距离，计算过程更加简单快捷，效率更高。

其中，在步骤4中，生成边框信息和标签的过程如下。

在完成步骤A2分割完成之后，我们得到了一个点集

，其中i = 1, 2, 3… n， n为分割出物体像素点的总个数，

和

是分割物体的像素点坐标。当对分割物体进行缩放时，我们可以通过下面公式得出缩放后的物体像素点坐标：

（1）

其中，

和

分别为

和

方向的缩放比例，通常情况下

和

需保持一致，若不一致会导致物体图片变形，外观不合规。操作T为矩阵的转置。当对物体进行旋转时，我们可以通过下面公式得到旋转后物体像素点坐标：

（2）

其中，

为旋转角度。上述两个公式可叠加使用得到

，即可用公式（1）中的

作为公式（2）中的

，须注意

和

为处理过后像素点坐标，所以在运算的时候都应该进行取整处理。通过数学方法，用取最大值max和最小值min函数去求出目标物体分别能覆盖到的最大像素点：

，

和

，

。以坐标点

为左下点，以坐标点

为右上点的矩形就是我们需要的边框信息。

在A3步骤的时候，我们选取或者随机生成了目标物体中心点在背景图片中放置位置

，通过以下公式我们可以得到目标物体点集在我们处理过后背景图的位置：

（3）

通过同样的方法我们也可以将边框信息平移，得到坐标点

和

。这两个坐标点可以表明物体在背景中的位置以及物体相对的大小和尺寸，为最终的边框信息。生成标签这一步可分为两种情况：一，若我们数据集检测的目标物体只有一种时，我们可以将目标物体设为正面示例（标签为1），背景为反面示例（标签为0）。二，若我们数据检测的目标物体有多种时，可以将目标物体按数字递增顺序标签（1，2，3…），背景同样为反面示例（标签为0）。

由上可知，该目标检测数据集生成方法，通过获取所述采集台采集的多张不同角度的工件的第一图片；提取每张所述第一图片中的工件图像；把所述工件图像放入预存的背景图片中，得到第二图片；根据工件图像的位置和大小在所述第二图片中生成边框信息和标签；从而可快速生成目标检测数据集，工作效率高。

请参阅图2，本申请实施例还提供一种目标检测数据集生成装置，包括获取模块200、提取模块300、合成模块400、生成模块500；

其中，获取模块200，用于获取采集台采集的多张不同角度的工件的第一图片；

其中，提取模块300，用于提取每张第一图片中的工件图像；

其中，合成模块400，用于把工件图像放入预存的背景图片中，得到第二图片；

其中，生成模块500，用于根据工件图像的位置和大小在所述第二图片中生成边框信息和标签。

获取模块200在获取采集台采集的多张不同角度的工件的第一图片时，向所述采集台发送控制指令，以控制采集台的转台2转动多个不同的角度，在转台2的每个角度下，控制摄像机3从多个不同角度拍摄工件90的第一图片。

具体的，把工件90放置在转台2上后，可控制转台2按照预设的多个角度依次进行转动，或者随机生成多个转动角度并使转台2按照这些随机的转动角度依次进行转动；转台2每转动一次后暂停转动，然后控制摄像机3按照预设的多个角度依次进行拍摄，或者随机生成多个拍摄角度并使摄像机3按照这些随机生成的拍摄角度依次进行拍摄。若在一次采集作业中，转台2转动了N个角度，每个角度下摄像机3从M个不同角度进行拍摄，将得到N*M张第一图片，当N和M足够大时，可得到足够数量的数据来形成目标检测数据集。且由于该拍摄过程除了放置工件的步骤需要人工进行，其它步骤完全是自动化的，与人工逐张地采集照片的方式相比，劳动强度更小，工作效率更高。

事实上，当采用图5的采集台时，在采集第一图片时，还可以先控制摄像机3按照多个预设的位置在圆弧形滑轨4.1上依次移动，或者按照多个随机生成的位置在圆弧形滑轨4.1上依次移动；摄像机3每移动一次后暂停移动，然后控制转台2按照预设的多个角度依次进行转动，或者按照多个随机生成的角度依次进行转动，转台2每转动一次，摄像机3就拍摄一次。

此外，当采用图5的采集台时，还可以使转台2以预设转速转动，使摄像机3以预设速度在圆弧形滑轨4.1上移动，摄像机3在移动的同时以预设的频率进行连续拍照。与前述的间断式的采集方式相比，该方法的连续性更好，效率更高。

其中，提取模块300在提取每张第一图片中的工件图像时，可采用现有技术中的图像处理方法把工件90的图像从第一图片中分割提取出来，如使用基于图像梯度的分割方法进行提取。

在一些优选的实施方式中，该目标检测数据集生成装置还包括预处理模块；

其中，预处理模块，用于对每个工件图像进行预处理，从而由每个工件图像生成多个角度和/或大小不同的工件图像。

其中，进行的预处理包括旋转处理和/或缩放处理；

旋转处理为：把工件图像转动多个不同角度，每转动一个角度则保存为一个新的工件图像；

缩放处理为：把工件图像按多个缩放比例值进行缩放，每缩放一次则保存为一个新的工件图像。

通过预处理，可用一个工件图像生成多个不大小的工件图像，从而可成倍地增加目标检测数据集的数据量，进一步提高工作效率。其中，进行旋转处理时可根据多个预设旋转角度进行转动，也可以随机生成多个旋转角度进行转动；进行缩放处理时，可根据多个预设缩放比例值进行缩放，也可以随机生成多个缩放比例值进行缩放，缩放比例值一般在0.2-1之间取值。

其中，预存的背景图片一般为工业治具图片或待检测工业背景图片，均为工件实际生产/使用过程中所处位置的背景的图片，可事先进行拍摄并存储好，从而，通过该方法得到的目标检测数据集可用于对应应用场景的目标检测算法训练中。当工件可能被应用于多个不同的应用场景时，可事先对该多个应用场景中工件所处位置的背景进行拍摄得到多幅预存的背景图片，在此处可针对每个预存的背景图片进行处理，从而可通过一次采集，得到多个针对不同应用场景的目标检测数据集。

在一些优选实施方式中，合成模块400在把工件图像放入预存的背景图片中以得到第二图片时，

把同一个工件图像在不同位置放入背景图片，从而每个工件图像对应得到多个第二图片。

在实际生产过程中，工件的位置可能会发生变化，通过把同一个工件图像在不同位置放入背景图片可得到更多的数据，使得到的目标检测数据集更有效可靠，从而使用该目标检测数据集训练的目标检测算法更加准确有效。其中，把同一个工件图像在不同位置放入背景图片时，可根据多个预设的放入位置进行放入，也可根据多个随机生成的放入位置进行放入。

若是按照随机生成的放入位置进行放入，为了使放入位置能够比较均匀地在背景图片中分布，可先把该背景图片均匀划分为多个区域，然后在每个区域随机生成相同数量的放入位置（每个区域至少生成一个放入位置）。通过该方法，可避免放入位置过于集中，提高目标检测数据集的有效性。

在把工件图像放入背景图片的对应位置时，可以用工件图像中的一个特征点为基准，使该特征点与目标位置点重合，一般地，会选取工件图像的重心点为基准。

在实际应用中，把工件图像放入背景图片的不同位置后，有些放置位置会导致工件图像的部分区域由于超出背景图片的范围而缺失。为此，可先获取目标位置点与背景图片的四个边沿之间的距离（此处称之为第一距离），然后获取工件图像轮廓线上的点与该工件图像重心点之间的在上、下、左、右四个方向上的最大距离（此处称之为第二距离），然后用四个第一距离与对应的四个第二距离比较，若第一距离小于对应的第二距离，则根据该对应的第二距离调整目标位置点，令调整后的对应的第一距离不小于该第二距离；最后才按照调整后的目标位置点放入工件图像。实际上，若发现至少第一距离小于对应的第二距离时，也可以直接删除对应的目标位置点，即放弃把工件图像按照该目标位置点放入背景图片中。

为避免工件图像的部分区域由于超出背景图片的范围而缺失，还可以先获取目标位置点与背景图片的四个边沿之间的距离（即获取四个第一距离），然后获取工件图像轮廓线上的点与该工件图像重心点之间的最大距离（此处称之为第三距离），然后用四个第一距离与该第三距离进行比较，若某个第一距离小于该第三距离，则根据第三距离调整目标位置点，令调整后的对应的第一距离不小于该第三距离；最后才按照调整后的目标位置点放入工件图像。与前述方式相比，该方式只需要获取一个第三距离，计算过程更加简单快捷，效率更高。

由上可知，该目标检测数据集生成装置，通过获取所述采集台采集的多张不同角度的工件的第一图片；提取每张所述第一图片中的工件图像；把所述工件图像放入预存的背景图片中，得到第二图片；根据工件图像的位置和大小在所述第二图片中生成边框信息和标签；从而可快速生成目标检测数据集，工作效率高。

请参阅图3，本申请实施例还提供一种电子设备100，包括处理器101和存储器102，存储器102中存储有计算机程序，处理器101通过调用存储器102中存储的计算机程序，用于执行的目标检测数据集生成方法的步骤。

其中，处理器101与存储器102电性连接。处理器101是电子设备100的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或调用存储在存储器102内的计算机程序，以及调用存储在存储器102内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

存储器102可用于存储计算机程序和数据。存储器102存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器101通过调用存储在存储器102的计算机程序，从而执行各种功能应用以及数据处理。

在本实施例中，电子设备100中的处理器101会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器102中，并由处理器101来运行存储在存储器102中的计算机程序，从而实现各种功能：通过获取所述采集台采集的多张不同角度的工件的第一图片；提取每张所述第一图片中的工件图像；把所述工件图像放入预存的背景图片中，得到第二图片；根据工件图像的位置和大小在所述第二图片中生成边框信息和标签。

由上可知，该电子设备，通过获取所述采集台采集的多张不同角度的工件的第一图片；提取每张所述第一图片中的工件图像；把所述工件图像放入预存的背景图片中，得到第二图片；根据工件图像的位置和大小在所述第二图片中生成边框信息和标签；从而可快速生成目标检测数据集，工作效率高。

请参阅图4，本申请实施例还提供一种目标检测数据集生成系统，包括采集台A和处理装置B，采集台A与处理装置B电性连接；

采集台A包括可旋转的转台2和设置在转台2上方且角度可调的摄像机3；该摄像机3用于拍摄放置在转台2上的工件90的第一图片；

处理装置B用于控制采集台A采集多张不同角度的工件90的第一图片，并获取多张第一图片，提取每张第一图片中的工件图像，把工件图像放入预存的背景图片中以得到第二图片，根据工件图像的位置和大小在所述第二图片中生成边框信息和标签。

处理装置B可以与采集台A一体设置，也可以与采集台A相互独立设置。

其中，处理装置B在通过采集台B获取多张不同角度的工件的第一图片时，向所述采集台A发送控制指令，以控制采集台的转台2转动多个不同的角度，在转台2的每个角度下，控制摄像机3从多个不同角度拍摄工件的第一图片。

其中，处理装置B在提取每张第一图片中的工件图像时，可采用现有技术中的图像处理方法把工件90的图像从第一图片中分割提取出来，如使用基于图像梯度的分割方法进行提取。

在一些优选的实施方式中，处理装置B还用于对每个工件图像进行预处理，从而由每个工件图像生成多个角度和/或大小不同的工件图像。

其中，进行的预处理包括旋转处理和/或缩放处理；

旋转处理为：把工件图像转动多个不同角度，每转动一个角度则保存为一个新的工件图像；

缩放处理为：把工件图像按多个缩放比例值进行缩放，每缩放一次则保存为一个新的工件图像。

其中，预存的背景图片一般为工业治具图片或待检测工业背景图片，均为工件实际生产/使用过程中所处位置的背景的图片，可事先进行拍摄并存储好，从而，通过该方法得到的目标检测数据集可用于对应应用场景的目标检测算法训练中。当工件可能被应用于多个不同的应用场景时，可事先对该多个应用场景中工件所处位置的背景进行拍摄得到多幅预存的背景图片，在此处可针对每个预存的背景图片进行处理，从而可通过一次采集，得到多个针对不同应用场景的目标检测数据集。

在一些优选实施方式中，处理装置B在把工件图像放入预存的背景图片中以得到第二图片时，

把同一个工件图像在不同位置放入背景图片，从而每个工件图像对应得到多个第二图片。

在实际生产过程中，工件的位置可能会发生变化，通过把同一个工件图像在不同位置放入背景图片可得到更多的数据，使得到的目标检测数据集更有效可靠，从而使用该目标检测数据集训练的目标检测算法更加准确有效。其中，把同一个工件图像在不同位置放入背景图片时，可根据多个预设的放入位置进行放入，也可根据多个随机生成的放入位置进行放入。

若是按照随机生成的放入位置进行放入，为了使放入位置能够比较均匀地在背景图片中分布，可先把该背景图片均匀划分为多个区域，然后在每个区域随机生成相同数量的放入位置（每个区域至少生成一个放入位置）。通过该方法，可避免放入位置过于集中，提高目标检测数据集的有效性。

在把工件图像放入背景图片的对应位置时，可以用工件图像中的一个特征点为基准，使该特征点与目标位置点重合，一般地，会选取工件图像的重心点为基准。

在实际应用中，把工件图像放入背景图片的不同位置后，有些放置位置会导致工件图像的部分区域由于超出背景图片的范围而缺失。为此，可先获取目标位置点与背景图片的四个边沿之间的距离（此处称之为第一距离），然后获取工件图像轮廓线上的点与该工件图像重心点之间的在上、下、左、右四个方向上的最大距离（此处称之为第二距离），然后用四个第一距离与对应的四个第二距离比较，若第一距离小于对应的第二距离，则根据该对应的第二距离调整目标位置点，令调整后的对应的第一距离不小于该第二距离；最后才按照调整后的目标位置点放入工件图像。实际上，若发现至少第一距离小于对应的第二距离时，也可以直接删除对应的目标位置点，即放弃把工件图像按照该目标位置点放入背景图片中。

为避免工件图像的部分区域由于超出背景图片的范围而缺失，还可以先获取目标位置点与背景图片的四个边沿之间的距离（即获取四个第一距离），然后获取工件图像轮廓线上的点与该工件图像重心点之间的最大距离（此处称之为第三距离），然后用四个第一距离与该第三距离进行比较，若某个第一距离小于该第三距离，则根据第三距离调整目标位置点，令调整后的对应的第一距离不小于该第三距离；最后才按照调整后的目标位置点放入工件图像。与前述方式相比，该方式只需要获取一个第三距离，计算过程更加简单快捷，效率更高。

请参阅图5，为一种示例性的采集台B，包括基座1、设置在基座1上的转台2、设置在转台2上方的摄像机3，以及用于调整摄像机3的拍摄角度的调整机构4；转台2用于放置待拍照的工件90，摄像机3用于拍摄该工件90的图片。

使用该采集台可以快速采集多张工件图片，以便后续处理形成目标检测数据集。其工作过程如下：把工件90放置在转台2上，然后转台2依次转动多次，每转动一次，摄像机3就在调整机构4调整下以不同角度拍摄多张图片；与人工逐张地采集照片的方式相比，劳动强度更小，工作效率更高。

在一些实施方式中，见图4，调整机构4包括圆弧形滑轨4.1和驱动装置4.2，该圆弧形滑轨4.1设置在纵向平面（即垂直于转台2上表面的平面）内且其圆心与转台2上表面的转动中心重合，摄像机3滑动设置在圆弧形滑轨4.1上，且其光轴沿圆弧形滑轨4.1的径向设置，驱动装置4.2用于驱动摄像机3沿圆弧形滑轨4.1移动。该结构能够保证无论摄像机3位于圆弧形滑轨4.1上的哪个位置，均能保证其摄像机3对准转台2中心，且与转台2中心的距离不便，从而可保证工件90始终在摄像机3的拍摄范围内，而且无需频繁调焦（为了得到清晰图像，只需要在开始时调焦一次），效率更高。

在一些优选实施方式中，见图4，调整机构还包括用于支撑圆弧形滑轨4.1的支撑架4.3。通过支撑架4.3的支持作用，可避免圆弧形滑轨4.1发生变形，并减小摄像机3移动时产生的振动，避免振动影响图片的清晰度。在本实施例中，支撑架4.3包括竖杆a和横杆b，竖杆a的下端通过第一连接部c与基座1固定连接，上端与横杆b的一端连接，横杆b的另一端通过第二连接部d与圆弧形滑轨4.1的上端固定连接，圆弧形滑轨4.1的下端与基座1/第一连接部c固定连接。

在一些优选实施方式中，见图4，驱动装置4.2包括伸缩式动力装置，伸缩式动力装置包括动力装置本体和活动杆，活动杆可沿轴向往复移动；动力装置本体与支撑架4.3铰接，活动杆的端部与摄像机3铰接。活动杆伸缩时，摄像机3沿圆弧形滑轨4.1滑动，由于活动杆与摄像机3铰接、动力装置本体与支撑架4.3铰接，因此伸缩式动力装置会绕动力装置本体与支撑架4.3的铰接轴转动，从而不会阻碍摄像机3移动。

其中，伸缩式动力装置可以但不限于是气缸、液缸、电动伸缩杆等；如图4中，伸缩式动力装置为电动伸缩杆。

事实上，驱动装置4.2的结构不限于此，例如，还可以在圆弧形滑轨4.1上设置齿条，并在摄像机3上设置与该齿条啮合的齿轮，并在摄像机3上设置用于驱动该齿轮转动的电机。

由于摄像机3拍摄的图片在后续处理中需要从图片提取工件90的图像，为了方便在提取时区分工件图像区域和背景区域，可在转台2上表面设置一块可更换的颜色板，可根据实际工件90的颜色更换对比较强的颜色的颜色板。该颜色板优选为漫反射板（例如其上表面经磨砂处理）避免反光，且能够提高摩擦力，避免工件90在转台2转动时发生移位。该颜色板可通过螺钉连接、卡扣连接、磁性连接等可拆卸连接方式与转台2连接。

由上可知，该目标检测数据集生成系统，通过获取所述采集台采集的多张不同角度的工件的第一图片；提取每张所述第一图片中的工件图像；把所述工件图像放入预存的背景图片中，得到第二图片；根据工件图像的位置和大小在所述第二图片中生成边框信息和标签；从而可快速生成目标检测数据集，工作效率高

综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，其方案与本发明实质上相同。

Claims (10)

1.一种目标检测数据集生成方法，其特征在于，应用于数据采集装置,所述数据采集装置包括采集台，所述采集台包括可旋转的转台和设置在所述转台上方且角度可调的摄像机，所述目标检测数据集生成方法包括步骤：

获取所述采集台采集的多张不同角度的工件的第一图片；

提取每张所述第一图片中的工件图像；

把所述工件图像放入预存的背景图片中，得到第二图片；

根据工件图像的位置和大小在所述第二图片中生成边框信息和标签。

2.根据权利要求1所述的目标检测数据集生成方法，其特征在于，所述通过所述采集台获取多张不同角度的工件的第一图片的步骤包括：

向所述采集台发送控制指令，以控制所述采集台的转台转动多个不同的角度，并在转台的每个角度下，控制所述摄像机从多个不同角度拍摄工件的第一图片。

3.根据权利要求1所述的目标检测数据集生成方法，其特征在于，所述提取每张所述第一图片中的工件图像的步骤之后，还包括：

对每个所述工件图像进行预处理，从而由每个所述工件图像生成多个角度和/或大小不同的工件图像。

4.根据权利要求3所述的目标检测数据集生成方法，其特征在于，所述对每个所述工件图像进行预处理，从而由每个所述工件图像生成多个角度和/或大小不同的工件图像的步骤包括：

对所述工件图像进行旋转处理：把所述工件图像转动多个不同角度，每转动一个角度则保存为一个新的工件图像；

和/或

对所述工件图像进行缩放处理：把所述工件图像按多个缩放比例值进行缩放，每缩放一次则保存为一个新的工件图像。

5.根据权利要求1所述的目标检测数据集生成方法，其特征在于，所述把所述工件图像放入预存的背景图片中，得到第二图片的步骤包括：

把同一个工件图像在不同位置放入所述背景图片，从而每个工件图像对应得到多个第二图片。

6.一种目标检测数据集生成装置，其特征在于，包括：

获取模块，用于获取采集台采集的多张不同角度的工件的第一图片；

提取模块，用于提取每张所述第一图片中的工件图像；

合成模块，用于把所述工件图像放入预存的背景图片中，得到第二图片；

生成模块，用于根据工件图像的位置和大小在所述第二图片中生成边框信息和标签。

7.根据权利要求6所述的目标检测数据集生成装置，其特征在于，还包括：

预处理模块，用于对每个所述工件图像进行预处理，从而由每个所述工件图像生成多个角度和/或大小不同的工件图像。

8.根据权利要求6所述的目标检测数据集生成装置，其特征在于，所述合成模块在把所述工件图像放入预存的背景图片中以得到第二图片时，

把同一个工件图像在不同位置放入所述背景图片，从而每个工件图像对应得到多个第二图片。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1-5任一项所述的目标检测数据集生成方法的步骤。

10.一种目标检测数据集生成系统，其特征在于，包括采集台和处理装置，所述采集台与所述处理装置电性连接；

所述采集台包括可旋转的转台和设置在所述转台上方且角度可调的摄像机；所述摄像机用于拍摄放置在所述转台上的工件的第一图片；

所述处理装置用于控制所述采集台采集多张不同角度的工件的第一图片，并获取多张所述第一图片，提取每张所述第一图片中的工件图像，把所述工件图像放入预存的背景图片中以得到第二图片，根据工件图像的位置和大小在所述第二图片中生成边框信息和标签。

Images