CN109658321A - 数据集采集方法和装置、存储介质和电子设备 - Google Patents

Abstract

本公开涉及一种数据集采集方法和装置、存储介质和电子设备，属于深度学习领域，能够将广角镜头采集到的图像数据集直接应用到目标检测相关算法中。该数据集采集方法，该方法包括：接收物体位于广角镜头的第i个子视角范围内时的图像，其中所述广角镜头的整个视角范围被划分成了N个子视角范围，1≤i≤N；以及基于所述广角镜头的畸变特点，利用所接收的第i个子视角范围内的图像来扩充所述物体在所述广角镜头的其余子视角范围内的图像。

Description

数据集采集方法和装置、存储介质和电子设备

技术领域

本公开涉及深度学习领域，具体地，涉及一种数据集采集方法和装置、存储介质和电子设备。

背景技术

广角镜头的视角大、焦距短，导致其采集到的图像中的物体会发生畸变，进而导致同一物体的本身特征无法被各种图像处理算法直接利用。目前处理这种畸变的主流方法是先将畸变的图像进行畸变校正。然而，目前广角镜头的畸变校正算法的校正效果并不好，而且校正后的图像仅适用于人眼观察，还无法将校正后的图片应用到目标检测相关算法中。

发明内容

本公开的目的是提供一种数据集采集方法和装置、存储介质和电子设备，能够将广角镜头采集到的图像数据集直接应用到目标检测相关算法中。

根据本公开的第一实施例，提供一种数据集采集方法，该方法包括：接收物体位于广角镜头的第i个子视角范围内时的图像，其中所述广角镜头的整个视角范围被划分成了N个子视角范围，1≤i≤N；以及基于所述广角镜头的畸变特点，利用所接收的第i个子视角范围内的图像来扩充所述物体在所述广角镜头的其余子视角范围内的图像。

可选地，所述接收物体位于广角镜头的第i个子视角范围内时的图像，包括：接收所述物体在所述第i个子视角范围内的至少一个固定位置上每原地旋转预设角度时的图像，以得到所述物体的360度特征信息。

可选地，所述物体在所述第i个子视角范围内的至少一个固定位置上的原地旋转的次数M为：M＝360°/所述预设角度。

可选地，所述基于所述广角镜头的畸变特点，利用所接收的第i个子视角范围内的图像来扩充所述物体在所述广角镜头的其余子视角范围内的图像，包括：利用所述广角镜头的桶形畸变特点，将所接收的第i个子视角范围内的图像以所述广角镜头的整个视角范围的中心为中心点进行旋转，来扩充所述物体在所述广角镜头的其余子视角范围内的图像。

可选地，所接收的第i个子视角范围内的图像以所述广角镜头的整个视角范围的中心为中心点进行旋转的旋转角度r为：r＝360°/N。

根据本公开的第二实施例，提供一种数据集采集装置，该装置包括：接收模块，用于接收物体位于广角镜头的第i个子视角范围内时的图像，其中所述广角镜头的整个视角范围被划分成了N个子视角范围，1≤i≤N；以及扩充模块，用于基于所述广角镜头的畸变特点，利用所述接收模块接收到的第i个子视角范围内的图像来扩充所述物体在所述广角镜头的其余子视角范围内的图像。

可选地，所述接收模块包括接收子模块，用于接收所述物体在所述第i个子视角范围内的至少一个固定位置上每原地旋转预设角度时的图像，以得到所述物体的360度特征信息。

可选地，所述物体在所述第i个子视角范围内的至少一个固定位置上的原地旋转的次数M为：M＝360°/所述预设角度。

可选地，所述扩充模块包括扩充子模块，用于利用所述广角镜头的桶形畸变特点，将所述接收模块所接收的第i个子视角范围内的图像以所述广角镜头的整个视角范围的中心为中心点进行旋转，来扩充所述物体在所述广角镜头的其余子视角范围内的图像。

可选地，所述接收模块所接收的第i个子视角范围内的图像以所述广角镜头的整个视角范围的中心为中心点进行旋转的旋转角度r为：r＝360°/N。

根据本公开的第三实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开第一实施例所述方法的步骤。

根据本公开的第四实施例，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现根据本公开第一实施例所述方法的步骤。

通过上述技术方案，由于只接收物体位于广角镜头的第i个子视角范围内时的图像，并然后基于广角镜头的畸变特点，利用所接收的第i个子视角范围内的图像来扩充物体在广角镜头的其余子视角范围内的图像，因此可以大大降低人工拍摄的工作量，有效地扩充由广角镜头拍摄的图像数据并减小数据集冗余，使得扩充后的图像数据集能够有效地被应用于深度学习目标检测识别分类相关的模型训练中以及图像处理算法中。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1示出了根据本公开一种实施例的数据集采集方法的流程图。

图2示出了一种示例性的棋盘格。

图3示例性地示出将图2所示的棋盘格划分成了4个子棋盘格。

图4示意性地示出了数据集扩充过程。

图5示出了将物体原地旋转所拍摄的图像。

图6示出了将图5中的图像以广角镜头的整个视角范围的中心为中心点进行旋转得到的图像。

图7示出根据本公开一种实施例的数据集采集装置的示意框图。

图8是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

本申请的发明人对广角镜头整个视角范围内的像素点坐标进行了分析，发现同一个物体在广角镜头视角范围内的不同位置处的特征也会不同，广角镜头的畸变是有特点的，也即广角镜头的畸变主要是桶形畸变，畸变的弯曲虽然没有固定的规律，但是畸变的分布规律却是固定的。因此，如果在利用广角镜头采集图像数据集时，只在一部分视角范围内对目标进行拍摄并采集特征，然后利用广角镜头的畸变特点，利用采集到的图像对图像数据集进行扩充，那么就不需要在整个视角范围内都对目标进行拍摄采集，既可以降低人工采集的工作量，又能够有效地扩充广角镜头采集的图像数据集，而且扩充后的图像数据集还能够被应用于深度学习目标检测识别分类相关的模型训练中以及图像处理算法中。

图1示出了根据本公开一种实施例的数据集采集方法的流程图，该方法可以被应用于根据本公开的数据集采集装置，以利用广角镜头来采集图像数据集。如图1所示，该数据集采集方法包括以下步骤S11和S12。

在步骤S11中，接收物体位于广角镜头的第i个子视角范围内时的图像，其中所述广角镜头的整个视角范围被划分成了N个子视角范围，1≤i≤N。

例如，在利用广角镜头获取图像数据集时，人工可以首先根据所选取的广角镜头以及该广角镜头的畸变程度，制作对应的棋盘格，其中图2示出了一种示例性的棋盘格。然后，在广角镜头的整个视角范围内，人工对制作好的棋盘格进行区域划分，也即将制作好的棋盘格划分成N个区域，其中，图3示例性地示出将图2所示的棋盘格划分成了4个子棋盘格。然后，人工将广角镜头中心对准棋盘格正中心，使得广角镜头的整个视角范围刚好可以覆盖整个棋盘格，这样，广角镜头的整个视角范围也就相应地被划分成了N个子视角范围。然后，人工取棋盘格的第i个子棋盘格也即广角镜头的第i个子视角范围作为采集目标物体图像的区域。然后，人工在第i个子棋盘格中的对应位置(其中，可以在部分位置上，也可以在所有位置上)上摆放目标物体并用广角镜头进行拍摄，即可得到目标物体在广角镜头的第i个子视角范围内的图像。这样，根据本公开的数据集采集装置就能够接收到由广角镜头拍摄的图像。

在步骤S12中，基于所述广角镜头的畸变特点，利用所接收的第i个子视角范围内的图像来扩充所述物体在所述广角镜头的其余子视角范围内的图像。

通过人工采集到的图像数据集已经将物体的自身特征采集完整，但是一个好的深度学习图像数据集还需要目标物体的位置信息特征，因此，就需要对接收到的人工采集的图像数据集进行扩充，以得到物体在所述广角镜头的其余子视角范围内的图像。

通过上述技术方案，由于只接收物体位于广角镜头的第i个子视角范围内时的图像，并然后基于广角镜头的畸变特点，利用所接收的第i个子视角范围内的图像来扩充物体在广角镜头的其余子视角范围内的图像，因此可以大大降低人工拍摄的工作量，有效地扩充由广角镜头拍摄的图像数据并减小数据集冗余，使得扩充后的图像数据集能够有效地被应用于深度学习目标检测识别分类相关的模型训练中以及图像处理算法中。

在一个可能的实施方式中，步骤S11中所述的接收物体位于广角镜头的第i个子视角范围内时的图像，包括：接收所述物体在所述第i个子视角范围内的至少一个固定位置上每原地旋转预设角度时的图像，以得到所述物体的360度特征信息。这样，就能够确保采集到的图像能够覆盖物体的360度特征信息。其中，在所述第i个子视角范围内的至少一个固定位置上的原地旋转的次数M为：M＝360°/所述预设角度。

例如，假设是要获取物体在广角镜头的第i个子视角范围内的图像并且假设原地旋转的预设角度为90°，则首先，人工将物体摆放在广角镜头的第i个子视角范围内的其中一个固定位置上并由广角镜头进行拍摄，然后人工将物体在该固定位置上相对于该物体的初始角度进行原地旋转90°并接着由广角镜头进行拍摄，然后，人工将物体在该固定位置上相对于该物体的初始角度进行原地旋转180°并接着由广角镜头进行拍摄，然后，人工将物体在该固定位置上相对于该物体的初始角度进行原地旋转270°并接着由广角镜头进行拍摄，这样根据本公开实施例的数据集采集装置就能够从广角镜头接收到物体在广角镜头的第i个子视角范围内的固定位置上的360度特征信息。

在一种可能的实施方式中，步骤S12中所述的基于所述广角镜头的畸变特点，利用所接收的第i个子视角范围内的图像来扩充所述物体在所述广角镜头的其余子视角范围内的图像，包括：利用所述广角镜头的桶形畸变特点，将所接收的第i个子视角范围内的图像以所述广角镜头的整个视角范围的中心为中心点进行旋转，来扩充所述物体在所述广角镜头的其余子视角范围内的图像。

例如，假设广角镜头的整个视角范围被划分成了4个子视角范围，则可以将所接收的第i个子视角范围内的图像以所述广角镜头的整个视角范围的中心为中心点依次旋转90°，180°，270°来得到其他子视角范围内的图像。也即，所接收的第i个子视角范围内的图像以所述广角镜头的整个视角范围的中心为中心点进行旋转的旋转角度r为：r＝360°/N，其中N是广角镜头的子视角范围的个数。

图4示意性地示出了数据集扩充过程。如图4所示，右下角中的圆点区域是广角镜头的其中一个子视角范围。该子视角范围中的黑色点是人工采集点，在人工利用广角镜头拍摄到该采集点处的物体的图像之后，就会将拍摄到的图像传输给根据本公开实施例的数据集采集装置。然后根据本公开实施例的数据集采集方法就会利用图像处理算法将接收到的图像以所述广角镜头的整个视角范围的中心为中心点依次顺时针旋转90°、180°和270°，这样就分别得到了左下角处的黑色点、左上角处的白色点和右上角处的灰色点。也即，分别经过3次以广角镜头的整个视角范围的中心为中心点的旋转处理，就能够将最终的图像数据集的数量扩充到了广角镜头所拍摄的图像数量的4倍，而且最终得到的图像数据集中同时包含了物体本身畸变的外观特征和物体在视角范围内不同位置处的特征。

当然，如果广角镜头的子视角范围的个数N是偶数，那么所接收的第i个子视角范围内的图像以所述广角镜头的整个视角范围的中心为中心点进行旋转的旋转角度r可以为r＝360°/N或者r＝2*360°/N。

以下以一个具体的示例来描述根据本公开的数据集采集方法是如何采集图像数据集的。在该示例中，人工制作的棋盘格如图2所示，广角镜头的整个视角范围被划分成了4个子视角范围，物体原地旋转的角度为90°。

则，首先，选取其中一个子视角范围作为图像采集区域，在该图像采集区域内，采集在其中一个固定位置上、对物体每原地旋转90°后所拍摄的图像(如图5所示)，这样就得到物体在该固定位置上的360°特征信息。然后，将物体在该子视角范围内的图像以广角镜头的整个视角范围的中心为中心点依次顺时针或逆时针旋转90°、180°、270°，即可扩充得到人工拍摄的图像在广角镜头的其他子视角范围内的图像(如图6所示)。

图7示出根据本公开一种实施例的数据集采集装置的示意框图，如图7所示，该装置包括：接收模块71，用于接收物体位于广角镜头的第i个子视角范围内时的图像，其中所述广角镜头的整个视角范围被划分成了N个子视角范围，1≤i≤N；以及扩充模块72，用于基于所述广角镜头的畸变特点，利用所述接收模块71接收到的第i个子视角范围内的图像来扩充所述物体在所述广角镜头的其余子视角范围内的图像。

通过上述技术方案，由于接收模块71只接收物体位于广角镜头的第i个子视角范围内时的图像，然后扩充模块72基于广角镜头的畸变特点，利用接收模块71所接收的第i个子视角范围内的图像来扩充物体在广角镜头的其余子视角范围内的图像，因此可以大大降低人工拍摄的工作量，有效地扩充由广角镜头拍摄的图像数据并减小数据集冗余，使得扩充后的图像数据集能够有效地被应用于深度学习目标检测识别分类相关的模型训练中以及图像处理算法中。

可选地，所述接收模块71包括接收子模块，用于接收所述物体在所述第i个子视角范围内的至少一个固定位置上每原地旋转预设角度时的图像，以得到所述物体的360度特征信息。

可选地，所述物体在所述第i个子视角范围内的至少一个固定位置上的旋转次数M为：

M＝360°/所述预设角度。

可选地，所述扩充模块72包括扩充子模块，用于利用所述广角镜头的桶形畸变特点，将所述接收模块所接收的第i个子视角范围内的图像以所述广角镜头的整个视角范围的中心为中心点进行旋转，来扩充所述物体在所述广角镜头的其余子视角范围内的图像。

可选地，所述接收模块71所接收的第i个子视角范围内的图像以所述广角镜头的整个视角范围的中心为中心点进行旋转的旋转角度r为：

r＝360°/N。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图8是根据一示例性实施例示出的一种电子设备700的框图。如图8所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。

其中，处理器701用于控制该电子设备700的整体操作，以完成上述的数据集采集方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的数据集采集方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的数据集采集方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的数据集采集方法。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (12)

1.一种数据集采集方法，其特征在于，该方法包括：

接收物体位于广角镜头的第i个子视角范围内时的图像，其中所述广角镜头的整个视角范围被划分成了N个子视角范围，1≤i≤N；以及

基于所述广角镜头的畸变特点，利用所接收的第i个子视角范围内的图像来扩充所述物体在所述广角镜头的其余子视角范围内的图像。

2.根据权利要求1所述的方法，其特征在于，所述接收物体位于广角镜头的第i个子视角范围内时的图像，包括：

接收所述物体在所述第i个子视角范围内的至少一个固定位置上每原地旋转预设角度时的图像，以得到所述物体的360度特征信息。

3.根据权利要求2所述的方法，其特征在于，所述物体在所述第i个子视角范围内的至少一个固定位置上的原地旋转的次数M为：

M＝360°/所述预设角度。

4.根据权利要求1所述的方法，其特征在于，所述基于所述广角镜头的畸变特点，利用所接收的第i个子视角范围内的图像来扩充所述物体在所述广角镜头的其余子视角范围内的图像，包括：

利用所述广角镜头的桶形畸变特点，将所接收的第i个子视角范围内的图像以所述广角镜头的整个视角范围的中心为中心点进行旋转，来扩充所述物体在所述广角镜头的其余子视角范围内的图像。

5.根据权利要求4所述的方法，其特征在于，所接收的第i个子视角范围内的图像以所述广角镜头的整个视角范围的中心为中心点进行旋转的旋转角度r为：r＝360°/N。

6.一种数据集采集装置，其特征在于，该装置包括：

接收模块，用于接收物体位于广角镜头的第i个子视角范围内时的图像，其中所述广角镜头的整个视角范围被划分成了N个子视角范围，1≤i≤N；以及

扩充模块，用于基于所述广角镜头的畸变特点，利用所述接收模块接收到的第i个子视角范围内的图像来扩充所述物体在所述广角镜头的其余子视角范围内的图像。

7.根据权利要求6所述的装置，其特征在于，所述接收模块包括接收子模块，用于接收所述物体在所述第i个子视角范围内的至少一个固定位置上每原地旋转预设角度时的图像，以得到所述物体的360度特征信息。

8.根据权利要求7所述的装置，其特征在于，所述物体在所述第i个子视角范围内的至少一个固定位置上的原地旋转的次数M为：

M＝360°/所述预设角度。

9.根据权利要求6所述的装置，其特征在于，所述扩充模块包括扩充子模块，用于利用所述广角镜头的桶形畸变特点，将所述接收模块所接收的第i个子视角范围内的图像以所述广角镜头的整个视角范围的中心为中心点进行旋转，来扩充所述物体在所述广角镜头的其余子视角范围内的图像。

10.根据权利要求9所述的装置，其特征在于，所述接收模块所接收的第i个子视角范围内的图像以所述广角镜头的整个视角范围的中心为中心点进行旋转的旋转角度r为：r＝360°/N。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。

12.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-5中任一项所述方法的步骤。