CN116342852A - 样本图像获取方法、模型训练方法及图像采集系统 - Google Patents

Abstract

本申请实施例涉及人工智能技术领域，具体提供了一种样本图像获取方法、模型训练方法及图像采集系统。图像采集系统包括：用于放置目标对象的图像采集平台、可相对图像采集平台位移并用于采集目标对象图像的图像采集装置及与图像采集装置连接的图像处理装置，方法包括：设置图像处理装置的场景类别参数，并控制图像采集装置以至少两种不同的图像采集参数采集位于图像采集平台的目标对象的图像数据，并将图像数据发送给图像处理装置，图像采集参数至少包括位置参数、光照参数中的至少一者；在图像处理装置接收到图像数据之后，控制图像处理装置对图像数据依据场景类别参数进行预处理，得到目标样本图像，其中，预处理至少包括标注目标对象。

Description

样本图像获取方法、模型训练方法及图像采集系统

技术领域

本申请涉及人工智能技术领域，尤其涉及一种样本图像获取方法、模型训练方法及图像采集系统。

背景技术

在实现以深度学习为主的人工智能任务的过程中，有三大基本要素是缺一不可的，那就是算力、算法、数据。在算力和算法都基本确定的前提下，数据在实现深度学习任务的过程中，可以说起到了决定性的作用，可以认为数据对深度学习任务最终效果的意义重大。也就是说，如果数据质量有问题，可以让一个好的模型变废为宝，而如果数据质量非常高的话，也可以使得一个平庸算法发挥出超常的效果。

获得深度学习模型时，需要采集大量相关场景的数据作为训练样本。但通过去相关现场采集现实场景数据需要大量经济成本，而且当数据完成采集之后，还需要耗费大量的时间对数据进行人工标注工作。因此该方法获取训练数据进行深度学习模型训练的成本是昂贵的。

发明内容

本申请实施例的主要目的在于提供一种样本图像获取方法、模型训练方法及图像采集系统，旨在实现图像数据的高效获取，进而为深度学习模型训练提供数据支撑，从而能够提升深度学习模型训练的效果，降低因样本图像不足而需要消耗的经济成本。

第一方面，本申请实施例提供一种样本图像获取方法，应用于图像采集系统，图像采集系统包括：用于放置待进行图像采集的目标对象的图像采集平台、可相对所述图像采集平台位移并用于采集目标对象的图像数据的图像采集装置、及与图像采集装置连接的图像处理装置，方法包括：

设置所述图像处理装置的场景类别参数，并控制所述图像采集装置以至少两种不同的图像采集参数采集位于所述图像采集平台的所述目标对象的图像数据，并将所述图像数据发送给所述图像处理装置，所述图像采集参数至少包括位置参数、光照参数中的至少一者。

在所述图像处理装置接收到所述图像数据之后，控制所述图像处理装置对所述图像数据依据所述场景类别参数进行预处理，得到目标样本图像，其中，所述预处理至少包括标注所述目标对象。

第二方面，本申请实施例还提供一种模型训练方法，包括：

以目标样本图像作为训练样本对基础模型进行训练，得到目标模型，其中，目标样本图像根据本申请说明书提供的任一项基于一种样本图像获取方法的步骤得到。

第三方面，本申请实施例还提供一种图像采集系统，图像采集系统包括：用于放置待进行图像采集的目标对象的图像采集平台、可相对图像采集平台位移并用于采集目标对象的图像数据的图像采集装置、与图像采集装置连接的图像处理装置及控制器，其中，控制器至少用于：

设置所述图像处理装置的场景类别参数，并控制所述图像采集装置以至少两种不同的图像采集参数采集位于所述图像采集平台的所述目标对象的图像数据，并将所述图像数据发送给所述图像处理装置，所述图像采集参数至少包括位置参数、光照参数中的至少一者。

在所述图像处理装置接收到所述图像数据之后，控制所述图像处理装置对所述图像数据依据所述场景类别参数进行预处理，得到目标样本图像，其中，所述预处理至少包括标注所述目标对象。

本申请实施例提供一种样本图像获取方法、模型训练方法及图像采集系统，其中，该样本图像获取方法应用于图像采集系统，图像采集系统包括：用于放置待进行图像采集的目标对象的图像采集平台、可相对图像采集平台位移并用于采集目标对象的图像数据的图像采集装置、及与图像采集装置连接的图像处理装置，方法包括：设置图像处理装置的场景类别参数，并控制图像采集装置以至少两种不同的图像采集参数采集位于图像采集平台的目标对象的图像数据，并将将图像数据发送给所述图像处理装置；在图像处理装置接收到图像数据之后，控制图像处理装置对图像数据依据场景类别参数进行预处理，得到目标样本图像，其中，图像采集参数至少包括位置参数、光照参数中的至少一者，预处理至少包括标注目标对象。本申请首先设置图像处理装置所处的场景类别参数，再调整图像采集参数进而控制图像采集系统，在相应图像采集参数下采集位于图像采集平台的目标对象的图像数据，将采集到的目标对象的图像数据发送至图像处理装置；在图像处理装置接收到图像数据之后，对图像数据按照场景类别参数进行预处理，进而得到图像数据的标注结果和图像数据背景更换的结果，最终获得目标样本图像。从而可以利用目标样本图像对深度学习模型进行训练，提升了深度学习模型训练的效果，也降低模型训练所需要的样本数据的经济成本和大量人力成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像采集系统示意性框图；

图2是本申请实施例提供的一种图像采集系统的图像采集装置和图像采集平台结构配合示意图；

图3是本申请实施例提供的图像采集装置的驱动机构局部示意图；

图4是本申请实施例提供的图像采集系统的驱动机构整体效果示意图；

图5是本申请实施例提供的一种样本图像获取方法的步骤流程示意图；

图6是本申请实施例提供的一种样本图像获取方法的步骤流程图；

图7是本申请实施例提供的一种基于动态场景画面的样本图像获取方法的步骤流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

在本申请的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

本申请实施例提供一种样本图像获取方法、模型训练方法及图像采集系统。其中，该样本图像获取方法可应用于图像采集系统。

其中，该样本图像获取方法首先设置图像处理装置所处的场景类别参数，再通过调整图像采集参数进而控制图像采集系统，在相应图像采集参数下采集位于图像采集平台的目标对象的图像数据，将采集到的目标对象的图像数据发送至图像处理装置；在图像处理装置接收到图像数据之后，对图像数据进行预处理，得到图像数据的标注结果和根据场景类别参数设定的场景类别对图像数据的背景进行融合的结果，进而得到目标样本图像。从而可以利用目标样本图像对深度学习模型进行训练，提升了深度学习模型训练的效果，也降低模型训练所需要的样本数据的经济成本和大量人力成本。

下面结合附图，对本申请的一些实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，图1为本申请实施例提供的一种图像采集系统示意性框图。

如图1所示，图像采集系统100包括图像采集装置110、图像采集平台120、图像处理装置130、控制器140。

其中，图像采集平台120用于放置待进行图像采集的目标对象，图像采集装置110可相对图像采集平台120位移并用于采集目标对象的图像数据，图像处理装置130用于对图像采集装置110采集到的图像数据进行处理。

控制器140与图像采集装置110及图像处理装置130连接，至少用于控制图像采集装置110执行图像采集操作，并将采集到的图像数据传输至图像处理装置130，及控制图像处理装置130对接收到的图像数据进行处理，从而得到目标图像。

控制器140还可以用于设置图像处理装置130的场景类别参数，当图像采集装置110执行图像采集操作，并将采集到的图像数据传输至图像处理装置130时，将图像数据发送给图像处理装置130之后，图像处理装置130在对图像处理进行自动标注的同时还需要根据场景类别参数对接收到的图像数据进行背景画面更新，从而得到目标图像。

请参阅图2，可选地，图像采集平台120设置有放置组件1201，放置组件1201形成用于放置目标对象的放置区，并且放置组件1201可相对图像采集平台120旋转，以带动放置于放置区的目标对象相对图像采集平台120旋转，从而图像采集装置110可以从多个角度对放置于放置组件1201的目标对象进行图像采集。

示例性地，当需要采集目标对象第一角度图像数据时，可以将目标对象放置到放置组件1201，并通过控制器140控制放置组件1201执行旋转操作，以将目标对象的放置角度调整至预设角度，并在目标对象的放置角度调整至预设角度之后，控制器140控制图像采集装置110执行图像采集操作，从而得到目标对象第一角度图像数据。

例如，可以将放置组件1201相对图像采集平台120旋转角度划分为0-360度，步长可以设置为5度、10度等等，可以根据需求进行调整。通过不断调整放置组件1201相对图像采集平台120旋转角度进而采集不同旋转角度下的目标对象信息，使得目标对象在不同旋转角度下均具有采样数据，为后续模型训练提供良好的数据支撑。

通过设置放置组件1201使图像采集机构能从不同角度采集目标对象的数据，进而可以获得目标对象不同角度的图像数据，使得对目标对象的数据更加丰富。因此，图像采集参数中可以将放置组件1201的旋转角度作为其中一个参数信息，进而扩大目标对象数据采集的多样性。

请参阅图2，在一些实施方式中，图像采集装置110包括图像采集机构111、用于驱动图像采集机构111相对图像采集平台120位移的驱动机构112、以及用于向图像采集平台120提供光照的照明机构113。

其中，驱动机构112设置于图像采集平台120，并可相对图像采集平台120位移，图像采集机构111与驱动机构112相连接，使得驱动机构112能够驱动图像采集机构111相对图像采集平台120进行位移。照明机构113安装在图像采集平台120上，进而为图像采集平台120提供光照。控制器140可以调整图像采集装置110的图像采集参数，进而使得图像采集装置110以对应的图像采集参数对目标对象进行图像采集。

例如，图像采集参数包括位置参数和光照参数中的至少一者。控制器140通过调整图像采集参数中的光照参数，进而使得控制照明机构113按照预设的光照参数执行相应的光照操作，该光照操作用于向图像采集平台120提供与光照参数匹配的光照效果。

或者，控制器140通过调整图像采集参数中位置参数，从而控制驱动机构112按照图像采集参数中的位置参数执行相应的驱动操作，在执行驱动操作过程中，驱动机构112驱动图像采集机构111在二维或三维空间上执行位移操作，使得图像采集机构111相对放置于图像采集平台120的目标对象发生相对位移，进而将图像采集机构111与目标对象的相对位置调整至对应的目标相对位置。

可选地，驱动机构112可以驱动图像采集机构111在第一方向及第二方向移动，其中，第一方向和第二方向相互垂直，并且第一方向靠近或远离目标对象的水平方向，第二方向为第一方向靠近或远离目标对象的竖直方向或高度方向。

请参阅图3及图4，示例性地，驱动机构112包括第一驱动机构1121及第二驱动机构1122。其中，第一驱动机构1121用于驱动图像采集机构111在第一方向相对图像采集平台120位移，第二驱动机构1122用于驱动图像采集机构111在第二方向相对图像采集平台120位移。

可选地，第一驱动机构1121与图像采集平台120连接，并可相对图像采集平台120在第一方向上发生位移，第二驱动机构1122连接第一驱动机构1121及图像采集机构111，并用于驱动图像采集机构111相对第一驱动机构1121至少在第二方向上位移。例如，第一驱动机构1121驱动图像采集机构111在第一方向相对图像采集平台120位移时，图像采集机构111与放置于图像采集平台120上的目标对象之间的水平距离变大或缩小。第二驱动机构1122驱动图像采集机构111在第二方向相对图像采集平台120位移时，图像采集机构111与放置于图像采集平台120上的目标对象之间的竖直距离变大或缩小。

可选地，第二驱动机构1122还用于驱动图像采集机构111相对第一驱动机构1121旋转预设角度α，从而使得图像采集机构111可以从不同的角度对放置于图像采集平台120上的目标对象进行图像采集。可选地，预设角度α为360°，较佳地，预设角度α为180°。

在一些实施方式中，照明机构113包括照明组件、连接照明组件及图像采集平台120的照明驱动组件。其中，照明驱动组件至少用于驱动照明组件以预设角度向图像采集平台120发出照明光束。

具体地，通过控制器140调整图像采集参数，照明机构113按照图像采集参数中的光照参数，控制照明驱动组件按照光照参数中的预设角度信息调整与图像采集平台120的夹角信息，并将照明组件调整至相应的照明参数。进而使得图像采集机构111能够采集获得在照明机构113对应的图像采集参数下的图像采集平台120的目标对象的图像数据。

例如，图像采集平台120包括第一平台部和第二平台部，放置组件1201设置于第一平台部，并且第一平台部设置有与对应放置组件1201移动轨道，图像采集装置110的第一驱动机构1121可以沿着移动轨道靠近或远离放置组件1201。

第二平台部的一端和第一平台部连接，并且在第一平台部和第二平台部连接适配之后，第一平台部和第二平台部之间呈夹角β设置，较佳地，夹角β为90°。照明机构113设置于第二平台部远离第一平台部的一端，较佳地，照明机构113为多个，且彼此间隔布设于第二平台部远离第一平台部的一端。

在需要对目标对象进行图像采集时，将目标对象放置于放置组件1201，通过控制器140设置图像处理装置130的场景类别参数和调整图像采集参数，使得控制照明机构113按照预设的光照参数执行相应的光照操作和控制驱动机构112中第一驱动机构1121和第二驱动机构1122驱动图像采集机构111在相对图像采集平台120调整至相应的位置参数。当照明机构113以预设的光照参数向图像采集平台120发出照明光束和驱动机构112驱动图像采集机构111在相对图像采集平台120调整至相应的位置参数时，利用图像采集机构111采集目标对象对应的图像数据，并将图像数据发送至图像处理装置130，在图像处理装置130接收到图像数据之后，对图像数据依据场景类别参数进行预处理，得到图像数据的标注结果和图像背景更换的结果，进而得到目标样本图像。

通过在控制器140设置图像处理装置130的场景类别参数和调整图像采集参数进而控制图像采集系统100，在相应图像采集参数下利用图像采集装置110采集位于图像采集平台120的目标对象的图像数据，将采集到的目标对象的图像数据发送至图像处理装置130；在图像处理装置130接收到图像数据之后，对图像数据依据场景类别参数进行预处理，得到图像数据的标注结果和图像背景更换的结果，进而得到目标样本图像。从而可以利用目标样本图像对深度学习模型进行训练，提升了深度学习模型训练的效果，也降低模型训练所需要的样本数据的经济成本和大量人力成本。

可选地，控制器140可以是一个，也可以是多个，可以集成或设置于图像采集装置110、图像采集平台120、图像处理装置130中的至少一者，也可以是独立设置，在此不做限定，只需控制器140可以控制图像采集系统100的各个装置执行对应的预设操作流程即可。

如图1所示，在一些实施方式中，控制器140至少包括处理器1401、存储器1402、通信接口(图未示)和I/O接口(图未示)。处理器1401、存储器1402、通信接口、和I/O接口通过总线进行通信。处理器1401可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器1402中装有操作系统和应用程序等供处理器1401执行的各种计算机程序及执行该计算机程序所需的数据。在样本图像获取过程中，如有需要本地存储的数据，均可以存储到存储器1402中。同时，控制器140通过处理器1401调用存储器1402内所存储的计算机程序，用于控制样本图像获取过程中对应的装置和/或机构各自执行预设操作流程，以实现各自预设功能。

在本申请提供的一实施例中，处理器1401用于执行存储在存储器1402的计算机程序，并在执行所述计算机程序时，可以实现如下方法步骤：

设置图像处理装置130的场景类别参数，并控制图像采集装置110以至少两种不同的图像采集参数采集位于图像采集平台120的目标对象的图像数据，并将图像数据发送给图像处理装置130，图像采集参数至少包括位置参数、光照参数中的至少一者；

在图像处理装置130接收到图像数据之后，控制图像处理装置130对图像数据依据场景类别参数进行预处理，得到目标样本图像，其中，预处理至少包括标注目标对象。

在一些实施例中，处理器1401控制图像采集装置110以至少两种不同的图像采集参数采集位于图像采集平台120的目标对象的图像数据，包括：

控制图像采集装置110以第一图像采集参数采集位于图像采集平台120的目标对象的第一图像数据，并将第一图像数据发送给图像处理装置130；

在图像采集装置110采集到第一图像数据之后，控制图像采集装置110将第一图像采集参数调整为第二图像采集参数，并控制图像采集装置110以第二图像采集参数采集位于图像采集平台120的目标对象的第二图像数据。

在一些实施例中，图像采集装置110包括图像采集机构111、用于驱动图像采集机构111相对图像采集平台120位移的驱动机构112、以及用于向图像采集平台120提供光照的照明机构113，处理器1401控制所图像采集装置110以第一图像采集参数采集位于图像采集平台120的目标对象的第一图像数据，包括：

控制照明机构113执行第一光照操作，以使照明机构113以第一光照参数向图像采集平台120提供第一光照；

控制驱动机构112执行第一驱动操作，以使驱动机构112以第一位置参数驱动图像采集机构111相对放置于图像采集平台120的目标对象位移；

在第一驱动操作执行完成之后，控制图像采集机构111采集放置于图像采集平台120的目标对象121的第一图像数据。

在一些实施例中，驱动机构112包括第一驱动机构1121及第二驱动机构1122，其中，第一驱动机构1121与图像采集平台120连接，并可相对图像采集平台120位移，第二驱动机构1122连接第一驱动机构1121及图像采集机构111，并用于驱动图像采集机构111相对第一驱动机构1121至少在高度方向上位移和/或驱动图像采集机构111相对第一驱动机构1121旋转预设角度；

在驱动机构112执行第一驱动操作过程中，第一驱动机构1121及第二驱动机构1122中的至少一者驱动图像采集机构111相对放置于图像采集平台120的目标对象121发生相对位置变化。

在一些实施例中，光照参数包括光照角度、光照强度中的至少一者，照明机构113包括照明组件、连接照明组件及图像采集平台120的照明驱动组件，照明驱动组件至少用于驱动照明组件以预设角度向图像采集平台120发出照明光束。

在照明机构113执行第一光照操作过程中，处理器1401用于将照明组件向图像采集平台120发出第一光照强度的照明光束；和/或，照明驱动组件驱动照明组件以第一光照角度向图像采集平台120发出照明光束。

在一些实施例中，处理器1401控制图像处理装置130对图像数据依据场景类别参数进行预处理，得到目标样本图像，包括：

控制图像处理装置提取图像数据中目标对象的轮廓信息，并根据所述轮廓信息确定所述图像数据中目标对象的标注框；

根据所述场景类别参数，利用所述标注框框选所述图像数据中的目标对象，得到目标样本图像。

在一些实施例中，处理器1401控制图像处理装置130根据场景类别参数，利用标注框框选图像数据中的目标对象，得到目标样本图像，包括：

根据图像数据中的目标对象将图像数据划分为目标对象图像和背景图像；

根据场景类别参数确定背景图像样式，更新背景图像为背景图像样式并将更新后的背景图像和目标对象图像融合形成目标样本图像。

在一些实施例中，在控制图像处理装置130对图像数据依据场景类别参数进行预处理之前，处理器1401还用于：

获取放置于图像采集平台120的目标对象的类型信息；

控制图像处理装置130对图像数据依据场景类别参数进行预处理，得到目标样本图像，包括：

控制图像处理装置130提取图像数据中目标对象的轮廓信息，并根据轮廓信息确实图像数据中目标对象的标注框；

根据所述场景类别参数，利用标注框框选图像数据中的目标对象，并根据类型信息标注被标注框框选的目标对象的类型，得到目标样本图像。

在一些具体实施例中，图像采集平台120设置有放置组件1201，放置组件1201形成用于放置目标对象的放置区，并且放置组件1201可相对图像采集平台120旋转，以带动放置于放置区的目标对象相对图像采集平台120旋转。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的处理器的具体工作过程，可以参考下述的样本图像获取方法的对应工作过程，在此不再赘述。

请参阅图5，图5是本申请实施例提供的一种样本图像获取方法的步骤流程图，该提示方法应用于前述的图像采集系统100，方法包括步骤S1至步骤S2，具体如下：

步骤S1：设置图像处理装置130的场景类别参数，并控制图像采集装置110以至少两种不同的图像采集参数采集位于图像采集平台120的目标对象的图像数据，并将图像数据发送给图像处理装置130，其中，图像采集参数至少包括位置参数、光照参数中的至少一者。

在训练机器人的深度学习模型，需要采集大量场景的图像数据作为训练样本。可能需要携带部署的机器人去现实场景采集大量的数据，在场景部署、搬运机器人等过程中消耗了大量时间成本。同时在数据完成采集之后，还需要大量的时间对数据进行人工标注以及数据检查等工作。这也就导致训练深度学习模型的成本非常高。因而可以利用图像采集系统通过对所需的场景数据按照图像采集参数进行采集，降低了在场景部署、搬运机器人等过程中消耗的大量时间成本。

示例性地，设置图像处理装置130的场景类别参数，用于后续对采集的图像数据预处理提供场景设置，便于将采集的图像数据经过在相应的场景类别参数下进行预处理后更符合实际需求。

例如，场景类别可以包括但不限于客厅、睡房、厨房、厂房、仓库、商场等等。因此可以根据实际生成数据的需要设置相应的场景类别参数。

在相应的场景类别下，有相应的场景背景画面库。例如场景类别参数为客厅，则会构建客厅为场景背景画面的多幅图片为后续采集图像的预处理提供保证。

示例性地，在深度学习模型训练时，需要大量的场景的图像数据作为训练样本，因此图像采集装置110需要以多组不同的图像采集参数采集位于图像采集平台120的目标对象的图像数据，并且需要将图像采集装置110采集到的图像数据发送给图像处理装置130，提升采集数据的多样性，便于后续对图像数据进行处理。

示例性地，图像采集参数至少包括位置参数、光照参数中的至少一者。其中位置参数用于表示图像采集装置110拍摄位于图像采集平台120上的目标对象的位置信息；光照参数用于表示对图像采集平台120上的目标对象提供的光束强度、角度等信息。

例如，在选择多组图像采集参数时，图像采集参数之间的区别可以是位置参数的不同、也可以是光照参数的不同，或者是位置参数和光照参数均不相同，进而使图像采集装置110能够获得不同图像采集参数下的图像采集平台120的目标对象的图像数据，使得采集得到的图像数据更加丰富，为后续的图像数据处理提供足够的数据支撑。

在一些实施方式中，控制图像采集装置110以至少两种不同的图像采集参数采集位于图像采集平台120的目标对象的图像数据，包括：控制图像采集装置110以第一图像采集参数采集位于图像采集平台120的目标对象的第一图像数据，并将第一图像数据发送给图像处理装置130；在图像采集装置110采集到第一图像数据之后，控制图像采集装置110将第一图像采集参数调整为第二图像采集参数，并控制图像采集装置110以第二图像采集参数采集位于图像采集平台120的目标对象的第二图像数据。

示例性地，通过控制图像采集装置110按照第一图像采集参数采集位于图像采集平台120的目标对象，获得在第一图像采集参数下的第一图像数据，然后将第一图像数据发送给图像处理装置130；在图像采集装置110采集到第一图像数据之后，修改第一图像采集参数调整为第二图像采集参数，然后再控制图像采集装置110按照第二图像采集参数采集位于图像采集平台120的第二图像数据，直到采集足够的图像数据后，停止调整图像采集参数，进而结束图像采集。

例如，第一图像采集参数和第二图像采集参数可以是位置参数的不同、也可以是光照参数的不同，或者是位置参数和光照参数均不相同，进而使图像采集装置110能够获得不同图像采集参数下的图像采集平台120的目标对象的图像数据，使得采集得到的图像数据更加丰富。如，第一图像采集参数和第二图像采集参数可以在相同光照参数下，使得位置参数不同，进而使图像采集装置110能够获得不同图像采集平台120下的目标对象的图像数据。

在一些实施方式中，控制图像采集装置110以第一图像采集参数采集位于图像采集平台120的目标对象的第一图像数据，包括：控制照明机构113执行第一光照操作，以使照明机构113以第一光照参数向图像采集平台120提供第一光照；控制驱动机构112执行第一驱动操作，以使驱动机构112以第一位置参数驱动图像采集机构111相对放置于图像采集平台120的目标对象位移；在第一驱动操作执行完成之后，控制图像采集机构111采集放置于图像采集平台120的目标对象的第一图像数据。

如图2所示，图像采集装置110包括图像采集机构111、用于驱动图像采集机构111相对图像采集平台120位移的驱动机构112、以及用于向图像采集平台120提供光照的照明机构113，其中，图像采集参数中的位置参数用于控制驱动机构112的运动位置，光照参数用于控制照明机构113的光照效果。

示例性地，控制照明机构113按照图像采集参数中的光照参数执行第一光照操作，使得照明机构113向图像采集平台120提供以第一光照参数对应的第一光照。并且控制驱动机构112按照图像采集参数中的位置参数执行第一驱动操作，使得驱动机构112能够使得图像采集机构111能够在第一位置参数条件下到达与放置于图像采集平台120的目标对象121的位移，进而使得图像采集机构111能够采集获得在驱动机构112和照明机构113对应的图像采集参数下的图像采集平台120的目标对象121的图像数据。

当获得第一图像数据之后，可以修改图像采集参数进而获得第二图像采集参数采集，通过控制照明机构113执行第二图像采集参数下的第二光照操作，以使照明机构113以第二光照参数向图像采集平台120提供第二光照；控制驱动机构112执行第二图像采集参数下的第二驱动操作，以使驱动机构112以第二位置参数驱动图像采集机构111相对放置于图像采集平台120的目标对象位移；在第二驱动操作执行完成之后，控制图像采集机构111采集放置于图像采集平台120的目标对象的第二图像数据。

在一些实施方式中，驱动机构112包括第一驱动机构1121及第二驱动机构1122，其中，第一驱动机构1121与图像采集平台120连接，并可相对图像采集平台120位移，第二驱动机构1122连接第一驱动机构1121及图像采集机构111，并用于驱动图像采集机构111相对第一驱动机构1121至少在高度方向上位移和/或驱动图像采集机构111相对第一驱动机构1121旋转预设角度；在驱动机构112执行第一驱动操作过程中，第一驱动机构1121及第二驱动机构1122中的至少一者驱动图像采集机构111相对放置于图像采集平台120的目标对象发生相对位置变化。

如图3所示，第一驱动机构1121和第二驱动机构1122之间通过连接组件1123相连接，通过连接组件1121的使得图像采集机构111能够按照图像采集参数中的位置参数信息进行图像数据的采集。在实际场景中的图片拍摄并不均具有正面拍摄的条件，因此，在多数情况下获得的场景图片是从旁边的角度进行拍摄，故在获取样本图片时，应该具有使得图像采样机构111具有从一定角度拍摄图片的条件，这样更能符合实际数据情景。

例如，当图像采集参数中的位置参数信息是距离图像采集平台120中的目标对象水平方向3米，距离图像采集平台120平面高度为1.5米，图像采集机构111从第二驱动机构1122与第一驱动机构1121之间的旋转角度为60，进行图像数据的采集。其中，位置参数信息的描述与选择的参照物有关，可以根据实际描述的方便，自行定义。

在一些实施方式中，光照参数包括光照角度、光照强度中的至少一者，照明机构113包括照明组件、连接照明组件及图像采集平台120的照明驱动组件，照明驱动组件至少用于驱动照明组件以预设角度向图像采集平台120发出照明光束；在照明机构113执行第一光照操作过程中，照明组件向图像采集平台120发出第一光照强度的照明光束；和/或，照明驱动组件驱动照明组件以第一光照角度向图像采集平台120发出照明光束。

示例性地，通过修改光照参数中的光照强度或者光照角度，使得照明组件能够按着光照参数中的光照强度向图像采集平台120按照光照强度发出照明光束和/或按照光照参数中的预设光照角度向图像采集平台120发出照明光束。

示例性地，光照对于图像的拍摄具有控制曝光、表现轮廓、增强反差、情绪渲染等作用，不同的光照强度或光照角度能够使得拍摄的物体呈现不同的拍摄效果。例如在光照充足的条件下，可以拍出画质不错的照片，光线微弱的情况下，拍出的画面噪点就很多。因此不同的光照参数会获得不同的图像数据。

例如，光照角度使得光源照射目标对象因方向和角度的不同，使目标对象在成像时所形成的效果不同，光照角度可以划分为平光、侧光、逆光、顶光、底光，也可以将照明组件与参照物之间形成的角度进行划分，例如将参照物设置为图像采集平台120，则可以将角度从0-180度进行划分。光照强度可以按照照度标准值进行划分，例如划分为0.5、1、2、3、5、10、15、20、30、50、75、100、150、200、300、500、750、1000、1500、2000、3000、5000lx分级，其中lx为勒克斯表示照度单位。光照强度也可以按照光源在某一方向透过的光通量的大小进行划分。

步骤S2：在图像处理装置130接收到图像数据之后，控制图像处理装置130对图像数据依据场景类别参数进行预处理，得到目标样本图像，预处理至少包括标注目标对象。

示例性地，在图像处理装置130接收到图像数据后，需要对获得的图像数据依据场景类别参数进行预处理，进而得到目标样本图像，以用于后续的深度学习模型训练。在图像处理装置130接收得到的图像数据并不具有标注信息，因此，在对图像数据进行预处理时需要对图像数据进行标注处理。

在一些实施方式中，控制图像处理装置130对图像数据依据场景类别参数进行预处理，得到目标样本图像，包括：控制图像处理装置130提取图像数据中目标对象的轮廓信息，并根据轮廓信息确定图像数据中目标对象的标注框；根据场景类别参数，利用标注框框选图像数据中的目标对象，得到目标样本图像。

示例性地，对获得的图像数据进行预处理可以利用边缘提取技术获得目标对象的轮廓信息，进而根据轮廓信息确定完整框住图像数据中目标对象的标注框大小，也即确定了图像数据中目标对象的标注框信息，将图像数据中目标对象的标注框信息和图像数据一起构成了目标样本图像。也即目标样本图像数据中包含图像数据和图像数据中目标对象的标注框信息。进而后续可以根据目标样本图像进行模型训练。

例如，对图像数据中的目标对象的轮廓信息提取可以通过将图像采集时的图像采集平台120中的背景图像设置为绿布，进而通过预设绿布颜色阈值C1和C2，其中C1<C2，通过预设颜色阈值C1和C2提取图像数据中绿色背景的像素点，进而提取所有非绿色背景像素点作为图像数据中的目标对象，然后，可以采用opencv算法包中常用的轮廓算法和包容框算法可自动提取图像数据中的目标对象的轮廓和包容框信息，进而获得了图像数据中目标对象的标注框信息。

示例性地，在获取图像数据之后，通过对图像数据进行预处理获得标注框框选图像数据中的目标对象。在真实场景中图像数据地背景是多种多样地，因此需要将图像数据的绿布背景根据场景类别参数转换为真实场景背景。具体采用数字合成技术实现目标对象和真实场景背景的无缝合成，使得采集得到地图像数据更具有真实性。

在一些实施方式中，根据场景类别参数，利用标注框框选图像数据中的目标对象，得到目标样本图像，包括：根据图像数据中的目标对象将图像数据划分为目标对象图像和背景图像；根据场景类别参数确定背景图像样式，更新背景图像为背景图像样式并将更新后的背景图像和目标对象图像融合形成目标样本图像。

示例性地，场景类别参数对应的场景背景画面可以是静态场景画面或动态场景画面构成。其中，静态场景画面为提前采集的场景类别下的图片，动态场景画面则根据采集图像过程中控制器140控制放置组件1201执行旋转操作对应的旋转角度和在场景类别参数下构造虚拟场景共同实时采集得到。

示例性地，控制器140设置图像处理装置130的场景类别参数，以及将目标对象放置到放置组件1201，并通过控制器140控制放置组件1201执行旋转操作，以将目标对象的放置角度调整至预设角度，并在目标对象的放置角度调整至预设角度之后，控制器140控制图像采集装置110执行图像采集操作，从而得到目标对象对应旋转角度的图像数据。控制器140将控制放置组件1201执行的预设角度发送至图像处理装置130。图像处理装置130在接收到目标对象对应的旋转角度和图像数据后，根据目标对象对应的旋转角度将场景类别参数下建立的虚拟场景也发生相应的旋转角度，进而获得该场景类别参数和旋转角度下的动态背景画面，以使背景画面更具有真实性和多样性。

例如，将场景类别参数设置为客厅，并将放置组件1201相对图像采集平台120旋转角度5度，此时将放置组件1201相对图像采集平台120旋转角度5度的信息发送至图像处理装置130。图像处理装置130在接收到旋转角度信息和场景类别参数为客厅之后，根据场景类别参数为客厅构建相应的虚拟场景，并将虚拟场景发生旋转角度为5度的旋转并获得此设置下的背景画面，以用于后续的图像融合。

示例性地，在获得图像数据之后，通过对图像数据依据场景类别进行预处理获得图像数据中的目标对象，可以根据目标对象将图像数据划分为目标对象图像和背景图像，将背景图像从背景库中选择场景类别参数下的背景画面，并将选择的背景画面和目标对象图像进行融合，形成目标样本图像。

例如，如图6所示，将需要采集的目标对象放到放置组件1201上，并且调整图像采集参数，如光照参数、位置参数等。控制图像采集装置110采集目标对象对应的图像数据；对图像数据采用去除绿布算法获得图像数据中的目标对象，将图像数据按照目标对象划分为背景图像和目标对象图像，也即，将图像数据分为目标对象图像和非目标对象图像，其中，非目标对象图像为待替换为背景画面的图像。

从场景类别参数对应的背景库中选择背景画面将图像数据中的背景图像置换为背景画面，使得背景画面和目标对象图像进行融合，并且对图像数据中的目标对象进行自动标注，具体实施过程请参考上文。

其中，将图像数据中的背景图像置换为背景画面，背景画面可以拆分为第一背景画面和第二背景画面，第一背景画面可以理解为放置目标对象的背景画面，第二背景画面可以理解为和第一背景画面垂直的背景画面。

第一背景画面可以为各种地面材质，第二背景画面可以为墙、书架、床等，第一背景画面和第二背景画面可以相互组合，提升了目标场景的多样性。第一背景画面和第二背景画面可以根据场景类别参数下对应的背景库中自行选择。

采用去除绿布算法获得目标对象并根据目标对象将图像数据划分为目标对象图像和背景图像，将图像数据中的背景图像根据场景类别参数对应的静态背景库选择静态背景画面置换为背景画面，可以获得多种目标样本数据，但是采用该方式时，当目标对象发生旋转时，再利用静态背景画面和目标对象图像进行融合时，静态背景画面的内容并不会随之发生旋转，也就使得融合后的图像缺少一定的真实性。而且静态场景库中的数据有限，也导致融合后的图像数据缺少多样性。基于此缺陷本申请提出引入虚拟场景构建动态场景画面，使得当目标对象发生旋转时，背景画面也能随之变化。

例如，如图7所示，将需要采集的目标对象放到放置组件1201上，并且调整图像采集参数，如光照参数、位置参数等。控制图像采集装置110采集目标对象对应的图像数据；对图像数据采用去除绿布算法获得图像数据中的目标对象，将图像数据按照目标对象划分为背景图像和目标对象图像，也即，将图像数据分为目标对象图像和非目标对象图像，其中，非目标对象图像为待替换为背景画面的图像。

将放置组件1201相对图像采集平台120旋转角度发送至图像处理装置130。图像处理装置130在接收到旋转角度信息和场景类别参数之后，根据场景类别参数如客厅构建相应的虚拟场景，并将虚拟场景发生旋转角度的旋转并获得此旋转角度下的虚拟场景对应的背景画面，进而使得当目标对象发生旋转时，背景画面也能随之变化，增加数据的真实性和多样性，方便后续对数据的使用。

在一些实施方式中，在控制图像处理装置130对图像数据依据场景类别参数进行预处理之前，方法还包括：获取放置于图像采集平台120的目标对象的类型信息；控制图像处理装置130对图像数据依据场景类别参数进行预处理，得到目标样本图像，包括：控制图像处理装置130提取图像数据中目标对象的轮廓信息，并根据轮廓信息确实图像数据中目标对象的标注框；根据场景类别参数利用标注框框选图像数据中的目标对象，并根据类型信息标注被标注框框选的目标对象的类型，得到目标样本图像。

示例性地，在获得图像数据中目标对象的标注框信息后，只能通过模型训练框选出该位置存在一个目标对象，但是对于目标对象的类型不清楚，因此，在图像数据采集阶段可以获取放置于图像采集平台120的目标对象的类型信息，进而后续可以根据目标对象的类型信息进行模型训练，减少了图像数据的标注成本，提高了模型训练的效率。

例如，在放置目标对象在图像采集平台120时，可以理解为更换拍摄对象，图像采集参数中可以新增一个类型设置，该类型表示目标对象的类型，并且将该图像采集参数的信息和图像数据一起发送至图像处理装置130中，进而在对图像数据进行预处理时对图像采集参数中的目标对象的类型进行解析，从而获得了目标对象的类型信息，其中图像采集参数中的目标对象类型设置可以为人物、车辆等，可以根据实际训练需求进行设置。因此，图像采集参数至少包括位置参数、光照参数、目标对象类型中的至少一者。其中，用于表述目标对象类型的形式可以是文本、语音等等。

本申请还提供一种模型训练方法，方法包括：以目标样本图像作为训练样本对基础模型进行训练，得到目标模型，其中，目标样本图像根据任一项样本图像获取方法获得。相关内容的详细说明请参见上述样本图像获取方法部分，在此不再赘叙。

示例性地，通过对目标样本图像进行分析获得目标样本图像中的目标对象的类型以及目标对象的标注框信息，确定目标样本图像分类的目标对象类型，将目标样本图像划分为训练样本、测试样本和验证样本，当验证样本的准确率达到设置阈值或者训练轮次达到预设值时则停止模型训练，并通过测试样本的准确率满足实际需求时则模型训练完成，并在实际中进行使用，当测试样本的准确率不满足实际需求时，则需要对模型进行分析，重新进行模型训练或者增加采集样本数量后进行模型训练或者增加训练轮次进行训练。

本申请通过样本图像获取方法得到的图像数据可以用于图像目标识别或者图像目标类型识别中，通过该样本图像获取方法获得的数据进行模型训练得到的模型可以用于自动驾驶领域，如智能汽车，智能电动轮椅，无人机等，也可以用于智能机器人领域，如扫地机器人，割机器人等。

应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上，仅为本申请的具体实施例，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种样本图像获取方法，应用于图像采集系统，其特征在于，所述图像采集系统包括：用于放置待进行图像采集的目标对象的图像采集平台、可相对所述图像采集平台位移并用于采集所述目标对象的图像数据的图像采集装置、及与所述图像采集装置连接的图像处理装置，所述方法包括：

设置所述图像处理装置的场景类别参数，并控制所述图像采集装置以至少两种不同的图像采集参数采集位于所述图像采集平台的所述目标对象的图像数据，并将所述图像数据发送给所述图像处理装置，所述图像采集参数至少包括位置参数、光照参数中的至少一者；

在所述图像处理装置接收到所述图像数据之后，控制所述图像处理装置对所述图像数据依据所述场景类别参数进行预处理，得到目标样本图像，其中，所述预处理至少包括标注所述目标对象。

2.根据权利要求1所述的方法，其特征在于，所述控制所述图像采集装置以至少两种不同的图像采集参数采集位于所述图像采集平台的所述目标对象的图像数据，包括：

控制所述图像采集装置以第一图像采集参数采集位于所述图像采集平台的所述目标对象的第一图像数据，并将所述第一图像数据发送给所述图像处理装置；

在所述图像采集装置采集到所述第一图像数据之后，控制所述图像采集装置将所述第一图像采集参数调整为第二图像采集参数，并控制所述图像采集装置以所述第二图像采集参数采集位于所述图像采集平台的所述目标对象的第二图像数据。

3.根据权利要求2所述的方法，其特征在于，所述图像采集装置包括图像采集机构、用于驱动所述图像采集机构相对所述图像采集平台位移的驱动机构、以及用于向所述图像采集平台提供光照的照明机构，所述控制所述图像采集装置以第一图像采集参数采集位于所述图像采集平台的所述目标对象的第一图像数据，包括：

控制所述照明机构执行第一光照操作，以使所述照明机构以第一光照参数向所述图像采集平台提供第一光照；

控制所述驱动机构执行第一驱动操作，以使所述驱动机构以第一位置参数驱动所述图像采集机构相对放置于所述图像采集平台的所述目标对象位移；

在所述第一驱动操作执行完成之后，控制所述图像采集机构采集放置于所述图像采集平台的所述目标对象的第一图像数据。

4.根据权利要求3所述的方法，其特征在于，所述驱动机构包括第一驱动机构及第二驱动机构，其中，所述第一驱动机构与所述图像采集平台连接，并可相对所述图像采集平台位移，所述第二驱动机构连接所述第一驱动机构及所述图像采集机构，并用于驱动所述图像采集机构相对所述第一驱动机构至少在高度方向上位移和/或驱动所述图像采集机构相对所述第一驱动机构旋转预设角度；

在所述驱动机构执行第一驱动操作过程中，所述第一驱动机构及第二驱动机构中的至少一者驱动所述图像采集机构相对放置于所述图像采集平台的所述目标对象发生相对位置变化。

5.根据权利要求3所述的方法，其特征在于，所述光照参数包括光照角度、光照强度中的至少一者，所述照明机构包括照明组件、连接所述照明组件及所述图像采集平台的照明驱动组件，所述照明驱动组件至少用于驱动所述照明组件以预设角度向所述图像采集平台发出照明光束；

在所述照明机构执行第一光照操作过程中，所述照明组件向所述图像采集平台发出第一光照强度的照明光束；和/或，所述照明驱动组件驱动所述照明组件以第一光照角度向所述图像采集平台发出照明光束。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述控制所述图像处理装置对所述图像数据依据所述场景类别参数进行预处理，得到目标样本图像，包括：

控制图像处理装置提取图像数据中目标对象的轮廓信息，并根据所述轮廓信息确定所述图像数据中目标对象的标注框；

根据所述场景类别参数，利用所述标注框框选所述图像数据中的目标对象，得到目标样本图像。

7.根据权利要求6所述的方法，其特征在于，所述根据所述场景类别参数，利用所述标注框框选所述图像数据中的目标对象，得到目标样本图像，包括：

根据所述图像数据中的目标对象将所述图像数据划分为目标对象图像和背景图像；

根据所述场景类别参数确定背景图像样式，更新背景图像为所述背景图像样式并将更新后的背景图像和目标对象图像融合形成目标样本图像。

8.根据权利要求1-5任一项所述的方法，其特征在于，所述图像采集平台设置有放置组件，所述放置组件形成用于放置目标对象的放置区，并且所述放置组件可相对所述图像采集平台旋转，以带动放置于所述放置区的目标对象相对所述图像采集平台旋转。

9.一种模型训练方法，其特征在于，所述方法包括：以目标样本图像作为训练样本对基础模型进行训练，得到目标模型，其中，所述目标样本图像根据权利要求1-8任一项所述的样本图像获取方法得到。

10.一种图像采集系统，其特征在于，所述图像采集系统包括：用于放置待进行图像采集的目标对象的图像采集平台、可相对所述图像采集平台位移并用于采集所述目标对象的图像数据的图像采集装置、与所述图像采集装置连接的图像处理装置及控制器，其中，所述控制器至少用于：

设置所述图像处理装置的场景类别参数，并控制所述图像采集装置以至少两种不同的图像采集参数采集位于所述图像采集平台的所述目标对象的图像数据，并将所述图像数据发送给所述图像处理装置；

在所述图像处理装置接收到所述图像数据之后，控制所述图像处理装置对所述图像数据依据所述场景类别参数进行预处理，得到目标样本图像，其中，所述图像采集参数至少包括位置参数、光照参数中的至少一者，所述预处理至少包括标注所述目标对象。

Images