CN111753857A - 一种应用于目标物的自动分类的模型训练方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种应用于目标物的自动分类的模型训练方法、装置及介质。通过在检测模型的基础上添加分类模型，解决了现有技术中自动驾驶中目标物识别过程中检测速度慢且准确度低的技术问题。本申请不仅提高了目标物检测和分类的准确性，并同时提高了整体的运算速度。

Description

一种应用于目标物的自动分类的模型训练方法、装置及电子 设备

技术领域

本申请涉及计算机视觉识别处理技术领域，尤其涉及一种应用于目标物的自动分类的模型训练方法、装置及电子设备。

背景技术

随着计算机视觉技术的不断发展，其应用领域越来越广。特别是在自动驾驶场景中，需要利用计算机视觉识别技术对行驶过程中的目标物进行有效的识别。

现有技术中，对于自动驾驶场景中的目标物的识别主要包括两种识别方式：

方式一：单步检测模型，单步检测模型往往具有检测速度快，准确度差，难以满足实时检测的现实需求；

方式二：两步检测模型，两步检测模型往往具有检测准确度高，检测速度慢难以满足实时预测的现实需求。

故，自动驾驶场景中的目标物识别需要一种检测速度和准确度兼备的解决方案。

发明内容

为了解决上述技术问题，提出了一种应用于目标物的自动分类的模型训练方法、装置及介质。解决了现有技术中自动驾驶中目标物识别过程中检测速度慢且准确度低的技术问题。达到了通过提高目标物检测和分类的准确性，提高检测速度的同时保证准确度的技术效果。

第一方面，本说明书实施例提供了一种应用于目标物的自动分类的模型训练方法，所述方法包括：将图像样本作为输入数据，将候选目标物作为监督数据训练第一模型，所述第一模型用于从所述图像样本中检测出候选目标物；基于候选目标物，根据一预设规则确定待分类目标物；将所述待分类目标物作为输入数据，将所述待分类目标物的类别信息作为监督数据训练第二模型，所述第二模型用于对所述待分类目标物进行分类；根据所述第一模型和所述第二模型确定用于目标物的自动分类的模型。

第二方面，本说明书实施例提供了一种目标物的自动分类方法，所述方法包括：利用第一方面中所述的训练出的用于目标物的自动分类的模型，对输入图像中的目标物进行分类，确定所述目标物的类别。

第三方面，本说明书实施例提供了一种应用于目标物的自动分类的模型训练装置，包括：第一模型训练模块，用于将图像样本作为输入数据，将候选目标物作为监督数据训练第一模型，所述第一模型用于从所述图像样本中检测出候选目标物；待分类目标物确定模块，用于基于候选目标物，根据一预设规则确定待分类目标物；第二模型训练模块，用于将所述待分类目标物作为输入数据，将所述待分类目标物的类别信息作为监督数据训练第二模型，所述第二模型用于对所述待分类目标物进行分类；用于目标物的自动分类的模型确定模块，用于根据所述第一模型和所述第二模型确定用于目标物的自动分类的模型。

第四方面，本说明书实施例提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面所述的方法。

第五方面，本说明书实施例提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述第一方面所述的方法。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的一种应用于目标物的自动分类的模型训练方法的流程示意图。

图2是本申请另一示例性实施例提供的基于候选目标物，根据一预设规则确定待分类目标物方法的流程示意图。

图3是本申请另一示例性实施例提供的确定所述候选目标物的图像质量是否满足预设规则方法的流程示意图。

图4是本申请另一示例性实施例提供的一种应用于目标物的自动分类的模型训练装置的结构示意图。

图5为本发明申请一示例性实例提供的的一种电子设备的结构示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

本申请实施例提供了一种应用于目标物的自动分类的模型训练方法、装置及介质。解决了现有技术中自动驾驶中目标物识别过程中检测速度慢且准确度低的技术问题。不仅提高了目标物检测和分类的准确性，还同时提高了整体运算速度。

示例性方法一

图1是本申请一示例性实施例提供的一种应用于目标物的自动分类的模型训练方法的流程示意图。对于本实施例而言，所述的目标物可以为在自动驾驶过程中，对周边环境进行有效识别，比如障碍物，比如标识牌，比如活动的动物等。以标识牌作为目标物来看，有效识别标识牌能够给自动驾驶设备提供准确的驾驶输入信息，比如标识牌显示的为限速100公里每小时，自动驾驶设备有效识别后，则自动将车速限定到100公里每小时，提供安全、准确的驾驶行为。

本实施例可应用在电子设备上，包括如下步骤：

步骤1100：将图像样本作为输入数据，将候选目标物作为监督数据训练第一模型，所述第一模型用于从所述图像样本中检测出候选目标物。

具体而言，第一模型用于识别目标物，训练时的输入数据为图像，监督数据为预先标注的候选目标物，其中第一模型可以是SSD神经网络模型，用于目标物检测，通过SSD神经网络模型能够检测目标物的位置，换言之，将图像样本作为输入数据，候选目标物为特征图，即从输入的图像样本中确定出候选目标物的位置，并且具有检测速度快的效果。

步骤1200：基于候选目标物，根据一预设规则确定待分类目标物。

具体而言，确定一个预设规则，通过该预设规则对预先标注的候选目标物进行过滤，例如过滤掉严重发生形变难以辨认类别的目标物，从而得到特征清晰的有效目标物作为待分类目标物，其中，该预设规则的标准可以根据实际情况进行确定和调整，本申请实施例对此不作限制。

步骤1300：将所述待分类目标物作为输入数据，将所述待分类目标物的类别信息作为监督数据训练第二模型，所述第二模型用于对所述待分类目标物进行分类。

具体而言，第二模型用于对待分类目标物进行分类，可以通过resnet神经网络模型进行分类，将待分类目标物作为resnet神经网络模型的输入数据，从而对带分类目标物进行分类，以标识牌为例，通过resnet神经网络模型可以将标识牌区分为限速标记、高速入口、禁止鸣笛、禁止掉头等类别信息。进一步的，对于上述分类还可以根据警示的级别不同，进行二级分类，比如将标识牌区分为警示标示、禁令标示、指示标示、指路标示、旅游区标示等。在自动驾驶的模式设置中，可以根据具体的使用场景，优先判定上述二级分类中的使用策略，进一步提升自动驾驶的安全性和准确性。

步骤1400：根据所述第一模型和所述第二模型确定用于目标物的自动分类的模型。

具体而言，第一模型用于检测候选目标物并确定候选目标物位置，第二模型用于对待分类目标物进行分类，通过第一模型和第二模型的结合，能够达到通过提高目标物检测和分类的准确性，提高检测速度的同时保证准确度的技术效果。

以下布局从权实施例，各条从权可视具体情况进行组合，但至少包含上位特征的下一级流程图，例如：

如图2所示，在上述图1所示实施例的基础上，步骤1200可包括如下步骤：

步骤1210：确定所述候选目标物的图像质量是否满足预设规则；其中所述确定所述候选目标物的图像质量是否满足预设规则包括：确定所述候选目标物的图像的像素和变形程度中的至少一个是否满足预定规则。

具体而言，预设规则用于对候选目标物的清晰程度进行筛选过滤，其中，清晰程度可以从图像的像素和图像变形程度两个维度进行考虑，根据技术的发展，也可以从其他维度进行考虑，其均可达到对图像质量进行考量的技术效果。本申请实施例从图像的像素和变形程度作为衡量候选目标物的图像质量的标准，在两者之间，判断候选目标物是否能够满足其中任意一个的要求，或者是否两个要求均满足，即可确定候选目标物的图像质量是否满足预设规则。举例来讲，判断候选目标物的图像的像素是否满足预设规则，或者判断候选目标物的变形程度是否满足预设规则，或者判断候选目标物的图像的像素和变形程度是否均满足预设条件，上述三种情况均可作为判断候选目标物的图像质量是否满足预设规则的具体方式，其中，预设规则可以是针对图像的像素设定的阈值范围，可以是针对变形程度设定的变形阈值，其可以根据实际情况进行调整，本申请对此不作限制。

步骤1220：将满足所述预设规则的候选目标物确定为待分类目标物。

具体而言，通过对候选目标物进行预设规则的过滤，将不符合预设规则的候选目标物去除，即将图像质量较差的，例如图像像素不满足预设规则或者变形程度不符合预设规则的候选目标物从候选目标物的集合中去除，留下的目标物的图像质量较高，能够有效的被识别目标物，将其作为待分类目标物，通过预设规则将候选目标物进行图像质量筛选，去除无效目标物，提高待分类目标物的准确性，能够有效提取目标物的特征信息。

如图3所示，在上述图2所示实施例的基础上，步骤1210可包括如下步骤：

步骤1211：从输入图像中裁剪出所述候选目标物；

具体而言，从输入图像中裁剪出预先标注的候选目标物可以采用自动裁剪的方式，自动裁剪可以采用图像识别技术进行裁剪，例如识别出图像中的梯度信息，根据梯度信息确定候选目标物的轮廓，根据候选标志物的轮廓进行裁剪。

步骤1212：将所述裁剪出的所述候选物目标物转换为预设尺寸；

具体而言，为了能够满足神经网络模型中卷积技术的需求，需要保证图像输入尺寸一致。故，本步骤需要将输入图像裁剪出的候选物目标物的尺寸进行转换，转换为统一标准的预设尺寸，从而将输入图像中尺寸不一的候选物目标物的图像规范为统一尺寸的图像。

步骤1213：所述基于候选目标物，根据一预设规则确定待分类目标物，包括：基于具有所述预设尺寸的候选目标物，根据一预设规则确定待分类目标物。

具体而言，将候选目标物转换为统一尺寸的图片后，基于步骤1220的内容，对候选目标物进行预设规则的过滤，将图像质量较差的候选目标物去除。本步骤由于是统一尺寸的候选目标物图片在过滤时，效果更佳，过滤更准确，目标物的识别处理效果也更好。

进一步的，通过对于统一尺寸的候选目标物的处理，能够大幅度提高目标物检测和分类的准确性，同时，对于训练图片质量不好的情况下，检测和分类不共享底层权重，并且通过筛选和分类课使得分类学习得到更本质的类别特征，进一步提升目标物的识别处理效果。

进一步的，为了提升目标物的自动分类的效果，本实施例还包括：根据分类结果，调整所述预设规则。实际使用中，可以根据分类结果适当的调整预设规则，同时观察调整预设规则后的分类结果，从而确定最优的预设规则。

示例性方法二

一种目标物的自动分类方法，所述方法包括：利用所述示例性方法一训练出的用于目标物的自动分类的模型，对输入图像中的目标物进行分类，确定所述目标物的类别。采用本示例性方法中涉及的分类方法进行目标物的分类，不仅提高了目标物检测和分类的准确性，还同时提高了整体运算的速度。

示例性装置

如图4所示，本申请实施例提供了一种应用于目标物的自动分类的模型训练装置，其中，所述装置包括：

第一模型训练模块410，用于将图像样本作为输入数据，将候选目标物作为监督数据训练第一模型，所述第一模型用于从所述图像样本中检测出候选目标物；

待分类目标物确定模块420，用于基于候选目标物，根据一预设规则确定待分类目标物；

第二模型训练模块430，用于将所述待分类目标物作为输入数据，将所述待分类目标物的类别信息作为监督数据训练第二模型，所述第二模型用于对所述待分类目标物进行分类；

用于目标物的自动分类的模型确定模块440，用于根据所述第一模型和所述第二模型确定用于目标物的自动分类的模型。

进一步的，所述装置还包括：

图像质量确定单元，用于确定所述候选目标物的图像质量是否满足预设规则；

待分类目标物确定单元，用于将满足所述预设规则的候选目标物确定为待分类目标物。

进一步的，所述装置还包括：

满足预定规则确定单元，用于确定所述候选目标物的图像的像素和变形程度中的至少一个是否满足预定规则。

进一步的，所述装置还包括：

裁剪单元，用于从输入图像中裁剪出候选目标物；

预设尺寸转换单元，用于将候选目标物转换为预设尺寸；

待分类目标物确定单元，用于基于具有所述预设尺寸的的候选目标物，根据一预设规则确定待分类目标物。

示例性电子设备

下面，参考图5来描述根据本申请实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图5图示了根据本申请实施例的电子设备的框图。

如图5所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的声源定位方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图5中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的声源定位方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的用于目标物的分类的方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种应用于目标物的自动分类的模型训练方法，所述方法包括：

将图像样本作为输入数据，将候选目标物作为监督数据训练第一模型，所述第一模型用于从所述图像样本中检测出候选目标物；

基于候选目标物，根据一预设规则确定待分类目标物；

将所述待分类目标物作为输入数据，将所述待分类目标物的类别信息作为监督数据训练第二模型，所述第二模型用于对所述待分类目标物进行分类；

根据所述第一模型和所述第二模型确定用于目标物的自动分类的模型。

2.如权利要求1所述的方法，其中，基于候选目标物，根据一预设规则确定待分类目标物包括：

确定所述候选目标物的图像质量是否满足预设规则；

将满足所述预设规则的候选目标物确定为待分类目标物。

3.如权利要求2所述的方法，其中所述确定所述候选目标物的图像质量是否满足预设规则包括：

确定所述候选目标物的图像的像素和变形程度中的至少一个是否满足预定规则。

4.如权利要求3所述的方法，其中，所述方法还包括：

从输入图像中裁剪出所述候选目标物；

将裁剪出的所述候选目标物转换为预设尺寸；

所述基于候选目标物，根据一预设规则确定待分类目标物，包括：

基于具有所述预设尺寸的候选目标物，根据一预设规则确定待分类目标物。

5.如权利要求1-4任一项所述的方法，其中，所述方法还包括：根据分类结果，调整所述预设规则。

6.一种目标物的自动分类方法，所述方法包括：

利用所述权利要求1-4训练出的用于目标物的自动分类的模型，对输入图像中的目标物进行分类，确定所述目标物的类别。

7.一种应用于目标物的自动分类的模型训练装置，包括：

第一模型训练模块，用于将图像样本作为输入数据，将候选目标物作为监督数据训练第一模型，所述第一模型用于从所述图像样本中检测出候选目标物；

待分类目标物确定模块，用于基于候选目标物，根据一预设规则确定待分类目标物；

第二模型训练模块，用于将所述待分类目标物作为输入数据，将所述待分类目标物的类别信息作为监督数据训练第二模型，所述第二模型用于对所述待分类目标物进行分类；

用于目标物的自动分类的模型确定模块，用于根据所述第一模型和所述第二模型确定用于目标物的自动分类的模型。

8.如权利要求7所述的装置，其中，所述待分类目标物确定模块包括：

图像质量确定单元，用于确定所述候选目标物的图像质量是否满足预设规则；

待分类目标物确定单元，用于将满足所述预设规则的候选目标物确定为待分类目标物。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6任一所述的方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1-6任一所述的方法。

Images