CN115731381A - 目标检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种目标检测方法、装置、电子设备及存储介质。该方法包括：获取待检测的详情单图像；将所述待检测的详情单图像输入至预先训练完成的目标检测模型，得到第一目标检测结果和关键点检测结果；在所述第一目标检测结果不满足目标检测条件的情况下，基于所述关键点检测结果和所述待检测的详情单图像生成矫正图像；将所述矫正图像输入至所述预先训练完成的目标检测模型，得到第二目标检测结果；基于所述第一目标检测结果和所述第二目标检测结果确定系统检测结果。上述两阶段目标检测方法，通过对待检测的详情单图像进行矫正，提高了详情单图像质量，进而根据高质量的矫正图像进行目标检测，提高了目标检测精度。

Description

目标检测方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种目标检测方法、装置、电子设备及存储介质。

背景技术

目标检测是计算机视觉领域一个重要的研究方向。随着深度学习技术的应用，目标检测取得了显著成效，推动了目标检测技术从实验到应用的发展。

相关技术中，更多的是关注快递详情单图像中单个的检测项目，在需要同时对一张图片检测多个项目中，需要采用不同的模型分别对该图片检测，检测效率低。此外，在快递详情单图像的质量较差的情况下，比如图片冗余区域过大，图片扭曲、变形、倾斜过大，现有模型检测精度低。

发明内容

本发明提供了一种目标检测方法、装置、电子设备及存储介质，以提升模型检测精度。

根据本发明的一方面，提供了一种目标检测方法，包括：

获取待检测的详情单图像；

将所述待检测的详情单图像输入至预先训练完成的目标检测模型，得到第一目标检测结果和关键点检测结果；

在所述第一目标检测结果不满足目标检测条件的情况下，基于所述关键点检测结果和所述待检测的详情单图像生成矫正图像；

将所述矫正图像输入至所述预先训练完成的目标检测模型，得到第二目标检测结果；

基于所述第一目标检测结果和所述第二目标检测结果确定系统检测结果。

根据本发明的另一方面，提供了一种目标检测装置，包括：

详情单图像获取模块，用于获取待检测的详情单图像；

第一检测结果预测模块，用于将所述待检测的详情单图像输入至预先训练完成的目标检测模型，得到第一目标检测结果和关键点检测结果；

图像矫正模块，用于在所述第一目标检测结果不满足目标检测条件的情况下，基于所述关键点检测结果和所述待检测的详情单图像生成矫正图像；

第二检测结果预测模块，用于将所述矫正图像输入至所述预先训练完成的目标检测模型，得到第二目标检测结果；

检测结果整合模块，用于基于所述第一目标检测结果和所述第二目标检测结果确定系统检测结果。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的目标检测方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的目标检测方法。

本发明实施例的技术方案，通过将获取的待检测的详情单图像输入至预先训练完成的目标检测模型，得到第一目标检测结果和关键点检测结果；在第一目标检测结果不满足目标检测条件的情况下，基于关键点检测结果和待检测的详情单图像生成矫正图像；将矫正图像输入至预先训练完成的目标检测模型，得到第二目标检测结果；基于第一目标检测结果和第二目标检测结果确定系统检测结果。上述两阶段目标检测方法，通过对待检测的详情单图像进行矫正，提高了详情单图像质量，进而根据高质量的矫正图像进行目标检测，提高了目标检测精度。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种目标检测方法的流程图；

图2是根据本发明实施例一提供的一种详情单目标检测示意图；

图3是根据本发明实施例一提供的一种区域关键点检测示意图；

图4是根据本发明实施例二提供的一种目标检测方法的流程图；

图5是根据本发明实施例二提供的一种图像矫正的过程示意图；

图6是根据本发明实施例三提供的一种目标检测方法的流程图；

图7是根据本发明实施例三提供的一种目标检测模型的网络结构图；

图8是根据本发明实施例四提供的一种目标检测方法的流程图；

图9是根据本发明实施例五提供的一种目标检测装置的结构示意图；

图10是实现本发明实施例的目标检测方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供的一种目标检测方法的流程图，本实施例可适用于对快递详情单进行目标检测的情况，该方法可以由目标检测装置来执行，该目标检测装置可以采用硬件和/或软件的形式实现，该目标检测装置可配置于计算机终端和/或服务器中。如图1所示，该方法包括：

S110、获取待检测的详情单图像。

本实施例中，待检测的详情单图像是指快递详情单图像，详情单图像中可以包含寄件信息、收件信息、条形码等信息。

示例性的，详情单图像可以为不同快递公司、或不同版面布局的快递详情单图像。详情单图像可以通过个人数字助理(Personal Digital Assistant，PDA)、手机、相机等图像采集设备实时采集得到，也可以从预设存储路径获取得到，在此不做限定。

S120、将所述待检测的详情单图像输入至预先训练完成的目标检测模型，得到第一目标检测结果和关键点检测结果。

本实施例中，目标检测模型是指预先训练完成的网络模型，可以由详情单整图和情单整图对应的标注信息，以及详情单各区域子图和详情单各区域子图对应的标注信息进行训练得到。

目标检测模型可以输出第一目标检测结果和关键点检测结果，第一目标检测结果是指快递详情单中待提取的目标信息，目标信息可以包括但不限于收件人信息、寄件人信息、条形码和回执联等。收件人信息可以包括收件姓名、收件电话和收件地址等；寄件人信息可以包括寄件姓名、寄件电话和寄件地址等。关键点检测结果是指关键区域的坐标点，例如关键点检测结果可以为收件区域的左上、左下、右上和右下四个顶点坐标。

在一些可选实施例中，第一目标检测结果包括多个目标位置信息和多个目标类别信息；关键点检测结果包括多个关键点位置信息和多个关键点区域类别信息。

其中，目标位置信息是指目标对象的位置信息。例如目标位置信息可以为目标对象的左上顶点坐标和右下顶点坐标，也可以为目标对象的中心、长、宽等信息，在此不做限定。目标类别信息是指目标对象的类别，可以包括但不限于回执联、图形、寄件人、收件人和证件号码等类别，其中，图形可以为邮戳、法徽等图案，在此不做限定。

示例性的，图2是本实施例提供的一种详情单目标检测示意图。该邮件详情单的检测对象包括寄件人、收件人、图形、证件号码、条形码和回执联。

关键点位置信息是指关键区域的位置信息，可以为关键区域的顶点坐标。关键点区域类别信息是指关键区域的类别，可以包括但不限于寄件区域、收件区域等类别。

示例性的，图3是本发明实施例提供的一种区域关键点检测示意图。该邮件详情单的区域关键点包括寄件区域关键点和收件区域关键点。

具体的，将待检测的详情单图像输入至预先训练完成的目标检测模型，目标检测模型可以输出多个目标的位置信息和多个目标的类别信息，以及多个关键点位置信息和多个关键点区域类别信息，实现了多目标检测，提高了目标检测效率。

S130、在所述第一目标检测结果不满足目标检测条件的情况下，基于所述关键点检测结果和所述待检测的详情单图像生成矫正图像。

S140、将所述矫正图像输入至所述预先训练完成的目标检测模型，得到第二目标检测结果。

可以理解的是，当第一目标检测结果不满足目标检测条件时，表明第一目标检测结果精度较差，无法满足用户的检测需求，本实施例针对此情况，根据关键点检测结果对待检测的详情单图像实施矫正，得到了高质量的矫正图像，进而根据高质量的矫正图像再进行目标检测，得到高精度的第二目标检测结果，提高了目标检测精度。

S150、基于所述第一目标检测结果和所述第二目标检测结果确定系统检测结果。

其中，系统检测结果是指第一目标检测结果与第二目标检测结果整合后的检测结果。

示例性的，可以将第一目标检测结果与第二目标检测结果的并集作为系统检测结果。

在一些可选实施例中，目标检测条件包括：经系统阈值过滤后的第一目标检测结果包含预设类别目标结果。

其中，系统阈值可以根据检测精度自行设置，具体数值在此不做限定。预设类别目标结果是指检测系统的固定类别目标结果。

可以理解的是，当经系统阈值过滤后的第一目标检测结果包含预设类别目标结果时，表明第一目标检测结果的检测精度已经符合检测需求，可以停止检测；当经系统阈值过滤后的第一目标检测结果不包含预设类别目标结果时，表明第一目标检测结果的检测精度未符合检测需求，可能是由详情单图像倾斜、扭曲造成的，需对详情单图像进行矫正，进而根据矫正图像进行目标检测，以提升目标检测精度。

本发明实施例的技术方案，通过获取待检测的详情单图像；将待检测的详情单图像输入至预先训练完成的目标检测模型，得到第一目标检测结果和关键点检测结果；在第一目标检测结果不满足目标检测条件的情况下，基于关键点检测结果和待检测的详情单图像生成矫正图像；将矫正图像输入至预先训练完成的目标检测模型，得到第二目标检测结果；基于第一目标检测结果和第二目标检测结果确定系统检测结果。上述两阶段目标检测方法，通过对待检测的详情单图像进行矫正，提高了详情单图像质量，进而根据高质量的矫正图像进行目标检测，提高了目标检测精度。

实施例二

图4为本发明实施例二提供的一种目标检测方法的流程图，本实施例的方法与上述实施例中提供的目标检测方法中各个可选方案可以结合。本实施例提供的目标检测方法进行了进一步优化。可选的，所述关键点检测结果包括多个类别的区域关键点；所述基于所述关键点检测结果和所述待检测的详情单图像生成矫正图像，包括：对于任意两种类别的区域关键点，基于所述任意两种类别的区域关键点确定任意两种类别的区域重叠面积；若所述任意两种类别的区域重叠面积满足图像矫正条件，则基于多个类别的区域关键点，对所述待检测的详情单图像进行矫正，得到矫正图像。

如图4所示，该方法包括：

S210、获取待检测的详情单图像。

S220、将所述待检测的详情单图像输入至预先训练完成的目标检测模型，得到第一目标检测结果和关键点检测结果，所述关键点检测结果包括多个类别的区域关键点。

S230、在所述第一目标检测结果不满足目标检测条件的情况下，对于任意两种类别的区域关键点，基于所述任意两种类别的区域关键点确定任意两种类别的区域重叠面积。

S240、若所述任意两种类别的区域重叠面积满足图像矫正条件，则基于多个类别的区域关键点，对所述待检测的详情单图像进行矫正，得到矫正图像。

需要说明的是，每种类别的区域关键点可以组成一个四边形区域，可以根据每种类别区域关键点所组成四边形区域与另一类别区域关键点所组成四边形区域的重叠面积判断是否满足图像校正条件，若满足图像校正条件，则对待检测的详情单图像进行矫正，得到矫正图像。

本实施例中，图像矫正条件是指激活图像矫正程序的判断条件。示例性的，图像矫正条件可以是区域重叠面积小于预设面积阈值。可以理解的是，若区域重叠面积大于预设面积阈值，表明详情单扭曲变形严重，则可以认定该详情单失效。

示例性的，关键点检测结果可以包括寄件区域关键点和收件区域关键点，进而可以确定寄件区域关键点所组成四边形区域与收件区域关键点所组成四边形区域的区域重叠面积，若区域重叠面积小于预设面积阈值，则基于多个类别的区域关键点对待检测的详情单图像进行矫正，得到矫正图像。

在一些可选实施例中，基于多个类别的区域关键点，对待检测的详情单图像进行矫正，得到矫正图像，包括：将各类别的区域关键点在位置模板库中进行匹配，得到各类别的区域关键点对应的目标关键点；基于各类别的区域关键点和各类别的区域关键点对应的目标关键点确定透视变换矩阵；根据透视变换矩阵，对待检测的详情单图像进行矫正，得到矫正图像。

其中，目标关键点是指标准详情单中各类别的区域关键点，可以作为区域是否发生畸变的判断依据。标准详情单是指未发生倾斜、扭曲等情况的正常详情单。位置模板库中存储有多个类别的目标关键点。

示例性的，图5是本实施例提供的一种图像矫正的过程示意图。将各类别的区域关键点在位置模板库中进行匹配，得到各类别的区域关键点对应的目标关键点，其中，各类别的区域关键点可以包括左上角、左下角、右上角、右下角四个关键点，相应的，目标关键点也包括左上角、左下角、右上角、右下角四个关键点；进一步的，基于各类别的区域关键点和各类别的区域关键点对应的目标关键点确定透视变换矩阵；根据透视变换矩阵，对待检测的详情单图像进行矫正，得到矫正图像，矫正图像包括多个区域的矫正图像。

S250、将所述矫正图像输入至所述预先训练完成的目标检测模型，得到第二目标检测结果。

S260、基于所述第一目标检测结果和所述第二目标检测结果确定系统检测结果。

本发明实施例的技术方案，通过根据任意两种类别的区域关键点确定任意两种类别的区域重叠面积；若任意两种类别的区域重叠面积满足图像矫正条件，则基于多个类别的区域关键点，对待检测的详情单图像进行矫正，得到矫正图像，使图像矫正过程实现了量化筛选，对不符合图像矫正条件的详情单图像进行过滤，提高了检测效率。

实施例三

图6为本发明实施例三提供的一种目标检测方法的流程图，本实施例的方法与上述实施例中提供的目标检测方法中各个可选方案可以结合。本实施例提供的目标检测方法进行了进一步优化。可选的，所述目标检测模型包括基础网络模块、目标检测模块和关键点检测模块；所述将所述待检测的详情单图像输入至预先训练完成的目标检测模型的，得到第一目标检测结果和关键点检测结果，包括：将所述待检测的详情单图像输入至所述基础网络模块，得到第一下采样特征图和第二下采样特征图；将所述第一下采样特征图输入至所述目标检测模块，得到第一目标检测结果；将所述第二下采样特征图输入至所述关键点检测模块，得到关键点检测结果。

如图6所示，该方法包括：

S310、获取待检测的详情单图像。

S320、将所述待检测的详情单图像输入至所述基础网络模块，得到第一下采样特征图和第二下采样特征图。

S330、将所述第一下采样特征图输入至所述目标检测模块，得到第一目标检测结果。

S340、将所述第二下采样特征图输入至所述关键点检测模块，得到关键点检测结果。

其中，基础网络模块可以用于图像下采样，采样大小可以根据采样需求进行设定，在此不做限定。示例性的，基础网络模块可以为Backbone网络。第一下采样特征图或第二下采样特征图可以为多种不同采样大小的特征图的集合。目标检测模块用于实现目标检测，关键点检测模块用于实现关键点检测。

示例性的，图7是根据本实施例提供的一种目标检测模型的网络结构图。如图7所示，目标检测模型为目标检测与关键点检测联合的端到端模型。基础网络模块可以为Backbone网络，目标检测模块可以包括Neck_D卷积层和Detect卷积层，关键点检测模块可以包括Neck_P卷积层的Point卷积层。具体而言，将详情单图像输入至Backbone网络，可以得到各下采样大小的F8、F16、F32、F64，其中，F8对应的下采样大小为8，F16对应的下采样大小为16，F32对应的下采样大小为32，F64对应的下采样大小为64；将F8、F16和F32作为第一下采样特征图输入至Neck_D卷积层，得到浅层特征Ft1和Ft2；将F16、F32和F64作为第二下采样特征图输入至Neck_P卷积层，得到浅层特征Ft3和Ft4。使用Detect卷积层运算浅层特征Ft1和Ft2，得到多个目标位置信息和各目标位置信息对应的目标类别信息；使用Point卷积层运算深层特征Ft3和Ft4，得到多个关键点位置信息和多个关键点区域类别信息。其中，Backbone网络可以为ResNet、RegNet等网络；Neck_D卷积层或Neck_P卷积层可以采用特征金字塔网络，Detect卷积层的输出通道可以为M+5，M表示目标类别数量，5表示每个检测框4个位置信息和正样本标识信息；Point卷积层的输出通道为N+9，N表示关键点区域类别数量，9表示每个检测区域的4个关键点坐标信息和正样本标识信息。

S350、在所述第一目标检测结果不满足目标检测条件的情况下，基于所述关键点检测结果和所述待检测的详情单图像生成矫正图像。

S360、将所述矫正图像输入至所述预先训练完成的目标检测模型，得到第二目标检测结果。

S370、基于所述第一目标检测结果和所述第二目标检测结果确定系统检测结果。

在一些可选实施例中，目标检测模型的训练过程包括：获取多组训练样本，训练样本包括详情单整图和详情单整图的标注信息，以及详情单各区域子图和详情单各区域子图的标注信息；基于训练样本包括详情单整图和详情单整图的标注信息，以及详情单各区域子图和详情单各区域子图的标注信息对初始网络模型进行训练，得到目标检测模型。

本实施例中，详情单整图是指详情单图像的整体图像，详情单整图的标注信息包含各类目标和多个区域的关键点。详情单各区域子图是指详情单图像中各区域的图像，可以对详情单图像裁剪得到。详情单各区域子图的标注信息包括各类目标。

具体的，目标检测模型可以预先通过大量的详情单整图和详情单各区域子图以及标注信息进行训练得到。在所训练的初始网络模型中，会预先对详情单整图和详情单各区域子图进行特征提取，并基于提取特征对初始网络模型中的模型参数进行训练，并通过不断调整模型参数，使得模型的输出结果与标注信息之间的距离偏差逐渐减小并趋于稳定。在目标检测模型训练过程中，除了常规的旋转、缩放、mosaic增强等数据增强方法，还加入了颜色亮度和色度的增强。

示例性的，本实施例使用python语言和pytorch架构实现目标检测模型，并配置相应的训练程序。参数初始化过程中，对于目标检测模型的Backbone参数利用预训练模型库中的模型进行初始化，对于目标检测模型的目标检测与关键点检测两个分支参数采用正态分布的方式初始化；在目标检测模型权重的优化过程中，设置网络总损失为LOSS，其等于目标检测损失与关键点损失之和，并采用动态参数调整的方式为两个分支损失进行平衡，网络总损失公式为LOSS＝α×Loss_D+β×Loss_P,其中，Loss_D表示目标检测损失，Loss_P表示关键点损失。目标检测损失可以由IouLoss和FocalLoss构成，关键点损失可以由WingLoss和FocalLoss构成；α和β为损失调节参数，可以理解的是，设置α、β是为了保证每一个训练批次中目标检测损失和关键点损失的值处于同一个数量级，通过程序动态的对α、β的值进行更新，使模型的目标检测与关键点检测两个分支在缓和的损失下进行优化。

本发明实施例的技术方案，通过将待检测的详情单图像输入至基础网络模块，得到第一下采样特征图和第二下采样特征图；将第一下采样特征图输入至目标检测模块，得到第一目标检测结果；将第二下采样特征图输入至关键点检测模块，得到关键点检测结果。上述网络架构实现了目标检测和关键点检测的联合执行，提高了检测效率。

实施例四

图8为本发明实施例四提供的一种目标检测方法的流程图，本实施例的方法为上述实施例的优选示例。目标检测方法包括：

第一步：通过PDA设备扫描快递详情单获取详情单图像，对详情单图像进行预处理，使详情单图像归一化到W*H像素大小。

通过目标检测模型提取详情单图像的图像浅层特征和图像深层特征。

第二步：将图像浅层特征(即第一下采样特征图)输入至目标检测模型的目标检测分支，输出M1类的目标检测结果(即第一目标检测结果)；将图像深层特征(即第二下采样特征图)输入目标检测模型的关键点检测分支，输出详情单图片包含的N种类别的关键点检测结果。

第三步：若经过系统阈值过滤后的M1类的目标检测结果包含M类目标结果，则将模型输出的M1类的目标检测结果作为最终的系统检测结果；若否，则执行第二阶段。

第四步：将关键点检测分支输出的N种类别的关键点检测结果与对应类别的目标关键点匹配，并确定透视变换矩阵，根据透视变换矩阵，对详情单图像进行矫正，得到N种类别的矫正图像。

第五步：将矫正图像合并输入目标检测模型，利用目标检测分支得到M2种类别的目标检测结果(即第二目标检测结果)。

第六步：将模型的一阶段M1类的目标检测结果和二阶段M2种类别的目标检测结果整合为系统检测结果。

在一些可选实施例中，基于第一目标检测结果和第二目标检测结果确定系统检测结果，包括：根据预设响应阈值，对第一目标检测结果和第二目标检测结果进行过滤；和/或，根据非极大值抑制算法，对第一目标检测结果和第二目标检测结果进行冗余去除，得到系统检测结果。

可以理解的是，通过设置响应阈值可以过滤掉一部分响应较低的目标检测结果，利用非极大值抑制算法可以剔除冗余的检测框，以提升检测结果的准确性。

实施例五

图9为本发明实施例五提供的一种目标检测装置的结构示意图。如图9所示，该装置包括：

详情单图像获取模块410，用于获取待检测的详情单图像；

第一检测结果预测模块420，用于将所述待检测的详情单图像输入至预先训练完成的目标检测模型，得到第一目标检测结果和关键点检测结果；

图像矫正模块430，用于在所述第一目标检测结果不满足目标检测条件的情况下，基于所述关键点检测结果和所述待检测的详情单图像生成矫正图像；

第二检测结果预测模块440，用于将所述矫正图像输入至所述预先训练完成的目标检测模型，得到第二目标检测结果；

检测结果整合模块450，用于基于所述第一目标检测结果和所述第二目标检测结果确定系统检测结果。

在一些可选的实施方式中，所述关键点检测结果包括多个类别的区域关键点；图像矫正模块430，包括：

区域重叠面积确定单元，用于对于任意两种类别的区域关键点，基于所述任意两种类别的区域关键点确定任意两种类别的区域重叠面积；

多关键点矫正单元，用于若所述任意两种类别的区域重叠面积满足图像矫正条件，则基于多个类别的区域关键点，对所述待检测的详情单图像进行矫正，得到矫正图像。

在一些可选的实施方式中，多关键点矫正单元，具体用于：

将各所述类别的区域关键点在位置模板库中进行匹配，得到各所述类别的区域关键点对应的目标关键点；

基于各所述类别的区域关键点和各所述类别的区域关键点对应的目标关键点确定透视变换矩阵；

根据所述透视变换矩阵，对所述待检测的详情单图像进行矫正，得到矫正图像。

在一些可选的实施方式中，所述目标检测条件包括：经系统阈值过滤后的第一目标检测结果包含预设类别目标结果。

在一些可选的实施方式中，所述目标检测模型包括基础网络模块、目标检测模块和关键点检测模块；

在一些可选的实施方式中，第一检测结果预测模块420，具体用于：

将所述待检测的详情单图像输入至所述基础网络模块，得到第一下采样特征图和第二下采样特征图；

将所述第一下采样特征图输入至所述目标检测模块，得到第一目标检测结果；

将所述第二下采样特征图输入至所述关键点检测模块，得到关键点检测结果

在一些可选的实施方式中，所述第一目标检测结果包括多个目标位置信息和多个目标类别信息；所述关键点检测结果包括多个关键点位置信息和多个关键点区域类别信息。

在一些可选的实施方式中，检测结果整合模块450，具体用于：

根据预设响应阈值，对所述第一目标检测结果和所述第二目标检测结果进行过滤；

和/或，根据非极大值抑制算法，对所述第一目标检测结果和所述第二目标检测结果进行冗余去除，得到系统检测结果。

在一些可选的实施方式中，所述目标检测模型的训练过程包括：

获取多组训练样本，所述训练样本包括详情单整图和所述详情单整图的标注信息，以及详情单各区域子图和所述详情单各区域子图的标注信息；

基于所述训练样本包括详情单整图和所述详情单整图的标注信息，以及详情单各区域子图和所述详情单各区域子图的标注信息对初始网络模型进行训练，得到目标检测模型。

本发明实施例所提供的目标检测装置可执行本发明任意实施例所提供的目标检测方法，具备执行方法相应的功能模块和有益效果。

实施例六

图10示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图10所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如目标检测方法，该方法包括：

获取待检测的详情单图像；

将所述待检测的详情单图像输入至预先训练完成的目标检测模型，得到第一目标检测结果和关键点检测结果；

在所述第一目标检测结果不满足目标检测条件的情况下，基于所述关键点检测结果和所述待检测的详情单图像生成矫正图像；

将所述矫正图像输入至所述预先训练完成的目标检测模型，得到第二目标检测结果；

基于所述第一目标检测结果和所述第二目标检测结果确定系统检测结果。

在一些实施例中，目标检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的目标检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行目标检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种目标检测方法，其特征在于，包括：

获取待检测的详情单图像；

将所述待检测的详情单图像输入至预先训练完成的目标检测模型，得到第一目标检测结果和关键点检测结果；

在所述第一目标检测结果不满足目标检测条件的情况下，基于所述关键点检测结果和所述待检测的详情单图像生成矫正图像；

将所述矫正图像输入至所述预先训练完成的目标检测模型，得到第二目标检测结果；

基于所述第一目标检测结果和所述第二目标检测结果确定系统检测结果。

2.根据权利要求1所述的方法，其特征在于，所述关键点检测结果包括多个类别的区域关键点；

所述基于所述关键点检测结果和所述待检测的详情单图像生成矫正图像，包括：

对于任意两种类别的区域关键点，基于所述任意两种类别的区域关键点确定任意两种类别的区域重叠面积；

若所述任意两种类别的区域重叠面积满足图像矫正条件，则基于多个类别的区域关键点，对所述待检测的详情单图像进行矫正，得到矫正图像。

3.根据权利要求2所述的方法，其特征在于，所述基于多个类别的区域关键点，对所述待检测的详情单图像进行矫正，得到矫正图像，包括：

将各所述类别的区域关键点在位置模板库中进行匹配，得到各所述类别的区域关键点对应的目标关键点；

基于各所述类别的区域关键点和各所述类别的区域关键点对应的目标关键点确定透视变换矩阵；

根据所述透视变换矩阵，对所述待检测的详情单图像进行矫正，得到矫正图像。

4.根据权利要求1所述的方法，其特征在于，所述目标检测条件包括：

经系统阈值过滤后的第一目标检测结果包含预设类别目标结果。

5.根据权利要求1所述的方法，其特征在于，所述目标检测模型包括基础网络模块、目标检测模块和关键点检测模块；

所述将所述待检测的详情单图像输入至预先训练完成的目标检测模型的，得到第一目标检测结果和关键点检测结果，包括：

将所述待检测的详情单图像输入至所述基础网络模块，得到第一下采样特征图和第二下采样特征图；

将所述第一下采样特征图输入至所述目标检测模块，得到第一目标检测结果；

将所述第二下采样特征图输入至所述关键点检测模块，得到关键点检测结果。

6.根据权利要求1所述的方法，其特征在于，所述基于所述第一目标检测结果和所述第二目标检测结果确定系统检测结果，包括：

根据预设响应阈值，对所述第一目标检测结果和所述第二目标检测结果进行过滤；

和/或，根据非极大值抑制算法，对所述第一目标检测结果和所述第二目标检测结果进行冗余去除，得到系统检测结果。

7.根据权利要求1所述的方法，其特征在于，所述目标检测模型的训练过程包括：

获取多组训练样本，所述训练样本包括详情单整图和所述详情单整图的标注信息，以及详情单各区域子图和所述详情单各区域子图的标注信息；

基于所述训练样本包括详情单整图和所述详情单整图的标注信息，以及详情单各区域子图和所述详情单各区域子图的标注信息对初始网络模型进行训练，得到目标检测模型。

8.一种目标检测装置，其特征在于，包括：

详情单图像获取模块，用于获取待检测的详情单图像；

第一检测结果预测模块，用于将所述待检测的详情单图像输入至预先训练完成的目标检测模型，得到第一目标检测结果和关键点检测结果；

图像矫正模块，用于在所述第一目标检测结果不满足目标检测条件的情况下，基于所述关键点检测结果和所述待检测的详情单图像生成矫正图像；

第二检测结果预测模块，用于将所述矫正图像输入至所述预先训练完成的目标检测模型，得到第二目标检测结果；

检测结果整合模块，用于基于所述第一目标检测结果和所述第二目标检测结果确定系统检测结果。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的目标检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的目标检测方法。

Images