CN114519793A - 目标物体检测方法、装置、电子设备及存储介质 - Google Patents

目标物体检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114519793A
CN114519793A CN202011277629.2A CN202011277629A CN114519793A CN 114519793 A CN114519793 A CN 114519793A CN 202011277629 A CN202011277629 A CN 202011277629A CN 114519793 A CN114519793 A CN 114519793A
Authority
CN
China
Prior art keywords
preset
confidence
target object
confidence coefficient
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011277629.2A
Other languages
English (en)
Inventor
陈奇华
杨小平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN202011277629.2A priority Critical patent/CN114519793A/zh
Publication of CN114519793A publication Critical patent/CN114519793A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种目标物体检测方法、装置、电子设备及计算机可读存储介质。该目标物体检测方法包括：获取预设区域的状态图像；根据所述状态图像进行特征提取处理，得到所述状态图像的图像特征；根据图像特征进行预测处理，得到所述预设区域存在物体分别是预设的第一物体类别的第一置信度、预设的第二物体类别的第二置信度；根据所述第一置信度和所述第二置信度，确定所述预设区域是否存在目标物体。本申请中可以在一定程度上提高对目标物体的检测精度。

Description

目标物体检测方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机视觉技术领域，具体涉及一种目标物体检测方法、装置、电子设备及计算机可读存储介质。
背景技术
随着计算视觉技术的快速发展，计算视觉技术的应用越来越广泛，例如，可以基于特定场景区域的图像检测出特定场景区域内是否存在目标物体。对目标物体进行准确地检测，对于某些应用场景，如检测物流中转场中是否有快件掉落等有着积极的意义。
现有技术中，通过检测模型直接根据特定场景区域图像的图像特征进行(存在目标物体、不存在目标物体)二分类，以确定图像中是否存在目标物体，进而确定特定场景区域中是否存在目标物体。
然而，目标物体有时候是单个摆置的、有时候是多个堆在一起摆置的，由于目标物体的摆放存在不规则性，因此含有目标物体的不同图像的图像特征存在较大差异，直接基于图像特征进行二分类，会导致目标物体的检测精度较低。
发明内容
本申请提供一种目标物体检测方法、装置、电子设备及计算机可读存储介质，旨在解决现有的目标物体检测方法在检测存在摆置不规则性的目标物体时，存在检测精度低的问题。
第一方面，本申请提供一种目标物体检测方法，所述方法包括：
获取预设区域的状态图像；
根据所述状态图像进行特征提取处理，得到所述状态图像的图像特征；
根据图像特征进行预测处理，得到所述预设区域存在物体分别是预设的第一物体类别的第一置信度、预设的第二物体类别的第二置信度；
根据所述第一置信度和所述第二置信度，确定所述预设区域是否存在目标物体。
第二方面，本申请提供一种目标物体检测装置，所述目标物体检测装置包括：
获取单元，用于获取预设区域的状态图像；
提取单元，用于根据所述状态图像进行特征提取处理，得到所述状态图像的图像特征；
预测单元，用于根据图像特征进行预测处理，得到所述预设区域存在物体分别是预设的第一物体类别的第一置信度、预设的第二物体类别的第二置信度；
确定单元，用于根据所述第一置信度和所述第二置信度，确定所述预设区域是否存在目标物体。
在本申请一种可能的实现方式中，所述根据所述第一置信度和所述第二置信度，确定所述预设区域是否存在目标物体步骤之前，所述预测单元具体用于：
根据所述图像特征进行预测处理，得到所述预设区域存在物体是预设的目标物体类别的第三置信度，其中，所述第一物体类别和所述第二物体类别均从属于所述目标物体类别；
在本申请一种可能的实现方式中，所述确定单元具体用于：
根据所述第一置信度、所述第二置信度和所述第三置信度，确定所述预设区域是否存在目标物体。
在本申请一种可能的实现方式中，所述确定单元具体用于：
从所述第一置信度、所述第二置信度和所述第三置信度中，获取数值最大的置信度，以作为所述预设区域存在目标物体的目标置信度；
检测所述目标置信度是否大于第一预设阈值；
当检测到所述目标置信度大于第一预设阈值时，确定所述预设区域存在目标物体；
当检测到所述目标置信度小于或等于第一预设阈值时，确定所述预设区域不存在目标物体。
在本申请一种可能的实现方式中，所述预测单元具体用于：
调用训练后第一检测网络中的第一预测子网络，根据图像特征进行预测处理，得到所述第一置信度和所述第二置信度；
调用训练后第一检测网络中的第二预测子网络，根据所述图像特征进行预测处理，得到所述第三置信度，其中，所述第一预测子网络和所述第二预测子网络为并联分支。
在本申请一种可能的实现方式中，所述确定单元具体用于：
根据所述第一置信度和所述第二置信度进行预测处理，得到所述预设区域存在物体是预设的目标物体类别的第四置信度；
检测所述第四置信度是否大于第二预设阈值；
当检测到所述第四置信度大于第二预设阈值时，确定所述预设区域存在目标物体；
当检测到所述第四置信度小于或等于第二预设阈值时，确定所述预设区域不存在目标物体。
在本申请一种可能的实现方式中，所述预测单元具体用于：
调用训练后第二检测网络中的第三预测子网络，根据图像特征进行预测处理，得到所述第一置信度和所述第二置信度；
调用训练后第二检测网络中的第四预测子网络，根据所述第一置信度和所述第二置信度进行预测处理，得到所述第四置信度，其中，所述第三预测子网络和所述第四预测子网络为级联分支。
在本申请一种可能的实现方式中，所述目标物体检测装置还包括训练单元，所述训练单元具体用于：
获取训练数据集，其中，所述训练数据集包括所述第一物体类别的第一样本图像、以及所述第二物体类别的第二样本图像；
获取所述第一样本图像与所述第二样本图像之间的数据差值；
当所述数据差值大于预设数量阈值时，对目标样本类别的样本图像进行扩增，得到更新后的训练数据集，其中，目标样本类别是指所述第一物体类别和所述第二物体类别中，样本图像的数量最少的类别；
根据所述更新后的训练数据集对第一预设网络进行训练，得到所述第二检测网络。
在本申请一种可能的实现方式中，所述目标物体检测装置还包括告警单元，所述告警单元具体用于：
当确定所述预设区域存在目标物体时，输出异常告警信息。
第三方面，本申请还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本申请提供的任一种目标物体检测方法中的步骤。
第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的目标物体检测方法中的步骤。
本申请通过针对目标物体的摆置不规则性，分别检测(目标物体处于)差异较大的不同摆置状态的置信度，即分别预测预设区域存在物体分别是预设的第一物体类别的第一置信度、预设的第二物体类别的第二置信度；再基于第一置信度和第二置信度确定预设区域内是否存在目标物体。可以避免直接基于图像特征进行(存在目标物体、不存在目标物体的)二分类，进而避免目标物体不同摆置状态的图像特征差异较大，二分类模型较难精准判别是否存在目标物体的问题，从而提高对目标物体的检测精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例所提供的目标物体检测系统的场景示意图；
图2是本申请实施例提供的目标物体检测方法的一种流程示意图；
图3是图像特征分别与第一置信度和第二置信度的一种关系示意图；
图4是图像特征分别与第一置信度和第二置信度的另一种关系示意图；
图5是本申请实施例中提供的第一检测网络的一种结构示意图；
图6是本申请实施例中提供的第二检测网络的一种结构示意图；
图7是本申请实施例中提供的目标物体检测装置的一个实施例结构示意图；
图8是本申请实施例中提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的过程进行详细阐述，以避免不必要的细节使本申请实施例的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请实施例所公开的原理和特征的最广范围相一致。
本申请实施例提供一种目标物体检测方法、装置、电子设备和计算机可读存储介质。其中，该目标物体检测装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
首先，在介绍本申请实施例之前，先介绍下本申请实施例关于应用背景的相关内容。
计算机视觉技术在越来越多的领域中得到应用。例如，在物流领域中，中转场等场地存在着大量的快件，为了统计快件的数量，或者为了防止快件掉落、遗失，常需要使用到计算机视觉的方法对快件进行检测，以起到实时监控的作用。
但是，掉落、遗失有时候是单个摆置的、有时候是多个堆在一起摆置的，同时针对单个快件的样本图像、和一堆快件作为训练数据集，对(存在目标物体、不存在目标物体)二分类网络进行训练。由于单个快件、与一堆快件之间的特征存在较大差异，直接基于单个快件的样本图像、和一堆快件作为训练数据集，训练后的二分类网络对快件检测的精准度相对不高。
基于现有的相关技术存在的上述缺陷，本申请实施例提供了目标物体检测方法，至少在一定程度上克服现有的相关技术所存在的缺陷。
本申请实施例目标物体检测方法的执行主体可以为本申请实施例提供的目标物体检测装置，或者集成了该目标物体检测装置的服务器设备、物理主机或者用户设备(UserEquipment，UE)等不同类型的电子设备，其中，目标物体检测装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal Digital Assistant，PDA)等终端设备。
该电子设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式，通过应用本申请实施例提供的目标物体检测方法，可以在一定程度上提高对目标物体的检测精度。
参见图1，图1是本申请实施例所提供的目标物体检测系统的场景示意图。其中，该目标物体检测系统可以包括电子设备100，电子设备100中集成有目标物体检测装置。例如，该电子设备可以获取预设区域的状态图像；根据所述状态图像进行特征提取处理，得到所述状态图像的图像特征；根据图像特征进行预测处理，得到所述预设区域存在物体分别是预设的第一物体类别的第一置信度、以及预设的第二物体类别的第二置信度；根据所述第一置信度和所述第二置信度，确定所述预设区域是否存在目标物体。
另外，如图1所示，该目标物体检测系统还可以包括存储器200，用于存储数据，如预设区域的状态图像。
需要说明的是，图1所示的目标物体检测系统的场景示意图仅仅是一个示例，本申请实施例描述的目标物体检测系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着目标物体检测系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
下面，开始介绍本申请实施例提供的目标物体检测方法，本申请实施例中以电子设备作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体。
参照图2，图2是本申请实施例提供的目标物体检测方法的一种流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该目标物体检测方法包括步骤S10～S40，其中：
S10、获取预设区域的状态图像。
其中，预设区域可以根据具体的应用场景而适应性变化。比如，为了检测物流中转场中是否有快件掉落，则预设区域是指中转场。又如，为了检测公交车站台是否有人，则预设区域是指公交车站台。
其中，预设区域可以设置有摄像头，该摄像头的视野范围可以覆盖预设区域，该摄像头可用于采集预设区域的状态图像(后续简称“状态图像”)，以供后续基于状态图像分析确定预设区域内是否存在目标物体。
具体地，在实际应用中，应用本申请实施例提供的目标物体检测方法的电子设备，在硬件上可直接包括预设区域的摄像头(该摄像头主要用于采集包含预设区域的图像)，并在本地存储该摄像头拍摄得到的图像，可在电子设备内部直接读取；或者，电子设备也可与该摄像头建立网络连接，并根据该网络连接从该摄像头在线获取该摄像头得到的图像；或者，电子设备也可从存储有该摄像头拍摄得到的图像的相关存储介质，读取出该摄像头拍摄得到的图像，具体获取方式在此不做限定。
其中，摄像头可根据预设的拍摄方式拍摄图像，例如可设置拍摄高度、拍摄方向或者拍摄距离，其具体拍摄方式可根据摄像头本身进行调节，具体在此不做限定。摄像头拍摄得到的多帧图像，可通过时间线组成视频。
S20、根据所述状态图像进行特征提取处理，得到所述状态图像的图像特征。
其中，图像特征是指对状态图像进行特征提取处理后，所得到的图像空间特征。
在一些实施例中，可以通过是训练后的第一检测网络对状态图像进行特征提取，得到状态图像的图像特征。其中，第一检测网络进行特征提取的过程在后文中将详细介绍，在此不再赘述。
在一些实施例中，可以通过是训练后的第二检测网络对状态图像进行特征提取，得到状态图像的图像特征。其中，第二检测网络进行特征提取的过程在后文中将详细介绍，在此不再赘述。
S30、根据图像特征进行预测处理，得到所述预设区域存在物体分别是预设的第一物体类别的第一置信度、预设的第二物体类别的第二置信度。
其中，第一物体类别、第二物体类别分别是指示目标物体两种不同摆置状态的类别。比如，第一物体类别是“单个目标物体”、第二物体类别是“一堆目标物体”。又如，第一物体类别是“数量小于3的目标物体”、第二物体类别是“数量大于或等于3的目标物体”。
在本申请实施例中，分别预测预设区域存在物体是预设的第一物体类别的第一置信度、是预设的第二物体类别的第二置信度的目的在于：针对目标物体的摆置不规则性，分别检测(目标物体处于)差异较大的不同摆置状态的置信度，避免直接基于图像特征进行(存在目标物体、不存在目标物体的)二分类，进而避免目标物体不同摆置状态的图像特征差异较大，二分类模型较难精准判别是否存在目标物体的问题，从而提高对目标物体的检测精度。
第一置信度是指预设区域存在物体是预设的第一物体类别的置信度。如，第一物体类别是“单个快件”，则第一置信是指预设区域内存在“单个快件”的置信度。
第二置信度是指预设区域存在物体是预设的第二物体类别的置信度。如，第二物体类别是“一堆快件”，则第二置信是指预设区域内存在“一堆快件”的置信度。
在一些实施例中，一方面，根据图像特征进行分类预测处理，得到预设区域存在物体是预设的第一物体类别的第一置信度。另一方面，根据图像特征进行分类预测处理，得到预设区域存在物体是预设的第二物体类别的第一置信度。如图3所示，图3是图像特征分别与第一置信度和第二置信度的一种关系示意图。即基于状态图像进行一次特征提取后，所得到的图像特征分别用于第一置信度、第二置信度预测。
在一些实施例中，图像特征可以包括第一图像特征和第二图像特征。此时，一方面，根据第一图像特征进行分类预测处理，得到预设区域存在物体是预设的第一物体类别的第一置信度。另一方面，根据第二图像特征进行分类预测处理，得到预设区域存在物体是预设的第二物体类别的第一置信度。请参照图4，图4是图像特征分别与第一置信度和第二置信度的另一种关系示意图。如图4(a)和(b)中所示，即基于状态图像在不同层面分别进行特征提取得到第一图像特征、第二图像特征，所得到的第一图像特征用于第一置信度预测、所得到的第二图像特征用于第二置信度预测。
S40、根据所述第一置信度和所述第二置信度，确定所述预设区域是否存在目标物体。
在一些实施例中，步骤S40具体可以包括：对比第一置信度和第二置信度中的最大值是否大于预设置信度阈值。当第一置信度和第二置信度中的最大值大于预设置信度阈值时，确定预设区域存在目标物体。当第一置信度和第二置信度中的最大值小于或等于预设置信度阈值时，确定预设区域不存在目标物体。
例如，为了检测物流中转场的场地A是否有快件掉落，根据场地A的状态图像，检测到场地A掉落“单个快件”的第一置信度为0.5、场地A掉落“一堆快件”的第二置信度为0.8。若第一置信度0.5和第二置信度0.8中的最大值大于预设置信度阈值0.75，则可以确定预设区域内存在目标物体。若第一置信度0.5和第二置信度0.8中的最大值小于预设置信度阈值0.85，则可以确定预设区域内不存在目标物体。此处，预设置信度阈值仅为举例，具体可以根据实际需求而设置，不以此为限。
在一些实施例中，可以进一步根据图像特征进行预测处理，得到预设区域存在物体是预设的目标物体类别的第三置信度。再对比第一置信度、第二置信度和第三置信度中的最大值是否大于预设置信度阈值。当第一置信度、第二置信度和第三置信度中的最大值大于预设置信度阈值时，确定预设区域存在目标物体。当第一置信度、第二置信度和第三置信度中的最大值小于或等于预设置信度阈值时，确定预设区域不存在目标物体。此处确定预设区域是否存在目标物体的具体实施方式后续将有详细介绍及举例，此处简化描述。
在一些实施例中，可以进一步以第一置信度和第二置信度为特征依据进行预测处理，得到预设区域存在物体是预设的目标物体类别的第四置信度。再对比第一置信度、第二置信度和第四置信度中的最大值是否大于预设置信度阈值。当第一置信度、第二置信度和第四置信度中的最大值大于预设置信度阈值时，确定预设区域存在目标物体。当第一置信度、第二置信度和第四置信度中的最大值小于或等于预设置信度阈值时，确定预设区域不存在目标物体。
在一些实施例中，可以进一步以第一置信度和第二置信度为特征依据进行预测处理，得到预设区域存在物体是预设的目标物体类别的第四置信度。再对比第四置信度中是否大于预设置信度阈值。当第四置信度大于预设置信度阈值时，确定预设区域存在目标物体。当第四置信度小于或等于预设置信度阈值时，确定预设区域不存在目标物体。此处确定预设区域是否存在目标物体的具体实施方式后续将有详细介绍及举例，此处简化描述。
由以上内容可以看出，针对目标物体的摆置不规则性，分别检测(目标物体处于)差异较大的不同摆置状态的置信度，即分别预测预设区域存在物体分别是预设的第一物体类别的第一置信度、预设的第二物体类别的第二置信度；再基于第一置信度和第二置信度确定预设区域内是否存在目标物体。可以避免直接基于图像特征进行(存在目标物体、不存在目标物体的)二分类，进而避免目标物体不同摆置状态的图像特征差异较大，二分类模型较难精准判别是否存在目标物体的问题，从而提高对目标物体的检测精度。
为了提高目标物体的检测精度，在一些实施例中，在步骤S40之前还可以进一步包括：根据所述图像特征进行预测处理，得到所述预设区域存在物体是预设的目标物体类别的第三置信度。
其中，目标物体类别是指目标物体的类别。如，为了检测预设区域是否存在快件，则目标物体类别可以是“快件”。又如，为了检测预设区域是否存在人，则目标物体类别可以是“人”。
第三置信度是指根据状态图像的图像特征预测所得到的：预设区域存在物体是预设的目标物体类别的置信度，具体是指预设区域内存在目标物体的置信度。
其中，第一物体类别和第二物体类别均从属于目标物体类别。
例如，目标物体类别为“快件”、第一物体类别为“单个快件”、第二物体类别为“一堆快件”，“单个快件”和“一堆快件”均从属于“快件”。
此时，步骤S40具体可以包括：根据所述第一置信度、所述第二置信度和所述第三置信度，确定所述预设区域是否存在目标物体。
由以上内容可以看出，通过分别预测预设区域存在物体分别是预设的第一物体类别的第一置信度、预设的第二物体类别的第二置信度、是预设的目标物体类别的第三置信度，基于第一置信度、第二置信度和第三置信度来评估预设区域是否存在目标物体。由于结合了考虑摆置不规则性、不考虑摆置不规则多方面情况进行预测，提高了预测特征的全面性，进而提高了目标物体的检测精度。
具体地，可以采用经过深度学习后的第一检测网络来对状态图像进行特征提取得到状态图像的图像特征、预测第一置信度、第二置信度和第三置信度。
即，步骤S20具体可以包括：调用训练后第一检测网络中的特征提取层，根据所述状态图像进行特征提取处理，得到所述状态图像的图像特征。
步骤S30具体可以包括：调用训练后第一检测网络中的第一预测子网络，根据图像特征进行预测处理，得到所述第一置信度和所述第二置信度。
“根据所述图像特征进行预测处理，得到所述预设区域存在物体是预设的目标物体类别的第三置信度”具体可以包括：调用训练后第一检测网络中的第二预测子网络，根据所述图像特征进行预测处理，得到所述第三置信度。其中，所述第一预测子网络和所述第二预测子网络为并联分支。
如图5所示，图5是本申请实施例中提供的第一检测网络的一种结构示意图。第一检测网络可以包括特征提取层、预测层。其中，预测层又可以进一步包括第一预测子网络、第二预测子网络。
特征提取层，用于根据状态图像(即预设区域的图像)输出状态图像的图像特征。特征提取层以状态图像(即预设区域的图像)作为输入，对状态图像进行包括但不限于卷积、池化等操作中的一种或多种，以实现对状态图像进行特征提取得到状态图像的图像特征。其中，特征提取层可以是卷积神经网络(Convolutional Neural Networks,CNN)，比如可以直接采用分类网络ResNet50去掉全连接层后得到的CNN网络作为特征提取层。
第一预测子网络，用于根据状态图像的图像特征输出第一置信度、第二置信度。第一预测子网络以状态图像的图像特征作为输入，分别根据状态图像的图像特征进行回归分类预测处理，确定预设区域存在物体是预设的第一物体类别的第一置信度、预设区域存在物体是预设的第二物体类别的第二置信度。
第二预测子网络，用于根据状态图像的图像特征输出第三置信度。第二预测子网络以状态图像的图像特征作为输入，根据状态图像的图像特征进行回归分类预测处理，确定预设区域存在物体是预设的目标物体类别的第三置信度。
由以上内容可以看出，由于第一检测网络经训练后学到了图像特征与第一置信度、第二置信度、第三置信度之间的特征关系。通过设置(第一预测子网络和第二预测子网络为并联分支的)第一检测网络进行第一置信度、第二置信度和第三置信度的预测，在一定程度上提高了第一置信度、第二置信度、第三置信度的可靠性。
在一些实施例中，第一检测网络由第二预设网络通过如下步骤a1～a5训练得到，其中：
a1、获取目标物体的样本图像。
其中，样本图像标注了对应的类别信息、回归框信息、以及所标注类别信息的置信度。第一类别信息包括第一物体类别、第二物体类别。其中，所标注的第一物体类别和第二物体类别均归属为目标物体类别。
例如，为了使得训练后的第一检测网络可以检测出快件。对中转场的图片进行数据标注，标注图片中出现的所有快件。其中，将单个的快件标成一类，标记为0类；将堆在一起的快件分成另外一类，标记为1类，只要是图片中的快件有相连的地方都归为1类；对标注信息进行格式转换，转成所需数据格式，形成快件二分类数据集。
a2、调用第二预设网络中的特征提取层，对样本图像进行特征提取处理，得到样本图像的样本特征。
其中，第二预设网络可以是可用于检测任务的开源网络模型，如YOLOv1网络、YOLOv2网络、YOLOv3网络、SSD网络和RetinaNet网络等等(其中，开源网络模型的特征提取层，作为第二预设网络中的特征提取层；开源网络模型的预测层，作为第二预设网络中的第一预测子网络)，并在此基础上增加一个预测子网络(即第二预测子网络)；其中，第一预测子网络和第二预测子网络是并联分支。第二预设网络的网络结构与功能实现与第一检测网络类似，具体可以参照第一检测网络的网络结构和功能实现的阐述，在此不再赘述。
a3、调用第二预设网络中的预测层根据样本特征分别进行分类预测处理，得到样本图像中存在物体分别是第一物体类别的置信度、第二物体类别的置信度、目标物体类别的置信度。
a4、根据预测得到的样本图像中存在物体分别是第一物体类别的置信度、第二物体类别的置信度、目标物体类别的置信度，以及样本图像所标注的对应类别信息、回归框信息、以及所标注类别信息的置信度等，确定第二预设网络的训练总损失值。
例如，可以根据如下公式(1)确定第二预设网络的训练总损失值：
L＝Lobj+Lcls+Lbbox+Lcls_1 公式(1)
其中，L为训练总损失值，Lobj为置信度损失(由预测得到的样本图像中存在物体分别是第一物体类别的置信度、第二物体类别的置信度、目标物体类别的置信度，以及所标注类别信息的置信度确定)，Lcls为第一预测子网络的分类损失(由所标注类别信息、以及第一预测子网络的分类结果确定)，Lbbox为回归损失(由所标注的回归框信息、以及第二预设网络的回归结果确定)，Lcls_1为第二预测子网络的分类损失(由所标注类别信息、以及第二预测子网络的分类结果确定)
进一步地，为了使得第二预测子网络的损失以不同的权重加入至第一检测网络中，在对目标物体类别的分类倾向不够时，以提升第一检测网络对目标物体类别的分类倾向。即可以根据如下公式(2)确定第二预设网络的训练总损失值：
L＝Lobj+Lcls+Lbbox+αLcls_1 公式(2)
其中，L为训练总损失值，Lobj为置信度损失，Lcls为第一预测子网络的分类损失，Lbbox为回归损失，Lcls_1为第二预测子网络的分类损失，α为权重参数。
a5、根据训练总损失值更新第二预设网络的模型参数，直至第二预设网络收敛时，将第二预设网络作为训练后的第一检测网络。
在一些实施例中，上述“根据所述第一置信度、所述第二置信度和所述第三置信度，确定所述预设区域是否存在目标物体”具体可以包括：从所述第一置信度、所述第二置信度和所述第三置信度中，获取数值最大的置信度，以作为所述预设区域存在目标物体的目标置信度；检测所述目标置信度是否大于第一预设阈值；当检测到所述目标置信度大于第一预设阈值时，确定所述预设区域存在目标物体；当检测到所述目标置信度小于或等于第一预设阈值时，确定所述预设区域不存在目标物体。
例如，为了检测物流中转场的场地A是否有快件掉落，根据场地A的状态图像，检测到场地A掉落“单个快件”的第一置信度为0.5、场地A掉落“一堆快件”的第二置信度为0.8、场地A掉落“快件”的第三置信度为0.7。若第一置信度0.5、第二置信度0.8和第三置信度为0.7中的最大值(即目标置信度)，大于第一预设阈值0.75，则可以确定预设区域内存在目标物体。
此处，第一预设阈值仅为举例，具体可以根据实际需求而设置，不以此为限。
其中，目标物体类别是指目标物体的类别。如，为了检测预设区域是否存在快件，则目标物体类别可以是“快件”。又如，为了检测预设区域是否存在人，则目标物体类别可以是“人”。
第三置信度是指根据状态图像的图像特征预测所得到的：预设区域存在物体是预设的目标物体类别的置信度，具体是指预设区域内存在目标物体的置信度。
目标置信度是指第一置信度、第二置信度和第三置信度中的最大值，具体是指预设区域存在目标物体的置信度。
其中，第一物体类别和第二物体类别均从属于目标物体类别。
例如，目标物体类别为“快件”、第一物体类别为“单个快件”、第二物体类别为“一堆快件”，“单个快件”和“一堆快件”均从属于“快件”。
由以上内容可以看出，由于预设区域存在物体是预设的第一物体类别、预设区域存在物体是预设的第二物体类别、预设区域存在物体是预设的目标物体类别均能反映预设区域存在目标物体，通过判定第一置信度、第二置信度和第三置信度中的最大值是否大于第一预设阈值来判定预设区域是否存在目标物体，在一定程度上提高了判定结果的精准度。
在一些实施例中，步骤S40具体可以包括：根据所述第一置信度和所述第二置信度进行预测处理，得到所述预设区域存在物体是预设的目标物体类别的第四置信度；检测所述第四置信度是否大于第二预设阈值；当检测到所述第四置信度大于第二预设阈值时，确定所述预设区域存在目标物体；当检测到所述第四置信度小于或等于第二预设阈值时，确定所述预设区域不存在目标物体。
例如，为了检测物流中转场的场地B是否有快件掉落。首先，根据场地B的状态图像，检测到场地B掉落“单个快件”的第一置信度为0.5、场地B掉落“一堆快件”的第二置信度为0.8。然后，以第一置信度0.5和第二置信度0.8作为特征依据进行预测，得到场地B掉落“快件”的第四置信度为0.7。最后，检测第四置信度为0.7是否大于第二预设阈值。若检测到第四置信度为0.7大于第二预设阈值(如0.6)，则可以确定预设区域内存在目标物体。若检测到第四置信度为0.7小于或等于第二预设阈值(如0.8)，则可以确定预设区域内不存在目标物体。
由以上内容可以看出，由于第四置信度是预设区域存在物体是预设的目标物体类别的置信度，当第四置信度大于第二预设阈值时，才判定预设区域内存在目标物体，可以在一定程度上提高判定结果的精准度。
具体地，可以采用经过深度学习后的第二检测网络来对状态图像进行特征提取得到状态图像的图像特征、预测第一置信度、第二置信度和第四置信度。
即，步骤S20具体可以包括：调用训练后第二检测网络中的特征提取层，根据所述状态图像进行特征提取处理，得到所述状态图像的图像特征。
步骤S30具体可以包括：调用训练后第二检测网络中的第三预测子网络，根据图像特征进行预测处理，得到所述第一置信度和所述第二置信度。
“根据所述第一置信度和所述第二置信度进行预测处理，得到所述预设区域存在物体是预设的目标物体类别的第四置信度”具体可以包括：调用训练后第二检测网络中的第四预测子网络，根据所述第一置信度和所述第二置信度进行预测处理，得到所述第四置信度。其中，第三预测子网络和第四预测子网络为级联分支。
如图6所示，图6是本申请实施例中提供的第二检测网络的一种结构示意图。第二检测网络可以包括特征提取层、预测层。其中，预测层又可以进一步包括第三预测子网络、第四预测子网络。
特征提取层，用于根据状态图像(即预设区域的图像)输出状态图像的图像特征。特征提取层以状态图像(即预设区域的图像)作为输入，对状态图像进行包括但不限于卷积、池化等操作中的一种或多种，以实现对状态图像进行特征提取得到状态图像的图像特征。其中，特征提取层可以是卷积神经网络(Convolutional Neural Networks,CNN)，比如可以直接采用分类网络ResNet50去掉全连接层后得到的CNN网络作为特征提取层。
第三预测子网络，用于根据状态图像的图像特征输出第一置信度、第二置信度。第一预测子网络以状态图像的图像特征作为输入，分别根据状态图像的图像特征进行回归分类预测处理，确定预设区域存在物体是预设的第一物体类别的第一置信度、预设区域存在物体是预设的第二物体类别的第二置信度。
第四预测子网络，用于根据第一置信度和第二置信度输出第四置信度。第二预测子网络以第一置信度和第二置信度作为特征输入，根据第一置信度和第二置信度进行回归分类预测处理，确定预设区域存在物体是预设的目标物体类别的第四置信度。
由以上内容可以看出，由于第二检测网络经训练后学到了图像特征与第一置信度、第二置信度之间的特征关系，以及第一置信度和第二置信度与第四置信度之间的特征关系。通过设置(第三预测子网络和第四预测子网络为级联分支的)第二检测网络进行第一置信度、第二置信度和第四置信度的预测，在一定程度上提高了第一置信度、第二置信度、第三置信度的可靠性。
在一些实施例中，第二检测网络由第一预设网络通过如下步骤b1～b5训练得到，其中：
b1、获取训练数据集。
其中，训练数据集包括第一物体类别的第一样本图像、以及第二物体类别的第二样本图像。其中，第一样本图像、第二样本图像均(简称为样本图像)标注了对应的类别信息、回归框信息、以及所标注类别信息的置信度。第一类别信息包括第一物体类别、第二物体类别。其中，所标注的第一物体类别和第二物体类别均归属为目标物体类别。
例如，为了使得训练后的第二检测网络可以检测出快件。对中转场的图片进行数据标注，标注图片中出现的所有快件。其中，将单个的快件标成一类，标记为0类；将堆在一起的快件分成另外一类，标记为1类，只要是图片中的快件有相连的地方都归为1类；对标注信息进行格式转换，转成所需数据格式，形成快件二分类数据集。
b2、调用第一预设网络中的特征提取层，对样本图像(包括第一样本图像、第二样本图像)进行特征提取处理，得到样本图像的样本特征。
其中，第一预设网络可以是可用于检测任务的开源网络模型，如YOLOv1网络、YOLOv2网络、YOLOv3网络、SSD网络和RetinaNet网络等等(其中，开源网络模型的特征提取层，作为第一预设网络中的特征提取层；开源网络模型的预测层，作为第一预设网络中的第三预测子网络)，并在此基础上增加一个预测子网络(即第四预测子网络)；其中，第三预测子网络和第四预测子网络是级联分支。第一预设网络的网络结构与功能实现与第二检测网络类似，具体可以参照第二检测网络的网络结构和功能实现的阐述，在此不再赘述。
b3、调用第一预设网络中的第三预测子网络，根据样本特征分别进行分类预测处理，得到样本图像中存在物体分别是第一物体类别的置信度、第二物体类别的置信度。
b4、调用第一预设网络中的第四预测子网络，根据样本图像中存在物体分别是第一物体类别的置信度、第二物体类别的置信度进行预测处理，得到样本图像中存在物体是目标物体类别的置信度。
b5、根据预测得到的样本图像中存在物体分别是第一物体类别的置信度、第二物体类别的置信度、目标物体类别的置信度，以及样本图像所标注的对应类别信息、回归框信息、以及所标注类别信息的置信度等，确定第一预设网络的训练总损失值。
例如，可以根据如下公式(3)确定第一预设网络的训练总损失值：
L'＝L'obj+L'cls+L'bbox+L'cls_1 公式(3)
其中，L’为训练总损失值，L’obj为置信度损失(由预测得到的样本图像中存在物体分别是第一物体类别的置信度、第二物体类别的置信度、目标物体类别的置信度，以及所标注类别信息的置信度确定)，L’cls为第三预测子网络的分类损失(由所标注类别信息、以及第三预测子网络的分类结果确定)，L’bbox为回归损失(由所标注的回归框信息、以及第一预设网络的回归结果确定)，L’cls_1为第四预测子网络的分类损失(由所标注类别信息、以及第四预测子网络的分类结果确定)
进一步地，为了使得第四预测子网络的损失以不同的权重加入至第二检测网络中，在对目标物体类别的分类倾向不够时，以提升第二检测网络对目标物体类别的分类倾向。即可以根据如下公式(4)确定第一预设网络的训练总损失值：
L'＝L'obj+L'cls+L'bbox+αL'cls_1公式(4)
其中，L’为训练总损失值，L’obj为置信度损失，L’cls为第三预测子网络的分类损失，L’bbox为回归损失，L’cls_1为第四预测子网络的分类损失，α为权重参数。
b6、根据训练总损失值更新第一预设网络的模型参数，直至第一预设网络收敛时，将第一预设网络作为训练后的第二检测网络。
进一步地，为了避免第一物体类别和第二物体类别的样本数量差较大(即样本数据分布不平衡)，而导致第二检测网络检测目标物体的精度降低。在本申请的一些实施例中，还可以对数量少的类别数据进行扩充。
为此，在一些实施例中，步骤b1中的训练数据集具体可以通过如下步骤c1～c3得到，其中：
c1、获取训练数据集。
其中，训练数据集包括第一物体类别的第一样本图像、以及第二物体类别的第二样本图像。
c2、获取所述第一样本图像与所述第二样本图像之间的数据差值。
例如，第一样本图像的数量为500，第二样本图像的数量为200，则第一样本图像与第二样本图像之间的数据差值为：500-200＝300。
c3、当所述数据差值大于预设数量阈值时，对目标样本类别的样本图像进行扩增，得到更新后的训练数据集。
其中，目标样本类别是指第一物体类别和第二物体类别中，样本图像的数量最少的类别。
具体地，当第一样本图像与第二样本图像之间的数据差值大于预设数量阈值时，需对目标样本类别的样本图像进行扩增。当第一样本图像与第二样本图像之间的数据差值小于或等于预设数量阈值时，由于样本数据之间的不平衡度较低，不会影响训练后的第二检测网络对目标物体的检测精度，无需对目标样本类别的样本图像进行扩增。
例如，第一物体类别的第一样本图像的数量为900，第二物体类别的第二样本图像的数量为500，则目标样本类别为第二物体类别。若第一样本图像与第二样本图像之间的数据差值(900-500＝400)，大于预设数量阈值(如100)时，需要对第二物体类别的样本图像进行扩增。
此时，可以基于第二物体类别的第二样本图像作进一步数据扩充，直到第一物体类别和第二物体类别的样本数量平衡(如二者样本数量相等、或者二者样本数量差小于预设数值)即可。
最后，得到更新后的训练数据集，即将扩增前和扩增后的所有样本数据作为最终的训练数据集。并根据所述更新后的训练数据集对第一预设网络进行训练，得到所述第二检测网络(对第一预设网络进行训练的具体实施方式可以参照上述步骤b2～b5，在此不再赘述)。
具体的数据扩充方式可以包括但不限于：
(1)首先获取第二物体类别的第二样本图像的所有位置框的标注信息；
(2)按照标注信息将第二样本图像原图中的目标物体图片进行裁剪；
(3)对裁剪的快件图片进行放大、缩小的尺度变换以及随机角度旋转变换；
(4)将变换后的图像覆盖其他图像没有标签的地方，以增加标签的数量。
可以理解的是，上述步骤c1～c3中对样本数据进行扩充的方式，同样适用于上述步骤a1～a5中对第一检测网络的训练过程中的样本数据。
由以上内容可以看出，在第一样本图像与第二样本图像之间的数据差值大于预设数量阈值，通过对第一物体类别和第二物体类别中，样本图像的数量最少的类别进行样本数据扩充，可以避免训练数据集中两个类别的样本数据不平衡的问题，从而提高了第二检测网络检测目标物体的精度。
进一步地，为了及时发现预设区域是否存在目标物体，以便于管理人员及时对预设区域内的目标物体作进一步处置，在本申请的一些实施例中，该目标物体检测方法还包括：当确定所述预设区域存在目标物体时，输出异常告警信息。
例如，在中转场需要清场时，当检测到中转场场地(即预设区域)中还存在快件(即目标物体为快件)时，发出清场异常告警声音、显示清场异常告警字幕或亮起清场异常告警灯。以便相关工作或管理人员在接收到异常告警信息后，及时清理中转场场地中遗漏的快件，及时完成中转场清场工作。
又如，在地铁需要关闭时，当检测到地铁站台区域(即预设区域)还有人(即目标物体为人)时，发出异常告警声音、显示异常告警字幕或亮起告警灯。以便相关工作或管理人员在接收到异常告警信息后，及时提示在地铁站台区域中停留的乘客，保证能地铁正常关闭。
由以上内容可以看出，在确定预设区域存在目标物体时，通过输出异常告警信息，使得相关工作人员可以及时发现预设区域中的目标物体，保证了特定场景下的工作正常执行。
进一步地，为了检测第一检测网络或第二检测网络对目标物体的检测精度，在本申请的一些实施例中，还提供了对第一检测网络或第二检测网络进行性能评估的方式。以便评估第一检测网络或第二检测网络的检测精度性能是否满足，在检测精度性能不满足，可以进一步增补数据或者修改网络进行训练，从而进一步提高第一检测网络或第二检测网络对目标物体的检测精度。
具体地，以第二检测网络为例，描述该网络性能评估方式。
例如，参照上述目标物体检测方法，第二检测网络可以基于一张图像检测出一个或多个检测框。若该张图像中的其中一个检测框的置信度大于阈值，则判定该张图像为正样本(即第二检测网络可判定该图像中存在目标物体)。若该张图像中的每个检测框的置信度均小于或等于阈值，则判定该张图像为负样本(即第二检测网络可判定该图像中不存在目标物体)。
首先，采用第二检测网络分别判定N张图像中是否存在目标物体，得到N张图像的判定结果。
然后，根据N张图像的判定结果、以及N张图像中的每一张实际是否存在目标物体，分别统计以下数据：
1、TP：N张图像中，第二检测网络判定为存在目标物体、实际也存在目标物体的图像数量；
2、FP：N张图像中，第二检测网络判定为存在目标物体、实际不存在目标物体的图像数量；
3、FN：N张图像中，第二检测网络判定为不存在目标物体、实际存在目标物体的图像数量。
最后，根据以下公式(5)、公式(6)分别确定第二检测网络的检测精准率、召回率，其中：
Figure BDA0002779634310000211
Figure BDA0002779634310000221
其中，P为第二检测网络的检测精准率；R为第二检测网络的召回率；TP为N张图像中，第二检测网络判定为存在目标物体、实际也存在目标物体的图像数量；FP为N张图像中，第二检测网络判定为存在目标物体、实际不存在目标物体的图像数量；FN为N张图像中，第二检测网络判定为不存在目标物体、实际存在目标物体的图像数量。
最终，通过第二检测网络的检测精准率、召回率，可以评估第二检测网络的检测精度性能是否满足，在检测精度性能不满足，可以进一步增补数据或者修改网络进行训练，从而进一步提高第二检测网络对目标物体的检测精度。同理，可以评估第一检测网络的性能。
为了更好实施本申请实施例中目标物体检测方法，在目标物体检测方法基础之上，本申请实施例中还提供一种目标物体检测装置，如图7所示，为本申请实施例中目标物体检测装置的一个实施例结构示意图，该目标物体检测装置700包括：
获取单元701，用于获取预设区域的状态图像；
提取单元702，用于根据所述状态图像进行特征提取处理，得到所述状态图像的图像特征；
预测单元703，用于根据图像特征进行预测处理，得到所述预设区域存在物体分别是预设的第一物体类别的第一置信度、预设的第二物体类别的第二置信度；
确定单元704，用于根据所述第一置信度和所述第二置信度，确定所述预设区域是否存在目标物体。
在本申请一种可能的实现方式中，所述根据所述第一置信度和所述第二置信度，确定所述预设区域是否存在目标物体步骤之前，所述预测单元703具体用于：
根据所述图像特征进行预测处理，得到所述预设区域存在物体是预设的目标物体类别的第三置信度，其中，所述第一物体类别和所述第二物体类别均从属于所述目标物体类别；
在本申请一种可能的实现方式中，所述确定单元704具体用于：
根据所述第一置信度、所述第二置信度和所述第三置信度，确定所述预设区域是否存在目标物体。
在本申请一种可能的实现方式中，所述确定单元704具体用于：
从所述第一置信度、所述第二置信度和所述第三置信度中，获取数值最大的置信度，以作为所述预设区域存在目标物体的目标置信度；
检测所述目标置信度是否大于第一预设阈值；
当检测到所述目标置信度大于第一预设阈值时，确定所述预设区域存在目标物体；
当检测到所述目标置信度小于或等于第一预设阈值时，确定所述预设区域不存在目标物体。
在本申请一种可能的实现方式中，所述预测单元703具体用于：
调用训练后第一检测网络中的第一预测子网络，根据图像特征进行预测处理，得到所述第一置信度和所述第二置信度；
调用训练后第一检测网络中的第二预测子网络，根据所述图像特征进行预测处理，得到所述第三置信度，其中，所述第一预测子网络和所述第二预测子网络为并联分支。
在本申请一种可能的实现方式中，所述确定单元704具体用于：
根据所述第一置信度和所述第二置信度进行预测处理，得到所述预设区域存在物体是预设的目标物体类别的第四置信度；
检测所述第四置信度是否大于第二预设阈值；
当检测到所述第四置信度大于第二预设阈值时，确定所述预设区域存在目标物体；
当检测到所述第四置信度小于或等于第二预设阈值时，确定所述预设区域不存在目标物体。
在本申请一种可能的实现方式中，所述预测单元703具体用于：
调用训练后第二检测网络中的第三预测子网络，根据图像特征进行预测处理，得到所述第一置信度和所述第二置信度；
调用训练后第二检测网络中的第四预测子网络，根据所述第一置信度和所述第二置信度进行预测处理，得到所述第四置信度，其中，所述第三预测子网络和所述第四预测子网络为级联分支。
在本申请一种可能的实现方式中，所述目标物体检测装置700还包括训练单元(图中未示出)，所述训练单元具体用于：
获取训练数据集，其中，所述训练数据集包括所述第一物体类别的第一样本图像、以及所述第二物体类别的第二样本图像；
获取所述第一样本图像与所述第二样本图像之间的数据差值；
当所述数据差值大于预设数量阈值时，对目标样本类别的样本图像进行扩增，得到更新后的训练数据集，其中，目标样本类别是指所述第一物体类别和所述第二物体类别中，样本图像的数量最少的类别；
根据所述更新后的训练数据集对第一预设网络进行训练，得到所述第二检测网络。
在本申请一种可能的实现方式中，所述目标物体检测装置700还包括告警单元(图中未示出)，所述告警单元具体用于：
当确定所述预设区域存在目标物体时，输出异常告警信息。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由于该目标物体检测装置可以执行本申请如图1至图6对应任意实施例中目标物体检测方法中的步骤，因此，可以实现本申请如图1至图6对应任意实施例中目标物体检测方法所能实现的有益效果，详见前面的说明，在此不再赘述。
此外，为了更好实施本申请实施例中目标物体检测方法，在目标物体检测方法基础之上，本申请实施例还提供一种电子设备，参阅图8，图8示出了本申请实施例电子设备的一种结构示意图，具体的，本申请实施例提供的电子设备包括处理器801，处理器801用于执行存储器802中存储的计算机程序时实现如图1至图6对应任意实施例中目标物体检测方法的各步骤；或者，处理器801用于执行存储器802中存储的计算机程序时实现如图7对应实施例中各单元的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器802中，并由处理器801执行，以完成本申请实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
电子设备可包括，但不仅限于处理器801、存储器802。本领域技术人员可以理解，示意仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子备还可以包括输入输出设备、网络接入设备、总线等，处理器801、存储器802、输入输出设备以及网络接入设备等通过总线相连。
处理器801可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
存储器802可用于存储计算机程序和/或模块，处理器801通过运行或执行存储在存储器802内的计算机程序和/或模块，以及调用存储在存储器802内的数据，实现计算机装置的各种功能。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的目标物体检测装置、电子设备及其相应单元的具体工作过程，可以参考如图1至图6对应任意实施例中目标物体检测方法的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1至图6对应任意实施例中目标物体检测方法中的步骤，具体操作可参考如图1至图6对应任意实施例中目标物体检测方法的说明，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1至图6对应任意实施例中目标物体检测方法中的步骤，因此，可以实现本申请如图1至图6对应任意实施例中目标物体检测方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请实施例所提供的一种目标物体检测方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种目标物体检测方法，其特征在于，所述方法包括：
获取预设区域的状态图像；
根据所述状态图像进行特征提取处理，得到所述状态图像的图像特征；
根据图像特征进行预测处理，得到所述预设区域存在物体分别是预设的第一物体类别的第一置信度、预设的第二物体类别的第二置信度；
根据所述第一置信度和所述第二置信度，确定所述预设区域是否存在目标物体。
2.根据权利要求1所述的目标物体检测方法，其特征在于，所述根据所述第一置信度和所述第二置信度，确定所述预设区域是否存在目标物体，之前还包括：
根据所述图像特征进行预测处理，得到所述预设区域存在物体是预设的目标物体类别的第三置信度，其中，所述第一物体类别和所述第二物体类别均从属于所述目标物体类别；
所述根据所述第一置信度和所述第二置信度，确定所述预设区域是否存在目标物体，包括：
根据所述第一置信度、所述第二置信度和所述第三置信度，确定所述预设区域是否存在目标物体。
3.根据权利要求2所述的目标物体检测方法，其特征在于，所述根据所述第一置信度、所述第二置信度和所述第三置信度，确定所述预设区域是否存在目标物体，包括：
从所述第一置信度、所述第二置信度和所述第三置信度中，获取数值最大的置信度，以作为所述预设区域存在目标物体的目标置信度；
检测所述目标置信度是否大于第一预设阈值；
当检测到所述目标置信度大于第一预设阈值时，确定所述预设区域存在目标物体；
当检测到所述目标置信度小于或等于第一预设阈值时，确定所述预设区域不存在目标物体。
4.根据权利要求2所述的目标物体检测方法，其特征在于，所述根据图像特征进行预测处理，得到所述预设区域存在物体分别是预设的第一物体类别的第一置信度、预设的第二物体类别的第二置信度，包括：
调用训练后第一检测网络中的第一预测子网络，根据图像特征进行预测处理，得到所述第一置信度和所述第二置信度；
所述根据所述图像特征进行预测处理，得到所述预设区域存在物体是预设的目标物体类别的第三置信度，包括：
调用训练后第一检测网络中的第二预测子网络，根据所述图像特征进行预测处理，得到所述第三置信度，其中，所述第一预测子网络和所述第二预测子网络为并联分支。
5.根据权利要求1所述的目标物体检测方法，其特征在于，所述根据所述第一置信度和所述第二置信度，确定所述预设区域是否存在目标物体，包括：
根据所述第一置信度和所述第二置信度进行预测处理，得到所述预设区域存在物体是预设的目标物体类别的第四置信度；
检测所述第四置信度是否大于第二预设阈值；
当检测到所述第四置信度大于第二预设阈值时，确定所述预设区域存在目标物体；
当检测到所述第四置信度小于或等于第二预设阈值时，确定所述预设区域不存在目标物体。
6.根据权利要求5所述的目标物体检测方法，其特征在于，所述根据图像特征进行预测处理，得到所述预设区域存在物体分别是预设的第一物体类别的第一置信度、预设的第二物体类别的第二置信度，包括：
调用训练后第二检测网络中的第三预测子网络，根据图像特征进行预测处理，得到所述第一置信度和所述第二置信度；
所述根据所述第一置信度和所述第二置信度进行预测处理，得到所述预设区域存在物体是预设的目标物体类别的第四置信度，包括：
调用训练后第二检测网络中的第四预测子网络，根据所述第一置信度和所述第二置信度进行预测处理，得到所述第四置信度，其中，所述第三预测子网络和所述第四预测子网络为级联分支。
7.根据权利要求6所述的目标物体检测方法，其特征在于，所述方法还包括：
获取训练数据集，其中，所述训练数据集包括所述第一物体类别的第一样本图像、以及所述第二物体类别的第二样本图像；
获取所述第一样本图像与所述第二样本图像之间的数据差值；
当所述数据差值大于预设数量阈值时，对目标样本类别的样本图像进行扩增，得到更新后的训练数据集，其中，目标样本类别是指所述第一物体类别和所述第二物体类别中，样本图像的数量最少的类别；
根据所述更新后的训练数据集对第一预设网络进行训练，得到所述第二检测网络。
8.根据权利要求1-7任一项所述的目标物体检测方法，其特征在于，所述方法还包括：
当确定所述预设区域存在目标物体时，输出异常告警信息。
9.一种目标物体检测装置，其特征在于，所述目标物体检测装置包括：
获取单元，用于获取预设区域的状态图像；
提取单元，用于根据所述状态图像进行特征提取处理，得到所述状态图像的图像特征；
预测单元，用于根据图像特征进行预测处理，得到所述预设区域存在物体分别是预设的第一物体类别的第一置信度、预设的第二物体类别的第二置信度；
确定单元，用于根据所述第一置信度和所述第二置信度，确定所述预设区域是否存在目标物体。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至8任一项所述的目标物体检测方法。
11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至8任一项所述的目标物体检测方法中的步骤。
CN202011277629.2A 2020-11-16 2020-11-16 目标物体检测方法、装置、电子设备及存储介质 Pending CN114519793A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011277629.2A CN114519793A (zh) 2020-11-16 2020-11-16 目标物体检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011277629.2A CN114519793A (zh) 2020-11-16 2020-11-16 目标物体检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114519793A true CN114519793A (zh) 2022-05-20

Family

ID=81594611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011277629.2A Pending CN114519793A (zh) 2020-11-16 2020-11-16 目标物体检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114519793A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100419A (zh) * 2022-07-20 2022-09-23 中国科学院自动化研究所 目标检测方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100419A (zh) * 2022-07-20 2022-09-23 中国科学院自动化研究所 目标检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN105164700B (zh) 使用概率模型在视觉数据中检测对象
CN111340126B (zh) 物品识别方法、装置、计算机设备和存储介质
US11928594B2 (en) Systems and methods for creating training data
CN111626201B (zh) 商品检测方法、装置及可读存储介质
CN110837856A (zh) 神经网络训练及目标检测方法、装置、设备和存储介质
CN111209774B (zh) 目标行为识别及显示方法、装置、设备、可读介质
CN111967322B (zh) 数据处理方法、装置、电子设备和存储介质
CN111310826A (zh) 样本集的标注异常检测方法、装置及电子设备
CN111124863B (zh) 智能设备性能测试方法、装置及智能设备
CN114463603A (zh) 图像检测模型的训练方法、装置、电子设备及存储介质
CN114519793A (zh) 目标物体检测方法、装置、电子设备及存储介质
CN114078127A (zh) 物件的缺陷检测及计数方法、装置、设备和存储介质
CN114529843A (zh) 货物拥堵识别方法、装置、电子设备和存储介质
CN108764040A (zh) 一种图像检测方法、终端及计算机存储介质
CN114626772A (zh) 货物违规码放的检测方法、装置、电子设备及存储介质
CN114255435A (zh) 传送装置异常检测方法、装置、电子设备及存储介质
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质
CN115131826A (zh) 物品检测识别方法、网络模型的训练方法和装置
CN113496139B (zh) 从图像中检测目标和训练目标检测模型的方法和设备
JP2022510963A (ja) 人体向き検出方法、装置、電子機器及びコンピュータ記憶媒体
CN112990245A (zh) 物品识别方法、装置、设备及存储介质
CN112232288A (zh) 一种基于深度学习的卫星图目标识别方法及系统
CN113449539A (zh) 动物体信息提取模型的训练方法、装置、设备及存储介质
CN111709283A (zh) 物流件状态的检测方法以及装置
CN114529733A (zh) 包裹破损的检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination