CN111046980B - 一种图像检测方法、装置、设备及计算机可读存储介质 - Google Patents

一种图像检测方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111046980B
CN111046980B CN202010183908.6A CN202010183908A CN111046980B CN 111046980 B CN111046980 B CN 111046980B CN 202010183908 A CN202010183908 A CN 202010183908A CN 111046980 B CN111046980 B CN 111046980B
Authority
CN
China
Prior art keywords
image
object detection
sample
candidate
loss value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010183908.6A
Other languages
English (en)
Other versions
CN111046980A (zh
Inventor
宋奕兵
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010183908.6A priority Critical patent/CN111046980B/zh
Publication of CN111046980A publication Critical patent/CN111046980A/zh
Application granted granted Critical
Publication of CN111046980B publication Critical patent/CN111046980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本发明提供了一种图像检测方法、装置、设备及计算机可读存储介质；方法包括：获取训练样本图像，并对训练样本图像进行特征图提取，得到训练样本图像在预设中间层的特征图；从特征图中提取出候选特征样本，并利用物体检测模型对候选特征样本进行类别划分，得到至少一个类别概率；根据至少一个类别概率，构造出候选特征样本的关注度信息，并根据关注度信息和至少一个类别概率确定出候选特征样本的损失值；基于候选特征样本的损失值，来持续调整物体检测模型的参数直至训练结束，得到训练后的物体检测模型；当获取到待检测图像时，利用训练后的物体检测模型对待检测图像进行检测，得到检测结果。通过本发明，能够提升图像检测的准确度。

Description

一种图像检测方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及人工智能技术，尤其涉及一种基于人工智能的图像检测方法、装置、设备及计算机可读存储介质。
背景技术
图像检测是指利用计算机视觉等对图像进行处理，从而将图像中的各类物体识别并框选出来，例如，识别并框选出图像中的人、动物或是汽车等。图像检测广泛应用于工业之中，例如，可以应用在机器人导航、自动驾驶或者是工业检测等领域。
常用的图像检测方式是先生成候选框，再对候选框中的候选样本进行多类别检测。由于大部分图像的背景和前景分布并不均匀，会使得样本类间不平衡，影响图像检测的准确度。在一些相关技术中，可以采用交并比（Intersection over Union，IoU）算法，或是动态分类损失函数的方式来调整样本类间分布，以提高图像检测的性能。
然而，IoU算法对于较难分类的候选样本的调整能力较低，例如即包含前景又包含背景的样本，使得图像检测的准确度仍然较低。同时，动态分类损失函数是用最后的全连接层的误差来调整正负样本间的权重，调整的局限性较大，从而导致图像检测的准确度较低。
发明内容
本发明实施例提供一种图像检测方法、装置、设备及计算机可读存储介质，能够提升图像检测的准确度。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种图像检测方法，包括：
获取训练样本图像，并对所述训练样本图像进行特征图提取，得到所述训练样本图像在物体检测模型的预设中间层的特征图；
从所述特征图中提取出候选特征样本，并利用所述物体检测模型对所述候选特征样本进行类别划分，得到所述候选特征样本对应的至少一个类别概率；其中，所述候选特征样本为所述特征图中的部分图像；
根据所述至少一个类别概率，构造出所述候选特征样本的关注度信息，并根据所述关注度信息和所述至少一个类别概率确定出所述候选特征样本的损失值；其中，所述关注度信息表征了所述预设中间层对候选特征样本的关注程度；
基于所述候选特征样本的损失值，来持续调整所述物体检测模型的参数直至训练结束，得到训练后的物体检测模型；
当获取到待检测图像时，利用所述训练后的物体检测模型对所述待检测图像进行检测，得到检测结果。
本发明实施例提供一种图像检测装置，包括：
提取模块，用于获取训练样本图像，并对所述训练样本图像进行特征图提取，得到所述训练样本图像在物体检测模型的预设中间层的特征图；
类别划分模块，用于从所述特征图中提取出候选特征样本，并利用所述物体检测模型对所述候选特征样本进行类别划分，得到所述候选特征样本对应的至少一个类别概率；其中，所述候选特征样本为所述特征图中的部分图像；
损失值计算模块，用于根据所述至少一个类别概率，构造出所述候选特征样本的关注度信息，并根据所述关注度信息和所述至少一个类别概率确定出所述候选特征样本的损失值；其中，所述关注度信息表征了所述预设中间层对候选特征样本的关注程度；
调整模块，用于基于所述候选特征样本的损失值，来持续调整所述物体检测模型的参数直至训练结束，得到训练后的物体检测模型；
检测模块，用于当获取到待检测图像时，利用所述训练后的物体检测模型对所述待检测图像进行检测，得到检测结果。
本发明实施例提供一种图像检测设备，包括：
存储器，用于存储可执行图像检测指令；
处理器，用于执行所述存储器中存储的可执行图像检测指令时，实现本发明实施例提供的图像检测方法。
本发明实施例提供一种计算机可读存储介质，存储有可执行图像检测指令，用于引起处理器执行时，实现本发明实施例提供的图像检测方法。
本发明实施例具有以下有益效果：
本发明实施例中，图像检测设备能够获取训练样本图像，并对训练样本图像进行特征图提取，得到训练样本图像再物体检测模型的预设中间层的特征图，之后，从特征图中提取出候选特征样本，并利用物体检测模型对候选特征样本进行类别划分，得到候选特征样本对应的至少一个类别概率。接着，图像检测设备根据至少一个类别概率构造出关注度信息，根据关注度信息和至少一个类别概率确定出候选特征样本的损失值，进而基于损失值调整物体检测模型的参数，直至完成训练。最后，当获取到待检测图像时，利用训练好的物体检测模型对待检测图像进行检测，得到检测结果。如此，能够在训练时根据候选特征样本的关注度信息调整损失值，进而调整物体检测模型的参数，使得物体检测模型对不同的候选特征样本关注程度相近，从而达到类间平衡，提高图像检测的准确度。
附图说明
图1是本发明实施例提供的图像检测系统100的一个可选的架构示意图；
图2是本发明实施例提供的图像检测设备200的结构示意图；
图3是本发明实施例提供的图像检测方法的一个可选的流程示意图一；
图4是本发明实施例提供的计算关注度信息的过程示意图；
图5是本发明实施例提供的图像检测方法的一个可选的流程示意图二；
图6是本发明实施例提供的图像检测方法的一个可选的流程示意图三；
图7是本发明实施例提供的提取候选特征样本的示意图；
图8是本发明实施例提供的物体检测模型的框架图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1）人工智能（Artificial Intelligence，AI），是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生成出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，是机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语音处理技术以及机器学习/深度学习等几大方向。
2）计算机视觉技术（Computer Vision，CV）是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机时间研究相关的理论和技术，试图建立能够从图像或多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、图像检测、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
3）机器学习（Machine Learning，ML）是一门多领域交叉学科，设计概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
4）图像检测，图像检测是计算机视觉中的一个重要分支，其任务是找出图像中所有的目标物体，例如物体、人等，确定出这些目标的大小和位置，并识别出这些目标分别是属于什么类别的。例如，当图像中具有一辆汽车时，图像检测就是要将这辆汽车在图像中的位置，以及这部分图像是汽车的概率预测出来。
5）候选区域，表征图像中的目标物体所在的区域，该区域是由图像检测模型自行识别并提取出来的，即物体检测模型能够自动判别图像中的某个区域中是否会存在目标物体，但是此时，物体检测模型还不能分辨出物体的类别。换句话说，物体检测模型在得到候选区域之后，还需要对候选区域进行进一步的预测处理才能得到目标物体的类别。
6）类间不平衡，是指物体检测模型在从图像中提取候选区域时，候选区域中的样本的类别是不均衡的。由于各种原因，使得候选区域大部分覆盖在背景上，例如，图像中目标物体的分辨率较小，背景分辨率较大等原因。然而，背景在图像检测时是负样本，包含有目标物体的区域才是正样本，因此，使得正负样本不平衡。同时，在候选区域中，各个类别的物体的数量分布并不均衡，使得各个类别的样本不均衡，进而使得训练出的模型性能较低。
7）反向传播算法，是指将误差从物体检测模型的高层，向物体检测模型的低层传播。通过反向传播，能够达到利用误差来调整物体检测模型中的参数的作用。目前，反向传播是模型训练过程中的常用方式。
8）关注度信息，表征物体检测模型的某个中间层对图像中的候选区域中的部分图像的关注程度。一般来说，当中间层对图像中的某个候选区域的中部分图像的关注程度较高时，说明该候选区域中的部分图像会给最后的输出类别造成较大的影响，即该候选区域中的部分图像极易受到网络的关注。
9）损失值，是指物体检测模型所预测出的类别的概率，与类别的真实值，即标签之间的差值。针对物体检测模型来说，损失值越小，说明预测的越准确，物体检测模型的性能也就越好。
图像检测是指利用计算机视觉等技术对图像进行处理，将图像中的各类物体识别并框选出来，例如，识别并框选出图像中的人、动物或是汽车等。目前，图像检测已经广泛应用于工业之中，例如，可以应用于机器人导航、自动驾驶中，以使得机器人、汽车实现自动驾驶、自动避障等；或者是工业检测领域中，以使得工业设备能够根据图像来判断所产品的质量是否合格等。
相关技术中，图像检测方法主要有两类，分别是一阶段的检测框架，和二阶段的检测框架。其中，一阶段的检测框架是利用端到端的模式来完成图像检测的，即通过训练好的单向的深度神经网络模型直接预测输入图像中的目标物的类别和坐标。一阶段的检测框架具有耗时少的优点，能够满足实时预测的要求。然而，由于正负样本极有可能是不平衡的，使得一阶段的检测框架的检测精度较低，即使是通过困难样本挖掘的方式，也对一阶段的检测框架的准确度提升有限。
二阶段的检测框架主要是基于候选框进行检测。在第一阶段时，先从图像的特征图中随机选取候选区域，确定出目标物体的位置，在第二阶段时，用多类别分类器对候选区域中的图像进行多类别检测，从而确定出目标物体的具体类别信息。二阶段的检测框架的候选区域机制能够有效地降低目标物体的分类难度，从而提高了图像检测的准确度，是相关技术中的常用检测方式，例如，基于区域的快速卷积神经网络（Fast R-CNN）就属于二阶段检测框架。
在一些相关技术中，针对类间不平衡的问题，二阶段检测框架可以利用交并比（Intersection over Union，IoU）算法，或是动态分类损失函数来优化。利用IoU来优化时，是通过按照IoU值动态划分区域，使得每个IoU区间选取等值的候选区域，从而克服正负样本不平衡的问题。利用动态分类损失函数来优化时，主要是利用物体检测模型的最后一层的误差，降低较为简单的负样本在训练中所占的权重，从而克服正负样本不均衡的问题。
然而，在实际应用中，存在一些既包含前景又包含背景的候选区域，这部分候选区域往往是较难分类的，IoU算法并没有涉及这种情况，换句话说，IoU算法针对该部分候选区域难以进行调整，因此并不能全面解决图像检测时类间不平衡的问题。同时，针对一些特殊的样本，例如正样本的分辨率较小，而负样本的分辨率较大的情况，IoU算法也难以调整，因此，IoU算法对解决类间不平衡的问题的能力有限，使得图像检测的准确度仍然较低。利用动态分类损失函数来调整负样本的权重时，仅仅利用了物体检测模型的最后一层的误差，并没有使用物体检测模型的中间层的参数，而中间层往往是决定了更关注图像的哪些区域的，因此，利用动态分类损失函数调整类间不平衡的局限性较大，从而使得图像检测的准确度仍旧较低。
本发明实施例提供一种图像检测方法、装置、设备和计算机可读存储介质，能够提升图像检测的准确度。下面说明本发明实施例提供的图像检测设备的示例性应用，本发明实施例提供的图像检测设备可以实施为智能手机、平板电脑、笔记本电脑等各种类型的用户终端，也可以实施为服务器。下面，将说明图像检测设备的示例性应用。
参见图1，图1是本发明实施例提供的图像检测系统100的一个可选的架构示意图，为实现支撑一个图像检测应用，终端400通过网络300连接图像检测设备200，网络300可以是广域网或者局域网，又或者是二者的组合。同时，服务器200配备有训练样本数据库500，训练样本数据库500中存储着大量的训练样本图像。
在图像检测时，图像检测设备200需要先训练物体检测模型。此时，图像检测设备200从训练样本数据库500中获取训练样本图像，并对训练样本图像进行特征图提取，得到训练样本图像在物体检测模型的预设中间层的特征图。之后，图像检测设备200从特征图中提取出候选特征样本，并利用物体检测模型对候选特征样本进行类别划分，得到候选特征样本对应的至少一个类别概率；其中，候选特征样本为特征图中的部分图像。接着，图像检测设备200根据至少一个类别概率，构造出候选特征样本的关注度信息，并根据关注度信息和至少一个类别概率确定出候选样本特征的损失值；其中，关注度信息表征了预设中间层对候选特征样本的关注程度。然后，图像检测设备200基于候选特征样本的损失值，来持续调整物体检测模型的参数直至训练结束，得到训练后的物体检测模型。最后，当图像检测设备200获取到终端400所发送的待检测图像时，就可以利用训练后的物体检测模型对待检测图像进行检测，得到检测结果，并将检测结果返回给终端400，以便于在终端400的显示界面410上显示检测结果，完成图像检测过程。
参见图2，图2是本发明实施例提供的图像检测设备200的结构示意图，图2所示的图像检测设备200包括：至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。图像检测设备200中的各个组件通过总线系统240耦合在一起。可理解，总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（ROM，Read Only Memory），易失性存储器可以是随机存取存储器（RAM，Random Access Memory）。本发明实施例描述的存储器250旨在包括任意适合类型的存储器。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块252，用于经由一个或多个（有线或无线）网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证（Wi-Fi）、和通用串行总线（USB，Universal Serial Bus）等；
显示模块253，用于经由一个或多个与用户接口230相关联的输出装置231（例如，显示屏、扬声器等）使得能够呈现信息（例如，用于操作外围设备和显示内容和信息的用户接口）；
输入处理模块254，用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的图像检测装置可以采用软件方式实现，图2示出了存储在存储器250中的图像检测装置255，其可以是程序和插件等形式的软件，包括以下软件模块：提取模块2551、类别划分模块2552、损失值计算模块2553、调整模块2554、检测模块2555、规划模型2556和产品分类模块2557，将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的图像检测装置可以采用硬件方式实现，作为示例，本发明实施例提供的图像检测装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图像检测方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路（ASIC，Application Specific IntegratedCircuit）、DSP、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，Complex Programmable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable Gate Array）或其他电子元件。
示例性的，本发明实施例提供一种图像检测设备，包括：
存储器，用于存储可执行图像检测指令；
处理器，用于执行所述存储器中存储的可执行图像检测指令时，实现本发明实施例提供的图像检测方法。
下面，将结合本发明实施例提供的图像检测设备的示例性应用和实施，说明本发明实施例提供的图像检测方法。
参见图3，图3是本发明实施例提供的图像检测方法的一个可选的流程示意图一，将结合图3示出的步骤进行说明。
S101、获取训练样本图像，并对训练样本图像进行特征图提取，得到训练样本图像在物体检测模型中的预设中间层的特征图。
本发明实施例是在训练用于图像检测的模型，并利用训练完成的模型对新的图像进行检测的场景下实现的，例如，训练用于自动驾驶的模型，以便于识别出图像中的建筑物、汽车、行人以及交通信号标识等场景。图像检测过程分为模型训练和利用训练后的模型预测待检测的图像两个过程。在模型训练过程中，图像检测设备需要先获取用于训练的训练样本图像，然后将训练样本图像输入进还未经过训练的物体检测模型之中，以利用物体检测模型对训练样本图像进行特征图的提取，之后，图像检测设备将物体检测模型的预设中间层的特征图提取出来，以便于后续结合该预设中间层的特征图来调整物体检测模型中的参数。
需要说明的是，物体检测模型是具有多个中间层的深度网络模型，预设中间层是物体检测模型当中的任意一个中间层，进一步的，预设中间层是物体检测模型中的除了输入层与输出层的其它层，例如卷积神经网络模型之中的卷积层等。
可以理解的是，本发明实施例中，物体检测模型可以是具有多个卷积层的卷积神经网络（Convolutional Neural Network，CNN）模型，例如ResNet，也可以是具有多个中间层的无监督模型，还可以是其他类型的深度模型。具体的物体检测模型可以根据实际情况进行设置，本发明实施例在此不作限定。
本发明实施例中，训练样本图像并不是特征一张图像，而是泛指所有用于模型训练的样本图像，换句话说，训练样本图像是已经打好标签的图像集合，这些标签说明了训练样本图像中具有哪类物体，以及这些物体所在的位置等。物体检测模型可以根据大量具有相同标签的图像内容，学习到某个物体类别的共有特征，并在预测时依据此特征来判断出待预测图像中的某个候选区域中的图像内容是否属于该类别。
需要说明的是，特征图是指物体检测模型的预设中间层及其之前的网络层对训练样本图像进行学习处理之后所得到的图像。图像检测设备在提取特征图时，是先将训练样本图像读入到输入层，然后送入一个中间层学习处理，并将学习处理所得到的图像再送入下一个中间层学习处理，层层传递，直到预设中间层学习处理完毕，得到特征图。示例性的，当物体检测模型为CNN模型，预设中间层为CNN模型的第3个卷积层时，特征图就是经过前3个卷积层处理之后所得到的图像。
可以理解的是，物体检测模型的每个中间层都是具有多个通道的，这些通道分别学习其所读入的图像，得到的特征图也有多个，并且，特征图的数量与中间层的数量相等。因此，在本发明实施例中，特征图并不是特指一张图像，而是泛指每个通道所得到的图像。
S102、从特征图中提取出候选特征样本，并利用物体检测模型对候选特征样本进行类别划分，得到候选特征样本对应的至少一个类别概率；其中，候选特征样本为特征图中的部分图像；
图像检测设备在得到预设中间层的特征图之后，就会将特征图划分成多个区域，将每个区域中的那部分图像作为候选特征样本，换句话说，候选特征样本为特征图中的部分图像。图像检测设备利用物体检测模型来提取候选特征样本的特征，以判断出候选特征样本隶属于每个物体类别的概率，从而得到候选特征样本所对应的至少一个类别概率。
需要说明的是，图像检测设备所划分的多个区域之间是可以重叠的，也就是说，不同的候选特征样本之间可以具有重叠的图像部分，并不要求每个候选特征样本之中的内容必须是完全不相同的。当然，在另一些情况下，候选特征样本之中的内容可以完全不相同，这是可以根据实际应用来选择的。
可以理解的是，物体类别的个数，以及物体类别的名称是在模型训练之前就确定好的，即已经提前设定好了训练后的物体检测模型应当能够识别出多少种不同物体。
需要说明的是，图像检测设备在利用物体检测模型来对候选特征样本进行类别划分时，可以分别计算出候选特征样本属于每个预设好的物体类别的概率。例如，预设好的物体类别分别为猫与狗时，图像检测设备利用物体检测模型，能够分别得到候选特征样本为猫的概率，以及得到候选特征样本为狗的概率。因而，图像检测设备能够针对候选特征样本所得到的类别概率的个数，是与预设好的物体类别的个数相等的。
S103、根据至少一个类别概率，构造出候选特征样本的关注度信息，并根据关注度信息和至少一个类别概率确定出候选特征样本的损失值；其中，关注度信息表征了预设中间层对候选特征样本的关注程度。
图像检测设备在得到候选特征样本的至少一个类别概率之后，就会利用这些类别概率，来构造出预设中间层对候选特征样本的关注度信息，进而根据关注度信息判断预设中间层对候选特征样本的关注程度。之后，图像检测设备需要根据关注度信息，以及候选特征样本的至少一个类别概率，来计算物体检测模型针对候选特征样本的损失值，以便于后续利用损失值调整物体检测模型的参数。
可以理解的是，预设中间层对候选特征样本的关注程度，实质上就是预设中间层对特定输出的贡献程度，这里的特定输出指的就是输出的概率信息与位置信息。由此可见，候选特征样本的关注度信息决定了候选特征样本是较难分类的样本还是较为容易分类的样本。当关注度信息超过或等于设定好的关注度阈值时，说明候物体检测模型越容易关注到候选特征样本，即候选特征样本属于较为容易分类的样本，需要在后续训练适当减小该部分图像的损失值，以使得针对该部分图像的学习较少；而当关注度信息小于设定好的关注度阈值时，说明候选特征样本属于较难分类的样本，在后续训练需要增加对该部分图像的损失值，以使得针对该部分图像的学习较多。
需要说明的是，在本发明实施例中，损失值可以是依据损失权重来调整的，当损失权重变大时，损失值也会变大。因此，图像检测设备可以针对关注度信息超过或等于设定好的关注度阈值的候选特征样本，分配较大的损失权重，例如5，而为关注度信息小于设定好的关注度阈值的候选特征样本，分配较小的损失权重，例如1等，再结合损失权重和至少一个类别概率，就能够计算出特征候选样本的损失值了。
S104、基于候选特征样本的损失值，来持续调整物体检测模型的参数直至训练结束，得到训练后的物体检测模型。
图像检测设备基于所计算出的损失值，来调整物体检测模型中的各个中间层的参数。之后，图像检测设备继续读入训练样本图像，然后提取特征图，并从特征图中提取出新的候选特征样本，从而得到新的候选特征样本隶属于各个物体类别的类别概率，进而得到新的候选特征样本的关注度信息，乃至损失值，从而利用所得到的损失值不断调整物体检测模型的参数，直至满足收敛条件时停止训练。也就是说，图像检测设备继续重复S101-S104的过程，直到训练结束，得到训练后的物体检测模型。
可以理解的是，图像检测设备在调整物体检测模型的参数时，是先要利用计算出的损失值，来确定出需要对原本的参数调整多少，即先确定出调整值，然后利用调整值在原本的参数的基础上，计算出新的参数值。需要说明的是，调整值是和损失值具有关联的，当损失值越大时，例如超过或等于损失阈值时，说明参数调整的越多，因而调整值也会较大，反之，当损失值较小时，例如小于损失阈值时，说明参数不需要调整太多，因而调整值也会较小。
S105、当获取到待检测图像时，利用训练后的物体检测模型对待检测图像进行检测，得到检测结果。
图像检测设备在得到训练后的物体检测模型之后，就可以随时进行预测待检测的图像的过程了。此时，图像检测设备可以获取待检测图像，然后将待检测图像输入进训练后的物体检测模型之中，以利用物体检测模型提取出待检测图像的特征，然后依据这些特征来为待检测图像确定出其隶属于每个物体类别的概率，并将概率最大的一个物体类别，作为最终的检测结果以输出。
本发明实施例中，图像检测设备能够获取训练样本图像，并对训练样本图像进行特征图提取，得到训练样本图像再物体检测模型的预设中间层的特征图，之后，从特征图中提取出候选特征样本，并利用物体检测模型对候选特征样本进行类别划分，得到候选特征样本对应的至少一个类别概率。接着，图像检测设备根据至少一个类别概率构造出关注度信息，根据关注度信息和至少一个类别概率确定出候选特征样本的损失值，进而基于损失值调整物体检测模型的参数，直至完成训练。最后，当获取到待检测图像时，利用训练好的物体检测模型对待检测图像进行检测，得到检测结果。如此，能够在训练时根据候选特征样本的关注度信息调整损失值，进而调整物体检测模型的参数，使得物体检测模型对不同的候选特征样本关注程度相近，从而达到类间平衡，提高图像检测的准确度。
在本发明的一些实施例中，根据至少一个类别概率，构造出候选特征样本的关注度信息，即S103的具体实现过程，可以包括：S1031-S1032，如下：
S1031、对至少一个类别概率进行累加，得到候选特征样本的前景预测信息。
图像检测设备在构造候选特征样本的关注度信息时，是先将候选特征样本所对应的至少一个类别概率逐个累加起来，将累加操作的结果作为候选特征样本的前景预测信息。
需要说明的是，当候选特征样本属于前景时，也就是候选特征样本有可能是属于设定好的物体类别中的某个类别时，至少一个类别概率的累加操作的结果应当是比较大的。因而，图像检测设备可以设置概率阈值，将累加操作的结果，即前景预测信息超过或等于概率阈值的候选特征样本看做是前景。
S1032、将前景预测信息反向传播至预设中间层，得到关注度信息。
图像检测设备在得到前景预测信息之后，就可以将前景预测信息从物体检测模型的最高层，向物体检测模型的输入层反向传播，当传播到预设中间层时，所得到的反向传播结果就是关注度信息。
可以理解的是，由于反向传播算法是可以利用链式求导法则来计算的，因而，关注度信息实质上就是前景预测信息在预设中间层上的梯度值。示例性的，当前景预测信息用
Figure 606625DEST_PATH_IMAGE001
表示时，关注度信息即为
Figure 789344DEST_PATH_IMAGE002
，其中，
Figure 21612DEST_PATH_IMAGE003
是输入的训练样本图像。
本发明实施例中，图像检测设备能够将候选特征样本的至少一个类别概率累加，得到前景预测信息，并将前景预测信息反向传播至预设中间值，从而得到关注度信息。如此，图像检测设备就能够计算关注度信息，从而知晓物体检测模型的预设中间层对于候选特征样本的关注程度。
在本发明的一些实施例中，预设中间层具有多个通道；将前景预测信息反向传播至预设中间层，得到关注度信息，即S1031的具体实现过程，可以包括：S1031a-S1031b，如下：
S1031a、将前景预测信息反向传播至预设中间层的每个通道，得到与多个通道一一对应的多个关注度响应信息。
由于物体检测模型的每个中间层都是具有多个通道的，预设中间层也不例外，因此，图像检测设备在反向传播前景预测信息至预设中间层时，实质上是将前景预测信息反向传播到了预设中间层的每个通道，也即前景预测信息针对每个通道计算出了梯度。由此，图像检测设备可以得到与每个通道一一对应的关注度响应信息，即得到多个关注度响应信息。
可以理解的是，在本发明实施例中，关注度响应信息的个数，与预设中间层的通道个数是相同的。
S1031b、利用多个关注度响应信息计算出关注度信息。
图像检测设备得到每个通道的关注度响应信息之后，便会继续利用这些关注度信息，计算出预设中间层的关注度信息。在本发明的一些实施例中，图像检测设备可以为这些关注度响应信息求均值，将均值结果作为预设中间层的关注度信息。
本发明实施例中，图像检测设备将前景预测信息反向传播至预设中间层的每个通道，得到与每个通道一一对应的关注度响应信息，然后再利用这些关注度响应信息计算出关注度信息。如此，图像检测设备就能够完成关注度信息的计算。
在本发明的一些实施例中，利用多个关注度响应信息计算出关注度信息，即S1031b的具体实现过程，可以包括：S201-S202，如下：
S201、将多个关注度响应信息累加，得到累加结果。
S202、利用累加结果与关注度响应信息的个数相比，得到关注度信息。
图像检测设备在得到多个关注度响应信息之后，可以将这些关注度响应信息逐个累加，得到累加结果。之后，图像检测设备将所得到的累加结果，与关注度响应信息的个数，也就是预设中间层的通道个数相比，得到关注度信息。
需要说明的是，关注度信息实质上就是每个通道的关注度响应信息的均值。由于每个通道所使用的滤波器可能是不同的，因而，每个通道对候选特征样本的关注程度也是不同的，而求均值能够在整体上代表这些通道对候选特征样本的关注程度，因而，图像检测设备可以利用求均值的方式，来求得关注度信息。
示例性的，本发明实施例提供了计算关注度信息的过程示意图，参见图4，预设中间层共有4个通道，也就得到了4个关注度响应信息。具体为通道4-1的关注度响应信息
Figure 557766DEST_PATH_IMAGE004
，通道4-2的关注度响应信息
Figure 903297DEST_PATH_IMAGE005
，通道4-3的关注度响应信息
Figure 924429DEST_PATH_IMAGE006
以及通道4-4的关注度响应信息
Figure 394724DEST_PATH_IMAGE007
，此时，预设中间层的关注度信息4-5的即为
Figure 249417DEST_PATH_IMAGE008
。
本发明实施例中，图像检测设备能够对多个通道对应的多个关注度响应值求均值，并将计算出的均值作为关注度信息。如此，图像检测设备就能够利用求均值的方式，计算出关注度信息。
参见图5，图5是本发明实施例提供的图像检测方法的一个可选的流程示意图二，在本发明的一些实施例中，根据专注度信息和至少一个类别概率确定出候选特征样本的损失值，即S103的具体实现过程，可以包括：S1033-S1036，如下：
S1033、根据关注度信息为候选特征样本分配损失权重。
图像检测设备在确定候选特征样本的损失值时，先要根据关注度信息来为候选特征样本分配损失权重。需要说明的是，图像检测设备是为关注度信息超过或等于关注度阈值的特征候选样本，分配较小的损失权重，以减小候选特征样本的损失值，而为关注度信息低于关注度阈值的特征候选样本，分配较大的损失权重，以增大候选特征样本的损失值，如此，就能够通过控制损失值的大小，来在后续调整对候选特征样本的学习程度。
可以理解的是，图像检测设备可以根据实际情况预先设置损失权重与关注度信息的对应关系，例如，当关注度信息超过关注度阈值时，当损失权重设置为5，当关注度信息等于关注度阈值时，将损失权重设置为3，当关注度信息低于关注度阈值时，将损失权重设置为1。
S1034、将至少一个类别概率中最大的类别概率挑选出来，作为目标类别概率。
图像检测设备将至少一个类别概率中的所有类别概率逐个进行比较，从而能够得出这些类别概率的大小关系，并从至少一个类别概率中，将最大的一个类别概率挑选出来，作为目标类别概率。
可以理解的是，目标类别概率所对应的物体类别，就是图像检测设备为候选特征样本所确定出的物体类别。
S1035、采用损失权重和关注度信息，构造出损失值调整参数。
图像检测设备利用损失权重和关注度信息，先构造出损失值调整参数，以便于后续根据损失值调整参数计算损失值。具体的，图像检测设备用1与关注度信息做差，得到差值结果，然后将差值结果作为底数，将损失权重作为指数，就构造出了损失值调整函数。
示例性的，当关注度信息用
Figure 183875DEST_PATH_IMAGE009
表示，损失权重用
Figure 583763DEST_PATH_IMAGE010
表示时，损失值调整参数就可以表示为
Figure 790623DEST_PATH_IMAGE011
。
S1036、利用损失值调整参数、目标类别概率以及候选特征样本的标签，计算出损失值。
图像检测设备在计算出损失值调整参数之后，就会用损失值调整参数、目标类别概率以及候选特征样本的标签联合起来，计算出最终的损失值，以便于后续图像检测设备根据损失值调整物体检测模型中的参数。
本发明实施例中，图像检测设备能够先根据关注度信息为候选特征样本分配权重，并从至少一个类别概率中挑选出最大的目标类别概率，之后，采用损失权重和关注度信息，构造出损失值调整参数，再基于损失值调整参数、目标类别概率以及候选特征样本的标签，计算出损失值。如此，图像检测设备就能够得到候选特征样本的损失值，从而明确需要对物体检测模型中的参数如何进行调整。
参见图6，图6是本发明实施例提供的图像检测方法的一个可选的流程示意图三，在本发明的一些实施例中，利用损失值调整参数、目标类别概率以及候选特征样本的标签，计算出损失值，即S1036的具体实现过程，可以包括：S1036a-S1036c，如下：
S1036a、利用损失值调整参数、目标类别概率和候选特征样本的标签，构造出第一子损失值。
图像检测设备首先对目标类别概率进行对数运算，再将对数结果与损失值调整参数、候选特征样本的标签相乘，所得到的乘积即为构造出的第一子损失值。
示例性的，当损失值调整参数用
Figure 793214DEST_PATH_IMAGE012
表示，目标类别概率用
Figure 254282DEST_PATH_IMAGE013
表示，并且候选特征样本的标签用
Figure 339918DEST_PATH_IMAGE014
表示时，图像检测设备所构造出的第一子损失函数就可以写为
Figure 784806DEST_PATH_IMAGE015
。
S1036b、采用目标类别概率和候选特征样本的标签，构造出第二子损失值。
图像检测设备先分别计算出1与目标类别概率的差值，以及1与候选特征样本的标签的差值，然后再用1与候选特征样本的差值，与1和目标类别概率的差值相乘，所得到的乘积结果即是构造出的第二子损失值。
示例性的，当目标类别概率用
Figure 591088DEST_PATH_IMAGE016
表示，候选特征样本的标签用
Figure 890351DEST_PATH_IMAGE014
表示时，第二子损失值则可以写为
Figure 163201DEST_PATH_IMAGE017
。
S1036c、根据第一子损失值和第二子损失值，计算出损失值。
图像检测设备在分别计算出第一子损失值和第二子损失值之后，就可以先将第一子损失值和第二损失值之和的相反数，作为最终计算出的损失值。
示例性的，本发明实施例提供了计算损失值的公式，如式（1）所示：
Figure 79073DEST_PATH_IMAGE018
其中，关注度信息为
Figure 423467DEST_PATH_IMAGE019
，损失权重为
Figure 124707DEST_PATH_IMAGE010
，目标类别概率为
Figure 552146DEST_PATH_IMAGE013
，候选特征样本的标签为
Figure 33943DEST_PATH_IMAGE020
，
Figure 57394DEST_PATH_IMAGE021
为损失值。当图像检测设备知晓关注度信息、损失权重、目标类别概率和候选特征样本的标签的具体数值之后，就可以将上述参数的具体数值代入至式（1）中，计算出最终的损失值。
本发明实施例中，图像检测设备先利用损失值调整参数、目标类别概率和候选特征样本的标签，构造出第一子损失值，再利用目标类别概率和候选特征样本的标签，计算出第二子损失值，最后用第一子损失值和第二子损失值计算出最终的损失值。如此，图像检测设备就能够完成损失值的计算，以便于后续利用损失值调整物体检测模型中的参数。
在本发明的一些实施例中，从特征图中提取出候选特征样本，即S102的具体实现过程，可以包括：S1021-S1023，如下：
S1021、从特征图中截取出至少一个初始特征样本。
图像检测设备在提取候选特征样本时，是先将特征图划分成为至少一个初始特征样本，这些初始特征样本之间可以重叠。具体的，图像检测设备可以将特征图中的一些像素点作为中心，按照初始尺寸截取出一些特征样本，之后，对初始尺寸做变换，再继续将上述这些像素点作为中心，按照变换后的尺寸截取出一些特征样本，最后将按照初始尺寸截取出的特征样本，和按照变换后的尺寸截取出的特征样本共同作为初始特征样本。
S1022、对至少一个初始特征样本中的每个初始特征样本进行前景背景分类，得到每个初始特征样本的分类结果。
图像检测设备判断每个初始特征样本是属于前景还是背景，得到每个初始特征样本对应的分类结果。可以理解的是，在本步骤中，为了节省计算资源，这里仅仅只是进行前景背景的分类，并不涉及判断初始特征样本的具体类别，也就是说，本步骤的分类结果，只有前景、背景两个输出。
S1023、将分类结果表征前景的初始特征样本，作为候选特征样本。
图像检测设备在得到每个初始特征样本的分类结果之后，会逐个读取这些初始特征样本的分类结果，然后将分类结果为前景的初始特征样本提取出来，作为候选特征样本。如此，图像检测设备就能够得到候选特征样本。
示例性的，本发明实施例提供了提取候选特征样本的示意图，参见图7，图像检测设备共从特征图7-1中截取出了6个初始特征样本，分别为样本7-11、样本7-12、样本7-13、样本7-14、样本7-15和样本7-16。图像检测设备对这些样本进行前景背景分类，从而得知样本7-15和样本7-16中包含有前景，即其分类结果为前景，此时，图像检测装置将其他初始特征样本剔除，将样本7-15和样本7-16保留下来，如此，就能够得到候选特征样本的结果7-2。
本发明实施例中，图像检测设备能够从特征图中截取出至少一个初始特征样本，并对每个初始特征样本进行前景背景分类，得到每个初始特征样本的分类结果，最后将分类结果表征前景的初始特征样本作为候选特征样本。如此，图像检测设备就能够得到候选特征样本了。
在本发明的一些实施例中，当获取到待检测图像时，利用训练后的物体检测模型对待检测图像进行物体检测，得到物体检测结果，即S105的具体实现过程，可以包括：S1051-S1052，如下：
S1051、当获取到待检测图像时，利用训练后的物体检测模型对待检测图像进行物体检测，得到至少一个临时检测概率。
S1052、从至少一个临时检测概率中挑选出最大的临时检测概率，并将最大的临时检测概率所对应的物体类别，作为检测结果。
图像检测装置获取到待检测图像之后，会将待检测图像输入进训练后的物体检测模型之中，通过训练后的物体检测模型提取出待检测图像的特征，并根据此特征，来计算出待检测图像隶属于各个设定好的物体类别的概率，从而得到至少一个临时检测概率。之后，图像检测装置从所得到的至少一个临时检测概率中，挑选出最大的临时检测概率，然后寻找这个最大的临时检测概率所对应的物体类别，将这个物体类别作为最终的检测结果。
本发明实施例中，当图像检测设备获取到待检测图像时，利用训练后的物体检测模型对待检测图像进行物体检测，得到至少一个临时检测概率，接着从至少一个临时检测概率中挑选出最大的临时检测概率，并将最大的临时检测概率所对应的物体类别，作为检测结果。如此，图像检测设备就能够针对新的待检测图像，完成物体检测过程。
在本发明的一些实施例中，基于候选特征样本的损失值，来调整物体检测模型的参数，即S104的具体实现过程，可以包括：S1041-S1043，如下：
S1041、利用候选特征样本的损失值，计算出针对物体检测模型的参数的调整值。
图像检测设备在调整物体检测模型的参数时，是先利用所计算出的候选特征样本的损失值，来计算物体检测模型里面的参数的调整值。可以理解的是，由于物体检测模型中的参数并不止一个，而是每个中间层的每个通道，都具有多个参数。因而，图像检测设备是分别针对这些参数，计算出各自的调整值。
在本发明的一些实施例中，调整值可以是用损失值和学习率计算出来的，也可以是按照其他方式计算出来的，本发明实施例在此不作限定。
S1042、采用调整值和物体检测模型的参数，计算出调整后的参数。
S1043、利用调整后的参数替换物体检测模型的参数。
图像检测设备针对每个参数计算出调整值之后，就可以继续利用这些调整值，和其所对应的参数，计算出调整后的参数，此时，调整后的参数和物体检测模型中原本的参数之间，具有一一对应的关系。最后，图像检测设备用调整后的参数对应替换掉物体检测模型中的原有的参数，这样，就完成了物体检测模型的参数的调整，从而使得经过参数调整的物体检测模型的性能更加优秀。
在本发明的一些实施例中，待检测图像可以是静态检测图像，例如已经拍摄好的照片、网络上下载的图片等，还可以是实时检测图像，例如视频中的一帧图像等。当待检测图像为实时检测图像时，当获取到待检测图像时，利用训练后的物体检测模型对待检测图像进行检测，得到检测结果，即S105的具体实现过程，可以变为S106，如下：
S106、当获取到实时检测图像时，利用训练后的物体检测模型对实时检测图像进行物体检测，得到实时检测图像对应的物体检测结果。
当待检测图像是实时检测图像时，图像检测设备可以在为实时检测图像进行检测之后，根据所得到物体检测结果来进行实时决策，例如根据物体检测结果进行机器人的自主避障、汽车的自动驾驶等。可以理解的是，由于实时检测图像可以是实时拍摄的视频中的一帧，因此，图像检测设备对所有的实时检测图像进行图像检测，即是对实时拍摄的视频进行图像检测，而实时拍摄的视频显示了现实世界的实时情况，因此，图像检测设备依据对实时检测图像进行检测所得到的物体检测结果进行的各种决策，实际上就是针对现实世界的实时情况进行的，这样，能够使得图像检测设备在现实世界中的应用更加广泛。
本发明实施例中，图像检测设备能够对实时检测图像进行物体检测，得到实时检测图像所对应的物体检测结果，如此，能够使得图像检测设备针对现实世界的各种情况进行实时判断。
在本发明的一些实施例中，实时检测图像可以是环境的实时图像，此时，在当获取到实时检测图像时，利用训练后的物体检测模型对实时检测图像进行物体检测，得到实时检测图像对应的物体检测结果之后，即S106之后，该方法还可以包括：
S107、根据物体检测结果规划出行驶路线，并按照行驶路线进行自动行驶。
图像检测设备在得到实时检测图像的物体检测结果之后，就可以根据物体检测结果来实时判断环境情况，例如前方是否有障碍物，与障碍物之间的距离等，然后根据环境情况来规划行驶路线，并按照规划好的行驶路线进行行驶，以使得能够避开环境中的障碍物到达目的地。
示例性的，当图像检测设备搭载在机器人，或者是汽车上时，图像检测设备可以拍摄周围环境的图像，然后对周围环境的图像进行物体检测，从而判断出周围环境中是否具有行人、动物甚至是绿化带等物体，得到障碍物的判断结果，接着，图像检测设备在规划行驶路线时，会自动避开障碍物，并按照规划好的路线进行自动行驶，使得机器人或汽车能够安全到达目的地。
本发明实施例中，图像检测设备可以对环境的实时图像进行检测，进而根据物体检测结果规划行驶路线，并按照行驶路线控制机器人、汽车等的形式，换句话说，图像检测设备所提供的图像检测方法，能够应用于机器人导航、自动驾驶领域。
在本发明的一些实施例中，实时检测图像可以是待检测产品的实时图像，在当获取到实时检测图像时，利用训练好的物体检测模型对实时检测图像进行物体检测，得到实时检测图像对应的物体检测结果，即在S106之后，该方法还可以包括：S108，如下：
S108、基于物体检测结果得到待检测产品的质量检验结果，以使得根据质量检测结果对待检测产品进行产品分类。
当实时检测图像是待检测产品的实时图像，例如，工业零件、农作物等的实时图像，图像检测设备能够根据物体检测结果，以及预设好的物体检测结果与产品质量之间的关系，来判断出待检测产品的质量，从而根据待检测产品的质量，来对待检测产品进行分类。
示例性的，当待检测产品为玻璃制品时，图像检测设备根据玻璃制品的实时图像，来检测这些玻璃制品中有没有具有瑕疵的产品，从而根据每个玻璃制品的瑕疵情况，判断出每个玻璃制品是不是合格，进而完成对合格玻璃制品和不合格玻璃制品的分类。
可以理解的是，图像检测设备针对不同的应用情况，可以利用不同的训练样本图像来训练物体检测模型，例如，图像检测设备在进行产品的质量检测时，可以是用大量的产品图像来训练物体检测模型，以使得训练好的物体检测模型能够针对同一类产品进行检测。
本发明实施例中，图像检测设备可以对待检测产品的实时图像进行检测，进而按照物体检测结果来判断待检查产品的质量，从而根据指令来对待检测产品进行分类。换句话说，图像检测设备所提供的图像检测方法，能够应用于工业检测之中。
下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。
参见图8，图8是本发明实施例提供了物体检测模型的框架图。图像检测设备首先将输入图像（训练图像样本）送入物体检测模型的输入层8-1，输入层8-1在对输入图像进行预处理，例如缩放等处理之后，将输入图像送入特征提取器8-2中，以逐层提取特征，并输出特征图，其中，特征提取器8-2可以选择ResNet50、ResNet101等。接着，图像检测设备利用区域生成网络（Region Pro-posal Network，RPN）在特征图上进行特定的区域选择与裁取，生成区域候选框（候选特征样本），并将区域候选框送给分类器8-3（RPN与分类器呈现在一起）进行多类别分类，得到类别概率向量
Figure 862407DEST_PATH_IMAGE022
（至少一个类别概率）。之后，图像检测设备对分类器8-3的输出进行整合，得到对输入图片中的前景预测得分值
Figure 70535DEST_PATH_IMAGE023
（前景预测信息），再用前景预测得分值
Figure 914994DEST_PATH_IMAGE023
与反向传播算法，计算得到RPN的关注度响应图8-4（关注度信息），即计算针对RPN的
Figure 788141DEST_PATH_IMAGE024
。其中，关注度响应图是网络中间层对特定输出的贡献程度，用于挖掘网络内在的相关特征。在计算关注度响应图时，是对各个通道的区域候选框内的响应值进行平均值统计，得到各个区域候选框的响应均值
Figure 791869DEST_PATH_IMAGE025
，事实上，
Figure 46264DEST_PATH_IMAGE026
越大，响应越强烈，RPN越容易关注到区域候选框，从样本属性来看属于易样本，在损失函数（损失值）上，给予较小的权值（损失权重），对于响应较小的区域候选框，给予较大的权值，以使得在训练时，通过实时动态调整损失函数，并结合各个类别的0、1标签的反向传播不断更新网络，解决类间不平衡问题，从而更新后的网络（训练后的物体检测模型）性能更好。
具体的，可以选择前景背景分类预测一致性损失函数（rpn_loss_cls）、前景背景边框回归预测结果一致性函数（rpn_loss_box）、最终前景背景边框回归的预测结果一致性（loss_box），即预设的损失函数8-5以及如式（1）所示的损失函数8-6的加和作为最终的损失函数8-7，以达到给予难分类的样本更大的权值，增大其损失函数值，对于易分类的样本减小其损失函数值，最终达到类间平衡。
通过上述可知，图像检测设备在训练网络时结合了网络内在的相关特征和最后一层的损失值，来动态网络的参数，解决了类间不平衡的问题，使得更新后的网络的性能更好。
下面继续说明本发明实施例提供的图像检测装置255的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器250的图像检测装置255中的软件模块可以包括：
提取模块2551，用于获取训练样本图像，并对所述训练样本图像进行特征图提取，得到所述训练样本图像在物体检测模型的预设中间层的特征图；
类别划分模块2552，用于从所述特征图中提取出候选特征样本，并利用所述物体检测模型对所述候选特征样本进行类别划分，得到所述候选特征样本对应的至少一个类别概率；其中，所述候选特征样本为所述特征图中的部分图像；
损失值计算模块2553，用于根据所述至少一个类别概率，构造出所述候选特征样本的关注度信息，并根据所述关注度信息和所述至少一个类别概率确定出所述候选特征样本的损失值；其中，所述关注度信息表征了所述预设中间层对候选特征样本的关注程度；
调整模块2554，用于基于所述候选特征样本的损失值，来持续调整所述物体检测模型的参数直至训练结束，得到训练后的物体检测模型；
检测模块2555，用于当获取到待检测图像时，利用所述训练后的物体检测模型对所述待检测图像进行检测，得到检测结果。
在本发明的一些实施例中，所述损失值计算模块2553，具体用于对所述至少一个类别概率进行累加，得到所述候选特征样本的前景预测信息；将所述前景预测信息反向传播至所述预设中间层，得到所述关注度信息。
在本发明的一些实施例中，所述损失值计算模块2553，具体用于将所述前景预测信息反向传播至所述预设中间层的每个通道，得到与所述多个通道一一对应的多个关注度响应信息；利用所述多个关注度响应信息计算出所述关注度信息。
在本发明的一些实施例中，所述损失值计算模块2553，具体用于将所述多个关注度响应值累加，得到累加结果；利用所述累加结果与关注度响应信息的个数相比，得到所述关注度信息。
在本发明的一些实施例中，所述损失值计算模块2553，具体还用于根据所述关注度信息为所述候选特征样本分配损失权重；将所述至少一个类别概率中最大的类别概率挑选出来，作为目标类别概率；采用所述损失权重和所述关注度信息，构造出损失值调整参数；利用所述损失值调整参数、所述目标类别概率以及所述候选特征样本的标签，计算出所述损失值。
在本发明的一些实施例中，所述损失值计算模块2553，具体用于利用所述损失值调整参数、所述目标类别概率和所述候选特征样本的标签，构造出第一子损失值；采用所述目标类别概率和所述候选特征样本的标签，构造出第二子损失值；根据所述第一子损失值和所述第二子损失值，计算出所述损失值。
在本发明的一些实施例中，所述提取模块2551，具体用于从所述特征图中截取出至少一个初始特征样本；对所述至少一个初始特征样本中的每个初始特征样本进行前景背景分类，得到所述每个初始特征样本的分类结果；将所述分类结果表征前景的初始特征样本，作为所述候选特征样本。
在本发明的一些实施例中，所述检测模块2555，具体用于当获取到所述待检测图像时，利用所述训练后的物体检测模型对所述待检测图像进行物体检测，得到至少一个临时检测概率；从所述至少一个临时检测概率中挑选出最大的临时检测概率，并将所述最大的临时检测概率所对应的物体类别，作为所述检测结果。
在本发明的一些实施例中，所述调整模块2554，具体用于利用所述候选特征样本的损失值，计算出针对所述物体检测模型的参数的调整值；采用所述调整值和所述物体检测模型的参数，计算出调整后的参数；利用所述调整后的参数替换所述物体检测模型的参数。
在本发明的一些实施例中，当所述待检测图像为实时检测图像时，所述检测模块2555，具体用于当获取到所述实时检测图像时，利用所述训练后的物体检测模型对所述实时检测图像进行物体检测，得到所述实时检测图像对应的物体检测结果。
在本发明的一些实施例中，实时检测图像为环境的实时图像，所述图像检测装置255还包括规划模型2556；
所述规划模块2556，用于根据所述物体检测结果规划出行驶路线，并按照所述行驶路线进行自动行驶。
在本发明的一些实施例中，所述实时检测图像为待检测产品的实时图像，所述图像检测装置255还包括产品分类模块2557；
所述产品分类模块2557，用于基于所述物体检测结果得到所述待检测产品的质量检验结果，以使得根据所述质量检验结果对所述待检测产品进行产品分类。
本发明实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行图像检测指令，当可执行图像检测指令被处理器执行时，将引起处理器执行本发明实施例提供的图像检测方法，例如，如图3、图5和图6示出的方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行图像检测指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行图像检测指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，HyperText Markup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
作为示例，可执行图像检测指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (15)

1.一种图像检测方法，其特征在于，包括：
获取训练样本图像，并对所述训练样本图像进行特征图提取，得到所述训练样本图像在物体检测模型的预设中间层的特征图；
从所述特征图中提取出候选特征样本，并利用所述物体检测模型对所述候选特征样本进行类别划分，得到所述候选特征样本对应的至少一个类别概率；其中，所述候选特征样本为所述特征图中的部分图像；
根据所述至少一个类别概率，构造出所述候选特征样本的关注度信息，并根据所述关注度信息和所述至少一个类别概率确定出所述候选特征样本的损失值；其中，所述关注度信息表征了所述预设中间层对候选特征样本的关注程度；
基于所述候选特征样本的损失值，来持续调整所述物体检测模型的参数直至训练结束，得到训练后的物体检测模型；
当获取到待检测图像时，利用所述训练后的物体检测模型对所述待检测图像进行检测，得到检测结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个类别概率，构造出所述候选特征样本的关注度信息，包括：
对所述至少一个类别概率进行累加，得到所述候选特征样本的前景预测信息；
将所述前景预测信息反向传播至所述预设中间层，得到所述关注度信息。
3.根据权利要求2所述的方法，其特征在于，所述预设中间层具有多个通道；所述将所述前景预测信息反向传播至所述预设中间层，得到所述关注度信息，包括：
将所述前景预测信息反向传播至所述预设中间层的每个通道，得到与所述多个通道一一对应的多个关注度响应信息；
利用所述多个关注度响应信息计算出所述关注度信息。
4.根据权利要求3所述的方法，其特征在于，所述利用所述多个关注度响应信息计算出所述关注度信息，包括：
将所述多个关注度响应信息累加，得到累加结果；
利用所述累加结果与关注度响应信息的个数相比，得到所述关注度信息。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述关注度信息和所述至少一个类别概率确定出所述候选特征样本的损失值，包括：
根据所述关注度信息为所述候选特征样本分配损失权重；
将所述至少一个类别概率中最大的类别概率挑选出来，作为目标类别概率；
采用所述损失权重和所述关注度信息，构造出损失值调整参数；
利用所述损失值调整参数、所述目标类别概率以及所述候选特征样本的标签，计算出所述损失值。
6.根据权利要求5所述的方法，其特征在于，所述利用所述损失值调整参数、所述目标类别概率以及所述候选特征样本的标签，计算出所述损失值，包括：
利用所述损失值调整参数、所述目标类别概率和所述候选特征样本的标签，构造出第一子损失值；
采用所述目标类别概率和所述候选特征样本的标签，构造出第二子损失值；
根据所述第一子损失值和所述第二子损失值，计算出所述损失值。
7.根据权利要求1至4，或6任一项所述的方法，其特征在于，所述从所述特征图中提取出候选特征样本，包括：
从所述特征图中截取出至少一个初始特征样本；
对所述至少一个初始特征样本中的每个初始特征样本进行前景背景分类，得到所述每个初始特征样本的分类结果；
将所述分类结果表征前景的初始特征样本，作为所述候选特征样本。
8.根据权利要求1至4，或6任一项所述的方法，其特征在于，所述当获取到待检测图像时，利用所述训练后的物体检测模型对所述待检测图像进行物体检测，得到检测结果，包括：
当获取到所述待检测图像时，利用所述训练后的物体检测模型对所述待检测图像进行物体检测，得到至少一个临时检测概率；
从所述至少一个临时检测概率中挑选出最大的临时检测概率，并将所述最大的临时检测概率所对应的物体类别，作为所述检测结果。
9.根据权利要求1至4，或6任一项所述的方法，其特征在于，所述基于所述候选特征样本的损失值，来持续调整所述物体检测模型的参数直至训练结束，包括：
利用所述候选特征样本的损失值，计算出针对所述物体检测模型的参数的调整值；
采用所述调整值和所述物体检测模型的参数，计算出调整后的参数；
利用所述调整后的参数替换所述物体检测模型的参数，直至训练结束。
10.根据权利要求1至4，或6任一项所述的方法，其特征在于，当所述待检测图像为实时检测图像时，所述当获取到待检测图像时，利用所述训练后的物体检测模型对所述待检测图像进行检测，得到检测结果，包括：
当获取到所述实时检测图像时，利用所述训练后的物体检测模型对所述实时检测图像进行物体检测，得到所述实时检测图像对应的物体检测结果。
11.根据权利要求10所述的方法，其特征在于，所述实时检测图像为环境的实时图像，在所述当获取到所述实时检测图像时，利用所述训练后的物体检测模型对所述实时检测图像进行物体检测，得到所述实时检测图像对应的物体检测结果之后，所述方法还包括：
根据所述物体检测结果规划出行驶路线，并按照所述行驶路线进行自动行驶。
12.根据权利要求10所述的方法，其特征在于，所述实时检测图像为待检测产品的实时图像，在所述当获取到所述实时检测图像时，利用所述训练后的物体检测模型对所述实时检测图像进行物体检测，得到所述实时检测图像对应的物体检测结果之后，所述方法还包括：
基于所述物体检测结果得到所述待检测产品的质量检验结果，以使得根据所述质量检验结果对所述待检测产品进行产品分类。
13.一种图像检测装置，其特征在于，包括：
提取模块，用于获取训练样本图像，并对所述训练样本图像进行特征图提取，得到所述训练样本图像在物体检测模型的预设中间层的特征图；
类别划分模块，用于从所述特征图中提取出候选特征样本，并利用所述物体检测模型对所述候选特征样本进行类别划分，得到所述候选特征样本对应的至少一个类别概率；其中，所述候选特征样本为所述特征图中的部分图像；
损失值计算模块，用于根据所述至少一个类别概率，构造出所述候选特征样本的关注度信息，并根据所述关注度信息和所述至少一个类别概率确定出所述候选特征样本的损失值；其中，所述关注度信息表征了所述预设中间层对候选特征样本的关注程度；
调整模块，用于基于所述候选特征样本的损失值，来持续调整所述物体检测模型的参数直至训练结束，得到训练后的物体检测模型；
检测模块，用于当获取到待检测图像时，利用所述训练后的物体检测模型对所述待检测图像进行检测，得到检测结果。
14.一种图像检测设备，其特征在于，包括：
存储器，用于存储可执行图像检测指令；
处理器，用于执行所述存储器中存储的可执行图像检测指令时，实现权利要求1至12任一项所述方法。
15.一种计算机可读存储介质，其特征在于，存储有可执行图像检测指令，用于引起处理器执行时，实现权利要求1至12任一项所述的方法。
CN202010183908.6A 2020-03-16 2020-03-16 一种图像检测方法、装置、设备及计算机可读存储介质 Active CN111046980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010183908.6A CN111046980B (zh) 2020-03-16 2020-03-16 一种图像检测方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010183908.6A CN111046980B (zh) 2020-03-16 2020-03-16 一种图像检测方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111046980A CN111046980A (zh) 2020-04-21
CN111046980B true CN111046980B (zh) 2020-06-30

Family

ID=70231100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010183908.6A Active CN111046980B (zh) 2020-03-16 2020-03-16 一种图像检测方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111046980B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626342B (zh) * 2020-05-13 2023-07-18 Oppo广东移动通信有限公司 一种图像样本处理方法、装置及存储介质
CN111709471B (zh) * 2020-06-12 2022-09-23 腾讯科技（深圳）有限公司 对象检测模型的训练方法以及对象检测方法、装置
CN111709480B (zh) * 2020-06-17 2023-06-23 北京百度网讯科技有限公司 用于识别图像类别的方法及装置
CN111666919B (zh) * 2020-06-24 2023-04-07 腾讯科技（深圳）有限公司 一种对象识别方法、装置、计算机设备和存储介质
CN111738362B (zh) * 2020-08-03 2020-12-01 成都睿沿科技有限公司 对象识别方法及装置、存储介质及电子设备
CN111738365B (zh) * 2020-08-06 2020-12-18 腾讯科技（深圳）有限公司 图像分类模型训练方法、装置、计算机设备及存储介质
CN112241761B (zh) * 2020-10-15 2024-03-26 北京字跳网络技术有限公司 模型训练方法、装置和电子设备
CN112257726B (zh) * 2020-10-29 2023-12-15 上海明略人工智能(集团)有限公司 目标检测训练方法、系统、电子设备及计算机可读存储介质
CN112906701B (zh) * 2021-02-08 2023-07-14 重庆兆光科技股份有限公司 一种基于多注意力神经网络的细粒度图像识别方法及系统
CN114030488B (zh) 2022-01-11 2022-05-03 清华大学 实现自动驾驶决策的方法、装置、计算机存储介质及终端
CN114693624A (zh) * 2022-03-23 2022-07-01 腾讯科技（深圳）有限公司 一种图像检测方法、装置、设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344725A (zh) * 2018-09-04 2019-02-15 上海交通大学 一种基于时空关注度机制的多行人在线跟踪方法
CN109977961A (zh) * 2019-03-04 2019-07-05 清华大学 基于分层注意力机制的二值特征学习方法及系统
CN110084271A (zh) * 2019-03-22 2019-08-02 同盾控股有限公司 一种图片类别的识别方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10546232B2 (en) * 2017-07-04 2020-01-28 Microsoft Technology Licensing, Llc Image recognition with promotion of underrepresented classes
CN109815868B (zh) * 2019-01-15 2022-02-01 腾讯科技（深圳）有限公司 一种图像目标检测方法、装置及存储介质
CN110119815B (zh) * 2019-05-21 2021-08-13 深圳市腾讯网域计算机网络有限公司 模型训练方法、装置、存储介质及设备
CN110458206A (zh) * 2019-07-24 2019-11-15 东北师范大学 一种基于深度学习的注意行为模型
CN110728183B (zh) * 2019-09-09 2023-09-22 天津大学 一种基于注意力机制的神经网络的人体动作识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344725A (zh) * 2018-09-04 2019-02-15 上海交通大学 一种基于时空关注度机制的多行人在线跟踪方法
CN109977961A (zh) * 2019-03-04 2019-07-05 清华大学 基于分层注意力机制的二值特征学习方法及系统
CN110084271A (zh) * 2019-03-22 2019-08-02 同盾控股有限公司 一种图片类别的识别方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deformable Object Tracking With Gated Fusion;Wenxi Liu et al;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20190831;第28卷(第8期);第3766-3777页 *
Unsupervised Deep Tracking;Ning Wang et al;《CVPR 2019》;20191231;第1308-1317页 *
结合特征图切分的图像语义分割;曹峰梅 等;《中国图象图形学报》;20190331;第24卷(第3期);第464-473页 *

Also Published As

Publication number Publication date
CN111046980A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN111046980B (zh) 一种图像检测方法、装置、设备及计算机可读存储介质
CN112052787B (zh) 基于人工智能的目标检测方法、装置及电子设备
KR20210073569A (ko) 이미지 시맨틱 세그멘테이션 네트워크를 트레이닝하기 위한 방법, 장치, 디바이스 및 저장 매체
CN112232293B (zh) 图像处理模型训练、图像处理方法及相关设备
CN111626350A (zh) 目标检测模型训练方法、目标检测方法及装置
CN111353555A (zh) 一种标注检测方法、装置及计算机可读存储介质
Guo et al. Improved YOLOv4-tiny network for real-time electronic component detection
US11222464B2 (en) Intelligent imagery
CN111931929A (zh) 一种多任务模型的训练方法、装置及存储介质
CN114415628A (zh) 自动驾驶测试方法及装置、电子设备和存储介质
Haq et al. Can offline testing of deep neural networks replace their online testing? a case study of automated driving systems
CN113177559B (zh) 结合广度和密集卷积神经网络的图像识别方法、系统、设备及介质
CN113762044A (zh) 道路识别方法、装置、计算机设备和存储介质
CN115830399A (zh) 分类模型训练方法、装置、设备、存储介质和程序产品
CN115100489A (zh) 一种图像处理方法、装置、设备及可读存储介质
CN114758199A (zh) 检测模型的训练方法、装置、设备和存储介质
CN117036834B (zh) 基于人工智能的数据分类方法、装置及电子设备
CN111008622B (zh) 一种图像对象检测方法、装置以及计算机可读存储介质
CN113822128A (zh) 交通要素识别方法、装置、设备及计算机可读存储介质
CN113705293A (zh) 图像场景的识别方法、装置、设备及可读存储介质
CN117475253A (zh) 一种模型训练方法、装置、电子设备及存储介质
US20220390249A1 (en) Method and apparatus for generating direction identifying model, device, medium, and program product
CN116383517A (zh) 动态传播特征增强的多模态谣言检测方法及系统
CN115331048A (zh) 图像分类方法、装置、设备以及存储介质
CN116777814A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022288

Country of ref document: HK