CN112200187A - 一种目标检测方法、装置、机器可读介质及设备 - Google Patents

一种目标检测方法、装置、机器可读介质及设备 Download PDF

Info

Publication number
CN112200187A
CN112200187A CN202011107508.3A CN202011107508A CN112200187A CN 112200187 A CN112200187 A CN 112200187A CN 202011107508 A CN202011107508 A CN 202011107508A CN 112200187 A CN112200187 A CN 112200187A
Authority
CN
China
Prior art keywords
target detection
image
detected
target
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011107508.3A
Other languages
English (en)
Inventor
姚志强
周曦
於景瞵
张愈其
钟南昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yuncongkaifeng Technology Co Ltd
Original Assignee
Guangzhou Yuncongkaifeng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yuncongkaifeng Technology Co Ltd filed Critical Guangzhou Yuncongkaifeng Technology Co Ltd
Priority to CN202011107508.3A priority Critical patent/CN112200187A/zh
Publication of CN112200187A publication Critical patent/CN112200187A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种目标检测方法，包括：获取待检测图像；将所述待检测图像输入至预先训练得到的基于轻量级卷积神经网络的目标检测模型，得到一个或多个目标检测框以及每个目标检测框对应的置信度；所述目标检测框用以标识待检测图像中检测到的一个或多个伪目标对象；确定置信度大于置信度阈值的目标检测框；根据置信度大于置信度阈值的目标检测框，确定所述待检测图像中的目标对象。本发明利用参数量、计算量较小的基于轻量级卷积神经网络的目标检测模型对待检测图像进行目标检测，减小了目标检测的计算量，提升了目标检测的速度。

Description

一种目标检测方法、装置、机器可读介质及设备
技术领域
本发明涉及目标检测领域，具体涉及一种目标检测方法、装置、机器可读介质及设备。
背景技术
由于场景的多样性和复杂性，现有的主流目标检测算法包括单阶段SSD、YOLO和双阶段FasterRcnn算法，这些方法大都采用较大的骨干网络来提取复杂和多样性的场景特征，导致整体模型较大，算法推理耗时长且后处理耗时较长，不适用于要求快速响应的实际视频监控场景。另外，实际场景中的多样性和复杂性都会给目标检测带来难度。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种目标检测方法、装置、机器可读介质及设备，用于解决现有技术存在的问题。
为实现上述目的及其他相关目的，本发明提供一种目标检测方法，包括：
获取待检测图像；
将所述待检测图像输入至预先训练得到的基于轻量级卷积神经网络的目标检测模型，得到一个或多个目标检测框以及每个目标检测框对应的置信度；所述目标检测框用以标识待检测图像中检测到的一个或多个伪目标对象；
确定置信度大于置信度阈值的目标检测框；
根据置信度大于置信度阈值的目标检测框，确定所述待检测图像中的目标对象。
可选地，在训练得到基于轻量级卷积神经网络的目标检测模型的过程中，通过数据增强对训练数据进行增强，对数据进行增强的方法包括：高斯模糊、运动模糊、随机擦除、随机填充。
可选地，在训练得到基于轻量级卷积神经网络的目标检测模型的过程中，通过基于难样本挖掘的训练样本训练得到目标数模型。
可选地，该方法还包括：将目标检测模型的权重数据类型转化为fp16或int8的数据类型。
可选地，所述目标检测模型包括：
骨干网络，用于对所述待检测图像进行特征提取；
颈部网络，用于对骨干网络提取的特征进行特征融合，得到多尺度的融合特征；
头部网络，用于根据多尺度的融合特征进行分类和回归，输出目标检测框的坐标以及与所述目标检测框对应的置信度。
可选地，所述骨干网包括ResNet、VGG或MobileNet；所述头部网包括全连接网络或1x1卷积网络。
可选地，在将待检测图像输入至目标检测模型前，还包括对所述待检测图像进行预处理，所述预处理包括：图像缩放、转置以及图像类型转换。
为实现上述目的及其他相关目的，本发明还提供一种目标检测装置，包括：
图像获取模块，用于获取待检测图像；
目标检测模块，用于将所述待检测图像输入至预先训练得到的基于轻量级卷积神经网络的目标检测模型，得到一个或多个目标检测框以及每个目标检测框对应的置信度；所述目标检测框用以标识待检测图像中检测到的一个或多个伪目标对象；
目标检测框确定模块，用于确定置信度大于置信度阈值的目标检测框；
目标对象确定模块，用于根据置信度大于置信度阈值的目标检测框，确定所述待检测图像中的目标对象。
可选地，该装置还包括数据增强模块，用于在训练得到的基于轻量级卷积神经网络的目标检测模型的过程中，对训练数据进行增强，对数据进行增强的方法包括：高斯模糊、运动模糊、随机擦除、随机填充。
可选地，在训练得到基于轻量级卷积神经网络的目标检测模型的过程中，通过难样本挖掘的训练样本训练得到目标检测模型。
可选地，将目标检测模型的权重数据类型转化为fp16或int8的数据类型。
可选地，所述目标检测模型包括：
骨干网络，用于对所述待检测图像进行特征提取；
颈部网络，用于对骨干网络提取的特征进行特征融合，得到多尺度的融合特征；
头部网络，用于根据多尺度的融合特征进行分类和回归，输出目标检测框的坐标以及与所述目标检测框对应的置信度。
可选地，所述骨干网包括ResNet、VGG或MobileNet；所述头部网包括全连接网络或1x1卷积网络。
为实现上述目的及其他相关目的，本发明还提供一种设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行前述的一个或多个所述的方法。
为实现上述目的及其他相关目的，本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。
如上所述，本发明提供的一种目标检测方法、装置、机器可读介质及设备，具有以下有益效果：
本发明的一种目标检测方法，包括：获取待检测图像；将所述待检测图像输入至预先训练得到的基于轻量级卷积神经网络的目标检测模型，得到一个或多个目标检测框以及每个目标检测框对应的置信度；所述目标检测框用以标识待检测图像中检测到的一个或多个伪目标对象；确定置信度大于置信度阈值的目标检测框；根据置信度大于置信度阈值的目标检测框，确定所述待检测图像中的目标对象。本发明利用参数量、计算量较小的基于轻量级卷积神经网络的目标检测模型对待检测图像进行目标检测，减小了目标检测的计算量，提升了目标检测的速度。
附图说明
图1为本发明一实施例一种目标检测方法的流程图；
图2为本发明一实施例中头肩检测标注的示意图；
图3为本发明一实施例中是否戴安全帽标注的示意图；
图4为本发明一实施例中目标检测模型的示意图；
图5为本发明一实施例一种目标检测装置的硬件结构示意图；
图6为本发明一实施例中终端设备的硬件结构示意图；
图7为本发明一实施例中终端设备的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，一种目标检测方法，包括：
S11获取待检测图像；
S12将所述待检测图像输入至预先训练得到的基于轻量级卷积神经网络的目标检测模型，得到一个或多个目标检测框以及每个目标检测框对应的置信度；所述目标检测框用以标识待检测图像中检测到的一个或多个伪目标对象；
S13确定置信度大于置信度阈值的目标检测框；
S14根据置信度大于置信度阈值的目标检测框，确定所述待检测图像中的目标对象。
本发明利用参数量、计算量较小的基于轻量级卷积神经网络的目标检测模型对待检测图像进行目标检测，减小了目标检测的计算量，提升了目标检测的速度。
在步骤S11中，待检测图像为针对需要进行目标检测的场景采集到的图像。图像中的目标可以为人物、车辆、安全帽等。其中，对人物的检测可以通过检测人物的头肩来确定。
每个图像中包含一个或多个目标对象，这些目标对象可以是图像中存在的各种物体。通过目标检测的方式，可以获得图像中包含的一个或多个目标对象。为了对检测到的目标对象进行标识，通过采用目标检测框来标识图像中检测到的一个或多个目标对象。
目标检测框可以是任意的形状，作为一种选择，可以将目标检测框设置为矩形，通过该矩形外框，能够表示该区域内存在一个目标对象。通过目标检测框，能够给人直观的展示图像中存在的目标对象的数目。待检测图像中的目标检测框的个数与目标对象的个数相关，若目标对象为一个，则该待检测图像中具有一个目标检测框；若该目标对象为多个，则该待检测图像中具有多个目标检测框，每个目标检测框所框选的图像区域均为一个目标对象。
由于每个目标检测框对应相应的置信度，因此，将生成的所有目标检测框标识的目标对象记为伪目标对象。当目标检测框的置信度超过置信度阈值，则认为该目标检测框标识别目标对象为真正的目标对象。
在一实施例中，由于待检测图像的格式与目标检测模型的输入格式存在差异。因此，在将待检测图像输入至目标检测模型前，还包括对所述待检测图像进行预处理，所述预处理包括：图像缩放、转置以及图像类型转换。
由于在实际场景中，会存在模糊的情况，若待检测的图像中包括了多个目标对象明，则还可以出现遮挡等情况，这些情况都会给目标检测带来难度。因此，在一些实施例中，在训练得到基于轻量级卷积神经网络的目标检测模型的过程中，通过数据增强对训练数据进行增强。针对模糊的情况，采用高斯模糊、运动模糊等数据增强方法；针对遮挡的情况，采用随机擦除、随机填充等数据增强方法。通过数据增强技术，增加难样本的学习概率，优化了模型、遮挡等场景，提升了复杂场景下头肩检测的精度。
在训练获得目标检测模型前，需要先获取训练样本。以头肩检测为例，，将不同场景包含行人头肩信息的图片作为训练数据，每张图片包含一个或多个行人头肩信息。训练数据含有头肩标注信息(如图2所示，目标检测框包括左上角和右下角坐标信息)，每个可识别行人头肩都需要在图片上标注出来。以安全帽检测为例，将不同施工场景包含佩戴安全帽和未佩戴安全帽人员信息的图片作为训练数据，每张图片包含一个或多个佩戴安全帽或未佩戴安全帽人员信息。训练数据含有佩戴安全帽或未佩戴安全帽人员头部标注信息(如图3所示，目标检测框包括左上角和右下角坐标信息)，每个可目标对象都需要在图片上标注出来。通过上述训练样本训练得到目标检测模型。
在一实施例中，在训练得到基于轻量级卷积神经网络的目标检测模型的过程中，通过基于难样本挖掘的训练样本训练得到目标数模型。通过难样本挖掘方法增加了正样本学习权重。其中，难样本挖掘方法包括但不限于OHEM和Focalloss算法。
对于头肩的检测模型训练，通过难样本挖掘方法增加头肩正样本学习权重，对于是否配戴安全的的检测模型的训练，通过难样本挖掘方法增加佩戴和未佩戴安全帽的目标正样本学习权重。
在一实施例中，该方法还包括：将目标检测模型的权重数据类型转化为fp16或int8的数据类型。通过将float32的模型权重数据转化为fp16或int8的数据类型，减少表示每个权重所需的比特数，来达到压缩加速网络的目的。
在一实施例中，所述目标检测模型包括：
骨干网络，用于对所述待检测图像进行特征提取；其中，骨干网络包括但不限于ResNet残差网络、VGG、MobileNet；
颈部网络，用于对骨干网络提取的特征进行特征融合，得到多尺度的融合特征；
头部网络，用于根据多尺度的融合特征进行分类和回归，输出目标检测框的坐标以及与所述目标检测框对应的置信度；其中，头部网包括全连接网络或1x1卷积网络。
由于头部网络是根据多尺度的融合特征进行分类和回归，因此，得到的目标检测框也是多尺度的，多尺度目标检测框具有与目标对应的尺度和宽高比。
骨干网络被用作特征提取器，它们在图像分类数据集(如ImageNet)上进行了预训练，然后在检测数据集上进行了微调。这些骨干网络随着层数的加深能产生具有更高语义的不同级别的特征，对之后的目标检测发挥很大作用。
颈部网络是在骨干网络和头部网络之间的额外层，用于提取骨干网络不同阶段的不同特征图，其中，颈部网络采用如特征金字塔网络(Feature PyramidNetworks forObject Detection，FPN)、PANet(Path Aggregation Network)的网络结构。
特征金字塔网络FPN，通过自上而下的路径和横向连接来增强标准卷积网络，因此该网络可以有效地从单分辨率输入图像构造出丰富的多尺度特征金字塔。
在特征金字塔网络FPN中，每个横向连接将特征图从下至上的路径合并到自上而下的路径，从而生成不同的金字塔层，在合并特征图之前，对先前的金字塔层进行2倍上采样，使两个特征图具有相同的空间分辨率大小；然后将分类/回归网络(头部网络)应用于金字塔的每个层，以帮助检测不同大小的目标。
参照图4，特征金字塔网络相当于先进行传统的bottom-up自上而下的特征卷积(图4左侧)，然后FPN试图融合左侧特征图的相邻的特征图。左侧模型叫bottom-up，中间模型叫top-down，横向的箭头叫横向连接lateral connections。这么做的目的是因为高层的特征语义多，低层的特征语义少但位置信息多。
具体做法是：将两个特征层的较高层特征2倍上采样(上采样方法很多，上采样几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素，总之是把feature大小扩大了一倍)。较低层特征通过1×1卷积改变一下低层特征的通道数，然后把上采样的结果和1×1卷积后的结果对应元素相加。
本发明的一种目标检测方法，利用参数量、计算量较小的基于轻量级卷积神经网络的目标检测模型对待检测图像进行目标检测，减小了目标检测的计算量，提升了目标检测的速度。同时，对场景的多样性和复杂性进行优化，提升了不同场景下安全帽检测的精度。
如图5所示，一种目标检测装置，包括：
图像获取模块51，用于获取待检测图像；
目标检测模块52，用于将所述待检测图像输入至预先训练得到的基于轻量级卷积神经网络的目标检测模型，得到一个或多个目标检测框以及每个目标检测框对应的置信度；所述目标检测框用以标识待检测图像中检测到的一个或多个伪目标对象；
目标检测框确定模块53，用于确定置信度大于置信度阈值的目标检测框；
目标对象确定模块54，用于根据置信度大于置信度阈值的目标检测框，确定所述待检测图像中的目标对象。
在一实施例中，该装置还包括数据增强模块，用于在训练得到的基于卷积神经网络的目标检测模型的过程中，对训练数据进行增强，对数据进行增强的方法包括：高斯模糊、运动模糊、随机擦除、随机填充。
在一实施例中，在训练得到基于轻量级卷积神经网络的目标检测模型的过程中，通过难样本挖掘的训练样本训练得到目标检测模型。
在一实施例中，将目标检测模型的权重数据类型转化为fp16或int8的数据类型。
在一实施例中，所述目标检测模型包括：
骨干网络，用于对所述待检测图像进行特征提取；
颈部网络，用于对骨干网络提取的特征进行特征融合，得到多尺度的融合特征；
头部网络，用于根据多尺度的融合特征进行分类和回归，输出目标检测框的坐标以及与所述目标检测框对应的置信度。
在一实施例中，所述骨干网包括ResNet、VGG或MobileNet；所述头部网包括全连接网络或1x1卷积网络。
在本实施例中，该装置实施例与前述的方法实施例相对应，具体功能和技术效果参照上述实施例即可，此处不再赘述。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts GroupAudio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。
图6为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图7为本申请的一个实施例提供的终端设备的硬件结构示意图。图7是对图6在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图7实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图6实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (15)

1.一种目标检测方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像输入至预先训练得到的基于轻量级卷积神经网络的目标检测模型，得到一个或多个目标检测框以及每个目标检测框对应的置信度；所述目标检测框用以标识待检测图像中检测到的一个或多个伪目标对象；
确定置信度大于置信度阈值的目标检测框；
根据置信度大于置信度阈值的目标检测框，确定所述待检测图像中的目标对象。
2.根据权利要求1所述的目标检测方法，其特征在于，在训练得到基于轻量级卷积神经网络的目标检测模型的过程中，通过数据增强对训练数据进行增强，对数据进行增强的方法包括：高斯模糊、运动模糊、随机擦除、随机填充。
3.根据权利要求1所述的目标检测方法，其特征在于，在训练得到基于轻量级卷积神经网络的目标检测模型的过程中，通过基于难样本挖掘的训练样本训练得到目标数模型。
4.根据权利要求1所述的目标检测方法，其特征在于，该方法还包括：将目标检测模型的权重数据类型转化为fp16或int8的数据类型。
5.根据权利要求1所述的目标检测方法，其特征在于，所述目标检测模型包括：
骨干网络，用于对所述待检测图像进行特征提取；
颈部网络，用于对骨干网络提取的特征进行特征融合，得到多尺度的融合特征；
头部网络，用于根据多尺度的融合特征进行分类和回归，输出目标检测框的坐标以及与所述目标检测框对应的置信度。
6.根据权利要求5所述的目标检测方法，其特征在于，所述骨干网包括ResNet、VGG或MobileNet；所述头部网包括全连接网络或1x1卷积网络。
7.根据权利要求1所述的目标检测方法，其特征在于，在将待检测图像输入至目标检测模型前，还包括对所述待检测图像进行预处理，所述预处理包括：图像缩放、转置以及图像类型转换。
8.一种目标检测装置，其特征在于，包括：
图像获取模块，用于获取待检测图像；
目标检测模块，用于将所述待检测图像输入至预先训练得到的基于轻量级卷积神经网络的目标检测模型，得到一个或多个目标检测框以及每个目标检测框对应的置信度；所述目标检测框用以标识待检测图像中检测到的一个或多个伪目标对象；
目标检测框确定模块，用于确定置信度大于置信度阈值的目标检测框；
目标对象确定模块，用于根据置信度大于置信度阈值的目标检测框，确定所述待检测图像中的目标对象。
9.根据权利要求8所述的目标检测装置，其特征在于，该装置还包括数据增强模块，用于在训练得到的基于卷积神经网络的目标检测模型的过程中，对训练数据进行增强，对数据进行增强的方法包括：高斯模糊、运动模糊、随机擦除、随机填充。
10.根据权利要求8所述的目标检测装置，其特征在于，在训练得到基于轻量级卷积神经网络的目标检测模型的过程中，通过难样本挖掘的训练样本训练得到目标检测模型。
11.根据权利要求8所述的目标检测装置，其特征在于，将目标检测模型的权重数据类型转化为fp16或int8的数据类型。
12.根据权利要求8所述的目标检测装置，其特征在于，所述目标检测模型包括：
骨干网络，用于对所述待检测图像进行特征提取；
颈部网络，用于对骨干网络提取的特征进行特征融合，得到多尺度的融合特征；
头部网络，用于根据多尺度的融合特征进行分类和回归，输出目标检测框的坐标以及与所述目标检测框对应的置信度。
13.根据权利要求12所述的目标检测装置，其特征在于，所述骨干网包括ResNet、VGG或MobileNet；所述头部网包括全连接网络或1x1卷积网络。
14.一种设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-7中一个或多个所述的方法。
15.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-7中一个或多个所述的方法。
CN202011107508.3A 2020-10-16 2020-10-16 一种目标检测方法、装置、机器可读介质及设备 Pending CN112200187A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011107508.3A CN112200187A (zh) 2020-10-16 2020-10-16 一种目标检测方法、装置、机器可读介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011107508.3A CN112200187A (zh) 2020-10-16 2020-10-16 一种目标检测方法、装置、机器可读介质及设备

Publications (1)

Publication Number Publication Date
CN112200187A true CN112200187A (zh) 2021-01-08

Family

ID=74009221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011107508.3A Pending CN112200187A (zh) 2020-10-16 2020-10-16 一种目标检测方法、装置、机器可读介质及设备

Country Status (1)

Country Link
CN (1) CN112200187A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699842A (zh) * 2021-01-13 2021-04-23 上海镜河科技有限公司 宠物识别方法、装置、设备及计算机可读存储介质
CN112861803A (zh) * 2021-03-16 2021-05-28 厦门博海中天信息科技有限公司 一种图像识别方法、装置、服务器以及计算机可读存储介质
CN113011309A (zh) * 2021-03-15 2021-06-22 北京百度网讯科技有限公司 图像识别方法、装置、设备、介质及程序产品
CN113076955A (zh) * 2021-04-14 2021-07-06 上海云从企业发展有限公司 一种目标检测方法、系统、计算机设备及机器可读介质
CN113537296A (zh) * 2021-06-22 2021-10-22 广州云从鼎望科技有限公司 特征检测方法、装置及计算机存储介质
CN114301180A (zh) * 2021-12-31 2022-04-08 南方电网大数据服务有限公司 基于深度学习的配电房设备开关部件状态监测方法和装置
CN114299037A (zh) * 2021-12-30 2022-04-08 广州极飞科技股份有限公司 一种对象检测结果的质量评估方法、装置、电子设备及计算机可读存储介质
WO2022205329A1 (zh) * 2021-04-01 2022-10-06 京东方科技集团股份有限公司 对象检测方法、对象检测装置及对象检测系统
WO2022186925A3 (en) * 2021-02-08 2022-11-10 Carnegie Mellon University Method for compressing an ai-based object detection model for deployment on resource-limited devices
CN116612379A (zh) * 2023-05-30 2023-08-18 中国海洋大学 一种基于多知识蒸馏的水下目标检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170083752A1 (en) * 2015-09-18 2017-03-23 Yahoo! Inc. Face detection
CN107748915A (zh) * 2017-11-02 2018-03-02 北京智能管家科技有限公司 深度神经网络dnn模型的压缩方法、装置、设备及介质
CN108805267A (zh) * 2018-05-28 2018-11-13 重庆大学 用于卷积神经网络硬件加速的数据处理方法
CN109800778A (zh) * 2018-12-03 2019-05-24 浙江工业大学 一种基于难分样本挖掘的Faster RCNN目标检测方法
CN109902537A (zh) * 2017-12-08 2019-06-18 杭州海康威视数字技术股份有限公司 一种人数统计方法、装置、系统及电子设备
CN111062329A (zh) * 2019-12-18 2020-04-24 中山大学 基于增广网络的无监督行人重识别方法
CN111310850A (zh) * 2020-03-02 2020-06-19 杭州雄迈集成电路技术股份有限公司 车牌检测模型的构建方法及系统、车牌检测方法及系统
CN111325713A (zh) * 2020-01-21 2020-06-23 浙江省北大信息技术高等研究院 基于神经网络的木材缺陷检测方法、系统及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170083752A1 (en) * 2015-09-18 2017-03-23 Yahoo! Inc. Face detection
CN107748915A (zh) * 2017-11-02 2018-03-02 北京智能管家科技有限公司 深度神经网络dnn模型的压缩方法、装置、设备及介质
CN109902537A (zh) * 2017-12-08 2019-06-18 杭州海康威视数字技术股份有限公司 一种人数统计方法、装置、系统及电子设备
CN108805267A (zh) * 2018-05-28 2018-11-13 重庆大学 用于卷积神经网络硬件加速的数据处理方法
CN109800778A (zh) * 2018-12-03 2019-05-24 浙江工业大学 一种基于难分样本挖掘的Faster RCNN目标检测方法
CN111062329A (zh) * 2019-12-18 2020-04-24 中山大学 基于增广网络的无监督行人重识别方法
CN111325713A (zh) * 2020-01-21 2020-06-23 浙江省北大信息技术高等研究院 基于神经网络的木材缺陷检测方法、系统及存储介质
CN111310850A (zh) * 2020-03-02 2020-06-19 杭州雄迈集成电路技术股份有限公司 车牌检测模型的构建方法及系统、车牌检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TSUNG-YI LIN 等: "Feature Pyramid Networks for Object Detection", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
袁秋壮 等: "基于深度学习神经网络的SAR星上目标识别系统研究", 《上海航天》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699842A (zh) * 2021-01-13 2021-04-23 上海镜河科技有限公司 宠物识别方法、装置、设备及计算机可读存储介质
WO2022186925A3 (en) * 2021-02-08 2022-11-10 Carnegie Mellon University Method for compressing an ai-based object detection model for deployment on resource-limited devices
CN113011309A (zh) * 2021-03-15 2021-06-22 北京百度网讯科技有限公司 图像识别方法、装置、设备、介质及程序产品
CN112861803A (zh) * 2021-03-16 2021-05-28 厦门博海中天信息科技有限公司 一种图像识别方法、装置、服务器以及计算机可读存储介质
WO2022205329A1 (zh) * 2021-04-01 2022-10-06 京东方科技集团股份有限公司 对象检测方法、对象检测装置及对象检测系统
CN113076955A (zh) * 2021-04-14 2021-07-06 上海云从企业发展有限公司 一种目标检测方法、系统、计算机设备及机器可读介质
CN113537296A (zh) * 2021-06-22 2021-10-22 广州云从鼎望科技有限公司 特征检测方法、装置及计算机存储介质
CN114299037A (zh) * 2021-12-30 2022-04-08 广州极飞科技股份有限公司 一种对象检测结果的质量评估方法、装置、电子设备及计算机可读存储介质
CN114299037B (zh) * 2021-12-30 2023-09-01 广州极飞科技股份有限公司 一种对象检测结果的质量评估方法、装置、电子设备及计算机可读存储介质
CN114301180A (zh) * 2021-12-31 2022-04-08 南方电网大数据服务有限公司 基于深度学习的配电房设备开关部件状态监测方法和装置
CN116612379A (zh) * 2023-05-30 2023-08-18 中国海洋大学 一种基于多知识蒸馏的水下目标检测方法及系统
CN116612379B (zh) * 2023-05-30 2024-02-02 中国海洋大学 一种基于多知识蒸馏的水下目标检测方法及系统

Similar Documents

Publication Publication Date Title
CN112200187A (zh) 一种目标检测方法、装置、机器可读介质及设备
CN109344793B (zh) 用于识别空中手写的方法、装置、设备以及计算机可读存储介质
US9633479B2 (en) Time constrained augmented reality
CN109635783B (zh) 视频监控方法、装置、终端和介质
WO2019214320A1 (zh) 车辆损伤识别的处理方法、处理设备、客户端及服务器
US20140210857A1 (en) Realization method and device for two-dimensional code augmented reality
CN111539412B (zh) 一种基于ocr的图像分析方法、系统、设备及介质
JP7181375B2 (ja) 目標対象の動作認識方法、装置及び電子機器
KR20150105479A (ko) 2차원 코드 증강 현실의 실현 방법 및 디바이스
CN112232194A (zh) 一种单目标人体关键点检测方法、系统、设备及介质
WO2019214321A1 (zh) 车辆损伤识别的处理方法、处理设备、客户端及服务器
CN111753721A (zh) 一种人体姿态的识别方法及装置
CN108763350B (zh) 文本数据处理方法、装置、存储介质及终端
CN111340848A (zh) 对目标区域的对象跟踪方法、系统、设备及介质
CN109753883A (zh) 视频定位方法、装置、存储介质和电子设备
CN112529939A (zh) 一种目标轨迹匹配方法、装置、机器可读介质及设备
CN104281258B (zh) 使用图像捕获设备调整透明显示器
CN111754414B (zh) 一种图像处理方法、装置和用于图像处理的装置
CN110751004A (zh) 二维码检测方法、装置、设备及存储介质
CN111582353B (zh) 一种图像特征检测方法、系统、设备以及介质
CN111260697A (zh) 目标对象的识别方法、系统、设备及介质
CN111107264A (zh) 图像处理方法、装置、存储介质以及终端
CN112347982A (zh) 基于视频的无监督难例数据挖掘方法、装置、介质及设备
CN110929767B (zh) 一种字形处理方法、系统、设备和介质
CN111818364B (zh) 视频融合方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210108