CN113947144B - 用于对象检测的方法、装置、设备、介质和程序产品 - Google Patents

用于对象检测的方法、装置、设备、介质和程序产品 Download PDF

Info

Publication number
CN113947144B
CN113947144B CN202111202517.5A CN202111202517A CN113947144B CN 113947144 B CN113947144 B CN 113947144B CN 202111202517 A CN202111202517 A CN 202111202517A CN 113947144 B CN113947144 B CN 113947144B
Authority
CN
China
Prior art keywords
generating
feature extraction
convolution
feature
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111202517.5A
Other languages
English (en)
Other versions
CN113947144A (zh
Inventor
于广华
党青青
王豪爽
王冠中
胡晓光
于佃海
马艳军
刘其文
文灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111202517.5A priority Critical patent/CN113947144B/zh
Publication of CN113947144A publication Critical patent/CN113947144A/zh
Application granted granted Critical
Publication of CN113947144B publication Critical patent/CN113947144B/zh
Priority to JP2022149839A priority patent/JP7387847B2/ja
Priority to US17/938,457 priority patent/US11620815B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了用于对象检测的方法、装置、设备、介质和程序产品，涉及深度学习领域。具体实现方案为：获取待检测图像；基于待检测图像，经由经训练的、用于对象检测的神经网络模型中的多个特征提取网络，生成多个特征图，其中多个特征提取网络顺序连接，多个特征提取网络中在后的特征提取网络的输入数据基于在前的特征提取网络的输出数据和输入数据；以及基于多个特征图，经由神经网络模型中的对象检测网络，生成对象检测结果。由此，能够实现多尺度特征融合，增强多尺度特征提取能力。

Description

用于对象检测的方法、装置、设备、介质和程序产品
技术领域
本公开涉及深度学习领域，尤其涉及用于图像中的对象检测的方法、装置、电子设备、存储介质和计算机程序产品。
背景技术
对象检测技术(也称为目标检测，Object Detection)是指找出图像或视频中的感兴趣物体，并检测出它们的位置和大小的技术。对象检测是计算机视觉领域最重要、最具有挑战性的任务之一，被应用到如工业质检、智能交通和自动驾驶等领域。
近年来，对象检测技术随着深度学习技术崛起而广受关注，同时在应用落地方面取得了突破性的进展，对象检测算法的一般分为单阶段和两阶段算法。单阶段对象检测算法简单，预测速度快，一般部署在CPU以及在移动端边缘设备上；而两阶段对象检测算法比较复杂，预测速度慢，但是精度高，一般被部署在GPU服务器端。如今，为了达到实时高效，业界不断提出新的低参数量和低计算量的对象检测模型，并加速推理库的建设，使得对象检测技术很方便的部署落地。
发明内容
本公开提供了一种用于图像中的对象检测的方法、装置、电子设备、存储介质和计算机程序产品。
根据本公开的第一方面，提供了一种用于图像中的对象检测的方法，包括：获取待检测图像；基于待检测图像，经由经训练的、用于对象检测的神经网络模型中的多个特征提取网络，生成多个特征图，其中多个特征提取网络顺序连接，多个特征提取网络中在后的特征提取网络的输入数据基于在前的特征提取网络的输出数据和输入数据；以及基于多个特征图，经由神经网络模型中的对象检测网络，生成对象检测结果。
根据本公开的第二方面，提供了一种用于图像中的对象检测的装置，包括：。
根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据第一方面所述的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面所述的方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面所述的方法。
根据本公开的方案，能够实现多尺度特征融合，增强多尺度特征提取能力。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。
图1是根据本公开实施例的信息处理环境100的示意图。
图2是根据本公开实施例的用于图像中的对象检测的方法200的示意图。
图3是根据本公开实施例的神经网络模型300的示意框图。
图4是根据本公开实施例的神经网络模型400的示意框图。
图5是根据本公开实施例的残差卷积网络500的示意框图。
图6是根据本公开实施例的对象检测网络600的示意框图。
图7是根据本公开实施例的用于生成对象检测结果的方法700的示意图。
图8是根据本公开实施例的用于生成对象检测结果的方法800的示意图。
图9是根据本公开实施例的用于图像中的对象检测的装置900的示意框图。
图10是用来实现本公开实施例的用于图像中的对象检测的方法的电子设备1000的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
如上所述，对象检测模型尽管在推理部署方面不断的优化运算性能，但是也无法避免运算的性能瓶颈，所以在模型设计上必须要保证高效且易于部署，同时还要保证检测的精度符合需求。目前，用于对象检测的大多数模型只适合部署在服务器端，适合在诸如移动端部署的模型在常用的移动端设备上也很难达到实时，或者精度很低。
具体来说，一方面，传统移动端的检测模型大多数是从服务器端上迁移过来，网络整体结构变化不大，只是在网络参数量和计算量上做了很大程度的压缩，导致模型精度下降的特别多，很难满足实际部署使用中对精度的要求。另一方面，在移动端模型的设计训练上还是使用服务器端模型的传统方法，不是特别适用。
为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本公开的示例实施例提出了一种用于图像中的对象检测的方案。在该方案中，计算设备获取待检测图像。随后，计算设备基于待检测图像，经由经训练的、用于对象检测的神经网络模型中的多个特征提取网络，生成多个特征图，其中多个特征提取网络顺序连接，多个特征提取网络中在后的特征提取网络的输入数据基于在前的特征提取网络的输出数据和输入数据。接着，计算设备基于多个特征图，经由神经网络模型中的对象检测网络，生成对象检测结果。根据本公开方案，能够实现多尺度特征融合，增强多尺度特征提取能力，从而提高了对象检测的精度。
在下文中，将结合附图更详细地描述本公开的具体实施例。
图1示出了根据本公开的实施例的信息处理环境100的示例的示意图。如图1所示，信息处理环境100包括计算设备110、待检测图像120、经训练的用于对象检测的神经网络模型130和对象检测结果140。
计算设备110可以包括诸如智能手机、个人数字助理、平板电脑、可穿戴设备等的移动设备、车载电子设备、边缘计算设备等。
待检测图像120可以包括一般图像和视频帧图像。应当理解，虽然图1示出了待检测图像120中包括的对象为人，但是这只是举例说明，待检测图像120中包括的对象也可以是其他类型的对象，例如包括但不限于诸如猫、狗、牛的动物、诸如树、花、草的植物、诸如瓶子、电脑的物品、诸如飞机、汽车的交通工具等，本公开的范围在此不受限制。还应当理解，虽然图1示出了待检测图像120中包括一个对象，但是这只是举例说明，待检测图像120中也可以包括多个对象，多个对象可以具有相同类型或不同类型，例如待检测图像120中可以包括多个人，或者待检测图像120中可以包括人、动物和植物等，本公开的范围在此不受限制。
神经网络模型130例如可以采用轻量化的、用于对象检测的神经网络模型。
对象检测结果140可以包括待检测图像120中的所检测对象的位置框信息142和类型信息141。应当理解，图1中示出的位置框信息142(图1中的框的特定位置)和类型信息141(图1中的“人”)仅是举例说明，其根据待检测图像120中的所检测对象的位置和类型的不同而不同。还应当理解，虽然图1中示出了位置框信息和类型信息的数量为1个，但是这也只是举例说明，在待检测图像120中存储多个对象的情况下，位置框信息和类型信息的数量也可以为多个。
计算设备110用于获取待检测图像120；基于待检测图像120，经由经训练的、用于对象检测的神经网络模型130中的多个特征提取网络，生成多个特征图，其中多个特征提取网络顺序连接，多个特征提取网络中在后的特征提取网络的输入数据基于在前的特征提取网络的输出数据和输入数据；以及基于多个特征图，经由神经网络模型130中的对象检测网络，生成对象检测结果140。
由此，能够实现多尺度特征融合，增强多尺度特征提取能力，从而提高了对象检测的精度。
图2示出了根据本公开的实施例的用于图像中的对象检测的方法200的流程图。例如，方法200可以由如图1所示的计算设备110来执行。应当理解的是，方法200还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。
在框202处，计算设备110获取待检测图像120。
在框204处，计算设备110基于待检测图像120，经由经训练的、用于对象检测的神经网络模型130中的多个特征提取网络，生成多个特征图。多个特征提取网络是顺序连接的，其中多个特征提取网络中在后的特征提取网络的输入数据基于在前的特征提取网络的输出数据和输入数据。
特征提取网络可以包括多个残差块，用于实现下采样和特征提取。
多个特征图可以具有不同尺寸。在后的特征提取网络输出的特征图的尺寸可以小于在前的特征提取网络输出的特征图的尺寸。例如，在后的特征提取网络输出的特征图的尺寸可以是在前的特征提取网络输出的特征图的尺寸的1/2。
在框206处，计算设备110基于多个特征图，经由神经网络模型130中的对象检测网络，生成对象检测结果140。
由此，通过使得在后的特征提取网络的输入数据基于在前的特征提取网络的输出数据和输入数据，在前的特征提取网络的输入数据与在后的特征提取网络的输入数据进行跳跃连接，实现多尺度特征融合，增强多尺度特征提取能力，从而提高了对象检测的精度。
在一些实施例中，计算设备110可以基于多个特征图，经由神经网络模型130中的特征金字塔网络，生成融合特征图。随后，计算设备110可以基于融合特征图，经由对象检测网络，生成对象检测结果140。融合特征图的数量可以为一个或多个。相应地，对象检测网络的数量以及对象检测结果的数量也可以为一个或多个。
由此，将多个特征图经过特征金字塔网络进行融合，生成融合特征图用于对象检测，能够进一步增强多尺度特征融合，从而提高对象检测的精度，特别适合诸如移动设备、边缘计算设备等处的对象检测。
图3示出了根据本公开的实施例的神经网络模型300的示意框图。如图3所示，神经网络模型300包括第一特征提取网络310、第二特征提取网络320、特征金字塔网络330和对象检测网络340。第一特征提取网络310与第二特征提取网络320之间具有跳跃连接350。跳跃连接350用于使得第二特征提取网络320的输入数据基于第一特征提取网络310的输入数据和输出数据。
应当理解，虽然图3中示出了顺序连接的两个特征提取网络，但是这只是举例说明，神经网络模型300还可以包括更多的特征提取网络，例如神经网络模型300还可以包括第三特征提取网络，第三特征提取网络与第二特征提取网络320之间具有跳跃连接，用于使得第三特征提取网络的输入数据基于第二特征提取网络320的输入数据和输出数据。
应当理解，虽然图3中示出了特征金字塔网络330输出1个融合特征图，但是这只是举例说明，特征金字塔网络330也可以输出多个融合特征图。多个融合特征图可以具有不同尺寸。融合特征图的数量和尺寸可以与特征金字塔网络330接收的特征图的数量和尺寸相匹配，例如2个具有不同尺寸的融合特征图，3个具有不同尺寸的融合特征图等。
还应当理解，虽然图3中示出了1个对象检测网络，但是这只是举例说明，神经网络模型300可以包括多个对象检测网络，对象检测网络的数量可以与所生成融合特征图的数量相匹配，例如2个对象检测网络，3个对象检测网络。
在一些实施例中，计算设备110可以基于待检测图像120，经由第一特征提取网络310，生成第一特征图。随后，计算设备110可以基于待检测图像120和第一特征图，经由第二特征提取网络320，生成第二特征图。
具体来说，计算设备110可以对待检测图像120进行下采样，以生成经下采样的待检测图像。经下采样的待检测图像与第一特征图的尺寸相同。例如，1/2下采样。接着，计算设备110可以基于经下采样的待检测图像与第一特征图，生成第二特征提取网络320的第一输入数据。例如，将经下采样的待检测图像与第一特征图按像素相加，以生成第二特征提取网络320的第一输入数据。然后，计算设备110可以基于第二特征提取网络320的第一输入数据，经由第二特征提取网络320，生成第二特征图。
由此，通过使得第二特征提取网络的输入数据基于第一特征提取网络的输出数据和输入数据，第二特征提取网络和第一特征提取网络进行跳跃连接，实现多尺度特征融合，由于第二特征图是经过多尺度特征融合输出的特征图，增强了多尺度特征提取能力，从而提高了对象检测的精度。
在神经网络模型300还包括第三特征提取网络的情况下，计算设备110还可以基于待检测图像120、第一特征图和第二特征图，经由第三特征提取网络，生成第三特征图。
具体来说，计算设备110可以对第二特征提取网络320的第一输入数据进行下采样，以生成经下采样的第一输入数据。经下采样的第一输入数据与第二特征图的尺寸相同。例如，1/2下采样。接着，计算设备110可以基于经下采样的第一输入数据与第二特征图，生成第三特征提取网络的第二输入数据。例如，将经下采样的第一输入数据与第二特征图按像素相加，以生成第三特征提取网络的第二输入数据。然后，计算设备110可以基于第三特征提取网络的第二输入数据，经由第三特征提取网络，生成第三特征图。
图4示出了根据本公开的实施例的神经网络模型400的示意框图。如图4所示，神经网络模型400包括第一特征提取网络410、第二特征提取网络420、第三特征提取网络430、特征金字塔网络440和对象检测网络450。第一特征提取网络410与第二特征提取网络420之间具有跳跃连接460。跳跃连接460用于使得第二特征提取网络420的输入数据基于第一特征提取网络410的输入数据和输出数据。第三特征提取网络430与第二特征提取网络420之间具有跳跃连接470，用于使得第三特征提取网络430的输入数据基于第二特征提取网络420的输入数据和输出数据。
应当理解，虽然图4中示出了顺序连接的三个特征提取网络，但是这只是举例说明，神经网络模型400还可以包括更多的特征提取网络，例如神经网络模型400还可以包括第四特征提取网络，第四特征提取网络与第三特征提取网络430之间具有跳跃连接，用于使得第四特征提取网络的输入数据基于第三特征提取网络430的输入数据和输出数据。
应当理解，虽然图4中示出了特征金字塔网络440输出1个融合特征图，但是这只是举例说明，特征金字塔网络440也可以输出多个融合特征图。多个融合特征图可以具有不同尺寸。融合特征图的数量和尺寸可以与特征金字塔网络440接收的特征图的数量和尺寸相匹配，例如2个具有不同尺寸的融合特征图，3个具有不同尺寸的融合特征图等。
还应当理解，虽然图4中示出了1个对象检测网络，但是这只是举例说明，神经网络模型400可以包括多个对象检测网络，对象检测网络的数量可以与所生成融合特征图的数量相匹配，例如2个对象检测网络，3个对象检测网络等。
在一些实施例中，计算设备110可以基于待检测图像120，经由第一特征提取网络410，生成特征提取结果。随后，计算设备110可以基于待检测图像120和特征提取结果，经由第二特征提取网络420，生成第一特征图。接着，计算设备110可以基于待检测图像120、特征提取结果和第一特征图，经由第三特征提取网络430，生成第二特征图。生成第一特征图和第二特征图的过程与上文类似，不再赘述。
由此，通过使得第三特征提取网络的输入数据基于第二特征提取网络的输出数据和输入数据，第二特征提取网络的输入数据基于第一特征提取网络的输出数据和输入数据，第三特征提取网络和第二特征提取网络进行跳跃连接，第二特征提取网络和第一特征提取网络间跳跃连接，实现多尺度特征融合，由于第一特征图和第二特征图均是经过多尺度特征融合输出的特征图，增强多尺度特征提取能力，从而提高了对象检测的精度。
备选地或者附加地，在一些实施例中，神经网络模型300和400还可以分别包括残差卷积网络360和残差卷积网络480。
计算设备110可以基于待检测图像120，经由残差卷积网络，生成残差卷积结果。随后，计算设备110可以基于残差卷积结果，经由多个特征提取网络，生成多个特征图。
应当理解，在神经网络模型300和400包括残差卷积网络的情况下，上文生成特征图或特征提取结果的过程可以基于残差卷积结果而适应修改，具体不再赘述。
由此，相比于传统方案通过最大池化对待检测图像进行下采样过快的问题，残差卷积网络对待检测图像进行下采样避免了局部特征没有很好采样导致的精度损失。
图5示出了根据本公开的实施例的残差卷积网络500的示意框图。如图5所示，残差卷积网络500包括两个分支510和520。第一分支510包括3*3卷积层511和1*1卷积层512。第二分支520包括1*1卷积层521、3*3卷积层522和1*1卷积层523。
计算设备110可以基于待检测图像120，经由包括3*3卷积层和1*1卷积层的第一分支510，生成第一分支卷积结果。计算设备110还可以基于待检测图像120，经由包括1*1卷积层、3*3卷积层和1*1卷积层的第二分支520，生成第二分支卷积结果。随后，计算设备110可以基于第一分支卷积结果和第二分支卷积结果，生成残差卷积结果。
由此，通过包括3*3卷积层和1*1卷积层的第一分支和包括1*1卷积层、3*3卷积层和1*1卷积层的第二分支，使得残差卷积网络能够相对轻量化，提高效率。
图6示出了根据本公开的实施例的对象检测网络600的示意框图。如图6所示，对象检测网络600包括位置框检测分支610和对象分类分支620。
位置框检测分支610包括第一深度可分离卷积层611、全局平均池化层612和第二深度可分离卷积层613。
对象分类分支620包括第三深度可分离卷积层621、第四深度可分离卷积层622和第五深度可分离卷积层623。第五深度可分离卷积层623与第三深度可分离卷积层621之间具有跳跃连接624，用于使得第五深度可分离卷积层623的输入数据基于第三深度可分离卷积层621的输入数据和输出数据。
由此，通过采用深度可分离卷积层，对象检测网络600只携带很少的参数量，保证了对象检测的高效性。
图7示出了根据本公开的实施例的用于生成对象检测结果的方法700的流程图。例如，方法700可以由如图1所示的计算设备110来执行。应当理解的是，方法700还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。
在框702处，计算设备110基于融合特征图，经由第一深度可分离卷积层611，生成第一卷积结果。
在框704处，计算设备110基于第一卷积结果，经由全局平均池化层612，生成池化结果。
在框706处，计算设备110基于池化结果，经由第二深度可分离卷积层613，生成待检测图像120中的所检测对象的位置框信息。
由此，在两个深度可分离卷积层之间采用具有注意力机制的全局平均池化层，使得对象特征能够更加显著，提高检测精度。此外，采用深度可分离卷积层只携带了很少的参数量，保证了对象检测的高效性。
第一深度可分离卷积层和第二深度可分离卷积层中的卷积核的大小可以被配置成5*5。由此，相比于3*3的卷积核，对象检测的速度没有下降，但是精度更高。
图8示出了根据本公开的实施例的用于生成对象检测结果的方法800的流程图。例如，方法800可以由如图1所示的计算设备110来执行。应当理解的是，方法800还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。
在框802处，计算设备110基于融合特征图，经由第三深度可分离卷积层621，生成第二卷积结果。
在框804处，计算设备110基于第二卷积结果，经由第四深度可分离卷积层622，生成第三卷积结果。
在框806处，计算设备110基于第二卷积结果和第三卷积结果，经由第五深度可分离卷积层623，生成待检测图像120中的所检测对象的类型信息。
由此，通过使得第五深度可分离卷积层的输入数据基于在前的第三深度可分离卷积层的输出数据和输入数据，相当于实现跳跃连接，在不增加参数的前提下提升了正则化，从而提高了泛化能力，防止过拟合。此外，采用深度可分离卷积层只携带了很少的参数量，保证了对象检测的高效性。
第三深度可分离卷积层、第四深度可分离卷积层和第五深度可分离卷积层中的卷积核的大小可以被配置成5*5。由此，相比于3*3的卷积核，对象检测的速度没有下降，但是精度更高。
本公开方案能够降低对象检测模型在诸如移动端边缘设备上的耗时，整个模型参数量只有1M，例如在麒麟980芯片上预测可达到130FPS。同时本公开方案也保证了对象检测的精度，相比于YOLOv3-Mobilenetv3的对象检测模型，模型参数量压缩25倍，预测速度提升51倍。
指数滑动平均(Exponential Moving Average)(下文统称EMA)是指在训练过程中对神经网络模型的参数在相邻的训练轮数时计算平均数，从而做到稳定并提升收敛速度的效果。发明人发现在服务器端的模型训练全过程使用EMA可以加速收敛并提升精度，但是在诸如移动端的模型训练中全程使用EMA不会带来精度提升的收益。发明人经分析发现，诸如移动端的模型训练需要更多的轮数，基本长达几百个轮数(epoch)，EMA的参数不断累计会使得训练陷入局部最优。为了解决该问题，本申请提出神经网络模型可以经由指数滑动平均算法通过多轮训练而生成，其中每预定训练轮数将指数滑动平均算法的参数复位。这相当于重启EMA算法，由此产生正则效应，并且带来精度的提升。在诸如移动端的模型上，平均精确度普遍可以提升1％以上。
此外，发明人还发现不同于服务器端的神经网络模型，诸如移动端的对象检测模型的参数量较少，网络收敛速度很慢。如果采用服务器端的神经网络模型的渐变式固定轮数衰减学习率策略，移动端模型的收敛速度较慢。同时，移动端的轻量化模型训练时的批数据较多，学习率可以适当调大。为此，本申请提出，神经网络模型可经由多轮训练而生成，多轮训练中下一轮训练的学习率基于上一轮训练的学习率进行余弦衰减。例如，下一轮训练的学习率＝0.4cos(上一轮训练的学习率)，其中0.4为初始值，应当理解这是举例说明，也可以采用其他值。由此，能够使得模型收敛速度加快，同时提升模型的精度。
另外，发明人还发现，在神经网络模型的训练过程中，使用参数随机梯度下降方法，为了防止训练过拟合，其中动量(动量梯度下降方法)都会设置正则。服务器端模型的参数量多，所以正则的衰减率比较高，一般为10的-3次方，但是小模型的参数量较少，较高的衰减率会导致模型收敛震荡，影响精度。为此，本申请提出，神经网络模型可以经由动量梯度下降方法训练而生成，其中动量梯度下降方法的正则衰减率可以被配置为4e-5。由此，可以提升模型的精度。
图9示出了根据本公开的实施例的用于图像中的对象检测的装置900的示意框图。如图9所示，装置900包括图像获取模块910、特征提取模块920以及对象检测模块930。
关于图像获取模块910，其用于获取待检测图像120。
关于特征提取模块920，用于基于待检测图像120，经由经训练的、用于对象检测的神经网络模型130中的多个特征提取网络，生成多个特征图，其中多个特征提取网络顺序连接，多个特征提取网络中在后的特征提取网络的输入数据基于在前的特征提取网络的输出数据和输入数据。
关于对象检测模块930，其用于基于多个特征图，经由神经网络模型130中的对象检测网络，生成对象检测结果。
由此，通过使得在后的特征提取网络的输入数据基于在前的特征提取网络的输出数据和输入数据，在前的特征提取网络的输入数据与在后的特征提取网络的输入数据进行跳跃连接，实现多尺度特征融合，增强多尺度特征提取能力，从而提高了对象检测的精度，特别适合诸如移动设备、边缘计算设备等处的对象检测。
在一些实施例中，特征提取模块920可以包括第一特征图生成子模块，用于基于待检测图像120，经由第一特征提取网络，生成第一特征图；以及第二特征图生成子模块，用于基于待检测图像和第一特征图，经由第二特征提取网络，生成第二特征图。
在另一些实施例中，特征提取模块920可以包括特征提取结果生成子模块，用于基于待检测图像120，经由第一特征提取网络，生成特征提取结果；以及第一特征图生成子模块，用于基于待检测图像120和特征提取结果，经由第二特征提取网络，生成第一特征图；以及第二特征图生成子模块，用于基于待检测图像120、特征提取结果和第一特征图，经由第三特征提取网络，生成第二特征图。
备选地或者附加地，在一些实施例中，特征提取模块920可以包括残差卷积子模块，用于基于待检测图像120，经由残差卷积网络，生成残差卷积结果；以及特征提取子模块，用于基于残差卷积结果，经由多个特征提取网络，生成多个特征图。
在一些实施例中，残差卷积子模块还可以用于基于待检测图像120，经由包括3*3卷积层和1*1卷积层的第一分支，生成第一分支卷积结果；基于待检测图像120，经由包括1*1卷积层、3*3卷积层和1*1卷积层的第二分支，生成第二分支卷积结果；以及基于第一分支卷积结果和第二分支卷积结果，生成残差卷积结果。
在一些实施例中，对象检测模块930可以包括特征融合子模块，用于基于多个特征图，经由神经网络模型130中的特征金字塔网络，生成融合特征图；以及对象检测子模块，用于基于融合特征图，经由对象检测网络，生成对象检测结果。
在一些实施例中，对象检测子模块可以用于基于融合特征图，经由第一深度可分离卷积层，生成第一卷积结果；基于第一卷积结果，经由全局平均池化层，生成池化结果；以及基于池化结果，经由第二深度可分离卷积层，生成待检测图像120中的所检测对象的位置框信息。
在一些实施例中，第一深度可分离卷积层和第二深度可分离卷积层中的卷积核的大小可以被配置成5*5。
在一些实施例中，对象检测子模块可以用于基于融合特征图，经由第三深度可分离卷积层，生成第二卷积结果；基于第二卷积结果，经由第四深度可分离卷积层，生成第三卷积结果；以及基于第二卷积结果和第三卷积结果，经由第五深度可分离卷积层，生成待检测图像120中的所检测对象的类型信息。
在一些实施例中，神经网络模型130可以经由指数滑动平均算法通过多轮训练而生成，其中每预定训练轮数将指数滑动平均算法的参数复位。
在一些实施例中，神经网络模型130可以经由多轮训练而生成，多轮训练中下一轮训练的学习率基于上一轮训练的学习率进行余弦衰减。
在一些实施例中，神经网络模型130可以经由动量梯度下降方法训练而生成，其中动量梯度下降方法的正则衰减率被配置为4e-5。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如方法200、700、800。例如，在一些实施例中，方法200、700、800可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的方法200、700、800的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200、700、800。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (27)

1.一种用于图像中的对象检测的方法，包括：
获取待检测图像；
基于所述待检测图像，经由经训练的、用于对象检测的神经网络模型中的多个特征提取网络，生成多个特征图，其中所述多个特征提取网络顺序连接，所述多个特征提取网络中在后的特征提取网络的输入数据基于在前的特征提取网络的输出数据和输入数据；以及
基于所述多个特征图，经由所述神经网络模型中的对象检测网络，生成对象检测结果；其中所述对象检测网络包括位置框检测分支和对象分类分支，所述位置框检测分支包括第一深度可分离卷积层、全局平均池化层和第二深度可分离卷积层，并且所述对象分类分支包括第三深度可分离卷积层、第四深度可分离卷积层和第五深度可分离卷积层；所述第五深度可分离卷积层与所述第三深度可分离卷积层之间具有跳跃连接，用于使得所述第五深度可分离卷积层的输入数据基于所述第三深度可分离卷积层的输入数据和输出数据。
2.根据权利要求1所述的方法，其中生成所述多个特征图包括：
基于所述待检测图像，经由第一特征提取网络，生成第一特征图；以及
基于所述待检测图像和所述第一特征图，经由第二特征提取网络，生成第二特征图。
3.根据权利要求1所述的方法，其中生成所述多个特征图包括：
基于所述待检测图像，经由第一特征提取网络，生成特征提取结果；以及
基于所述待检测图像和所述特征提取结果，经由第二特征提取网络，生成第一特征图；以及
基于所述待检测图像、所述特征提取结果和所述第一特征图，经由第三特征提取网络，生成第二特征图。
4.根据权利要求1-3中任一项所述的方法，其中生成所述多个特征图包括：
基于所述待检测图像，经由残差卷积网络，生成残差卷积结果；以及
基于所述残差卷积结果，经由所述多个特征提取网络，生成所述多个特征图。
5.根据权利要求4所述的方法，其中生成所述残差卷积结果包括：
基于所述待检测图像，经由包括3*3卷积层和1*1卷积层的第一分支，生成第一分支卷积结果；
基于所述待检测图像，经由包括1*1卷积层、3*3卷积层和1*1卷积层的第二分支，生成第二分支卷积结果；以及
基于所述第一分支卷积结果和所述第二分支卷积结果，生成所述残差卷积结果。
6.根据权利要求1-3中任一项所述的方法，其中生成所述对象检测结果包括：
基于所述多个特征图，经由所述神经网络模型中的特征金字塔网络，生成融合特征图；以及
基于所述融合特征图，经由所述对象检测网络，生成所述对象检测结果。
7.根据权利要求6所述的方法，其中生成所述对象检测结果包括：
基于所述融合特征图，经由第一深度可分离卷积层，生成第一卷积结果；
基于所述第一卷积结果，经由全局平均池化层，生成池化结果；以及
基于所述池化结果，经由第二深度可分离卷积层，生成所述待检测图像中的所检测对象的位置框信息。
8.根据权利要求7所述的方法，其中所述第一深度可分离卷积层和所述第二深度可分离卷积层中的卷积核的大小被配置成5*5。
9.根据权利要求6所述的方法，其中生成所述对象检测结果包括：
基于所述融合特征图，经由第三深度可分离卷积层，生成第二卷积结果；
基于所述第二卷积结果，经由第四深度可分离卷积层，生成第三卷积结果；以及
基于所述第二卷积结果和所述第三卷积结果，经由第五深度可分离卷积层，生成所述待检测图像中的所检测对象的类型信息。
10.根据权利要求1所述的方法，其中所述神经网络模型经由指数滑动平均算法通过多轮训练而生成，其中每预定训练轮数将指数滑动平均算法的参数复位。
11.根据权利要求1所述的方法，其中所述神经网络模型经由多轮训练而生成，所述多轮训练中下一轮训练的学习率基于上一轮训练的学习率进行余弦衰减。
12.根据权利要求1所述的方法，其中所述神经网络模型经由动量梯度下降方法训练而生成，其中所述动量梯度下降方法的正则衰减率被配置为4e-5。
13.一种用于对象检测的装置，包括：
图像获取模块，用于获取待检测图像；
特征提取模块，用于基于所述待检测图像，经由经训练的、用于对象检测的神经网络模型中的多个特征提取网络，生成多个特征图，其中所述多个特征提取网络顺序连接，所述多个特征提取网络中在后的特征提取网络的输入数据基于在前的特征提取网络的输出数据和输入数据；以及
对象检测模块，用于基于所述多个特征图，经由所述神经网络模型中的对象检测网络，生成对象检测结果；其中所述对象检测网络包括位置框检测分支和对象分类分支，所述位置框检测分支包括第一深度可分离卷积层、全局平均池化层和第二深度可分离卷积层，并且所述对象分类分支包括第三深度可分离卷积层、第四深度可分离卷积层和第五深度可分离卷积层；所述第五深度可分离卷积层与所述第三深度可分离卷积层之间具有跳跃连接，用于使得所述第五深度可分离卷积层的输入数据基于所述第三深度可分离卷积层的输入数据和输出数据。
14.根据权利要求13所述的装置，其中所述特征提取模块包括：
第一特征图生成子模块，用于基于所述待检测图像，经由第一特征提取网络，生成第一特征图；以及
第二特征图生成子模块，用于基于所述待检测图像和所述第一特征图，经由第二特征提取网络，生成第二特征图。
15.根据权利要求13所述的装置，其中所述特征提取模块包括：
特征提取结果生成子模块，用于基于所述待检测图像，经由第一特征提取网络，生成特征提取结果；以及
第一特征图生成子模块，用于基于所述待检测图像和所述特征提取结果，经由第二特征提取网络，生成第一特征图；以及
第二特征图生成子模块，用于基于所述待检测图像、所述特征提取结果和所述第一特征图，经由第三特征提取网络，生成第二特征图。
16.根据权利要求13-15中任一项所述的装置，其中所述特征提取模块包括：
残差卷积子模块，用于基于所述待检测图像，经由残差卷积网络，生成残差卷积结果；以及
特征提取子模块，用于基于所述残差卷积结果，经由所述多个特征提取网络，生成所述多个特征图。
17.根据权利要求16所述的装置，其中所述残差卷积子模块还用于：
基于所述待检测图像，经由包括3*3卷积层和1*1卷积层的第一分支，生成第一分支卷积结果；
基于所述待检测图像，经由包括1*1卷积层、3*3卷积层和1*1卷积层的第二分支，生成第二分支卷积结果；以及
基于所述第一分支卷积结果和所述第二分支卷积结果，生成所述残差卷积结果。
18.根据权利要求13-15中任一项所述的装置，其中所述对象检测模块包括：
特征融合子模块，用于基于所述多个特征图，经由所述神经网络模型中的特征金字塔网络，生成融合特征图；以及
对象检测子模块，用于基于所述融合特征图，经由所述对象检测网络，生成所述对象检测结果。
19.根据权利要求18所述的装置，其中所述对象检测子模块用于：
基于所述融合特征图，经由第一深度可分离卷积层，生成第一卷积结果；
基于所述第一卷积结果，经由全局平均池化层，生成池化结果；以及
基于所述池化结果，经由第二深度可分离卷积层，生成所述待检测图像中的所检测对象的位置框信息。
20.根据权利要求19所述的装置，其中所述第一深度可分离卷积层和所述第二深度可分离卷积层中的卷积核的大小被配置成5*5。
21.根据权利要求18所述的装置，其中所述对象检测子模块用于：
基于所述融合特征图，经由第三深度可分离卷积层，生成第二卷积结果；
基于所述第二卷积结果，经由第四深度可分离卷积层，生成第三卷积结果；以及
基于所述第二卷积结果和所述第三卷积结果，经由第五深度可分离卷积层，生成所述待检测图像中的所检测对象的类型信息。
22.根据权利要求13所述的装置，其中所述神经网络模型经由指数滑动平均算法通过多轮训练而生成，其中每预定训练轮数将指数滑动平均算法的参数复位。
23.根据权利要求13所述的装置，其中所述神经网络模型经由多轮训练而生成，所述多轮训练中下一轮训练的学习率基于上一轮训练的学习率进行余弦衰减。
24.根据权利要求13所述的装置，其中所述神经网络模型经由动量梯度下降方法训练而生成，其中所述动量梯度下降方法的正则衰减率被配置为4e-5。
25.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法。
26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-12中任一项所述的方法。
27.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-12中任一项所述的方法。
CN202111202517.5A 2021-10-15 2021-10-15 用于对象检测的方法、装置、设备、介质和程序产品 Active CN113947144B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111202517.5A CN113947144B (zh) 2021-10-15 2021-10-15 用于对象检测的方法、装置、设备、介质和程序产品
JP2022149839A JP7387847B2 (ja) 2021-10-15 2022-09-21 オブジェクトの検出方法、装置、デバイス、媒体及びプログラム
US17/938,457 US11620815B2 (en) 2021-10-15 2022-10-06 Method and device for detecting an object in an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111202517.5A CN113947144B (zh) 2021-10-15 2021-10-15 用于对象检测的方法、装置、设备、介质和程序产品

Publications (2)

Publication Number Publication Date
CN113947144A CN113947144A (zh) 2022-01-18
CN113947144B true CN113947144B (zh) 2022-05-17

Family

ID=79330551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111202517.5A Active CN113947144B (zh) 2021-10-15 2021-10-15 用于对象检测的方法、装置、设备、介质和程序产品

Country Status (3)

Country Link
US (1) US11620815B2 (zh)
JP (1) JP7387847B2 (zh)
CN (1) CN113947144B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385814B (zh) * 2023-03-07 2023-12-05 广州市妇女儿童医疗中心 一种检测目标的超声筛查方法、系统、装置及介质
CN116090670B (zh) * 2023-04-03 2023-07-14 武汉纺织大学 一种基于多属性的服装流行趋势预测方法
CN117690124A (zh) * 2023-12-13 2024-03-12 安徽农业大学 基于多尺度注意力机制的小番茄成熟度实时检测方法
CN117739289B (zh) * 2024-02-20 2024-04-26 齐鲁工业大学(山东省科学院) 基于声图融合的泄漏检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359666A (zh) * 2018-09-07 2019-02-19 佳都新太科技股份有限公司 一种基于多特征融合神经网络的车型识别方法及处理终端
CN111539942A (zh) * 2020-04-28 2020-08-14 中国科学院自动化研究所 基于多尺度深度特征融合的人脸深度篡改图像的检测方法
CN111768365A (zh) * 2020-05-20 2020-10-13 太原科技大学 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法
CN111968087A (zh) * 2020-08-13 2020-11-20 中国农业科学院农业信息研究所 一种植物病害区域检测方法
CN112347936A (zh) * 2020-11-07 2021-02-09 南京天通新创科技有限公司 一种基于深度可分离卷积的快速目标检测方法
CN113298032A (zh) * 2021-06-16 2021-08-24 武汉卓目科技有限公司 基于深度学习的无人机视角图像的车辆目标检测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182388A (zh) * 2017-12-14 2018-06-19 哈尔滨工业大学（威海） 一种基于图像的运动目标跟踪方法
CN109614985B (zh) * 2018-11-06 2023-06-20 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
JP7103240B2 (ja) 2019-01-10 2022-07-20 日本電信電話株式会社 物体検出認識装置、方法、及びプログラム
GB2580671B (en) * 2019-01-22 2022-05-04 Toshiba Kk A computer vision system and method
CN111582007A (zh) 2019-02-19 2020-08-25 富士通株式会社 物体识别方法、装置和网络
CN111260630A (zh) * 2020-01-16 2020-06-09 高新兴科技集团股份有限公司 一种改进的轻量化的小目标检测方法
CN111274942A (zh) * 2020-01-19 2020-06-12 国汽(北京)智能网联汽车研究院有限公司 一种基于级联网络的交通锥识别方法及装置
CN111259850B (zh) 2020-01-23 2022-12-16 同济大学 一种融合随机批掩膜和多尺度表征学习的行人重识别方法
US10902291B1 (en) * 2020-08-04 2021-01-26 Superb Ai Co., Ltd. Methods for training auto labeling device and performing auto labeling related to segmentation while performing automatic verification by using uncertainty scores and devices using the same
CN112232232B (zh) * 2020-10-20 2022-09-27 城云科技（中国）有限公司 一种目标检测方法
CN112488060B (zh) * 2020-12-18 2023-08-08 北京百度网讯科技有限公司 目标检测方法、装置、设备和介质
CN113269038B (zh) * 2021-04-19 2022-07-15 南京邮电大学 一种基于多尺度的行人检测方法
CN113158913A (zh) * 2021-04-25 2021-07-23 安徽科大擎天科技有限公司 一种人脸口罩佩戴识别方法、系统及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359666A (zh) * 2018-09-07 2019-02-19 佳都新太科技股份有限公司 一种基于多特征融合神经网络的车型识别方法及处理终端
CN111539942A (zh) * 2020-04-28 2020-08-14 中国科学院自动化研究所 基于多尺度深度特征融合的人脸深度篡改图像的检测方法
CN111768365A (zh) * 2020-05-20 2020-10-13 太原科技大学 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法
CN111968087A (zh) * 2020-08-13 2020-11-20 中国农业科学院农业信息研究所 一种植物病害区域检测方法
CN112347936A (zh) * 2020-11-07 2021-02-09 南京天通新创科技有限公司 一种基于深度可分离卷积的快速目标检测方法
CN113298032A (zh) * 2021-06-16 2021-08-24 武汉卓目科技有限公司 基于深度学习的无人机视角图像的车辆目标检测方法

Also Published As

Publication number Publication date
JP7387847B2 (ja) 2023-11-28
JP2022173321A (ja) 2022-11-18
CN113947144A (zh) 2022-01-18
US11620815B2 (en) 2023-04-04
US20230031579A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
CN113947144B (zh) 用于对象检测的方法、装置、设备、介质和程序产品
CN113657390B (zh) 文本检测模型的训练方法和检测文本方法、装置和设备
CN115294349A (zh) 训练模型的方法、装置、电子设备及存储介质
CN113901904A (zh) 图像处理方法、人脸识别模型训练方法、装置及设备
CN112989970A (zh) 文档版面分析方法、装置、电子设备及可读存储介质
CN110633594A (zh) 一种目标检测方法和装置
CN112967315B (zh) 一种目标跟踪方法、装置及电子设备
CN113326773A (zh) 识别模型训练方法、识别方法、装置、设备及存储介质
CN113902696A (zh) 图像处理方法、装置、电子设备和介质
CN112580666A (zh) 图像特征的提取方法、训练方法、装置、电子设备及介质
CN112488060A (zh) 目标检测方法、装置、设备、介质和程序产品
CN113920313A (zh) 图像处理方法、装置、电子设备及存储介质
CN113870399A (zh) 表情驱动方法、装置、电子设备及存储介质
CN117290818A (zh) 一种多维时间序列预测方法、电子设备及存储介质
CN114663980B (zh) 行为识别方法、深度学习模型的训练方法及装置
CN116363429A (zh) 图像识别模型的训练方法、图像识别方法、装置及设备
CN113361621B (zh) 用于训练模型的方法和装置
CN116152702A (zh) 点云标签的获取方法、装置、电子设备和自动驾驶车辆
CN116363444A (zh) 模糊分类模型训练方法、识别模糊图像的方法及装置
CN114282664A (zh) 自反馈模型训练方法、装置、路侧设备及云控平台
CN114078097A (zh) 图像去雾模型的获取方法、装置和电子设备
US11681920B2 (en) Method and apparatus for compressing deep learning model
CN114882313A (zh) 生成图像标注信息的方法、装置、电子设备及存储介质
CN112784967A (zh) 信息处理方法、装置以及电子设备
CN114445668A (zh) 图像识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant