CN113222934B - 一种基于设备感知的显著性物体检测方法及系统 - Google Patents

一种基于设备感知的显著性物体检测方法及系统 Download PDF

Info

Publication number
CN113222934B
CN113222934B CN202110522323.7A CN202110522323A CN113222934B CN 113222934 B CN113222934 B CN 113222934B CN 202110522323 A CN202110522323 A CN 202110522323A CN 113222934 B CN113222934 B CN 113222934B
Authority
CN
China
Prior art keywords
delay
salient object
object detection
search space
searchable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110522323.7A
Other languages
English (en)
Other versions
CN113222934A (zh
Inventor
程明明
顾宇超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN202110522323.7A priority Critical patent/CN113222934B/zh
Publication of CN113222934A publication Critical patent/CN113222934A/zh
Application granted granted Critical
Publication of CN113222934B publication Critical patent/CN113222934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种基于设备感知的显著性物体检测方法及系统，获取待检测的图像；根据获取的图像和预设显著性物体检测模型，得到图像中的显著性物体检测结果；其中，显著性物体检测模型根据预设搜索空间和目标设备上的延迟数据得到，搜索空间包括可搜索的多尺度单位和可搜索的显著头，多尺度单位将搜索到的多分支卷积重新参数化为一个分支；本公开仅训练一次SOD模型即可迅速在多个目标设备上找到高性能低延迟的SOD模型，提高了目标设备显著性物体检测的效率和精度，实现了目标设备显著性物体检测的性能和延迟的平衡。

Description

一种基于设备感知的显著性物体检测方法及系统
技术领域
本公开涉及显著性物体检测技术领域，特别涉及一种基于设备感知的显著性物体检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。
显著性物体检测(SOD)旨在分割出图像中最吸引人的物体，作为预处理步骤，许多下游应用程序都需要SOD，例如图片编辑，图像检索，视觉追踪，图片质量评估和视频对象分割。这些应用程序通常要求以低推理延迟将SOD模型部署在多个设备上，例如GPU，CPU，移动电话和嵌入式设备。每个设备都有独特的属性。例如，GPU擅长进行大规模并行计算，而嵌入式设备则以低计算预算为代价实现了能源友好型。因此，不同的部署方案需要完全不同的SOD模型设计。
最新的SOD方法大多人工设计显著性头来聚合来自预训练骨干网的多级特征。然而，过高的推理延迟通常会限制将它们应用于GPU以外的其他设备。由于表达能力的降低，为资源受限的情况而设计的人工低延迟SOD模型会遭受较大的性能下降。模型性能和推理延迟之间的难题导致繁重的工作量，需要手动为不同设备设计SOD模型。
发明人发现，在不同设备上实现低延迟SOD模型存在多个挑战。首先，由于不同的并行计算能力，IO瓶颈和实现方式，各种操作的相对延迟在不同的设备之间有所不同。将为一台设备设计的SOD模型转移到另一台设备会导致次佳的延迟和性能。其次，传统的人工SOD模型要么设计功能更强大的显著头，要么设计更高效的骨干网，而忽略了它们之间的关系。发明人观察到，功能强大的骨干网在弱显著头的情况下实现了次优效率，反之亦然。这些障碍使学界无法通过人工或NAS方案设计设备感知的低延迟SOD模型，从而使得在不同设备上的SOD模型的无法实现性能和延迟的平衡。
发明内容
为了解决现有技术的不足，本公开提供了一种基于设备感知的显著性物体检测方法及系统，仅训练一次SOD模型即可迅速在多个目标设备上找到高性能低延迟的SOD模型，提高了目标设备显著性物体检测的效率和精度，实现了目标设备显著性物体检测的性能和延迟的平衡。
为了实现上述目的，本公开采用如下技术方案：
本公开第一方面提供了一种基于设备感知的显著性物体检测方法。
一种基于设备感知的显著性物体检测方法，包括以下过程：
获取待检测的图像；
根据获取的图像和预设显著性物体检测模型，得到图像中的显著性物体检测结果；
其中，显著性物体检测模型根据预设搜索空间和目标设备上的延迟数据得到，搜索空间包括可搜索的多尺度单位和可搜索的显著头，多尺度单位将搜索到的多分支卷积重新参数化为一个分支。
进一步的，通过多尺度单位自动查找合适的多尺度融合。
进一步的，多尺度单位使多分支结构在训练中捕获多尺度特征表示。
进一步的，可搜索的显著头中，相邻分辨率级别的标识分支和上采样分支是固定的。
进一步的，显著头包括可搜索的传输和解码器部分。
进一步的，建立目标设备的延迟查找表；
基于延迟组采样进行进化搜索；
搜索后，搜索到的模型将继承超网权重，并直接部署在目标设备上。
更进一步的，延迟组采样的演化搜索，包括以下过程：
从搜索空间中采样最小子模型和最大子模型，并计算下限和上限延迟，将搜索空间分为G个延迟组，在初始种群P中对N个候选样本进行抽样，其中每个等待时间组都有n/G个样本；
从初始种群P的Pareto边界中选择k个模型到候选集S中，其中每个等待时间组选择k/G个样本；
对于S中的每个模型，允许交换骨干网中的阶段配置和头部中的交换级别配置；
将S合并到总体P中，并继续执行上述过程的第二个步骤，直到目标迭代次数。
本公开第二方面提供了一种基于设备感知的显著性物体检测系统。
一种基于设备感知的显著性物体检测系统，包括：
数据获取模块，被配置为：获取待检测的图像；
显著性检测模块，被配置为：根据获取的图像和预设显著性物体检测模型，得到图像中的显著性物体检测结果；
其中，显著性物体检测模型根据预设搜索空间和目标设备上的延迟数据得到，搜索空间包括可搜索的多尺度单位和可搜索的显著头，多尺度单位将搜索到的多分支卷积重新参数化为一个分支。
本公开第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于设备感知的显著性物体检测方法中的步骤。
本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于设备感知的显著性物体检测方法中的步骤。
与现有技术相比，本公开的有益效果是：
1、本公开所述的方法、系统、介质或电子设备，仅训练一次SOD模型即可迅速在多个目标设备上找到高性能低延迟的SOD模型，提高了目标设备显著性物体检测的效率和精度，实现了目标设备显著性物体检测的性能和延迟的平衡。
2、本公开所述的方法、系统、介质或电子设备，带有延迟组采样的设备感知进化搜索，用于探索整体搜索空间的整个延迟区域，提高了演化搜索的效率。
3、本公开所述的方法、系统、介质或电子设备，提出了SOD的整体搜索(iNAS)空间，该空间概括了人工SOD模型的设计，整体搜索可以自动找到骨干和头部之间的对应关系，并获得最佳的性能-延迟平衡。
本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例1提供的iNAS与最新的SOD模型在移动设备上延迟和性能比较。
图2为本公开实施例1提供的iNAS与以前的人工SOD方法之间的比较。
图3为本公开实施例1提供的整体搜索空间与现有的人工SOD模型的设计比较。
图4为本公开实施例1提供的可搜索的多尺度单位示意图。
图5为本公开实施例1提供的分层均匀采样和延迟组采样设计比较。
图6为本公开实施例1提供的iNAS的搜索和部署示意图。
图7为本公开实施例1提供的不同设备上的现有SOD方法进行速度比较。
图8为本公开实施例1提供的整数搜索和部分搜索之间的比较。
图9为本公开实施例1提供的将进化搜索与分层均匀采样和LGS的比较。
图10为本公开实施例1提供的比较由反向瓶颈(IB)和可搜索多尺度单位(SMSU)构成的搜索空间对比示意图。
图11为本公开实施例1提供的骨干/头延迟和性能之间的对应关系的可视化。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例1：
如图1-11所示，本公开实施例1提供了一种基于设备感知的显著性物体检测方法，包括以下过程：
获取待检测的图像；
根据获取的图像和预设显著性物体检测模型，得到图像中的显著性物体检测结果；
其中，显著性物体检测模型根据预设搜索空间和目标设备上的延迟数据得到，搜索空间包括可搜索的多尺度单位和可搜索的显著头，多尺度单位将搜索到的多分支卷积重新参数化为一个分支。
具体来说，本实施例为整体考虑骨干网和显著头的SOD模型提出了一个完整的搜索空间。为了满足SOD模型的多尺度要求，同时又避免了多分支结构增加的延迟，构建了一个可搜索的多尺度单位(SMSU)。SMSU支持具有不同内核大小的可搜索并行卷积，并将搜索到的多分支卷积重新参数化为一个分支，以降低推理延迟。
本实施例还将人工的显著头概括为可搜索的传输和解码器部分，从而为与主干空间协作提供了丰富的显著头搜索空间。本实施例提出的整体SOD搜索空间包含将近1026的体系结构，比用于分类任务的网络空间要大107倍。先前使用分层均匀采样(LWUS)进行的演化搜索逐层均匀采样组件。因此，整个采样模型的累积等待时间服从多项式分布，也就是说，极低等待时间或极高等待时间的区域被欠采样，而中间等待时间的区域被过度采样。这个不平衡采样问题阻止了LWUS探索扩大后的搜索空间的整个延迟区域。
为了克服这种不平衡采样问题，本实施例提出了一个延迟组采样(LGS)，它引入了设备延迟来指导采样。将搜索空间分为几个潜伏时间组，LGS会将有潜力的后代保留在欠采样区域中，但控制过采样区域的样本。与LWUS相比，LGS的演化搜索可以探索整个积分搜索空间，并在更高和更广的帕累托边界上找到一组模型。
具体的，包括以下内容：
S1：整体SOD设计空间
先前的人工SOD模型主要基于固定的预训练主干和设计显著头，以融合来自主干的多级特征。现有技术中，经过预训练的骨干网占据了大部分延迟成本，它们没有采用笨重的主干，而是为SOD设计了轻型主干。但是，两种设计策略都将骨干网和解码器设计分开，这阻碍了在整体设计空间中找到低延迟高性能SOD模型。
本实施例提供的整体的SOD设计空间由基本搜索单元(即可搜索的多尺度单位)和可搜索的显著头组成。
S1.1：可搜索的多尺度单位
由于以前的通用骨干网占据了大部分延迟成本，因此，现有设计的SOD骨干网通过组卷积或可分卷积代替了普通卷积以减少延迟。为了捕获图像中的多尺度表示，研究人员设计了多个分支以对具有不同接收场的特征进行编码，并融合多尺度特征。但是，多分支结构对硬件不友好，这会降低推理速度。因此，本实施例提出了可搜索的多尺度单位(SMSU)，可以自动查找合适的多尺度融合。
SMSU使多分支结构能够在训练中捕获多尺度特征表示，并采用重新参数化策略将多个分支融合到单个分支中以进行快速推理。本实施例在图4中显示了SMSU的两个分支设定。SMSU可以提取具有不同内核大小的多尺度特征表示。具体来说，假设有3×3卷积和5×5卷积，本实施例使用W1∈RC×1×3×3和W2∈RC×1×5×5指代深度卷积参数。分别使用μ1、σ1、γ1、β1和μ2、σ2、γ2、β2指代紧接着3×3和卷积和5×5卷积的batch norm参数。
给定输入特征Fin∈RC×H×W，本实施例使用M＝Fin*W指代卷积输出特征，其中*代表卷积。
两个分支的融合可以表示为：
Figure BDA0003064452090000081
其中，i代表第i个通道。公式(1)描述了SMSU中的训练时的多尺度融合。在部署中，本实施例将转化权重及其以下BN参数合并为转化权重和偏差，定义为：
Figure BDA0003064452090000082
其中，V是合并的转换权重，b是偏差。然后，本实施例将小内核零填充(zero-pad)到给定的分支中，以匹配最大内核。最后，本实施例对这两个分支求平均值，以获得一个单一的转化权重和偏差。
引入的两分支融合可以轻松扩展到任何分支。因此，本实施例可以在SMSU中搜索融合内核组合。本实施例用SMSU代替了MobileNet搜索空间的倒置瓶颈，并在表1总结了搜索空间。
表1：整体搜索空间的详细配置。
Figure BDA0003064452090000091
S1.2：可搜索显著头
先前的人工显著头结合了传输器或解码器，以融合骨干网中的多级特征。高层特征提供了突出对象的粗略位置，低层特征提供了恢复边缘和边界所需的详细特征。如图3所示，典型的转运设计可实现自下而上和自上而下的多层特征融合。
本实施例可搜索的转运(transport)连接到骨干网的相应分辨率级别。本实施例最大转运级别的每个级别都可以聚合来自所有五个分辨率级别的特征，而本实施例最小传输级别的每个级别仅保留identity分支。
下采样和上采样分支由1×1 Conv-BN和maxpool/bilinear上采样组成。
考虑到最佳的接收场在不同的分辨率级别上会有所不同，因此本实施例也支持在转运中搜索融合核。本实施例可搜索的转运涵盖了许多SOTA SOD转运设计与转运不同，解码器仅支持自下而上的预测细化，并逐渐融合低级特征以恢复边界。
因此，本实施例不支持解码器中的自上而下的融合分支。相邻分辨率级别的标识(identity)分支和上采样分支是固定的，而其他分支则是可搜索的。最大的子解码器具有与DSS相似的结构，而最小的子解码器像FCN。本实施例还支持解码器中的可搜索融合内核。可搜索的解码器还涵盖了许多人工的SOD解码器设计。
尽管已证明多尺度融合在SOD中是有效的，但是如何修剪冗余融合分支并选择具有延迟约束的合适融合内核对于人类来说是一项劳动密集型的工作。
本实施例提出的显著头使这些关键组件可搜索，并可根据延迟限制自动设计出合适的结构。
S2：延迟组采样
先前的one-shot方法采用具有逐层均匀采样(LWUS)的进化搜索，这会导致不平衡采样问题。
如图5所示，整个搜索空间由分层搜索空间组成。逐层搜索空间中的组件的延迟有所不同。假设本实施例逐层均匀地采样组件，则整个采样模型的累积等待时间将服从多项式分布，即极低等待时间或极高等待时间的区域采样不足，而中等延迟区域过抽样。为了探索整体搜索空间的整个延迟区域，本实施例提出了延迟组采样(LGS)。将搜索空间分为几个延迟组，本实施例将精英后代保留在欠采样区域中，但控制过采样区域的样本。图6描绘了设备感知演变的一般流程。本实施例首先建立目标设备的延迟查找表(LUT)。然后本实施例基于LGS进行进化搜索。搜索后，搜索到的模型将继承超网权重，并且可以直接部署而无需重新训练。
LGS的演化搜索包含四个阶段：
步骤(1)：初始化，本实施例从搜索空间中采样最小和最大子模型，并计算下限和上限延迟。搜索空间分为G个延迟组。本实施例在初始种群P中对N个候选样本进行抽样，其中每个等待时间组都有n/G个样本。
步骤(2)：选拔，本实施例从P的Pareto边界中选择k个模型到候选集S中，其中每个等待时间组选择k/G个样本。
步骤(3)：交叉，对于S中的每个模型，都有与pc与S中的另一个模型交叉的可能性。本实施例允许交换骨干网中的阶段配置和头部中的交换级别配置。
步骤(4)：突变，对于S中的每个模型，每个配置都有pm变异的可能性。然后，本实施例将S合并到总体P中，并继续进行步骤(2)，直到目标迭代次数。
LGS和LWUS之间的主要区别在于初始化和选拔。在初始化步骤中，LGS在不同等待时间区域中平衡样本，而LWUS对中间等待时间区域进行过采样。在选择步骤中，LGS在欠采样区域中保留了一定数量的精英后代，但是LWUS在欠采样区域中放弃了精英后代。比较LGS和LWUS，发现LWUS仅探索整个搜索空间的有限延迟区域。
S3：实例实验
S3.1：实现细节
超网训练细节：本实施例使用Pytorch库实现iNAS。本实施例将搜索空间组织为一个嵌套的one-shot超网。较小的内核大小是最大内核的中心部分，同时索引较低的通道和层是共享的。使用ImageNet预训练，本实施例在DUTS-TR上对one-shot超级网络进行了100轮的训练。训练batch size设为40。本实施例使用学习率为1e-4和poly学习率计划的Adam优化器。本实施例为每次迭代采样最大，最小和两个中间模型，并融合其梯度以更新超网。最大的子模型使与真值的二元交叉熵最小化，其他模型通过最大的子模型预测使均方误差最小化。本实施例在每个解码器级别的预测上添加了更深的监督。在四台Tesla V100上，超网训练耗时17个小时。
搜索和部署细节：本实施例将初始人口规模(population)N设置为1000，并将延迟组G设置为10。进化迭代iter设置为20。每次选拔都保留k＝100的后代。交叉和变异概率(pc和pm)设置为0.2。本实施例在训练集上微调每个样本模型的BN 200次迭代。本实施例使用Pytorch-Mobile库来构建手机上的延迟表。每个设备在一个Tesla V100 GPU上的搜索阶段成本为0.8GPU天。
数据集：超网在DUTS-TR数据集上训练。本实施例在五个流行的SOD数据集进行了评估，ECSSD，DUT-O，DUTS-TE，HKU-IS，PASCAL-S，分别包含1000，5168，5019，4447，和850张图片和对应的显著图。
评估指标：遵循通用设置x，本实施例使用MAE，Max F-measure(Fβ)和S-measure(Sm)作为评估本实施例的结果的评估指标。由于本实施例旨在设计低延迟SOD模型，因此推断延迟也被用作评估指标。
S3.2：性能评估
与现有方法对比。表2显示了本实施例搜索的模型与以前的人工SOTA SOD方法之间的比较。其中iNAS(GPU)-L，GPU上搜索到的大模型，需要与CSNet相似的FLOP，但是减少了47％的推理延迟，并在ECSSD数据集上提高了的3.1％的Fβ，这表明FLOP与推理延迟没有高度相关关系。本实施例还在图1和图7展示了在不同设备上本实施例搜索的模型的延迟比较。本实施例的方法实现了与SOTA相似的性能，但在GPU，CPU，嵌入式设备和手机上分别减少了1.9倍，3.3倍，2.6倍，3.8倍的延迟。与之前最快的方法相比，iNAS搜索的最快模型在这些设备上的速度提高了2.1倍，3.7倍，2.5倍和4.8倍。
表2：与现有SOD方法的比较
Figure BDA0003064452090000131
当前的SOD模型主要是为GPU设计的，而忽略了其他设备。由于内存不足错误，某些基于ResNet和基于VGG的方法甚至无法应用于嵌入式设备。相比之下，本实施例的设备感知搜索模型可在所有设备上实现一致的延迟减少。
设备感知搜索：为了验证设备感知搜索的有效性，本实施例在表3比较了在GPU和其他设备上搜索的模型。本实施例首先对其他设备上的iNAS(GPU)-L的延迟进行基准测试。与iNAS(GPU)-L相比，凭借一致的性能，在专用设备上搜索的模型在CPU，手机和嵌入式设备上的延迟减少了12.1％，14.5％，10.9％。该观察结果验证了设备感知搜索可以找到目标设备的合适模型以减少等待时间。
表3：在GPU和专用设备上进行搜索的比较。
Figure BDA0003064452090000132
整体搜索空间：iNAS支持用于SOD的整体搜索空间。图8验证了整体搜索空间的重要性。对于基准网络，本实施例使用MobileNetV2结构作为固定骨干网，并将Amulet传输和DSS解码器结合起来，形成固定的显著头。如图8中的(b)所示，固定基准网络在CPU上需要45.17ms的推理延迟，而在ECSSD上则需要94.1。仅启用可搜索的骨干网或可搜索的显著头，才能在相似性能下将等待时间下限降低到41.20ms(-8.7)或36.20ms(-19.8)。使用整体搜索空间时，可将延迟下限降低到33.06ms(-26.8)，但将最快架构的性能提高到94.4。同样，性能上限提高到94.7。图8中的(a)说明整体搜索空间的局部帕累托边界始终优于部分可搜索空间，并且在等待时间和性能方面都显著改善了人工结构。
延迟组采样：图9比较了基于分层均匀采样(LWUS)和提出的延迟组采样(LGS)的进化搜索。搜索空间的下限和上限延迟分别为32.1ms和74.1ms。如图9所示，LWUS的下限和上限延迟分别为38.5ms和59.6ms，仅占整个搜索空间的50.2％。而本实施例建议的LGS确保每个潜伏组都有足够的样本和后代，从而可以探索99％的搜索空间。最终，本实施例提出的LGS在LWUS上获得了更广泛的帕累托边界。
可搜索的多尺度单位：图10验证了所提出的可搜索多尺度单位(SMSU)的有效性。本实施例将SMSU构造的搜索空间与反向瓶颈(IB)进行了比较。SMSU构造的搜索空间增强了IB的多尺度能力，与IB构造的搜索空间相比，它显示出更好的延迟性能帕累托边界。本实施例观察到较高延迟模型的改进要大得多，本实施例假设松弛延迟约束可以启用大型内核，而大型内核具有更强大的多尺度内核组合。
S3.2：观察
为了探索性能与骨干延迟和头部延迟之间的关系，本实施例将骨干和头部延迟分为10组，并在每个网格中采样20个模型，得出2000个样本。观察图11，本实施例发现：(1)更复杂的主干能够不断提高性能；(2)复杂的显著头并非总是最佳选择。这些观察结果表明，在本实施例的搜索空间中进行搜索，仍有减少模型延迟的空间。同样，选择合适的显著头以获得更好的延迟性能平衡也没有明显的模式，这表明搜索可能是设计更好的SOD模型的有效解决方案。
实施例2：
本公开实施例2提供了一种基于设备感知的显著性物体检测系统，包括：
数据获取模块，被配置为：获取待检测的图像；
显著性检测模块，被配置为：根据获取的图像和预设显著性物体检测模型，得到图像中的显著性物体检测结果；
其中，显著性物体检测模型根据预设搜索空间和目标设备上的延迟数据得到，搜索空间包括可搜索的多尺度单位和可搜索的显著头，多尺度单位将搜索到的多分支卷积重新参数化为一个分支。
所述系统的工作方法与实施例1提供的基于设备感知的显著性物体检测方法相同，这里不再赘述，
实施例3：
本公开实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的基于设备感知的显著性物体检测方法中的步骤。
实施例4：
本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于设备感知的显著性物体检测方法中的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (9)

1.一种基于设备感知的显著性物体检测方法，其特征在于：包括以下过程：
获取待检测的图像；
根据获取的图像和预设显著性物体检测模型，得到图像中的显著性物体检测结果；
其中，显著性物体检测模型根据预设搜索空间和目标设备上的延迟数据得到，搜索空间包括可搜索的多尺度单位和可搜索的显著头，多尺度单位将搜索到的多分支卷积重新参数化为一个分支；
建立目标设备的延迟查找表；
基于延迟组采样进行进化搜索；
搜索后，搜索到的模型将继承超网权重，并直接部署在目标设备上。
2.如权利要求1所述的基于设备感知的显著性物体检测方法，其特征在于：
通过多尺度单位自动查找多尺度融合。
3.如权利要求1所述的基于设备感知的显著性物体检测方法，其特征在于：
多尺度单位使多分支结构能够在训练中捕获多尺度特征表示。
4.如权利要求1所述的基于设备感知的显著性物体检测方法，其特征在于：
可搜索的显著头中，相邻分辨率级别的标识分支和上采样分支是固定的。
5.如权利要求1所述的基于设备感知的显著性物体检测方法，其特征在于：
显著头包括可搜索的传输和解码器部分。
6.如权利要求1所述的基于设备感知的显著性物体检测方法，其特征在于：
延迟组采样的演化搜索，包括以下过程：
从搜索空间中采样最小子模型和最大子模型，并计算下限和上限延迟，将搜索空间分为G个延迟组，在初始种群P中对N个候选样本进行抽样，其中每个等待时间组都有n/G个样本；
从初始种群P的Pareto边界中选择k个模型到候选集S中，其中每个等待时间组选择k/G个样本；
对于S中的每个模型，允许交换骨干网中的阶段配置和头部中的交换级别配置；
将S合并到总体P中，并继续执行上述过程的第二个步骤，直到目标迭代次数。
7.一种基于设备感知的显著性物体检测系统，其特征在于：包括：
数据获取模块，被配置为：获取待检测的图像；
显著性检测模块，被配置为：根据获取的图像和预设显著性物体检测模型，得到图像中的显著性物体检测结果；
其中，显著性物体检测模型根据预设搜索空间和目标设备上的延迟数据得到，搜索空间包括可搜索的多尺度单位和可搜索的显著头，多尺度单位将搜索到的多分支卷积重新参数化为一个分支；
建立目标设备的延迟查找表；
基于延迟组采样进行进化搜索；
搜索后，搜索到的模型将继承超网权重，并直接部署在目标设备上。
8.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的基于设备感知的显著性物体检测方法中的步骤。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的基于设备感知的显著性物体检测方法中的步骤。
CN202110522323.7A 2021-05-13 2021-05-13 一种基于设备感知的显著性物体检测方法及系统 Active CN113222934B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110522323.7A CN113222934B (zh) 2021-05-13 2021-05-13 一种基于设备感知的显著性物体检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110522323.7A CN113222934B (zh) 2021-05-13 2021-05-13 一种基于设备感知的显著性物体检测方法及系统

Publications (2)

Publication Number Publication Date
CN113222934A CN113222934A (zh) 2021-08-06
CN113222934B true CN113222934B (zh) 2022-09-20

Family

ID=77095330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110522323.7A Active CN113222934B (zh) 2021-05-13 2021-05-13 一种基于设备感知的显著性物体检测方法及系统

Country Status (1)

Country Link
CN (1) CN113222934B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222712A (zh) * 2019-04-30 2019-09-10 杰创智能科技股份有限公司 一种基于深度学习的多专项目标检测算法
CN112244870A (zh) * 2020-09-24 2021-01-22 杭州电子科技大学 基于符号化排列传递熵的癫痫脑电双向耦合分析方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2014374349B2 (en) * 2013-10-20 2017-11-23 Massachusetts Institute Of Technology Using correlation structure of speech dynamics to detect neurological changes
CN109359805A (zh) * 2018-08-28 2019-02-19 安徽继远软件有限公司 一种变电站电气操作人员安全管控方法
US11055349B2 (en) * 2018-12-28 2021-07-06 Intel Corporation Efficient storage and processing of high-dimensional feature vectors
CN111460958B (zh) * 2020-03-26 2023-05-05 暗物智能科技(广州)有限公司 一种物体检测器构建、物体检测方法及系统
CN112651406B (zh) * 2020-12-18 2022-08-09 浙江大学 一种深度感知和多模态自动融合的rgb-d显著性目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222712A (zh) * 2019-04-30 2019-09-10 杰创智能科技股份有限公司 一种基于深度学习的多专项目标检测算法
CN112244870A (zh) * 2020-09-24 2021-01-22 杭州电子科技大学 基于符号化排列传递熵的癫痫脑电双向耦合分析方法

Also Published As

Publication number Publication date
CN113222934A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
US11531889B2 (en) Weight data storage method and neural network processor based on the method
Fleuret Uncertainty reduction for model adaptation in semantic segmentation
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
CN110163234B (zh) 一种模型训练方法、装置和存储介质
Bruggemann et al. Automated search for resource-efficient branched multi-task networks
CN111814966A (zh) 神经网络架构搜索方法、神经网络应用方法、设备及存储介质
CN109284860A (zh) 一种基于正交反向樽海鞘优化算法的预测方法
CN112561039A (zh) 一种改进的基于超网络的进化神经网络架构搜索方法
WO2023279674A1 (en) Memory-augmented graph convolutional neural networks
CN112381208A (zh) 一种深度渐进且逐步寻优的神经网络架构搜索方法与系统
CN117253037A (zh) 语义分割模型结构搜索方法、自动语义分割方法及系统
Lin et al. Object point cloud classification via poly-convolutional architecture search
Verma et al. A" Network Pruning Network''Approach to Deep Model Compression
Li et al. Equal bits: Enforcing equally distributed binary network weights
CN110222816B (zh) 深度学习模型的建立方法、图像处理方法及装置
CN113222934B (zh) 一种基于设备感知的显著性物体检测方法及系统
Xie et al. Scalenet: Searching for the model to scale
Liu et al. Adapruner: Adaptive channel pruning and effective weights inheritance
US20240104375A1 (en) Method and system for lightweighting artificial neural network model, and non-transitory computer-readable recording medium
CN111602145A (zh) 卷积神经网络的优化方法及相关产品
KR20220083782A (ko) 비디오 처리 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품
Elsken et al. Simple and efficient architecture search for CNNs
Li et al. Multi-objective neural architecture search for light-weight model
CN114445674B (zh) 一种基于多尺度融合卷积的目标检测模型搜索方法
CN116186272B (zh) 一种联合训练方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant