CN113127431A - 智能多任务特征数据共享方法及装置 - Google Patents

智能多任务特征数据共享方法及装置 Download PDF

Info

Publication number
CN113127431A
CN113127431A CN202010028059.7A CN202010028059A CN113127431A CN 113127431 A CN113127431 A CN 113127431A CN 202010028059 A CN202010028059 A CN 202010028059A CN 113127431 A CN113127431 A CN 113127431A
Authority
CN
China
Prior art keywords
data
feature data
analysis processing
feature
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010028059.7A
Other languages
English (en)
Inventor
虞露
邵宇超
李道文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010028059.7A priority Critical patent/CN113127431A/zh
Publication of CN113127431A publication Critical patent/CN113127431A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/176Support for shared access to files; File sharing support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了智能多任务特征数据共享方法和装置。所述多任务特征数据共享的方法采用多任务下分析处理特征数据共享,所述任务中至少有两个任务的分析处理所输入的特征数据满足以下条件:至少包括一部分特征数据为共享的特征数据;至少一个任务的分析处理所输入的特征数据还包括所述共享的特征数据以外的其它特征数据。本发明通过实现多任务特征数据共享,提高单个任务下的分析处理模块的性能。同时可以减少单个任务分析处理模块的计算消耗,从而加快针对该单个任务下的分析处理,并且节省了硬件规模和硬件资源开销。本发明可应用到数据的智能分析与理解中。

Description

智能多任务特征数据共享方法及装置
技术领域
本发明涉及数据的智能分析与理解领域,更具体的说,尤其涉及多任务下分析处理模块的特征数据共享的方法。
背景技术
特征提取是数据的智能分析与理解领域中的经典问题。如果针对多个任务使用各自的用于特征提取的分析处理模块,计算资源的消耗很大程度上会增大。因此,研究对多任务下特征数据的处理方法必不可少。
现有的特征数据主要有以下几种形式:
1.基于矩阵的形式
特征图
分割图
2.采样点或参数的列表
有序或无序的关键点序列或采样点
表示位置和大小参数的一组关键点,例如矩形框
3.基于图的形式
带有连接线的采样点,例如骨架序列
4.语义描述,例如精度和文本输出
5.上述形式的组合
现有特征数据的分析处理技术一般采用神经网络模型的方式。神经网络模型是深度学习的一种方法,使得机器能够自主地学习数据的分析与处理。在现有的智能分析处理方法中,为了减少多任务中单个技术的分析处理消耗的计算资源,通常将神经网络模型拆分成两个部分:公共特征提取网络模型和针对特定任务的神经网络模型。公共特征提取网络模型用于将输入的原始数据提取出公共特征数据;针对特定任务的神经网络模型用于将公共特征数据进一步提取特征,输出针对特定任务的分析结果。
目前,大量数据处理分析任务都会在神经网络模型某层特征数据的基础上,再训练面向某个具体任务的网络,例如面向目标检测,目标跟踪,图像检索等具体任务。现有的特征数据的分析处理技术是将原始数据输入到公共特征提取网络模型后,再将其输出的特征数据输入到针对特定任务的神经网络模型,最终针对特定任务的神经网络模型输出分析结果。通过这种网络共享的方式能够使得多个任务下公共特征提取网络模型只需要经过一次计算,减少了单个任务下的计算资源消耗。但是不同任务之间不进行输入特征数据的共享,限制了计算资源消耗的进一步降低。
此外,虽然神经网络模型共享的方法减少了计算资源的消耗,但是现有神经网络模型的计算量依旧很大,直接对大量特征数据进行分析处理显得特别困难。因此随着深度学习技术的发展,越来越多的数据分析任务以前后端协作的方式完成,即边缘端设备采集视觉信号进行数据传输,云端完成分析任务。在此类应用中,对特征数据的压缩编码技术必不可少。一般来说,神经网络模型的多层次结构产生不同语义层次的特征数据。因此,现有的特征数据的压缩编码技术会根据特定特征数据的具体形式,采用特定的技术进行压缩,如目前已有的针对特征图压缩的MPEG-CDVS/CDVA。
发明内容
本发明提出了智能多任务特征数据共享方法和装置。所述多任务中一个任务的分析处理所需输入的特征数据包含所述多任务中另一个任务的分析处理所需输入的特征数据。所述多任务特征数据共享的装置采用多种任务下分析处理模块特征数据共享;所述多任务中一个任务的分析处理模块所需输入的特征数据包含所述多任务中另一个任务的分析处理模块所需输入的特征数据。
本发明第一个目的在于提供一种智能多任务特征数据共享方法,包括:
将特征数据输入至少两个任务的分析处理;
所述任务中至少有两个任务的分析处理所输入的特征数据满足以下条件:至少包括一部分特征数据为共享的特征数据;至少一个任务的分析处理所输入的特征数据还包括所述共享的特征数据以外的其它特征数据;
进行所述任务的分析处理。
进一步的,所述的多任务特征数据共享的方法,包括:
进行原始数据的分析处理;
将原始数据输入所述原始数据的分析处理;
所述原始数据的分析处理从输入的原始数据中提取出多个原始特征数据;
从所述原始数据的分析处理输出所述多个原始特征数据;
对所述多个原始特征数据进行原始特征数据的处理;
所述任务的分析处理所输入的特征数据是原始特征数据的处理的输出,且原始特征数据来自于相同的原始数据的分析处理。
进一步的,所述多任务特征数据共享的方法还包括:
将原始特征数据输入到特征编解码器;
所述特征编解码器对原始特征数据编码后进行传输和存储,并重建出重构特征数据;
从所述特征编解码器中输出重构特征数据;
所述两个任务中至少有一个任务的分析处理所需的输入特征数据是所述重构特征数据。
本发明第二目的在于提供一种智能多任务特征数据共享装置,包括:
具有至少两个任务的分析处理模块;
所述任务中的至少两个任务的分析处理模块所输入的特征数据满足以下条件:至少包括一部分特征数据为共享的特征数据;至少一个任务的分析处理模块所输入的特征数据还包括所述共享的特征数据以外的其它特征数据。
进一步的,所述多任务特征数据共享的装置包括:
具有原始数据的分析处理模块;
所述原始数据的分析处理模块的输入是原始数据;
所述原始数据的分析处理模块从输入的原始数据中提取出多个原始特征数据;
所述原始数据的分析处理模块的输出是所述多个原始特征数据;
具有原始特征数据的处理模块,对所述多个原始特征数据进行处理;
所述任务的分析处理模块的输入特征数据是原始特征数据的处理模块的输出,且原始特征数据来自于相同的原始数据。
进一步的,所述多任务特征数据共享的装置还包括:
具有特征编解码器;
所述特征编解码器的输入是原始特征数据;
所述特征编解码器对原始特征数据编码后进行传输和存储,并重建出重构特征数据;
所述特征编解码器的输出是重构特征数据;
所述两个任务中至少有一个任务的分析处理模块所需的输入特征数据是所述重构特征数据。
本发明通过实现多任务特征数据共享,提高单个任务下的分析处理模块的性能。同时可以减少单个任务分析处理模块的计算消耗,从而加快针对该单个任务下的分析处理速度,并且节省了硬件规模和硬件资源开销。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1本发明实施例提供的智能多任务特征数据共享方法示意图。
图2本发明实施例提供的智能多任务特征数据共享方法示意图。
图3本发明实施例提供的智能多任务特征数据共享方法示意图。
图4本发明实施例提供的智能多任务特征数据共享方法示意图。
图5本发明实施例提供的智能多任务特征数据共享方法示意图。
图6本发明实施例提供的智能多任务特征数据共享方法示意图。
图7本发明实施例提供的智能多任务特征数据共享方法示意图。
图8本发明实施例提供的智能多任务特征数据共享装置示意图。
图9本发明实施例提供的智能多任务特征数据共享装置示意图。
图10本发明实施例提供的智能多任务特征数据共享装置示意图。
图11本发明实施例提供的智能多任务特征数据共享装置示意图。
图12本发明实施例提供的智能多任务特征数据共享装置示意图。
图13本发明实施例提供的智能多任务特征数据共享装置示意图。
图14本发明实施例提供的智能多任务特征数据共享装置示意图。
具体实施方法
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本实例提供的智能多任务特征数据共享方法,具体包括:
多任务特征数据共享的流程如图1所示。共有两个任务,分别为任务A和任务B。针对任务A的分析处理的输入为特征数据1;针对任务B的分析处理的输入为特征数据1和特征数据2。特征数据1是针对任务A和针对任务B的分析处理的输入所共享的特征数据。相比于针对任务A的分析处理输入的特征数据,针对任务B的分析处理输入的特征数据除了共享的特征数据1,还包括特征数据2。
实施例2
本实例提供的智能多任务特征数据共享方法,具体包括:
多任务特征数据共享的流程如图2所示。对原始数据进行共享分析处理。共享分析处理提取出原始特征数据1和原始特征数据2,并输出原始特征数据1和原始特征数据2。对原始特征数据1和原始特征数据2进行恒等处理,即数据内容不变化。共有三个任务,分别为任务A,任务B和任务C。针对任务A的分析处理的输入为原始特征数据1;针对任务B的分析处理的输入为原始特征数据1和原始特征数据2;针对任务C的分析处理的输入为原始特征数据2。原始特征数据1是针对任务A和针对任务B的分析处理的输入所共享的特征数据;原始特征数据2是针对任务B和针对任务C的分析处理的输入所共享的特征数据。相比于针对任务A的分析处理输入的特征数据,针对任务B的分析处理输入的特征数据除了共享的原始特征数据1,还包括原始特征数据2;相比于针对针对任务C的分析处理输入的特征数据,针对任务B的分析处理输入的特征数据除了共享的原始特征数据2,还包括原始特征数据1。原始特征数据1和原始特征数据2来自于相同的原始数据。其中,原始数据的形式包括且不限于:图像,视频,音频等;该共享分析处理的形式包括且不限于:特征工程,神经网络等。
实施例3
本实例提供的智能多任务特征数据共享方法,具体包括:
多任务特征数据共享的流程如图3所示。将原始特征数据1和原始特征数据2输入到两个特征编解码器。每个特征编解码器对原始特征数据编码后进行传输和存储,并重建出重构特征数据。获得重构特征数据1和重构特征数据2。共有两个任务,分别为任务A和任务B。针对任务A的分析处理的输入为重构特征数据1;针对任务B的分析处理的输入为重构特征数据1和重构特征数据2。重构特征数据1是针对任务A和针对任务B的分析处理的输入所共享的特征数据。相比于针对任务A的分析处理输入的特征数据,针对任务B的分析处理输入的特征数据除了共享的重构特征数据1,还包括重构特征数据2。
实施例4
本实例提供的智能多任务特征数据共享方法,具体包括:
多任务特征数据共享的流程如图4所示。共有五个任务,分别为任务A,任务B,任务C,任务D和任务E。共有五组特征数据,分别为特征数据1,特征数据2,特征数据3,特征数据4和特征数据5。针对任务A的分析处理的输入为特征数据1;针对任务B的分析处理的输入为特征数据1;针对任务C的分析处理的输入为特征数据1;针对任务D的分析处理的输入为特征数据1,特征数据2和特征数据4;针对任务E的分析处理的输入为特征数据1,特征数据3和特征数据5。针对任务D的分析处理所需的特征数据一部分来自于针对任务A的分析处理所需的特征数据和针对任务B的分析处理所需的特征数据;针对任务E的分析处理所需的使用的特征数据一部分来自于针对任务A的分析处理所需的特征数据和针对任务C的分析处理所需的特征数据。
实施例5
本实例提供的智能多任务特征数据共享方法,具体包括:
多任务特征数据共享的流程如图5所示。对原始数据进行共享分析处理。共享分析处理提取出第Ni层原始特征数据和第Ni+k层原始特征数据,并输出第Ni层原始特征数据和第Ni+k层原始特征数据。将第Ni层原始特征数据和第Ni+k层原始特征数据输入到两个特征编解码器。每个特征编解码器对原始特征数据编码后进行传输和存储,并重建出重构特征数据。获得重构特征数据1和重构特征数据2。共有两个任务,分别为任务A和任务B。针对任务A的分析处理的输入为重构特征数据1;针对任务B的分析处理的输入为重构特征数据1和重构特征数据2。重构特征数据1是针对任务A和针对任务B的分析处理的输入所共享的特征数据。相比于针对任务A的分析处理输入的特征数据,针对任务B的分析处理输入的特征数据除了共享的重构特征数据1,还包括重构特征数据2。第Ni层原始特征数据和第Ni+k层原始特征数据来自于相同的原始数据。其中,原始数据的形式包括且不限于:图像,视频,音频等;该共享分析处理的形式包括且不限于:特征工程,神经网络等。
实施例6
本实例提供的智能多任务特征数据共享方法,具体包括:
多任务特征数据共享的流程如图6所示。对原始数据进行共享分析处理。共享分析处理提取出第Ni层原始特征数据,第Ni+1层原始特征数据和第Ni+k层原始特征数据,并输出第Ni层原始特征数据,第Ni+1层原始特征数据和第Ni+k层原始特征数据。将第Ni层原始特征数据,第Ni+1层原始特征数据和第Ni+k层原始特征数据输入到三个特征编解码器。每个特征编解码器对原始特征数据编码后进行传输和存储,并重建出重构特征数据。获得重构特征数据1,重构特征数据2和重构特征数据3。共有三个任务,分别为任务A,任务B和任务C。针对任务A的分析处理的输入为重构特征数据1;针对任务B的分析处理的输入为重构特征数据1和重构特征数据2;针对任务C的分析处理的输入为重构特征数据1,重构特征数据2和重构特征数据3。重构特征数据1是针对任务A和针对任务B的分析处理的输入所共享的特征数据;重构特征数据1和重构特征数据2是针对任务B和针对任务C的分析处理的输入所共享的特征数据。相比于针对任务A的分析处理输入的特征数据,针对任务B的分析处理输入的特征数据除了共享的重构特征数据1,还包括重构特征数据2。相比于针对任务B的分析处理输入的特征数据,针对任务C的分析处理输入的特征数据除了共享的重构特征数据1和重构特征数据2,还包括重构特征数据3。第Ni层原始特征数据,第Ni+1层原始特征数据和第Ni+k层原始特征数据来自于相同的原始数据。其中,原始数据的形式包括且不限于:图像,视频,音频等;该共享分析处理的形式包括且不限于:特征工程,神经网络等。
实施例7
本实例提供的智能多任务特征数据共享方法,具体包括:
多任务特征数据共享的流程如图7所示。对原始数据进行共享分析处理。共享分析处理提取出第Ni层原始特征数据,第Ni+1层原始特征数据,第Ni+k层原始特征数据和分析结果,并输出第Ni层原始特征数据,第Ni+1层原始特征数据,第Ni+k层原始特征数据和分析结果。将第Ni层原始特征数据,第Ni+1层原始特征数据,第Ni+k层原始特征数据输入到三个特征编解码器;将分析结果分别输入到两个特征编解码器。每个特征编解码器对原始特征数据编码后进行传输和存储,并重建出重构特征数据。获得重构特征数据1,重构特征数据2,重构特征数据3,重构数据1和重构数据2。共有五个任务,分别为任务A,任务B,任务C,任务D和重构数据的任务。针对任务A的分析处理的输入为重构特征数据1;针对任务B的分析处理的输入为重构特征数据1和重构特征数据2;针对任务C的分析处理的输入为重构特征数据1,重构特征数据2和重构特征数据3;针对任务D的分析处理的输入为重构特征数据1,重构特征数据2,重构特征数据3和重构数据1;重构数据的分析处理的输入为重构特征数据1,重构特征数据2,重构特征数据3,重构数据1和重构数据2。重构特征数据1,重构特征数据2,重构特征数据3是同一个共享分析处理的不同中间层的输出并且分别经过特征编解码后输出的重构特征数据;重构数据1和重构数据2是同一个共享分析处理的分析结果并且分别经过特征编解码后输出的重构数据。其中,共享分析处理的输入为原始数据;该原始数据的形式包括且不限于:图像,视频,音频等;该共享分析处理的形式包括且不限于:特征工程,神经网络等。相比于针对任务A的分析处理输入的特征数据,针对任务B的分析处理输入的特征数据除了共享的重构特征数据1,还包括重构特征数据2。相比于针对任务B的分析处理输入的特征数据,针对任务C的分析处理输入的特征数据除了共享的重构特征数据1和重构特征数据2,还包括重构特征数据3。相比于针对任务C的分析处理输入的特征数据,针对任务D的分析处理输入的特征数据除了共享的重构特征数据1,重构特征数据2和重构特征数据3,还包括重构数据1。第Ni层原始特征数据,第Ni+1层原始特征数据,第Ni+k层原始特征数据和分析结果来自于相同的原始数据。
实施例8
本实例提供的智能多任务特征数据共享装置,具体包括:
多任务特征数据共享的装置如图8所示。共有两个任务的分析处理模块,分别为针对任务A的分析处理模块111和针对任务B的分析处理模块112。111的输入为特征数据1;112的输入为特征数据1和特征数据2。特征数据1是111和112所共享的特征数据。相比于111输入的特征数据,112除了共享的特征数据1,还包括特征数据2。
实施例9
本实例提供的智能多任务特征数据共享装置,具体包括:
多任务特征数据共享的流程如图9所示。共享分析处理模块111的输入是原始数据。111提取出原始特征数据1和原始特征数据2,并输出原始特征数据1和原始特征数据2。原始特征数据的处理模块115和116分别对原始特征数据1和原始特征数据2进行恒等处理,即数据内容不变化。共有三个任务的分析处理模块,分别为针对任务A的分析处理模块114,针对任务B的分析处理模块115和针对任务C的分析处理模块116。114的输入为原始特征数据1;115的输入为原始特征数据1和原始特征数据2;116的输入为原始特征数据2。原始特征数据1是114和115的输入所共享的特征数据;原始特征数据2是115和116的输入所共享的特征数据。相比于114输入的特征数据,115输入的特征数据除了共享的原始特征数据1,还包括原始特征数据2;相比于116输入的特征数据,115输入的特征数据除了共享的原始特征数据2,还包括原始特征数据1。原始特征数据1和原始特征数据2来自于相同的原始数据。其中,111的输入形式包括且不限于:图像,视频,音频等;111的处理形式包括且不限于:特征工程,神经网络等。
实施例10
本实例提供的智能多任务特征数据共享装置,具体包括:
多任务特征数据共享的流程如图10所示。两个特征编解码器111和112的输入分别是始特征数据1和原始特征数据2。111和112对原始特征数据编码后进行传输和存储,并重建出重构特征数据。111和112分别输出重构特征数据1和重构特征数据2。共有两个任务的分析处理模块,分别为针对任务A的分析处理模块113和针对任务B的分析处理模块114。113的输入为重构特征数据1;114的输入为重构特征数据1和重构特征数据2。重构特征数据1是113和114的输入所共享的特征数据。相比于113输入的特征数据,114输入的特征数据除了共享的重构特征数据1,还包括重构特征数据2。
实施例11
本实例提供的智能多任务特征数据共享装置,具体包括:
多任务特征数据共享的流程如图11所示。共有五个任务的分析处理模块,分别为针对任务A的分析处理模块111,针对任务B的分析处理模块112,针对任务C的分析处理模块113,针对任务D的分析处理模块114和针对任务E的分析处理模块115。共有五组特征数据,分别为特征数据1,特征数据2,特征数据3,特征数据4和特征数据5。111的输入为特征数据1;112的输入为特征数据1;113的输入为特征数据1;114的输入为特征数据1,特征数据2和特征数据4;115的输入为特征数据1,特征数据3和特征数据5。114的输入特征数据一部分来自于111的输入特征数据和112的输入特征数据;115的输入特征数据一部分来自于111的输入特征数据和113的输入特征数据。
实施例12
本实例提供的智能多任务特征数据共享装置,具体包括:
多任务特征数据共享的流程如图12所示。共享分析处理模块111的输入是原始数据。111提取出第Ni层原始特征数据和第Ni+k层原始特征数据,并输出第Ni层原始特征数据和第Ni+k层原始特征数据。两个特征编解码器112和113的输入是第Ni层原始特征数据和第Ni+k层原始特征数据。112和113对原始特征数据编码后进行传输和存储,并重建出重构特征数据。112和113分别输出重构特征数据1和重构特征数据2。共有两个任务的分析处理模块,分别为针对任务A的分析处理模块114和针对任务B的分析处理模块115。114的输入为重构特征数据1;115的输入为重构特征数据1和重构特征数据2。重构特征数据1是114和115的分析处理的输入所共享的特征数据。相比于114输入的特征数据,115输入的特征数据除了共享的重构特征数据1,还包括重构特征数据2。第Ni层原始特征数据和第Ni+k层原始特征数据来自于相同的原始数据。其中,111的输入形式包括且不限于:图像,视频,音频等;111的处理形式包括且不限于:特征工程,神经网络等。
实施例13
本实例提供的智能多任务特征数据共享装置,具体包括:
多任务特征数据共享的流程如图13所示。共享分析处理模块111的输入是原始数据。111提取出第Ni层原始特征数据,第Ni+1层原始特征数据和第Ni+k层原始特征数据,并输出第Ni层原始特征数据,第Ni+1层原始特征数据和第Ni+k层原始特征数据。三个特征编解码器112,113和114的输入是第Ni层原始特征数据,第Ni+1层原始特征数据和第Ni+k层原始特征数据。112,113和114对原始特征数据编码后进行传输和存储,并重建出重构特征数据。112,113和114输出重构特征数据1,重构特征数据2和重构特征数据3。共有三个任务的分析处理模块,分别为针对任务A的分析处理模块115,针对任务B的分析处理模块116和针对任务C的分析处理模块117。115的输入为重构特征数据1;116的输入为重构特征数据1和重构特征数据2;117的输入为重构特征数据1,重构特征数据2和重构特征数据3。重构特征数据1是115和116的输入所共享的特征数据;重构特征数据1和重构特征数据2是116和117的输入所共享的特征数据。相比于115输入的特征数据,116输入的特征数据除了共享的重构特征数据1,还包括重构特征数据2。相比于116输入的特征数据,117输入的特征数据除了共享的重构特征数据1和重构特征数据2,还包括重构特征数据3。第Ni层原始特征数据,第Ni+1层原始特征数据和第Ni+k层原始特征数据来自于相同的原始数据。其中,111的输入形式包括且不限于:图像,视频,音频等;111的处理形式包括且不限于:特征工程,神经网络等。
实施例14
本实例提供的智能多任务特征数据共享装置,具体包括:
多任务特征数据共享的流程如图14所示。共享分析处理模块111的输入是原始数据。111提取出第Ni层原始特征数据,第Ni+1层原始特征数据,第Ni+k层原始特征数据和分析结果,并输出第Ni层原始特征数据,第Ni+1层原始特征数据,第Ni+k层原始特征数据和分析结果。三个特征编解码器112,113,114的输入分别是第Ni层原始特征数据,第Ni+1层原始特征数据,第Ni+k层原始特征数据;两个特征编解码器115和116的输入是分析结果。每个特征编解码器对原始特征数据编码后进行传输和存储,并重建出重构特征数据。112,113,114,115和116输出重构特征数据1,重构特征数据2,重构特征数据3,重构数据1和重构数据2。共有五个任务的分析处理模块,分别为针对任务A的分析处理模块117,针对任务B的分析处理模块118,针对任务C的分析处理模块119,针对任务D的分析处理模块120和重构数据的分析处理模块121。117的输入为重构特征数据1;118的输入为重构特征数据1和重构特征数据2;119的输入为重构特征数据1,重构特征数据2和重构特征数据3;120的输入为重构特征数据1,重构特征数据2,重构特征数据3和重构数据1;121的输入为重构特征数据1,重构特征数据2,重构特征数据3,重构数据1和重构数据2。重构特征数据1,重构特征数据2,重构特征数据3是同一个共享分析处理模块111的不同中间层的输出并且分别经过特征编解码器112,113和114后输出的重构特征数据;重构数据1和重构数据2是同一个共享分析处理模块111的分析结果并且分别经过特征编解码器115和116后输出的重构数据。其中,111的输入形式包括且不限于:图像,视频,音频等;111的处理形式包括且不限于:特征工程,神经网络等。相比于117输入的特征数据,118输入的特征数据除了共享的重构特征数据1,还包括重构特征数据2。相比于118输入的特征数据,119输入的特征数据除了共享的重构特征数据1和重构特征数据2,还包括重构特征数据3。相比于119输入的特征数据,120输入的特征数据除了共享的重构特征数据1,重构特征数据2和重构特征数据3,还包括重构数据1。第Ni层原始特征数据,第Ni+1层原始特征数据,第Ni+k层原始特征数据和分析结果来自于相同的原始数据。
在上述的所有实施例中,任务A、任务B、任务C、任务D包括且不限于分类任务,检测任务,识别任务和分割任务等。所述分类任务包括且不限于图像分类任务,音频分类任务和文本分类任务等。所述检测任务包括且不限于行人检测,车辆检测,肿瘤检测和织物纹理检测等。所述识别任务包括且不限于行人识别,车辆识别,动作识别和人脸识别等。所述分割任务包括且不限于医学图像分割和图片文字分割等。

Claims (6)

1.智能多任务特征数据共享方法,其特征在于,包括:
将特征数据输入至少两个任务的分析处理;
所述任务中至少有两个任务的分析处理所输入的特征数据满足以下条件:至少包括一部分特征数据为共享的特征数据;至少一个任务的分析处理所输入的特征数据还包括所述共享的特征数据以外的其它特征数据;
进行所述任务的分析处理。
2.如权利要求1所述的多任务特征数据共享的方法,其特征还在于:
进行原始数据的分析处理;
将原始数据输入所述原始数据的分析处理;
所述原始数据的分析处理从输入的原始数据中提取出多个原始特征数据;
从所述原始数据的分析处理输出所述多个原始特征数据;
对所述多个原始特征数据进行原始特征数据的处理;
所述任务的分析处理所输入的特征数据是原始特征数据的处理的输出,且原始特征数据来自于相同的原始数据的分析处理。
3.如权利要求1所述的多任务特征数据共享的方法,其特征还在于:
将原始特征数据输入到特征编解码器;
所述特征编解码器对原始特征数据编码后进行传输和存储,并重建出重构特征数据;
从所述特征编解码器中输出重构特征数据;
所述两个任务中至少有一个任务的分析处理所需的输入特征数据是所述重构特征数据。
4.智能多任务特征数据共享装置,其特征在于,包括:
具有至少两个任务的分析处理模块;
所述任务中的至少两个任务的分析处理模块所输入的特征数据满足以下条件:至少包括一部分特征数据为共享的特征数据;至少一个任务的分析处理模块所输入的特征数据还包括所述共享的特征数据以外的其它特征数据。
5.如权利要求4所述的多任务特征数据共享的装置,其特征还在于:
具有原始数据的分析处理模块;
所述原始数据的分析处理模块的输入是原始数据;
所述原始数据的分析处理模块从输入的原始数据中提取出多个原始特征数据;
所述原始数据的分析处理模块的输出是所述多个原始特征数据;
具有原始特征数据的处理模块,对所述多个原始特征数据进行处理;
所述任务的分析处理模块的输入特征数据是原始特征数据的处理模块的输出,且原始特征数据来自于相同的原始数据。
6.如权利要求4所述的多任务特征数据共享的装置,其特征还在于:
具有特征编解码器;
所述特征编解码器的输入是原始特征数据;
所述特征编解码器对原始特征数据编码后进行传输和存储,并重建出重构特征数据;
所述特征编解码器的输出是重构特征数据;
所述两个任务中至少有一个任务的分析处理模块所需的输入特征数据是所述重构特征数据。
CN202010028059.7A 2020-01-10 2020-01-10 智能多任务特征数据共享方法及装置 Pending CN113127431A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010028059.7A CN113127431A (zh) 2020-01-10 2020-01-10 智能多任务特征数据共享方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010028059.7A CN113127431A (zh) 2020-01-10 2020-01-10 智能多任务特征数据共享方法及装置

Publications (1)

Publication Number Publication Date
CN113127431A true CN113127431A (zh) 2021-07-16

Family

ID=76771572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010028059.7A Pending CN113127431A (zh) 2020-01-10 2020-01-10 智能多任务特征数据共享方法及装置

Country Status (1)

Country Link
CN (1) CN113127431A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784647A (zh) * 2017-09-29 2018-03-09 华侨大学 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统
CN109299487A (zh) * 2017-07-25 2019-02-01 展讯通信(上海)有限公司 神经网络模型、加速器、建模方法及装置、介质及系统
CN109413087A (zh) * 2018-11-16 2019-03-01 京东城市(南京)科技有限公司 数据共享方法、装置、数字网关及计算机可读存储介质
CN109447259A (zh) * 2018-09-21 2019-03-08 北京字节跳动网络技术有限公司 多任务处理及多任务处理模型训练方法、装置和硬件装置
CN109543031A (zh) * 2018-10-16 2019-03-29 华南理工大学 一种基于多任务对抗学习的文本分类方法
US20190101927A1 (en) * 2017-09-30 2019-04-04 TuSimple System and method for multitask processing for autonomous vehicle computation and control
CN110309511A (zh) * 2019-07-04 2019-10-08 哈尔滨工业大学 基于共享表示的多任务语言分析系统及方法
CN110414441A (zh) * 2019-07-31 2019-11-05 浙江大学 一种行人行踪分析方法及系统
CN110647921A (zh) * 2019-09-02 2020-01-03 腾讯科技(深圳)有限公司 一种用户行为预测方法、装置、设备及存储介质
CN110662080A (zh) * 2019-09-30 2020-01-07 中国科学技术大学 面向机器的通用编码方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299487A (zh) * 2017-07-25 2019-02-01 展讯通信(上海)有限公司 神经网络模型、加速器、建模方法及装置、介质及系统
CN107784647A (zh) * 2017-09-29 2018-03-09 华侨大学 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统
US20190101927A1 (en) * 2017-09-30 2019-04-04 TuSimple System and method for multitask processing for autonomous vehicle computation and control
CN109447259A (zh) * 2018-09-21 2019-03-08 北京字节跳动网络技术有限公司 多任务处理及多任务处理模型训练方法、装置和硬件装置
CN109543031A (zh) * 2018-10-16 2019-03-29 华南理工大学 一种基于多任务对抗学习的文本分类方法
CN109413087A (zh) * 2018-11-16 2019-03-01 京东城市(南京)科技有限公司 数据共享方法、装置、数字网关及计算机可读存储介质
CN110309511A (zh) * 2019-07-04 2019-10-08 哈尔滨工业大学 基于共享表示的多任务语言分析系统及方法
CN110414441A (zh) * 2019-07-31 2019-11-05 浙江大学 一种行人行踪分析方法及系统
CN110647921A (zh) * 2019-09-02 2020-01-03 腾讯科技(深圳)有限公司 一种用户行为预测方法、装置、设备及存储介质
CN110662080A (zh) * 2019-09-30 2020-01-07 中国科学技术大学 面向机器的通用编码方法

Similar Documents

Publication Publication Date Title
Li et al. Efficient violence detection using 3d convolutional neural networks
CN111930992B (zh) 神经网络训练方法、装置及电子设备
CN111898696A (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
CN111160350B (zh) 人像分割方法、模型训练方法、装置、介质及电子设备
CN112861575A (zh) 一种行人结构化方法、装置、设备和存储介质
Wang et al. Spatial–temporal pooling for action recognition in videos
Cho et al. Semantic segmentation with low light images by modified CycleGAN-based image enhancement
CN116912257B (zh) 基于深度学习的混凝土路面裂缝识别方法及存储介质
CN116343190B (zh) 自然场景文字识别方法、系统、设备及存储介质
CN112804558B (zh) 视频拆分方法、装置及设备
CN113409803B (zh) 语音信号处理方法、装置、存储介质及设备
CN113971735A (zh) 一种深度图像聚类方法、系统、设备、介质及终端
CN114998583B (zh) 图像处理方法、图像处理装置、设备及存储介质
CN110688897A (zh) 一种基于联合判断与生成学习的行人重识别方法及装置
CN115131698A (zh) 视频属性确定方法、装置、设备及存储介质
CN116541492A (zh) 一种数据处理方法及相关设备
Zou et al. 360° image saliency prediction by embedding self-supervised proxy task
CN111582101A (zh) 一种遥感图像检测方法及系统
CN114529785A (zh) 模型的训练方法、视频生成方法和装置、设备、介质
CN116660992B (zh) 一种基于多特征融合的地震信号处理方法
Ghosh et al. Two-stream multi-dimensional convolutional network for real-time violence detection
CN113761282A (zh) 视频查重方法、装置、电子设备以及存储介质
CN113127431A (zh) 智能多任务特征数据共享方法及装置
CN110795993A (zh) 一种构建模型的方法、装置、终端设备及介质
Fatkhulin et al. Analysis of the Basic Image Generation Methods by Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210716