CN117011623A - 数据处理方法和装置 - Google Patents

数据处理方法和装置 Download PDF

Info

Publication number
CN117011623A
CN117011623A CN202210446395.2A CN202210446395A CN117011623A CN 117011623 A CN117011623 A CN 117011623A CN 202210446395 A CN202210446395 A CN 202210446395A CN 117011623 A CN117011623 A CN 117011623A
Authority
CN
China
Prior art keywords
data
matrix
domain data
target
style
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210446395.2A
Other languages
English (en)
Inventor
王耀园
张子阳
李明磊
何炜华
田坤
郭青海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210446395.2A priority Critical patent/CN117011623A/zh
Publication of CN117011623A publication Critical patent/CN117011623A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了数据处理方法和装置,涉及人工智能领域。该方法包括获取源域的源域数据的特征风格数据;将目标域数据输入特征提取模块,输出目标域数据的高维特征矩阵;将源域数据特征风格和目标域数据的初始高维特征矩阵,输入目标域特征自适应模块,根据源域数据的特征风格数据,对目标域数据的初始高维特征矩阵进行调整,以输出目标域数据的目标高维特征矩阵;将目标高维特征矩阵,输入任务处理模块,得到数据处理结果,任务处理模块是通过源域中的数据预训练好的。这样,不需要采集大量的目标域数据对预训练好的神经网络模型再次进行训练,减少了人力物力采集大量的目标域数据,适合端侧布置,提高了预训练好的神经网络模型的泛化能力。

Description

数据处理方法和装置
技术领域
本申请实施例涉及人工智能领域,并且更具体地,涉及一种数据处理方法和装置。
背景技术
人工智能(artificial intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理和决策的功能。
机器学习作为人工智能的一个分支,在近几年飞速发展,而通过传统机器学习获得的模型只有在训练数据集和测试数据集来自同一个特征空间并且具有统一分布时,才有较好的运行效果。也就是,传统机器学习对数据集计算资源需求大、灵活性差并且只适用于单一场景。
针对此问题,通过迁移学习(transfer learning)能够将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。目前的迁移学习本质上来说是一种预训练和调参的过程,知识迁移能力成本依然比较高,存在一定的局限性。因此,如何降低自适应迁移学习的迁移成本,以降低数据处理前的模型训练成本是个亟待解决的问题。
发明内容
本申请实施例提供一种数据处理方法和装置,可以降低自适应迁移学习的迁移成本,提高已经训练好的模型的泛化能力,从而一定程度上降低数据处理前的模型训练的成本。
第一方面,提供了一种数据处理方法,该方法包括:获取源域的源域数据的特征风格数据;将目标域数据输入特征提取模块,输出目标域数据的高维特征矩阵;将源域数据特征风格和目标域数据的初始高维特征矩阵,输入目标域特征自适应模块,根据源域数据的特征风格数据,对目标域数据的初始高维特征矩阵进行调整,以输出目标域数据的目标高维特征矩阵;将目标高维特征矩阵,输入任务处理模块,得到数据处理结果,其中,任务处理模块是通过源域中的数据预训练好的。
应理解,任务处理模块为通过源域中的数据已经训练好的,特征提取模块可以为通过源域中的数据预训练好的,还可以为人工设计好的。
还应理解,获取的特征风格数据对应的源域数据属于源域,该源域数据可以为不同于训练特征提取模块和任务处理模块时使用的源域中的数据,也可以为训练阶段中使用的源域中的数据。
应理解,源域中数据的数据类型可以是图像数据、音频数据、视频数据、运动/光学/ 压力传感器输入的一维时序信号等,本申请实施例对此不作限制。
在本申请实施例中,通过上述方法,不需要采集大量的目标域数据对预训练好的神经网络模型再次进行训练,就可以对目标域数据在线实现将源域数据的风格特征转移至目标域数据的高维特征矩阵上,从而进行智能任务处理,减少了人力物力采集大量的目标域数据,适合端侧布置,提高了预训练好的神经网络模型的泛化能力。例如,在图像识别中,预训练好的图像识别模型的源域数据是风景照数据,而目标域数据是风景油画数据,此时,不需要对风景油画数据进行人工标注,并且不需要根据风景油画数据对预训练好的图像识别模型中的参数重新训练,就可以在线对风景油画数据进行识别,适合端侧布置,提高了预训练好的图像识别模型的泛化能力。
在某些实现方式中,获取源域中的源域数据的风格特征数据包括:获取通过风格提取模块离线获得源域数据的特征风格数据。
在本申请实施例中,通过特征提取模块和风格提取模块,对源域数据的特征风格数据进行离线保存,可以进一步减少在线计算量,从而更加有助于减少后续将源域数据的特征风格数据转移至目标域数据特征的时间。
在某些实现方式中,源域数据的特征风格数据用中心协方差参数表示。
在某些实现方式中,源域数据的特征风格数据通过源域数据的高维特征矩阵的均值以及风格特征矩阵表示。
在某些实现方式中,风格特征矩阵满足公式:
其中,cov(Fs)表示源域数据的高维特征矩阵的协方差矩阵,Ds是协方差矩阵的特征值对角矩阵,Vs为协方差矩阵的特征向量正交矩阵;源域数据的特征风格数据通过源域数据的高维特征矩阵的均值mean(Fs)、第一风格矩阵Ds和第二风格矩阵Vs表示。
在某些实现方式中,目标域数据的目标高维特征矩阵满足公式:
其中,FT为目标高维特征矩阵,Dt表示目标域数据的初始高维特征矩阵相关的协方差矩阵对应的特征值对角矩阵,Vt表示目标域数据的初始高维特征矩阵相关的协方差矩阵对应的特征向量正交矩阵。
第二方面,提供了一种数据处理方法,该方法包括:获取源域的源域数据的特征风格数据;将目标域数据输入目标特征提取模块,输出目标域数据的高维特征矩阵;将源域数据特征风格和目标域数据的初始高维特征矩阵,输入目标域特征自适应模块,根据源域数据的特征风格数据,对目标域数据的初始高维特征矩阵进行调整,以输出目标域数据的目标高维特征矩阵。
应理解,任务处理模块为通过源域中的数据已经训练好的,特征提取模块可以为通过源域中的数据预训练好的,还可以为人工设计好的。
还应理解,获取的特征风格数据对应的源域数据属于源域,该源域数据可以为不同于训练特征提取模块和任务处理模块时使用的源域中的数据,也可以为训练阶段中使用的源域中的数据。
应理解,源域中数据的数据类型可以是图像数据、音频数据、视频数据、运动/光学/ 压力传感器输入的一维时序信号等,本申请实施例对此不作限制。
在本申请实施例中,通过对目标域数据进行特征提取,和将源域数据的特征风格数据转移至目标域数据的高维特征矩阵上,这一系列的预处理,在对目标域数据的迁移学习中,当特征提取模块为预训练好的时,不需要重新针对目标域数据的特征提取,重新训练特征提取模块的参数,可以一定程度上降低迁移成本。
在某些实现方式中,该方法还包括:将目标高维特征矩阵,输入目标任务处理模块,得到数据处理结果,其中,目标任务处理模块是通过目标训练数据训练得到的,目标训练数据和目标域数据属于相同的特征空间。
在本申请实施例中,当特征提取模块为预训练好的时,不需要对预训练好的神经网络模型中的特征提取模块的参数进行重新训练,通过将源域数据的风格特征迁移至目标域数据,就可以获得和源域数据的风格特征一致的目标域数据的高维特征矩阵,在一定程度上降低了迁移成本。与此同时,将该目标域数据的高维特征矩阵输入重新训练的目标任务处理模块,还可以提高对目标域数据的任务处理的准确性。
在某些实现方式中,获取源域中的源域数据的风格特征数据包括:获取通过风格提取模块离线获得源域数据的特征风格数据。
在本申请实施例中,通过特征提取模块和风格提取模块,对源域数据的特征风格数据进行离线保存,可以进一步减少在线计算量,从而更加有助于减少后续将源域数据的特征风格数据转移至目标域数据特征的时间。
在某些实现方式中,源域数据的特征风格数据用中心协方差参数表示。
在某些实现方式中,源域数据的特征风格数据通过源域数据的高维特征矩阵的均值以及风格特征矩阵表示。
在某些实现方式中,风格特征矩阵满足公式:
其中,cov(Fs)表示源域数据的高维特征矩阵的协方差矩阵,Ds是协方差矩阵的特征值对角矩阵,Vs为协方差矩阵的特征向量正交矩阵;源域数据的特征风格数据通过源域数据的高维特征矩阵的均值mean(Fs)、第一风格矩阵Ds和第二风格矩阵Vs表示。
在某些实现方式中,目标域数据的目标高维特征矩阵满足公式:
其中,FT为目标高维特征矩阵,Dt表示目标域数据的初始高维特征矩阵相关的协方差矩阵对应的特征值对角矩阵,Vt表示目标域数据的初始高维特征矩阵相关的协方差矩阵对应的特征向量正交矩阵。
第三方面,提供了一种数据处理装置,还装置包括获取单元和处理单元,获取单元用于,获取源域的源域数据的特征风格数据;处理单元用于:将目标域数据输入特征提取模块,输出目标域数据的高维特征矩阵;将源域数据特征风格和目标域数据的初始高维特征矩阵,输入目标域特征自适应模块,根据源域数据的特征风格数据,对目标域数据的初始高维特征矩阵进行调整,以输出目标域数据的目标高维特征矩阵;将目标高维特征矩阵,输入任务处理模块,得到数据处理结果,其中,任务处理模块是通过源域中的数据预训练好的。
应理解,任务处理模块为通过源域中的数据已经训练好的,特征提取模块可以为通过源域中的数据预训练好的,还可以为人工设计好的。
还应理解,获取的特征风格数据对应的源域数据属于源域,该源域数据可以为不同于训练特征提取模块和任务处理模块时使用的源域中的数据,也可以为训练阶段中使用的源域中的数据。
应理解,源域中数据的数据类型可以是图像数据、音频数据、视频数据、运动/光学/ 压力传感器输入的一维时序信号等,本申请实施例对此不作限制。
在本申请实施例中,通过上述装置,不需要采集大量的目标域数据对预训练好的神经网络模型再次进行训练,就可以对目标域数据在线实现将源域数据的风格特征转移至目标域数据的高维特征风格上,从而进行智能任务处理,减少了人力物力采集大量的目标域数据,适合端侧布置,提高了预训练好的神经网络模型的泛化能力。例如,在图像识别中,预训练好的图像识别模型的源域数据是风景照数据,而目标域数据是风景油画数据,此时,不需要对风景油画数据进行人工标注,并且不需要根据风景油画数据对预训练好的图像识别模型中的参数重新训练,就可以在线对风景油画数据进行识别,适合端侧布置,提高了预训练好的图像识别模型的泛化能力。
在某些实现方式中,获取单元具体用于:获取通过风格提取模块离线获得源域数据的特征风格数据。
在本申请实施例中,通过特征提取模块和风格提取模块,对源域数据的特征风格数据进行离线保存,可以进一步减少在线计算量,从而更加有助于减少后续将源域数据的特征风格数据转移至目标域数据特征的时间。
在某些实现方式中,源域数据的特征风格数据用中心协方差参数表示。
在某些实现方式中,源域数据的特征风格数据通过源域数据的高维特征矩阵的均值以及风格特征矩阵表示。
在某些实现方式中,源域数据的特征风格数据通过源域数据的高维特征矩阵的均值以及风格特征矩阵表示。
在某些实现方式中,风格特征矩阵满足公式:
其中,cov(Fs)表示源域数据的高维特征矩阵的协方差矩阵,Ds是协方差矩阵的特征值对角矩阵,Vs为协方差矩阵的特征向量正交矩阵;源域数据的特征风格数据通过源域数据的高维特征矩阵的均值mean(Fs)、第一风格矩阵Ds和第二风格矩阵Vs表示。
在某些实现方式中,目标域数据的目标高维特征矩阵满足公式:
其中,FT为目标高维特征矩阵,Dt表示目标域数据的初始高维特征矩阵相关的协方差矩阵对应的特征值对角矩阵,Vt表示目标域数据的初始高维特征矩阵相关的协方差矩阵对应的特征向量正交矩阵。
第四方面,提供了一种数据处理装置,还装置包括获取单元和处理单元,获取单元用于,获取源域的源域数据的特征风格数据;处理单元用于:将目将目标域数据输入目标特征提取模块,输出目标域数据的高维特征矩阵;将源域数据特征风格和目标域数据的初始高维特征矩阵,输入目标域特征自适应模块,根据源域数据的特征风格数据,对目标域数据的初始高维特征矩阵进行调整,以输出目标域数据的目标高维特征矩阵。
应理解,任务处理模块为通过源域中的数据已经训练好的,特征提取模块可以为通过源域中的数据预训练好的,还可以为人工设计好的。
还应理解,获取的特征风格数据对应的源域数据属于源域,该源域数据可以为不同于训练特征提取模块和任务处理模块时使用的源域中的数据,也可以为训练阶段中使用的源域中的数据。
应理解,源域中数据的数据类型可以是图像数据、音频数据、视频数据、运动/光学/ 压力传感器输入的一维时序信号等,本申请实施例对此不作限制。
在本申请实施例中,通过对目标域数据进行特征提取,和将源域数据的特征风格数据转移至目标域数据的高维特征矩阵上,这一系列的预处理,在对目标域数据的迁移学习中,当特征提取模块为预训练好的时,不需要重新针对目标域数据的特征提取,重新训练特征提取模块的参数,可以一定程度上降低迁移成本。
在某些实现方式中,处理单元还具体用于:将目标高维特征矩阵,输入目标任务处理模块,得到数据处理结果,其中,目标任务处理模块是通过目标训练数据训练得到的,目标训练数据和目标域数据属于相同的特征空间。
在本申请实施例中,当特征提取模块为预训练好的时,不需要对预训练好的神经网络模型中的特征提取模块的参数进行重新训练,通过将源域数据的风格特征迁移至目标域数据,就可以获得和源域数据的风格特征一致的目标域数据的高维特征矩阵,在一定程度上降低了迁移成本。与此同时,将该目标域数据的高维特征矩阵输入重新训练的目标任务处理模块,还可以提高对目标域数据的任务处理的准确性。
在某些实现方式中,获取单元具体用于:获取通过风格提取模块离线获得源域数据的特征风格数据。
在本申请实施例中,通过特征提取模块和风格提取模块,对源域数据的特征风格数据进行离线保存,可以进一步减少在线计算量,从而更加有助于减少后续将源域数据的特征风格数据转移至目标域数据特征的时间。
在某些实现方式中,源域数据的特征风格数据用中心协方差参数表示。
在某些实现方式中,源域数据的特征风格数据通过源域数据的高维特征矩阵的均值以及风格特征矩阵表示。
在某些实现方式中,风格特征矩阵满足公式:
其中,cov(Fs)表示源域数据的高维特征矩阵的协方差矩阵,Ds是协方差矩阵的特征值对角矩阵,Vs为协方差矩阵的特征向量正交矩阵;源域数据的特征风格数据通过源域数据的高维特征矩阵的均值mean(Fs)、第一风格矩阵Ds和第二风格矩阵Vs表示。
在某些实现方式中,目标域数据的目标高维特征矩阵满足公式:
其中,FT为目标高维特征矩阵,Dt表示目标域数据的初始高维特征矩阵相关的协方差矩阵对应的特征值对角矩阵,Vt表示目标域数据的初始高维特征矩阵相关的协方差矩阵对应的特征向量正交矩阵。
第五方面,提供了一种获取神经网络模型的方法,该方法包括:获取预训练好的任务处理模块,任务处理模块用于获得目标域数据的处理结果;获取特征提取模块,特征提取模块用于提取目标域数据的初始高维特征矩阵;获取目标域特征自适应模块,目标域特征自适应模块用于将源域数据的特征风格数据迁移至目标域数据的初始高维特征矩阵上;根据特征提取模块、目标域特征自适应模块和任务处理模块,获得目标神经网络模型。
应理解,预训练好的任务处理模块可以通过源域数据训练得到的。
应理解,特征提取模块可以是预训练好的神经网络模型,也可以为人工设计好的,本申请实施例对此不作限制。
在本申请实施例中,获取的目标神经网络模型,并不需要对预训练好的任务处理模块进行参数的重新训练,通过目标域特征自适应模块实现源域数据的特征风格数据的迁移,从而实现对目标域数据的任务处理,便于端侧布置,可以适用于任何一种预训练好的神经网络模型,提高的预训练好的神经网络模型的泛化能力
作为一种可能的实现方式,通过目标训练数据对任务处理模块重新训练,得到目标任务处理模块,其中,目标训练数据为经过源域数据特征风格数据迁移后的目标域数据的高维特征矩阵,目标训练数据和目标域数据属于相同的特征空间。
在本申请实施例中,当特征提取模块和任务处理模块都为预训练好的时,获取的目标神经网络模型,仅对预训练好的任务处理模块中的参数重新进行训练,可以一定程度上减少目标域数据迁移学习的迁移成本的同时,提高了对目标域数据处理的准确性。
第六方面,提供了一种获取神经网络模型的装置,该装置包括:存储器,用于存储程序;处理器,用于执行存储器存储的程序,当存储器存储的程序被执行时,处理器用于执行第五方面以及第五方面中的任意一种实现方式中的方法。
上述第六方面中的处理器既可以是中央处理器(central processing unit,CPU),也可以是CPU与神经网络模型运算处理器的组合,这里的神经网络模型运算处理器可以包括图形处理器(graphics processing unit,GPU)、神经网络模型处理器(neural-network processing unit,NPU)和张量处理器(tensor processing unit,TPU)等等。其中,TPU是谷歌(google)为机器学习全定制的人工智能加速器专用集成电路。
第七方面,提供了一种数据处理装置,该装置包括:存储器,用于存储程序;处理器,用于执行存储器存储的程序,当存储器存储的程序被执行时,处理器用于执行第一方面以及第一方面中的任意一种实现方式中的方法,或者处理器用于执行第二方面以及第二方面中的任意一种实现方式中的方法。
上述第七方面中的处理器既可以是中央处理器,也可以是CPU与神经网络模型运算处理器的组合,这里的神经网络模型运算处理器可以包括图形处理器、神经网络模型处理器和张量处理器等等。其中,TPU是谷歌为机器学习全定制的人工智能加速器专用集成电路。
第八方面,提供一种计算机可读介质,该计算机可读介质存储用于设备执行的程序代码,该程序代码包括用于执行第一方面或第二方面中的任意一种实现方式中的方法。
第九方面,提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述第一方面或第二方面中的任意一种实现方式中的方法。
第十方面,提供一种芯片,芯片包括处理器与数据接口,处理器通过数据接口读取存储器上存储的指令,执行上述第一方面或第二方面中的任意一种实现方式中的方法。
可选地,作为一种实现方式,芯片还可以包括存储器,存储器中存储有指令,处理器用于执行存储器上存储的指令,当指令被执行时,处理器用于执行第一方面或第二方面中的任意一种实现方式中的方法。
上述芯片具体可以是现场可编程门阵列(field-programmable gate array,FPGA)或者专用集成电路(application-specific integrated circuit,ASIC)。
附图说明
图1是本申请实施例提供的一种人工智能主体框架示意图;
图2为本申请实施例提供的一种系统架构的结构示意图;
图3为本申请实施例提供的一种卷积神经网络模型的结构示意图;
图4为本申请实施例提供的一种芯片的硬件结构示意图;
图5为本申请实施例提供的一种系统架构的示意图;
图6是本申请实施例提供的一种传统机器学习和迁移学习得到目标模型的对比示意图;
图7本申请实施例提供的一种获取神经网络模型的方法流程示意图;
图8是本申请实施例提供的一种预训练好的神经网络模型的架构示意图;
图9是本申请实施例提供的一种获取的神经网络模型的架构示意图;
图10是本申请实施例提供的一种数据处理方法的流程示意图;
图11是本申请实施例给出的一种源域数据的特征风格提取示意图;
图12是本申请实施例提供的一种数据处理方法的示意图;
图13是本申请实施例提供的另一种数据处理方法流程示意图;
图14是本申请实施例提供的一种数据处理装置1400的示意性框图;
图15是本申请实施例提供的一种数据处理装置的硬件结构示意图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1示出一种人工智能主体框架示意图,该主体框架描述了人工智能系统总体工作流程,适用于通用的人工智能领域需求。
下面从“智能信息链”(水平轴)和“信息技术(information technology,IT)价值链”(垂直轴)两个维度对上述人工智能主题框架进行详细的阐述。
“智能信息链”反映从数据的获取到处理的一列过程。举例来说,可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中,数据经历了“数据—信息—知识—智慧”的凝练过程。
“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程,反映人工智能为信息技术产业带来的价值。
(1)基础设施:
基础设施为人工智能系统提供计算能力支持,实现与外部世界的沟通,并通过基础平台实现支撑。
基础设施可以通过传感器与外部沟通,基础设施的计算能力可以由智能芯片提供。
这里的智能芯片可以是中央处理器(central processing unit,CPU)、神经网络模型处理器(neural-network processing unit,NPU)、图形处理器(graphics processingunit,GPU)、专门应用的集成电路(application specific integrated circuit,ASIC)以及现场可编程门阵列 (field programmable gate array,FPGA)等硬件加速芯片。
基础设施的基础平台可以包括分布式计算框架及网络等相关的平台保障和支持,可以包括云存储和计算、互联互通网络等。
例如,对于基础设施来说,可以通过传感器和外部沟通获取数据,然后将这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。
(2)数据:
基础设施的上一层的数据用于表示人工智能领域的数据来源。该数据涉及到图形、图像、语音、文本,还涉及到传统设备的物联网数据,包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
(3)数据处理:
上述数据处理通常包括数据训练,机器学习,深度学习,搜索,推理,决策等处理方式。
其中,机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
推理是指在计算机或智能系统中,模拟人类的智能推理方式,依据推理控制策略,利用形式化的信息进行机器思维和求解问题的过程,典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程,通常提供分类、排序、预测等功能。
(4)通用能力:
对数据经过上面提到的数据处理后,进一步基于数据处理的结果可以形成一些通用的能力,比如可以是算法或者一个通用系统,例如,翻译,文本的分析,计算机视觉的处理,语音识别,图像的识别等等。
(5)智能产品及行业应用:
智能产品及行业应用指人工智能系统在各领域的产品和应用,是对人工智能整体解决方案的封装,将智能信息决策产品化、实现落地应用,其应用领域主要包括:智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶,平安城市,智能终端等。
本申请实施例可以应用在人工智能中的很多领域,例如,智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶,平安城市等领域。
具体地,本申请实施例中的获取神经网络模型的方法可以具体应用在自动驾驶、图像分类、图像检索、图像语义分割、图像质量增强、图像超分辨率和自然语言处理等需要使用(深度)神经网络模型的领域。
下面对情绪识别应用场景进行简单的介绍。
情绪识别:
情绪识别在人工智能领域是指通过获取个体的生理或非生理信号对个体的情绪状态进行自动辨别,是情感计算的一种重要组成部分。对于非生理信号的情绪识别方法主要包括面部表情识别和语音语调识别,面部表情识别方法是根据表情与情绪间的对应关系来识别不同的情绪,在特定情绪状态下人们会产生特定的面部肌肉运动和表情模式,如心情愉悦时嘴角上翘,眼部会出现环形褶皱;愤怒时会皱眉,睁大眼睛等。
目前,面部表情识别多采用图像识别的方法来实现,因此,需要使用大量的包括面部表情的图像数据对情绪识别模型进行训练。然而,如果训练好的情绪识别模型在识别一个新的图像数据,这个新的图像数据和模型训练阶段的训练数据不属于相同的特征空间,没有统一的分布,那么训练好的情绪识别模型对新的图像数据的情绪识别结果未必准确。例如,训练好的情绪识别模型对未参与训练的人脸图像或者不同肤色的人脸图像的识别精度降低。
通过本申请实施例中的获取神经网络模型的方法,能够获得适用于新的人脸图像数据的目标神经网络模型,提高了训练好的神经网络模型的泛化能力。
由于本申请实施例涉及大量神经网络模型的应用,为了便于理解,下面先对本申请实施例可能涉及的神经网络模型的相关术语和概念进行介绍。
(1)神经网络模型
神经网络模型可以是由神经单元组成的,神经单元可以是指以xs和截距1为输入的运算单元,该运算单元的输出可以为:
其中,s=1、2、……n,n为大于1的自然数,Ws为xs的权重,b为神经单元的偏置。 f为神经单元的激活函数(activation functions),用于将非线性特性引入神经网络模型中,来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入,激活函数可以是sigmoid函数。神经网络模型是将多个上述单一的神经单元联结在一起形成的网络,即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连,来提取局部接受域的特征,局部接受域可以是由若干个神经单元组成的区域。
(2)卷积神经网络模型(convolutional neuron network,CNN)
卷积神经网络模型卷积神经网络是一种带有卷积核神经网络。卷积核可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。一个卷积层中,通常包含若干个特征平面,每个特征平面可以由一些矩形排列的神经单元组成。
(3)循环神经网络模型(recurrent neural networks,RNN)
循环神经网络模型是用来处理序列数据的。循环神经网络模型与序列化的数据有很强的模型拟合能力。RNN之所以称为循环神经网路,即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中,即隐含层本层之间的节点不再无连接而是有连接的,并且隐含层的输入不仅包括输入层的输出还包括上一时刻隐含层的输出。理论上,RNN能够对任何长度的序列数据进行处理。
(4)损失函数
在训练神经网络模型的过程中,因为希望神经网络模型的输出尽可能的接近真正想要预测的值,所以可以通过比较当前网络的预测值和真正想要的目标值,再根据两者之间的差异情况来更新每一层神经网络模型的权重向量(当然,在第一次更新之前通常会有化的过程,即为深度神经网络模型中的各层预先配置参数),比如,如果网络的预测值高了,就调整权重向量让它预测低一些,不断地调整,直到深度神经网络模型能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此,就需要预先定义“如何比较预测值和目标值之间的差异”,这便是损失函数(loss function)或目标函数(objectivefunction),它们是用于衡量预测值和目标值的差异的重要方程。其中,以损失函数举例,损失函数的输出值(loss)越高表示差异越大,那么深度神经网络模型的训练就变成了尽可能缩小这个loss的过程。
(5)迁移学习
迁移学习是机器学习领域用于解决标记数据难获取这一基础问题的重要手段。也就是运用已有的知识学习新的知识。在迁移学习中,将已有的知识成为源域(sourcedomain),将要学习的新知识叫目标域(target domain)。
(6)源域数据
源域数据是事先采集好并且用于模型训练的已知数据或已知知识。
(7)目标数据
目标域数据是模型训练阶段未知的新数据或新知识。
如图2所示,本申请实施例提供了一种系统架构100。在图2中,数据采集设备160用于采集训练数据。在迁移学习中,数据采集设备160采集的训练数据也可以称为源域数据。针对用于图像分类的神经网络模型来说,源域数据可以包括训练图像以及训练图像对应的分类结果,其中,训练图像的结果可以是人工预先标注的结果。
在采集到源域数据之后,数据采集设备160将这些源域数据存入数据库130,训练设备120基于数据库130中维护的源域数据训练得到目标模型/规则101。
下面对训练设备120基于训练数据得到目标模型/规则101进行描述,训练设备120对输入的原始图像进行处理,将输出的图像与原始图像进行对比,直到训练设备120输出的图像与原始图像的差值小于一定的阈值,从而完成目标模型/规则101的训练。在本申请实施例中,训练设备120可以用于获取预训练好的神经网络模型,通过本申请实施例中的数据处理方法可以直接将预训练好的神经网络模型作为目标模型/规则101的一部分,从而对目标域数据进行处理。目标域数据可以存储于数据库130中,也可以是来自客户设备140。在一些可能的实现方式中,训练设备120也可以用于预训练神经网络模型。该神经网络模型是基于源域数据训练得到的。该源域数据也可以存储于数据库130中。
上述目标模型/规则101能够用于实现本申请实施例的数据处理方法。在本申请实施例中的目标模型/规则101的一部分为预训练好的神经网络模型。需要说明的是,在实际的应用中,所述数据库130中维护的源域数据不一定都来自于数据采集设备160的采集,也有可能是从其他设备接收得到的。另外需要说明的是,训练设备120也不一定完全基于数据库130维护的源域数据进行神经网络模型的训练,也有可能从云端或其他地方获取训练数据进行模型训练,上述描述不应该作为对本申请实施例的限定。
根据训练设备120训练得到的预训练好的神经网络模型作为目标模型/规则101的一部分可以应用于不同的系统或设备中,如应用于图2所示的执行设备110,所述执行设备110可以是终端,如手机终端,平板电脑,笔记本电脑,增强现实(augmented reality,AR)AR/虚拟现实(virtual reality,VR),车载终端等,还可以是服务器或者云端等。在图2 中,执行设备110配置输入/输出(input/output,I/O)接口112,用于与外部设备进行数据交互,用户可以通过客户设备140向I/O接口112输入数据,所述输入数据在本申请实施例中可以包括:客户设备输入的待处理数据。
在执行设备110对输入数据进行预处理,或者在执行设备110的计算模块111执行计算等相关的处理过程中,执行设备110可以调用数据存储系统150中的数据、代码等以用于相应的处理,也可以将相应处理得到的数据、指令等存入数据存储系统150中。
最后,I/O接口112将处理结果,如上述得到的图像的分类结果返回给客户设备140,从而提供给用户。
值得说明的是,在本申请实施例中,训练设备120可以针对不同的目标或者不同的任务,基于不同的源域数据生成相应的预训练好的神经网络模型,将预训练好的神经网络模型迁移至目标模型/规则101,也就是将预训练好的神经网络模型作为目标模型/规则101的一部分,通过本申请实施例的数据处理方法,对目标域数据进行处理,从而为用户提供所需的结果。
在图2中所示情况下,用户可以手动给定输入数据,该手动给定可以通过I/O接口112 提供的界面进行操作。另一种情况下,客户设备140可以自动地向I/O接口112发送输入数据,如果要求客户设备140自动发送输入数据需要获得用户的授权,则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果,具体的呈现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端,采集如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果作为新的样本数据,并存入数据库130。当然,也可以不经过客户设备140进行采集,而是由I/O接口 112直接将如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果,作为新的样本数据存入数据库130。
值得注意的是,图2仅是本申请实施例提供的一种系统架构的示意图,图中所示设备、器件、模块等之间的位置关系不构成任何限制,例如,在图2中,数据存储系统150相对执行设备110是外部存储器,在其它情况下,也可以将数据存储系统150置于执行设备 110中。
如图2所示,根据训练设备120训练得到的预训练好的神经网络模型的类型在本申请实施例中不作限制。例如,可以是CNN,深度卷积神经网络模型(deep convolutionalneural network,DCNN)、循环神经网络模型RNN等等。
由于CNN是一种非常常见的神经网络模型,下面结合图3重点对CNN的结构进行详细的介绍。如上文的基础概念介绍所述,卷积神经网络模型是一种带有卷积结构的深度神经网络模型,是一种深度学习(deep learning)架构,深度学习架构是指通过神经网络模型更新的算法,在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构,CNN 是一种前馈(feed-forward)人工神经网络模型,该前馈人工神经网络模型中的各个神经元可以对输入其中的数据作出响应。以下具体说明是以待处理的数据为图像数据进行举例说明。
本申请实施例的数据处理方法具体采用的神经网络模型的部分结构可以如图3所示。在图3中,卷积神经网络模型(CNN)200可以包括输入层210,卷积层/池化层220(其中池化层为可选的),以及神经网络模型层230。其中,输入层210可以获取待处理图像,并将获取到的待处理图像交由卷积层/池化层220以及后面的神经网络模型层230进行处理,可以得到图像的处理结果。下面对图3中的CNN 200中内部的层结构进行详细的介绍。
卷积层/池化层220:
卷积层:
如图3所示卷积层/池化层220可以包括如示例221-226层,举例来说:在一种实现中, 221层为卷积层,222层为池化层,223层为卷积层,224层为池化层,225为卷积层,226为池化层;在另一种实现方式中,221、222为卷积层,223为池化层,224、225为卷积层,226为池化层。即卷积层的输出可以作为随后的池化层的输入,也可以作为另一个卷积层的输入以继续进行卷积操作。
下面将以卷积层221为例,介绍一层卷积层的内部工作原理。
卷积层221可以包括很多个卷积算子,卷积算子也称为核,其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器,卷积算子本质上可以是一个权重矩阵,这个权重矩阵通常被预先定义,在对图像进行卷积操作的过程中,权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理,从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关,需要注意的是,权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的,在进行卷积运算的过程中,权重矩阵会延伸到输入图像的整个深度。因此,和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出,但是大多数情况下不使用单一权重矩阵,而是应用多个尺寸(行×列)相同的权重矩阵,即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度,这里的维度可以理解为由上面所述的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征,例如一个权重矩阵用来提取图像边缘信息,另一个权重矩阵用来提取图像的特定颜色,又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵尺寸(行×列) 相同,经过该多个尺寸相同的权重矩阵提取后的卷积特征图的尺寸也相同,再将提取到的多个尺寸相同的卷积特征图合并形成卷积运算的输出。
这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到,通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息,从而使得卷积神经网络模型 200进行正确的预测。
当卷积神经网络模型200有多个卷积层的时候,越往前的卷积层(例如221)往往提取较多的一般特征,该一般特征也可以称之为低级别的特征;随着卷积神经网络模型200深度的加深,越往后的卷积层(例如226)提取到的特征越来越复杂,比如高级别的语义之类的特征,语义越高的特征越适用于待解决的问题。
池化层:
由于常常需要减少训练参数的数量,因此卷积层之后常常需要周期性的引入池化层,在如图3中220所示例的221-226各层,可以是一层卷积层后面跟一层池化层,也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中,池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子,以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外,就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样,池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸,池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。
神经网络模型层230:
在经过卷积层/池化层220的处理后,卷积神经网络模型200还不足以输出所需要的输出信息。因为如前所述,卷积层/池化层220只会提取特征,并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或其他相关信息),卷积神经网络模型200需要利用神经网络模型层230来生成一个或者一组所需要的类的数量的输出。因此,在神经网络模型层230中可以包括多层隐含层(如图3所示的231、232至23n)以及输出层240,该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到,例如该任务类型可以包括图像识别,图像分类,图像超分辨率重建等等。
在神经网络模型层230中的多层隐含层之后,也就是整个卷积神经网络模型200的最后层为输出层240,该输出层240具有类似分类交叉熵的损失函数,具体用于计算预测误差,一旦整个卷积神经网络模型200的前向传播(如图3由210至240方向的传播为前向传播)完成,反向传播(如图3由240至210方向的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏差,以减少卷积神经网络模型200的损失,及卷积神经网络模型200通过输出层输出的结果和理想结果之间的误差。
需要说明的是,图3所示的卷积神经网络模型仅作为一种本申请实施例的数据处理方法的两种可能的卷积神经网络模型的示例。在具体的应用中,本申请实施例的数据处理方法所采用的神经网络模型还可以以其他网络模型的形式存在。
另外,采用本申请实施例的获取神经网络模型方法得到的神经网络模型可以用于本申请实施例中的数据处理方法。
图4为本申请实施例提供的一种芯片的硬件结构,该芯片包括神经网络模型处理器 50。该芯片可以被设置在如图2所示的执行设备110中,用以完成计算模块111的计算工作。该芯片也可以被设置在如图2所示的训练设备120中,用以完成训练设备120的训练工作。如图3所示的卷积神经网络模型中各层的算法均可在如图5所示的芯片中得以实现。
神经网络模型处理器NPU 50作为协处理器挂载到主中央处理器(centralprocessing unit,CPU)(host CPU)上,由主CPU分配任务。NPU的核心部分为运算电路503,控制器504控制运算电路503提取存储器(权重存储器或输入存储器)中的数据并进行运算。
在一些实现中,运算电路503内部包括多个处理单元(process engine,PE)。在一些实现中,运算电路503是二维脉动阵列。运算电路503还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中,运算电路503是通用的矩阵处理器。
举例来说,假设有输入矩阵A,权重矩阵B,输出矩阵C。运算电路从权重存储器502中取矩阵B相应的数据,并缓存在运算电路中每一个PE上。运算电路从输入存储器501 中取矩阵A数据与矩阵B进行矩阵运算,得到的矩阵的部分结果或最终结果,保存在累加器(accumulator)508中。
向量计算单元507可以对运算电路的输出做进一步处理,如向量乘,向量加,指数运算,对数运算,大小比较等等。例如,向量计算单元507可以用于神经网络模型中非卷积/非FC层的网络计算,如池化(pooling),批归一化(batch normalization),局部响应归一化(local response normalization)等。
在一些实现种,向量计算单元能507将经处理的输出的向量存储到统一缓存器506。例如,向量计算单元507可以将非线性函数应用到运算电路503的输出,例如累加值的向量,用以生成激活值。在一些实现中,向量计算单元507生成归一化的值、合并值,或二者均有。在一些实现中,处理过的输出的向量能够用作到运算电路503的激活输入,例如用于在神经网络模型中的后续层中的使用。
统一存储器506用于存放输入数据以及输出数据。
存储单元访问控制器505(direct memory access controller,DMAC)将外部存储器中的输入数据搬运到输入存储器501和/或统一存储器506、将外部存储器中的权重数据存入权重存储器502,以及将统一存储器506中的数据存入外部存储器。
总线接口单元(bus interface unit,BIU)510,用于通过总线实现主CPU、DMAC和取指存储器509之间进行交互。
与控制器504连接的取指存储器(instruction fetch buffer)509,用于存储控制器504 使用的指令;
控制器504,用于调用指存储器509中缓存的指令,实现控制该运算加速器的工作过程。
一般地,统一存储器506,输入存储器501,权重存储器502以及取指存储器509均为片上(On-Chip)存储器,外部存储器为该NPU外部的存储器,该外部存储器可以为双倍数据率同步动态随机存储器(double data rate synchronous dynamic random accessmemory,简称DDR SDRAM)、高带宽存储器(high bandwidth memory,HBM)或其他可读可写的存储器。
其中,神经网络模型,例如,图3所示的卷积神经网络模型中各层的运算可以由运算电路503或向量计算单元507执行。示例性地,本申请实施例中对超网络模型进行预训练的运算可以由运算电路503或向量计算单元507执行。示例性地,本申请实施例中基于目标数据集迁移预训练的神经网络模型的运算可以由运算电路503或向量计算单元507执行。示例性地,本申请实施例中的目标神经网络模型中的各层的运算可以由运算电路503或向量计算单元507执行。
上文中介绍的图2中的执行设备110能够执行本申请实施例的数据处理方法的各个步骤,图4所示的芯片也可以用于执行本申请实施例的数据处理方法的各个步骤。
上文中介绍的图2中的训练设备110能够执行本申请实施例的获取预训练好的神经网络模型的方法的各个步骤,图4所示的芯片也可以用于执行本申请实施例的获取神经网络模型的各个步骤。
如图5所示,本申请实施例提供了一种系统架构300。该系统架构包括本地设备301、本地设备302以及执行设备310和数据存储系统350,其中,本地设备301和本地设备302通过通信网络与执行设备310连接。
执行设备310可以由一个或多个服务器实现。可选的,执行设备310可以与其它计算设备配合使用,例如:数据存储器、路由器、负载均衡器等设备。执行设备310可以布置在一个物理站点上,或者分布在多个物理站点上。执行设备310可以使用数据存储系统 350中的数据,或者调用数据存储系统350中的程序代码来实现本申请实施例的获取神经网络模型方法或数据处理方法。
通过本申请实施例中获取目标神经网络的方法执行设备110能够获取一个目标神经网络模型,该目标神经网络模型可以用于数据处理等等。
用户可以操作各自的用户设备(例如本地设备301和本地设备302)与执行设备310进行交互。每个本地设备可以表示任何计算设备,例如个人计算机、计算机工作站、智能手机、平板电脑、智能摄像头、智能汽车或其他类型蜂窝电话、媒体消费设备、可穿戴设备、机顶盒、游戏机等。
每个用户的本地设备可以通过任何通信机制/通信标准的通信网络与执行设备310进行交互,通信网络可以是广域网、局域网、点对点连接等方式,或它们的任意组合。
在一种实现方式中,本地设备301、本地设备302从执行设备310获取到目标神经网络模型的相关参数,将目标神经网络模型部署在本地设备301、本地设备302上,利用该目标神经网络模型进行数据处理等等。
在另一种实现中,执行设备310上可以直接部署目标神经网络模型,执行设备310通过从本地设备301和本地设备302获取目标域数据,并采用目标神经网络模型对目标域数据进行处理。
上述执行设备310也可以为云端设备,此时,执行设备310可以部署在云端;或者,上述执行设备310也可以为终端设备,此时,执行设备310可以部署在用户终端侧,本申请实施例对此并不限定。
图6是本申请实施例提供的一种传统机器学习和迁移学习得到目标模型的对比示意图。图6的(a)是传统机器学习训练得到目标模型的示意图,如图6的(a)所示,不同的任务对应的训练数据都是进行独立地进行模型训练。例如,如果任务A是识别室内宠物图像,那么在训练目标模型时,需要使用大量的标记有室内宠物标签的训练数据进行训练。如果任务B是识别室外宠物图像,那么在训练目标模型时,需要使用大量的标记有室外宠物标签训练数据进行训练。在传统机器学习中,虽然室内宠物和室外宠物之间存在一些共通特征,但是训练识别室内宠物和室外宠物的模型分别需要使用大量的数据进行独立训练,才能各自得到识别精度高的识别模型。
传统的机器学习存在以下几个问题。
第一,对数据及计算资源需求大的问题,通过传统机器学习训练获得的模型只能对在训练数据中相同或相似的数据具有较好泛化能力,如果模型对未知数据具有更好的泛化能力,往往需要依靠将大量未知的目标域数据加入训练数据集中进行训练,从而得到泛化能力更好的模型。这将导致训练数据集中的数据量不断增加,以及对模型训练的计算量呈指数增长。其中,泛化能力是指机器学习算法对未知样本(即,未在训练数据集中出现过的样本)的适应能力,也就是,通过机器学习算法对隐含在输入数据背后的规律进行探索,对具有同一规律的训练数据集以外的数据,经过训练好的模型也能给出合适输出的能力。
第二,处理新任务的灵活性差并且训练好的模型只适用于单一场景,传统的机器学习通过训练已知知识得到训练好的模型,训练好的模型对处理已知知识的能力较强,但是通过训练好的模型处理属于新任务的新数据,得到的处理结果的精度往往会降低很多。也就是通过传统机器学习训练好的模型擅长处理封闭环境中的感知问题,在开放环境中容易引发安全问题。例如,训练好的室内物体识别模型,比如监控领域,对于环境最好不要改变,如果环境发生变化,例如重新装修,识别效果会大大折扣甚至错误。训练好的模型只适用于单一场景,例如,在训练情绪识别模型时,往往需要大量不同人种的每种表情的训练数据,但是训练好的情绪识别模型对未知的人脸或不同肤色的人脸的情绪识别精度较低。
迁移学习可以利用训练好的模型中得到的知识,根据新的数据,进行模型训练。迁移学习可以应用于新任务的训练数据较少的情况。图6的(b)是迁移学习训练得到目标模型的示意图,如图6的(b)所示,对源任务的源域数据训练获取已有知识,在已有知识的基础上,根据目标任务的目标域数据进行模型训练得到目标模型。这个目标模型用于处理目标任务对应的数据。迁移学习可以简单地理解为将处理源任务的已有知识迁移到训练处理目标任务的模型上,从而可以实现自适应地处理新的智能任务。
目前有很多具体的迁移学习,例如,深度迁移学习(deepdomain confusion,DDC)和在线迁移学习(online transfer learning,OTL)。
DDC是基于离线训练的自适应迁移学习,通过在源域和目标域之间添加一层自适应层以及添加域混淆损失函数来让预训练好的神经网络模型学习如何分类的同时,减小源域和目标域之间的分布差异,从而实现域的自适应。预训练好的网络有两条流向,一条流向的输入数据为带标签的源数据,另一条流向的输入数据为不带标签的目标域数据。两条流向的源域数据和目标域数据共享预训练好的神经网络模型的权重,DDC在分类器前一层加入适配层,适配层的输出为域损失,将源域数据特征和目标域数据特征之间的最大平均差异(maximum mean discrepancy,MMD)距离作为域损失,通过最小化MMD距离来训练适配层。也就是对于DDC这种离线训练的自适应迁移学习方法而言,需要使用大量源域数据和目标域数据来训练加入预训练神经网络模型中的适配层,才能使得适配层获得自适应能力。因此,虽然通过DDC获得目标神经网络模型具有自适应能力,但是存在需要利用大量源域数据和目标域数据、大量计算资源以及大量时间对适配层进行离线训练的问题。
OTL是一种在线训练的自适应迁移学习方法,OTL在目标神经网络训练阶段,针对源域数据建立一个源域分类器,然后,对每个目标域数据的输入分别建立不同的目标域分类器,例如,针对第一目标域数据建立第一目标域分类器,针对第二目标域数据建立第二目标域分类器,以此类推。随后OTL的核心是确定每个目标域分类器和源域分类器的权重组合,以利用组合后的模型完成智能任务。OTL可以在线实现对目标域数据的自适应迁移学习,但是依然存在需要大量带标签的源域数据、计算资源需求大、算力和时间开销大的问题。算力和时间开销大的问题体现在,每个目标域数据输入后,均需要通过目标域分类器和源域分类器得到一个新的目标模型来完成实际的智能任务。除此以外,目标模型中的目标域分类器和源域分类器的权重计算使用的是传统方法,计算复杂,不利于落地实现。
因此,目前的针对神经网络模型的迁移学习,无论是离线的自适应迁移学习还是在线的自适应迁移学习,都需要在消耗大量计算资源和时间对神经网络模型进行训练和调整,并且上述的训练过程都是有监督的,也就是需要消耗大量人力和物力去得到带标签的源域数据,这将大大增加预训练好的模型的迁移成本。
为了解决上述问题,本申请实施例提出了一种数据处理方法和装置,来实现低成本的在线自适应迁移。下面将结合图7图13对获取神经网络模型的方法和数据处理方法做详细描述。
图7本申请实施例提供的一种获取神经网络模型的方法流程示意图。
S701,获取预训练好的任务处理模块,任务处理模块用于获得数据的处理结果。
应理解,预训练好的任务处理模块可以通过源域数据训练得到的。
S702,获取特征提取模块,特征提取模块用于提取数据的高维特征矩阵。
应理解,特征提取模块可以是预训练好的神经网络模型,也可以为人工设计好的,本申请实施例对此不作限制。
当任务处理模块和特征提取模块均为预训练好的神经网络模型时,通过源域数据训练得到的神经网络模型可以是任何一种神经网络模型,例如,卷积神经网络模型、循环神经网络模型、Transformer神经网络模型等,本申请实施例对此不作限制。
下文以预训练好的神经网络模型为卷积神经网络模型进行举例说明,图8是本申请实施例提供的一种预训练好的神经网络模型的架构示意图。
如图8所示,特征提取模块可以包括卷积层和/或池化层,示例性地,特征提取模块可以用于提取目标域数据的高维特征矩阵,还可以用于提取源域数据的高维特征矩阵。任务处理模块可以包括全连接层,示例性地,任务处理模块用于获得目标域数据的处理结果。
示例性地,预训练好的神经网络模型有N层神经网络,其中,第1层到第m层为特征提取模块,1≤m≤M,M为小于N的正整数,例如,在图8中为前4层为特征提取模块;第m+1层至第N层为任务处理模块,例如,在图8中后4层为任务处理模块。
S703,获取目标域特征自适应模块,目标域特征自适应模块用于将源域数据的特征风格数据迁移至目标域数据的初始高维特征矩阵上。
作为一种可能的实现方式,将中心协方差参数作为源域数据的特征风格数据,特征风格数据还可以用其他参数表示,例如,特征值、余弦距离、相对熵(Kullback-Leiblerdivergence,K-L散度)和希尔伯特-施密特(Hilbert-Schmidt)独立性系数等,本申请实施例对此不作限制。
S704,根据特征提取模块、目标域特征自适应模块和任务处理模块,获得目标神经网络模型。
作为一种可能的实现方式,目标神经网络模型中的特征提取模块和任务处理模块,和获取的特征提取模块和预训练好的任务处理模块相同。也就是,如果特征提取模块是预训练好的,那么目标神经网络模型中的这两个模块不需要根据目标域数据重新训练,目标神经网络模型中的两个模块中的参数数值和预训练好的神经网络模型相同。如果特征提取模块是人工设计好的,预训练好的任务处理模块不需要根据目标域数据重新训练,目标神经网络模型中的任务处理模块的参数数值和预训练好的相同。
图9是本申请实施例提供的一种获取的神经网络模型的架构示意图。如图9所示,特征提取模块的输出作为目标域特征自适应模块的输入,得到特征风格迁移后的目标域数据的目标高维特征矩阵,该目标域数据的目标高维特征矩阵作为任务处理模块的输入,得到任务处理结果。
需要说明的是,目标域特征自适应模块的具体实现源域数据的特征风格数据的迁移,将结合图10在后续对目标神经网络模型的应用中具体说明。
在本申请实施例中,获取的目标神经网络模型,并不需要对预训练好的神经网络模型进行参数的重新训练,通过目标域特征自适应模块实现源域数据的特征风格数据的迁移,从而实现对目标域数据的任务处理,便于端侧布置,可以适用于任何一种预训练好的神经网络模型,提高的预训练好的神经网络模型的泛化能力。
作为一种可能的实现方式,目标神经网络模型中的特征提取模块和获取的特征提取模块相同,目标神经网络模型中的任务处理模块可以是根据特征风格转移后的目标域高维特征矩阵,对预训练好的神经网络模型中的任务处理模块中的参数重新进行训练,得到目标任务处理模块。此时,目标神经网络模型包括获取的特征提取模块、目标域特征自适应模块和目标任务处理模块。
具体而言,当获取的特征提取模块为预训练好的时,本申请实施例中的目标神经网络模型中的特征提取模块不要通过目标域数据进行重新训练;当获取的特征提取模块为人工设计的时,本申请实施例中的目标神经网络模型中的特征提取模块直接使用人工设计好的。
在本申请实施例中,当特征提取模块和任务处理模块都为预训练好的时,获取的目标神经网络模型,仅对预训练好的任务处理模块中的参数重新进行训练,可以一定程度上减少目标域数据迁移学习的迁移成本的同时,提高了对目标域数据处理的准确性。
上述方案是对本申请实施例中使用的目标神经网络模型的获取阶段做了详细说明,下面将结合图10至图12对目标神经网络模型的推理应用阶段,也就是数据处理阶段做详细说明。
图10是本申请实施例提供的一种数据处理方法的流程示意图。
S1001,获取源域的源域数据的特征风格数据。
应理解,源域中的源域数据的数据类型可以是图像数据、音频数据、视频数据、运动 /光学/压力传感器输入的一维时序信号等,本申请实施例对此不作限制。
作为一种可能的实现方式,将源域数据输入特征提取模块,输出源域数据的高维特征矩阵;将源域数据的高维特征矩阵输入风格提取模块,获得源域数据的特征风格数据。
需要说明的是,以源域数据为输入的特征提取模块可以为预训练好的神经网络模型的特征提取模块,该特征提取模块和目标神经网络模型的特征提取模块相同;该特征提取模块还可以是人工设计好的特征提取模块。
作为一种可能的实现方式,将源域数据输入特征提取模块,离线保存输出的源域数据的高维特征矩阵;将离线保存的源域数据的高维特征矩阵作为风格提取模块的输入,得到源域数据的特征风格数据。
在本申请实施例中,通过特征提取模块离线保存源域数据的高维特征矩阵,可以减少对源域数据的特征风格数据的获取时间,减少在线计算量,从而有助于减少后续将源域数据的特征风格数据转移至目标域数据特征的时间。
作为一种可能的实现方式,将源域数据输入特征提取模块,离线保存输出的源域数据的高维特征矩阵;将离线保存的源域数据的高维特征矩阵输入风格提取模块,离线保存输出的源域数据的特征风格数据,从而直接读取源域数据的特征风格数据。
在本申请实施例中,通过特征提取模块和风格提取模块,对源域数据的特征风格数据进行离线保存,可以进一步减少在线计算量,从而更加有助于减少后续将源域数据的特征风格数据转移至目标域数据特征的时间。
图11是本申请实施例给出的一种源域数据的特征风格数据提取示意图。
如图11所示,第一步,根据源域数据的数据任务类型,将源域数据输入特征提取模块,获得源域数据的高维特征矩阵;第二步,根据源域数据的数据任务类型,将源域数据的高维特征矩阵输入风格提取模块,获得源域数据的特征风格数据。
下面,针对源域数据的数据任务类型,分别详细说明图11的源域数据的特征风格数据提取方式。也就是,针对不同的训练任务,源域数据的数据任务类型可以是不同的。源域数据可以包括区分类别的数据,例如,区分类别的源域数据用于进行分类任务训练的数据。源域数据还可以包括不区分类别的数据,例如,不区分类别的源域数据用于图像重构任务训练的数据。因此,不同数据任务类型的源域数据的具体的特征风格数据提取方式不同。
应理解,根据不同的训练任务,通过源域数据训练得到的预训练好的神经网络模型中的特征提取模块是不同的,为了更清晰地理解下述的方案,将分类任务的特征提取模块称为“第一特征提取模块”,将图像重构任务的特征提取模块称为“第二特征提取模块”
对于源域数据包括区分类别的数据,第一步可以具体为将源域数据中不同类别的数据分别输入第一特征提取模块中,分别获得不同的第一高维特征矩阵。
示例性地,对于通过源域数据训练得到的5分类任务神经网络模型,源域数据中的每一类数据对应的样本数量可以不同,将每一类源域数据分别输入第一特征提取模块中,分别得到5个第一高维特征矩阵。
对于源域数据包括区分类别的数据,第二步可以具体为:
第一,分别对不同的第一高维特征矩阵进行降维处理(例如,聚类降维或者平均降维,本申请实施例对具体的降维方式不作限制),得到不同的第二高维特征矩阵,其中,第二高维特征矩阵的维度数量要远小于第一高维特征矩阵的维度数量。
示例性地,对上述5个第一高维特征矩阵分别进行降维处理,得到5个第二高维特征矩阵。
第二,继续对不同的第二高维特征矩阵继续进行降维处理,得到1个第三高维特征矩阵Fs。
示例性地,对上述5个第二高维特征矩阵继续进行降维处理,得到1个第三高维特征矩阵Fs。
第三,对该第三高维特征矩阵Fs进行均值运算,得到均值mean(Fs),进而得到第四高维特征矩阵其中,第四高维特征矩阵中每个元素为第三高维特征矩阵中每个元素和均值之间的差值,也就是第四高维特征矩阵/>均均值为0。
第四,对第四高维特征矩阵通过奇异值分解,得到源域数据的特征风格矩阵,也就是协方差矩阵其中,Ds是协方差矩阵/>均特征值对角矩阵,Vs为相应的特征向量正交矩阵。将第三高维特征矩阵的均值mean(Fs)、第一风格矩阵Ds和第二风格矩阵Vs,确定为源域数据的特征风格数据的风格参数。
应理解,本申请实施例对奇异值分解的具体过程不作限定,可以为通过传统算法计算得到,也可以通过神经网络计算得到。
还应理解,本申请实施例中对源域数据的特征风格数据提取的具体方式为示例性的,还可以有其他风格提取方式,本申请实施例对此不作限制。
对于源域数据包括不区分类别的数据,第一步可以具体为直接将源域数据输入第二特征提取模块,直接得到第一高维特征矩阵。
对于源域数据包括不区分类别的数据,第二步可以具体为:将第一步获得的第一高维特征矩阵进行降维处理,直接得到1个第三高维特征矩阵Fs,其中,第三高维特征矩阵的维度数量要远小于第一高维特征矩阵的维度数量。随后的步骤和上述对于源域数据包括区分类别的数据中第二步中的第三和第四相同,为了简洁,在此不作赘述。
在本申请实施例中,针对不同的源域数据的数据任务类型,提出了不同的源域数据的风格特征提取的具体方式,可以灵活地选择合适的风格提取方式。例如,对于源域数据包括区分类别的数据,由于不同类别对应的源域数据量可能不同,通过本申请中分类别对第一高维特征矩阵进行降维处理,可以降低数据量的不平衡带来的影响,进而获得的源域数据的风格特征参数更加准确,有助于在后续分类任务中的目标域数据的特征自适应过程中得到更加准确的目标域数据的目标特征。
S1002,将目标域数据输入特征提取模块,输出目标域数据的初始高维特征矩阵。
作为一种可能的实现方式,特征提取模块可以是上述目标神经网络模型中的特征提取模块,它和预训练好的神经网络模型中的特征提取模块是相同的。
作为一种可能的实现方式,特征提取模块还可以是人工设计的特征提取模块。
作为一种可能的实现方式,单个目标域数据输入特征提取模块,输出单个目标域数据对应的第五高维特征矩阵Ft,也就是目标域数据的初始高维特征矩阵。
作为一种可能的实现方式,将多个目标域数据输入特征提取模型中,分别输出多个目标域数据对应的第五高维特征矩阵Ft,并保存多个第五高维特征矩阵Ft,多个第五高维特征矩阵也就是目标域数据的初始高维特征矩阵。
S1003,将源域数据的特征风格数据和目标域数据的初始高维特征矩阵,输入目标域特征自适应模块,根据源域数据的特征风格数据,对目标域数据的初始高维特征矩阵进行调整,以输出目标域数据的目标高维特征矩阵。
应理解,目标域特征自适应模块是上述目标神经网络模型中的目标域特征自适应模块。
具体地,第一,对第五高维特征矩阵Ft进行均值运算,得到均值mean(Ft),进而得到第六高维特征矩阵其中,第六高维特征矩阵中每个元素为第五高维特征矩阵中每个元素和均值之间的差值,也就是第六高维特征矩阵/>的均值为0。
第二,对第六高维特征矩阵通过奇异值分解,也就是协方差矩阵 其中,Dt是协方差矩阵/>的特征值对角矩阵,Vt为相应的特征向量正交矩阵,其中,Dt为第一目标域数据风格矩阵,Vt为第二目标域数据风格矩阵。
第三,根据第一目标域数据风格矩阵、第二目标域数据风格矩阵和源域数据的特征风格数据的风格参数,得到风格转移后的目标域数据的目标高维特征矩阵FT。其中,目标高维特征矩阵满足公式(1)
其中,Dt为第一目标域数据风格矩阵,Vt为第二目标域数据风格矩阵,Ds为源域数据的特征风格数据的风格参数中的第一风格矩阵,Vs为源域数据的特征风格的风格参数中的第二风格矩阵,mean(Fs)为源域数据的特征风格的风格参数中的第三高维特征矩阵的均值。
作为一种可能的实现方式,对于单个输入的目标域数据对应的第五高维特征矩阵Ft,通过上述方式得到目标高维特征矩阵FT。
作为一种可能的实现方式,对于保存的多个第五高维特征矩阵Ft,通过上述方式分别得到多个目标高维特征矩阵FT,并保存多个目标高维特征矩阵FT。
S1004,将目标高维特征矩阵,输入任务处理模块,得到数据处理结果,其中,任务处理模块是通过源域数据预训练好的。
应理解,任务处理模块是上述目标神经网络模型中的特征提取模块,它和预训练好的神经网络模型中的任务处理模块是相同的。
作为一种可能的实现方式,对于单个输入的目标域数据对应的目标高维特征矩阵FT,直接将该目标高维特征矩阵FT输入任务处理模块,得到数据处理结果。
作为一种可能的实现方式,对于保存的多个目标高维特征矩阵FT,将多个目标高维特征矩阵FT分别输入任务处理模块,分别得到多个目标域数据对应的处理结果。
应理解,不同的任务处理模块对应的数据处理结果是不同的,例如,分类任务,目标域数据的处理结果是目标域数据的类别结果。
还应理解,目标高维特征矩阵FT和源域数据的第三高维特征矩阵Fs在维度上是相同的。
在本申请实施例中,通过本申请实施例获得的目标神经网络模型,不需要采集大量的目标域数据对预训练好的神经网络模型再次进行训练,就可以对目标域数据在线实现将源域数据的风格特征转移至目标域数据的高维特征风格上,从而进行智能任务处理,减少了人力物力采集大量的目标域数据,适合端侧布置,提高了预训练好的神经网络模型的泛化能力。例如,在图像识别中,预训练好的图像识别模型的源域数据是风景照数据,而目标域数据是风景油画数据,此时,不需要对风景油画数据进行人工标注,并且不需要根据风景油画数据对预训练好的图像识别模型中的参数重新训练,就可以在线对风景油画数据进行识别,适合端侧布置,提高了预训练好的图像识别模型的泛化能力。
图12是本申请实施例提供的一种数据处理方法的示意图。以单个目标域数据进行举例说明。
如图12所示,首先,将目标域数据输入目标神经网络模型的特征提取模块,随后将特征提取模块输出的目标域高维特征矩阵以及获取的源域数据特征风格数据,输入目标神经网络模型的目标域特征自适应模块,得到目标高维特征矩阵,最后将目标高维特征矩阵输入到目标神经网络模型的任务处理模块,完成目标域数据任务处理,得到数据处理结果。
图13是本申请实施例提供的另一种数据处理方法的流程示意图。
S1301,获取源域的源域数据的特征风格数据。
需要说明的是,S1301和S1001相同,为了简洁,在此不作赘述。
S1302,将目标域数据输入特征提取模块,输出目标域数据的初始高维特征矩阵。
需要说明的是,S1302和S1002相同,为了简洁,在此不作赘述。
S1303,将源域数据的特征风格数据和目标域数据的初始高维特征矩阵,输入目标域特征自适应模块,根据源域数据的特征风格数据,对目标域数据的初始高维特征矩阵进行调整,以输出目标域数据的目标高维特征矩阵。
需要说明的是,S1303和S1003相同,为了简洁,在此不作赘述。
在本申请实施例中,通过对目标域数据进行特征提取,和将源域数据的特征风格数据转移至目标域数据的高维特征矩阵上,这一系列的预处理,在对目标域数据的迁移学习中,当特征提取模块为预训练好的时,不需要重新针对目标域数据的特征提取,重新训练特征提取模块的参数,可以一定程度上降低迁移成本。
可选地,S1304,将目标高维特征矩阵,输入目标任务处理模块,得到数据处理结果,其中,目标任务处理模块是通过目标训练数据训练得到的,目标训练数据和目标域数据属于相同的特征空间。
应理解,目标任务处理模块是上述获取目标神经网络模型中,对预训练好的神经网络模型中的任务处理模型进行重新参数训练得到的。
作为一种可能的实现方式,在处理数据之前,通过S1301至S1303相同的步骤获得的训练数据的目标高维特征矩阵,将训练数据的高维特征矩阵作为目标训练数据,训练得到目标任务处理模块。其中,目标训练数据和目标域数据属于相同的特征空间。
在本申请实施例中,当特征提取模块为预训练好的时,不需要对预训练好的神经网络模型中的特征提取模块的参数进行重新训练,通过将源域数据的风格特征迁移至目标域数据,就可以获得和源域数据的风格特征一致的目标域数据的高维特征矩阵,在一定程度上降低了迁移成本。与此同时,将该目标域数据的高维特征矩阵输入重新训练的目标任务处理模块,还可以提高对目标域数据的任务处理的准确性。
下面将结合图14和图15,详细描述本申请的装置实施例。应理解,本申请实施例中的装置可以执行前述本申请实施例的方法,即以下各种产品的具体工作过程,可以参考前述方法实施例中的对应过程。
图14是本申请实施例提供的一种数据处理装置1400的示意性框图。应理解,装置1400可以执行图10或图13的数据处理方法。例如,装置1400可以为图2中的执行设备 110,或者图5中的本地设备301或执行设备310。该装置1400包括获取单元1410和处理单元1420。
当装置1400用于执行图10所示的方法时,获取单元1410用于,获取源域的源域数据的特征风格数据。
处理单元1420用于,将目标域数据输入特征提取模块,输出目标域数据的高维特征矩阵;将源域数据特征风格和目标域数据的初始高维特征矩阵,输入目标域特征自适应模块,根据源域数据的特征风格数据,对目标域数据的初始高维特征矩阵进行调整,以输出目标域数据的目标高维特征矩阵;将目标高维特征矩阵,输入任务处理模块,得到数据处理结果,其中,任务处理模块是通过源域中的数据预训练好的。
当装置1400用于执行图13所示的方法时,获取单元1410用于,获取源域的源域数据的特征风格数据。
处理单元1420用于,将目将目标域数据输入目标特征提取模块,输出目标域数据的高维特征矩阵;将源域数据特征风格和目标域数据的初始高维特征矩阵,输入目标域特征自适应模块,根据源域数据的特征风格数据,对目标域数据的初始高维特征矩阵进行调整,以输出目标域数据的目标高维特征矩阵。
应理解,上述内容仅是一种示例性描述,该数据处理装置是用于执行前述方法实施例所提及的方法或者步骤,因此,该装置与前述的方法实施例是对应的。具体内容可以参考前述方法实施例的描述,在此不再赘述。
需要说明的是,上述装置1400以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现,对此不作具体限定。
例如,“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此,在本申请的实施例中描述的各示例的单元,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
图15是本申请实施例提供的一种数据处理装置的硬件结构示意图。图15所示的数据处理装置4000(该装置4000具体可以是一种计算机设备)包括存储器4001、处理器4002、通信接口4003以及总线4004。其中,存储器4001、处理器4002、通信接口4003通过总线4004实现彼此之间的通信连接。例如,装置4000可以为图2中的执行设备110,或者图5中的本地设备301或执行设备310。
存储器4001可以是只读存储器(read only memory,ROM),静态存储设备,动态存储设备或者随机存取存储器(random access memory,RAM)。存储器4001可以存储程序,当存储器4001中存储的程序被处理器4002执行时,处理器4002用于执行本申请实施例的获取神经网络模型的方法的各个步骤。示例性地,处理器4002可以执行上文中图10所示的方法中的步骤S1002至步骤S1004或图13中所示的方法中的步骤S1302至步骤S1304。
处理器4002可以采用通用的中央处理器CPU,微处理器,应用专用集成电路ASIC,图形处理器GPU或者一个或多个集成电路,用于执行相关程序,以实现本申请方法实施例的获取神经网络模型的方法。
处理器4002还可以是一种集成电路芯片,具有信号的处理能力,例如,可以是图4所示的芯片。在实现过程中,本申请的获取神经网络模型的方法的各个步骤可以通过处理器4002中的硬件的集成逻辑电路或者软件形式的指令完成。
上述处理器4002还可以是通用处理器、数字信号处理器(digital signalprocessing, DSP)、专用集成电路ASIC、现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器4001,处理器4002读取存储器4001中的信息,结合其硬件完成本申请实施例的获取神经网络模型的装置中包括的单元所需执行的功能,或者执行本申请实施例的获取神经网络模型的方法。
通信接口4003使用例如但不限于收发器一类的收发装置,来实现装置4000与其他设备或通信网络之间的通信。例如,可以通过通信接口4003获取预训练的超网络模型或者目标数据集等。
总线4004可包括在装置4000各个部件(例如,存储器4001、处理器4002、通信接口4003)之间传送信息的通路。
应注意,尽管上述装置4000仅仅示出了存储器、处理器、通信接口,但是在具体实现过程中,本领域的技术人员应当理解,装置4000还可以包括实现正常运行所必须的其他器件。同时,根据具体需要,本领域的技术人员应当理解,装置4000还可包括实现其他附加功能的硬件器件。此外,本领域的技术人员应当理解,装置4000也可仅仅包括实现本申请实施例所必须的器件,而不必包括图15中所示的全部器件。
应理解,本申请实施例中的处理器可以为中央处理单元CPU,该处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC、现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器ROM、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器RAM,其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的随机存取存储器RAM可用,例如静态随机存取存储器(static RAM, SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM, SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器 (direct rambus RAM,DR RAM)。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系,但也可能表示的是一种“和/或”的关系,具体可参考前后文进行理解。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个) 的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (29)

1.一种处理数据的方法,其特征在于,包括:
获取源域的源域数据的特征风格数据;
将目标域数据输入特征提取模块,输出所述目标域数据的高维特征矩阵;
将所述源域数据特征风格和所述目标域数据的初始高维特征矩阵,输入目标域特征自适应模块,根据所述源域数据的特征风格数据,对所述目标域数据的初始高维特征矩阵进行调整,以输出所述目标域数据的目标高维特征矩阵;
将所述目标高维特征矩阵,输入任务处理模块,得到数据处理结果,其中,所述任务处理模块是通过所述源域中的数据预训练好的。
2.根据权利要求1所述的方法,其特征在于,所述获取源域的源域数据的特征风格数据包括:
获取通过风格提取模块离线获得所述源域数据的特征风格数据。
3.根据权利要求1或2所述的方法,其特征在于,所述源域数据的特征风格数据用中心协方差参数表示。
4.根据权利要求3所述的方法,其特征在于,所述源域数据的特征风格数据通过所述源域数据的高维特征矩阵的均值以及风格特征矩阵表示。
5.根据权利要求4所述的方法,其特征在于,所述风格特征矩阵满足公式:
其中,cov(Fs)表示所述源域数据的高维特征矩阵的协方差矩阵,Ds是所述协方差矩阵的特征值对角矩阵,Vs为所述协方差矩阵的特征向量正交矩阵;
所述源域数据的特征风格数据通过所述源域数据的高维特征矩阵的均值mean(Fs)、第一风格矩阵Ds和第二风格矩阵Vs表示。
6.根据权利要求5所述的方法,其特征在于,所述目标域数据的目标高维特征矩阵满足公式:
其中,FT为所述目标高维特征矩阵,Dt表示所述目标域数据的初始高维特征矩阵相关的协方差矩阵对应的特征值对角矩阵,Vt表示所述目标域数据的初始高维特征矩阵相关的协方差矩阵对应的特征向量正交矩阵。
7.一种处理数据的方法,其特征在于,包括:
获取源域的源域数据的特征风格数据;
将目标域数据输入特征提取模块,输出所述目标域数据的高维特征矩阵;
将所述源域数据特征风格和所述目标域数据的初始高维特征矩阵,输入目标域特征自适应模块,根据所述源域数据的特征风格数据,对所述目标域数据的初始高维特征矩阵进行调整,以输出所述目标域数据的目标高维特征矩阵。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
将所述目标高维特征矩阵,输入目标任务处理模块,得到数据处理结果,其中,所述目标任务处理模块是通过目标训练数据训练得到的,所述目标训练数据和所述目标域数据属于相同的特征空间。
9.根据权利要求7或8所述的方法,其特征在于,所述获取源域的源域数据的特征风格数据包括:
获取通过风格提取模块离线获得所述源域数据的特征风格数据。
10.根据权利要求7至9中任一项所述的方法,其特征在于,所述源域数据的特征风格数据用中心协方差参数表示。
11.根据权利要求10所述的方法,其特征在于,所述源域数据的特征风格数据通过所述源域数据的高维特征矩阵的均值以及风格特征矩阵表示。
12.根据权利要求11所述的方法,其特征在于,所述风格特征矩阵满足公式:
其中,cov(Fs)表示所述源域数据的高维特征矩阵的协方差矩阵,Ds是所述协方差矩阵的特征值对角矩阵,Vs为所述协方差矩阵的特征向量正交矩阵;
所述源域数据的特征风格数据通过所述源域数据的高维特征矩阵的均值mean(Fs)、第一风格矩阵Ds和第二风格矩阵Vs表示。
13.根据权利要求12所述的方法,其特征在于,所述目标域数据的目标高维特征矩阵满足公式:
其中,FT为所述目标高维特征矩阵,Dt表示所述目标域数据的初始高维特征矩阵相关的协方差矩阵对应的特征值对角矩阵,Vt表示所述目标域数据的初始高维特征矩阵相关的协方差矩阵对应的特征向量正交矩阵。
14.一种处理数据的装置,其特征在于,所述装置包括获取单元和处理单元:
所述获取单元用于,获取源域的源域数据的特征风格数据;
所述处理单元用于:
将目标域数据输入特征提取模块,输出所述目标域数据的高维特征矩阵;
将所述源域数据特征风格和所述目标域数据的初始高维特征矩阵,输入目标域特征自适应模块,根据所述源域数据的特征风格数据,对所述目标域数据的初始高维特征矩阵进行调整,以输出所述目标域数据的目标高维特征矩阵;
将所述目标高维特征矩阵,输入任务处理模块,得到数据处理结果,其中,所述任务处理模块是通过所述源域中的数据预训练好的。
15.根据权利要求14所述的装置,其特征在于,所述获取单元具体用于:
获取通过风格提取模块离线获得所述源域数据的特征风格数据。
16.根据权利要求14或15所述的装置,其特征在于,所述源域数据的特征风格数据用中心协方差参数表示。
17.根据权利要求16所述的装置,其特征在于,所述源域数据的特征风格数据通过所述源域数据的高维特征矩阵的均值以及风格特征矩阵表示。
18.根据权利要求17所述的装置,其特征在于,所述风格特征矩阵满足公式:
其中,cov(Fs)表示所述源域数据的高维特征矩阵的协方差矩阵,Ds是所述协方差矩阵的特征值对角矩阵,Vs为所述协方差矩阵的特征向量正交矩阵;
所述源域数据的特征风格数据通过所述源域数据的高维特征矩阵的均值mean(Fs)、第一风格矩阵Ds和第二风格矩阵Vs表示。
19.根据权利要求18所述的装置,其特征在于,所述目标域数据的目标高维特征矩阵满足公式:
其中,FT为所述目标高维特征矩阵,Dt表示所述目标域数据的初始高维特征矩阵相关的协方差矩阵对应的特征值对角矩阵,Vt表示所述目标域数据的初始高维特征矩阵相关的协方差矩阵对应的特征向量正交矩阵。
20.一种处理数据的装置,其特征在于,所述装置包括获取单元和处理单元,
所述获取单元用于,获取源域的源域数据的特征风格数据;
所述处理单元用于:
将目标域数据输入目标特征提取模块,输出所述目标域数据的高维特征矩阵;
将所述源域数据特征风格和所述目标域数据的初始高维特征矩阵,输入目标域特征自适应模块,根据所述源域数据的特征风格数据,对所述目标域数据的初始高维特征矩阵进行调整,以输出所述目标域数据的目标高维特征矩阵。
21.根据权利要求20所述的装置,其特征在于,所述处理单元还具体用于:
将所述目标高维特征矩阵,输入目标任务处理模块,得到数据处理结果,其中,所述目标任务处理模块是通过目标训练数据训练得到的,所述目标训练数据和所述目标域数据属于相同的特征空间。
22.根据权利要求20或21所述的装置,其特征在于,所述获取单元具体用于:
获取通过风格提取模块离线获得所述源域数据的特征风格数据。
23.根据权利要求20至22中任一项所述的装置,其特征在于,所述源域数据的特征风格数据用中心协方差参数表示。
24.根据权利要求23所述的装置,其特征在于,所述源域数据的特征风格数据通过所述源域数据的高维特征矩阵的均值以及风格特征矩阵表示。
25.根据权利要求24所述的装置,其特征在于,所述风格特征矩阵满足公式:
其中,cov(Fs)表示所述源域数据的高维特征矩阵的协方差矩阵,Ds是所述协方差矩阵的特征值对角矩阵,Vs为所述协方差矩阵的特征向量正交矩阵;
所述源域数据的特征风格数据通过所述源域数据的高维特征矩阵的均值mean(Fs)、第一风格矩阵Ds和第二风格矩阵Vs表示。
26.根据权利要求25所述的装置,其特征在于,所述目标域数据的目标高维特征矩阵满足公式:
其中,FT为所述目标高维特征矩阵,Dt表示所述目标域数据的初始高维特征矩阵相关的协方差矩阵对应的特征值对角矩阵,Vt表示所述目标域数据的初始高维特征矩阵相关的协方差矩阵对应的特征向量正交矩阵。
27.一种数据处理装置,其特征在于,包括处理器和存储器,所述存储器用于存储程序指令,所述处理器用于调用所述程序指令来执行权利要求1至6中任一项所述的方法,或者权利要求7至13中任一项所述的方法。
28.一种计算机可读存储介质,其特征在于,所述计算机可读介质存储用于设备执行的程序代码,该程序代码包括用于执行如权利要求1至6中任一项所述的方法,或者权利要求7至13中任一项所述的方法。
29.一种芯片,其特征在于,所述芯片包括处理器与数据接口,所述处理器通过所述数据接口读取存储器上存储的指令,以执行如权利要求1至6中任一项所述的方法,或者权利要求7至13中任一项所述的方法。
CN202210446395.2A 2022-04-26 2022-04-26 数据处理方法和装置 Pending CN117011623A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210446395.2A CN117011623A (zh) 2022-04-26 2022-04-26 数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210446395.2A CN117011623A (zh) 2022-04-26 2022-04-26 数据处理方法和装置

Publications (1)

Publication Number Publication Date
CN117011623A true CN117011623A (zh) 2023-11-07

Family

ID=88564059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210446395.2A Pending CN117011623A (zh) 2022-04-26 2022-04-26 数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN117011623A (zh)

Similar Documents

Publication Publication Date Title
CN113705769B (zh) 一种神经网络训练方法以及装置
CN112446398B (zh) 图像分类方法以及装置
WO2022052601A1 (zh) 神经网络模型的训练方法、图像处理方法及装置
CN111797895B (zh) 一种分类器的训练方法、数据处理方法、系统以及设备
CN113011562B (zh) 一种模型训练方法及装置
CN110309856A (zh) 图像分类方法、神经网络的训练方法及装置
CN111507378A (zh) 训练图像处理模型的方法和装置
CN112651511A (zh) 一种训练模型的方法、数据处理的方法以及装置
WO2022001805A1 (zh) 一种神经网络蒸馏方法及装置
CN111368972B (zh) 一种卷积层量化方法及其装置
CN112418392A (zh) 一种神经网络构建方法以及装置
CN111291809B (zh) 一种处理装置、方法及存储介质
CN111797881B (zh) 图像分类方法及装置
CN111898635A (zh) 神经网络的训练方法、数据获取方法和装置
CN112529146B (zh) 神经网络模型训练的方法和装置
CN113807399B (zh) 一种神经网络训练方法、检测方法以及装置
CN111797882B (zh) 图像分类方法及装置
CN110222718B (zh) 图像处理的方法及装置
CN113807183B (zh) 模型训练方法及相关设备
CN112232355B (zh) 图像分割网络处理、图像分割方法、装置和计算机设备
WO2022012668A1 (zh) 一种训练集处理方法和装置
CN111368656A (zh) 一种视频内容描述方法和视频内容描述装置
CN111340190A (zh) 构建网络结构的方法与装置、及图像生成方法与装置
WO2022156475A1 (zh) 神经网络模型的训练方法、数据处理方法及装置
CN113128285A (zh) 一种处理视频的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination