CN117315276A - 连续学习的机器学习方法及电子装置 - Google Patents

连续学习的机器学习方法及电子装置 Download PDF

Info

Publication number
CN117315276A
CN117315276A CN202210802440.3A CN202210802440A CN117315276A CN 117315276 A CN117315276 A CN 117315276A CN 202210802440 A CN202210802440 A CN 202210802440A CN 117315276 A CN117315276 A CN 117315276A
Authority
CN
China
Prior art keywords
training
sub
tasks
neural network
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210802440.3A
Other languages
English (en)
Inventor
郭峻因
刘城甫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN117315276A publication Critical patent/CN117315276A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开一种连续学习的机器学习方法及电子装置，其中该连续学习的机器学习方法包括：撷取一输入图像；通过多个子模型对所述输入图像进行特征撷取而得到多个特征图，其中所述多个子模型对应于多个任务，且所述多个子模型由一神经网络模型以及多个闸道开关所决定；将所述多个特征图转换为多个能量分数；根据所述多个能量分数从所述多个子模型中选出对应于所述多个任务的一目标任务的目标子模型；以及通过所述目标子模型输出对应于所述目标任务的预测结果。

Description

连续学习的机器学习方法及电子装置
技术领域
本发明涉及一种机器学习技术，且特别涉及一种用于任务感知连续学习的机器学习方法及电子装置。
背景技术
近年来人工智能(Artificial Intelligence,AI)的爆炸性成长已显著地改变了人类的生活。随着AI技术不断地演进，许多应用领域(例如：自动无人机、机械手术、医学诊断及治疗)，这些应用领域需要支持连续(continuous or continual)或终身(life-long)学习，而且是永不停止(never-ending)学习。终身学习系统关注于有效的传输及使用已经学习到的知识于新工作上而能依序解决多项工作。在现有技术中，用来满足这类需求的方法为联合学习(Joint learning)，亦即把所有任务的训练数据同时取出并进行联合优化。然而，联合学习的技术随着任务数量的增加，新任务的数据会被旧任务的数据稀释，训练时间也随数据量增加而拉长。除此之外，在如人脸识别的应用情境下，先前任务的人脸数据容易因隐私问题而不被轻易允许存取并进行再训练。
为了让人工智能可以如人脑一般累积知识，连续学习(Continual learning)被开发来关注于有效的传递和使用已经学习到的知识于新工作上而能依序解决多项工作，同时又需避免因无法存取旧数据所造成的「灾难性遗忘(Catastrophic forgetting)」的问题。连续学习方法可以被分成三大类，分别为记忆回放、基于正则化和动态网络隔离。过往基于正则化的连续学习技术中，在不给予旧任务数据的情境下，学习新任务后仍会对旧任务的知识造成难以忽略的灾难性遗忘。反之，记忆回放这类方法给予旧任务数据辅助新任务的学习，灾难性遗忘的现象相对轻微，但若旧数据有因隐私问题而难以取得或存储，则不利于模型的后续更新。而动态网络隔离方法则会随着任务的增加导致模型参数量等比例扩增，十分耗费运算资源，未必能减轻使用者负担。
先前的连续学习技术为给定当前数据属于哪一个任务的设定下，在实际应用上，要求这种设定是不现实的，故无任务连续学习(Task-free continual learning)开始被研发来解决这一困难。过往无任务连续学习的技术都需使用记忆回放的方法，并且其学习过程都仰赖于归一化指数函数(Softmax function)的置信度方法进行比较评分，但因为神经网络在样本空间的过拟合，经常会对未学过类别的样本给予一个很高的可信度，致使后续计算跨任务准确度的性能不佳。
发明内容
有鉴于此，本发明提供一种连续学习的机器学习方法及电子装置，可有效避免灾难性遗忘，并同时可达到自适应地从多个任务识别目标任务的效果。
本发明实施例提供一种用于任务感知连续学习的机器学习方法，包括：撷取一输入图像；通过多个子模型对所述输入图像进行特征撷取而得到多个特征图，其中所述多个子模型对应于多个任务，且所述多个子模型由一神经网络模型以及多个闸道开关所决定；将所述多个特征图转换为多个能量分数；根据所述多个能量分数从所述多个子模型中选出对应于所述多个任务的一目标任务的目标子模型；以及通过所述目标子模型输出对应于所述目标任务的预测结果。
在本发明的一实施例中，机器学习方法还包括：接收关联于多个任务的一训练数据，其中所述训练数据包括一训练图像以及对应于所述训练图像的一类别标签；根据所述神经网络模型以及所述多个闸道开关对所述训练图像进行特征撷取而得到一训练特征图；将所述训练特征图转换为一特征能量分数；根据所述类别标签、所述多个闸道开关以及所述特征能量分数决定一损失函数；根据所述损失函数决定反向传播梯度；以及根据所述反向传播梯度更新所述神经网络模型以及所述多个闸道开关，其中所述多个闸道开关对应于所述多个任务，且所述多个任务的至少一训练任务所对应的一闸道开关被更新。
另一方面，本发明实施例提供一种用于任务感知连续学习的电子装置，包括：图像撷取装置；存储介质，存储多个模块；以及处理器，耦接所述存储介质，所述处理器经配置以执行所述多个模块，其中所述多个模块包括：图像撷取模块，撷取一输入图像；推论模块，通过多个子模型对所述输入图像进行特征撷取而得到多个特征图，其中所述多个子模型对应于多个任务，且所述多个子模型由一神经网络模型以及多个闸道开关所决定，将所述多个特征图转换为多个能量分数，根据所述多个能量分数从所述多个子模型中选出对应于所述多个任务的一目标任务的目标子模型，且通过所述目标子模型输出对应于所述目标任务的预测结果。
在本发明的一实施例中，多个模块还包括：训练模块，接收关联于多个任务的一训练数据，其中所述训练数据包括一训练图像以及对应于所述训练图像的一类别标签，根据所述神经网络模型以及所述多个闸道开关对所述训练图像进行特征撷取而得到一训练特征图，将所述训练特征图转换为一特征能量分数，根据所述类别标签、所述多个闸道开关以及所述特征能量分数决定一损失函数，根据所述损失函数决定反向传播梯度，且根据所述反向传播梯度更新所述神经网络模型以及所述多个闸道开关，其中所述多个闸道开关对应于所述多个任务，且所述多个任务的至少一训练任务所对应的一闸道开关被更新。
基于上述，本发明提出基于能量评分的任务感知连续学习技术架构，通过多个闸道开关将一个神经网络模型对应多个任务的特征图分门别类而决定多个子模型，并允许从一个神经网络模型结合已学习任务的闸道开关根据损失函数自动决定是否再利用对其它旧任务重要的神经网络参数，并利用此参数来帮助新任务的优化，使神经网络模型达到更佳的可重复利用率。由此，让神经网络模型能保留更多神经元去学习下一个任务，并且保存多个子模型中重要的参数，进而有效地避免灾难性遗忘。
附图说明
图1是本发明的实施例的一种电子装置的示意图；
图2是本发明的实施例的一种机器学习方法的推论阶段的流程图；
图3是本发明的实施例的一种机器学习方法的训练阶段的流程图；
图4是在本发明的一实施例中的训练模块进行新任务的学习的示意图；
图5是在本发明的一实施例中的推论模块的运作的示意图；
图6A是在本发明的一实施例中训练神经网络模型的示意图；
图6B是在本发明的一实施例中反向传播梯度更新神经网络模型以及对应任务的闸道开关的示意图；
图7是在本发明的另一实施例中神经网络模型以及对应任务的闸道开关的运作的示意图；
图8是在本发明的另一实施例中神经网络模型的示意图；
图9是在本发明的一实施例中关联于多个任务的训练数据的示意图。
符号说明
10：电子装置
110：处理器
120：存储介质
1201：图像撷取模块
1203：推论模块
1205：训练模块
130：图像撷取装置
IMG：图像
NN：神经网络模型
GS，GS_1，GS_2，GS_N：闸道开关
SUB_1，SUB_2，SUB_N：子模型
E，E_1，E_2，E_N，Esame，Ediff：能量分数
S210，S220，S230，S240，S250，S310，S320，S330，S340，S350，S360，S410，S420，S430，S510，S520，S530，S540，S550，S60，S61，S62，S63，S70，S71，S90：步骤
610，630，650，610’，630’，650’，820：批次标准化层
620，640，620’，640’，810：卷积层
910，920：图像
H：高度
W：宽度
C，Cl：通道数
C′：类别数量
c：类别
N，L：正整数
t，l：变数
X，X*，f(X)，/>特征图
缩放因子
缩放因子的累计最大值
平均值
标准差
平移因子
损失函数
LCE：交叉熵损失
Rs(r)：闸道开关正则项
LossE：能量损失
λ1，λ2，ELsame，ELdiff，k：参数
缩放因子的平均值
g，g′，gl，g′l：梯度
激活参数
y1，y2，y3，z1，z2：神经元
重要性因子
重要性因子的累计最大值
具体实施方式
本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的方法与装置的范例。凡可能之处，在附图及实施方式中使用相同标号的元件/构件/步骤代表相同或类似部分。不同实施例中使用相同标号或使用相同用语的元件/构件/步骤可以相互参照相关说明。
图1是依照本发明的实施例的一种电子装置的示意图。电子装置10包括处理器110、存储介质120。
电子装置10可以是由嵌入式平台上实现的边缘运算装置。电子装置10可以是应用于人脸识别、门禁管理、身分验证、数字监控、金融产业、零售产业、无人商店、智能工厂、无人机、机械手术或医学诊断等等各种应用场景的图像识别装置。电子装置10也可以是桌上型电脑、笔记型电脑、服务器、智能型手机或平板电脑，电子装置10不限于型号、厂牌、作业系统。
处理器110例如是中央处理单元(central processing unit，CPU)，或是其他可编程的一般用途或特殊用途的微控制单元(micro control unit，MCU)、微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、可编程控制器、特殊应用集成电路(applicationspecific integrated circuit，ASIC)、图形处理器(graphics processing unit，GPU)、张量处理器(tensor processing unit，TPU)、图像信号处理器(image signal processor，ISP)、图像处理单元(image processing unit，IPU)、算数逻辑单元(arithmetic logic unit，ALU)、复杂可编程逻辑装置(complexprogrammable logic device，CPLD)、现场可编程化逻辑门阵列(field programmablegate array，FPGA)或其他类似元件或上述元件的组合。处理器110可耦接至存储介质120，并且存取和执行存储于存储介质120中的多个模块或各种应用程式。
存储介质120例如是任何型态的固定式或可移动式的随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、闪存存储器(flash memory)、硬盘(hard disk drive，HDD)、固态硬盘(solid state drive，SSD)或类似元件或上述元件的组合，而用于存储可由处理器110执行的多个模块、电脑程序或各种应用程序。在本实施例中，存储介质120存储的多个模块包括图像撷取模块1201、推论模块1203以及训练模块1205，其功能将于后续说明。
在一实施例中，电子装置10还可包括图像撷取装置130。处理器110可耦接至图像撷取装置130。图像撷取装置130例如是数字相机、摄影机或是具有透镜以及感光元件的摄像镜头。感光元件用以感测进入透镜的光线强度，进而产生图像。
图2是依照本发明的实施例的一种机器学习方法的推论阶段的流程图。图2所示的机器学习方法适用于图1的电子装置10。请共同参照图1及图2。
在步骤S210中，图像撷取模块1201撷取一输入图像。例如，图像撷取模块1201可通过图像撷取装置130撷取一输入图像。图像撷取模块1201也可从一数据库撷取一输入图像。或者，图像撷取模块1201可通过网络接收一输入图像。
在步骤S220中，推论模块1203通过多个子模型对此输入图像进行特征撷取而得到多个特征图。需注意的是，多个子模型可对应于多个任务，且多个子模型由一神经网络模型以及该神经网络模型中的多个闸道开关所决定。在步骤S230中，推论模块1203将多个特征图转换为多个能量分数。在步骤S240中，推论模块1203根据多个能量分数从多个子模型中选出一目标子模型。此目标子模型对应于多个任务中的一目标任务。在步骤S250中，推论模块1203通过目标子模型输出对应于目标任务的预测结果。
图3是依照本发明的实施例的一种机器学习方法的训练阶段的流程图。图3所示的机器学习方法适用于图1的电子装置10。请共同参照图1及图3。在步骤S310中，训练模块1205接收关联于多个任务的一训练数据。训练数据包括一训练图像以及对应于此训练图像的一类别标签。类别标签可对应多个任务中一训练任务。在步骤S320中，训练模块1205根据一神经网络模型以及多个闸道开关对训练图像进行特征撷取而得到一训练特征图。在步骤S330中，训练模块1205将训练特征图转换为一特征能量分数。在步骤S340中，训练模块1205根据类别标签、多个闸道开关以及特征能量分数计算得出一损失函数。在步骤S350中，训练模块1205根据此损失函数决定反向传播梯度。在步骤S360中，训练模块1205根据反向传播梯度更新神经网络模型以及多个闸道开关，其中所述多个闸道开关对应于所述多个任务，且所述多个任务的至少一训练任务所对应的一闸道开关被更新。
举例来说，电子装置10可使用相同的一个神经网络模型分别针对多个任务1,2,…,t进行连续学习。多个闸道开关可分别对应多个任务1,2,…,t。在一实施例中，当一训练任务为任务t时，训练模块1205接收关联于任务t的一训练数据，训练数据包括关联于任务t的训练图像以及对应于此训练图像的一类别标签。类别标签可对应任务t的类别(步骤S310)。训练模块1205根据所述神经网络模型以及所述多个闸道开关之中对应任务t的闸道开关对训练图像进行特征撷取而得到一训练特征图(步骤S320)。训练模块1205将训练特征图转换为一特征能量分数(步骤S330)。训练模块1205根据类别标签、所述多个闸道开关之中对应任务t的闸道开关以及特征能量分数计算得出一损失函数(步骤S340)。训练模块1205根据此损失函数决定所述多个闸道开关之中对应任务t的闸道开关的反向传播梯度(步骤S350)。训练模块1205根据反向传播梯度更新神经网络模型以及所述多个闸道开关之中对应任务t的闸道开关(步骤S360)。因此，当电子装置10学习了多个任务1,2,…,t之后，多个闸道开关可将相同的一个神经网络模型区别出对应多个任务1,2,…,t的多个子模型。
值得一提的是，图2所描述的推论阶段及图3所描述的训练阶段并不限制其执行的先后次序。在一实施例中，多个任务中包含一新任务的训练数据。电子装置10可先执行图3所示的训练阶段来学习新任务。当电子装置10完成对新任务的训练阶段，再根据已对新任务完成训练的神经网络模型以及多个闸道开关执行图2所示的推论阶段对一输入图像进行预测。在一实施例中，电子装置10可根据预先存储已对多个任务完成预训练的神经网络模型以及该神经网络模型对应的多个闸道开关执行图3的推论阶段。当多个任务中有新任务时，电子装置10再根据新任务的训练数据进行训练并更新神经网络模型以及多个闸道开关中对应于新任务的闸道开关。因此，本发明的实施例的电子装置10可用一个神经网络连续地学习多个任务，达到撷取多任务特征的功能，针对特定任务的训练数据的进行顺序学习(task-based sequential learning)，对多个任务可达到学新且完全不忘旧的效果，克服现有的连续学习方法需先人为指定任务的限制。
在一实施例中，神经网络模型包括至少一卷积层(convolutional layer)以及至少一批次标准化层(batch normalization layer)。在一实施例中，神经网络模型可以是卷积神经网络架构，例如是ResNet、VGG、MobileNet-v2的神经网络架构。电子装置10例如是边缘运算装置。一般而言，边缘运算装置记忆空间和运算能力的限制很多，往往不允许使用现有的联合学习来进行训练。通过本发明实施例的机器学习方法，在不改变神经网络架构的情况下，对多个任务的输入数据自动判别目标任务，而达到逐次对小部分数据进行训练的连续学习。对于硬件规格不高的边缘运算装置，本发明实施例能进行更节能且快速的深度网络学习。
图4是在本发明的一实施例中的训练模块进行新任务的学习的示意图。请参考图4，在步骤S410，电子装置10接收一新任务的训练数据。在步骤S420，训练模块1205执行图3的流程来根据新任务的训练数据对神经网络模型NN以及多个闸道开关GS的参数进行更新而完成训练。在步骤S430，在当前的任务完成训练之后，当有下一个任务需要进行训练，再学习下一个任务。
具体地，对任意新任务的训练数据，多个闸道开关GS会限制神经网络模型NN的一部分进行运算。由此，神经网络模型NN搭配多个闸道开关GS可决定多个子模型，多个子模型以重要的神经元对训练数据进行特征撷取而得到训练特征图。训练模块1205再根据训练特征图计算特征能量分数。接着，训练模块1205根据训练数据的类别标签、多个闸道开关以及特征能量分数决定一损失函数。此损失函数决定反向传播梯度。训练模块1205根据反向传播梯度更新神经网络模型NN以及多个闸道开关GS。在一实施例中，在进行反向传播梯度更新参数的过程中，多个闸道开关GS对应于多个任务1,2,…,t，且多个任务1,2,…,t的至少一训练任务所对应的一闸道开关被更新。反向传播梯度会依在训练过程自动决定参数重要性，若重要性高则激活对应的闸道开关，同时已激活的闸道开关自适应地更新神经网络模型NN的一部分的参数。换言之，当电子装置10学习了多个任务1,2,…,t之后，多个闸道开关GS可将相同的一个神经网络模型NN区别出对应多个任务1,2,…,t的多个子模型。
在本发明的一实施例中，训练模块1205根据多个闸道开关GS决定多个激活参数。训练模块1205根据多个激活参数计算损失后，根据损失调整反向传播梯度。训练模块1205根据已调整的反向传播梯度更新神经网络模型NN以及多个闸道开关GS。在一实施例中，在进行反向传播梯度更新参数的过程中，多个闸道开关GS对应于多个任务1,2,…,t，且多个任务1,2,…,t的至少一训练任务所对应的一闸道开关被更新。
在本发明的一实施例中，损失函数包括一交叉熵损失(cross entropy loss)、一闸道开关正则项(polarization regularization term)以及一能量损失(energy loss)。
在本发明的一实施例中，神经网络模型NN包括至少一卷积层以及至少一批次标准化层，多个闸道开关GS的每一者包括至少一批次标准化层的缩放因子(scaling factors)。在一实施例中，缩放因子的维度与卷积层维度相同，且每个批次标准化层的缩放因子关联于对应的卷积层的卷积核。在本发明的一实施例中，闸道开关正则项关联于多个缩放因子。
在本发明的一实施例中，训练模块1205将训练图像通过至少一卷积层而得到一输入特征图。训练模块1205通过至少一批次标准化层将输入特征图与对应的缩放因子进行标准化运算而得到训练特征图。
图5是在本发明的一实施例中的推论模块1203的运作的示意图。请参考图5，在步骤S510中，推论模块1203撷取输入图像IMG。具体地，对于已学习N个(N为正整数)任务的神经网络模型NN对应有N组闸道开关GS_1,GS_2,…,GS_N，多个闸道开关GS_1,GS_2,…,GS_N分别记录对应对多个任务可以使用一部分神经网络模型NN进行运算。多个闸道开关GS_1,GS_2,…,GS_N搭配神经网络模型NN而决定多个子模型SUB_1,SUB_2,…,SUB_N对输入图像IMG可撷取多个特征图。
值得一提的是，在本发明的实施例中，多个子模型SUB_1,SUB_2,…,SUB_N使用同一个神经网络模型NN。也就是说，多个闸道开关GS_1,GS_2,…,GS_N从同一个神经网络模型NN区别出对应多个任务的多个子模型。
在步骤S520中，推论模块1203通过多个子模型SUB_1,SUB_2,…,SUB_N对输入图像IMG进行特征撷取而得到多个特征图。在步骤S530中，推论模块1203将多个子模型SUB_1,SUB_2,…,SUB_N对应的多个特征图分别转换为多个能量分数E_1,E_2,…,E_N。能量分数E_1,E_2,…,E_N为一表示子模型SUB_1,SUB_2,…,SUB_N稳定性的纯量，以能量的概念而言，得出的纯量越低代表子模型越稳定。能量分数E_1,E_2,…,E_N衡量输入图像IMG与子模型的关联性程度，由此达到任务感知的效果。多个子模型SUB_1,SUB_2,…,SUB_N对应多个任务。
在步骤S540中，推论模块1203根据多个能量分数E_1,E_2,…,E_N从多个子模型SUB_1,SUB_2,…,SUB_N中选出对应一目标任务的目标子模型。目标任务为已训练完成的多个任务之一，目标任务为对应处理输入图像IMG的任务。此目标子模型为根据多个能量分数E_1,E_2,…,E_N而决定与目标任务最相关的子模型。
在本发明的一实施例中，推论模块1203选择对应于所述多个能量分数E_1,E_2,…,E_N的最小值的子模型作为目标子模型。在一些实施例中，多个任务可包括第一任务以及第二任务，目标子模型可以是对应于第一任务的子模型或是对应于第二任务的子模型。在一些实施例中，目标子模型也可以是对应多个任务的多个子模型的其中之一。
在步骤S550中，推论模块1203通过目标子模型输出对应于目标任务的预测结果。在一实施例中，推论模块1203将对应目标子模型的特征图经过归一化指数函数转换为对应于目标任务的预测类别的信心分数，并获得对应的预测结果。
图6A是在本发明的一实施例中训练神经网络模型的示意图。请共同参照图4及图6A。在一实施例中，神经网络模型包括至少一卷积层以及至少一批次标准化层。如图6A所示，神经网络模型NN包括批次标准化层610、630、650以及卷积层620、640。举例而言，神经网络模型NN模型已训练t个任务，对于给定的输入数据X∈RH×W×C(H为高度，W为宽度，C为通道数)，经过卷积层620进行特征撷取得到特征图X*∈RH×W×C，再经过批次标准化层630进行标准化(normalization)运算得到特征图以批次标准化层630为例，此标准化运算可由以下公式(1)计算：
其中为经过标准化的特征图，X*为经过卷积层的特征图，/>为缩放因子，/>为一平均值，/>为一标准差，/>为一平移因子(shifting factor)。
在公式(1)中，变数l＝1，...L-1表示卷积层，L为正整数，变数t表示当前任务，为同一批次不同通道的输入特征图的平均值，/>为同一批次不同通道的输入特征图的标准差，缩放因子/>和平移因子/>为可被训练的参数。在一实施例中，/>初始值设为0.5，/>初始值设为0。缩放因子/>拥有缩放由卷积层传来的特征图的功用。
在本发明的一实施例中，多个闸道开关GS的每一者包括至少一批次标准化层的多个缩放因子且多个缩放因子/>关联于至少一卷积层的多个卷积核。具体地，批次标准化层中的缩放因子/>可用来衡量卷积层中对应的卷积核的重要性。在本发明的实施例中，对学习的每一个任务设有特定的批次标准化层，每个任务利用其对应的批次标准化层记住特定任务的数据散布性(/>和/>)，且利用对应任务的缩放因子/>纪录对应于目标任务重要的多个卷积核位置。
详细而言，每个卷积层的卷积核在通道数C的维度上都有相对应的缩放因子来代表卷积层中的卷积核的重要性。在一实施例中，缩放因子/>的个数对应特征图X*的通道数。由于缩放因子/>可对特征图X*进行比例放大或缩小的特性，因此作为闸道开关GS对神经网络模型NN的一部分运算进行限制。在一实施例中，当缩放因子/>不为0表示在此通道对应的特征图需参与运算，因此使特征图经批次标准化层后通往下一层。反之，当缩放因子/>等于0，则表示在此通道对应的特征图不重要，不需将此通道对应的特征图往下一层传递。
也就是说，缩放因子可决定是否针对一目标任务激活(activate)神经网络模型NN中的神经元。以图6A为例，对当前任务t而言，批次标准化层610、630、650之中对应缩放因子/>以及/>的神经元被激活而将此通道对应的特征图往下一层传递。
需注意的是，经过步骤S60之后，对于新任务t+1给定的特征图X∈RH×W×C，训练模块1205更换新的批次标准化层610’、630’、650’。但是卷积层620’、640’则保留原本相同的卷积层620、640来执行训练阶段。如图6A所示，对于新任务t+1而言，新的批次标准化层610’、630’、650’之中对应缩放因子以及/>的神经元被激活而将此通道对应的特征图往下一层传递。
当新任务t+1的训练数据X∈RH×W×C经过训练模块1205根据神经网络模型NN以及多个闸道开关GS对进行特征撷取之后可得到训练特征图f(X)∈R1×C′，其中C′为输出的类别数量。训练模块1205将训练特征图f(X)转换为能量分数E。
能量分数E由以下公式(2)计算：
其中E为能量分数，f(X)c为特征图在类别c的值，C′为类别数量。
接着，训练模块1205根据训练数据的类别标签、多个闸道开关GS以及能量分数E决定一损失函数训练模块1205以损失函数/>进行反向传播梯度更新神经网络模型NN以及本训练任务对应的闸道开关GS。
损失函数由以下公式(3)表示：
其中LcE为交叉熵损失、Rs(r)为闸道开关正则项、LossE为能量损失、λ1及λ2为参数。
交叉熵损失LCE由训练数据的类别标签决定。
能量损失由以下公式(4)计算：
LossE＝max(0，Esame-ELsame)+max(0，ELdiff-Ediff) (4)
其中Esame为相同任务的样本的能量分数，Ediff为不同任务的样本的能量分数，ELsame及ELdiff为参数。
闸道开关正则项Rs(r)由以下公式(5)计算：
其中为多个缩放因子，L为层数，Cl为通道数，k为参数。
在公式(5)的闸道开关正则项Rs(r)可用来降低已激活的神经元的数量，其中代表对每一批次标准化层里每一通道的缩放因子/>取绝对值，此/>可使每个缩放因子经过训练后往0逼近。/>为整个神经网络模型的缩放因子/>的平均值，/>项驱动所有的缩放因子/>加大/>的差距，亦即缩放因子/>会有极化的效果，致使重要与不重要的差异性显著。公式(2)、(5)的参数k、λ1及λ2可根据不同的训练数据集调整。
在学习新任务t+1的反向传播梯度过程中，缩放因子会收到由活化层传来的梯度gl，训练模块1205根据缩放因子/>决定多个其对应的卷积参数是否重要并激活，若已训练的t个任务之一以上的缩放因子/>显示对同一位置的卷积参数有高重要性，则以代表此卷积参数是被至少一个任务以上的缩放因子激活。训练模块1205根据激活参数act(x)调整反向传播梯度gl。训练模块1205由已调整的反向传播梯度g′l更新神经网络模型NN以及新任务t+1对应的闸道开关GS(缩放因子/>)。
已调整的所述反向传播梯度由以下公式(6)计算：
其中g′l为已调整的所述反向传播梯度，gl为所述反向传播梯度，其中为对同位置卷积参数的不同任务的缩放因子的累计最大值。
图6B是在本发明的一实施例中反向传播梯度更新神经网络模型NN以及一对应任务的闸道开关GS的示意图。请参考图6B，以批次标准化层630’为例，在步骤S61中，批次标准化层630’得到由神经元z1传回的反向传播梯度g。在步骤S62中，训练模块1205根据批次标准化层630’的多个缩放因子决定多个激活参数act(x)而调整反向传播梯度g′并根据已调整的反向传播梯度g′对批次标准化层610’的多个缩放因子/>以及神经元y1、y3的参数进行更新。
需注意的是，在训练新任务t+1执行反向梯度时，训练模块1205记录对已训练的t个任务的已激活的缩放因子的位置。由于对应的卷积层参数对某个旧任务的重要性很高，则不希望会被新任务的梯度所修改，对新任务的反向梯度过程，会保护重要的卷积神经元不被新任务修改，但并不限制新任务的闸道开关GS是否激活对旧任务重要的神经元。因此，本身参数重要性高的卷积核是可以被多个任务重复有效利用。例如，在图6B之中所示的神经元y2，z2是被保留的卷积神经元，因此在步骤S63的反向传播梯度过程中，神经元y2，z2的参数不会被修改。
需说明的是，上述图6A、图6B所述的实施例为本发明较佳的实施例，通过批次标准化层的多个缩放因子来实现对应于多个任务的多个闸道开关GS达到自适应地从多个任务识别目标任务的效果。然而，在不脱离本发明的精神和范围内，多个闸道开关GS并不限于以批次标准化层来实现。在一些实施例中，多个闸道开关GS也可以通过多个重要性因子(importance factor)针对特征图进行逐元素乘积来实现。
图7是在本发明的另一实施例中神经网络模型以及对应任务的闸道开关的运作的示意图。在本发明的一实施例中，多个闸道开关GS的每一者包括多个重要性因子(importance factor)。推论模块1203将输入图像通过神经网络模型NN而得到一输出特征图。在步骤S70中，推论模块1203将输出特征图与多个重要性因子进行逐元素乘积(element-wise multiplication)而得到多个特征图。在步骤S71中，推论模块1203将多个特征图经过激励函数而得到预测结果。
多个重要性因子由以下公式(7)计算：
其中为重要性因子，/>为所述输出特征图，k为参数。
在本发明的一实施例中，损失函数包括一重要性因子正则项(importance factorregularization term)，其中重要性因子正则项关联于多个重要性因子。
在本发明的另一实施例中，已调整的反向传播梯度由以下公式(8)计算：
其中g′l为已调整的所述反向传播梯度，gl为所述反向传播梯度，其中为所述多个重要性因子的最大值。
图8是在本发明的另一实施例中神经网络模型NN的示意图。神经网络模型NN包括卷积层810以及批次标准化层820。共同参照图7，多个重要性因子关联于卷积层810的多个卷积核。在一实施例中，神经网络模型NN可以是卷积神经网络架构，例如是ResNet、VGG、MobileNet-v2的神经网络架构。需注意的是，在图7、图8的实施例中，多个闸道开关GS可以是通过多个重要性因子进行逐元素乘积来实现针对卷积层810的神经元重要参数筛选，而并不限制于神经网络模型NN的批次标准化层820。
图9是在本发明的一实施例中关联于多个任务的训练数据的示意图。在一实施例中，本发明实施例的机器学习方法可应用于门禁管理增强戴口罩人脸的识别能力。举例来说，可将有戴口罩的人脸图像910及对应的类别标签作为第一个任务进行训练。接着，在步骤S90中，改以有带口罩的人脸图像920作为新任务进行训练。在此范例中，本发明实施例的机器学习方法可不需取用或保存旧任务的数据，将新的有戴口罩的人脸图像920数据集当作新任务，由于在新任务更新的多个闸道开关经由训练可选择对新任务重要的卷积神经元，而且因为新任务允许使用旧任务的参数，因此学习有戴口罩的人脸图像识别的任务就可以直接利用在旧任务中学习到的眼睛、眉毛和额头等没被口罩遮掩的特征，至于嘴巴和鼻子等在新任务中不重要的参数，新任务就不激活任务一中相关的卷积神经元，并使用对旧任务模型不重要的卷积神经元来学习有戴口罩后的人脸的细部特征，例如戴口罩后鼻子隆起的阴影面积或口罩遮挡后人脸投影面的边角弧度等等。
在一实施例中，本发明实施例的机器学习方法可应用于商品相似性搜索。举例来说，学习第一个任务为识别春装服饰的商品。接着，当秋冬换季时，学习新任务以识别的冬天服饰，将新任务的以冬装服饰的图资进行训练，由于旧任务的模型已训练有服装的大致特征。由于在新任务更新的多个闸道开关经由训练可选择对新任务重要的卷积神经元，而且因为新任务允许使用旧任务的参数，因此学习冬装服饰的图资识别的任务就可以直接利用在旧任务中学习到的已训练有服装的细部特征(如:衣领、袖子和钮扣等等)，达到更佳的可重复利用率，增进电子装置的运算效能。
在一实施例中，本发明实施例的机器学习方法可应用于智能工厂制造印刷电路板表面安装元件的瑕疵检测。举例来说，学习第一个任务为分辨第一型号电阻的瑕疵，其中包含有正常和异常两个类别的图像。当印刷电路板需新增第二型号的电阻，由于第一个任务的神经网络模型已学习有电阻中包含外型和瑕疵等特征，因此对第二个任务的第二型号的电阻图资更新的多个闸道开关来选择第一个任务之中对第二个任务的重要的卷积神经元，如元件外型和部分较常发生的偏移瑕疵，意即新任务可重复使用对旧任务重要的卷积核，并用对旧任务不重要的卷积核来学习第一个任务中较缺乏的特征，如此一来可以有效利用旧有参数，又可学习对当新任务需偏重的瑕疵特征。由此，本发明的实施例在单一神经网络模型中区隔出不同的子模型来解决不同的任务。
综上所述，本发明提出基于能量评分的任务感知连续学习技术架构，通过多个闸道开关将一个神经网络模型对应多个任务的特征图分门别类而决定多个子模型，并允许从一个神经网络模型结合对应任务的闸道开关自动跨任务选取对其它旧任务重要的卷积参数，再以未被先前任务使用的卷积参数学习新任务知识，最后以损失函数决定反向传播梯度来帮助新任务的优化，使神经网络模型达到更佳的可重复利用率。由此，让神经网络模型能保留更多神经元去学习下一个任务，并且保存多个子模型中重要的参数，进而有效地避免灾难性遗忘。
虽然结合以上实施例公开了本发明，然而其并非用以限定本发明，任何所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，可作些许的更动与润饰，故本发明的保护范围应当以所附的权利要求所界定的为准。

Claims (20)

1.一种连续学习的机器学习方法，包括：
撷取输入图像；
通过多个子模型对所述输入图像进行特征撷取而得到多个特征图，其中所述多个子模型对应于多个任务，且所述多个子模型由神经网络模型以及多个闸道开关所决定；
将所述多个特征图转换为多个能量分数；
根据所述多个能量分数从所述多个子模型中选出对应于所述多个任务中的目标任务的目标子模型；以及
通过所述目标子模型输出对应于所述目标任务的预测结果。
2.如权利要求1所述的机器学习方法，其中所述神经网络模型包括至少一卷积层(convolutional layer)以及至少一批次标准化层(batch normalization layer)。
3.如权利要求2所述的机器学习方法，其中所述多个闸道开关的每一者包括所述至少一批次标准化层的多个缩放因子(scaling factor)，且所述多个缩放因子关联于所述至少一卷积层的多个卷积核(convolutional kernel)，其中通过所述多个子模型对所述输入图像进行特征撷取而得到所述多个特征图的步骤包括：
将所述输入图像通过所述至少一卷积层而得到输入特征图；
通过所述至少一批次标准化层将所述输入特征图与所述多个闸道开关的每一者的所述多个缩放因子进行标准化运算而得到所述多个特征图。
4.如权利要求3所述的机器学习方法，其中所述标准化运算由以下公式计算：
其中为所述多个特征图，X*为所述输入特征图，/>为所述多个缩放因子，/>为一平均值，/>为一标准差，/>为一平移因子(shifting factor)。
5.如权利要求1所述的机器学习方法，其中将所述多个特征图转换为所述多个能量分数由以下公式计算：
其中E为能量分数，f(X)c为特征图在类别c的值，C′为类别数量。
6.如权利要求1所述的机器学习方法，其中根据所述多个能量分数从所述多个子模型中选出对应于所述多个任务的所述目标任务的所述目标子模型的步骤包括：
选择对应于所述多个能量分数的最小值的子模型作为所述目标子模型。
7.如权利要求1所述的机器学习方法，其中所述多个闸道开关的每一者包括多个重要性因子(importance factor)，其中通过所述多个子模型对所述输入图像进行特征撷取而得到所述多个特征图的步骤包括：
将所述输入图像通过所述神经网络模型而得到输出特征图；
将所述输出特征图与所述多个闸道开关的每一者的所述多个重要性因子进行逐元素乘积(element-wise multiplication)而得到所述多个特征图。
8.如权利要求7所述的机器学习方法，其中所述多个重要性因子由以下公式计算：
其中为重要性因子，/>为所述输出特征图，k为参数。
9.如权利要求1所述的机器学习方法，还包括：
接收关联于所述多个任务的训练数据，其中所述训练数据包括训练图像以及对应于所述训练图像的类别标签；
根据所述神经网络模型以及所述多个闸道开关对所述训练图像进行特征撷取而得到训练特征图；
将所述训练特征图转换为特征能量分数；
根据所述类别标签、所述多个闸道开关以及所述特征能量分数决定损失函数；
根据所述损失函数决定反向传播梯度；以及
根据所述反向传播梯度更新所述神经网络模型以及所述多个闸道开关，其中所述多个闸道开关对应于所述多个任务，且所述多个任务的至少一训练任务所对应的闸道开关被更新。
10.如权利要求9所述的机器学习方法，其中所述神经网络模型包括至少一卷积层以及至少一批次标准化层，所述多个闸道开关的每一者包括所述至少一批次标准化层的多个缩放因子，且所述多个缩放因子关联于所述至少一卷积层的多个卷积核，其中根据所述神经网络模型以及所述多个闸道开关对所述训练图像进行特征撷取而得到所述训练特征图的步骤包括：
将所述训练图像通过所述至少一卷积层而得到输入特征图；
通过所述至少一批次标准化层将所述输入特征图与所述多个缩放因子进行标准化运算而得到所述训练特征图。
11.如权利要求10所述的机器学习方法，其中所述损失函数包括：
交叉熵损失(cross entropy loss)；
闸道开关正则项；以及
能量损失。
12.如权利要求11所述的机器学习方法，其中所述闸道开关正则项关联于所述多个缩放因子。
13.如权利要求12所述的机器学习方法，其中所述闸道开关正则项由以下公式计算：
其中Rs(r)为所述闸道开关正则项，为所述多个缩放因子，L为层数，Cl为通道数，k为参数。
14.如权利要求11所述的机器学习方法，其中所述能量损失由以下公式计算：
LossE＝max(0,Esame-ELsame)+max(0,ELdiff-Ediff)
其中LossE为所述能量损失，Esame为相同任务的样本的能量分数，Ediff为不同任务的样本的能量分数，ELsame及ELdiff为参数。
15.如权利要求10所述的机器学习方法，其中根据所述反向传播梯度更新所述神经网络模型以及所述多个闸道开关的步骤包括：
根据所述多个闸道开关决定多个激活参数；
根据所述多个激活参数调整所述反向传播梯度；
根据已调整的所述反向传播梯度更新所述神经网络模型以及所述多个闸道开关。
16.如权利要求15所述的机器学习方法，其中已调整的所述反向传播梯度由以下公式计算：
其中g′l为已调整的所述反向传播梯度，gl为所述反向传播梯度，其中为对应同一位置卷积参数的任务1到任务t的缩放因子的累计最大值。
17.如权利要求9所述的机器学习方法，其中所述多个闸道开关的每一者包括多个重要性因子，其中所述损失函数包括重要性因子正则项，其中所述重要性因子正则项关联于所述多个重要性因子。
18.如权利要求17所述的机器学习方法，其中根据所述反向传播梯度更新所述神经网络模型以及所述多个闸道开关的步骤包括：
根据所述多个闸道开关决定多个激活参数；
根据所述多个激活参数调整所述反向传播梯度；
根据已调整的所述反向传播梯度更新所述神经网络模型以及所述多个闸道开关，其中已调整的所述反向传播梯度由以下公式计算：
其中g′l为已调整的所述反向传播梯度，gl为所述反向传播梯度，其中为对应同一位置卷积参数的任务1到任务t的重要性因子的累计最大值。
19.一种用于任务感知连续学习的电子装置，包括：
存储介质，存储多个模块；以及
处理器，耦接所述存储介质，所述处理器经配置以执行所述多个模块，其中所述多个模块包括：
图像撷取模块，撷取输入图像；
推论模块，通过多个子模型对所述输入图像进行特征撷取而得到多个特征图，其中所述多个子模型对应于多个任务，且所述多个子模型由神经网络模型以及多个闸道开关所决定，将所述多个特征图转换为多个能量分数，根据所述多个能量分数从所述多个子模型中选出对应于所述多个任务的目标任务的目标子模型，且通过所述目标子模型输出对应于所述目标任务的预测结果。
20.如权利要求19所述的电子装置，其中所述多个模块还包括：
训练模块，接收关联于所述多个任务的训练数据，其中所述训练数据包括训练图像以及对应于所述训练图像的类别标签，根据所述神经网络模型以及所述多个闸道开关对所述训练图像进行特征撷取而得到训练特征图，将所述训练特征图转换为特征能量分数，根据所述类别标签、所述多个闸道开关以及所述特征能量分数决定损失函数，根据所述损失函数决定反向传播梯度，且根据所述反向传播梯度更新所述神经网络模型以及所述多个闸道开关，其中所述多个闸道开关对应于所述多个任务，且所述多个任务的至少一训练任务所对应的闸道开关被更新。
CN202210802440.3A 2022-06-17 2022-07-07 连续学习的机器学习方法及电子装置 Pending CN117315276A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW111122622 2022-06-17
TW111122622A TWI812291B (zh) 2022-06-17 2022-06-17 連續學習的機器學習方法及電子裝置

Publications (1)

Publication Number Publication Date
CN117315276A true CN117315276A (zh) 2023-12-29

Family

ID=84367329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210802440.3A Pending CN117315276A (zh) 2022-06-17 2022-07-07 连续学习的机器学习方法及电子装置

Country Status (5)

Country Link
US (1) US20230410481A1 (zh)
EP (1) EP4293579A1 (zh)
JP (1) JP2023184403A (zh)
CN (1) CN117315276A (zh)
TW (1) TWI812291B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9826149B2 (en) * 2015-03-27 2017-11-21 Intel Corporation Machine learning of real-time image capture parameters
EP3622521A1 (en) * 2017-10-16 2020-03-18 Illumina, Inc. Deep convolutional neural networks for variant classification
KR102630320B1 (ko) * 2018-11-15 2024-01-30 모빌아이 비젼 테크놀로지스 엘티디. 다중 프레임 시맨틱 신호의 고속 cnn 분류
US11343474B2 (en) * 2019-10-02 2022-05-24 Qualcomm Incorporated Image capture based on action recognition
CN113271450B (zh) * 2020-02-14 2022-12-09 宏碁股份有限公司 白平衡调整方法、影像处理装置与影像处理系统
US11651588B1 (en) * 2020-06-05 2023-05-16 Aetherai Ip Holding Llc Object detection method and convolution neural network for the same

Also Published As

Publication number Publication date
US20230410481A1 (en) 2023-12-21
TWI812291B (zh) 2023-08-11
EP4293579A1 (en) 2023-12-20
TW202401304A (zh) 2024-01-01
JP2023184403A (ja) 2023-12-28

Similar Documents

Publication Publication Date Title
Ozcan et al. Transfer learning-based convolutional neural networks with heuristic optimization for hand gesture recognition
Mao et al. Fire recognition based on multi-channel convolutional neural network
CN110555481B (zh) 一种人像风格识别方法、装置和计算机可读存储介质
US9111375B2 (en) Evaluation of three-dimensional scenes using two-dimensional representations
KR102459221B1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
Dodge et al. Visual saliency prediction using a mixture of deep neural networks
WO2018089158A1 (en) Natural language object tracking
Zhang et al. Facial smile detection based on deep learning features
CN111079833B (zh) 图像识别方法、装置以及计算机可读存储介质
WO2020260862A1 (en) Facial behaviour analysis
WO2022179606A1 (zh) 一种图像处理方法及相关装置
JP7225731B2 (ja) 多変数データシーケンスの画像化
CN111104911A (zh) 一种基于大数据训练的行人重识别方法及装置
WO2022156475A1 (zh) 神经网络模型的训练方法、数据处理方法及装置
WO2024041108A1 (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN111382410B (zh) 刷脸验证方法及系统
CN109508640A (zh) 一种人群情感分析方法、装置和存储介质
CN112529149A (zh) 一种数据处理方法及相关装置
CN111797862A (zh) 任务处理方法、装置、存储介质和电子设备
CN110163049B (zh) 一种人脸属性预测方法、装置及存储介质
CN111611852A (zh) 一种表情识别模型的训练方法、装置及设备
CN117315276A (zh) 连续学习的机器学习方法及电子装置
CN115641490A (zh) 一种数据处理方法及其装置
Singla et al. Age and gender detection using Deep Learning
Kartbayev et al. Development of a computer system for identity authentication using artificial neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination