CN116136896A - 电子装置及卷积神经网络训练方法 - Google Patents

电子装置及卷积神经网络训练方法 Download PDF

Info

Publication number
CN116136896A
CN116136896A CN202111339262.7A CN202111339262A CN116136896A CN 116136896 A CN116136896 A CN 116136896A CN 202111339262 A CN202111339262 A CN 202111339262A CN 116136896 A CN116136896 A CN 116136896A
Authority
CN
China
Prior art keywords
neural network
feature map
electronic device
self
leads
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111339262.7A
Other languages
English (en)
Inventor
谢宛庭
杨皓钧
陈佩君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inventec Pudong Technology Corp
Inventec Corp
Original Assignee
Inventec Pudong Technology Corp
Inventec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inventec Pudong Technology Corp, Inventec Corp filed Critical Inventec Pudong Technology Corp
Priority to CN202111339262.7A priority Critical patent/CN116136896A/zh
Priority to US17/654,400 priority patent/US20230153575A1/en
Publication of CN116136896A publication Critical patent/CN116136896A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种电子装置及卷积神经网络训练方法。电子装置包含处理器以及储存装置。储存装置用以储存复数个残差神经网络组以及多头注意力神经网络。多头注意力神经网络包含复数个自注意力模组。该处理器用以进行下列步骤。将对应于复数个导程的复数笔资料分别输入至复数个残差神经网络组以产生分别对应于该些导程的复数个特征图组。依据该些特征图组的复数个标签将该些特征图组分类至该些自注意力模组。

Description

电子装置及卷积神经网络训练方法
技术领域
本发明涉及一种电子装置。特别是关于一种电子装置及卷积神经网络训练方法。
背景技术
在现今的技术中，深度学习越来越常被应用于辅助人类的判断。然而，由于医学影像的训练数据通常是由专业人士标记而来，再由各大资料库搜集整合。在这样的情形中，可能会产生来源域的偏差。再者，若将具有不同疾病的数据以相同的机器训练，可能会导致机器对不同疾病的判断精确度降低。因此，如何改善来源域的偏差并且提升对不同疾病的判断精确度为本领域中重要的议题。
发明内容
本申请文件提供一种电子装置。电子装置包含处理器以及储存装置。储存装置用以储存复数个残差神经网络组以及多头注意力神经网络。多头注意力神经网络包含复数个自注意力模组，其中所述处理器用以执行下列步骤。将对应于复数个导程的复数笔资料分别输入至复数个残差神经网络组以产生分别对应于所述复数个导程的复数个特征图组。依据所述复数个特征图组的复数个标签将所述复数个特征图组分类至所述复数个自注意力模组。依据所述复数个特征图组产生复数个输出特征图，其中所述复数个输出特征图分别对应于所述复数个标签。
较佳的是，其中所述复数个自注意力模组各自具有对应于所述复数个导程的复数个权重。
较佳的是，其中所述储存装置更用以储存一全连接神经网络，其中所述处理器用以：将所述复数个输出特征图输入至一全连接神经网络以分别依据所述复数个输出特征图产生复数个输出值，其中所述复数个输出值分别对应于所述复数个标签。
较佳的是，其中所述复数个残差神经网络组中每一个包含：复数个连续的残差神经网络，其中所述复数个连续的残差神经网络其中的一第一个包含：一卷积神经网络，用以依据对应于其中一个所述复数个导程的所述复数笔资料其中一个，产生一第一特征图；以及一混合层，用以：打乱所述第一特征图在批次维度中的顺序以产生一第二特征图；以及依据一混合模型将所述第一特征图以及所述第二特征图混和以产生一第三特征图；其中，所述复数个连续的残差神经网络其中的所述第一个依据所述第三特征图以及所述复数笔资料，所述复数笔资料中的一个产生一第四特征图作为一输入资料传送至所述复数个连续的残差神经网络其中的一第二个。
较佳的是，其中所述混合模型为MixStyle(F，F′)，其中，
Figure BDA0003351170200000021
γmix＝λσ(F)+(1-λ)σ(F′)；
βmix＝λμ(F)+(1-λ)μ(F′)；
其中若以所述第一特征图代入所述混合模型中的变数F，并以所述第二特征图代入所述混合模型中的变数F’，所述混合模型的计算结果为所述第三特征图。
较佳的是，其中所述复数个连续的残差神经网络其中的最后一者用以产生所述复数个特征图组其中一个。
较佳的是，其中所述卷积神经网络包含批量标准化层、线性整流函数层、卷积层以及压缩和激发层。
较佳的是，其中所述复数个自注意力模组各自遮罩数值相对较小的所述复数个权重其中一部分，使所述复数个权重其中所述部分的和为0。
较佳的是，其中在所述复数个自注意力模组各自遮罩数值相对较小的所述复数个权重其中所述部分之后，所述复数个自注意力模组相应调整数值相对较大的所述复数个权重其中另一部分的数值。
本申请文件提供一种卷积神经网络训练方法，卷积神经网络训练方法包含下列步骤。接收对应于复数个导程的复数笔资料。依据所述复数笔资料产生分别对应于所述复数个导程的复数个特征图组。依据所述复数个特征图组的复数个标签将所述复数个特征图组分类至复数个自注意力模组。所述复数个自注意力模组具有相异的函数。所述复数个标签分别对应于复数种疾病。依据所述复数个特征图组产生复数个输出特征图。
综上所述，本案利用多头注意力神经网络依据不同的疾病产生相异的函数，以提升针对不同疾病的判别精确度。
附图说明
为使本申请的上述和其他目的、特征、优点与实施例能更明显易懂，所附图式的说明如下：
图1为本申请一实施例的电子装置的示意图。
图2为本申请一实施例的神经网络架构的示意图。
图3为本申请一实施例的残差神经网络组的示意图。
图4为本申请一实施例的残差神经网络的示意图。
图5为本申请一实施例的导程的示意图。
图6为本申请一实施例的导程的示意图。
图7为本申请一实施例的卷积神经网络训练方法的示意图。
为使本申请的上述和其他目的、特征、优点与实施例能更明显易懂，所附符号的说明如下：
100:神经网络架构
110,110a,110b,110c:残差神经网络组
120:多头注意力神经网络
122a,122b,122c:自注意力模组
130:全连接神经网络
200:卷积神经网络训练方法
1000:电子装置
1100:储存装置
1200:处理器
G110:残差神经网络架构
Res1～Resn,Res:残差神经网络
Data,Data1,Data2,Data3:多笔资料
FML1,FML2,FML3,FML:特征图组
FMC1,FMC2,FMC3:特征图
Input:输入资料
OUT1,OUT2,OUT3:输出值
dclass:类别
Convs:卷积神经网络
BN:批量标准化层
ReLU:线性整流函数层
Conv:卷积层
SE:压缩和激发层
aVR,aVF,aVL,I,II,III:肢体导程
V1～V6:胸导程
S210～S250:步骤
具体实施方式
下文是举实施例配合所附图式作详细说明，以更好地理解本案的态样，但所提供的实施例并非用以限制本案所涵盖的范围，而结构操作的描述非用以限制其执行的顺序，任何由元件重新组合的结构，所产生具有均等功效的装置，皆为本案所涵盖的范围。此外，根据业界的标准及惯常做法，图式仅以辅助说明为目的，并未依照原尺寸作图，实际上各种特征的尺寸可任意地增加或减少以便于说明。下述说明中相同元件将以相同的符号标示来进行说明以便于理解。
本案说明书和图式中使用的元件编号和信号编号中的索引1～n，只是为了方便指称个别的元件和信号，并非有意将前述元件和信号的数量局限在特定数目。在本案说明书和图式中，若使用某一元件编号或信号编号时没有指明该元件编号或信号编号的索引，则代表该元件编号或信号编号是指称所属元件群组或信号群组中不特定的任一元件或信号。
此外，在本文中所使用的用词“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指“包含但不限于”。此外，本文中所使用的“及/或”，包含相关列举项目中一或多个项目的任意一个以及其所有组合。
于本文中，当一元件被称为“连接”或“耦接”时，可指“电性连接”或“电性耦接”。“连接”或“耦接”亦可用以表示二或多个元件间相互搭配操作或互动。此外，虽然本文中使用“第一”、“第二”、…等用语描述不同元件，该用语仅是用以区别以相同技术用语描述的元件或操作。
心电图的十二导程包含三个肢体导程、三个加压肢体导程及六个胸导程。所述的导程由十个电极贴片构成，肢体导程可由设置四个电极设置于左、手臂以及左、右脚的埃因托芬三角(Einthoven's triangle)实现。胸导程可由另外六个电极设置于胸前作为正极，并以威尔森中央电端作为负极实现。一般而言，六个肢体导程会以I、II、III、aVL、aVR以及aVF表示；六个胸导程会以V1、V2、V3、V4、V5以及V6表示。通过观察心电图中十二导程的波形可得知受测者的心脏活动情况，进一步判断是否为正常状态或可能具有的疾病种类。
在心电图量测的过程中，可能会因电极的设置、受测者的状态、环境因素而产生干扰信号，并且作为训练资料的心电图通常是由大量的专业人员标注。故即便是取自相同资料库的资料，也会有域偏差的问题。因此，在后续实施例中将会详细说明本申请文件如何降低域偏差的影响。
请参阅图1，图1为本申请一实施例的电子装置1000的示意图。电子装置1000包含处理器1200以及电性耦接处理器1200的储存装置1100。
请参阅图2，图2为本申请一实施例的神经网络架构100的示意图。如图2所示，神经网络架构100包含残差神经网络架构G110、多头注意力神经网络120以及全连接神经网络130。神经网络架构100可由电子装置1000中的储存装置1100储存，并由电子装置1000中的处理器1200执行。在本申请文件的实施例中，神经网络架构100的功能皆可由理器1200执行。
在功能上，残差神经网络架构G110用以接收对应于不同导程的多笔资料Data1、Data2以及Data3，并且依据多笔资料Data1、Data2以及Data3产生特征图组FML1、FML2及FML3。多头注意力神经网络120用以接收特征图组FML1、FML2及FML3，并且依据特征图组FML1、FML2及FML3产生输出特征图FMC1、FMC2以及FMC3。全连接神经网络130用以接收特征图FMC1、FMC2以及FMC3，并且依据特征图FMC1、FMC2以及FMC3产生输出值OUT1、OUT2以及OUT3。输出值OUT1、OUT2以及OUT3分别对应于不同的疾病(标签)。在训练阶段中，将多笔资料Data1、Data2以及Data3输入至神经网络架构100后，可依据输出值OUT1、OUT2及OUT3以及多笔资料Data1、Data2及Data3各自的多个标签，调整残差神经网络架构G110、多头注意力神经网络120以及全连接神经网络130的权重。
具体而言，残差神经网络架构G110包含残差神经网络组110a、110b以及110c。在心电图中，不同导程间的波形具有相当明显的差异，故本申请文件中将对应于不同导程的多笔资料Data1、Data2以及Data3分别输入至残差神经网络组110a、110b以及110c，由此分别训练对应于不同导程的残差神经网络组110a、110b以及110c。
举例而言，若多笔资料Data1对应于肢体导程I，残差神经网络组110a用以提取肢体导程I的特征图组FML1。若多笔资料Data2对应于肢体导程II，残差神经网络组110b用以提取肢体导程II的特征图组FML2。若多笔资料Data3对应于肢体导程III，残差神经网络组110c用以提取肢体导程III的特征图组FML3。并且，残差神经网络架构G110将残差神经网络组110a、110b以及110c各自所产生的特征图组FML1、FML2及FML3传送至多头注意力神经网络120。
需要注意的是，虽然图式中仅绘示三个残差神经网络组110a、110b以及110c，但本申请文件的神经网络架构100可包含更多数量的残差神经网络组(例如，4、6、8、12个)以分别对应4、6、8或12导程，因此本申请文件，不以此为限。
多头注意力神经网络120包含自注意力模组122a、122b以及122c。在功能上，自注意力模组122a、122b以及122c可由相异的疾病区分。并且，在输入资料对标签的映射空间中，自注意力模组122a、122b以及122c分别用以接收具有其中一种标签的特征图组。本申请文件中的标签可由疾病的种类理解，故自注意力模组122a、122b以及122c分别用以依据不同类型的疾病建构具有相异函数的模型。
举例而言，若多笔资料Data1及Data2皆具有多个标签分别对应于房室传导阻塞、窦性心律不齐以及窦性心律过缓。并且，多笔资料Data3具有一个标签对应于窦性心律过缓。如此，自注意力模组122a依据多个标签其中一个(例如，对应于房室传导阻塞的标签)，接收具有该标签的特征图组FML1及FML2。自注意力模组122a依据多个标签其中另一个(例如，对应于窦性心律不齐的标签)，接收具有该标签的特征图组FML1及FML2。自注意力模组122c依据多个标签其中再一个(例如，对应于窦性心律过缓的标签)，接收具有该标签的特征图组FML3。
如此，自注意力模组122a、122b以及122c可分别依据具有特定标签(对应于特定疾病)的特征图组产生相应的输出特征图FMC1、FMC2以及FMC3。因此，特征图FMC1会对应于多个标签其中该者(例如，对应于房室传导阻塞的标签)，特征图FMC2会对应于多个标签其中另该者(例如，对应于窦性心律不齐的标签)，特征图FMC3会对应于多个标签其中再该者(例如，对应于窦性心律过缓的标签)。换言之，多头注意力神经网络120用以产生具有不同类别dclass的特征图FMC1、FMC2以及FMC3。特征图FMC1、FMC2以及FMC3的类别dclass可由疾病区分。
并且，由于自注意力模组122a、122b以及122c是依据不同的输入训练，故会具有相异的函数。自注意力模组122a、122b以及122c各自的函数中具有对应于该些疾病其中一者的多个权重。自注意力模组122a、122b以及122c可以各自遮罩数值相对较小的多个权重其中一部分，并相应调整数值相对较大的多个权重其中另一部分的数值，使多个权重其中另该部分的和为1，藉此遮罩质量较低的导程。
举例而言，自注意力模组122a的函数包含三个权重分别对应于肢体导程I、肢体导程II以及肢体导程III。若对应于肢体导程III的权重小于一临界值且小于对应于肢体导程I及肢体导程II的权重，则自注意力模组122a将若对应于肢体导程III的权重设定为0，并相应的调整对应于肢体导程I及肢体导程II的权重，从而由质量较高肢体导程I及肢体导程II训练自注意力模组122a。
在一些实施俐中，自注意力模组122a、122b以及122c的模型可由下列公式表示。
Figure BDA0003351170200000081
上述公式中的Q、K及V查询、键以及值，可由导程嵌入的线性投影推得。
需要注意的是，虽然图式中仅绘示三个残差神经网络组110a、110b以及110c，但本申请文件的神经网络架构100可包含更多数量的自注意力模组(例如，26、27个)以分别对应26种或27种疾病。因此本申请文件，不以此为限。
请参阅图3，图3为本申请一实施例的残差神经网络组110的示意图。图2中的残差神经网络组110a、110b以及110c皆可由图3中的残差神经网络组110理解，并且残差神经网络组110所输出的特征图组FML亦可被相应的理解为图2中的特征图组FML1、FML2或FML3。如图3所示，残差神经网络组110包含连续的残差神经网络Res1～Resn，所述的n可以为任何正整数。在一些实施例中，n可以为4、6、8或其他合适的层数。连续的残差神经网络Res1～Resn中的第一个(例如，残差神经网络Res1)用以接收输入资料Data，连续的残差神经网络Res1～Resn中的最后一个(例如，残差神经网络Resn)用以产生特征图组FML。
请参阅图4，图4为本申请一实施例的残差神经网络Res的示意图。图3中的残差神经网络Res1～Resn皆可由图4中的残差神经网络Res理解。如图4所示，残差神经网络Res包含卷积神经网络Convs以及混合层Mixstyle。卷积神经网络Convs包含批量标准化层BN、线性整流函数层ReLU、卷积层Conv以及压缩和激发层SE。
卷积神经网络Convs用以接收输入资料Input，并依据输入资料Input产生第一特征图，并且卷积神经网络Convs将第一特征图传送至混合层Mixstyle。
混合层Mixstyle用以打乱第一特征图在批次维度中的顺序以产生第二特征图，并利用混合模型将第一特征图以及第二特征图混和已产生第三特征图。混合模型可由下列的公式表示。
Figure BDA0003351170200000091
γmin＝λσ(F)+(1-λ)σ(F′)；
βmix＝λμ(F)+(1-λ)μ(F′)；
在上述公式中，若以第一特征图代入变数F，并以第二特征图代入变数F’，混合模型的计算结果为第三特征图。残差神经网络Res依据将第三特征图以及输入资料Input产生第四特征图RESout，并将第四特征图RESout作为另一输入资料传送至下一层的残差神经网络。亦即，并第四特征图RESout作为输入资料传送连续的残差神经网络其中的一第二个。
在上述公式中，混合层Mixstyle将第一特征图以及第二特征图混和而形成具有新风格的第三特征图。μ(F)以及可理解为F及F’的平均值，σ(F)以及可理解为F及F’的标准值。γmin及βmix为仿射变换系数。并且，在公式中的，其中α可由0.1代入。
请参阅图5，图5为本申请一实施例的导程的示意图。图5所示的导程包含肢体导程aVR、aVF、aVL、I、II以及III以及胸导程V1～V6。一般而言，由于机器是由包含12导程的资料所训练而成，故机器在测试及使用时通常会需要包含完整的12导程的资料。
请参阅图6，图6为本申请一实施例的导程的示意图。图6所示的导程包含肢体导程aVL及I以及胸导程V1、V2、V3、V5及V6。本申请文件利用混合层MixStyle降低资料的域偏差，并利用多头注意力神经网络120将对应于不同疾病的特征图组FML1、FML2及FML3分类至训练自注意力模组122a、122b以及122c，故自注意力模组122a、122b以及122c可以较少的导程判断相应的疾病。因此，神经网络架构100可以利用部份的导程(例如，肢体导程aVL及I以及胸导程V1、V2、V3、V5及V6)即可判断特定的疾病。
请参阅图7，图7为本申请一实施例的卷积神经网络训练方法200的示意图。卷积神经网络训练方法200包含步骤S210～S250。
在步骤S210中，接收对应于复数个导程的复数笔资料。由多个残差神经网络组接收对应于复数个导程的复数笔资料。
在步骤S220中，依据该些笔资料产生分别对应于该些导程的复数个特征图组。由多个残差神经网络组依据该些笔资料产生分别对应于该些导程的复数个特征图组。
在步骤S230中，依据该些特征图组的复数个标签将该些特征图组分类至复数个自注意力模组。由多头注意力神经网络依据该些特征图组的复数个标签将该些特征图组分类至复数个自注意力模组。并且，复数个标签分别对应于复数种疾病。
在步骤S240中，依据该些特征图组产生复数个输出特征图。由多头注意力神经网络依据这些特征图组产生复数个输出特征图。
在步骤S250中，依据这些输出特征图产生复数个输出值。由全连接神经网络依据这些输出特征图产生复数个输出值。并且，这些输出值分别对应于这些疾病。
综上所述，本案利用混和层MixStyle减少了资料的来源域偏差，并利用多头注意力神经网络120依据不同的疾病产生相异的函数，以提升针对不同疾病的判别精确度，并将其中质量较低的权重调整为0，从而减少使用上所需的导程数量。
虽然本案已以实施方式申请如上，然其并非限定本案，任何熟习此技艺者，在不脱离本案的精神和范围内，当可作各种的更动与润饰，因此本案的保护范围当视后附的权利要求书所界定的为准。

Claims (10)

1.一种电子装置，其特征在于，包含：
一处理器；以及
一储存装置，所述储存装置用以储存复数个残差神经网络组以及一多头注意力神经网络，其中所述多头注意力神经网络包含复数个自注意力模组，其中所述处理器用以：
将对应于复数个导程的复数笔资料分别输入至复数个残差神经网络组以产生分别对应于所述复数个导程的复数个特征图组；
依据所述复数个特征图组的复数个标签将所述复数个特征图组分类至所述复数个自注意力模组；以及
依据所述复数个特征图组产生复数个输出特征图，其中所述复数个输出特征图分别对应于所述复数个标签。
2.如权利要求1所述的电子装置，其特征在于，其中所述复数个自注意力模组各自具有对应于所述复数个导程的复数个权重。
3.如权利要求1所述的电子装置，其特征在于，其中所述储存装置更用以储存一全连接神经网络，其中所述处理器用以：
将所述复数个输出特征图输入至一全连接神经网络以分别依据所述复数个输出特征图产生复数个输出值，其中所述复数个输出值分别对应于所述复数个标签。
4.如权利要求1所述的电子装置，其特征在于，其中所述复数个残差神经网络组中每一个包含：
复数个连续的残差神经网络，其中所述复数个连续的残差神经网络其中的一第一个包含：
一卷积神经网络，用以依据对应于其中一个所述复数个导程的所述复数笔资料其中一个，产生一第一特征图；以及
一混合层，用以：
打乱所述第一特征图在批次维度中的顺序以产生一第二特征图；以及
依据一混合模型将所述第一特征图以及所述第二特征图混和以产生一第三特征图；其中，
所述复数个连续的残差神经网络其中的所述第一个依据所述第三特征图以及所述复数笔资料,所述复数笔资料中的一个产生一第四特征图作为一输入资料传送至所述复数个连续的残差神经网络其中的一第二个。
5.如权利要求4所述的电子装置，其特征在于，其中所述混合模型为MixStyle(F，F′)，其中，
Figure FDA0003351170190000021
γmix＝λσ(F)+(1-λ)σ(F′)；
βmix＝λμ(F)+(1-λ)μ(F′)；
其中若以所述第一特征图代入所述混合模型中的变数F，并以所述第二特征图代入所述混合模型中的变数F’，所述混合模型的计算结果为所述第三特征图。
6.如权利要求4所述的电子装置，其特征在于，其中所述复数个连续的残差神经网络其中的最后一者用以产生所述复数个特征图组其中一个。
7.如权利要求4所述的电子装置，其特征在于，其中所述卷积神经网络包含批量标准化层、线性整流函数层、卷积层以及压缩和激发层。
8.如权利要求1所述的电子装置，其特征在于，其中所述复数个自注意力模组各自遮罩数值相对较小的所述复数个权重其中一部分，使所述复数个权重其中所述部分的和为0。
9.如权利要求8所述的电子装置，其特征在于，其中在所述复数个自注意力模组各自遮罩数值相对较小的所述复数个权重其中所述部分之后，所述复数个自注意力模组相应调整数值相对较大的所述复数个权重其中另一部分的数值。
10.一种卷积神经网络训练方法，其特征在于，包含：
接收对应于复数个导程的复数笔资料；
依据所述复数笔资料产生分别对应于所述复数个导程的复数个特征图组；
依据所述复数个特征图组的复数个标签将所述复数个特征图组分类至复数个自注意力模组，其中所述复数个自注意力模组具有相异的函数，并且其中所述复数个标签分别对应于复数种疾病；以及
依据所述复数个特征图组产生复数个输出特征图。
CN202111339262.7A 2021-11-12 2021-11-12 电子装置及卷积神经网络训练方法 Pending CN116136896A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111339262.7A CN116136896A (zh) 2021-11-12 2021-11-12 电子装置及卷积神经网络训练方法
US17/654,400 US20230153575A1 (en) 2021-11-12 2022-03-10 Electronic device and convolutional neural network training method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111339262.7A CN116136896A (zh) 2021-11-12 2021-11-12 电子装置及卷积神经网络训练方法

Publications (1)

Publication Number Publication Date
CN116136896A true CN116136896A (zh) 2023-05-19

Family

ID=86323580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111339262.7A Pending CN116136896A (zh) 2021-11-12 2021-11-12 电子装置及卷积神经网络训练方法

Country Status (2)

Country Link
US (1) US20230153575A1 (zh)
CN (1) CN116136896A (zh)

Also Published As

Publication number Publication date
US20230153575A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
CN111354469B (zh) 一种用户健康状况综合评测方法与系统
CN110974214A (zh) 一种基于深度学习的自动心电图分类方法、系统及设备
CN110801218B (zh) 心电图数据处理方法、装置、电子设备及计算机可读介质
CN112733774A (zh) 一种基于BiLSTM与串并多尺度CNN结合的轻量化ECG分类方法
CN106073753A (zh) 18导联全息动态及静态心电图分析方法及系统
CN111557659B (zh) 基于多特征融合与Stacking-DWKNN算法的心律失常分类方法
Zhou et al. ECG quality assessment using 1D-convolutional neural network
Wang et al. Three-heartbeat multilead ECG recognition method for arrhythmia classification
CN117727468B (zh) 一种基于云边协同的健康筛查智能分诊系统
CN116136896A (zh) 电子装置及卷积神经网络训练方法
US11963800B2 (en) ECG training and skill enhancement
CN116910625A (zh) 一种精准脑机信号监测识别方法
CN112545525A (zh) 心电图数据分类方法、装置及系统
TWI783786B (zh) 電子裝置及卷積神經網路訓練方法
CN116649899A (zh) 一种基于注意力机制特征融合的心电信号分类方法
CN116636856A (zh) 心电分类方法、系统、电子设备及存储介质
Gregg et al. 12-Lead ECG interpretation by database comparison
Kors et al. The Delphi method to validate diagnostic knowledge in computerized ECG interpretation
CN112989971B (zh) 一种不同数据源的心电数据融合方法及装置
CN115813401A (zh) 一种基于动态学习的心电图分类方法及系统
CN115130509A (zh) 基于条件式变分自编码器的心电信号生成方法
CN115414049A (zh) 一种基于深度神经网络的可穿戴心电图实时诊断系统
CN115336977A (zh) 一种精准icu警报分级评估方法
Tanantong et al. Towards continuous electrocardiogram monitoring based on rules and ontologies
JP2023524871A (ja) 機械学習モデルへの適用のための時系列データの変換

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination