CN117454933A - 应用于生物电信号识别的神经网络结构搜索方法和装置 - Google Patents
应用于生物电信号识别的神经网络结构搜索方法和装置 Download PDFInfo
- Publication number
- CN117454933A CN117454933A CN202311474424.7A CN202311474424A CN117454933A CN 117454933 A CN117454933 A CN 117454933A CN 202311474424 A CN202311474424 A CN 202311474424A CN 117454933 A CN117454933 A CN 117454933A
- Authority
- CN
- China
- Prior art keywords
- neural network
- loss function
- bioelectric signal
- candidate
- signal recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 166
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims description 117
- 238000004590 computer program Methods 0.000 claims description 26
- 238000005457 optimization Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000012827 research and development Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Abstract
本申请提供了一种应用于生物电信号识别的神经网络结构搜索方法、装置、计算机设备和存储介质。其中，该方法包括：步骤S 102，获取训练集；步骤S104，根据生物电信号识别模型对应的第一损失函数，搜索生物电信号识别模型的候选神经网络结构；步骤S 106，基于候选神经网络结构，将训练集输入至生物电信号识别模型中，以根据生物电信号识别模型对应的第二损失函数，计算候选损失函数值；步骤S108，交替循环执行步骤S 104和步骤S 106，直至达到预设的迭代终止条件；步骤S110，根据候选损失函数值，从不同的候选神经网络结构中，选取生物电信号识别模型的目标神经网络结构。采用本方法可以高效设计生物电信号识别模型的神经网络结构，有利于加快研发周期。
Description
技术领域
本申请涉及生物电信号识别技术领域。具体地，本申请涉及一种应用于生物电信号识别的神经网络结构搜索方法、装置、计算机设备和存储介质。
背景技术
生物电信号识别技术涉及分析和辨识人体产生的各种电信号，例如心电图(ECG)、脑电图(EEG)和肌电图(EMG)。这些信号可以应用于诊断、疾病监测和运动控制等领域，具备广泛的应用潜力。
传统的生物电信号识别方法依赖于机器学习技术来构建生物电信号识别模型，以通过该模型对生物电信号进行分类和辨识。然而，在传统技术中，生物电信号识别模型的设计通常需要人工干预来构建神经网络结构。这种手动设计方法需要进行反复试验和调整，因而耗费大量时间和资源，尤其在处理规模庞大和复杂的生物电信号识别任务时，识别过程将会变得尤为困难。
发明内容
基于此，有必要针对上述技术问题，提供一种应用于生物电信号识别的神经网络结构搜索方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种应用于生物电信号识别的神经网络结构搜索方法。所述方法应用于生物电信号识别模型中，所述生物电信号识别模型是基于神经网络构建的，所述方法包括：
步骤S102，获取训练集；其中，所述训练集包含带有生物电信号类别标签的生物电信号样本；
步骤S104，根据所述生物电信号识别模型对应的第一损失函数，搜索所述生物电信号识别模型的候选神经网络结构；其中，所述第一损失函数用于指示搜索不同的神经网络结构；
步骤S106，基于所述候选神经网络结构，将所述训练集输入至所述生物电信号识别模型中，以根据所述生物电信号识别模型对应的第二损失函数，计算候选损失函数值；其中，所述第二损失函数用于衡量所述生物电信号识别模型的预测性能；
步骤S108，交替循环执行所述步骤S104和所述步骤S106，直至达到预设的迭代终止条件，获得不同的候选神经网络结构以及各候选神经网络结构对应的候选损失函数值；
步骤S110，根据所述候选损失函数值，从所述不同的候选神经网络结构中，选取所述生物电信号识别模型的目标神经网络结构。
在其中一个实施例中，所述步骤S104包括：
步骤S1042，根据所述生物电信号识别模型对应的第一损失函数，通过梯度下降法调整所述生物电信号识别模型对应的操作算子的参数和操作算子的权重；其中，所述操作算子为用于构建神经网络的基本组件；
步骤S1044，根据调整后的操作算子的参数、调整后的操作算子的权重以及预设的搜索策略，确定所述生物电信号识别模型的候选神经网络结构。
在其中一个实施例中，所述生物电信号识别模型对应的搜索计算图为全连接有向无环图；所述全连接有向无环图如下所示：
xj＝Σi＜joi，j(xi)
其中，x为全连接有向无环图中的结点，表示生物电信号识别模型中的特征；i、j为结点标识；o为全连接有向无环图中的边，表示生物电信号识别模型中的操作算子，每条边内包含搜索空间中所有的操作算子；
所述搜索策略采用
其中，O为搜索空间中所有的操作算子，w为操作算子的权重，为每条边内的各操作算子对应的概率。
在其中一个实施例中，所述步骤S1044包括：
步骤S104a，根据调整后的操作算子的参数、调整后的操作算子的权重以及预设的搜索策略，针对每条边，从每条边内包含的所有操作算子中，选取概率最大的操作算子，确定所述生物电信号识别模型的候选神经网络结构。
在其中一个实施例中，所述第一损失函数包括：
其中，α为操作算子的参数；
其中，w为操作算子的权重。
在其中一个实施例中，所述第二损失函数为交叉熵损失函数；所述交叉熵损失函数如下所示：
其中，CrossEntropy为交叉熵，y为生物电信号类别标签，为生物电信号识别结果，n为生物电信号类别标签的类别数量。
在其中一个实施例中，所述搜索空间中所有的操作算子包括：
大小为7x7、步长为1x1、3x3镜像填充的卷积算子、批归一化和ReLU的组合算子；
大小为5x5、步长为1x1、2x2镜像填充的卷积算子、批归一化和ReLU的组合算子；
大小为3x3、步长为1x1、1x1镜像填充的卷积算子、批归一化和ReLU的组合算子；
残差层；
恒等层；
空操作层；
2倍下采样的平均池化层；
2倍下采样的最大池化层。
第二方面，本申请提供了一种应用于生物电信号识别的神经网络结构搜索装置。所述装置用于生物电信号识别模型中，所述生物电信号识别模型是基于神经网络构建的，所述装置包括：
样本获取模块，用于获取训练集；其中，所述训练集包含带有生物电信号类别标签的生物电信号样本；
结构搜索模块，用于根据所述生物电信号识别模型对应的第一损失函数，搜索所述生物电信号识别模型的候选神经网络结构；其中，所述第一损失函数用于指示搜索不同的神经网络结构；
函数值计算模块，用于基于所述候选神经网络结构，将所述训练集输入至所述生物电信号识别模型中，以根据所述生物电信号识别模型对应的第二损失函数，计算候选损失函数值；其中，所述第二损失函数用于衡量所述生物电信号识别模型的预测性能；
优化迭代模块，用于交替循环执行所述结构搜索模块中的步骤和所述函数值计算模块中的步骤，直至达到预设的迭代终止条件，获得不同的候选神经网络结构以及各候选神经网络结构对应的候选损失函数值；
结构选取模块，用于根据所述候选损失函数值，从所述不同的候选神经网络结构中，选取所述生物电信号识别模型的目标神经网络结构。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
步骤S102，获取训练集；其中，所述训练集包含带有生物电信号类别标签的生物电信号样本；
步骤S104，根据所述生物电信号识别模型对应的第一损失函数，搜索所述生物电信号识别模型的候选神经网络结构；其中，所述第一损失函数用于指示搜索不同的神经网络结构；
步骤S106，基于所述候选神经网络结构，将所述训练集输入至所述生物电信号识别模型中，以根据所述生物电信号识别模型对应的第二损失函数，计算候选损失函数值；其中，所述第二损失函数用于衡量所述生物电信号识别模型的预测性能；
步骤S108，交替循环执行所述步骤S104和所述步骤S106，直至达到预设的迭代终止条件，获得不同的候选神经网络结构以及各候选神经网络结构对应的候选损失函数值；
步骤S110，根据所述候选损失函数值，从所述不同的候选神经网络结构中，选取所述生物电信号识别模型的目标神经网络结构。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
步骤S102，获取训练集；其中，所述训练集包含带有生物电信号类别标签的生物电信号样本；
步骤S104，根据所述生物电信号识别模型对应的第一损失函数，搜索所述生物电信号识别模型的候选神经网络结构；其中，所述第一损失函数用于指示搜索不同的神经网络结构；
步骤S106，基于所述候选神经网络结构，将所述训练集输入至所述生物电信号识别模型中，以根据所述生物电信号识别模型对应的第二损失函数，计算候选损失函数值；其中，所述第二损失函数用于衡量所述生物电信号识别模型的预测性能；
步骤S108，交替循环执行所述步骤S104和所述步骤S106，直至达到预设的迭代终止条件，获得不同的候选神经网络结构以及各候选神经网络结构对应的候选损失函数值；
步骤S110，根据所述候选损失函数值，从所述不同的候选神经网络结构中，选取所述生物电信号识别模型的目标神经网络结构。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
步骤S102，获取训练集；其中，所述训练集包含带有生物电信号类别标签的生物电信号样本；
步骤S104，根据所述生物电信号识别模型对应的第一损失函数，搜索所述生物电信号识别模型的候选神经网络结构；其中，所述第一损失函数用于指示搜索不同的神经网络结构；
步骤S106，基于所述候选神经网络结构，将所述训练集输入至所述生物电信号识别模型中，以根据所述生物电信号识别模型对应的第二损失函数，计算候选损失函数值；其中，所述第二损失函数用于衡量所述生物电信号识别模型的预测性能；
步骤S108，交替循环执行所述步骤S104和所述步骤S106，直至达到预设的迭代终止条件，获得不同的候选神经网络结构以及各候选神经网络结构对应的候选损失函数值；
步骤S110，根据所述候选损失函数值，从所述不同的候选神经网络结构中，选取所述生物电信号识别模型的目标神经网络结构。
上述应用于生物电信号识别的神经网络结构搜索方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，首先使用第一损失函数来自动搜索生物电信号识别模型的候选神经网络结构。该第一损失函数用于引导在不同神经网络结构中进行有效地搜索。然后采用候选神经网络结构，将训练集输入至生物电信号识别模型中，以根据第二损失函数计算候选模型的性能。之后交替循环执行候选神经网络结构搜索和生物电信号识别模型训练的步骤，直至达到预设的迭代终止条件，以搜索得到不同的候选神经网络结构。最后基于候选损失函数值，从不同的候选神经网络结构中，选择最适合的神经网络结构作为生物电信号识别模型的目标结构。可以理解，在本申请中，采用自动搜索神经网络结构的方式来确定生物电信号识别模型的神经网络结构，从而节省了人工设计、反复试验和调整的繁琐过程，有利于加快研发周期。同时，神经网络结构自动搜索可以自动挖掘生物电信号特征，通过搜索和优化过程，能够找到更佳的网络拓扑结构和参数设置，提高了生物电信号识别模型的性能和准确度。另外，神经网络自动搜索还可以根据不同类型的生物电信号和采集设备，自动搜索出最佳的神经网络结构，从而实现在不同设备上高效识别生物电信号的效果。
附图说明
图1为一个实施例中应用于生物电信号识别的神经网络结构搜索方法的流程示意图；
图2为一个实施例中应用于生物电信号识别的神经网络结构搜索装置的结构框图；
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种应用于生物电信号识别的神经网络结构搜索方法，该方法包括以下步骤：
步骤S102，获取训练集。
其中，训练集包含带有生物电信号类别标签的生物电信号样本。
步骤S104，根据生物电信号识别模型对应的第一损失函数，搜索生物电信号识别模型的候选神经网络结构。
其中，第一损失函数用于指示搜索不同的神经网络结构。第一损失函数定义了神经网络结构搜索优化目标，具体为：损失函数采用交叉熵损失函数(CrossEntropy)，使用预设的搜索策略，标签的类别为每条边的操作算子，并采用双边优化策略。其中，操作算子为用于构建神经网络的基本组件。双边优化策略如下所示：
操作算子参数优化：
其中，α为操作算子的参数。w为操作算子的权重。L为交叉熵损失函数。Lval为用于评估验证集上性能的损失函数，以测量模型在验证数据上的性能。Ltrain为训练损失函数，表示在训练集上的性能。为梯度操作。ξ为学习率。
操作算子权重优化：
其中，α为操作算子的参数。w为操作算子的权重。L为交叉熵损失函数。Ltrain为训练损失函数，表示在训练集上的性能。
具体而言，步骤S104的具体实现方式包括：步骤S1042，根据生物电信号识别模型对应的第一损失函数，通过梯度下降法调整生物电信号识别模型对应的操作算子的参数和操作算子的权重。步骤S1044，根据调整后的操作算子的参数、调整后的操作算子的权重以及预设的搜索策略，确定生物电信号识别模型的候选神经网络结构。
更具体地，设定生物电信号识别模型对应的搜索计算图为全连接有向无环图(Fully Connected Directed Acyclic Graph，FC-DAG)。其中，在神经网络结构的自动搜索中，定义搜索计算图是为了搜索最佳的神经网络结构，以最大程度地提高模型在特定任务(本申请为生物电信号识别任务)上的性能。全连接有向无环图是一种图形结构，常用于描述和表示神经网络中的结构和拓扑关系。在全连接有向无环图中，结点表示特征，边表示特征之间的连接关系。在一示例中，全连接有向无环图包含7个结点x，边由前序结点与所有后续结点链接组成。
全连接有向无环图可以表示为：
xj＝Σi＜jOi，j(xi)
其中，x为全连接有向无环图中的结点，表示生物电信号识别模型中的特征。i、j为结点标识，即第i个结点、第j个结点。O为全连接有向无环图中的边，表示生物电信号识别模型中的操作算子。第一个结点为源生物电信号，第i个结点共有7-i条边。每条边内包含搜索空间中所有的操作算子。
搜索策略采用其中：
其中，为每条边内的各操作算子对应的概率，即每个操作算子在每条边内被选择的概率。O为搜索空间中所有的操作算子。w为操作算子的权重，使用梯度优化。
可选地，在一个实施例中，根据先验知识或经验来构建搜索空间。该搜索空间中的操作算子O包括：
大小为7x7、步长为1x1、3x3镜像填充的卷积算子、批归一化和ReLU的组合算子；
大小为5x5、步长为1x1、2x2镜像填充的卷积算子、批归一化和ReLU的组合算子；
大小为3x3、步长为1x1、1x1镜像填充的卷积算子、批归一化和ReLU的组合算子；
残差层；
恒等层；
空操作层；
2倍下采样的平均池化层；
2倍下采样的最大池化层。
另外，在一个实施例中，还包括下采样算子：大小为3x3、步长为2x2、1x1镜像填充的卷积算子、批归一化和ReLU的组合算子。
在上述实施例的基础上，步骤S1044包括：步骤S104a，根据调整后的操作算子的参数、调整后的操作算子的权重以及预设的搜索策略，针对每条边，从每条边内包含的所有操作算子中，选取概率最大(即)的操作算子，确定生物电信号识别模型的候选神经网络结构。
步骤S106，基于候选神经网络结构，将训练集输入至生物电信号识别模型中，以根据生物电信号识别模型对应的第二损失函数，计算候选损失函数值。
其中，第二损失函数用于衡量生物电信号识别模型的预测性能。第二损失函数定义了生物电信号识别优化目标，具体为：损失函数为交叉熵损失函数。该交叉熵损失函数如下所示：
其中，CrossEntropy为交叉熵，y为真实的生物电信号类别标签，为预测的生物电信号识别结果，n为生物电信号类别标签的类别数量。该损失函数通过计算真实标签与预测标签之间的交叉熵来衡量模型的预测效果，使得预测结果与真实结果之间的差异最小化。
步骤S108，交替循环执行步骤S104和步骤S106，直至达到预设的迭代终止条件，获得不同的候选神经网络结构以及各候选神经网络结构对应的候选损失函数值。
具体而言，交替执行步骤S104“根据生物电信号识别模型对应的第一损失函数，搜索生物电信号识别模型的候选神经网络结构”和步骤106“基于候选神经网络结构，将训练集输入至生物电信号识别模型中，以根据生物电信号识别模型对应的第二损失函数，计算候选损失函数值”，直至达到预设的迭代次数，例如5000次，从而获得不同的候选神经网络结构以及各候选神经网络结构对应的候选损失函数值。本步骤中，通过交替进行神经网络结构的自动搜索和生物电信号识别任务的训练，迭代优化直到达到最佳性能，将神经网络自动搜索和生物电信号识别相结合，提高了整体的识别效果和性能。
步骤S110，根据候选损失函数值，从不同的候选神经网络结构中，选取生物电信号识别模型的目标神经网络结构。
具体而言，在一示例中，从不同的候选神经网络结构中，选取候选损失函数值最小的候选神经网络结构，确定为生物电信号识别模型的目标神经网络结构。在另一示例中，从不同的候选神经网络结构中，选取候选损失函数值次小的候选神经网络结构，确定为生物电信号识别模型的目标神经网络结构。
上述应用于生物电信号识别的神经网络结构搜索方法中，首先使用第一损失函数来自动搜索生物电信号识别模型的候选神经网络结构。该第一损失函数用于引导在不同神经网络结构中进行有效地搜索。然后采用候选神经网络结构，将训练集输入至生物电信号识别模型中，以根据第二损失函数计算候选模型的性能。之后交替循环执行候选神经网络结构搜索和生物电信号识别模型训练的步骤，直至达到预设的迭代终止条件，以搜索得到不同的候选神经网络结构。最后基于候选损失函数值，从不同的候选神经网络结构中，选择最适合的神经网络结构作为生物电信号识别模型的目标结构。可以理解，在本方法中，采用自动搜索神经网络结构的方式来确定生物电信号识别模型的神经网络结构，从而节省了人工设计、反复试验和调整的繁琐过程，减少了在生物电信号识别任务中的工作量，有利于加快研发周期。同时，神经网络结构自动搜索可以自动挖掘生物电信号中的关键特征，通过搜索和优化过程，能够找到更佳的网络拓扑结构和参数设置，提高了生物电信号识别模型的性能和准确度。另外，神经网络自动搜索还可以根据不同类型的生物电信号和采集设备，自动搜索出最佳的神经网络结构，从而实现在各种不同的设备上应用，并在不同设备上实现高效识别生物电信号的效果。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的应用于生物电信号识别的神经网络结构搜索方法的应用于生物电信号识别的神经网络结构搜索装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个应用于生物电信号识别的神经网络结构搜索装置实施例中的具体限定可以参见上文中对于应用于生物电信号识别的神经网络结构搜索方法的限定，在此不再赘述。
在一个实施例中，如图2所示，提供了一种应用于生物电信号识别的神经网络结构搜索装置。该装置用于生物电信号识别模型中，该生物电信号识别模型是基于神经网络构建的，该装置包括：
样本获取模块202，用于获取训练集；其中，所述训练集包含带有生物电信号类别标签的生物电信号样本；
结构搜索模块204，用于根据所述生物电信号识别模型对应的第一损失函数，搜索所述生物电信号识别模型的候选神经网络结构；其中，所述第一损失函数用于指示搜索不同的神经网络结构；
函数值计算模块206，用于基于所述候选神经网络结构，将所述训练集输入至所述生物电信号识别模型中，以根据所述生物电信号识别模型对应的第二损失函数，计算候选损失函数值；其中，所述第二损失函数用于衡量所述生物电信号识别模型的预测性能；
优化迭代模块208，用于交替循环执行所述结构搜索模块中的步骤和所述函数值计算模块中的步骤，直至达到预设的迭代终止条件，获得不同的候选神经网络结构以及各候选神经网络结构对应的候选损失函数值；
结构选取模块210，用于根据所述候选损失函数值，从所述不同的候选神经网络结构中，选取所述生物电信号识别模型的目标神经网络结构。
上述应用于生物电信号识别的神经网络结构搜索装置中，首先使用第一损失函数来自动搜索生物电信号识别模型的候选神经网络结构。该第一损失函数用于引导在不同神经网络结构中进行有效地搜索。然后采用候选神经网络结构，将训练集输入至生物电信号识别模型中，以根据第二损失函数计算候选模型的性能。之后交替循环执行候选神经网络结构搜索和生物电信号识别模型训练的步骤，直至达到预设的迭代终止条件，以搜索得到不同的候选神经网络结构。最后基于候选损失函数值，从不同的候选神经网络结构中，选择最适合的神经网络结构作为生物电信号识别模型的目标结构。可以理解，在本装置中，采用自动搜索神经网络结构的方式来确定生物电信号识别模型的神经网络结构，从而节省了人工设计、反复试验和调整的繁琐过程，减少了在生物电信号识别任务中的工作量，有利于加快研发周期。同时，神经网络结构自动搜索可以自动挖掘生物电信号中的关键特征，通过搜索和优化过程，能够找到更佳的网络拓扑结构和参数设置，提高了生物电信号识别模型的性能和准确度。另外，神经网络自动搜索还可以根据不同类型的生物电信号和采集设备，自动搜索出最佳的神经网络结构，从而实现在各种不同的设备上应用，并在不同设备上实现高效识别生物电信号的效果。
需要说明的是，上述实施例提供的应用于生物电信号识别的神经网络结构搜索装置在实现相应的功能时，仅以上述各功能模块的划分举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的应用于生物电信号识别的神经网络结构搜索装置与应用于生物电信号识别的神经网络结构搜索方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
根据本申请的一个方面，本发明实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装。在该计算机程序被处理器执行时，执行本申请实施例提供的应用于生物电信号识别的神经网络结构搜索方法。
此外，本发明实施例还提供了一种计算机设备，该设备包括处理器和存储器，存储器存储有计算机程序，处理器能够执行存储器中存储的计算机程序，计算机程序被处理器执行时，可以实现上述任一实施例提供的应用于生物电信号识别的神经网络结构搜索方法。
例如，图3示出了本发明实施例提供的一种计算机设备，该设备包括总线1110、处理器1120、收发器1130、总线接口1140、存储器1150和用户接口1160。
在本发明实施例中，该设备还包括：存储在存储器1150上并可在处理器1120上运行的计算机程序，计算机程序被处理器1120执行时实现上述应用于生物电信号识别的神经网络结构搜索方法实施例的各个过程。
收发器1130，用于在处理器1120的控制下接收和发送数据。
本发明实施例中，总线架构(用总线1110来代表)，总线1110可以包括任意数量互联的总线和桥，总线1110将包括由处理器1120代表的一个或多个处理器与存储器1150代表的存储器的各种电路连接在一起。
总线1110表示若干类型的总线结构中的任何一种总线结构中的一个或多个，包括存储器总线以及存储器控制器、外围总线、加速图形端口(Accelerate Graphical Port，AGP)、处理器或使用各种总线体系结构中的任意总线结构的局域总线。作为示例而非限制，这样的体系结构包括：工业标准体系结构(Industry Standard
Architecture，ISA)总线、微通道体系结构(Micro Channel
Architecture，MCA)总线、扩展ISA(Enhanced ISA，EISA)总线、视频电子标准协会(Video Electronics Standards Association，VESA)、外围部件互连(PeripheralComponent Interconnect，PCI)总线。
处理器1120可以是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中硬件的集成逻辑电路或软件形式的指令完成。上述的处理器包括：通用处理器、中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)、复杂可编程逻辑器件(Complex Programmable LogicDevice，CPLD)、可编程逻辑阵列(Programmable Logic Array，PLA)、微控制单元(Microcontroller Unit，MCU)或其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件。可以实现或执行本发明实施例中公开的各方法、步骤及逻辑框图。例如，处理器可以是单核处理器或多核处理器，处理器可以集成于单颗芯片或位于多颗不同的芯片。
处理器1120可以是微处理器或任何常规的处理器。结合本发明实施例所公开的方法步骤可以直接由硬件译码处理器执行完成，或者由译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(Random Access Memory，RAM)、闪存(FlashMemory)、只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、寄存器等本领域公知的可读存储介质中。所述可读存储介质位于存储器中，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
总线1110还可以将，例如外围设备、稳压器或功率管理电路等各种其他电路连接在一起，总线接口1140在总线1110和收发器1130之间提供接口，这些都是本领域所公知的。因此，本发明实施例不再对其进行进一步描述。
收发器1130可以是一个元件，也可以是多个元件，例如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。例如：收发器1130从其他设备接收外部数据，收发器1130用于将处理器1120处理后的数据发送给其他设备。取决于计算机系统的性质，还可以提供用户接1160，例如：触摸屏、物理键盘、显示器、鼠标、扬声器、麦克风、轨迹球、操纵杆、触控笔。
应理解，在本发明实施例中，存储器1150可进一步包括相对于处理器1120远程设置的存储器，这些远程设置的存储器可以通过网络连接至服务器。上述网络的一个或多个部分可以是自组织网络(ad hoc network)、内联网(intranet)、外联网(extranet)、虚拟专用网(VPN)、局域网(LAN)、无线局域网(WLAN)、广域网
(WAN)、无线广域网(WWAN)、城域网(MAN)、互联网
(Internet)、公共交换电话网(PSTN)、普通老式电话业务网(POTS)、蜂窝电话网、无线网络、无线保真(Wi-Fi)网络以及两个或更多个上述网络的组合。例如，蜂窝电话网和无线网络可以是全球移动通信(GSM)系统、码分多址(CDMA)系统、全球微波互联接入(WiMAX)系统、通用分组无线业务(GPRS)系统、宽带码分多址(WCDMA)系统、长期演进(LTE)系统、LTE频分双工(FDD)系统、LTE时分双(TDD)系统、先进长期演进(LTE-A)系统、通用移动通信(UMTS)系统、增强移动宽带(Enhance Mobile Broadband，eMBB)系统、海量机器类通信(massive Machine Type of Communication，mMTC)系统、超可靠低时延通信(UltraReliable Low Latency Communications，uRLLC)系统等。
应理解，本发明实施例中的存储器1150可以是易失性存储器或非易失性存储器，或可包括易失性存储器和非易失性存储器两者。其中，非易失性存储器包括：只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存(Flash Memory)。
易失性存储器包括：随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如：静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器
(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器
(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct RambusRAM，DRRAM)。本发明实施例描述的存储器1150包括但不限于上述和任意其他适合类型的存储器。
在本发明实施例中，存储器1150存储了操作系统1151和应用程序1152的如下元素：可执行模块、数据结构，或者其子集，或者其扩展集。
具体而言，操作系统1151包含各种系统程序，例如：框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1152包含各种应用程序，例如：媒体播放器(Media Player)、浏览器(Browser)，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1152中。应用程序1152包括：小程序、对象、组件、逻辑、数据结构以及其他执行特定任务或实现特定抽象数据类型的计算机系统可执行指令。
此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述应用于生物电信号识别的神经网络结构搜索方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
计算机可读存储介质包括：永久性和非永久性、可移动和非可移动媒体，是可以保留和存储供指令执行设备所使用指令的有形设备。计算机可读存储介质包括：电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备以及上述任意合适的组合。计算机可读存储介质包括：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带存储、磁带磁盘存储或其他磁性存储设备、记忆棒、机械编码装置(例如在其上记录有指令的凹槽中的穿孔卡或凸起结构)或任何其他非传输介质、可用于存储可以被计算设备访问的信息。按照本发明实施例中的界定，计算机可读存储介质不包括暂时信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如穿过光纤电缆的光脉冲)或通过导线传输的电信号。
在本申请所提供的几个实施例中，应该理解到，所披露的装置、设备和方法，可以通过其他的方式实现。例如，以上描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的、机械的或其他的形式连接。
所述作为分离部件说明的单元可以是或也可以不是物理上分开的，作为单元显示的部件可以是或也可以不是物理单元，既可以位于一个位置，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或全部单元来解决本发明实施例方案要解决的问题。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术作出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(包括：个人计算机、服务器、数据中心或其他网络设备)执行本发明各个实施例所述方法的全部或部分步骤。而上述存储介质包括如前述所列举的各种可以存储程序代码的介质。
在本发明实施例的描述中，所属技术领域的技术人员应当知道，本发明实施例可以实现为方法、装置、设备及存储介质。因此，本发明实施例可以具体实现为以下形式：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)、硬件和软件结合的形式。此外，在一些实施例中，本发明实施例还可以实现为在一个或多个计算机可读存储介质中的计算机程序产品的形式，该计算机可读存储介质中包含计算机程序代码。
上述计算机可读存储介质可以采用一个或多个计算机可读存储介质的任意组合。计算机可读存储介质包括：电、磁、光、电磁、红外或半导体的系统、装置或器件，或者以上任意的组合。计算机可读存储介质更具体的例子包括：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、闪存(Flash Memory)、光纤、光盘只读存储器(CD-ROM)、光存储器件、磁存储器件或以上任意组合。在本发明实施例中，计算机可读存储介质可以是任意包含或存储程序的有形介质，该程序可以被指令执行系统、装置、器件使用或与其结合使用。
上述计算机可读存储介质包含的计算机程序代码可以用任意适当的介质传输，包括：无线、电线、光缆、射频(Radio Frequency，RF)或者以上任意合适的组合。
可以以汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，例如：Java、Smalltalk、C++，还包括常规的过程式程序设计语言，例如：C语言或类似的程序设计语言。计算机程序代码可以完全的在用户计算机上执行、部分的在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行以及完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括：局域网(LAN)或广域网(WAN)，可以连接到用户计算机，也可以连接到外部计算机。
本发明实施例通过流程图和/或方框图描述所提供的方法、装置、设备。
应当理解，流程图和/或方框图的每个方框以及流程图和/或方框图中各方框的组合，都可以由计算机可读程序指令实现。这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器，这些计算机可读程序指令通过计算机或其他可编程数据处理装置执行，产生了实现流程图和/或方框图中的方框规定的功能/操作的装置。
也可以将这些计算机可读程序指令存储在能使得计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储介质中。这样，存储在计算机可读存储介质中的指令就产生出一个包括实现流程图和/或方框图中的方框规定的功能/操作的指令装置产品。
也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其他可编程数据处理装置上执行的指令能够提供实现流程图和/或方框图中的方框规定的功能/操作的过程。
以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例披露的技术范围内，可轻易地想到变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种应用于生物电信号识别的神经网络结构搜索方法，其特征在于，所述方法应用于生物电信号识别模型中，所述生物电信号识别模型是基于神经网络构建的，所述方法包括：
步骤S102，获取训练集；其中，所述训练集包含带有生物电信号类别标签的生物电信号样本；
步骤S104，根据所述生物电信号识别模型对应的第一损失函数，搜索所述生物电信号识别模型的候选神经网络结构；其中，所述第一损失函数用于指示搜索不同的神经网络结构；
步骤S106，基于所述候选神经网络结构，将所述训练集输入至所述生物电信号识别模型中，以根据所述生物电信号识别模型对应的第二损失函数，计算候选损失函数值；其中，所述第二损失函数用于衡量所述生物电信号识别模型的预测性能；
步骤S108，交替循环执行所述步骤S104和所述步骤S106，直至达到预设的迭代终止条件，获得不同的候选神经网络结构以及各候选神经网络结构对应的候选损失函数值；
步骤S110，根据所述候选损失函数值，从所述不同的候选神经网络结构中，选取所述生物电信号识别模型的目标神经网络结构。
2.根据权利要求1所述的方法，其特征在于，所述步骤S104包括：
步骤S1042，根据所述生物电信号识别模型对应的第一损失函数，通过梯度下降法调整所述生物电信号识别模型对应的操作算子的参数和操作算子的权重；其中，所述操作算子为用于构建神经网络的基本组件；
步骤S1044，根据调整后的操作算子的参数、调整后的操作算子的权重以及预设的搜索策略，确定所述生物电信号识别模型的候选神经网络结构。
3.根据权利要求2所述的方法，其特征在于，所述生物电信号识别模型对应的搜索计算图为全连接有向无环图；所述全连接有向无环图如下所示：
其中，x为全连接有向无环图中的结点，表示生物电信号识别模型中的特征；i、j为结点标识；o为全连接有向无环图中的边，表示生物电信号识别模型中的操作算子，每条边内包含搜索空间中所有的操作算子；
所述搜索策略采用
其中，O为搜索空间中所有的操作算子，w为操作算子的权重，为每条边内的各操作算子对应的概率。
4.根据权利要求3所述的方法，其特征在于，所述步骤S1044包括：
步骤S104a，根据调整后的操作算子的参数、调整后的操作算子的权重以及预设的搜索策略，针对每条边，从每条边内包含的所有操作算子中，选取概率最大的操作算子，确定所述生物电信号识别模型的候选神经网络结构。
5.根据权利要求1-4任一所述的方法，其特征在于，所述第一损失函数包括：
其中，α为操作算子的参数；
其中，w为操作算子的权重。
6.根据权利要求1-4任一所述的方法，其特征在于，所述第二损失函数为交叉熵损失函数；所述交叉熵损失函数如下所示：
其中，CrossEnteropy为交叉熵，y为生物电信号类别标签，为生物电信号识别结果，n为生物电信号类别标签的类别数量。
7.根据权利要求3所述的方法，其特征在于，所述搜索空间中所有的操作算子包括：
大小为7x7、步长为1x1、3x3镜像填充的卷积算子、批归一化和ReLU的组合算子；
大小为5x5、步长为1x1、2x2镜像填充的卷积算子、批归一化和ReLU的组合算子；
大小为3x3、步长为1x1、1x1镜像填充的卷积算子、批归一化和ReLU的组合算子；
残差层；
恒等层；
空操作层；
2倍下采样的平均池化层；
2倍下采样的最大池化层。
8.一种应用于生物电信号识别的神经网络结构搜索装置，其特征在于，所述装置用于生物电信号识别模型中，所述生物电信号识别模型是基于神经网络构建的，所述装置包括：
样本获取模块，用于获取训练集；其中，所述训练集包含带有生物电信号类别标签的生物电信号样本；
结构搜索模块，用于根据所述生物电信号识别模型对应的第一损失函数，搜索所述生物电信号识别模型的候选神经网络结构；其中，所述第一损失函数用于指示搜索不同的神经网络结构；
函数值计算模块，用于基于所述候选神经网络结构，将所述训练集输入至所述生物电信号识别模型中，以根据所述生物电信号识别模型对应的第二损失函数，计算候选损失函数值；其中，所述第二损失函数用于衡量所述生物电信号识别模型的预测性能；
优化迭代模块，用于交替循环执行所述结构搜索模块中的步骤和所述函数值计算模块中的步骤，直至达到预设的迭代终止条件，获得不同的候选神经网络结构以及各候选神经网络结构对应的候选损失函数值；
结构选取模块，用于根据所述候选损失函数值，从所述不同的候选神经网络结构中，选取所述生物电信号识别模型的目标神经网络结构。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311474424.7A CN117454933A (zh) | 2023-11-07 | 2023-11-07 | 应用于生物电信号识别的神经网络结构搜索方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311474424.7A CN117454933A (zh) | 2023-11-07 | 2023-11-07 | 应用于生物电信号识别的神经网络结构搜索方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117454933A true CN117454933A (zh) | 2024-01-26 |
Family
ID=89585143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311474424.7A Pending CN117454933A (zh) | 2023-11-07 | 2023-11-07 | 应用于生物电信号识别的神经网络结构搜索方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117454933A (zh) |
-
2023
- 2023-11-07 CN CN202311474424.7A patent/CN117454933A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110852421B (zh) | 模型生成方法和装置 | |
| CN110852438B (zh) | 模型生成方法和装置 | |
| CN108229667B (zh) | 基于人工神经网络类别的修剪 | |
| CN110288049B (zh) | 用于生成图像识别模型的方法和装置 | |
| US10242085B2 (en) | Indexing of large scale patient set | |
| CN112699991A (zh) | 用于加速神经网络训练的信息处理的方法、电子设备和计算机可读介质 | |
| EP3572980B1 (en) | Method and system for joint selection of a feature subset-classifier pair for a classification task | |
| KR20200070831A (ko) | 인공 신경망을 압축하기 위한 장치 및 방법 | |
| CN113505883A (zh) | 一种神经网络训练方法以及装置 | |
| CN112560993A (zh) | 数据筛选方法、装置、电子设备及存储介质 | |
| CN110727437A (zh) | 代码优化项获取方法、装置、存储介质及电子设备 | |
| CN113869496A (zh) | 一种神经网络的获取方法、数据处理方法以及相关设备 | |
| Joseph et al. | A programmable approach to model compression | |
| CN114358274A (zh) | 训练用于图像识别的神经网络的方法和设备 | |
| CN117454933A (zh) | 应用于生物电信号识别的神经网络结构搜索方法和装置 | |
| US20220414474A1 (en) | Search method, electronic device and storage medium based on neural network model | |
| CN117217280A (zh) | 神经网络模型优化方法、装置及计算设备 | |
| EP3683733A1 (en) | A method, an apparatus and a computer program product for neural networks | |
| JP2021163112A (ja) | 情報処理装置及び情報処理方法 | |
| Tmamna et al. | Automatic Quantization of Convolutional Neural Networks Based on Enhanced Bare-Bones Particle Swarm Optimization for Chest X-Ray Image Classification | |
| CN115994235B (zh) | 色谱分析方法库构建方法、装置、设备和计算机介质 | |
| CN117174319B (zh) | 一种基于知识图谱的脓毒症时序预测方法及系统 | |
| KR102592762B1 (ko) | 합성곱 신경망 기반의 덴스넷을 통한 부정맥 분류 방법 | |
| CN113408425B (zh) | 一种生物语言解析的集群控制方法及系统 | |
| CN114445337A (zh) | 一种细胞核定位方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |