CN112232430A - 神经网络模型测试方法、装置、存储介质及电子装置 - Google Patents
神经网络模型测试方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN112232430A CN112232430A CN202011148597.6A CN202011148597A CN112232430A CN 112232430 A CN112232430 A CN 112232430A CN 202011148597 A CN202011148597 A CN 202011148597A CN 112232430 A CN112232430 A CN 112232430A
- Authority
- CN
- China
- Prior art keywords
- frequency
- target
- amplitude
- field
- domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 66
- 238000012360 testing method Methods 0.000 title claims abstract description 54
- 238000010586 diagram Methods 0.000 claims abstract description 144
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 18
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000009466 transformation Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 101150077939 mapA gene Proteins 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种神经网络模型测试方法、装置、存储介质及电子装置，其中，该方法包括：将目标幅频图从目标领域映射到源领域，得到映射后的目标图像，其中，该目标幅频图是由源领域幅频图的低频部分与目标领域幅频图的高频部分重组得到的；根据该目标图像对目标神经网络模型进行测试，其中，该目标神经网络模型是使用该源领域的数据训练得到的，可以解决相关技术中需要额外训练一组域分类器和域转换器，且当增加或改变目标数据时，需要重新训练域分类器和域转换器的问题，通过源领域的数据训练神经网络模型，模型训练不需要任何目标领域的数据，在测试阶段采用领域自适应技术，实现了训练与测试解耦。
Description
技术领域
本发明涉及图像处理领域，具体而言，涉及一种神经网络模型测试方法、装置、存储介质及电子装置。
背景技术
图像理解是计算机系统以图像作为输入，提取出图像中人们感兴趣的信息的过程，包括图像分类、目标检测、语义分割等多种技术，在安防监控、医疗图像处理、卫星遥感图像处理等多个领域有着广泛的应用。
现今绝大部分的图像理解任务都采用深度学习技术训练卷积神经网络来完成。深度学习中，用于模型训练的源数据集和实际使用(测试)时面对的目标数据集，两者虽然拥有相同的特征空间，但其特征分布往往是不完全一致的，例如模型在城市A的遥感数据上完成训练后使用在城市B的遥感数据上，虽然两个城市的数据都包含建筑、道路、绿地、河流等相同的类别，但两个城市的建筑风格、气候、光照、植被等多方面都存在差异。模型的源数据集A和目标数据集B存在差异时，模型在目标数据集B上的性能通常有一定的损失，损失的大小与两个数据集的差异大小有关。领域自适应技术是迁移学习的一种特殊形式，在特征空间相同的情况下，领域自适应可以将源数据集A和目标数据集B的特征分布拉近，从而减小性能损失。
一种基于对抗残差变换网络的无监督领域自适应方法，包括：训练一个域转换器，域转换器将源数据映射到目标数据的领域，并使用映射后的数据训练目标分类器；同时训练一个域分类器，用于区分数据是来自目标域还是来自域转换器，域分类器和域转换器构成了一组相互对抗的网络，采用对抗损失引导域转换器学习。需要额外训练一组域分类器和域转换器，且当增加或改变目标数据时，需要重新训练域分类器和域转换器。
针对相关技术中需要额外训练一组域分类器和域转换器，且当增加或改变目标数据时，需要重新训练域分类器和域转换器的问题，尚未提出解决方案。
发明内容
本发明实施例提供了一种神经网络模型测试方法、装置、存储介质及电子装置，以至少解决相关技术中需要额外训练一组域分类器和域转换器，且当增加或改变目标数据时，需要重新训练域分类器和域转换器的问题。
根据本发明的一个实施例，提供了一种神经网络模型测试方法，包括：
将目标幅频图从目标领域映射到源领域，得到映射后的目标图像，其中，所述目标幅频图是由源领域幅频图的低频部分与目标领域幅频图的高频部分重组得到的；
根据所述目标图像对目标神经网络模型进行测试，其中，所述目标神经网络模型是使用所述源领域的数据训练得到的。
可选地，将所述目标幅频图从所述目标领域映射到所述源领域，得到映射后的目标图像包括：
将所述目标幅频图与所述目标领域的图像的目标领域相频图进行快速逆傅里叶变换，得到领域自适应的所述目标图像，其中，所述目标领域相频图是所述目标领域的图像进行快速傅里叶变换得到的。
可选地，在将目标幅频图从目标领域映射到源领域，得到映射后的目标图像之前，所述方法还包括：
确定代表所述源领域的数据的所述源领域幅频图，并确定所述目标领域的图像的所述目标领域幅频图；
将所述源领域幅频图的低频部分与所述目标领域幅频图的高频部分进行重组，得到所述目标幅频图。
可选地，确定代表所述源领域的数据的源领域幅频图，并确定所述目标领域的图像的目标领域幅频图包括：
将幅频图库中选取的目标幅频图或平均幅频图，确定为所述源领域幅频图，其中，所述幅频图库中包括所述源领域的多个幅频图与所述多个幅频图的均值，所述平均幅频图为所述多个幅频图的均值；
对所述目标领域的图像进行快速傅里叶变换，得到所述目标领域幅频图。
可选地，在将幅频图库中选取的目标幅频图或平均幅频图，确定为所述源领域幅频图之前，所述方法还包括：
使用带标签的所述源领域的数据对初始神经网络模型进行训练，得到训练好的所述目标神经网络模型；
分别对所述源领域的数据中的图像进行快速傅里叶变换，得到所述多个幅频图；
将所述多个幅频图组成所述幅频图库，或者确定所述多个幅频图的均值，得到所述平均幅频图。
可选地，将所述源领域幅频图的低频部分与所述目标领域幅频图的高频部分重组得到所述目标幅频图包括:
从所述源领域幅频图的中心区域截取所述源领域幅频图的预设比例的像素所在区域，得到所述源领域幅频图的低频部分；
从所述目标领域幅频图的中心区域去除所述目标领域幅频图的所述预设比例的像素所在区域，得到所述目标领域幅频图的高频部分；
将所述源领域幅频图的低频部分与所述目标领域幅频图的高频部分进行叠加，得到所述目标幅频图。
可选地，使用所述目标图像对所述目标神经网络模型进行测试包括：
通过将所述目标图像输入所述目标神经网络模型，得到所述目标图像的识别结果的方式，对所述目标神经网络模型进行测试。
根据本发明的另一个实施例，还提供了一种神经网络模型测试装置，包括：
映射模块，用于将目标幅频图从目标领域映射到源领域，得到映射后的目标图像，其中，所述目标幅频图是由源领域幅频图的低频部分与目标领域幅频图的高频部分重组得到的；
测试模块，用于根据所述目标图像对目标神经网络模型进行测试，其中，所述目标神经网络模型是使用所述源领域的数据训练得到的。
可选地，所述映射模块，还用于
将所述目标幅频图与所述目标领域的图像的目标领域相频图进行快速逆傅里叶变换，得到领域自适应的所述目标图像，其中，所述目标领域相频图是所述目标领域的图像进行快速傅里叶变换得到的。
可选地，所述装置还包括：
第一确定模块，用于确定代表所述源领域的数据的所述源领域幅频图，并确定所述目标领域的图像的所述目标领域幅频图；
重组模块，用于将所述源领域幅频图的低频部分与所述目标领域幅频图的高频部分进行重组，得到所述目标幅频图。
可选地，所述第一确定模块包括：
确定子模块，用于将幅频图库中选取的目标幅频图或平均幅频图，确定为所述源领域幅频图，其中，所述幅频图库中包括所述源领域的多个幅频图与所述多个幅频图的均值，所述平均幅频图为所述多个幅频图的均值；
变换子模块，用于对所述目标领域的图像进行快速傅里叶变换，得到所述目标领域幅频图。
可选地，所述装置还包括：
训练模块，用于使用带标签的所述源领域的数据对初始神经网络模型进行训练，得到训练好的所述目标神经网络模型；
变换模块，用于分别对所述源领域的数据中的图像进行快速傅里叶变换，得到所述多个幅频图；
第二确定模块，用于将所述多个幅频图组成所述幅频图库，或者确定所述多个幅频图的均值，得到所述平均幅频图。
可选地，所述重组模块包括:
截取子模块，用于从所述源领域幅频图的中心区域截取所述源领域幅频图的预设比例的像素所在区域，得到所述源领域幅频图的低频部分；
去除子模块，用于从所述目标领域幅频图的中心区域去除所述目标领域幅频图的所述预设比例的像素所在区域，得到所述目标领域幅频图的高频部分；
叠加子模块，用于将所述源领域幅频图的低频部分与所述目标领域幅频图的高频部分进行叠加，得到所述目标幅频图。
可选地，所述测试模块，还用于
通过将所述目标图像输入所述目标神经网络模型，得到所述目标图像的识别结果的方式，对所述目标神经网络模型进行测试。
根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，目标幅频图从目标领域映射到源领域，得到映射后的目标图像，其中，该目标幅频图是由源领域幅频图的低频部分与目标领域幅频图的高频部分重组得到的；根据所述目标图像对目标神经网络模型进行测试，其中，所述目标神经网络模型是使用所述源领域的数据训练得到的，可以解决相关技术中需要额外训练一组域分类器和域转换器，且当增加或改变目标数据时，需要重新训练域分类器和域转换器的问题，通过源领域的数据训练神经网络模型，模型训练不需要任何目标领域的数据，在测试阶段采用领域自适应技术，实现了训练与测试解耦。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的神经网络模型测试方法的移动终端的硬件结构框图；
图2是根据本发明实施例的神经网络模型测试方法的流程图；
图3是根据本发明实施例的领域自适应方法的示意图；
图4是根据本发明实施例的神经网络模型测试装置的框图；
图5是根据本发明优选实施例的神经网络模型测试装置的框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的神经网络模型测试方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的神经网络模型测试方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的神经网络模型测试方法，图2是根据本发明实施例的神经网络模型测试方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，将目标幅频图从目标领域映射到源领域，得到映射后的目标图像，其中，所述目标幅频图是由源领域幅频图的低频部分与目标领域幅频图的高频部分重组得到的；
本发明实施例中，上述步骤S202具体可以包括：将所述目标幅频图与所述目标领域的图像的目标领域相频图进行快速逆傅里叶变换，得到领域自适应的所述目标图像，其中，所述目标领域相频图是所述目标领域的图像进行快速傅里叶变换得到的。
步骤S204，根据所述目标图像对目标神经网络模型进行测试，其中，所述目标神经网络模型是使用所述源领域的数据训练得到的。
本实施例中，上述步骤S204具体可以包括：通过将所述目标图像输入所述目标神经网络模型，得到所述目标图像的识别结果的方式，对所述目标神经网络模型进行测试。
通过上述步骤S202至S204，可以解决相关技术中需要额外训练一组域分类器和域转换器，且当增加或改变目标数据时，需要重新训练域分类器和域转换器的问题，通过源领域的数据训练神经网络模型，模型训练不需要任何目标领域的数据，在测试阶段采用领域自适应技术，实现了训练与测试解耦。
在一可选的实施例中，在将目标幅频图从目标领域映射到源领域，得到映射后的目标图像之前，确定代表所述源领域的数据的所述源领域幅频图，并确定所述目标领域的图像的所述目标领域幅频图，进一步的，将幅频图库中选取的目标幅频图或平均幅频图，确定为所述源领域幅频图，其中，所述幅频图库中包括所述源领域的多个幅频图与所述多个幅频图的均值，所述平均幅频图为所述多个幅频图的均值，对所述目标领域的图像进行快速傅里叶变换，得到所述目标领域幅频图与目标领域相频图；将所述源领域幅频图的低频部分与所述目标领域幅频图的高频部分进行重组，得到所述目标幅频图，进一步的，从所述源领域幅频图的中心区域截取所述源领域幅频图的预设比例的像素所在区域，得到所述源领域幅频图的低频部分；从所述目标领域幅频图的中心区域去除所述目标领域幅频图的所述预设比例的像素所在区域，得到所述目标领域幅频图的高频部分；将所述源领域幅频图的低频部分与所述目标领域幅频图的高频部分进行叠加，得到所述目标幅频图。
在另一可选的实施例中，在将幅频图库中选取的目标幅频图或平均幅频图，确定为所述源领域幅频图之前，使用带标签的所述源领域的数据对初始神经网络模型进行训练，得到训练好的所述目标神经网络模型；分别对所述源领域的数据中的图像进行快速傅里叶变换，得到所述多个幅频图；将所述多个幅频图组成所述幅频图库，或者确定所述多个幅频图的均值，得到所述平均幅频图。
本发明实施例中，将源领域的RGB彩色图像按照方程Grey＝0.299*R+0.587*G+0.114*B的方式转换为灰度图，并将灰度值归一化到[0,1]的范围内，对上述归一化后的源领域灰度图像进行快速傅里叶变换，将零频点移动到图像中心位置，得到源领域幅频图与源领域相频图；将目标领域的RGB彩色图像转换为灰度图，并将灰度值归一化到[0,1]的范围内，对上述归一化后的目标领域灰度图像进行快速傅里叶变换，将零频点移动到图像中心位置，得到目标领域幅频图或目标领域相频图；在幅频图中，靠近图像中心点的属于低频部分，靠近图像边缘的属于高频部分，在源领域幅频图的高频部分与目标领域幅频图的低频部分融合的过程中，以图像中心边长为图像边长的0.5％的矩形区域作为低频部分，其他区域作为高频部分，这一区域的设定保证了目标领域图像的纹理信息不会泄漏到源领域图像中；将上述高低频融合后的幅频图与原始的源领域相频图组合在一起，经过快速傅里叶逆变换，得到领域自适应后的融合灰度图，将该灰度图内的像素值裁剪到[0,1]的范围内，以防止图像出现伪色；将上述裁剪后的融合灰度图与源领域灰度图逐像素相除得到每个像素的变换比例，再将每个像素的变换比例逐像素乘到源领域RGB图像的RGB数值上，得到领域自适应后的RGB彩色图像。
本实施例基于傅里叶变换的无监督领域自适应方法，在测试阶段将目标领域图像映射到源领域，该方法无需额外训练辅助模型，且在训练过程中不需要任何目标领域的数据，因此当增加或改变目标数据时，原有模型可以直接复用，而无需重新训练。
图3是根据本发明实施例的领域自适应方法的示意图，如图3所示，使用带标签的源领域数据(xs，ys)训练深度神经网络F(x)，通过最小化网络预测与标签之间的损失函数L(F(xs)，ys)来优化网络参数；依次采样源领域中的图像，对其进行快速傅里叶变换
其中
为变换后的幅频图，
为变换后的相频图；用源领域中采样变换得到的幅频图组成一个幅频库
或者对所有被采样的幅频图取均值得到平均幅频图
由神经网络和幅频库/平均幅频图共同组成完整的图像理解模型；在测试阶段，对于来自目标领域数据(xt)的图像输入，对其进行快速傅里叶变换
其中
为变换后的幅频图，
为变换后的相频图；从幅频库
中随机采样，或者直接采用平均幅频图
得到代表源领域的幅频图
将源领域幅频图的低频部分和目标领域幅频图的高频部分重组得到新的幅频图，结合目标领域相频图，经过快速逆傅里叶变换，得到领域自适应后的图像
其中ML是一个低通滤波器，对应于下图中的红色小框部分，MH是一个高通滤波器，且满足ML＝1-MH；将经过领域自适应的图像送入训练好的神经网络，得到图像理解模型对该图像的预测结果
基于傅里叶变换的图像理解领域自适应方法，只在测试阶段，将目标领域的数据映射到源领域，因此在训练模型时不需要任何目标领域的数据，当增加或改变目标数据时，模型可以直接复用，无需重新训练；使用快速傅里叶变换不需要额外训练域转换器、域分类器、编码器、解码器等辅助网络，系统简洁高效；可广泛使用于图像分类、目标检测、语义分割等图像理解任务，具有极强的泛化性。
采用傅里叶变换，使用源领域幅频图的低频部分与目标领域幅频图的高频部分重组，再经过傅里叶逆变换，实现了图像从目标领域到源领域的映射；只在测试阶段采用领域自适应技术，实现了训练与测试解耦，模型训练不需要任何目标领域的数据。
实施例2
根据本发明的另一个实施例，还提供了一种神经网络模型测试装置，图4是根据本发明实施例的神经网络模型测试装置的框图，如图4所示，包括：
映射模块42，用于将目标幅频图从目标领域映射到源领域，得到映射后的目标图像，其中，所述目标幅频图是由源领域幅频图的低频部分与目标领域幅频图的高频部分重组得到的；
测试模块44，用于根据所述目标图像对目标神经网络模型进行测试，其中，所述目标神经网络模型是使用所述源领域的数据训练得到的。
可选地，所述映射模块42，还用于
将所述目标幅频图与所述目标领域的图像的目标领域相频图进行快速逆傅里叶变换，得到领域自适应的所述目标图像，其中，所述目标领域相频图是所述目标领域的图像进行快速傅里叶变换得到的。
图5是根据本发明优选实施例的神经网络模型测试装置的框图，如图5所示，所述装置还包括：
第一确定模块52，用于确定代表所述源领域的数据的所述源领域幅频图，并确定所述目标领域的图像的所述目标领域幅频图；
重组模块54，用于将所述源领域幅频图的低频部分与所述目标领域幅频图的高频部分进行重组，得到所述目标幅频图。
可选地，所述第一确定模块包括：
确定子模块，用于将幅频图库中选取的目标幅频图或平均幅频图，确定为所述源领域幅频图，其中，所述幅频图库中包括所述源领域的多个幅频图与所述多个幅频图的均值，所述平均幅频图为所述多个幅频图的均值；
变换子模块，用于对所述目标领域的图像进行快速傅里叶变换，得到所述目标领域幅频图与目标领域相频图。
可选地，所述装置还包括：
训练模块，用于使用带标签的所述源领域的数据对初始神经网络模型进行训练，得到训练好的所述目标神经网络模型；
变换模块，用于分别对所述源领域的数据中的图像进行快速傅里叶变换，得到所述多个幅频图；
第二确定模块，用于将所述多个幅频图组成所述幅频图库，或者确定所述多个幅频图的均值，得到所述平均幅频图。
可选地，所述重组模块包括:
截取子模块，用于从所述源领域幅频图的中心区域截取所述源领域幅频图的预设比例的像素所在区域，得到所述源领域幅频图的低频部分；
去除子模块，用于从所述目标领域幅频图的中心区域去除所述目标领域幅频图的所述预设比例的像素所在区域，得到所述目标领域幅频图的高频部分；
叠加子模块，用于将所述源领域幅频图的低频部分与所述目标领域幅频图的高频部分进行叠加，得到所述目标幅频图。
可选地，所述测试模块44，还用于
通过将所述目标图像输入所述目标神经网络模型，得到所述目标图像的识别结果的方式，对所述目标神经网络模型进行测试。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，将目标幅频图从目标领域映射到源领域，得到映射后的目标图像，其中，该目标幅频图是由源领域幅频图的低频部分与目标领域幅频图的高频部分重组得到的；
S2，根据所述目标图像对目标神经网络模型进行测试，其中，所述目标神经网络模型是使用所述源领域的数据训练得到的。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例4
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，将目标幅频图从目标领域映射到源领域，得到映射后的目标图像，其中，该目标幅频图是由源领域幅频图的低频部分与目标领域幅频图的高频部分重组得到的；
S2，根据所述目标图像对目标神经网络模型进行测试，其中，所述目标神经网络模型是使用所述源领域的数据训练得到的。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种神经网络模型测试方法，其特征在于，包括：
将目标幅频图从目标领域映射到源领域，得到映射后的目标图像，其中，所述目标幅频图是由源领域幅频图的低频部分与目标领域幅频图的高频部分重组得到的；
根据所述目标图像对目标神经网络模型进行测试，其中，所述目标神经网络模型是使用所述源领域的数据训练得到的。
2.根据权利要求1所述的方法，其特征在于，所述将所述目标幅频图从所述目标领域映射到所述源领域，得到映射后的目标图像包括：
将所述目标幅频图与所述目标领域的图像的目标领域相频图进行快速逆傅里叶变换，得到领域自适应的所述目标图像，其中，所述目标领域相频图是所述目标领域的图像进行快速傅里叶变换得到的。
3.根据权利要求1所述的方法，其特征在于，在将目标幅频图从目标领域映射到源领域，得到映射后的目标图像之前，所述方法还包括：
确定代表所述源领域的数据的所述源领域幅频图，并确定所述目标领域的图像的所述目标领域幅频图；
将所述源领域幅频图的低频部分与所述目标领域幅频图的高频部分进行重组，得到所述目标幅频图。
4.根据权利要求3所述的方法，其特征在于，确定代表所述源领域的数据的源领域幅频图，并确定所述目标领域的图像的目标领域幅频图包括：
将幅频图库中选取的目标幅频图或平均幅频图，确定为所述源领域幅频图，其中，所述幅频图库中包括所述源领域的多个幅频图与所述多个幅频图的均值，所述平均幅频图为所述多个幅频图的均值；
对所述目标领域的图像进行快速傅里叶变换，得到所述目标领域幅频图。
5.根据权利要求4所述的方法，其特征在于，在所述将幅频图库中选取的目标幅频图或平均幅频图，确定为所述源领域幅频图之前，所述方法还包括：
使用带标签的所述源领域的数据对初始神经网络模型进行训练，得到训练好的所述目标神经网络模型；
分别对所述源领域的数据中的图像进行快速傅里叶变换，得到所述多个幅频图；
将所述多个幅频图组成所述幅频图库，或者确定所述多个幅频图的均值，得到所述平均幅频图。
6.根据权利要求3所述的方法，其特征在于，将所述源领域幅频图的低频部分与所述目标领域幅频图的高频部分重组得到所述目标幅频图包括:
从所述源领域幅频图的中心区域截取所述源领域幅频图的预设比例的像素所在区域，得到所述源领域幅频图的低频部分；
从所述目标领域幅频图的中心区域去除所述目标领域幅频图的所述预设比例的像素所在区域，得到所述目标领域幅频图的高频部分；
将所述源领域幅频图的低频部分与所述目标领域幅频图的高频部分进行叠加，得到所述目标幅频图。
7.根据权利要求1至6中任一项所述的方法，其特征在于，使用所述目标图像对所述目标神经网络模型进行测试包括：
通过将所述目标图像输入所述目标神经网络模型，得到所述目标图像的识别结果的方式，对所述目标神经网络模型进行测试。
8.一种神经网络模型测试装置，其特征在于，包括：
映射模块，用于将目标幅频图从目标领域映射到源领域，得到映射后的目标图像，其中，所述目标幅频图是由源领域幅频图的低频部分与目标领域幅频图的高频部分重组得到的；
测试模块，用于根据所述目标图像对目标神经网络模型进行测试，其中，所述目标神经网络模型是使用所述源领域的数据训练得到的。
9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011148597.6A CN112232430A (zh) | 2020-10-23 | 2020-10-23 | 神经网络模型测试方法、装置、存储介质及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011148597.6A CN112232430A (zh) | 2020-10-23 | 2020-10-23 | 神经网络模型测试方法、装置、存储介质及电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112232430A true CN112232430A (zh) | 2021-01-15 |
Family
ID=74109397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011148597.6A Pending CN112232430A (zh) | 2020-10-23 | 2020-10-23 | 神经网络模型测试方法、装置、存储介质及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112232430A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801014A (zh) * | 2021-02-08 | 2021-05-14 | 深圳市华付信息技术有限公司 | 一种可兼容不同版本模型的特征对比识别方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080037633A1 (en) * | 2004-07-13 | 2008-02-14 | France Telecom | Method and Device for Coding a Sequence of Video Images |
| CN106023275A (zh) * | 2015-03-31 | 2016-10-12 | 株式会社摩如富 | 图像合成装置及图像合成方法 |
| CN107103331A (zh) * | 2017-04-01 | 2017-08-29 | 中北大学 | 一种基于深度学习的图像融合方法 |
| CN107464227A (zh) * | 2017-08-24 | 2017-12-12 | 深圳市唯特视科技有限公司 | 一种基于深度神经网络进行去除反射和平滑图像的方法 |
| CN108446584A (zh) * | 2018-01-30 | 2018-08-24 | 中国航天电子技术研究院 | 一种无人机侦察视频图像目标自动检测方法 |
| CN111444432A (zh) * | 2020-04-01 | 2020-07-24 | 中国科学技术大学 | 领域自适应的深度知识追踪及个性化习题推荐方法 |
-
2020
- 2020-10-23 CN CN202011148597.6A patent/CN112232430A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080037633A1 (en) * | 2004-07-13 | 2008-02-14 | France Telecom | Method and Device for Coding a Sequence of Video Images |
| CN106023275A (zh) * | 2015-03-31 | 2016-10-12 | 株式会社摩如富 | 图像合成装置及图像合成方法 |
| CN107103331A (zh) * | 2017-04-01 | 2017-08-29 | 中北大学 | 一种基于深度学习的图像融合方法 |
| CN107464227A (zh) * | 2017-08-24 | 2017-12-12 | 深圳市唯特视科技有限公司 | 一种基于深度神经网络进行去除反射和平滑图像的方法 |
| CN108446584A (zh) * | 2018-01-30 | 2018-08-24 | 中国航天电子技术研究院 | 一种无人机侦察视频图像目标自动检测方法 |
| CN111444432A (zh) * | 2020-04-01 | 2020-07-24 | 中国科学技术大学 | 领域自适应的深度知识追踪及个性化习题推荐方法 |
Non-Patent Citations (2)
| Title |
|---|
| QIU HU: "Multi-modality medical image fusion based on separable dictionary learning and Gabor filtering", SIGNAL PROCESSING: IMAGE COMMUNICATION, 7 January 2020 (2020-01-07), pages 1 - 10 * |
| 王娟: "神经网络框架下的红外与可见光图像融合算法综述", 激光杂志, vol. 41, no. 7, 19 August 2020 (2020-08-19), pages 7 - 12 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801014A (zh) * | 2021-02-08 | 2021-05-14 | 深圳市华付信息技术有限公司 | 一种可兼容不同版本模型的特征对比识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110532932B (zh) | 一种多分量雷达信号脉内调制方式识别方法 | |
| CN102541954B (zh) | 一种商标检索方法及系统 | |
| CN106484837A (zh) | 相似视频文件的检测方法和装置 | |
| CN110569752A (zh) | 基于卷积神经网络的雷达信号类别确定方法 | |
| CN111126481A (zh) | 一种神经网络模型的训练方法及装置 | |
| CN109740553A (zh) | 一种基于识别的图像语义分割数据筛选方法及系统 | |
| CN116665092A (zh) | 基于ia-yolov7的污水悬浮物识别方法及系统 | |
| CN112232430A (zh) | 神经网络模型测试方法、装置、存储介质及电子装置 | |
| CN114114363A (zh) | 基于时频和卷积神经网络的机会信号感知方法、系统及机会信号定位方法 | |
| Hussain et al. | Image denoising to enhance character recognition using deep learning | |
| CN109345497A (zh) | 基于模糊算子的图像融合处理方法及系统、计算机程序 | |
| CN116543325A (zh) | 基于无人机影像的农作物人工智能自动识别方法和系统 | |
| CN112183300A (zh) | 一种基于多层次稀疏表示的ais辐射源识别方法及系统 | |
| CN116894207A (zh) | 一种基于Swin Transformer和迁移学习的智能辐射源识别方法 | |
| CN116055270A (zh) | 一种调制识别模型及其训练方法、信号调制处理方法 | |
| CN113139581B (zh) | 一种基于多图融合的图像分类方法和系统 | |
| CN115600101A (zh) | 一种基于先验知识的无人机信号智能检测方法及装置 | |
| CN108182426A (zh) | 彩色图像分类方法及装置 | |
| Rey et al. | Deep encoder-decoder neural network architectures for graph output signals | |
| Feng et al. | FCGCN: Feature Correlation Graph Convolution Network for Few-Shot Individual Identification | |
| KR20210038027A (ko) | 신경망 압축 훈련 방법 및 압축된 신경망을 이용하는 방법 | |
| Xiong et al. | Stacked hourglass network with integration of channel information for automatic modulation recognition | |
| Sagduyu et al. | Joint Sensing and Task-Oriented Communications with Image and Wireless Data Modalities for Dynamic Spectrum Access | |
| CN112884122B (zh) | 一种基于神经元激活的信号调制类型识别模型可解释方法及装置 | |
| US20240095525A1 (en) | Building an explainable machine learning model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |