CN112766288B - 图像处理模型构建方法、装置、电子设备和可读存储介质 - Google Patents
图像处理模型构建方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN112766288B CN112766288B CN202110237430.5A CN202110237430A CN112766288B CN 112766288 B CN112766288 B CN 112766288B CN 202110237430 A CN202110237430 A CN 202110237430A CN 112766288 B CN112766288 B CN 112766288B
- Authority
- CN
- China
- Prior art keywords
- target
- meta
- model
- feature vector
- picture set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 55
- 238000010276 construction Methods 0.000 title claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 139
- 238000012549 training Methods 0.000 claims abstract description 134
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012216 screening Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010845 search algorithm Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种图像处理模型构建方法、装置、电子设备和可读存储介质，其中，该方法包括：对待训练图片集进行特征提取，以得到该待训练图片集的目标元特征向量；根据该目标元特征向量，在预存的模型候选库中筛选出目标预训练模型；使用该目标预训练模型计算该待训练图片集的高语义数据；使用网络架构搜索算法，根据该高语义数据搜索得到目标网络结构；对该目标预训练模型和该目标网络结构构成的初始网络模型，使用该待训练图片集进行训练，以得到目标图像处理模型，能够提高模型构建的效率。
Description
技术领域
本申请涉及图像识别技术领域，具体而言，涉及一种图像处理模型构建方法、装置、电子设备和可读存储介质。
背景技术
在实际的图像任务建模中，通常都会构建一个或多个网络模型组合而成。针对多层网络模型的选择和构建，通常的关注点在于，如何选择各层网络模块，针对选出的网络模块如何实现修改，以满足不同任务的需求。
目前的操作方式，一般是技术人员根据经验选出合适的模型，例如，可以选择最新、准确度最高或训练速度最快的模型等。在选出初始的模型后，可以根据任务需求调整全连接单元数；也有的做法会在选出的初始的模型添加少数人工设计的结构，效果可能会更好，但是更依赖于算法人员的专业知识。
发明内容
本申请的目的在于提供一种图像处理模型构建方法、装置、电子设备和可读存储介质，能够提高模型构建的效率。
第一方面，本发明提供一种图像处理模型构建方法，包括：
对待训练图片集进行特征提取，以得到所述待训练图片集的目标元特征向量；
根据所述目标元特征向量，在预存的模型候选库中筛选出目标预训练模型；
使用所述目标预训练模型计算所述待训练图片集的高语义数据；
使用网络架构搜索算法，根据所述高语义数据搜索得到目标网络结构；
对所述目标预训练模型和所述目标网络结构构成的初始网络模型，使用所述待训练图片集进行训练，以得到目标图像处理模型。
在可选的实施方式中，所述对待训练图片集进行特征提取，以得到所述待训练图片集的目标元特征向量，包括：
将所述待训练图片集中的每张图片输入预设的预训练模型中进行计算，得的每张图片对应的特征向量；
从所述待训练图片集中的每张图片对应的特征向量构成二维向量中抽取所述目标元特征向量。
在可选的实施方式中，所述根据所述目标元特征向量，在预存的模型候选库中筛选出目标预训练模型，包括：
计算所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度；
根据所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度确定出所述目标预训练模型。
在可选的实施方式中，所述计算所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度，包括：
计算所述目标元特征向量与所述预存的模型候选库中的元特征向量的余弦值，其中，所述目标元特征向量与所述预存的模型候选库中的元特征向量的余弦值的绝对值越大，则所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度越大。
在可选的实施方式中，所述使用所述目标预训练模型计算所述待训练图片集的高语义数据，包括：
将所述待训练图片集中的每张图片输入所述目标预训练模型中进行计算，得的每张图片对应的输出向量；
根据每张图片的输出向量以及每张图片对应的标签构成所述高语义数据。
在上述实施方式中，通过计算待训练图片集中的每张图片的输出向量，然后再基于输出向量得到高语义数据，可使高语义数据能够更好地表示待训练图片集的信息，从而也可以使基于高语义数据搜索得到目标网络结构，能够更好地与目标预训练模型匹配，进一步地，也能够使由目标网络结构训练得到的目标图像处理模型能够更好地实现图像处理。
在可选的实施方式中，所述使用网络架构搜索算法，根据所述高语义数据搜索得到目标网络结构，包括：
使用神经网络架构搜索技术，将所述高语义数据输入预设的搜索空间进行搜索，以得到所述目标网络结构。
在可选的实施方式中，所述模型候选库中包括多个元数据，所述方法还包括：
获取历史数据以及所述历史数据中每个图片集对应的预训练模型，所述历史数据为用于图片处理的历史训练数据；
计算所述历史数据中每个图片集的元特征向量；
根据目标图片集的元特征向量以及所述目标图片集对应的预训练模型构建所述元数据，所述目标图片集为所述历史数据中任意一个图片集；
所述根据所述目标元特征向量，在预存的模型候选库中筛选出目标预训练模型，包括：
将所述目标元特征向量与所述预存的模型候选库中的元数据中的元特征向量对比，以筛选出所述目标预训练模型。
在上述实施方式中，每一个元数据可以包含一元特征向量和预训练模型，通过将目标元特征向量与模型候选库中的元特征向量进行对比，即可选出目标预训练模型，对于预训练模型的选择效率更高。
第二方面，本发明提供一种图像处理模型构建装置，包括：
提取模块，用于对待训练图片集进行特征提取，以得到所述待训练图片集的目标元特征向量；
筛选模块，用于根据所述目标元特征向量，在预存的模型候选库中筛选出目标预训练模型；
计算模块，用于使用所述目标预训练模型计算所述待训练图片集的高语义数据；
搜索模块，用于使用网络架构搜索算法，根据所述高语义数据搜索得到目标网络结构；
训练模块，用于对所述目标预训练模型和所述目标网络结构构成的初始网络模型，使用所述待训练图片集进行训练，以得到目标图像处理模型。
第三方面，本发明提供一种电子设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行如前述实施方式任一所述的方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如前述实施方式任一所述的方法的步骤。
本申请实施例的有益效果是：通过对待训练图片集进行特征提取，并根据得到的目标元特征向量筛选出目标预训练模型，从而可以使选出的目标预训练模型能够更好地满足待训练图片集的训练需求。进一步地，还可以网络架构搜索算法进行网络搜索，以实现对目标预训练模型进一步地完善，使确定出的目标网络结构对图像的处理效果更好。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的方框示意图。
图2为本申请实施例提供的图像处理模型构建方法的流程图。
图3为本申请实施例提供的图像处理模型构建方法步骤201的详细流程图。
图4为本申请实施例提供的图像处理模型构建方法的步骤203的详细流程图。
图5为本申请实施例提供的图像处理模型构建方法的部分流程图。
图6为本申请实施例提供的图像处理模型构建方法的步骤205的详细流程图。
图7为本申请实施例提供的图像处理模型构建装置的功能模块示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
目前图像处理模型的构建采用了用户算法工程师根据经验的方式构建，效率会比较低，而且对人的专业知识储备量依赖性比较大。基于上述现状的研究，本申请实施例提供了一种图像处理模型构建方法、装置、电子设备和可读存储介质，能够实现将建模历史进行抽象表示和存储；通过元学习方法自动选择合适的预训练模型；还能够实现缩小网络搜索空间，通过神经网络架构搜索技术设计微网络结构。下面通过几个实施例进行描述。
实施例一
为便于对本实施例进行理解，首先对执行本申请实施例所公开的图像处理模型构建方法的电子设备进行详细介绍。
如图1所示，是电子设备的方框示意图。电子设备100可以包括存储器111、存储控制器112、处理器113。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对电子设备100的结构造成限定。例如，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
上述的存储器111、存储控制器112、处理器113各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器113用于执行存储器中存储的可执行模块。
其中，存储器111可以是，但不限于，随机存取存储器(Random Access Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，简称EEPROM)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序，本申请实施例任一实施例揭示的过程定义的电子设备100所执行的方法可以应用于处理器113中，或者由处理器113实现。
上述的处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本实施例中的电子设备100可以用于执行本申请实施例提供的各个方法中的各个步骤。下面通过几个实施例详细描述图像处理模型构建方法的实现过程。
实施例二
请参阅图2，是本申请实施例提供的图像处理模型构建方法的流程图。下面将对图2所示的具体流程进行详细阐述。
步骤201，对待训练图片集进行特征提取，以得到所述待训练图片集的目标元特征向量。
在一种实施方式中，可以通过对待训练图片集每一张图片所包含的信息进行提取，以得到目标元特征向量。示例性地，如图3所示，步骤201可以包括步骤2011和步骤2012。
步骤2011，将所述待训练图片集中的每张图片输入预设的预训练模型中进行计算，得的每张图片对应的特征向量。
示例性地，上述的预设的预训练模型可以是预先选定的预训练模型。例如，该预设的预训练模型可以是VGG(Visual Geometry Group Network，视觉几何组网络)模型、ResNet等。
示例性地，可以通过预设的预训练模型提取待训练图片集中的每一张图片的图片特征。其中，将预设的预训练模型的最后一个全连接层的输出作为图片特征，该图片特征作为图片对应的特征向量。
例如，若预训练模型的最后一个全连接层的输出的图片特征为1024维，则待训练图片集中的每张图片都可以用一个1024维的向量进行表示，待训练图片集就可以用一个N*1024的二维数组进行表示，其中N是该待训练图片集中的图片数量。
步骤2012，从所述待训练图片集中的每张图片对应的特征向量构成二维向量中抽取所述目标元特征向量。
在上述实例中，可以从N*1024的二维数组抽取目标元特征向量。
在一种实施方式中，可以通过对待训练图片集进行分析，以得到目标元特征向量。
示例性地，一数据集对应的元特征可以包括如下表1所示的信息。
表1
其中，上述表1仅仅为示例性地，本申请实施例的目标元特征向量还可以包括比上述表述1所示的信息更多或更少的信息。
步骤203，根据所述目标元特征向量，在预存的模型候选库中筛选出目标预训练模型。
在一种实施方式中，该模型候选库中包括多个可用的预训练模型。通过将该目标元特征向量与模型候选库中的各个预训练模型对应的数据集进行对比，以确定出所需的目标预训练模型。
在另一种实施方式中，该模型候选库中包括多个可用的预训练模型以及每个预训练模型对应的训练数据集。通过将该目标元特征向量与模型候选库中的各个预训练模型对应的训练数据集进行对比，以确定出所需的目标预训练模型。
在另一种实施方式中，该模型候选库中包括多个可用的预训练模型以及每个预训练模型对应的训练数据集的元特征向量。通过将该目标元特征向量与模型候选库中的各个预训练模型对应的元特征向量进行对比，以确定出所需的目标预训练模型。
如图4所示，在此实施方式中步骤203可以包括步骤2031和步骤2032。
步骤2031，计算所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度。
可选地，计算所述目标元特征向量与所述预存的模型候选库中的元特征向量的余弦值。
其中，所述目标元特征向量与所述预存的模型候选库中的元特征向量的余弦值的绝对值越大，则所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度越大。
步骤2032，根据所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度确定出所述目标预训练模型。
可选地，由于两个向量的余弦值的范围为[-1,1]，因此可以通过计算公式0.5+0.5*cos的方式将两向量的余弦归一化到[0,1]的范围。将归一化后值作为待训练图片集与预存的模型候选库中的元特征向量的相似度匹配分数。
进一步地，可以选择相似度匹配分数最高的一个元特征向量对应的预训练模型，作为待训练图片集的目标预训练模型使用。
示例性地，元特征向量对应的预训练模型可以是在该元特征向量对应的数据集上表现最好的预训练模型。
本实施例中，模型候选库中包括多个元数据，每个元数据可以包括元特征向量和预训练模型。
在步骤203之前可以先构建模型候选库。
本实施例中，如图5所示，步骤203之前可以包括步骤2021-2023。
步骤2021，获取历史数据以及所述历史数据中每个图片集对应的预训练模型。
其中，历史数据为用于图片处理的历史训练数据。该历史数据中可以包括多个训练图片集。
本实施例中，上述的历史数据及该数据的预训练模型可以是现有技术中任意公开的数据，也可以是真实场景中使用的数据。
示例性地，每个图片集对应的预训练模型可以是该图片集该数据上表现最好的一个预训练模型。
步骤2022，计算所述历史数据中每个图片集的元特征向量。
可选地，计算历史数据中的每个图片集的元特征向量的方法可以与步骤201计算待训练图片集的目标元特征向量的方式相似，关于计算历史数据中每个图片集的元特征向量的详细过程可以参阅步骤201中的描述，在此不再赘述。
步骤2023，根据目标图片集的元特征向量以及所述目标图片集对应的预训练模型构建所述元数据。
其中，目标图片集为所述历史数据中任意一个图片集。
示例性地，一条元数据可以表示为<元特征向量，预训练模型>。
元数据中的预训练模型可以是公开预训练模型候选集中的一个预训练模型。例如，该公开预训练模型候选集可以是指固定数量的预训练模型集合，例如，该预训练模型集合可以包括：VGG16、VGG19、ResNet50、Inception V3、DenseNet等可选模型的集合等。
步骤203可以被实施为：将所述目标元特征向量与所述预存的模型候选库中的元数据中的元特征向量对比，以筛选出所述目标预训练模型。
步骤205，使用所述目标预训练模型计算所述待训练图片集的高语义数据。
本实施例中，如图6所示，步骤205可以包括步骤2051和步骤2052。
步骤2051，将所述待训练图片集中的每张图片输入所述目标预训练模型中进行计算，得的每张图片对应的输出向量。
示例性地，可以将该待训练图片集任意一张图片输入目标预训练模型中进行计算，将该目标预训练模型的最后一个全连接层的输出的图片特征作为该图片的输出向量。
例如，目标预训练模型最后一层全连接层的输出作为图片对应的输出向量。例如，若目标预训练模型的最后一层全连接层的输出是1000维，那么待训练图片集可以表示为N*1000的二维数组。
步骤2052，根据每张图片的输出向量以及每张图片对应的标签构成所述高语义数据。
以上述实例为例，可以将N*1000的二维数组及待训练图片集中的各个图片对应标签(label)构成高语义数据。
步骤207，使用网络架构搜索算法，根据所述高语义数据搜索得到目标网络结构。
本实施例中，该高语义数据可以作为网络架构搜索算法的输入参数。
本实施例中，根据待训练图片集确定了目标预训练模型后，还可以对该目标预训练模型进行修改，以使构建的初始网络模型对待训练图片集的训练效果更好。例如，在该目标预训练模型的最后一层后添加几层新的网络结构。
可选地，可以使用神经网络架构搜索技术(Neural Architecture Search，NAS)，将所述高语义数据输入预设的搜索空间进行搜索，以得到所述目标网络结构。
本实施例中，上述的预设的搜索空间可以根据训练目的的不同而不同。
本实施例中，上述的目标网络结构可以是一个微网络结构。例如，该目标网络结构的层次可以小于五层。当然，该目标网络结构的层次也可以小于七层。例如，该目标网络结构可以包括三层网络结构、可以包括四层网络结构等。
本实施例中，上述的目标网络结构的层次可以相对较少，例如，该目标网络结构的层次。因此，预设的搜索空间也可以较小。因此，基于目标网络结构所需的层级相对较少，因此通过神经网络架构技术搜索所需的资源和时间成本也相对较少。与按照训练重新设计一个新的网络模型相比，可以更加高效和节省资源成本和时间成本。
本实施例中，神经网络架构搜索技术所使用的算法可以根据实际情况进行选择。本申请实施例并不以神经网络架构搜索技术所使用的算法为限。一些可选的实施方式中，神经网络架构搜索技术所使用的算法可以包括AutoKeras、DARTS(DifferentiableArchitecture Search)、ENAS(EfficientNet Neural Architecture Search viaParameter Sharing)等。
步骤209，对所述目标预训练模型和所述目标网络结构构成的初始网络模型，使用所述待训练图片集进行训练，以得到目标图像处理模型。
示例性地，该目标图像处理模型可以用于图像分类、图像中的目标识别等。
在本申请实施例提供的图像处理模型构建方法，通过对待训练图片集进行特征提取，并根据得到的目标元特征向量筛选出目标预训练模型，从而可以使选出的目标预训练模型能够更好地满足待训练图片集的训练需求。进一步地，还可以网络架构搜索算法进行网络搜索，以实现对目标预训练模型进一步地完善，使确定出的目标网络结构对图像的处理效果更好。
本实施例中，通过元学习技术自动寻找适合的目标预训练模型，对于目标预训练模型后需要新添加的目标网络结构，通过神经网络架构搜索技术自动化设计，省去人为探索网络结构的时间。进一步地，由于本实施例中使用神经网络架构搜索技术的搜索空间较小，不需要消耗过多的时间和资源成本。最后将生成的目标网络结构接入目标预训练模型后，形成一个初始网络模型。有效缩短预训练模型选择和修改设计的时间，显著提高模型整体准确率和泛化性能。
进一步地，本申请实施例中，可以将建模历史的历史数据进行抽象表示和存储，得到模型候选库，有效利用建模历史和经验，使预训练模型的确定更加地高效。
在确定预训练模型时，将元学习方法和相似度匹配技术结合，实现自动选择适合当前待训练图片集的预训练模型。
还可以通过NAS技术对有限空间进行搜索，自动生成微小网络结构，节省大量时间和资源成本。将预训练网络模型与NAS生成的微网络结构进行组合，既考虑到通用的泛化特征，又考虑了特定的图片特征，可以使确定出的目标网络结构的图像处理效果更好。
实施例三
基于同一申请构思，本申请实施例中还提供了与图像处理模型构建方法对应的图像处理模型构建装置，由于本申请实施例中的装置解决问题的原理与前述的图像处理模型构建方法实施例相似，因此本实施例中的装置的实施可以参见上述方法的实施例中的描述，重复之处不再赘述。
请参阅图7，是本申请实施例提供的图像处理模型构建装置的功能模块示意图。本实施例中的图像处理模型构建装置中的各个模块用于执行上述方法实施例中的各个步骤。图像处理模型构建装置包括：提取模块301、筛选模块302、计算模块303、搜索模块304以及训练模块305；其中上述各个模块可以如下所示。
提取模块301，用于对待训练图片集进行特征提取，以得到所述待训练图片集的目标元特征向量；
筛选模块302，用于根据所述目标元特征向量，在预存的模型候选库中筛选出目标预训练模型；
计算模块303，用于使用所述目标预训练模型计算所述待训练图片集的高语义数据；
搜索模块304，用于使用网络架构搜索算法，根据所述高语义数据搜索得到目标网络结构；
训练模块305，用于对所述目标预训练模型和所述目标网络结构构成的初始网络模型，使用所述待训练图片集进行训练，以得到目标图像处理模型。
一种可能的实施方式中，提取模块301，用于：
将所述待训练图片集中的每张图片输入预设的预训练模型中进行计算，得的每张图片对应的特征向量；
从所述待训练图片集中的每张图片对应的特征向量构成二维向量中抽取所述目标元特征向量。
一种可能的实施方式中，筛选模块302，包括：相似度计算单元以及模型确定单元。
相似度计算单元，用于计算所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度；
模型确定单元，用于根据所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度确定出所述目标预训练模型。
一种可能的实施方式中，相似度计算单元，用于：
计算所述目标元特征向量与所述预存的模型候选库中的元特征向量的余弦值，其中，所述目标元特征向量与所述预存的模型候选库中的元特征向量的余弦值的绝对值越大，则所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度越大。
一种可能的实施方式中，计算模块303，用于：
将所述待训练图片集中的每张图片输入所述目标预训练模型中进行计算，得的每张图片对应的输出向量；
根据每张图片的输出向量以及每张图片对应的标签构成所述高语义数据。
一种可能的实施方式中，搜索模块304，用于：
使用神经网络架构搜索技术，将所述高语义数据输入预设的搜索空间进行搜索，以得到所述目标网络结构。
一种可能的实施方式中，所述模型候选库中包括多个元数据，本实施例中的图像处理模型构建装置还可以包括：
数据库构建模块，用于：
获取历史数据以及所述历史数据中每个图片集对应的预训练模型，所述历史数据为用于图片处理的历史训练数据；
计算所述历史数据中每个图片集的元特征向量；
根据目标图片集的元特征向量以及所述目标图片集对应的预训练模型构建所述元数据，所述目标图片集为所述历史数据中任意一个图片集；
筛选模块302，用于：
将所述目标元特征向量与所述预存的模型候选库中的元数据中的元特征向量对比，以筛选出所述目标预训练模型。
此外，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理模型构建方法的步骤。
本申请实施例所提供的图像处理模型构建方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理模型构建方法的步骤，具体可参见上述方法实施例，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种图像处理模型构建方法，其特征在于，包括：
对待训练图片集进行特征提取，以得到所述待训练图片集的目标元特征向量，包括：将所述待训练图片集中的每张图片输入预设的预训练模型中进行计算，得到每张图片对应的特征向量；从所述待训练图片集中的每张图片对应的特征向量构成二维向量中抽取所述目标元特征向量；
获取历史数据以及所述历史数据中每个图片集对应的预训练模型，所述历史数据为用于图片处理的历史训练数据；
计算所述历史数据中每个图片集的元特征向量；
根据目标图片集的元特征向量以及所述目标图片集对应的预训练模型构建模型候选库的元数据，所述目标图片集为所述历史数据中任意一个图片集；
根据所述目标元特征向量，在预存的模型候选库中筛选出目标预训练模型，包括：将所述目标元特征向量与所述预存的模型候选库中的元数据中的元特征向量对比，以筛选出所述目标预训练模型；
使用所述目标预训练模型计算所述待训练图片集的高语义数据；
使用网络架构搜索算法，根据所述高语义数据搜索得到目标网络结构；
对所述目标预训练模型和所述目标网络结构构成的初始网络模型，使用所述待训练图片集进行训练，以得到目标图像处理模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标元特征向量，在预存的模型候选库中筛选出目标预训练模型，包括：
计算所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度；
根据所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度确定出所述目标预训练模型。
3.根据权利要求2所述的方法，其特征在于，所述计算所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度，包括：
计算所述目标元特征向量与所述预存的模型候选库中的元特征向量的余弦值，其中，所述目标元特征向量与所述预存的模型候选库中的元特征向量的余弦值的绝对值越大，则所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度越大。
4.根据权利要求1所述的方法，其特征在于，所述使用所述目标预训练模型计算所述待训练图片集的高语义数据，包括：
将所述待训练图片集中的每张图片输入所述目标预训练模型中进行计算，得的每张图片对应的输出向量；
根据每张图片的输出向量以及每张图片对应的标签构成所述高语义数据。
5.根据权利要求1所述的方法，其特征在于，所述使用网络架构搜索算法，根据所述高语义数据搜索得到目标网络结构，包括：
使用神经网络架构搜索技术，将所述高语义数据输入预设的搜索空间进行搜索，以得到所述目标网络结构。
6.一种图像处理模型构建装置，其特征在于，包括：
提取模块，用于将待训练图片集中的每张图片输入预设的预训练模型中进行计算，得到每张图片对应的特征向量；从所述待训练图片集中的每张图片对应的特征向量构成二维向量中抽取目标元特征向量；
筛选模块，用于将所述目标元特征向量与预存的模型候选库中的元数据中的元特征向量对比，以筛选出所述目标预训练模型；
计算模块，用于使用所述目标预训练模型计算所述待训练图片集的高语义数据；
搜索模块，用于使用网络架构搜索算法，根据所述高语义数据搜索得到目标网络结构；
训练模块，用于对所述目标预训练模型和所述目标网络结构构成的初始网络模型，使用所述待训练图片集进行训练，以得到目标图像处理模型；
数据库构建模块，用于获取历史数据以及所述历史数据中每个图片集对应的预训练模型，所述历史数据为用于图片处理的历史训练数据；计算所述历史数据中每个图片集的元特征向量；根据目标图片集的元特征向量以及所述目标图片集对应的预训练模型构建所述模型候选库的元数据，所述目标图片集为所述历史数据中任意一个图片集。
7.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行如权利要求1至5任一所述的方法的步骤。
8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至5任一所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110237430.5A CN112766288B (zh) | 2021-03-03 | 2021-03-03 | 图像处理模型构建方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110237430.5A CN112766288B (zh) | 2021-03-03 | 2021-03-03 | 图像处理模型构建方法、装置、电子设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112766288A CN112766288A (zh) | 2021-05-07 |
| CN112766288B true CN112766288B (zh) | 2024-01-23 |
Family
ID=75690923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110237430.5A Active CN112766288B (zh) | 2021-03-03 | 2021-03-03 | 图像处理模型构建方法、装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766288B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113705628B (zh) * | 2021-08-06 | 2024-02-06 | 北京百度网讯科技有限公司 | 预训练模型的确定方法、装置、电子设备以及存储介质 |
| CN113962368A (zh) * | 2021-11-16 | 2022-01-21 | 重庆赛迪奇智人工智能科技有限公司 | 模型转换方法、装置和设备 |
| CN114021719A (zh) * | 2021-11-29 | 2022-02-08 | 重庆赛迪奇智人工智能科技有限公司 | 量化模型优化方法、装置、设备及计算机存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330908A (zh) * | 2017-06-28 | 2017-11-07 | 陕西师范大学 | 一种基于卷积受限玻尔兹曼机的形状建模方法及相关装置 |
| CN109993101A (zh) * | 2019-03-28 | 2019-07-09 | 华南理工大学 | 基于多分支循环自注意力网络与循环边框回归的车辆检测方法 |
| US10474926B1 (en) * | 2017-11-16 | 2019-11-12 | Amazon Technologies, Inc. | Generating artificial intelligence image processing services |
| CN110852168A (zh) * | 2019-10-11 | 2020-02-28 | 西北大学 | 基于神经架构搜索的行人重识别模型构建方法及装置 |
| WO2020056999A1 (zh) * | 2018-09-21 | 2020-03-26 | 平安科技（深圳）有限公司 | 图片推荐方法、装置、计算机设备及存储介质 |
| CN111311758A (zh) * | 2020-02-24 | 2020-06-19 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、存储介质和电子设备 |
| CN111385462A (zh) * | 2018-12-28 | 2020-07-07 | 上海寒武纪信息科技有限公司 | 信号处理装置、信号处理方法及相关产品 |
| CN111444370A (zh) * | 2020-03-09 | 2020-07-24 | 腾讯科技（深圳）有限公司 | 图像检索方法、装置、设备及其存储介质 |
| WO2020182019A1 (zh) * | 2019-03-08 | 2020-09-17 | 苏州大学 | 图像检索方法、装置、设备及计算机可读存储介质 |
| CN111814966A (zh) * | 2020-08-24 | 2020-10-23 | 国网浙江省电力有限公司 | 神经网络架构搜索方法、神经网络应用方法、设备及存储介质 |
| CN112149737A (zh) * | 2020-09-23 | 2020-12-29 | 创新奇智(青岛)科技有限公司 | 选择模型训练方法、模型选择方法、装置及电子设备 |
| CN112288006A (zh) * | 2020-10-29 | 2021-01-29 | 深圳开立生物医疗科技股份有限公司 | 一种图像处理模型构建方法、装置、设备及可读存储介质 |
-
2021
- 2021-03-03 CN CN202110237430.5A patent/CN112766288B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330908A (zh) * | 2017-06-28 | 2017-11-07 | 陕西师范大学 | 一种基于卷积受限玻尔兹曼机的形状建模方法及相关装置 |
| US10474926B1 (en) * | 2017-11-16 | 2019-11-12 | Amazon Technologies, Inc. | Generating artificial intelligence image processing services |
| WO2020056999A1 (zh) * | 2018-09-21 | 2020-03-26 | 平安科技（深圳）有限公司 | 图片推荐方法、装置、计算机设备及存储介质 |
| CN111385462A (zh) * | 2018-12-28 | 2020-07-07 | 上海寒武纪信息科技有限公司 | 信号处理装置、信号处理方法及相关产品 |
| WO2020182019A1 (zh) * | 2019-03-08 | 2020-09-17 | 苏州大学 | 图像检索方法、装置、设备及计算机可读存储介质 |
| CN109993101A (zh) * | 2019-03-28 | 2019-07-09 | 华南理工大学 | 基于多分支循环自注意力网络与循环边框回归的车辆检测方法 |
| CN110852168A (zh) * | 2019-10-11 | 2020-02-28 | 西北大学 | 基于神经架构搜索的行人重识别模型构建方法及装置 |
| CN111311758A (zh) * | 2020-02-24 | 2020-06-19 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、存储介质和电子设备 |
| CN111444370A (zh) * | 2020-03-09 | 2020-07-24 | 腾讯科技（深圳）有限公司 | 图像检索方法、装置、设备及其存储介质 |
| CN111814966A (zh) * | 2020-08-24 | 2020-10-23 | 国网浙江省电力有限公司 | 神经网络架构搜索方法、神经网络应用方法、设备及存储介质 |
| CN112149737A (zh) * | 2020-09-23 | 2020-12-29 | 创新奇智(青岛)科技有限公司 | 选择模型训练方法、模型选择方法、装置及电子设备 |
| CN112288006A (zh) * | 2020-10-29 | 2021-01-29 | 深圳开立生物医疗科技股份有限公司 | 一种图像处理模型构建方法、装置、设备及可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Fast method of constructing image correlations to build a free network based on image multivocabulary trees;Zongqian Zhan;Journal of Electronic Imaging;第24卷(第3期);033029-1-13 * |
| 基于深度层次模型的图像分类算法;原立格;徐音;郝洋洲;;控制工程(第10期);108-112 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112766288A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112766288B (zh) | 图像处理模型构建方法、装置、电子设备和可读存储介质 | |
| US11074434B2 (en) | Detection of near-duplicate images in profiles for detection of fake-profile accounts | |
| CN111061946B (zh) | 场景化内容推荐方法、装置、电子设备及存储介质 | |
| CN113627447B (zh) | 标签识别方法、装置、计算机设备、存储介质及程序产品 | |
| JP2017062781A (ja) | 深層ｃｎｎプーリング層を特徴として用いる、類似度に基づく重要な対象の検知 | |
| CN111667022A (zh) | 用户数据处理方法、装置、计算机设备和存储介质 | |
| CN113095346A (zh) | 数据标注的方法以及数据标注的装置 | |
| CN108984555B (zh) | 用户状态挖掘和信息推荐方法、装置以及设备 | |
| CN106096028A (zh) | 基于图像识别的文物索引方法及装置 | |
| CN112818995B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN110928961A (zh) | 一种多模态实体链接方法、设备及计算机可读存储介质 | |
| CN113515589B (zh) | 数据推荐方法、装置、设备以及介质 | |
| CN112819073B (zh) | 分类网络训练、图像分类方法、装置和电子设备 | |
| CN110427480A (zh) | 个性化文本智能推荐方法、装置及计算机可读存储介质 | |
| CN115131698A (zh) | 视频属性确定方法、装置、设备及存储介质 | |
| CN110990523A (zh) | 一种法律文书的确定方法及系统 | |
| CN115062779A (zh) | 基于动态知识图谱的事件预测方法及装置 | |
| CN108932525B (zh) | 一种行为预测方法及装置 | |
| CN111985616B (zh) | 一种图像特征提取方法、图像检索方法、装置及设备 | |
| CN112465012A (zh) | 机器学习建模方法、装置、电子设备和可读存储介质 | |
| CN115129897B (zh) | 利用知识图谱分析感知数据的方法、装置、设备和介质 | |
| CN114329016B (zh) | 图片标签生成方法和文字配图方法 | |
| CN112686339B (zh) | 一种基于起诉状的案由确定方法和装置 | |
| CN113157892B (zh) | 用户意图处理方法、装置、计算机设备及存储介质 | |
| CN114821188A (zh) | 图像处理方法、场景图生成模型的训练方法以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |