CN110619341B - 一种图像识别模型训练系统及方法 - Google Patents
一种图像识别模型训练系统及方法 Download PDFInfo
- Publication number
- CN110619341B CN110619341B CN201810632005.4A CN201810632005A CN110619341B CN 110619341 B CN110619341 B CN 110619341B CN 201810632005 A CN201810632005 A CN 201810632005A CN 110619341 B CN110619341 B CN 110619341B
- Authority
- CN
- China
- Prior art keywords
- image data
- folder
- training
- module
- feature cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 178
- 238000000034 method Methods 0.000 title claims description 84
- 230000008859 change Effects 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000012544 monitoring process Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims description 25
- 230000001360 synchronised effect Effects 0.000 claims description 23
- 238000004886 process control Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 7
- 239000000523 sample Substances 0.000 claims 1
- 238000000605 extraction Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种图像识别模型训练系统，包括：监控模块，用于监控图像数据文件夹，并在所述图像数据文件夹中的图像数据文件产生变化时生成变化消息，将所述变化消息发送至同步模块；同步模块，用于接收所述监控模块发送的变化消息，根据所述变化消息、基于所述图像数据文件夹产生变化的图像数据文件对应的特征缓存文件对特征缓存文件夹进行同步处理；其中，所述图像数据文件夹用于存储图像数据文件，所述特征缓存文件夹用于存储特征缓存文件，所述特征缓存文件是对所述图像数据文件的图像数据进行特征提取得到的文件；训练模块，用于利用所述特征缓存文件夹中的特征缓存文件进行训练，获得图像识别模型。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种图像识别模型训练系统及方法。
背景技术
图像识别技术是人工智能的一个重要领域，它是对图像进行对象识别，以分辨各种不同模式的目标和对象的技术。在现有的图像识别技术中，当拥有的图像数据集较小时，通常采用迁移学习(Transfer learning)来定制所需的图像识别功能，从而让一个已经训练好的模型适配自身的问题。例如，使用imageNet数据集预训练好的模型进行图像特征提取，然后用提取到的特征输入一个分类器进行训练，最终得到所需的新模型。
然而，当图像数据集中的图像数据发生改变时，与之相对应地，需要采用改变后的图像数据的特征文件进行模型训练。现有的图像识别模型训练技术往往需要人工管理数据集，然后确定进行模型训练，这不仅增加了人工工作量，而且经常出现管理不及时、错误操作等问题。因此，如何智能高效的管理数据集，进行图像识别模型训练，成为本领域现阶段亟需解决的技术问题。
发明内容
有鉴于此，本发明的主要目的在于提供一种图像识别模型训练系统及方法设备，在图像数据集中的图像数据发生改变时，实现图像识别模型训练的自动高效完成。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供了一种图像识别模型训练系统，所述系统包括监控模块，同步模块，以及训练模块，其中，
所述监控模块，用于监控图像数据文件夹，并在所述图像数据文件夹中的图像数据文件产生变化时生成变化消息，将所述变化消息发送至同步模块；
所述同步模块，用于接收所述监控模块发送的变化消息，根据所述变化消息、基于所述图像数据文件夹产生变化的图像数据文件对应的特征缓存文件对特征缓存文件夹进行同步处理；
其中，所述图像数据文件夹用于存储图像数据文件，所述特征缓存文件夹用于存储特征缓存文件，所述特征缓存文件是对所述图像数据文件的图像数据进行特征提取得到的文件；
所述训练模块，用于利用所述特征缓存文件夹中的特征缓存文件进行训练，获得图像识别模型。
上述方案中，所述图像数据文件夹中的图像数据文件产生变化包括：增加图像数据文件，以及删除图像数据文件；
所述同步模块，用于在所述图像数据文件夹中发生增加图像数据文件的变化时，对增加的图像数据文件进行特征提取，获得特征缓存文件，将所述特征缓存文件同步至所述特征缓存文件夹中；还用于在所述图像数据文件夹中发生删除图像数据文件的变化时，在所述特征缓存文件夹中删除与被删除的所述图像数据文件相对应的特征缓存文件。
上述方案中，所述同步模块还用于在进行同步处理时将所述特征缓存文件夹标记为第一特定状态；
所述训练模块，用于在执行训练操作过程中，检测所述特征缓存文件夹的状态；在所述特征缓存文件夹处于所述第一特定状态时，暂停执行训练操作并将自身标记为第二特定状态；在所述特征缓存文件夹不处于所述第一特定状态时，解除自身的所述第二特定状态标记并继续执行训练操作。
上述方案中，所述系统还包括日志模块，用于保存所述同步模块的同步处理记录；还用于保存所述训练模块的训练记录。
上述方案中，所述系统还包括提醒模块，所述提醒模块用于在所述日志模块保存的记录满足预设条件时，发出需要启动所述训练模块进行训练的提醒。
上述方案中，所述同步模块的同步处理记录的数量超过预设阈值；
或者，所述训练模块的最新的训练记录的时间距当前时间超过预设时长。
上述方案中，所述系统还包括进程控制模块，所述进程控制模块用于在需要启动所述训练模块时修改第一进程为启动状态。
上述方案中，所述进程控制模块还用于修改系统配置文件，修改后的系统配置文件用于将包括所述监控模块和所述同步模块的第二进程设置为开机自动启动。
本发明还提供了一种图像识别模型训练方法，所述方法包括以下步骤：
监控图像数据文件夹，在所述图像数据文件夹中的图像数据文件产生变化时生成变化消息；
根据所述变化消息、基于所述图像数据文件夹产生变化的图像数据文件对应的特征缓存文件对特征缓存文件夹进行同步处理；
基于所述同步处理后的所述特征缓存文件夹中的特征缓存文件进行训练，获得图像识别模型；
其中，所述图像数据文件夹是用于存储图像数据文件的文件夹，所述特征缓存文件夹是用于存储特征缓存文件的文件夹，所述特征缓存文件是对所述图像数据文件的图像数据进行特征提取得到的文件。
上述方案中，所述图像数据文件夹中的图像数据文件产生变化包括：增加图像数据文件，以及删除图像数据文件；
所述对特征缓存文件夹进行同步处理包括：在所述图像数据文件夹中发生增加图像数据文件的变化时，对增加的图像数据文件进行特征提取，获得特征缓存文件，将所述特征缓存文件同步至所述特征缓存文件夹中；在所述图像数据文件夹中发生删除图像数据文件的变化时，在所述特征缓存文件夹中删除与被删除的所述图像数据文件相对应的特征缓存文件。
上述方案中，在进行同步处理时，还包括将所述特征缓存文件夹标记为第一特定状态的步骤；
在进行训练过程中，还包括以下步骤：检测所述特征缓存文件夹的状态；在所述特征缓存文件夹处于所述第一特定状态时，暂停执行训练操作并将自身标记为第二特定状态；在所述特征缓存文件夹不处于所述第一特定状态时，解除自身的所述第二特定状态标记并继续执行训练操作。
上述方案中，在进行同步处理后还包括保存同步处理记录的步骤；并且，在进行训练后还包括保存训练记录的步骤。
上述方案中，所述方法还包括以下步骤：在保存的所述记录满足预设条件时，发出需要进行训练的提醒。
上述方案中，所述预设条件包括：所述同步处理记录的数量超过预设阈值；或者，最新的所述训练记录的时间距当前时间超过预设时长。
上述方案中，所述方法还包括以下步骤：在需要基于所述同步处理后的所述特征缓存文件夹中的特征缓存文件进行训练时，将控制所述训练操作进行的第一进程修改为启动状态。
上述方案中，所述方法还包括以下步骤：修改系统配置文件，修改后的系统配置文件用于控制包括所述监控操作与所述同步处理操作的第二进程为开机自动启动。
本发明还提供了一种图像识别模型训练设备，所述设备包括：处理器以及用于存储能够在处理器上运行计算机程序的存储器，
其中，所述处理器用于在运行所述计算机程序时，执行上述方案中任一项所述图像识别模型训练方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方案中任一项所述图像识别模型训练方法的步骤。
本发明实施例所提供的图像识别模型训练系统，包括监控模块，同步模块，以及训练模块，其中，所述监控模块，用于监控图像数据文件夹，并在所述图像数据文件夹中的图像数据文件产生变化时生成变化消息，将所述变化消息发送至同步模块；所述同步模块，用于接收所述监控模块发送的变化消息，根据所述变化消息、基于所述图像数据文件夹产生变化的图像数据文件对应的特征缓存文件对特征缓存文件夹进行同步处理；其中，所述图像数据文件夹用于存储图像数据文件，所述特征缓存文件夹用于存储特征缓存文件，所述特征缓存文件是对所述图像数据文件的图像数据进行特征提取得到的文件；所述训练模块，用于利用所述特征缓存文件夹中的特征缓存文件进行训练，获得图像识别模型。如此，当图像数据发生变化时，可以通过监控模块及时地获知变化消息，并且通过同步模块自动对特征缓存文件夹进行同步处理，从而可以利用最新的图像特征进行训练，最终得到所需的新模型，实现了图像识别模型训练的自动高效进行。
附图说明
图1为本发明实施例提供的图像识别模型训练系统示意图一；
图2为本发明实施例提供的图像识别模型训练系统示意图二；
图3为本发明实施例提供的图像识别模型训练系统示意图三；
图4为本发明实施例提供的图像识别模型训练系统示意图四；
图5为本发明实施例提供的一种图像识别模型训练方法的流程示意图；
图6为本发明实施例提供的另一种图像识别模型训练方法的流程示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细的说明。
本发明实施例提供了一种图像识别模型训练系统。
如图1所示，所述系统包括监控模块，同步模块，以及训练模块。
所述监控模块，用于监控图像数据文件夹，并在所述图像数据文件夹中的图像数据文件产生变化时生成变化消息，将所述变化消息发送至同步模块。
所述同步模块，用于接收所述监控模块发送的变化消息，根据所述变化消息、基于所述图像数据文件夹产生变化的图像数据文件对应的特征缓存文件对特征缓存文件夹进行同步处理。
其中，所述图像数据文件夹用于存储图像数据文件，所述特征缓存文件夹用于存储特征缓存文件，所述特征缓存文件是对所述图像数据文件的图像数据进行特征提取得到的文件。
所述训练模块，用于利用所述特征缓存文件夹中的特征缓存文件进行训练，获得图像识别模型。
具体地，所述图像数据文件夹和所述特征缓存文件夹可以是用户预先创建的，并且预先指定系统中各个模块所执行的具体操作与两个文件夹之间的对应关系。本发明实施例中，由于不是直接使用摄像装置采集的图像数据进行模型训练，而是使用从上述图像数据中提取得到的特征进行训练，因此，创建两个文件夹分别存放两种类型的文件，更加有利于对数据文件的分类管理。
进一步地，所述图像数据文件夹产生变化可以包括：增加图像数据文件，以及删除图像数据文件。
所述同步模块，用于在所述图像数据文件夹中发生增加图像数据文件的变化时，对增加的图像数据文件进行特征提取，获得特征缓存文件，将所述特征缓存文件同步至所述特征缓存文件夹中；还用于在所述图像数据文件夹中发生删除图像数据文件的变化时，在所述特征缓存文件夹中删除与被删除的所述图像数据文件相对应的特征缓存文件。
可以理解，所述图像数据文件夹产生变化并不局限于此，任何影响到模型训练操作的数据变化都可以属于图像数据文件夹产生变化。
可以理解，本发明实施例中，所述同步模块用于对增加的图像数据文件进行特征提取，获得特征缓存文件。当然，所述特征缓存文件也可以由另外的特征提取模块提取，并经由同步模块存放在所述特征缓存文件中，即，所述系统还包括特征提取模块，用于提取所述图像数据文件的图像特征并生成特征缓存文件；所述同步模块，用于将所述特征提取模块生成的所述特征缓存文件同步至所述特征缓存文件夹中。
其中，所述同步模块可采用以下模型中的至少之一对所述图像数据进行处理：卷积神经网络(CNN)、循环神经网络(RNN)、深度神经网络(DNN)；并且可采用以下方式中的至少之一提取所述图像数据文件的图像特征：傅里叶变换法、小波变换法、最小二乘法、边界方向直方图法、马尔可夫随机场模型法、基于Tamura纹理特征的纹理特征提取。
进一步地，所述同步模块还用于在进行同步处理时将所述特征缓存文件夹标记为第一特定状态；所述训练模块，用于在执行训练操作过程中，检测所述特征缓存文件夹的状态；在所述特征缓存文件夹处于所述第一特定状态时，暂停执行训练操作并将自身标记为第二特定状态；在所述特征缓存文件夹不处于所述第一特定状态时，解除自身的所述第二特定状态标记并继续执行训练操作。
这里，通过在进行同步处理时将所述特征缓存文件夹标记为第一特定状态，避免了训练模块读取特征缓存文件夹中的特征缓存文件时，所述特征缓存文件正在发生变化，导致训练模块读取出错；并且，所述训练模块在检测到所述特征缓存文件夹处于第一特定状态时，暂缓执行训练操作并将自身标记为第二特定状态，避免了训练模块故障。
具体地，所述第一特定状态例如为updating状态，所述第二特定状态例如为阻塞状态。
进一步地，如图2所示，所述系统还包括日志模块。所述日志模块用于保存所述同步模块的同步处理记录；还用于保存所述训练模块的训练记录。
可以理解，所述同步模块在接收所述监控模块发送的变化消息，并根据所述变化消息、基于所述图像数据文件夹产生变化的图像数据文件对应的特征缓存文件对特征缓存文件夹进行同步处理后，可将同步处理记录保存至日志模块。
具体地，在所述图像数据文件夹中发生增加图像数据文件的变化时，所述同步模块自动在所述特征缓存文件夹中增加与被增加的所述图像数据文件相对应的特征缓存文件，并将同步增加记录保存至日志模块；在所述图像数据文件夹中发生删除图像数据文件的变化时，所述同步模块自动在所述特征缓存文件夹中删除与被删除的所述图像数据文件相对应的特征缓存文件，并将同步删除记录保存至日志模块。
所述训练模块在利用所述特征缓存文件夹中的特征缓存文件进行训练后，将训练记录保存至日志模块。
具体来说，日志模块保存的记录至少应当包括：处理对象、处理事项、以及完成时间。
进一步地，如图3所示，所述系统还包括提醒模块。所述提醒模块用于在所述日志模块保存的记录满足预设条件时，发出需要启动所述训练模块进行训练的提醒。
进一步地，所述预设条件包括：所述同步模块的同步处理记录的数量超过预设阈值；或者，所述训练模块的最新的训练记录的时间距当前时间超过预设时长。
可以理解，当发生图像数据改变时，模型训练也应当重新进行，从而不断地更新修正图像识别模型。然而，如果每一次图像改变都重新进行模型训练，不仅大大增加了系统作业量，并且在图像数据改变较小时可能对识别模型的影响也比较小，此时并没有重新训练的必要。本发明实施例通过设置提醒模块，所述提醒模块利用日志模块中保存的记录进行判断，发出需要重新训练识别模型的提醒，大大提高了图像识别模型训练系统的智能程度，进一步减少了人工工作量，提高了生产效率。
这里，提醒模块可以通过系统用户界面，向操作系统的工程师发出需要启动训练模块进行训练的提醒，由工程师进一步决定是否需要重新训练，并且在需要重新训练时，手动启动训练模块。当然，在本发明实施例中，也可以通过提醒模块直接提醒训练模块，所述训练模块在收到提醒后，自动启动训练功能。
进一步地，如图4示，所述系统还包括进程控制模块，所述进程控制模块用于在需要启动所述训练模块时修改第一进程为启动状态。
进一步地，所述进程控制模块还用于修改系统配置文件，修改后的系统配置文件用于将包括所述监控模块和所述同步模块的第二进程设置为开机自动启动。
特别地，在本发明实施例提供的图像识别模型训练系统中，各个模块均可由进程控制模块控制。
本实施例中，训练模块利用特征缓存文件训练获得的图像识别模型，功能是表征图像文件与识别结果的对应关系，具体可以将图像文件输入至所述图像识别模型，得到对该图像文件中图像的识别结果。
本发明实施例还提供了一种图像识别模型训练方法。
如图5所示，所述方法包括以下步骤：
步骤100，监控图像数据文件夹，在所述图像数据文件夹中的图像数据文件产生变化时生成变化消息；
步骤200，根据所述变化消息、基于所述图像数据文件夹产生变化的图像数据文件对应的特征缓存文件对特征缓存文件夹进行同步处理；
步骤300，基于所述同步处理后的所述特征缓存文件夹中的特征缓存文件进行训练，获得图像识别模型；
其中，所述图像数据文件夹是用于存储图像数据文件的文件夹，所述特征缓存文件夹是用于存储特征缓存文件的文件夹，所述特征缓存文件是对所述图像数据文件的图像数据进行特征提取得到的文件。
具体地，在步骤100之前，所述方法还可以包括：创建图像数据文件夹和特征缓存文件夹。
可以理解，本发明实施例中，由于不是直接使用摄像装置采集的图像数据进行模型训练，而是使用从上述图像数据中提取得到的特征进行训练，因此，创建两个文件夹分别存放两种类型的文件，更加有利于对数据文件的分类管理。
进一步地，所述图像数据文件夹产生变化包括：增加图像数据文件，以及删除图像数据文件；所述对特征缓存文件夹进行同步处理包括：在所述图像数据文件夹中发生增加图像数据文件的变化时，对增加的图像数据文件进行特征提取，获得特征缓存文件，将所述特征缓存文件同步至所述特征缓存文件夹中；在所述图像数据文件夹中发生删除图像数据文件的变化时，在所述特征缓存文件夹中删除与被删除的所述图像数据文件相对应的特征缓存文件。
可以理解，所述图像数据文件夹产生变化并不局限于此，任何影响到模型训练操作的数据变化都可以属于图像数据文件夹产生变化。
其中，所述对所述图像数据文件的图像数据进行特征提取可以包括采用以下模型中的至少之一对所述图像数据进行处理：卷积神经网络(CNN)、循环神经网络(RNN)、深度神经网络(DNN)；并且可采用以下方式中的至少之一提取所述图像数据文件的图像特征：傅里叶变换法、小波变换法、最小二乘法、边界方向直方图法、马尔可夫随机场模型法、基于Tamura纹理特征的纹理特征提取。
进一步地，在进行同步处理时，还包括将所述特征缓存文件夹标记为第一特定状态的步骤；在进行训练过程中，还包括以下步骤：检测所述特征缓存文件夹的状态；在所述特征缓存文件夹处于所述第一特定状态时，暂停执行训练操作并将自身标记为第二特定状态；在所述特征缓存文件夹不处于所述第一特定状态时，解除自身的所述第二特定状态标记并继续执行训练操作。
这里，通过在进行同步处理时将所述特征缓存文件夹标记为第一特定状态，避免了在训练操作需要读取特征缓存文件夹中的特征缓存文件时，所述特征缓存文件正在发生变化，导致读取出错；并且，所述在检测到所述特征缓存文件夹处于第一特定状态时，暂缓执行训练操作，避免了训练操作出现故障。
具体地，所述第一特定状态例如为updating状态，所述第二特定状态例如为阻塞状态。
进一步地，在步骤200后还包括保存同步处理记录的步骤；并且，在步骤300后还包括保存训练记录的步骤。
具体地，在所述图像数据文件夹中发生增加图像数据文件的变化时，对增加的图像数据文件进行特征提取，获得特征缓存文件，将所述特征缓存文件同步至所述特征缓存文件夹中，并保存同步增加记录；在所述图像数据文件夹中发生删除图像数据文件的变化时，在所述特征缓存文件夹中删除与被删除的所述图像数据文件相对应的特征缓存文件，并保存同步删除记录。
并且，在基于所述同步处理后的所述特征缓存文件夹中的特征缓存文件进行训练后，保存训练记录。
这里，所述记录的内容至少应当包括：处理对象、处理事项、以及完成时间。
进一步地，所述方法还包括以下步骤：在保存的所述记录满足预设条件时，发出需要进行训练的提醒。
进一步地，所述预设条件包括：所述同步处理记录的数量超过预设阈值；或者，最新的所述训练记录的时间距当前时间超过预设时长。
可以理解，当发生图像数据改变时，模型训练也应当重新进行，从而不断地更新修正图像识别模型。然而，如果每一次图像改变都重新进行模型训练，不仅大大增加了系统作业量，并且在图像数据改变较小时可能对识别模型的影响也比较小，此时并没有重新训练的必要。本发明实施例利用保存的记录进行判断，发出需要重新训练识别模型的提醒，大大提高了图像识别模型训练系统的智能程度，进一步减少了人工工作量，提高了生产效率。
这里，可以通过系统用户界面向操作系统的工程师发出需要重新进行训练的提醒，由工程师进一步决定是否需要重新训练，并且在需要重新训练时，手动启动训练操作。当然，在本发明实施例中，也可以在发出需要进行训练的提醒后，自动启动训练操作。
进一步地，所述方法还包括以下步骤：在需要基于所述同步处理后的所述特征缓存文件夹中的特征缓存文件进行训练时，将控制所述训练操作进行的第一进程修改为启动状态。
进一步地，所述方法还包括以下步骤：修改系统配置文件，修改后的系统配置文件用于控制包括所述监控操作与所述同步处理操作的第二进程为开机自动启动。
本实施例中，获得的图像识别模型用于表征图像文件与识别结果的对应关系，具体可以将图像文件输入至所述图像识别模型，得到对该图像文件中图像的识别结果。
本发明实施例还提供了一种基于本发明实施例所提供的图像识别模型训练系统实现图像识别模型训练方法。
如图6所示，所述方法包括以下步骤：
步骤110，基于监控模块监控图像数据文件夹，在所述图像数据文件夹中的图像数据文件产生变化时生成变化消息，将所述变化消息发送至同步模块；
步骤210，基于同步模块接收所述监控模块发送的所述变化消息，根据所述变化消息、基于所述图像数据文件夹产生变化的图像数据文件对应的特征缓存文件对特征缓存文件夹进行同步处理；
步骤310，启动训练模块，基于所述训练模块，利用所述同步处理后的所述特征缓存文件夹中的特征缓存文件进行训练，获得图像识别模型；
其中，所述图像数据文件夹用于存储图像数据文件，所述特征缓存文件夹用于存储特征缓存文件，所述特征缓存文件是对所述图像数据文件的图像数据进行特征提取得到的文件。
具体地，在步骤110之前，所述方法还可以包括：创建图像数据文件夹和特征缓存文件夹。并且，用户可以预先指定系统中各个模块所执行的具体操作与两个文件夹之间的对应关系。
进一步地，所述图像数据文件夹产生变化包括：增加图像数据文件，以及删除图像数据文件；所述对特征缓存文件夹进行同步处理包括：在所述图像数据文件夹中发生增加图像数据文件的变化时，基于所述同步模块对增加的图像数据文件进行特征提取，获得特征缓存文件，将所述特征缓存文件同步至所述特征缓存文件夹中；在所述图像数据文件夹中发生删除图像数据文件的变化时，基于所述同步模块在所述特征缓存文件夹中删除与被删除的所述图像数据文件相对应的特征缓存文件。
可以理解，所述图像数据文件夹产生变化并不局限于此，任何影响到模型训练操作的数据变化都可以属于图像数据文件夹产生变化。
可以理解，本实施例中，基于所述同步模块对增加的图像数据文件进行特征提取，获得特征缓存文件。当然，所述特征缓存文件也可以由另外的特征提取模块提取，并经由同步模块存放在所述特征缓存文件中，即，所述方法还包括基于特征提取模块对增加的图像数据文件进行特征提取，生成特征缓存文件；基于同步模块，将所述特征提取模块生成的所述特征缓存文件同步至所述特征缓存文件夹中。
其中，所述同步模块可采用以下模型中的至少之一对所述图像数据进行处理：卷积神经网络(CNN)、循环神经网络(RNN)、深度神经网络(DNN)；并且可采用以下方式中的至少之一提取所述图像数据文件的图像特征：傅里叶变换法、小波变换法、最小二乘法、边界方向直方图法、马尔可夫随机场模型法、基于Tamura纹理特征的纹理特征提取。
进一步地，在进行同步处理时，还包括将所述特征缓存文件夹标记为第一特定状态的步骤；并且在执行训练操作过程中，基于所述训练模块检测所述特征缓存文件夹的状态；在所述特征缓存文件夹处于所述第一特定状态时，暂停执行训练操作并将自身标记为第二特定状态；在所述特征缓存文件夹不处于所述第一特定状态时，解除自身的所述第二特定状态标记并继续执行训练操作。
具体地，所述第一特定状态例如为updating状态，所述第二特定状态例如为阻塞状态。
进一步地，在步骤210后还包括将同步处理记录保存至日志模块的步骤；并且，在步骤310后还包括将训练记录保存至日志模块的步骤。
具体地，在所述图像数据文件夹中发生增加图像数据文件的变化时，基于所述同步模块对增加的图像数据文件进行特征提取，获得特征缓存文件，将所述特征缓存文件同步至所述特征缓存文件夹中，并将同步增加记录保存至日志模块；在所述图像数据文件夹中发生删除图像数据文件的变化时，基于所述同步模块在所述特征缓存文件夹中删除与被删除的所述图像数据文件相对应的特征缓存文件，并将同步删除记录保存至日志模块。
并且，在进行训练后，基于所述训练模块将训练记录保存至日志模块。
这里，日志模块保存的记录至少应当包括：处理对象、处理事项、以及完成时间。
进一步地，所述方法还包括以下步骤：在所述日志模块保存的记录满足预设条件时，基于提醒模块发出需要启动训练模块进行训练的提醒。
进一步地，所述预设条件包括：所述同步模块的同步处理记录的数量超过预设阈值；或者，所述训练模块的最新的训练记录的时间距当前时间超过预设时长。
这里，可以通过系统用户界面，基于提醒模块向操作系统的工程师发出需要启动训练模块进行训练的提醒，由工程师进一步决定是否需要重新训练，并且在需要重新训练时，手动启动训练模块。当然，在本发明实施例中，也可以基于提醒模块直接提醒训练模块，所述训练模块在收到提醒后，自动启动训练功能。
进一步地，所述方法还包括以下步骤：在需要启动训练模块时，基于进程控制模块将控制所述训练操作进行的第一进程修改为启动状态。
进一步地，所述方法还包括以下步骤：基于所述进程控制模块修改系统配置文件，修改后的系统配置文件用于控制包括所述监控操作与所述同步处理操作的第二进程为开机自动启动。
特别地，在本发明实施例提供的图像识别模型训练方法中，各个模块均可由进程控制模块控制。
本实施例中，训练模块利用特征缓存文件训练获得的图像识别模型，功能是表征图像文件与识别结果的对应关系，具体可以将图像文件输入至所述图像识别模型，得到对该图像文件中图像的识别结果。
本发明实施例还提供了一种图像识别模型训练设备。
所述图像识别模型训练设备包括：处理器以及用于存储能够在处理器上运行计算机程序的存储器，其中，所述处理器用于在运行所述计算机程序时，执行本发明实施例提供的图像识别模型训练方法的步骤。
需要说明的是：上述实施例提供的图像识别模型训练设备在进行图像识别模型训练时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将设备的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。
在示例性实施例中，图像识别模型训练设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质。
所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述方法的步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (16)
1.一种图像识别模型训练系统，其特征在于，所述系统包括监控模块，同步模块，以及训练模块，其中，
所述监控模块，用于监控图像数据文件夹，并在所述图像数据文件夹中的图像数据文件产生变化时生成变化消息，将所述变化消息发送至同步模块；
所述同步模块，用于接收所述监控模块发送的变化消息，根据所述变化消息、基于所述图像数据文件夹产生变化的图像数据文件对应的特征缓存文件对特征缓存文件夹进行同步处理；
其中，所述图像数据文件夹用于存储图像数据文件，所述特征缓存文件夹用于存储特征缓存文件，所述特征缓存文件是对所述图像数据文件的图像数据进行特征提取得到的文件；
所述训练模块，用于利用所述特征缓存文件夹中的特征缓存文件进行训练，获得图像识别模型；
其中，所述同步模块还用于在进行同步处理时将所述特征缓存文件夹标记为第一特定状态；
所述训练模块，用于在执行训练操作过程中，检测所述特征缓存文件夹的状态；在所述特征缓存文件夹处于所述第一特定状态时，暂停执行训练操作并将自身标记为第二特定状态；在所述特征缓存文件夹不处于所述第一特定状态时，解除自身的所述第二特定状态标记并继续执行训练操作。
2.根据权利要求1所述的系统，其特征在于，
所述图像数据文件夹中的图像数据文件产生变化包括：增加图像数据文件，以及删除图像数据文件；
所述同步模块，用于在所述图像数据文件夹中发生增加图像数据文件的变化时，对增加的图像数据文件进行特征提取，获得特征缓存文件，将所述特征缓存文件同步至所述特征缓存文件夹中；还用于在所述图像数据文件夹中发生删除图像数据文件的变化时，在所述特征缓存文件夹中删除与被删除的所述图像数据文件相对应的特征缓存文件。
3.根据权利要求1所述的系统，其特征在于，所述系统还包括日志模块，用于保存所述同步模块的同步处理记录；还用于保存所述训练模块的训练记录。
4.根据权利要求3所述的系统，其特征在于，所述系统还包括提醒模块，所述提醒模块用于在所述日志模块保存的记录满足预设条件时，发出需要启动所述训练模块进行训练的提醒。
5.根据权利要求4所述的系统，其特征在于，所述预设条件包括：
所述同步模块的同步处理记录的数量超过预设阈值；
或者，所述训练模块的最新的训练记录的时间距当前时间超过预设时长。
6.根据权利要求1所述的系统，其特征在于，所述系统还包括进程控制模块，所述进程控制模块用于在需要启动所述训练模块时修改第一进程为启动状态。
7.根据权利要求6所述的系统，其特征在于，所述进程控制模块还用于修改系统配置文件，修改后的系统配置文件用于将包括所述监控模块和所述同步模块的第二进程设置为开机自动启动。
8.一种图像识别模型训练方法，其特征在于，所述方法包括以下步骤：
监控图像数据文件夹，在所述图像数据文件夹中的图像数据文件产生变化时生成变化消息；
根据所述变化消息、基于所述图像数据文件夹产生变化的图像数据文件对应的特征缓存文件对特征缓存文件夹进行同步处理；
基于所述同步处理后的所述特征缓存文件夹中的特征缓存文件进行训练，获得图像识别模型；
其中，所述图像数据文件夹是用于存储图像数据文件的文件夹，所述特征缓存文件夹是用于存储特征缓存文件的文件夹，所述特征缓存文件是对所述图像数据文件的图像数据进行特征提取得到的文件；
其中，在进行同步处理时，还包括将所述特征缓存文件夹标记为第一特定状态的步骤；
在进行训练过程中，还包括以下步骤：检测所述特征缓存文件夹的状态；在所述特征缓存文件夹处于所述第一特定状态时，暂停执行训练操作并将自身标记为第二特定状态；在所述特征缓存文件夹不处于所述第一特定状态时，解除自身的所述第二特定状态标记并继续执行训练操作。
9.根据权利要求8所述的方法，其特征在于，
所述图像数据文件夹中的图像数据文件产生变化包括：增加图像数据文件，以及删除图像数据文件；
所述对特征缓存文件夹进行同步处理包括：在所述图像数据文件夹中发生增加图像数据文件的变化时，对增加的图像数据文件进行特征提取，获得特征缓存文件，将所述特征缓存文件同步至所述特征缓存文件夹中；在所述图像数据文件夹中发生删除图像数据文件的变化时，在所述特征缓存文件夹中删除与被删除的所述图像数据文件相对应的特征缓存文件。
10.根据权利要求8所述的方法，其特征在于，
在进行同步处理后还包括保存同步处理记录的步骤；并且，在进行训练后还包括保存训练记录的步骤。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括以下步骤：
在保存的所述记录满足预设条件时，发出需要进行训练的提醒。
12.根据权利要求11所述的方法，其特征在于，
所述预设条件包括：
所述同步处理记录的数量超过预设阈值；
或者，最新的所述训练记录的时间距当前时间超过预设时长。
13.根据权利要求8所述的方法，其特征在于，所述方法还包括以下步骤：
在需要基于所述同步处理后的所述特征缓存文件夹中的特征缓存文件进行训练时，将控制所述训练操作进行的第一进程修改为启动状态。
14.根据权利要求13所述的方法，其特征在于，所述方法还包括以下步骤：
修改系统配置文件，修改后的系统配置文件用于控制包括所述监控操作与所述同步处理操作的第二进程为开机自动启动。
15.一种图像识别模型训练设备，其特征在于，所述设备包括：处理器以及用于存储能够在处理器上运行计算机程序的存储器，
其中，所述处理器用于在运行所述计算机程序时，执行权利要求8-14任一项所述方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求8-14任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810632005.4A CN110619341B (zh) | 2018-06-19 | 2018-06-19 | 一种图像识别模型训练系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810632005.4A CN110619341B (zh) | 2018-06-19 | 2018-06-19 | 一种图像识别模型训练系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110619341A CN110619341A (zh) | 2019-12-27 |
| CN110619341B true CN110619341B (zh) | 2024-02-02 |
Family
ID=68920455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810632005.4A Active CN110619341B (zh) | 2018-06-19 | 2018-06-19 | 一种图像识别模型训练系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110619341B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008098811A (ja) * | 2006-10-10 | 2008-04-24 | Nikon Corp | 画像閲覧装置、画像閲覧システムおよび画像閲覧用プログラム |
| CN105844286A (zh) * | 2016-03-11 | 2016-08-10 | 博康智能信息技术有限公司 | 新增车标的识别方法和装置 |
| CN107748780A (zh) * | 2017-10-20 | 2018-03-02 | 广东欧珀移动通信有限公司 | 一种回收站文件的恢复方法和装置 |
-
2018
- 2018-06-19 CN CN201810632005.4A patent/CN110619341B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008098811A (ja) * | 2006-10-10 | 2008-04-24 | Nikon Corp | 画像閲覧装置、画像閲覧システムおよび画像閲覧用プログラム |
| CN105844286A (zh) * | 2016-03-11 | 2016-08-10 | 博康智能信息技术有限公司 | 新增车标的识别方法和装置 |
| CN107748780A (zh) * | 2017-10-20 | 2018-03-02 | 广东欧珀移动通信有限公司 | 一种回收站文件的恢复方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110619341A (zh) | 2019-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109815991B (zh) | 机器学习模型的训练方法、装置、电子设备及存储介质 | |
| WO2020098074A1 (zh) | 人脸样本图片标注方法、装置、计算机设备及存储介质 | |
| CN109448100B (zh) | 三维模型格式转换方法、系统、计算机设备及存储介质 | |
| CN110472082B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN112489648B (zh) | 唤醒处理阈值调整方法、语音家电、存储介质 | |
| CN111435366A (zh) | 设备故障诊断方法、装置和电子设备 | |
| CN111325245B (zh) | 重复图像识别方法、装置、电子设备及计算机可读存储介质 | |
| CN109271630B (zh) | 一种基于自然语言处理的智能标注方法及装置 | |
| CN109637531B (zh) | 一种语音控制方法、装置、存储介质及空调 | |
| WO2020125929A1 (en) | Apparatus and method for detecting an anomaly among successive events and computer program product therefor | |
| CN103488998A (zh) | 一种基于神经网络和图像处理技术的身份证识别方法 | |
| CN111339806A (zh) | 唇语识别模型的训练方法、活体识别方法及装置 | |
| CN112966088B (zh) | 未知意图的识别方法、装置、设备及存储介质 | |
| CN114781439B (zh) | 模型获取系统、手势识别方法、装置、设备及存储介质 | |
| CN106662970A (zh) | 一种设置指纹识别器中断阈值的方法、装置和终端设备 | |
| CN109271957B (zh) | 人脸性别识别方法以及装置 | |
| WO2022001464A1 (zh) | 自动抠图方法及系统 | |
| CN113205047A (zh) | 药名识别方法、装置、计算机设备和存储介质 | |
| CN110619341B (zh) | 一种图像识别模型训练系统及方法 | |
| CN114663726A (zh) | 目标类别检测模型的训练方法、目标检测方法及电子设备 | |
| CN108959039A (zh) | 一种虚拟机故障预测的方法及装置 | |
| CN116798053A (zh) | 图标生成方法及装置 | |
| CN105260423A (zh) | 电子名片去重方法及装置 | |
| CN112132218B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111507424B (zh) | 一种数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |