CN110807007B - 目标检测模型训练方法、装置、系统及存储介质 - Google Patents

目标检测模型训练方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN110807007B
CN110807007B CN201910941687.1A CN201910941687A CN110807007B CN 110807007 B CN110807007 B CN 110807007B CN 201910941687 A CN201910941687 A CN 201910941687A CN 110807007 B CN110807007 B CN 110807007B
Authority
CN
China
Prior art keywords
detection model
screenshot
target detection
training
picture file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910941687.1A
Other languages
English (en)
Other versions
CN110807007A (zh
Inventor
孙震
杭圣烨
陈忻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN201910941687.1A priority Critical patent/CN110807007B/zh
Publication of CN110807007A publication Critical patent/CN110807007A/zh
Application granted granted Critical
Publication of CN110807007B publication Critical patent/CN110807007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种目标检测模型训练方法，包括：接收终端上传的用户选择的图片文件以及所述用户从所述图片文件中截取的至少一个截图的截图信息；其中，所述截图信息包括：所述截图的标签以及所述截图在所述图片文件中的位置信息；根据所述截图信息对所述图片文件进行标注；根据标注后的图片文件生成数据集；以及依据生成的数据集训练目标检测模型。本发明还公开了进行目标检测模型训练的装置、系统以及计算机可读存储介质。

Description

目标检测模型训练方法、装置、系统及存储介质
技术领域
本发明涉及计算机技术领域，特别涉及一种目标检测模型训练方法、装置、系统及存储介质。
背景技术
计算机视觉(CV)是一门研究如何对数字图像或视频进行高层语义理解的交叉学科，它赋予机器“看”的智能，实现人的大脑中(主要是视觉皮层区)的视觉能力。而目标检测(Object Detection)计算机视觉领域所要完成的主要任务之一。目标检测通常是指在给定的一张图片或者视频帧中找出所有目标的位置，并给出每个目标的具体类别。
当前的目标检测通常是通过基于深度学习的目标识别技术来实现的。而在当前的各种基于深度学习的目标识别中，数据集的采集和目标检测模型的预训练都是必不可少的一环。因此，如何进行数据集的采集、更新以及目标检测模型的预训练和更新是目标检测所要解决的关键问题之一。
发明内容
本发明的实施例公开了一种目标检测模型训练方法，包括：接收终端上传的用户选择的图片文件以及所述用户从所述图片文件中截取的至少一个截图的截图信息；其中，所述截图信息包括：所述截图的标签以及所述截图在所述图片文件中的位置信息；根据所述截图信息对所述图片文件进行标注；根据标注后的图片文件生成数据集；以及依据所述数据集训练目标检测模型。
其中，上述根据所述截图信息对所述图片文件进行标注包括：根据所述图片文件和所述至少一个截图的截图信息生成所述图片文件的备注信息。
其中，上述根据所述图片文件和所述至少一个截图的截图信息生成所述图片文件的备注信息包括：为所述图片文件生成唯一的名称；以及根据所述图片文件的名称、大小以及所述至少一个截图的截图信息生成与该图片文件对应的可扩展标记语言文件。
其中，上述根据标注后的图片文件生成数据集：将终端上传的图片文件存入数据集的图片数据分类中；将生成的备注信息存入数据集的备注信息数据分类中；以及将所述图片文件的名称添加到数据集信息数据分类的主文件夹下用于记录参与训练的图片文件名称的文本文件中。
其中，上述依据所述数据集训练目标检测模型包括：生成全量目标检测模型训练任务；以及依据所述数据集执行生成的全量目标检测模型训练任务
其中，上述依据所述数据集训练目标检测模型包括：如果所述至少一个截图的截图信息不涉及截图标签类型的变化，则生成增量目标检测模型训练任务，并依据所述数据集执行生成的增量目标检测模型训练任务；否则，生成全量目标检测模型训练任务，并依据所述数据集执行生成的全量目标检测模型训练任务。
其中，上述依据所述数据集执行生成的全量或增量目标检测模型训练任务包括：确定是否有正在执行的目标检测模型训练任务，如果没有，则执行生成的全量或增量目标检测模型训练任务；而如果有，则等待当前的目标检测模型训练任务执行完成后，再执行生成的全量或增量目标检测模型训练任务。
其中，上述依据所述数据集执行生成的全量或增量目标检测模型训练任务包括：
将生成的全量或增量目标检测模型训练任务放入所述等待队列；
A.检测所述训练队列是否为空，如果为空，则执行B；如果不为空，则等待预定的时间，然后返回A；
B.将等待队列中的一个目标检测模型训练任务加载至所述训练队列，然后执行C；
C.执行所述训练队列中的目标检测模型训练任务，然后执行D；
D.在所述目标检测模型训练任务完成后，清空所述训练队列，然后返回B。
其中，上述将等待队列中的一个目标检测模型训练任务加载至所述训练队列包括：如果所述等待队列中包括全量的目标检测模型训练任务，则将所述全量目标检测模型训练任务加载至所述训练队列，并清空所述等待队列；如果所述等待队列中仅包括增量目标检测模型训练任务，则将最先加入所述训练队列的增量目标检测模型训练任务加入所述训练队列，并从所述等待队列中删除所述增量目标检测模型训练任务。
其中，在训练目标检测模型的过程中，根据训练的总损耗是否收敛判断训练是否完成，若已收敛，则结束本次训练任务；若尚未收敛，但是损耗有收敛的趋势，则继续训练；若未收敛，且总损耗波动较大，没有收敛的趋势，则终止本次训练并上报告警信息，提示用户训练失败。
本发明实施例还提供了一种目标检测模型训练方法，包括：确定用户选择的待上传的图片文件；将所述图片文件上传至目标检测模型训练设备；确定用户从所述图片文件中截取的至少一个截图的截图信息；其中，所述截图信息包括：所述截图的标签以及所述截图在所述图片文件中的位置信息；将所述至少一个截图的截图信息上传至所述目标检测模型训练设备。
其中，上述确定用户从所述图片文件中截取的至少一个截图的截图信息包括：
a.确定用户从所述图片文件中进行区域截取得到的需要识别的截图区域的位置信息；
b.接收用户为所述截图区域命名的标签；
c.向用户提供是否继续截图的选项，并接收用户的反馈，如果用户选择继续截图，则返回a；否则，执行d；
d.向用户展示所截取的所有截图区域的截图信息，并提示用户可以选择提交所述截图信息。
本发明实施例还提供了一种目标检测模型训练设备，包括：
接收模块，用于接收终端上传的用户选择的图片文件以及用户从所述图片文件中截取的至少一个截图的截图信息；其中，所述截图信息包括：所述截图的标签以及所述截图在所述图片文件中的位置信息；
标注模块，用于根据所述截图信息对所述图片文件进行标注；
数据集生成模块，用于根据标注后的图片文件生成数据集；以及
训练模块，用于依据所述数据集训练目标检测模型。
其中，上述标注模块包括：备注生成单元，用于根据所接收的图片文件和截图信息生成所述图片文件的备注信息。
其中，上述数据集生成模块包括：
图片存储单元，用于将接收的图片文件存入数据集的图片数据分类中；
备注存储单元，用于将生成的备注信息存入数据集的备注信息数据分类中；
分类单元，用于将所述图片文件的名称添加到数据集信息数据分类的主文件夹下用于记录参与训练的图片文件名称的文本文件中。
其中，上述训练模块包括：
训练任务生成单元，用于生成全量目标检测模型训练任务；以及
训练单元，用于依据所述数据集执行生成的全量目标检测模型训练任务。
其中，上述训练模块包括：
确定单元，用于确定所述至少一个截图的截图信息是否涉及截图标签类型的变化；
训练任务生成单元，用于在所述至少一个截图的截图信息不涉及截图标签类型的变化时生成增量目标检测模型训练任务；在所述至少一个截图的截图信息涉及截图标签类型的变化时生成全量目标检测模型训练任务；以及
训练单元，用于依据所述数据集执行生成的全量或增量目标检测模型训练任务。
其中，上述训练单元包括：
等待队列，用于存储一个或多个等待执行的目标检测模型训练任务；
训练队列，用于存储当前正在进行的目标检测模型训练任务；
执行子单元，用于执行所述训练队列中的目标检测模型训练任务，并在所述目标检测模型训练任务完成后，清空所述训练队列；以及
添加子单元，用于在所述训练队列为空时，将等待队列中的一个目标检测模型训练任务加载至所述训练队列。
本发明实施例还提供了一种终端，包括：
图片文件接收模块，用于确定用户选择的待上传图片文件；
截图模块，用于确定用户从所述图片文件中截取的至少一个截图的截图信息；其中，上述截图信息包括：截图的标签和截图的位置信息；以及
上传模块，用于将所述图片文件及所述至少一个截图的截图信息上传至目标检测模型训练设备。
本发明实施例还提供了一种目标检测模型训练系统，包括：上目标检测模型训练设备和上述的终端。
本发明实施例还提供了一种计算设备，包括：
至少一个处理器；
存储器；
网络通信装置；以及
连接所述至少一个处理器、存储器以及网络通信装置的总线；其中，
所述至少一个处理器用于执行存储器存储的机器可读指令模块，执行上述目标检测模型训练方法。
本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述目标检测模型训练方法。
由此可以看出，在本发明的实施例中，可以通过收集用户上传的图片文件以及截图信息来完成数据集的收集和更新，并可以根据建立或更新的数据集实时完成目标检测模型的训练和更新，从而达到对数据集的自动化更新以及目标检测模型的实时更新，让模型的识别能力不再局限于预训练的样本，而可以做到持续升级。
附图说明
图1为本发明一些实施例所述的目标检测模型训练系统100的内部结构示意图；
图2显示了本发明一些实施例所述的目标检测模型训练方法的流程；
图3显示了本发明一些实施例所述的确定用户从图片文件中截取的至少一个截图以及确定至少一个截图的截图信息的具体实现过程；
图4显示了本发明一些实施例中用户进行截图时终端101所显示界面的示例；
图5显示了本发明一些实施例所述的目标检测模型训练方法的流程；
图6显示了本发明一些实施例所述的目标检测模型训练设备102执行目标检测模型训练任务的过程；
图7显示了本发明一些实施例所述的在训练目标检测模型过程中训练的总损耗变化示例；
图8显示了本发明一些实施例所述的实现上述目标检测模型训练方法的终端800；
图9显示了本发明一些实施例所述的实现上述目标检测模型训练方法的目标检测模型训练设备900；以及
图10显示了本发明一些实施例所述的计算设备的内部结构。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”、“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
鉴于在进行目标检测时，数据集的采集和目标检测模型的预训练都是必不可少的一环，本发明的实施例提出了一种目标检测模型训练系统，以实现数据集的自动化更新以及目标检测模型的实时更新。
图1为本发明一些实施例所述的目标检测模型训练系统100的内部结构示意图。如图1所示，上述目标检测模型训练系统100可以包括：终端101、目标检测模型训练设备102以及数据集103。
具体而言，在本发明的实施例中，上述终端101可以向用户提供图形用户界面(GUI)以实现和用户的交互。具体地，一方面终端101可以通过图形用户界面确定用户选择的待上传图片文件，确定上述待上传图片文件的图片信息后将用户选择的待上传图片文件上传至上述目标检测模型更新设备102；另一方面终端101可以通过图形用户界面确定用户从上述待上传图片文件中截取的至少一个截图的截图信息，然后将上述至少一个截图对应的截图信息上传至上述目标检测模型训练设备102。其中，上述截图信息包括：截图的标签以及截图在图片文件中的位置信息。由于上述至少一个截图通常都是矩形的，因此，其位置信息通常可以包括该截图左上角像素点和右下角像素点的坐标。
在本发明的实施例中，上述目标检测模型训练设备102一方面可以用于接收终端101上传的图片文件以及上述至少一个截图的截图信息，根据上述至少一个截图的截图信息对终端101上传的图片文件进行标注，并根据标注后的图片文件生成数据集103中的全部或部分数据，也即根据标注后的图片文件建立或更新数据集103。上述目标检测模型训练设备102另一方面可以生成目标检测模型训练任务，并随后根据生成的目标检测模型训练任务对目标检测模型进行训练，以建立或更新目标检测模型。
在本发明的实施例中，上述数据集103可以是一个数据库，用于存储用于目标检测模型训练和测试的数据集。通常，上述数据集103可以采用标准的用于目标检测模型训练的数据集的格式来存储数据，例如，上述数据集可以存储Pascal VOC格式的数据集、ImageNet格式的数据集、或者MS COCO格式的数据集等等。
如果上述数据集103存储的是Pascal VOC格式的数据集，则上述数据集103内可以存储三类数据：第一类数据：图片JPEGImages；第二类数据：备注信息Annotations以及第三类数据：数据集信息ImageSets。
其中，第一类数据图片JPEGImages存放的是训练与测试用的所有图片，也即上述用户通过终端101上传的图片文件将存储在上述图片类数据中。
第二类数据备注信息Annotations存放的是每个图片文件所对应的一个可扩展标记语言(XML)文件，该XML文件中记录了一个图片文件的信息及用户在其上所截取截图的截图信息。
第三类数据数据集信息ImageSets存放了一个主文件夹(main)，该主文件夹中存储有两个文本文件，其中一个文本文件上存储的是参与训练的图片文件的名称，另一个文本文件上存储的是参与测试的图片文件的名称。在本发明的实施例中，上述文本文件可以是txt格式的文件。
下面给出了一个XML文件格式的备注信息Annotations的示例。
Figure BDA0002223080650000071
Figure BDA0002223080650000081
在上述示例中，该XML文件记录的是一张名称为keyboard23.jpg的图片文件的备注信息。具体地，该XML文件记录了该图片文件所存储的路径、大小等信息。该XML文件还记录了该图片文件包含的一个标签为“mine_icon”的截图，且其位置信息为该截图的左上角坐标为(199，530)，右下角坐标为(233，568)。
由此可以看出，在上述目标检测模型训练系统100中，可以通过收集用户上传的图片文件以及截图信息来完成数据集的收集和更新，并可以根据建立或更新的数据集实时完成目标检测模型的训练和更新，从而达到对数据集的自动化更新以及目标检测模型的实时更新，让模型的识别能力不再局限于预训练的样本，而可以做到持续升级。
对应上述目标检测模型训练系统100，本发明的一些实施例给出了目标检测模型训练方法。
图2显示了本发明一些实施例所述的目标检测模型训练方法的流程，该方法可以由终端101执行。如图2所示，上述目标检测模型训练方法可以包括：
步骤201：确定用户选择的待上传图片文件。
在本发明的实施例中，用户可以通过终端101提供的GUI实现图片文件的选择。通常，上述图片文件可以是终端101存储或采集的图片文件。
步骤202：将上述图片文件上传至目标检测模型训练设备102。
在本发明的实施例中，终端101可以通过与目标检测模型训练设备102的连接，例如有线或无线网络，将用户选择的待上传图片文件上传至目标检测模型训练设备102。
通常，在接收到终端101上传的图片文件后，目标检测模型训练设备102会自动为接收到的图片文件命名，也即为图片文件设定一个唯一的名称作为该图片文件的标识。
步骤203：确定用户从上述图片文件中截取的至少一个截图的截图信息。
在本发明的实施例中，上述截图信息包括：该截图对应的标签以及该截图在上述待上传图片文件中的位置信息。出于操作上方便的考虑，截图通常都是矩形的，因此，其位置信息通常是指该截图左上角位置和右下角的坐标。
步骤204：将上述至少一个截图的截图信息上传至上述目标检测模型训练设备102。
在本发明的实施例中，终端101可以通过与目标检测模型训练设备102的连接，例如有线或无线网络，将上述至少一个截图及其截图信息上传至目标检测模型训练设备102。
至此，由终端101侧执行的图片文件上传及截图操作完成。在本发明的实施例中，上述图片文件的上传及截图过程也可以称为上传图片文件并打标签的过程。当然，可以看出，在本发明的实施例中，每个图片文件的标签可以多于一个，而且每个标签对应图片文件上的一个截图区域。
在本发明的一些实施例中，上述步骤203所述的确定用户从上述图片文件中截取的至少一个截图的截图信息的具体实现过程可如图3所示，主要包括：
步骤301：确定用户从上述图片文件中进行区域截取得到的需要识别的截图区域的位置信息。
在本发明的实施例中，用户可以通过终端101提供的GUI实现从图片文件上截取至少一个截图。例如：可以先通过单击或双击鼠标或者手指的点击上述图片文件上的一个点来确定所截取一个截图的第一点，例如该截图左上角的点；然后，滑动鼠标或手指至该图片文件上的另一个点，并松开鼠标或手指，来确定该截图的第二点，例如右下角的点。通过上述截图的第一点和第二点终端101即可确定一个截图以及该截图的位置信息。通常，在本发明的实施例中，上述位置信息是指上述区域左上角位置和右下角位置的坐标。
步骤302：接收用户为上述截图区域命名的标签。
具体地，在本发明的实施例中，若用户想要命名的标签在数据库中已经存在，则可以从GUI提供的下拉菜单中为上述截图区域选取对应的标签；而若想要命名的标签不存在，则可以通过GUI提供的输入框为上述截图区域输入新的标签。如此，终端101可以从检测用户选择或者输入的标签作为上述截图区域的标签。
步骤303：向用户提供是否继续截图的选项，并接收用户的反馈，如果用户选择继续截图，则返回上述步骤301；否则，执行步骤304。
步骤304：向用户展示该用户所截取的所有截图区域的截图信息，并提示用户可以选择提交上述截图信息。
接下来，在用户选择提交上述截图信息时，则完成一次对上传的图片文件的打标签操作，并接下来可以执行后续步骤204，也即将上述至少一个截图的截图信息上传至上述目标检测模型训练设备102。而如果用户选择不提交上述截图及其截图信息，则可以返回步骤301，请用户重新截图。或者，也可以直接退出上述流程。
在本发明的实施例中，在提示用户提交上述至少一个截图的截图信息的同时，还可以进一步为用户提供删除某一个截图信息的选项，用户可以通过该选项删除某个截图的截图信息。
通过上述方法，终端101可以收集用户为上传的图片文件所设置的标签，以便实时地自动更新数据集103。
图4显示了本发明一些实施例中用户进行截图时终端101所显示界面的示例。从图4可以看出，在用户上传了一张手机应用中的图片文件以后，可以先后对其上的两个区域部分完成截图，并分别给这两个截图设置标签的名称为“我的图标”和“飞机图标”。之后，终端101可以将向用户展示这两个截图及其对应的截图信息，并提示用户可以选择提交上述截图及其截图信息，如图4中所示的“提交”按键。在用户点击“提交”按键后，就完成了一次为上传的图片文件打标签的操作。用户也可以点击“返回”按键，重新截图或者退出。此外，用户也可以通过“删除”按键选择删除对应某个截图的截图信息。
图5显示了本发明一些实施例所述的目标检测模型训练方法的流程，该方法可以由目标检测模型训练设备102执行。如图5所示，上述目标检测模型训练方法可以包括：
步骤501：接收终端上传的图片文件以及至少一个截图的截图信息。
如前所述，在本发明的实施例中，上述截图信息包括截图的标签以及截图在图片文件中的位置信息。且由于上述截图通常都是矩形的，因此，其位置信息通常包括该截图左上角位置和右下角位置的坐标。
步骤502：根据上述截图信息对上述图片文件进行标注。
在本发明的实施例中，上述标注的过程相当于为图片文件打标签。具体地，上述标注过程可以包括：根据所接收的图片文件和截图信息生成上述图片文件的备注信息。
在本发明的实施例中，可以根据所接收的图片文件和截图信息依据上述XML文件的格式生成上述图片文件备注信息。
具体地，目标检测模型训练设备102首先通常会在接收到用户上传的图片文件后自动为该图片文件生成唯一的名称，例如，可以依据用户上传图片文件的时间生成该图片文件的名称。然后，目标检测模型训练设备102根据图片文件的名称以及大小等信息以及其上至少一个截图的截图信息生成与该图片文件对应的XML文件。
步骤503：根据标注后的图片文件生成数据集103。
在本发明的实施例中，目标检测模型训练设备102可以根据预定的数据集103的格式来生成数据集103。
具体地，以Pascal VOC格式的数据集为例，在本步骤中，目标检测模型训练设备102将通过如下步骤生成数据集103：
步骤5031：将终端101上传的图片文件存入数据集103的图片JPEGImages数据分类中。
步骤5032：将生成的备注信息存入数据集103的备注信息Annotations数据分类中。
步骤5033：将该图片文件的名称添加到数据集信息ImageSets数据分类的主文件夹下用于记录参与训练的图片文件名称的文本文件中。
备102可以通过与数据集103的连接，例如有线或无线网络，完成上述数据集103的更新。
通过上述步骤501-503可以实现数据集的建立和更新，在执行完上述步骤501-503之后，上述目标检测模型训练设备102还可以进一步执行下述步骤，从而实现目标检测模型的训练：
步骤504：依据上述数据集训练目标检测模型。
在本发明的实施例中，上述依据上述数据集训练目标检测模型可以包括：
步骤5041：生成全量目标检测模型训练任务；以及
步骤5042：依据所述数据集执行生成的全量目标检测模型训练任务。
在本发明的一些实施例中，上述全量目标检测模型训练任务具体是指在执行该全量目标检测模型训练任务时需要依据整个数据集103从零开始对目标检测模型进行训练，直接得到新的目标检测模型，并将新的目标检测模型替换原有的目标检测模型。
在本发明的另一些实施例中，上述目标检测模型训练任务还可以是一个增量目标检测模型训练任务，也即在执行该目标检测模型训练任务时仅需要依据数据集103中的部分数据，在原有目标检测模型基础之上进行训练，得到更新的目标检测模型。
在本发明的实施例中，上述依据上述数据集训练目标检测模型可以包括：
上述目标检测模型训练设备102可以根据上述所接收的图片文件和截图信息确定生成一次全量目标检测模型训练任务还是一次增量目标检测模型训练任务。具体地，如果本次接收的图片文件和截图信息不涉及截图标签类型的变化，例如不涉及标签的增加或减少，则上述目标检测模型训练设备102可以生成一次增量目标检测模型训练任务，并依据上述数据集执行生成的增量目标检测模型训练任务；否则，上述目标检测模型训练设备102可以生成一次全量目标检测模型训练任务，并依据上述数据集执行生成的全量目标检测模型训练任务。
在本发明的实施例中，可以先确定是否有正在执行的目标检测模型训练任务，如果没有，则可以直接执行上述生成的全量或增量目标检测模型训练任务；而如果有，则等待当前的目标检测模型训练任务执行完成后，再执行上述全量或增量目标检测模型训练任务。而如果在等待期间生成了新的目标检测模型训练任务且新的目标检测模型训练任务为全量目标检测模型训练任务，则可以直接用新的全量目标检测模型训练任务覆盖之前生成的但是尚未执行的所有目标检测模型训练任务，也即可以直接执行最新的全量目标检测模型训练任务即可。
作为上述方案的替换方案，目标检测模型训练设备102也可以维护一个等待队列和一个训练队列；其中，训练队列用于存储当前正在进行的目标检测模型训练任务；而等待队列中存储一个或多个等待执行的目标检测模型训练任务。在这种情况下，上述目标检测模型训练设备102会首先将生成的目标检测模型训练任务依次放入等待队列，然后执行如图6所示的方法执行生成的目标检测模型训练任务，从而完成目标检测模型的训练。图6所示的执行生成的目标检测模型训练任务的方法具体可以包括：
步骤601：检测训练队列是否为空，如果为空，则执行步骤603；如果不为空，则执行步骤602。
步骤602：等待预定的时间，然后返回步骤601。
步骤603：将等待队列中的一个目标检测模型训练任务加载至训练队列，然后，执行步骤604。
具体地，在本发明的实施例中，如果上述等待队列包括全量的目标检测模型训练任务，则可以在本步骤中，可以直接将该全量目标检测模型训练任务加载至训练队列，并进一步清空等待队列；如果上述等待队列仅包括增量目标检测模型训练任务，则按照加入训练队列的先后顺序，将最早加入训练队列的增量目标检测模型训练任务加入训练队列，并从等待队列中删除该增量目标检测模型训练任务。
步骤604：执行训练队列中的目标检测模型训练任务。
步骤605：在该目标检测模型训练任务完成后，清空训练队列；然后，返回步骤603。
在上述步骤604中，上述目标检测模型训练设备102可以根据更新后的数据集103对目标检测模型进行训练，从而训练目标检测模型。
并且，在目标检测模型的训练过程中，可以根据训练的总损耗是否收敛来判断训练是否完成，若已收敛，则结束本次训练任务，从而完成目标检测模型的更新；若尚未收敛，但是损耗有收敛的趋势，则继续训练；若未收敛，且总损耗波动较大，没有收敛的趋势，则说明训练无法收敛，终止本次训练并上报告警信息，提示用户训练失败。本领域的技术人员可以理解，上述总损耗可以表征目标检测模型进行目标检测的实际结果和预期的偏差。在上述偏差收敛时，则可以认为目标检测模型的训练完成。
图7显示了本发明一些实施例所述的目标检测模型训练过程的总损耗(TotalLoss)变化示例。如图7所示，训练过程的总损耗从一开始的20逐渐降低到4万步左右的2.5左右，在训练10万步以后逐渐收敛至1.5，并在10万步-20万步保持稳定。因此，在20万步结束后，可以确定目标检测模型的训练结束。
在本发明的一些实施例中，上述目标检测模型可以通过训练卷积神经网络实现，例如，轻量级的卷积神经网络MobileNet。由于MobileNet进一步深入的研究了给出了高效模型设计的两个选择：宽度因子(width multiplier)和分辨率因子(resolutionmultiplier)；通过权衡大小、延迟时间以及精度，可以构建规模更小、速度更快的MobileNet，因此，MobileNet可以应用于目标检测、分类、跟踪等诸多领域，并具有计算量小、收敛速度更快等优势。
由此可以看出，在上述目标检测模型训练方法中通过收集用户上传的图片文件和至少一个截图信息可以完成数据集的收集和更新，并可以依据更新的数据集实时完成目标检测模型的训练和更新，从而达到对数据集的自动化更新以及目标检测模型的实时更新的目的，让模型的识别能力不再局限于预训练的样本，从而做到持续升级。
对应上述目标检测模型训练方法，本发明的实施例还给出了实现上述目标检测模型训练方法的终端800，其内部结构如图8所示，主要包括：
图片文件接收模块801，用于确定用户选择的待上传图片文件。
截图模块802，用于确定用户从上述待上传图片文件中截取的至少一个截图的截图信息。其中，上述截图信息包括：截图的标签和截图的位置信息。
上传模块803，用于将用户选择的待上传图片文件及上述至少一个截图的截图信息上传至目标检测模型训练设备102。
本发明的实施例还给出了实现上述目标检测模型训练方法的目标检测模型训练设备900，其内部结构如图9所示，主要包括：
接收模块901，用于接收终端上传的用户选择的图片文件以及用户从所述图片文件中截取的至少一个截图的截图信息。其中，所述截图信息包括：所述截图的标签以及所述截图在所述图片文件中的位置信息。
标注模块902，用于根据所述截图信息对所述图片文件进行标注。
具体地，在本发明的实施例中，上述标注模块902可以包括备注生成单元，该备注生成单元用于根据所接收的图片文件和截图信息生成上述图片文件的备注信息。
数据集生成模块903，用于根据标注后的图片文件生成数据集103。
在本发明的实施例中，上述数据集生成模块903可以根据数据集103的格式更新数据集103。具体地，上述数据集生成模块902可以包括：
图片存储单元，用于将接收的图片文件存入数据集103的图片JPEGImages数据分类中；
备注存储单元，用于将生成的备注信息存入数据集103的备注信息Annotations数据分类中；
分类单元，用于将该图片文件的名称添加到数据集信息ImageSets数据分类的主文件夹下用于记录参与训练的图片文件名称的文本文件中。
为了实现目标检测模型的训练，上述目标检测模型训练设备900还可以进一步包括：
训练模块904，用于依据上述数据集训练目标检测模型。
具体地，在本发明的一些实施例中，上述训练模块904可以包括：
训练任务生成单元，用于生成全量目标检测模型训练任务；以及
训练单元，用于依据所述数据集执行生成的全量目标检测模型训练任务。
在本发明的另外一些实施例中，上述训练模块904可以包括：
确定单元，用于确定所述至少一个截图的截图信息是否涉及截图标签类型的变化；
训练任务生成单元，用于在所述至少一个截图的截图信息不涉及截图标签类型的变化时生成增量目标检测模型训练任务；在所述至少一个截图的截图信息涉及截图标签类型的变化时生成全量目标检测模型训练任务；以及
训练单元，用于依据所述数据集执行生成的全量或增量目标检测模型训练任务。
在本发明的实施例中，上述训练单元可以包括：
等待队列，用于存储一个或多个等待执行的目标检测模型训练任务；
训练队列，用于存储当前正在进行的目标检测模型训练任务；
执行子单元，用于执行所述训练队列中的目标检测模型训练任务，并在所述目标检测模型训练任务完成后，清空所述训练队列；以及
添加子单元，用于在所述训练队列为空时，将等待队列中的一个目标检测模型训练任务加载至所述训练队列。
具体地，如前所述，上述添加单元和执行单元，在将生成的目标检测模型训练任务加入等待队列后，执行图6所示的过程实现目标检测模型的训练。
本发明的实施例还提出了一种计算设备，该计算设备的内部结构如图10所示主要包括：至少一个处理器1002，存储器1004以及连接上述装置的总线1006。其中，上述至少一个处理器1002用于执行存储器存储的机器可读指令模块。在本发明的实施例中，上述一个或多个处理器执行的机器可读指令模块以实现上述目标检测模型训练方法。
本发明的实施例还提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述目标检测模型训练方法。
由此可以看出，在上述数据集及目标检测模型训练装置通过收集用户上传的截图可以完成数据集的收集和更新，并可以依据更新的数据集实时完成目标检测模型的训练和更新，从而达到对数据集的自动化更新以及目标检测模型的实时更新，让模型的识别能力不再局限于预训练的样本，从而做到持续升级。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种目标检测模型训练方法，其特征在于，该方法包括：
接收终端上传的用户选择的图片文件以及所述用户从所述图片文件中截取的至少一个截图的截图信息；其中，所述截图信息包括：所述截图的标签以及所述截图在所述图片文件中的位置信息；
根据所述截图信息对所述图片文件进行标注；
根据标注后的图片文件生成数据集；以及
如果所述至少一个截图的截图信息不涉及截图标签类型的变化，生成增量目标检测模型训练任务，并依据所述数据集执行生成的增量目标检测模型训练任务；否则，生成全量目标检测模型训练任务，并依据所述数据集执行生成的全量目标检测模型训练任务；其中，所述增量目标检测模型训练任务是指依据所述数据集中的部分数据，在原有目标检测模型基础之上进行训练的任务。
2.根据权利要求1所述的方法，其特征在于，所述根据所述截图信息对所述图片文件进行标注包括：
根据所述图片文件和所述至少一个截图的截图信息生成所述图片文件的备注信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述图片文件和所述至少一个截图的截图信息生成所述图片文件的备注信息包括：
为所述图片文件生成唯一的名称；以及
根据所述图片文件的名称、大小以及所述至少一个截图的截图信息生成与该图片文件对应的可扩展标记语言文件。
4.根据权利要求1所述的方法，其特征在于，所述根据标注后的图片文件生成数据集包括：
将终端上传的图片文件存入数据集的图片数据分类中；
将生成的备注信息存入数据集的备注信息数据分类中；以及
将所述图片文件的名称添加到数据集信息数据分类的主文件夹下用于记录参与训练的图片文件名称的文本文件中。
5.根据权利要求1所述的方法，其特征在于，所述执行生成的全量或增量目标检测模型训练任务包括：
确定是否有正在执行的目标检测模型训练任务，如果没有，则执行生成的全量或增量目标检测模型训练任务；而如果有，则等待当前的目标检测模型训练任务执行完成后，再执行生成的全量或增量目标检测模型训练任务。
6.根据权利要求1所述的方法，其特征在于，所述执行生成的全量或增量目标检测模型训练任务包括：
将生成的全量或增量目标检测模型训练任务放入等待队列；
A.检测训练队列是否为空，如果为空，则执行B；如果不为空，则等待预定的时间，然后返回A；
B.将等待队列中的一个目标检测模型训练任务加载至所述训练队列，然后执行C；
C.执行所述训练队列中的目标检测模型训练任务，然后执行D；
D.在所述目标检测模型训练任务完成后，清空所述训练队列，然后返回B。
7.根据权利要求6所述的方法，其特征在于，所述将等待队列中的一个目标检测模型训练任务加载至所述训练队列包括：
如果所述等待队列中包括全量目标检测模型训练任务，则将所述全量目标检测模型训练任务加载至所述训练队列，并清空所述等待队列；
如果所述等待队列中仅包括增量目标检测模型训练任务，则将最先加入所述训练队列的增量目标检测模型训练任务加入所述训练队列，并从所述等待队列中删除所述增量目标检测模型训练任务。
8.根据权利要求1所述的方法，其特征在于，在训练目标检测模型的过程中，根据训练的总损耗是否收敛判断训练是否完成，若已收敛，则结束本次训练任务；若尚未收敛，但是损耗有收敛的趋势，则继续训练；若未收敛，且总损耗波动较大，没有收敛的趋势，则终止本次训练并上报告警信息，提示用户训练失败。
9.一种目标检测模型训练设备，其特征在于，所述设备包括：
接收模块，用于接收终端上传的用户选择的图片文件以及用户从所述图片文件中截取的至少一个截图的截图信息；其中，所述截图信息包括：所述截图的标签以及所述截图在所述图片文件中的位置信息；
标注模块，用于根据所述截图信息对所述图片文件进行标注；
数据集生成模块，用于根据标注后的图片文件生成数据集；以及
训练模块，用于依据所述数据集训练目标检测模型；其中，
所述训练模块包括：
确定单元，用于确定所述至少一个截图的截图信息是否涉及截图标签类型的变化；
训练任务生成单元，用于在所述至少一个截图的截图信息不涉及截图标签类型的变化时生成增量目标检测模型训练任务；在所述至少一个截图的截图信息涉及截图标签类型的变化时生成全量目标检测模型训练任务；以及
训练单元，用于依据所述数据集执行生成的全量或增量目标检测模型训练任务；其中，所述增量目标检测模型训练任务是指依据所述数据集中的部分数据，在原有目标检测模型基础之上进行训练的任务。
10.根据权利要求9所述的设备，其特征在于，所述标注模块包括：
备注生成单元，用于根据所接收的图片文件和截图信息生成所述图片文件的备注信息。
11.根据权利要求9所述的设备，其特征在于，所述数据集生成模块包括：
图片存储单元，用于将接收的图片文件存入数据集的图片数据分类中；
备注存储单元，用于将生成的备注信息存入数据集的备注信息数据分类中；
分类单元，用于将所述图片文件的名称添加到数据集信息数据分类的主文件夹下用于记录参与训练的图片文件名称的文本文件中。
12.根据权利要求9所述的设备，其特征在于，所述训练单元包括：
等待队列，用于存储一个或多个等待执行的目标检测模型训练任务；
训练队列，用于存储当前正在进行的目标检测模型训练任务；
执行子单元，用于执行所述训练队列中的目标检测模型训练任务，并在所述目标检测模型训练任务完成后，清空所述训练队列；以及
添加子单元，用于在所述训练队列为空时，将等待队列中的一个目标检测模型训练任务加载至所述训练队列。
13.一种目标检测模型训练系统，其特征在于，包括：如权利要求9至12任一项权利要求所述的目标检测模型训练设备和终端；其中，
所述终端包括：
图片文件接收模块，用于确定用户选择的待上传图片文件；
截图模块，用于确定用户从所述图片文件中截取的至少一个截图的截图信息；其中，上述截图信息包括：截图的标签和截图的位置信息；以及
上传模块，用于将所述图片文件及所述至少一个截图的截图信息上传至目标检测模型训练设备。
14.一种计算设备，其特征在于，包括：
至少一个处理器；
存储器；
网络通信装置；以及
连接所述至少一个处理器、存储器以及网络通信装置的总线；其中，
所述至少一个处理器用于执行存储器存储的机器可读指令模块，执行如权利要求1至8中任一权利要求所述的目标检测模型训练方法。
15.一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1至8中任一权利要求所述的目标检测模型训练方法。
CN201910941687.1A 2019-09-30 2019-09-30 目标检测模型训练方法、装置、系统及存储介质 Active CN110807007B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910941687.1A CN110807007B (zh) 2019-09-30 2019-09-30 目标检测模型训练方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910941687.1A CN110807007B (zh) 2019-09-30 2019-09-30 目标检测模型训练方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN110807007A CN110807007A (zh) 2020-02-18
CN110807007B true CN110807007B (zh) 2022-06-24

Family

ID=69488045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910941687.1A Active CN110807007B (zh) 2019-09-30 2019-09-30 目标检测模型训练方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN110807007B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399778A (zh) * 2020-03-17 2020-07-10 西安石油大学 一种图片文件的清理方法及其装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075368A1 (en) * 2016-09-12 2018-03-15 International Business Machines Corporation System and Method of Advising Human Verification of Often-Confused Class Predictions
CN108595583A (zh) * 2018-04-18 2018-09-28 平安科技（深圳）有限公司 动态图表类页面数据爬取方法、装置、终端及存储介质
US20180285496A1 (en) * 2017-03-30 2018-10-04 The Connected Grip, Inc. Activities data modeling in human internet of things platforms
CN109934249A (zh) * 2018-12-14 2019-06-25 网易（杭州）网络有限公司 数据处理方法、装置、介质和计算设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6678930B2 (ja) * 2015-08-31 2020-04-15 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 分類モデルを学習する方法、コンピュータ・システムおよびコンピュータ・プログラム
US20180124437A1 (en) * 2016-10-31 2018-05-03 Twenty Billion Neurons GmbH System and method for video data collection
CN110020260B (zh) * 2018-01-02 2023-07-04 阿里巴巴集团控股有限公司 标签的生成及检索方法以及系统
CN110275820B (zh) * 2018-03-15 2023-11-21 阿里巴巴集团控股有限公司 页面兼容性测试方法、系统及设备
CN110245681A (zh) * 2019-05-10 2019-09-17 北京奇艺世纪科技有限公司 模型生成方法、应用界面异常检测方法、装置、终端设备及计算机可读存储介质
CN110186375A (zh) * 2019-06-06 2019-08-30 西南交通大学 智能化高铁白车身焊接装配特征检测装置及检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075368A1 (en) * 2016-09-12 2018-03-15 International Business Machines Corporation System and Method of Advising Human Verification of Often-Confused Class Predictions
US20180285496A1 (en) * 2017-03-30 2018-10-04 The Connected Grip, Inc. Activities data modeling in human internet of things platforms
CN108595583A (zh) * 2018-04-18 2018-09-28 平安科技（深圳）有限公司 动态图表类页面数据爬取方法、装置、终端及存储介质
CN109934249A (zh) * 2018-12-14 2019-06-25 网易（杭州）网络有限公司 数据处理方法、装置、介质和计算设备

Also Published As

Publication number Publication date
CN110807007A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN110020411B (zh) 图文内容生成方法及设备
KR101033017B1 (ko) 변경 요청 폼 주석
US20140258838A1 (en) Expense input utilities, systems, and methods
US20150106723A1 (en) Tools for locating, curating, editing, and using content of an online library
CN110955428A (zh) 一种页面显示方法、装置、电子设备及介质
CN112764916A (zh) 数据采集的方法及装置
CN107909088B (zh) 获取训练样本的方法、装置、设备和计算机存储介质
CN112507806B (zh) 智慧课堂信息交互方法、装置及电子设备
CN111240669B (zh) 界面生成方法、装置、电子设备及计算机存储介质
US20200226387A1 (en) Representative image generation
CN111695518A (zh) 结构化文档信息标注的方法、装置及电子设备
CN111124863B (zh) 智能设备性能测试方法、装置及智能设备
CN110807007B (zh) 目标检测模型训练方法、装置、系统及存储介质
JP2024502516A (ja) データ注釈方法、装置、システム、デバイスおよび記憶媒体
CN112486338A (zh) 医疗信息处理方法、装置及电子设备
CN116992081A (zh) 页面表单的数据处理方法、装置和用户终端
CN111199540A (zh) 图像质量评价方法、装置、电子设备及存储介质
CN110020344A (zh) 一种网页页面元素标注方法及系统
CN114049631A (zh) 一种数据标注的方法、装置、计算机设备和存储介质
US10755033B1 (en) Digital content editing and publication tools
CN110162301B (zh) 一种表单渲染方法、装置和存储介质
CN112487876A (zh) 智能笔字符识别方法、装置及电子设备
CN111966600A (zh) 网页测试方法、装置、计算机设备及计算机可读存储介质
CN113220381A (zh) 一种点击数据展示方法和装置
CN105653608A (zh) 在网页中显示批注的评论信息的方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant