CN113111966A - 一种图像处理方法和图像处理系统 - Google Patents

一种图像处理方法和图像处理系统 Download PDF

Info

Publication number
CN113111966A
CN113111966A CN202110476709.9A CN202110476709A CN113111966A CN 113111966 A CN113111966 A CN 113111966A CN 202110476709 A CN202110476709 A CN 202110476709A CN 113111966 A CN113111966 A CN 113111966A
Authority
CN
China
Prior art keywords
data set
picture
target
template
template picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110476709.9A
Other languages
English (en)
Other versions
CN113111966B (zh
Inventor
方磊
徐敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shuzhong Technology Co ltd
Original Assignee
Beijing Zetyun Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zetyun Tech Co ltd filed Critical Beijing Zetyun Tech Co ltd
Priority to CN202110476709.9A priority Critical patent/CN113111966B/zh
Publication of CN113111966A publication Critical patent/CN113111966A/zh
Application granted granted Critical
Publication of CN113111966B publication Critical patent/CN113111966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种数据处理方法和数据处理系统,涉及图像处理、计算机视觉领域,该图像处理方法包括:获取初始模板数据集以及初始比较数据集;对所述初始模板集中的原模板图片进行像素处理,得到目标模板数据集以及对应的标注文件数据集;将所述目标模板数据集中的目标模板图片、所述标注文件数据集中的标注文件以及所述初始比较数据集中的比较图片进行组合,生成模型的训练数据。本发明实施例使得无负样本或者少负样本数据的模型训练场景得到足量训练数据,改善模型指标,并且获得标注文件无需人工再标注,大量减少人工标注工作量。

Description

一种图像处理方法和图像处理系统
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种图像处理方法和图像处理系统。
背景技术
在工业场景、遥感场景和医疗场景等,通常使用比较模型进行PCB板检测、环境监控、肿瘤检测、相似度计算等。如果要想获得较为准确的比较模型,需要大量的训练数据对检测模型进行训练。而这些训练数据通常是通过人工标注得到,在训练数据量较大的情况下,人工标注成本高,处理效率低。
发明内容
本发明实施例提供一种图像处理方法和图像处理系统,可以解决模型得到足量的训练数据,需要人工标注大量数据,处理效率低的问题。
为解决上述技术问题,本发明提供一种图像处理方法,所述方法包括:
获取初始模板数据集以及初始比较数据集;
对所述初始模板集中的原模板图片进行像素处理,得到目标模板数据集以及对应的标注文件数据集;
将所述目标模板数据集中的目标模板图片、所述标注文件数据集中的标注文件以及所述初始比较数据集中的比较图片进行组合,生成模型的训练数据。
可选的,上述图像处理方法中,所述对所述初始模板集中的原模板图片进行像素处理,得到目标模板数据集以及对应的标注文件数据集的步骤包括:
获取所述原模板图片的标注区域;
更改所述原模板图片的标注区域的像素值,得到目标模板图片;
基于所述目标模板图片,获得所述目标模板数据集。
可选的,上述图像处理方法中,所述原模板图片包括至少一个标注区域,所述更改所述原模板图片的标注区域的像素值,得到目标模板图片的步骤包括:
从所述至少一个标注区域中选择出至少一个目标区域;
更改所述目标区域的像素值,得到目标模板图片。
可选的,上述图像处理方法中,所述更改所述原模板图片的标注区域的像素值,得到目标模板图片的步骤包括:
根据所述模型的场景确定目标规则;
基于所述目标规则更改所述原模板图片的标注区域的像素值,得到目标模板图片。
可选的,上述图像处理方法中,所述更改所述原模板图片的标注区域的像素值的步骤之后,所述方法还包括:
获取像素值改变后的区域的位置信息,得到目标模板图片对应的标注文件基于所述标注文件,获得所述标注文件数据集。
可选的,上述图像处理方法中,所述获取像素值改变后的区域的位置信息,得到目标模板图片对应的标注文件的步骤包括:
基于所述原模板图片中标注区域的数量以及所述目标规则的种类,确定所述目标模板图片对应的目标标注文件的数量。
可选的,上述图像处理方法中,所述目标规则包括下述至少之一:
区域替换、颜色改变和仿射变换。
可选的,上述图像处理方法中,所述将所述目标模板数据集中的目标模板图片、所述标注文件数据集中的标注文件以及所述初始比较数据集中的比较图片进行组合,生成模型的训练数据的步骤包括:
获取目标模板图片以及所述目标模板图片对应的标注文件;
将所述目标模板图片以及所述目标模板图片对应的目标标注文件,与所述初始比较数据集中的任一比较图片进行组合,得到训练样本。
可选的,上述图像处理方法中,所述将所述目标模板数据集中的目标模板图片、所述标注文件数据集中的标注文件以及所述初始比较数据集中的比较图片进行组合,生成模型的训练数据的步骤之前,所述方法还包括:
将所述比较图片和所述原模板图片进行配准,生成目标比较图片;
根据所述目标比较图片得到目标比较数据集。
可选的,上述图像处理方法中,所述根据所述目标比较图片得到目标比较数据集之后,所述方法还包括:
将所述目标模板图片以及所述目标模板图片对应的目标标注文件,与所述目标比较图片集中的目标比较图片进行组合,得到训练样本;
其中,所述目标比较图片和目标模板图片对应同一个原模板图片。
可选的,上述图像处理方法中,所述生成模型的训练数据对应的数据量为:
Figure BDA0003047647170000031
其中,n为初始比较数据集中的图片数量,m为所述初始模板数据集中的原模板图片的数量,p为单张原模板图片对应的标注文件数量,q为单张原模板图片包含的标注框数量,t为目标规则种类的数量,i为大于或等于1且小于或等于p的正整数、j为大于或等于1且小于或等于m的正整数。
可选的,上述图像处理方法中,所述获取初始模板数据集以及初始比较数据集的步骤包括:
获取初始数据集;
将所述初始数据集进行拆分,生成所述初始模板数据集以及所述初始比较数据集。
本发明还提供一种图像处理系统,所述图像处理系统包括:
获取模块,用于获取初始模板数据集以及初始比较数据集;
生成模块,用于对所述初始模板集中的原模板图片进行像素处理,得到目标模板数据集以及对应的标注文件数据集;
第一组合模块,用于将所述目标模板数据集中的目标模板图片、所述标注文件数据集中的标注文件以及所述初始比较数据集中的比较图片进行组合,生成模型的训练数据。
可选的,上述图像处理系统中,所述生成模块包括:
标注子模块,用于获取所述原模板图片的标注区域;
更改子模块,用于更改所述原模板图片的标注区域的像素值,得到目标模板图片;
第一生成子模块,用于基于所述目标模板图片,获得所述目标模板数据集。
可选的,上述图像处理系统中,其特征在于所述原模板图片包括至少一个标注区域,所述更改子模块具体用于:
从所述至少一个标注区域中选择出至少一个目标区域;
更改所述目标区域的像素值,得到目标模板图片。
可选的,上述图像处理系统中,所述更改子模块还具体用于:
根据所述模型的场景确定目标规则;
基于所述目标规则更改所述原模板图片的标注区域的像素值,得到目标模板图片。
可选的,上述图像处理系统中,所述生成模块还包括:
第一获取子模块,用于获取像素值改变后的区域的位置信息,得到目标模板图片对应的标注文件;
第二生成子模块,用于基于所述标注文件,获得所述标注文件数据集。
可选的,上述图像处理系统中,所述第一获取子模块具体用于:
基于所述原模板图片中标注区域的数量以及所述目标规则的种类,确定所述目标模板图片对应的目标标注文件的数量。
可选的,上述图像处理系统中,所述目标规则包括下述至少之一:
区域替换、颜色改变和仿射变换。
可选的,上述图像处理系统中,所述第一组合模块包括:
第二获取子模块,用于获取目标模板图片以及所述目标模板图片对应的标注文件;
第三生成子模块,用于将所述目标模板图片以及所述目标模板图片对应的目标标注文件,与所述初始比较数据集中的任一比较图片进行组合,得到训练样本。
可选的,所述图像处理系统还包括:
配准模块,用于将所述比较图片和所述原模板图片进行配准,生成目标比较图片;
更新模块,用于根据所述目标比较图片,得到目标比较数据集。
可选的,所述图像处理系统还包括:
第二组合模块,用于所述根据所述目标比较图片得到目标比较数据集之后,将所述目标模板图片以及所述目标模板图片对应的目标标注文件,与所述目标比较图片集中的目标比较图片进行组合,得到训练样本;
其中,所述目标比较图片和目标模板图片对应同一个原模板图片。
可选的,上述图像处理系统中,所述生成模型的训练数据对应的数据量为:
Figure BDA0003047647170000051
其中,n为初始比较数据集中的图片数量,m为初始模板数据集中的原模板图片的数量,p为单张原模板图片对应的标注文件数量,q为单张原模板图片包含的标注框数量,t为目标规则种类的数量,i为大于或等于1且小于或等于p的正整数、j为大于或等于1且小于或等于m的正整数。
可选的,上述图像处理系统中,所述获取模块包括:
获取子模块,用于获取初始数据集;
拆分子模块,用于将所述初始数据集进行拆分,生成所述初始模板数据集以及所述初始比较数据集。
本发明还提供一种图像处理系统,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上述图像处理方法的步骤。
本发明还提供所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上述的图像处理方法的步骤。
本发明实施例使得无负样本或者少负样本数据的模型训练场景得到足量训练数据,从而进一步改善模型指标,提升模型的泛化能力,并且获得标注文件无需人工再标注,大量减少人工标注工作量,节约大量的人力成本和数据标注时间。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获取其他的附图。
图1是本发明实施例提供的一种图像处理方法的流程图;
图2是本发明实施例提供的一种图像处理方法的又一流程图;
图3是本发明实施例提供的一种图像处理系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例,都属于本发明保护的范围。
参见图1,图1是本发明实施例提供的图像处理方法的流程图,如图1所示,图像处理方法包括以下步骤:
步骤101,获取初始模板数据集以及初始比较数据集。
可选的,所述获取初始模板数据集以及初始比较数据集的步骤101包括:
获取初始数据集;
将所述初始数据集进行拆分,生成所述初始模板数据集以及所述初始比较数据集。
具体的,将用于训练模型的初始数据集进行拆分,得到初始模板数据集以及初始比较数据集。
其中,该模型可以为差异检测模型,也可以是相似度计算模型、分类模型、比较模型等。本发明实施例对此不作限定。
其中,所述初始模版数据集中的图片为原模版图片,初始模板数据中的图片可以包含正样本图片和/或负样本图片。比较数据集中的图片为比较图片,所述比较数据集中只包含正样本图片。
比较数据集的图片依据某种规则(如图片名称前缀)与所述初始模板数据集中的模板图片对应,一张原模板图片可以对应一张或者多张比较图片。
步骤102,对所述初始模板集中的原模板图片进行像素处理,得到目标模板数据集以及对应的标注文件数据集。
可选的,所述对所述初始模板集中的原模板图片进行像素处理,得到目标模板数据集以及对应的标注文件数据集的步骤102包括:
获取所述原模板图片的标注区域;
更改所述原模板图片的所述标注区域的像素值,得到目标模板图片;
基于所述目标模板图片,获得所述目标模板数据集。
进一步的,原模板图片中可能包括多个待检测的标记物,即原模板图片中标注有至少一个待检测区域,基于此,用户可以基于需求,选择对原模板图片中的全部或部分待检测区域进行像素处理,也即,所述更改所述原模板图片的标注区域的像素值,得到目标模板图片的步骤包括:从所述至少一个标注区域中选择出至少一个目标区域;
更改所述目标区域的像素值,得到目标模板图片。
可选的,更改所述原模板图片的标注区域的像素值的步骤之后,所述方法还包括:
获取像素值改变后的标注区域的位置信息,得到目标模板图片对应的标注文件,基于所述标注文件获得所述标注文件数据集。
可选的,所述获取像素值改变后的区域的位置信息,得到目标模板图片对应的标注文件的步骤包括:
基于所述原模板图片中标注区域的数量以及所述目标规则的种类,确定所述目标模板图片对应的目标标注文件的数量。
具体的,在所述初始模板数据集中的原模板图片标注出至少一个待检测的标注区域;其中标注的待检测区域至少包含所有真实需要检测的区域,真实检测目标包括图案、字符、物品、缺陷等各类需要检测的目标物。或者,还可以包含用户自己任意标注的待检测区域。从所述原模板图片的所述至少一个标注区域中选择至少一个目标区域,其中,选择出的目标区域包含所有真实需要检测的区域。其中,通过标注工具或者代码标注等标注方式在所述初始模板数据集中的原模板图片中标注出一个或者多个需要检测的区域,待检测的区域可以为图案、字符、物体等。其中,标注形式包括但不限于标注框、掩膜和点。
可选的,从所述原模板图片中标注的待检测区域中选择b个区域作为用于进行像素值改变的目标区域。其中a≤b≤c,a为原模板图片中包含的真实需要检测的区域(例如图片实际瑕疵的部分)的数量,c为原模板图片中包含的全部标注区域的数量,即原模板图片中包含的标注区域数量。对选择的b个区域进行改变区域像素值的操作,更改后的图片目标模板图片。所有生成的目标模板图片构成目标模板数据集。获取并改变b个区域的位置信息构成标注文件,其中,标注文件与每张目标模板图片一一对应。所有生成的标注文件构成标注文件数据集。
可选的,所述更改所述初始模板集中的模板图片的目标区域的像素值,得到目标模板图片的步骤包括:
根据所述模型的场景确定目标规则;
基于所述目标规则更改所述初始模板集中的原模板图片的目标区域的像素值,得到目标模板图片。
其中,所述目标规则包括但不限于下述至少之一:
区域替换、颜色改变和仿射变换。
具体的,区域替换包括:当标注区域数量大于1,选择交并比小于某个数值([0,1])的另一区域像素值代替当前区域像素值;颜色改变包括:随机改变当前区域像素值,例如,改变灰度或RGB数值;对当前区域进行仿射变化包括:将当前区域从当前向量空间,变化到另一向量空间。
具体改变区域像素值的目标规则根据模型的应用场景来确定,比如该模型用于检测物料混合的场景,可以采用区域替换的方法,将用某个物料的图案或者字符替换另一物料的图案或者字符;再比如,模型用于检测某种材料表面平坦度,通过仿射变换模拟局部位置形变。
其中,获取改变后的b个区域的位置信息包括:真实存在的检测目标在图像里的位置和改变的像素位置在图像里的坐标位置。标注文件即为图片的标注信息文件,如对于目标检测任务标注信息通常包含图片的名称、目标类别、目标坐标等,标注文件的格式可以是常见的格式有XML、JSON、TXT等。目标模板图片和标注文件的最大数量由原模版图片对应的标注文件数量、标注区域数量和目标规则种类决定。
步骤103,将所述目标模板数据集中的目标模板图片、所述标注文件数据集中的标注文件以及所述初始比较数据集中的比较图片进行组合,生成模型的训练数据。
具体的,所述将所述目标模板数据集中的目标模板图片、所述标注文件数据集中的标注文件以及所述初始比较数据集中的比较图片进行组合,生成模型的训练数据的步骤103包括:
获取目标模板图片以及所述目标模板图片对应的标注文件;
将所述目标模板图片以及所述目标模板图片对应的目标标注文件,与所述初始比较数据集中的任一比较图片进行组合,得到训练样本。
具体的,从目标模板数据集、标注文件数据集和初始比较数据集中分别选取目标模板图片、与目标模板图片对应的标注文件和比较图片每三个文件为一组组成模型训练数据。其中,选取方式可以是抽样或者全排列。
将比较图片、目标模板图片、与目标模板图片对应的标注文件进行组合,产生模型新增样本数据。
其中,最大新增样本数据数量由比较图片数量和目标模板图片数量决定。其中,本发明实施例中提供多种组合规则,该比较图片、目标模板图片、与目标模板图片对应的目标标注文件可以基于特定的组合规则进行组合。
可选的,所述将所述目标模板数据集中的目标模板图片、所述标注文件数据集中的标注文件以及所述初始比较数据集中的比较图片进行组合,生成模型的训练数据的步骤103之前,所述方法还包括:
将所述初始比较集中的比较图片和所述模板图片进行配准,生成目标比较图片;
根据所述目标比较图片,得到目标比较数据集。
可选的,所述根据所述目标比较图片得到目标比较数据集之后,所述方法还包括:
将所述目标模板图片以及所述目标模板图片对应的目标标注文件,与所述目标比较图片集中的目标比较图片进行组合,得到训练样本;
其中,所述目标比较图片和目标模板图片对应同一个原模板图片。
具体的,在进行数据组合生成模型的训练数据时,可以先确定原模板图片和初始比较集中的比较图片是否存在角度偏差或者畸变等偏差,如果比较数据集中的比较图片与初始模板数据集中的原模板图片存在角度偏差或者畸变,将初始比较数据集中的比较图片与原模板图片进行图像配准,使得比较图片中可匹配的区域与模板图片区域在像素上对应,得到配准后的比较图片为目标比较图片。配准方法包括但不限于基于特征图像配准、基于灰度图像配准、基于变换域图像配准和基于深度学习的图像配准等。如果比较图片和模板图片不存在角度偏差或者畸变等偏差,则直接使用比较数据集中的比较图片进行组合,得到训练数据。
如图2所示,是上述获得模型训练数据的又一流程图。在初始模板数据集A中的图片Ai上标注需要检测的区域位置生成标注文件Ci,其中一张图片可对应多个标注文件。标注时,对于场景真实存在的检测对象所在区域是必须标注的,同时,可以标注其他想要进行改变的区域。通过代码或者工具选择部分或者全部区域。然后,从初始模板数据集A中的图片Ai上的标注区域中选择用于进行像素处理的目标区域基于一种或者多种特定规则改变选择的目标区域的像素值,从而产生目标模板图片Ai’,其中,上述特定规则包括但不限于替换区域、改变颜色、仿射变换等。进一步的,获取改变像素值后的目标区域对应的位置信息,得到目标模板图片Ai’对应的标注文件Ci’,重复上述操作,初始模板数据集A中的图片进行像素处理,产生目标模板数据集A’(A’数量大于或等于A的数量),根据目标模板数据集A’中的改变像素值后的目标区域对应的位置信息,得到标注文件集C’(C’的数量等于A’的数量)。进一步的,如果比较数据集B中的图片与初始模板数据集A中的图片Ai存在角度偏差或者畸变,将比较数据集B中的图片分别与初始模板数据集A中的图片Ai进行图像配准,配准后的图片Bi’构成更新后的比较数据集B’。然后,将目标模板数据集A’中的图片Ai’以及图片Ai’对应的标注文件Ci’,与比较数据集B’中的图片进行组合,得到训练数据。其中,最大的组合数据量为
Figure BDA0003047647170000101
最小标注数量为
Figure BDA0003047647170000102
其中,n为初始比较数据集B的图片数量,m为初始模板数据集A的图片数量,p为单张原模板图片对应的标注文件数量,q为单张原模板图片包含的标注框数量,t是目标规则种类的数量,i为大于或等于1且小于或等于p的正整数、j为大于或等于1且小于或等于m的正整数。
如果1张原模板图片对应1个标注文件,那么最大组合数据量为
Figure BDA0003047647170000111
最小标注数为m。
本发明实施例的数据处理方法可以根据瑕疵的情况制作近似负样本,在无负样本或少负样本情况下,制作模型(特别是有监督训练模型)需要的样本数量,通过模型泛化能力提升模型检测结果。基于此方法由原数据集(初始模板数据集A、比较数据集B和标注文件集C)产生成倍的新数据集(目标模板数据集A’目标比较数据集B’和标注文件集C’),新增数据数量根据初始标注文件数量、初始模板数据集中一张模板图片Ai内中标注的区域数量和目标规则种类决定,且新增数据无需再标注。
具体的,以检测键盘按键是否存在缺印为例,对本图像处理方法进行说明。假设初始训练数据集只包含3张图片,且没有负样本数据即不包含按键缺印的数据。将1张图片作为原模板图片,另2张图片作为比较图片。对原模板图片进行标记,得到待检测区域,如对5个按键的字符“W”、“Y”、“G”、“M”以及“Alt”进行标注。通过代码从上述已标注出的5个待检测区域中,随机选择1~5个按键,然后,修改按键上的字符信息,即修改对应的像素值,例如分别修改按键“W”、按键“G”的字符像素为黑色,从而给出2张通过代码生成的目标模版图片和对应的标注文件,将比较图片与每一张原模板图片或者抽样选择某几张原模板图片进行图片配准,配准后图片键盘在图片中的位置与模板基本一致。最后,经过修改像素值后的目标模板图片、与之对应的标注文件和配准后的比较图片组成1组数据,作为模型的训练数据。该示例中,在不存在负样本数据的情况下,基于修改像素值最多可得到
Figure BDA0003047647170000112
张负样本图片,且图片只需要标注1次。
可选的,所述方法还包括:
基于所述训练数据对所述检测模型进行训练;
将待检测的图片输入至训练后的检测模型,获得检测结果。
具体的,使用上述图像处理方法生成训练数据对检测模型进行训练,将待检测的目标图片输入至训练后的检测模型,获得检测结果。
在没有或者缺少负样本的检测场景如工业场景、遥感检测场景中,通过本发明实施例中的数据处理方法可获得大量训练数据,提高模型训练特别是有监督模型训练效果,提升模型的泛化能力,同时避免了大量的人工标注工作,节约大量的人力成本和数据标注时间。
基于以上实施例提供的图像处理方法,本发明实施例还提供了实施上述方法的图像据处理系统,请参照图3,本发明实施例提供的图像处理系统300包括:
获取模块301,用于获取初始模板数据集以及初始比较数据集;
生成模块302,用于对所述初始模板集中的原模板图片进行像素处理,得到目标模板数据集以及对应的标注文件数据集;
第一组合模块303,用于将所述目标模板数据集中的目标模板图片、所述标注文件数据集中的标注文件以及所述初始比较数据集中的比较图片进行组合,生成模型的训练数据。
可选的,所述生成模块302包括:
标注子模块,用于获取所述原模板图片的标注区域;
更改子模块,用于更改所述原模板图片的标注区域的像素值,得到目标模板图片;
第一生成子模块,用于基于所述目标模板图片,获得所述目标模板数据集。
可选的,所述原模板图片包括至少一个标注区域,所述更改子模块具体用于:
从所述至少一个标注区域中选择出至少一个目标区域;
更改所述目标区域的像素值,得到目标模板图片。
可选的,所述更改子模块还具体用于:
根据所述模型的场景确定目标规则;
基于所述目标规则更改所述原模板图片的标注区域的像素值,得到目标模板图片。
可选的,所述生成模块302还包括:
第一获取子模块,用于获取像素值改变后的区域的位置信息,得到目标模板图片对应的标注文件;
第二生成子模块,用于基于所述标注文件,获得所述标注文件数据集。
可选的,所述第一获取子模块具体用于:
基于所述原模板图片中标注区域的数量以及所述目标规则的种类,确定所述目标模板图片对应的目标标注文件的数量。
可选的,所述目标规则包括下述至少之一:
区域替换、颜色改变和仿射变换。
可选的,所述第一组合模块包括:
第二获取子模块,用于获取目标模板图片以及所述目标模板图片对应的标注文件;
第三生成子模块,用于将所述目标模板图片以及所述目标模板图片对应的目标标注文件,与所述初始比较数据集中的任一比较图片进行组合,得到训练样本。
可选的,所述图像处理系统还包括:
配准模块,用于将所述比较图片和所述原模板图片进行配准,生成目标比较图片;
更新模块,用于根据所述目标比较图片,得到目标比较数据集。
可选的,所述图像处理系统还包括:
第二组合模块,用于所述根据所述目标比较图片得到目标比较数据集之后,将所述目标模板图片以及所述目标模板图片对应的目标标注文件,与所述目标比较图片集中的目标比较图片进行组合,得到训练样本;
其中,所述目标比较图片和目标模板图片对应同一个原模板图片。
可选的,所述生成模型的训练数据对应的数据量为:
Figure BDA0003047647170000141
其中,n为初始比较数据集中的图片数量,m为初始模板数据集中的原模板图片的数量,p为单张原模板图片对应的标注文件数量,q为单张原模板图片包含的标注框数量,t为目标规则种类的数量,i为大于或等于1且小于或等于p的正整数、j为大于或等于1且小于或等于m的正整数。
可选的,所述获取模块301包括:
获取子模块,用于获取初始数据集;
拆分子模块,用于将所述初始数据集进行拆分,生成所述初始模板数据集以及比较数据集。
本发明实施例提供一种图像处理系统,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上述实施例所述的图像处理方法的步骤。
本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上述实施例所述的图像处理方法的步骤。
本发明实施例还提供一种可读存储介质,可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法,其特征在于,所述方法包括:
获取初始模板数据集以及初始比较数据集;
对所述初始模板集中的原模板图片进行像素处理,得到目标模板数据集以及对应的标注文件数据集;
将所述目标模板数据集中的目标模板图片、所述标注文件数据集中的标注文件以及所述初始比较数据集中的比较图片进行组合,生成模型的训练数据。
2.根据权利要求1所述的图像处理方法,其特征在于,所述对所述初始模板集中的原模板图片进行像素处理,得到目标模板数据集以及对应的标注文件数据集的步骤包括:
获取所述原模板图片的标注区域;
更改所述原模板图片的标注区域的像素值,得到目标模板图片;
基于所述目标模板图片,获得所述目标模板数据集。
3.根据权利要求2所述的图像处理方法,其特征在于,所述更改所述原模板图片的标注区域的像素值,得到目标模板图片的步骤包括:
根据所述模型的场景确定目标规则;
基于所述目标规则更改所述原模板图片的标注区域的像素值,得到目标模板图片。
4.根据权利要求3所述的图像处理方法,其特征在于,所述更改所述原模板图片的标注区域的像素值的步骤之后,所述方法还包括:
获取像素值改变后的区域的位置信息,得到目标模板图片对应的标注文件基于所述标注文件,获得所述标注文件数据集。
5.根据权利要求1-4任一项所述的图像处理方法,其特征在于,所述将所述目标模板数据集中的目标模板图片、所述标注文件数据集中的标注文件以及所述初始比较数据集中的比较图片进行组合,生成模型的训练数据的步骤包括:
获取目标模板图片以及所述目标模板图片对应的标注文件;
将所述目标模板图片以及所述目标模板图片对应的目标标注文件,与所述初始比较数据集中的任一比较图片进行组合,得到训练样本。
6.一种图像处理系统,其特征在与于,所述图像处理系统包括:
获取模块,用于获取初始模板数据集以及初始比较数据集;
生成模块,用于对所述初始模板集中的原模板图片进行像素处理,得到目标模板数据集以及对应的标注文件数据集;
第一组合模块,用于将所述目标模板数据集中的目标模板图片、所述标注文件数据集中的标注文件以及所述初始比较数据集中的比较图片进行组合,生成模型的训练数据。
7.根据权利要求6所述的图像处理系统,其特征在于,所述生成模块包括:
标注子模块,用于获取所述原模板图片的标注区域;
更改子模块,用于更改所述原模板图片的标注区域的像素值,得到目标模板图片;
第一生成子模块,用于基于所述目标模板图片,获得所述目标模板数据集。
8.根据权利要求7所述的图像处理系统,其特征在于,所述更改子模块还具体用于:
根据所述模型的场景确定目标规则;
基于所述目标规则更改所述原模板图片的标注区域的像素值,得到目标模板图片。
9.根据权利要求8所述的图像处理系统,其特征在于,所述生成模块还包括:
第一获取子模块,用于获取像素值改变后的区域的位置信息,得到目标模板图片对应的标注文件;
第二生成子模块,用于基于所述标注文件,获得所述标注文件数据集。
10.根据权利要求6-9任一项所述的图像处理系统,其特征在于,所述第一组合模块包括:
第二获取子模块,用于获取目标模板图片以及所述目标模板图片对应的标注文件;
第三生成子模块,用于将所述目标模板图片以及所述目标模板图片对应的目标标注文件,与所述初始比较数据集中的任一比较图片进行组合,得到训练样本。
CN202110476709.9A 2021-04-29 2021-04-29 一种图像处理方法和图像处理系统 Active CN113111966B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110476709.9A CN113111966B (zh) 2021-04-29 2021-04-29 一种图像处理方法和图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110476709.9A CN113111966B (zh) 2021-04-29 2021-04-29 一种图像处理方法和图像处理系统

Publications (2)

Publication Number Publication Date
CN113111966A true CN113111966A (zh) 2021-07-13
CN113111966B CN113111966B (zh) 2022-04-26

Family

ID=76720500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110476709.9A Active CN113111966B (zh) 2021-04-29 2021-04-29 一种图像处理方法和图像处理系统

Country Status (1)

Country Link
CN (1) CN113111966B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846828A (zh) * 2018-05-04 2018-11-20 上海交通大学 一种基于深度学习的病理图像目标区域定位方法及系统
CN109544468A (zh) * 2018-10-26 2019-03-29 浙江师范大学 一种图像数据扩增方法
CN110163053A (zh) * 2018-08-02 2019-08-23 腾讯科技(深圳)有限公司 生成人脸识别的负样本的方法、装置及计算机设备
CN110472593A (zh) * 2019-08-20 2019-11-19 重庆紫光华山智安科技有限公司 训练图像获取方法、模型训练方法及相关装置
CN111159150A (zh) * 2019-12-19 2020-05-15 北京文安智能技术股份有限公司 一种数据扩充方法及装置
CN111221981A (zh) * 2019-12-31 2020-06-02 腾讯科技(深圳)有限公司 知识图谱嵌入模型的训练方法、装置和计算机存储介质
CN111444326A (zh) * 2020-03-30 2020-07-24 腾讯科技(深圳)有限公司 一种文本数据处理方法、装置、设备以及存储介质
CN111967427A (zh) * 2020-08-28 2020-11-20 广东工业大学 一种伪造人脸视频鉴别方法、系统和可读存储介质
CN112488137A (zh) * 2019-09-11 2021-03-12 广州虎牙科技有限公司 样本获取方法、装置、电子设备及机器可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846828A (zh) * 2018-05-04 2018-11-20 上海交通大学 一种基于深度学习的病理图像目标区域定位方法及系统
CN110163053A (zh) * 2018-08-02 2019-08-23 腾讯科技(深圳)有限公司 生成人脸识别的负样本的方法、装置及计算机设备
CN109544468A (zh) * 2018-10-26 2019-03-29 浙江师范大学 一种图像数据扩增方法
CN110472593A (zh) * 2019-08-20 2019-11-19 重庆紫光华山智安科技有限公司 训练图像获取方法、模型训练方法及相关装置
CN112488137A (zh) * 2019-09-11 2021-03-12 广州虎牙科技有限公司 样本获取方法、装置、电子设备及机器可读存储介质
CN111159150A (zh) * 2019-12-19 2020-05-15 北京文安智能技术股份有限公司 一种数据扩充方法及装置
CN111221981A (zh) * 2019-12-31 2020-06-02 腾讯科技(深圳)有限公司 知识图谱嵌入模型的训练方法、装置和计算机存储介质
CN111444326A (zh) * 2020-03-30 2020-07-24 腾讯科技(深圳)有限公司 一种文本数据处理方法、装置、设备以及存储介质
CN111967427A (zh) * 2020-08-28 2020-11-20 广东工业大学 一种伪造人脸视频鉴别方法、系统和可读存储介质

Also Published As

Publication number Publication date
CN113111966B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN107256379B (zh) 基于图像识别的信息采集方法、移动终端及存储介质
CN110163208B (zh) 一种基于深度学习的场景文字检测方法和系统
CN109035370B (zh) 一种图片标注方法与系统
KR20130069596A (ko) 로고가 있는 2차원코드, 로고가 있는 2차원코드 생성장치, 로고가 있는 2차원코드 생성방법 및 프로그램
CN110675940A (zh) 病理图像标注方法、装置、计算机设备及存储介质
CN110097616B (zh) 一种联合绘画方法、装置、终端设备及可读存储介质
CN115812221A (zh) 图像生成及着色方法及装置
CN111814716A (zh) 印章去除方法、计算机设备和可读存储介质
CN112598627A (zh) 检测图像缺陷的方法、系统、电子设备及介质
WO2020240808A1 (ja) 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム
CN112348946A (zh) 打印处理方法、装置、电子设备以及存储介质
CN112381092A (zh) 跟踪方法、装置及计算机可读存储介质
CN113111966B (zh) 一种图像处理方法和图像处理系统
KR20130098584A (ko) 생산관리시스템 및 생산관리방법
CN111401465A (zh) 训练样本优化方法、装置、设备及存储介质
CN110942497A (zh) 批改痕迹添加方法、装置、设备及计算机可读存储介质
CN113807315B (zh) 一种构建待识别对象识别模型的方法、装置、设备及介质
CN110909187B (zh) 图像存储方法、图像读取方法、图像存储器及存储介质
JP3061812B2 (ja) パターン認識方法および装置
CN110706317A (zh) 印刷手写混合的数学公式数据生成方法及装置
CN111815621A (zh) 一种数据处理方法、装置及电子设备
Rachchh et al. Inclusion of vertical bar in the OMR sheet for image-based robust and fast OMR evaluation technique using mobile phone camera
CN113255683B (zh) 一种基于神经网络的图像分割方法、系统及存储介质
CN113269728B (zh) 视觉巡边方法、设备、可读存储介质及程序产品
Košťák et al. Adaptive detection of single-color marker with WebGL

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230731

Address after: Room 1001-2, No. 14, Lane 1401, Jiangchang Road, Jing'an District, Shanghai, 200000

Patentee after: Shanghai Shuzhong Technology Co.,Ltd.

Address before: 100085 e-002, 4th floor, building 1, courtyard 41, Shangdi West Road, Haidian District, Beijing

Patentee before: BEIJING ZETYUN TECH CO.,LTD.