CN113724128A - 一种训练样本的扩充方法 - Google Patents

一种训练样本的扩充方法 Download PDF

Info

Publication number
CN113724128A
CN113724128A CN202010450167.3A CN202010450167A CN113724128A CN 113724128 A CN113724128 A CN 113724128A CN 202010450167 A CN202010450167 A CN 202010450167A CN 113724128 A CN113724128 A CN 113724128A
Authority
CN
China
Prior art keywords
image
training
network model
mask
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010450167.3A
Other languages
English (en)
Other versions
CN113724128B (zh
Inventor
俞大海
李嘉豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Priority to CN202010450167.3A priority Critical patent/CN113724128B/zh
Publication of CN113724128A publication Critical patent/CN113724128A/zh
Application granted granted Critical
Publication of CN113724128B publication Critical patent/CN113724128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种训练样本的扩充方法、存储介质及终端设备，所述方法包括对于初始训练样本组中的一训练图像，确定该训练图像对应的目标图像；根据目标图像生成目标图像对应的掩码图像；基于经过训练的生成网络模型、该掩码图像以及目标图像生成训练图像对应的第一合成图像；将生成的所有第一合成图像加入初始训练样本组，以得到扩充训练样本组。本发明通过经过训练的生成网络模型生成训练图像对应的第一合成图像，并将第一合成图像作为初始训练样本组的扩充图像补充至初始训练样本组，从而实现了训练样本的自动扩充，降低了训练样本扩充的工作量，提高了训练样本扩张的效率，进而提高了神经网络模型的训练效率。

Description

一种训练样本的扩充方法
技术领域
本发明涉及超声技术领域，特别涉及一种训练样本的扩充方法。
背景技术
随着人工智能技术的发展，基于深度学习模型的检测识别技术也取越来越广泛的应用。众所周知，深度学习模型的精度依赖于训练样本的数据量以及训练样本的多样性，当训练样本数量大且多样性高时，训练得到的深度学习模型的模型精度高，反之，当训练样本数量小且多样性低时，训练得到的深度学习模型的模型精度低。由此，在对深度学习模型进行训练之前，普遍需要对训练样本进行扩充。现有的训练样本的扩充方法普遍是通过对训练样本进行随机旋转、空间位移、剪裁以及缩放等处理，以扩充训练样本集。但是现有的图像扩充方法普遍是基于算法工程师都是基于经验和不断的实验来选择适合某一任务的图像数据扩张方案，这样产生了大量的工作，从而降低模型训练的效率。
发明内容
本发明要解决的技术问题在于，针对现有技术的不足，提供一种训练样本的扩充方法。
为了解决上述技术问题，本发明所采用的技术方案如下：
一种训练样本的扩充方法，所述方法包括：
读取预设的初始训练样本组中的训练图像，确定所述训练图像对应的目标图像，
根据所述目标图像生成所述目标图像对应的掩码图像；
基于经过训练的生成网络模型、所述掩码图像及所述目标图像生成所述训练图像对应的第一合成图像，
将所述第一合成图像加入所述初始训练样本组，以得到扩充训练样本组。
所述训练样本的扩充方法，其中，所述第一合成图像对应的第一样本标签与所述训练图像对应的第一样本标签相同。
所述训练样本的扩充方法，其中，所述目标图像的图像背景与该训练图像的图像背景的相似度满足预设条件。
所述训练样本的扩充方法，其中，所述第一合成图像中的合成图像区域的图像内容与所述目标图像中的目标图像区域的图像内容不同，所述目标图像区域在所述目标图像中的位置信息与所述合成区域在所述第一合成区域中的位置信息相对应。
所述训练样本的扩充方法，其中，所述目标图像对应若干掩码图像，若干掩码图像中的每个掩码图像均包括掩码区域，每个掩码图像的掩码区域均对应于所述目标图像的部分图像区域，并且各掩码图像中的掩码区域各自分别对应的部分图像区域不同。
所述训练样本的扩充方法，其中，所述根据所述目标图像生成所述目标图像对应的掩码图像具体包括：
将所述目标图像中的每个像素点的像素值设置为第一预设像素值，以得到目标图像对应的中间图像；
基于所述中间图像上确定第一图像区域，并将确定得到的第一图像区域中各像素点的像素值设置为第二预设像素值，以得到掩码图像，其中，所述第一图像区域为所述掩码图像的掩码区域。
所述训练样本的扩充方法，其中，所述生成网络模型基于训练样本集训练得到的，所述训练样本集包括多组训练图像组，每组训练图像组包括第一图像、第二图像以及第二图像的掩码图像，第二图像的图像背景与第一图像的图像背景的相似度满足预设条件；所述生成网络模型的训练过程具体包括：
基于预设的第一网络模型，生成训练图像组中的第二图像和第二图像的掩码图像对应的第二合成图像；
基于预设的第二网络模型、所述第二合成图像以及所述第一图像，确定所述第二合成图像对应的第一损失函数；
基于预设的第三网络模型、所述第一图像以及所述第二合成图像，确定所述第二合成图像对应的第二损失函数；
基于所述第一损失函数和所述第二损失函数，对所述第一网络模型进行训练，以得到所述生成网络模型。
所述训练样本的扩充方法，其中，所述基于预设的第二网络模型、所述第二合成图像以及所述第一图像，确定所述第二合成图像对应的第一损失函数具体包括：
将所述第二合成图像与所述第一图像输入至所述第二网络模型，通所述第二网络模型输出所述第一图像和第二合成图像的相似度；
基于所述相似度，确定所述第二合成图像对应的第一损失函数。
所述训练样本的扩充方法，其中，所述方法还包括：
基于所述第一损失函数对所述第二网络模型进行训练。
所述训练样本的扩充方法，其中，所述第三网络模型为基于预设训练图像集训练得到的，其中，所述预设训练图像集包括所述训练样本集中的所有第一图像，以及各第一图像对应的第一样本标签。
所述训练样本的扩充方法，其中，所述基于预设的第三网络模型、所述第一图像以及所述第二合成图像，确定所述第二合成图像对应的第二损失函数具体包括：
将所述第二合成图像增加至预设训练图像集，以得到第一训练图像集，其中，所述第一训练图像集包括所述训练样本集中所有第一图像以及所述第二合成图像；
基于所述第一训练图像集对所述第三网络模型进行训练，以更新所述第三网络模型；
基于所述第三网络模型提取预设的测试图像对应的第三损失函数，以及基于更新后的第三网络模型提取所述测试图像对应的第四损失函数；
根据所述第三损失函数以及所述第四损失函数，确定所述第二损失函数。
所述训练样本的扩充方法，其中，所述第一网络模型训练结束的预设条件为：
所述第一损失函数小于或等于第一预设阈值且第二损失函数大于或等于第二预设阈值，或者所述第一网络模型的训练次数达到预设次数阈值。
一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的训练样本的扩充方法中的步骤。
一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的训练样本的扩充方法中的步骤。
有益效果：与现有技术相比，本发明提供了一种训练样本的扩充方法、存储介质及终端设备，所述方法包括获取待扩充的初始训练样本组，读取预设的初始训练样本组中的若干训练图像，对于若干训练图像中的每张训练图像，确定该训练图像对应的目标图像；根据所述目标图像生成所述目标图像对应的至少一个掩码图像；对于每个掩码图像，基于经过训练的生成网络模型、该掩码图像以及所述目标图像生成所述训练图像对应的第一合成图像；将生成的所有第一合成图像加入所述初始训练样本组，以得到扩充训练样本组。本发明通过经过训练的生成网络模型生成训练图像对应的第一合成图像，并将第一合成图像作为初始训练样本组的扩充图像补充至初始训练样本组，从而实现了训练样本的自动扩充，降低了训练样本扩充的工作量，提高了训练样本扩张的效率，进而提高了神经网络模型的训练效率。
附图说明
图1为本发明提供的训练样本的扩充方法的应用场景示意图。
图2为本发明提供的训练样本的扩充方法的流程图。
图3为本发明提供的训练样本的扩充方法中掩码图像的一个实施例的示意图。
图4为本发明提供的训练样本的扩充方法中掩码图像的再一个实施例的示意图。
图5为本发明提供的训练样本的扩充方法中掩码图像的另一个实施例的示意图。
图6为本发明提供的训练样本的扩充方法中生成网络模型的训练过程的流程示意图。
图7为本发明提供的训练样本的扩充方法中第一网络模型的结构示意图。
图8为本发明提供的训练样本的扩充方法中第二网络模型的结构示意图。
图9为本发明提供的训练样本的扩充方法中第三网络模型的结构示意图。
图10为本发明提供的终端设备的结构原理图。
具体实施方式
本发明提供一种训练样本的扩充方法、存储介质及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
发明人经过研究发现，目前在深度学习模型进行训练之前，会对用于训练深度训练模型的训练样本集进行扩充，并且普遍采用对训练样本进行随机旋转、空间位移、剪裁以及缩放等放扩充方式。但是，在对训练样本进行扩充时，需要算法工程师都是基于经验和不断的实验来选择适合某一任务的图像数据扩张方案，这样产生了大量的工作，从而降低模型训练的效率。
为了解决上述问题，在本发明实施例中，在读取预设的初始训练样本组中的训练图像，确定所述训练图像对应的目标图像；根据所述目标图像生成所述目标图像对应的掩码图像；基于经过训练的生成网络模型、所述掩码图像及所述目标图像生成所述训练图像对应的第一合成图像，将所述第一合成图像加入所述初始训练样本组，以得到扩充训练样本组。本发明通过经过训练的生成网络模型生成训练图像对应的第一合成图像，并将第一合成图像作为初始训练样本组的扩充图像补充至初始训练样本组，从而实现了训练样本的自动扩充，降低了训练样本扩充的工作量，提高了训练样本扩张的效率，进而提高了神经网络模型的训练效率。
举例说明，本发明实施例可以应用到如图1所示的场景。在该场景中，首先，终端设备1可以获取初始训练样本组，并将所述初始训练样本组输入服务器2，以使得服务器2依据所述初始训练样本组确定初始训练样本组中的训练图像对应的目标图像以及目标图像对应的掩码图像；再通过经过训练的生成网络模型得到训练图像对应的第一合成图像，将该第一合成图像加入所述初始训练样本组以得到扩充训练样本组；最后将得到扩充训练样本组传输至终端设备，以使得终端设备可以获取得到扩充训练样本组。服务器2可以预先存储有经过训练的生成网络模型，并响应终端设备1的输入的初始训练样本组，根据所述初始训练样本组，生成初始训练样本组对应的扩充训练样本组。
可以理解的是，在上述应用场景中，虽然将本发明实施方式的动作描述为部分由终端设备1执行、部分由服务器2执行，但是这些动作也可以完全由服务器2执行，或者完全由终端设备1执行。本发明在执行主体方面不受限制，只要执行了本发明实施方式所公开的动作即可。
需要注意的是，上述应用场景仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
如图2所示，本实施提供了一种训练样本的扩充方法，所述方法可以包括以下步骤：
S10、读取预设的初始训练样本组中的训练图像，确定所述训练图像对应的目标图像，其中，所述目标图像的图像背景与该训练图像的图像背景的相似度满足预设条件。
具体地，所述初始训练样本组为预先获取的，所述初始训练样本包括多张训练图像，多张训练图像中的每张训练图像均具有样本标签，其中，所述样本标签为采用该初始训练样本组作为训练样本集训练得到的网络模型的输出项，所述初始训练样本组中的训练图像为该网络模型的输入项。可以理解的是，所述初始训练样本组为一网络模型的训练样本集，初始训练样本组中的每个训练图像均为该网络模型的输入项，每个训练样本对应的样本标签为将该训练图像输入至该网络模型后，该网络模型的输出项对应的目标值。例如，该网络模型为用于检测图像中物品的检测网络模型，那么该训练样本组中每个训练图像的样本标签为物品类型。此外，该初始训练样本组包括的训练样本不满足该网络模型的训练需求(例如，训练样本数量少，以及训练样本多样性差等)，使得采用初始训练样本组训练得到的网络模型的模型精度差，或者采用该初始训练样本组训练网络模型，需要花费的训练时间长等。
举例说明，假设以该初始训练样本组为训练样本集的网络模型为用于执行检测任务的网络模型，初始训练样本组中的训练图像A，训练图像A对应的第一样本标签为苹果，那么当训练图像A输入该网络模型时，苹果为该网络模型输出的所述训练图像A对应的输出项的目标值，可以基于该输出项和苹果来计算该网络模型损失值，以对网络模型进行训练。
进一步，所述训练图像为所述初始训练样本组中的任一训练图像，并且在对所述初始训练样本组进行扩充时，可以对初始训练样本组中的每张训练图像均基于本实施例中的扩充方法进行扩充，也可以对初始训练样本组的部分训练图像基于本实施例中的扩充方法进行扩充；并且当对初始训练样本组的部分训练图像基于本实施例中的扩充方法进行扩充时，可以在初始训练样本组随机选取若干张训练图像。由此，在获取到初始训练样本组后，从初始训练样本组中读取若干训练图像，之后在对于每张训练图像，获取该确定目标图像。可以理解的是，所述目标图像的数量根据读取到的训练图像的图像数量确定，这样可以通过控制读取到的训练图像的数量，来控制基于目标图像得到的第一合成图像的图像数量，从而确定对初始训练样本组进行扩充后得到的扩充训练样本组中的训练图像的数量。
进一步，所述目标图像可以是用于扩充所述初始训练样本组的终端设备拍摄的图像(例如，智能手机等)；可以是其他外部设备(例如，数码相机等)拍摄并存储于终端设备的图像；可以是通过云端发送至终端设备的图像；也可以是在预设训练样集中获取到的。在本实施例中，所述目标图像为从预设训练样本中获取到的，其中，所述预设训练样本集包括多张图像，所述初始训练样本组中的各训练图像以及各训练图像各自对应的目标图像均存储于在预设训练样本集中。也就是说，对于初始训练样本组中的每张训练图像，该训练图像对应的目标图像均存储于该预设训练样本集中。
进一步，所述目标图像的图像背景与训练图像的图像背景的相似度满足预设条件，其中，所述相似度指的是目标图像的图像背景的第一图像内容与训练图像的图像背景的第二图像内容的相似度。所述预设条件为预先设置的，用于衡量图像是否位于作为训练图像的目标图像的依据。在本实施例的一个实现例中，所述预设条件为目标图像的图像背景与训练图像的图像背景的相似度大于相似度阈值，其中，所述相似度阈值为预先设置的，例如，98％等。
此外，所述目标图像的图像背景指的是目标图像中去目标图像中的第一前景图像以及训练图像中的第二前景图像的第一图像区域，所述训练图像的图像背景指的是训练图像中去目标图像中的第一前景图像以及训练图像中的第二前景图像的第二图像区域。所述相似度为第一图像区域中与第二图像区域中的像素信息相同的像素点占第一图像区域中所有像素点的比例值，例如，所述第一图像区域包括100个像素点，第一图像区域中与第二图像区域中的像素信息相同的像素点为98，那么第一图像区域与第二图像区域的相似度为98％，相应的，所述目标图像的图像背景与所述训练图像的图像背景的相似度为98％。此外，所述像素信息包括像素值和像素位置。例如，对于第一图像区域中的像素点A，像素点A的像素位置为(20,30)，像素值为230；那么像素点A的像素信息为像素位置为(20,30)，像素值为230。
进一步，在本实施例的一个实现方式中，所述目标图像可以携带前景图像，也可以不携带前景图像。可以理解的是，所述目标图像可以为所述训练图像的背景图像；所述目标图像可以为背景图像与训练图像的背景图像相同，并且携带前景图像，其中，所述前景图像可以与训练图像的前景图像相同，也可以不与训练图像的前景相同。例如，训练图像为人站在草地上的图像，训练图像的图像背景为草地，那么所述目标图像的图像背景为草地，而目标图像中可以包括人物，也可以不包括人物，并且当目标图像中包括人物时，该人物可以与训练图像中的人物不同。此外，在本实施例的一个具体实现方式中，所述目标图像为所述训练图像的背景图像，这样在对所述目标图像进行处理时，可以避免基于目标图像得到的第一合成图像出现同时携带目标图像本身携带的前景图像以及通过生成网络生成的前景图像，造成第一合成图像携带前景图像与其对应的样本标签不匹配问题。
S20、根据所述目标图像生成所述目标图像对应的掩码图像。
具体地，所述掩码图像为用于覆盖部分图像区域掩模，其中，所述掩码图像的图像尺寸与所述目标图像的图像尺寸相同，并所述掩码图像包括掩膜区域，所述掩膜区域与目标图像中的目标图像区域相对应，当所述掩膜图像与所述目标图像重叠放置时，所述掩膜区域覆盖所述目标图像中与该掩膜区域对应的目标图像区域。例如，所述目标图像为草地上放置一个苹果的图像，所述掩码图像中的掩膜区域为苹果在该目标图像中所处区域，那么当掩膜图像重叠放置于所述目标图像上时，所述掩膜区域与所述苹果在所述目标图像中所处区域重叠，即所述掩膜区域覆盖所述苹果。
进一步，所述目标图像区域可以为目标图像中的任选的图像区域，该目标图像区域的图像面积小于目标图像的图像面积，即所述目标图像区域为目标图像中的部分图像区域，并且该部分图像区域可以为目标图像中选取的图像区域。例如，目标图像为224*224的图像，该目标图像对应有掩码图像A，掩码图像A中的掩码区域对应目标图像中的中心点为(5,5)，边长为4的正方形图像区域等。此外，在本实施例的一个实现方式中，在基于目标图像确定掩膜图像时，还可以确定多张掩膜图像，若干掩码图像中的每个掩码图像均包括掩码区域，每个掩码图像的掩码区域均对应于所述目标图像的部分图像区域，并且各掩码图像中的掩码区域各自分别对应的部分图像区域不同。例如，目标图像为224*224的图像，该目标图像对应有掩码图像A和掩码图像B，掩码图像A中的掩码区域对应目标图像中的中心点为(5,5)，边长为4的正方形图像区域；那么掩码图像B对应目标图像中图像区域不为中心点为(5,5)，边长为4的正方形图像区域，其可以为中心点为(10,10)，边长为4的正方形图像区域。
进一步，在所述目标图像可以对应多张掩码图像，后续在基于目标图像和掩膜图像生成第一合成图像时，可以生成多张第一合成图像，并且第一合成图像的图像数量与掩膜图像的图像数量相同。可以理解的是，在获取到多张掩膜图像后，对于每张掩膜图像，均会基于该掩膜图像和目标图像生成一张第一合成图像，由此，需要生成训练图像对应的一张第一合成图像时，可以选取目标图像对应的一张掩膜图像；需要生成训练图像对应的多张第一合成图像时，可以选取目标图像对应的多张掩膜图像。
在本实施例的一个实现方式中，所述根据所述目标图像生成所述目标图像对应的至少一个掩码图像具体包括：
S21、将所述目标图像中的每个像素点的像素值设置为第一预设像素值，以得到目标图像对应的中间图像；
S22、在所述中间图像上随机选取第一图像区域，并将选取到的第一图像区域中各像素点的像素值设置为第二预设像素值，以得到掩码图像，其中，所述第一图像区域为所述掩码图像的掩码区域。
具体地，所述第一预设像素值为预先设定，通过将目标图像中的每个像素点的像素值均设置为第一预设像素值来得到中间图像；可以理解的是，中间图像为所有像素点的像素值均为第一预设像素值的图像。所述第一图像区域为中间图像中的任意图像区域，该第一图像区域可以为中间图像的部分图像区域，也可以为中间图像的全部图像。此外，所述第二预设像素值为用于标识第一图像区域的像素值，通过将第一图像区域的像素值设置为第二预设像素值，以在中间图像中将第一图像区域标记出来。由此，为了在中间图像中标记第一图像区域，第二预设像素值与第一预设像素值不相同，例如，第一预设像素值为0，第二预设像素值为255等。
进一步，为了提高扩充数据的数量，对于每张目标图像可以随机生成多张掩码图像，以便于根据目标图像和多张掩码图像生成多张合成图像。由此，在本实施例的一个实现方式中，所述目标图像可以对应多张掩码图像，并且各张掩码图像对应的第一图像区域不同，这样根据各掩码图像对应的合成图像的图像内容可以不同，从而可以提高扩充得到的扩充训练图像组中的训练样本的多样性。
举例说明：假设目标图像为224*224的图像，那么首先生成一个图像尺寸为224*224的中间图像，中间图像中每个像素点的像素值均为0；在该中间图像中随机选取m*n大小的图像块，并将选取得到m*n大小的图像块中各像素点的像素值设置为255，则得到一个掩码图像。当需要生成若干掩码图像时，可以重复生成中间图像以及选取图像块的步骤即可生成多张掩码图像，其中，多张掩码图像中图像块在的图像块大小以及该图像块在中间图像中的位置均可以不同，例如，如图3-图5所述的掩码图像，其中，黑色区域为像素值为255的图像区域，白色区域为像素值为0的图像区域；像素值为255的图像区域为选取得到图像块对应的区域。
S30、基于经过训练的生成网络模型、所述掩码图像及所述目标图像生成所述训练图像对应的第一合成图像。
具体地，所述生成网络模型为经过训练的网络模块，该生成网络模型的输入项为掩码图像以及目标图像，所述生成网络模块的输出项为第一合成图像。可以理解的是，所述生成网络模块为用于生成合成图像的网络模型，当将目标图像和掩码图像输入该生成网络模型时，该生成网络模型可以基于该目标图像和掩码图像得到第一合成图像。此外，所述第一合成图像中的合成图像区域的图像内容与所述目标图像中的目标图像区域的图像内容不同，所述合成图像区域和所述目标图像区域均与所述掩码图像中的掩码区域对应
进一步，所述第一生成图像用于训练基于初始训练样本组训练的网络模型，由此，所述第一生成图像需要具有样本标签，以便于基于该第一生成图像和其对应的样本标签对网络模型进行训练。在本实施例的一个实现方式中，所述第一合成图像对应的样标签与训练图像的第一样本标签相同，其中，训练图像为用于生成目标图像的训练图像，该目标图像为用于生成该第一生成图像的目标图像。例如，训练图像的第一样本标签为苹果，那么基于该训练图像对应的目标图像生成的第一合成图像的样本标签也为苹果。
在本实施例的一个实现方式中，如图6所示，所述生成网络模型的训练过程具体包括：
A10、基于预设的第一网络模型，生成所述第二图像和第二图像的掩码图像对应的第二合成图像；
A20、基于预设的第二网络模型，确定所述第二合成图像与所述第一图像的第一损失函数；
A30、基于预设的第三网络模型、所述第一图像以及所述第二合成图像，确定所述第二合成图像对应的第二损失函数；
A40、基于所述第一损失函数和所述第二损失函数，对所述第一网络模型进行训练，以得到所述生成网络模型。
具体地，在所述步骤A10中，所述第一网络模型为预先设置，当第一网络模型基于训练样本集进行训练后，可以得到经过训练的生成网络模型。可以理解的是，所述第一网络模型的模型结构与生成网络模型的模型结构相同，其区别在于所述第一网络模型的模型参数与所述生成网络模型的模型参数不同，所述第一网络模型的模型参数为预先设定的初始模型参数，所述生成网络模型的模型参数为基于训练样本集训练得到的模型参数。其中，所述训练样本集包括多组训练图像组，每组训练图像组包括第一图像、第二图像以及第二图像的掩码图像，第二图像的图像背景与第一图像的图像背景的相似度满足预设条件。当然，在实际应用中，所述第一网络模型可以为深度学习网络模型。此外，所述第二图像的图像背景与第一图像的图像背景的相似度满足预设条件中的预设条件与目标图像的背景图像与训练图像的背景图像的相似度满足预设条件中的预设条件相同，这里就不再赘述，具体可以参照上述关于相似度以及预设条件的说明。
在本实施例的一个实现方式中，如图7所示，所述第一网络模块可以包括上采样模块102以及下采样模块101，所述上采样模块102与所述下采样模块101相连接，所述上采样模块102的输出项为第二图像和第二图像的掩码图像，所述上采样模块102的输出项为下采样模块101的输入项，下采样模块101的输出项为合成图像。可以理解的是，在获取到第二图像以及第二图像的掩码图像后，将第二图像和第二图像的掩码图像输入至上采样模块102进行上采样，以得到特征图像；在将上采样得到的特征图像输入至下采样模块101进行下采样，最后通过下采样膜输出第二合成图像。
进一步，在所述步骤A20中，在第二网络模型为预先设置，所述第二网络模型用于判别第一图像和第二合成图像的相似性。可以理解的是，所述第二网络模型为判别器网络模型，通过该第二网络模型可以判别第一图像和第二合成图像的相似性。由此，第二网络模型的输入项为第一图像和第二合成图像，所述第二网络模型的输出项为第一图像和第二合成图像的相似性。相应的，所述基于预设的第二网络模型，确定所述第二合成图像与所述第一图像的第一损失函数具体可以为：将所述第一图像和第二合成图像输入至所述第二网络模型，通过所述第二网络模型输出第一图像和第二合成图像的相似度；并基于所述相似度确定第二网络模型对应的损失函数，以得到第一损失函数。当然，在实际应用中，所述第二网络模型可以为深度学习网络模型。
在本实施例的一个实现方式中，所述第二网络模型为未经过训练的网络模型，在基于训练样本集对第一网络模型进行训练的过程中同步对第二网络模型进行训练。可以理解的是，在基于第一图像和第二合成图像得到第一损失函数后，可以基于所述第一损失函数对第二网络模型进行训练，以提高第二网络模型的模型精度。此外，所述第二网络模型与第一网络模型同步训练，而本申请需要得到的是基于第一网络模型得到的经过训练的生成网络模型，由此，在第一网络模型和第二网络模型同步训练过程中，第二网络模型训练完成的预设条件为一网络模型完成训练。
在本实施例的一个实现方式中，如图8所示，所述第二网络模型包括五个卷积单元以及全连接单元600，分别记为第一卷积单元100、第二卷积单元200、第三卷积单元300、第四卷积单元400以及第五卷积单元500；所述第一卷积单元100、第二卷积单元200、第三卷积单元300、第四卷积单元400、第五卷积单元500以及全连接单元600依次级联，并且相邻两个卷积单元中前一个卷积单元的输出项为后一个卷积单元的输入项。例如，对于第二卷积单元200和第三卷积单元300，第二卷积单元200的输出项为第三卷积单元300的输入项。此外，所述第一卷积单元100的输入项为第一图像和第二合成图像，全连接单元600的输出项为第一图像和第二合成图像的相似性。
所述第一卷积单元100包括第一卷积层、第二卷积层以及第一池化层；所述第一卷积层与第二卷积层相连，第二卷积层与第一池化层相连，其中，第一卷积层的输入项为第一图像和第二合成图像，第二卷积层的输入项为第一卷积层的输出项，第一池化层的输入项为第二卷积层的输出项。在本实施例的中，所述第一卷积层的卷积核为3*3，通道数为64；第二卷积层的卷积核为3*3，通道数为64。
所述第二卷积单元200包括第三卷积层、第四卷积层以及第二池化层；所述第三卷积层与第四卷积层相连，第三卷积层与第二池化层相连，其中，第三卷积层的输入项为第一池化层的输出项，第四卷积层的输入项为第三卷积层的输出项，第二池化层的输入项为第四卷积层的输出项。在本实施例的中，所述第三卷积层的卷积核为3*3，通道数为128；第四卷积层的卷积核为卷积核为3*3，通道数为128。
所述第三卷积单元300包括第五卷积层、第六卷积层、第七卷积层以及第三池化层；所述第五卷积层与第六卷积层相连，第六卷积层与第七卷积层相连接，第七卷积层与第二池化层相连，其中，第五卷积层的输入项为第二池化层的输出项，第六卷积层的输入项为第五卷积层的输出项，第七卷积层的输入项为第六卷积层的输出项，第三池化层的输入项为第七卷积层的输出项。在本实施例的中，所述第五卷积层、第六卷积层以及第七均价层的卷积核为卷积核为3*3，通道数均为256。
进一步，第四卷积单元400和第五卷积单元500均匀第三卷积单元300的模型结构相同，均包括三个卷积层以及一个池化层。其中，第四卷积单元400和第五卷积单元500与第三卷积单元300区别在，各卷积层的输入通道数以及输出通道数不同。在第四卷积单元400和第五卷积单元500中，第五卷积层、第六卷积单层以及第七卷积单层的通道数均为512。
进一步，所述全连接单元600包括三个全连接层，分别记为第一全连接层、第二连接处以及第三全连接层，其中，所述第一全连接层、第二全连接层以及第三全连接层依次级联，所述第一全连接层的输入项为第五卷积单元中第七卷积层的输出项，所述第一全连接层的输出项为第二全连接层的输入项、第二全连接层的输出项为第三全连接层的输入项，所述第三全连接层的输出项为第一图像和第二合成图像的相似性。在本实施例中，第一全连接层、第二连接处以及第三全连接层的维度均为4096。
进一步，在所述步骤A30中，所述第三网络模型为预先设置，所述第二网络模型可以为用于执行检测任务的网络模型。可以理解的是，所述第二网络模型为检测网络模型，通过该第二网络模型可以判别第一图像中的物品类别，以及第二合成图像中的物品类别。由此，第三网络模型的输入项为待检测图像，所述第三网络模型的输出项为待检测图像的物品类别，其中，当待检测图像为第一图像时，输出项为第一图像对应的物品类别；当待检测图像为第二合成图像时，输出项为第二合成图像对应的物品类别。
基于此，在本实施例的一个实现方式中，所述基于预设的第三网络模型、所述第一图像以及所述第二合成图像确定第二损失函数具体包括：
B10、将所述第二合成图像增加至预设训练图像集，以得到第一训练图像集，其中，所述第一训练图像集包括所述训练样本集中所有第一图像；
B20、基于所述第一训练图像集对所述第三网络模型进行训练，以更新所述第三网络模型；
B30、基于所述第三网络模型提取预设的测试图像对应的第三损失函数，以及基于更新后的第三网络模型提取所述测试图像对应的第四损失函数；
B40、根据所述第三损失函数以及所述第四损失函数，确定所述第二损失函数。
具体地，所述第三网络模型为经过训练的网络模型，所述第三网络模型可以基于预设训练图像集训练得到，预设训练图像集包括若干第一训练图像，每张第一训练图像具有第二样本标签，其中，所述第二样本标签为物品类别。例如，第一训练图像为图像内容为人站在草地上，那么第二样本标签为人。在本实施例的一个实现方式中，所述预设训练图像集中的第一训练图像可以为用于训练第一网络模型的训练样本集中的第一图像，也就是说，预设训练图像集可以是由训练样本集中的所有第一图像形成的训练集。
所述将所述第二合成图像增加至预设训练图像集指的是将第二合成图像添加到预设训练图像集中以得到第一训练图像集，其中，所述第一训练图像集包括预设训练图像集中所有第一图像以及第二合成图像，所述第二合成图像对应的第二样本标签为该第二合成图像对应的第一图像的第二样本标签。可以理解的是，在获取第二合成图像后，将第二合成图像添加到预设训练图像集中，并基于添加得到的第一训练图像集对第三网络模型进行训练，以提高第三网络模型的模型精度。当然，值得说明的是，本申请需要得到的是基于第一网络模型得到的经过训练的生成网络模型，由此，第一网络模型训练完成后，结束对第三网络模型的训练。
进一步，所述预设的测试图像为用于对第三网络模型进行测试，以确定第三网络模型的模型精度的图像，当将所述测试图像输入至第三网络模型后，第三网络模型会输出测试图像对应第一生成标签，基于所述第一生成标签以及测试图像对应的样本标签可以确定第三网络模型的模型精度；当将所述测试图像输入至更新后第三网络模型后，更新后的第三网络模型会输出测试图像对应第二生成标签，基于所述第二生成标签以及测试图像对应的样本标签可以确定更新后的第三网络模型的模型精度。此外，在获取到第三损失函数和第四损失函数后，可以根据第三损失函数和第四损失函数计算得到第二损失函数。其中，第二损失函数等于的表达式可以为：
L2＝Lsy-Lreal
其中，L2为第二损失函数，Lsy为第四损失函数，Lreal为第三损失函数。
在本实施例的一个实现方式中，如9所示，所述第三网络模型可以为深度学习网络模型。所述第三网络模型可以包括第一采样单元11、第二采样单元12、第三采样单元13、第四采样单元14、第五采样单元15、第一连接单元16、第二连接单元17以及融合单元18；所述第一采样单元11的输入项为待检测图像，所述第一采样单元11的输出的第一特征图分别输入第二采样单元12以及第一连接单元16；所述第二采样单元12的第二特征图分别输入至第三采样单元13和第二连接单元17；所述第三采样单元13的第三特征分别输入第四采样单元14以及融合单元18；第四采样单元14的第四特征图输入第二连接单元17，通过第二连接单元17将第二特征图与第四特征图进行融合，并将融合得到的第五特征图输入至第一连接单元16以及融合单元18，通过第一连接单元16将第一特征图与第五特征图融合，并将融合得到的第六特征图输入至融合单元18；通过所述融合单元18将第三特征图、第五特征图以及第六特征图融合，以得到待检测图像对应的生成标签。其中，当待检测图像为第一图像时，所述生成标签为第一图像对应的第一生成标签；当待检测图像为第二合成图像时，所述生成标签为第二生成图像对应的第二生成标签。
进一步，在所述步骤A40中，所述第一网络模型训练完成的条件为所述第一损失函数小于或等于第一预设阈值且第二损失函数大于或等于第二预设阈值，或者所述第一网络模型的训练次数达到预设次数阈值。其中，所述第一损失函数为用于判定第二合成图像与第一图像的相似性的，第二损失函数用于基于预设训练图像集训练得到的第二网络模型的模型精度与基于第一训练图像集训练得的第二网络模型的模型精度的差异，其中，第一训练图像集为将第二合成图像扩充至预设训练图像集所得到的训练图集。由此，为了保证第一图像和第二合成图像的相似性，需要使得第一损失函数小于或等于第一预设阈值；同时为了保证基于扩充后的预设训练图像集训练得到的模型精度高于基于预设训练图像集训练得到模型精度，需要使得第二损失函数大于或等于第二预设阈值。
进一步，所述第一预设阈值、第二预设阈值以及预设次数阈值可以根据生成网络模型的模型精度来确定，这里不做详细说明。其中，所述预设次数阈值可以为第一网络模型的最大训练次数，例如，5000次等。由此，在计算得到第一损失函数和第二损失函数后，判断所述第一损失函数和第二损失函数是否满足预设条件；若第一损失函数和第二损失函数满足预设条件，则结束训练；若第一损失函数和第二损失函数不满足预设条件，则判断所述第一网络模型的训练次数是否达到预测次数阈值，若未达到预设次数阈值，则根据所述第一损失函数和第二损失函数对所述第二网络模型的网络参数进行修正；若达到预设次数阈值，则结束训练。这样通过第一损失函数和第二损失函数和训练次数来判断预设网络模型训练是否结束，可以避免因第一损失函数和第二损失函数无法达到预设条件而造成第一网络模型的训练进入死循环。
S40、将生成的所有第一合成图像加入所述初始训练样本组，以得到扩充训练样本组。
具体地，所述第一合成图像为基于目标图像以及目标图像对应的各掩码图像生成的，在获取到所有第一合成图像后，对于所有第一合成图像中的每个第一合成图像，将该第一合成图像样本标签均配置为训练图像的图像标签，以得到一新的训练图像，最后将新的训练图像加入所述初始训练样本组中，扩充了初始训练样本组包括的训练图像的数量，并且新的训练图像的图像与用于生成该新的训练图像的训练图像之间存在差异，进而提高了扩充得到的训练样本组的样本多样性。此外，值得说明的，在对初始训练样本组进行扩充时，可以对训练样本组中的每张训练图像均执行上述生成第一合成图像的过程，以对每张训练图像的扩充；也可以随机选取若干张训练图像执行上述生成第一合成图像的过程等。
综上所述，本实施例提供了一种训练样本的扩充方法、存储介质及终端设备，所述方法包括获取待扩充的初始训练样本组，读取预设的初始训练样本组中的若干训练图像，对于若干训练图像中的每张训练图像，确定该训练图像对应的目标图像；根据所述目标图像生成所述目标图像对应的至少一个掩码图像；对于每个掩码图像，基于经过训练的生成网络模型、该掩码图像以及所述目标图像生成所述训练图像对应的第一合成图像；将生成的所有第一合成图像加入所述初始训练样本组，以得到扩充训练样本组。本发明通过经过训练的生成网络模型生成训练图像对应的第一合成图像，并将第一合成图像作为初始训练样本组的扩充图像补充至初始训练样本组，从而实现了训练样本的自动扩充，降低了训练样本扩充的工作量，提高了训练样本扩张的效率，进而提高了神经网络模型的训练效率。
基于上述训练样本的扩充方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的训练样本的扩充方法中的步骤。
基于上述训练样本的扩充方法，本发明还提供了一种终端设备，如图10所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种训练样本的扩充方法，其特征在于，所述方法包括：
读取预设的初始训练样本组中的训练图像，确定所述训练图像对应的目标图像；
根据所述目标图像生成所述目标图像对应的掩码图像；
基于经过训练的生成网络模型、所述掩码图像及所述目标图像生成所述训练图像对应的第一合成图像；
将所述第一合成图像加入所述初始训练样本组，以得到扩充训练样本组。
2.根据权利要求1所述训练样本的扩充方法，其特征在于，所述第一合成图像对应的第一样本标签与所述训练图像对应的第一样本标签相同。
3.根据权利要求1所述训练样本的扩充方法，其特征在于，所述目标图像的图像背景与该训练图像的图像背景的相似度满足预设条件。
4.根据权利要求1所述训练样本的扩充方法，其特征在于，所述第一合成图像中的合成图像区域的图像内容与所述目标图像中的目标图像区域的图像内容不同，所述目标图像区域在所述目标图像中的位置信息与所述合成区域在所述第一合成区域中的位置信息相对应。
5.根据权利要求1所述训练样本的扩充方法，其特征在于，所述目标图像对应若干掩码图像，若干掩码图像中的每个掩码图像均包括掩码区域，每个掩码图像的掩码区域均对应于所述目标图像的部分图像区域，并且各掩码图像中的掩码区域各自分别对应的部分图像区域不同。
6.根据权利要求1所述训练样本的扩充方法，其特征在于，所述根据所述目标图像生成所述目标图像对应的掩码图像具体包括：
将所述目标图像中的每个像素点的像素值设置为第一预设像素值，以得到目标图像对应的中间图像；
基于所述中间图像上确定第一图像区域，并将确定得到的第一图像区域中各像素点的像素值设置为第二预设像素值，以得到掩码图像，其中，所述第一图像区域为所述掩码图像的掩码区域。
7.根据权利要求1-6任一所述训练样本的扩充方法，其特征在于，所述生成网络模型基于训练样本集训练得到的，所述训练样本集包括多组训练图像组，每组训练图像组包括第一图像、第二图像以及第二图像的掩码图像，第二图像的图像背景与第一图像的图像背景的相似度满足预设条件；所述生成网络模型的训练过程具体包括：
基于预设的第一网络模型，生成训练图像组中的第二图像和第二图像的掩码图像对应的第二合成图像；
基于预设的第二网络模型、所述第二合成图像以及所述第一图像，确定所述第二合成图像对应的第一损失函数；
基于预设的第三网络模型、所述第一图像以及所述第二合成图像，确定所述第二合成图像对应的第二损失函数；
基于所述第一损失函数和所述第二损失函数，对所述第一网络模型进行训练，以得到所述生成网络模型。
8.根据权利要求7所述训练样本的扩充方法，其特征在于，所述基于预设的第二网络模型、所述第二合成图像以及所述第一图像，确定所述第二合成图像对应的第一损失函数具体包括：
将所述第二合成图像与所述第一图像输入至所述第二网络模型，通所述第二网络模型输出所述第一图像和第二合成图像的相似度；
基于所述相似度，确定所述第二合成图像对应的第一损失函数。
9.根据权利要求7所述训练样本的扩充方法，其特征在于，所述方法还包括：
基于所述第一损失函数对所述第二网络模型进行训练。
10.根据权利要求7所述训练样本的扩充方法，其特征在于，所述第三网络模型为基于预设训练图像集训练得到的，其中，所述预设训练图像集包括所述训练样本集中的所有第一图像，以及各第一图像对应的第一样本标签。
11.根据权利要求7所述训练样本的扩充方法，其特征在于，所述基于预设的第三网络模型、所述第一图像以及所述第二合成图像，确定所述第二合成图像对应的第二损失函数具体包括：
将所述第二合成图像增加至预设训练图像集，以得到第一训练图像集，其中，所述第一训练图像集包括所述训练样本集中所有第一图像以及所述第二合成图像；
基于所述第一训练图像集对所述第三网络模型进行训练，以更新所述第三网络模型；
基于所述第三网络模型提取预设的测试图像对应的第三损失函数，以及基于更新后的第三网络模型提取所述测试图像对应的第四损失函数；
根据所述第三损失函数以及所述第四损失函数，确定所述第二损失函数。
12.根据权利要求7所述训练样本的扩充方法，其特征在于，所述第一网络模型训练结束的预设条件为：
所述第一损失函数小于或等于第一预设阈值且第二损失函数大于或等于第二预设阈值，或者所述第一网络模型的训练次数达到预设次数阈值。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～12任意一项所述的训练样本的扩充方法中的步骤。
14.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-12任意一项所述的训练样本的扩充方法中的步骤。
CN202010450167.3A 2020-05-25 2020-05-25 一种训练样本的扩充方法 Active CN113724128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010450167.3A CN113724128B (zh) 2020-05-25 2020-05-25 一种训练样本的扩充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010450167.3A CN113724128B (zh) 2020-05-25 2020-05-25 一种训练样本的扩充方法

Publications (2)

Publication Number Publication Date
CN113724128A true CN113724128A (zh) 2021-11-30
CN113724128B CN113724128B (zh) 2024-03-15

Family

ID=78671702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010450167.3A Active CN113724128B (zh) 2020-05-25 2020-05-25 一种训练样本的扩充方法

Country Status (1)

Country Link
CN (1) CN113724128B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155366A (zh) * 2022-02-07 2022-03-08 北京每日优鲜电子商务有限公司 动态柜图像识别模型训练方法、装置、电子设备和介质
CN114266768A (zh) * 2022-03-01 2022-04-01 聚时科技(江苏)有限公司 表面划痕缺陷图像生成方法
CN114612434A (zh) * 2022-03-14 2022-06-10 北京理工大学 一种波纹管表面缺陷检测方法及系统
CN116051926A (zh) * 2023-01-12 2023-05-02 北京百度网讯科技有限公司 图像识别模型的训练方法、图像识别方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190311202A1 (en) * 2018-04-10 2019-10-10 Adobe Inc. Video object segmentation by reference-guided mask propagation
WO2019233166A1 (zh) * 2018-06-04 2019-12-12 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
WO2020073951A1 (zh) * 2018-10-10 2020-04-16 腾讯科技（深圳）有限公司 用于图像识别的模型的训练方法、装置、网络设备和存储介质
CN111126108A (zh) * 2018-10-31 2020-05-08 北京市商汤科技开发有限公司 图像检测模型的训练和图像检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190311202A1 (en) * 2018-04-10 2019-10-10 Adobe Inc. Video object segmentation by reference-guided mask propagation
WO2019233166A1 (zh) * 2018-06-04 2019-12-12 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
WO2020073951A1 (zh) * 2018-10-10 2020-04-16 腾讯科技（深圳）有限公司 用于图像识别的模型的训练方法、装置、网络设备和存储介质
CN111126108A (zh) * 2018-10-31 2020-05-08 北京市商汤科技开发有限公司 图像检测模型的训练和图像检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙慧等: "基于场景建模的电力巡检异物检测样本扩充方法", 《电网技术》 *
罗震宇;于俊朋;刘振华;: "基于数据扩维的SAR目标识别性能提升技术", 现代雷达, no. 05 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155366A (zh) * 2022-02-07 2022-03-08 北京每日优鲜电子商务有限公司 动态柜图像识别模型训练方法、装置、电子设备和介质
CN114155366B (zh) * 2022-02-07 2022-05-20 北京每日优鲜电子商务有限公司 动态柜图像识别模型训练方法、装置、电子设备和介质
CN114266768A (zh) * 2022-03-01 2022-04-01 聚时科技(江苏)有限公司 表面划痕缺陷图像生成方法
CN114612434A (zh) * 2022-03-14 2022-06-10 北京理工大学 一种波纹管表面缺陷检测方法及系统
CN116051926A (zh) * 2023-01-12 2023-05-02 北京百度网讯科技有限公司 图像识别模型的训练方法、图像识别方法和装置
CN116051926B (zh) * 2023-01-12 2024-04-16 北京百度网讯科技有限公司 图像识别模型的训练方法、图像识别方法和装置

Also Published As

Publication number Publication date
CN113724128B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN113724128B (zh) 一种训练样本的扩充方法
EP3971772B1 (en) Model training method and apparatus, and terminal and storage medium
CN108664981B (zh) 显著图像提取方法及装置
WO2019100723A1 (zh) 训练多标签分类模型的方法和装置
CN111814794B (zh) 文本检测方法、装置、电子设备及存储介质
CN111696110B (zh) 场景分割方法及系统
CN109840530A (zh) 训练多标签分类模型的方法和装置
CN109003297B (zh) 一种单目深度估计方法、装置、终端和存储介质
CN113807361B (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN112183295A (zh) 行人重识别方法、装置、计算机设备及存储介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111274994A (zh) 漫画人脸检测方法、装置、电子设备及计算机可读介质
KR102637342B1 (ko) 대상 객체를 추적하는 방법과 장치 및 전자 장치
CN111242125A (zh) 一种自然场景图像文本检测方法、存储介质及终端设备
CN115862030B (zh) 清除图像中文本的算法模型及其构建方法、装置及应用
KR20210045225A (ko) 뉴럴 네트워크에서 연산을 수행하는 방법 및 장치
CN112085056A (zh) 目标检测模型生成方法、装置、设备及存储介质
CN114565092A (zh) 一种神经网络结构确定方法及其装置
CN116310688A (zh) 基于级联融合的目标检测模型及其构建方法、装置及应用
US20220156534A1 (en) Target object detection model
CN108520532B (zh) 识别视频中物体运动方向的方法及装置
CN115690592B (zh) 图像处理方法和模型训练方法
CN116468702A (zh) 黄褐斑评估方法、装置、电子设备及计算机可读存储介质
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant