CN113033525B - 图像识别网络的训练方法、电子设备及存储介质 - Google Patents
图像识别网络的训练方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113033525B CN113033525B CN202110575536.6A CN202110575536A CN113033525B CN 113033525 B CN113033525 B CN 113033525B CN 202110575536 A CN202110575536 A CN 202110575536A CN 113033525 B CN113033525 B CN 113033525B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- information
- image sample
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000004927 fusion Effects 0.000 claims abstract description 73
- 238000011156 evaluation Methods 0.000 claims abstract description 58
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000013441 quality evaluation Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 25
- 238000002372 labelling Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims 1
- 239000013598 vector Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例涉及计算机技术领域，公开了一种图像识别网络的训练方法、电子设备及存储介质。本发明中图像识别网络的训练方法，包括：获取第一图像训练集中第一图像样本的评估结果；将第一图像样本输入预设的初始图像网络的第一网络分支和第二网络分支进行特征提取，得到第一图像样本的第一特征信息和第二特征信息；根据评估结果将第一特征信息和第二特征信息进行融合，生成融合特征，以便基于融合特征和预设的收敛条件，优化第一网络分支的参数和第二网络分支的参数直至得到收敛的初始图像网络作为图像识别网络。采用本发明实施例，可以得到准确的图像识别网络，使得将不同质量的图像输入该图像识别网络，可以获得准确的特征信息。
Description
技术领域
本发明实施例涉及计算机技术领域，特别涉及一种图像识别网络的训练方法、电子设备及存储介质。
背景技术
图像识别是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，该技术通常应用深度学习算法实现。图像识别网络中的人脸识别网络是根据携带标注信息的人脸图片，对神经网络进行训练。对训练的网络进行测试，测试包括人脸验证和人脸辨识，测试过程为：将一张测试图片输入该人脸识别网络中，该网络获取到图片的特征向量；根据两张图片对应特征向量的相似度来确定是否是同一人以实现人脸验证。将图片的特征向量和底库图片中的特征向量进行两两相似度的计算，返回最相似的图片，完成人脸辨识。
然而，图像中的目标对象的姿态，拍摄图像的位置、光照、环境等因素均会影响图像的质量，同一目标对象的不同的图像通过图像识别网络得到的特征信息差别较大，例如，由于同一目标对象在不同姿态、不同光照、或被遮挡时，图片的内容之间的差异大，或者图片存在不清晰、曝光等问题，均会导致人脸识别网络提取的特征向量差别大，模型的识别不准确。
发明内容
本发明实施方式的目的在于提供一种图像识别网络的训练方法，可以得到准确的图像识别网络，使得将不同质量的图像输入该图像识别网络，可以获得准确的特征信息。
为解决上述技术问题，本发明的实施例提供了一种图像识别网络的训练方法，包括：获取第一图像训练集中第一图像样本的评估结果，评估结果用于表征第一图像样本的质量；将第一图像样本输入预设的初始图像网络的第一网络分支和第二网络分支进行特征提取，得到第一图像样本的第一特征信息和第二特征信息，第一网络分支和第二网络分支分别用于对不同质量的图像进行特征提取；根据评估结果将第一特征信息和第二特征信息进行融合，生成融合特征，以便基于融合特征和预设的收敛条件，优化第一网络分支的参数和第二网络分支的参数直至得到收敛的初始图像网络作为图像识别网络。
本发明实施例还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述的图像识别网络的训练方法。
本发明实施例还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的图像识别网络的训练方法。
本申请实施例中训练图像识别网络的方法，初始的图像网络包括第一网络分支和第二网络分支，第一网络分支和第二网络分支用于对不同质量的图像进行特征提取，图像的特征提取的准确率与被提取图像的质量相关，例如，模糊、不聚焦、曝光问题等；针对同一目标对象的不同质量的图像，提取的特征往往差距较大，本实施例中由于不是采用一个网络模型暴力地对所有质量的图像样本进行特征提取，而是针对不同的质量的图像由对应的网络分支进行特征提取，使得在训练网络过程中可以对每个图像样本提取出不同准确度的特征信息；评估结果表征了图像样本的质量，通过该评估结果将不同特征信息融合为一个融合特征，使得该图像样本的特征映射成同一条特征向量，且由于是基于图像质量进行特征融合，可以避免因质量差的图像在训练过程中采用不准确特征进行训练导致图像识别网络不准确的问题；同时，根据融合特征和收敛条件对第一网络分支和第二网络分支中的参数进行优化，由于融合特征弱化了质量差的图像中提取不准确特征的影响，融合特征与真实的特征更贴近，使得网络更容易学习，且不易过拟合，提升后续该图像识别网络识别的准确性。
另外，初始图像网络中还包括图像质量评价网络分支，方法还包括：获取第二图像训练集中第二图像样本的第一标注信息，第一标注信息用于指示第二图像样本的质量；根据第二图像样本的第一标注信息，对预设的图像质量评价网络分支进行训练，直至图像质量评价网络分支收敛；获取第一图像训练集中第一图像样本的评估结果包括：将第一图像样本输入收敛后的图像质量评价网络分支，得到第一图像样本的评估结果。初始图像网络中还包括图像质量评价网络分支，在该图像质量评价网络分支训练完成之后，可通过该图像质量评价网络分支获取第一图像训练集中的各第一图像样本的评估结果，无需人工对该第一图像样本进行标注，减少人工的参与，提高获取第一图像样本的评估结果的速度。
另外，在获取第二图像训练集中第二图像样本的第一标注信息之前，方法还包括：根据第二图像样本的第二标注信息，获取目标对象对应的参考图像，第二标注信息用于指示第二图像样本中的目标对象；将每个第二图像样本和对应的参考图像输入预设的识别网络，获取第二图像样本的第三特征信息以及参考图像的参考特征信息；获取第三特征信息与参考特征信息之间的相似度作为第二图像样本的第一标注信息。第二图像训练集中第二图像样本的第一标注信息是通过计算该第二图像样本的第三特征信息与对应的参考图像的参考特征信息的相似度得到，无需人工对第二图像样本进行第一标注信息的标注，提高对第二图像样本标注第一标注信息的速度和准确度。
另外，根据评估结果将第一特征信息和第二特征信息进行融合，生成融合特征，以便基于融合特征和预设的收敛条件，优化第一网络分支的参数和第二网络分支的参数直至得到收敛的初始图像网络作为图像识别网络，包括：根据评估结果和预设的第一概率表达式，获取第一特征信息为第一质量的概率作为第一概率；根据评估结果和预设的第二概率表达式，获取第二特征信息为第二质量的概率作为第二概率，其中，第一质量高于第二质量；根据预设的权重表达式、第一概率和第二概率，确定第一特征信息的第一融合权重和第二特征信息的第二融合权重；根据第一融合权重、第二融合权重、第一特征信息、第二特征信息和预设的融合表达式，生成融合权重。通过评估结果确定出第一特征信息和第二特征信息各自的概率，并基于各自的概率确定对应的融合权重，可以减少不准确的特征信息的融合权重，以提高该图像识别网络的识别准确性。
另外，融合表达式表示为：F = normalize ( normalize(f1) * W1 + normalize(f2) * W2)；其中，normalize表征归一化处理，f1表征第一特征信息，W1表征第一融合权重，f2表征第二特征信息，W2表征第二融合权重，F表示融合特征。通过归一化操作，使得各个特征对应的融合权重更加稀疏，进一步减少不准确特征信息的融合权重。
另外，第一概率表达式表示为：q1=Score*Score，其中，q1表示第一概率，Score表示评估结果；第二概率表达式表示为：q2=(1-Score)*(1-Score)，其中，q2表示第二概率。通过对第一概率进行平方处理，以及对第二概率进行平方处理，可以进一步拉大第一特征信息和第二特征信息各自对应融合权重之间的差距，使得融合时能够弱化概率小的特征信息的比重。
另外，图像质量评价网络分支的损失函数包括：回归损失函数和分类损失函数；用于训练第一网络分支和第二网络分支的损失函数为分类损失函数。图像质量评价网络中通过回归损失函数和分类损失函数可以提高图像质量评价网络分支的准确性；而针对训练第一网络分支和第二网络分支的损失函数为分类损失，减少不必要的验证，加快整个图像识别网络训练的速度。
另外，对第一图像样本进行图像裁切和/或图片归一化处理。提高用于训练的图像的准确性。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施方式提供的一种图像识别网络的训练方法的流程图；
图2是根据本发明第二实施方式提供的一种图像识别网络的训练方法的流程图；
图3是根据本发明第二实施方式提供的一种人脸识别网络的训练的示意图；
图4是根据本发明第三实施方式提供的一种图像识别网络的训练方法的流程图；
图5是根据本发明第三实施方式提供的一种人脸识别网络的训练的示意图；
图6是根据本发明第四实施方式提供的一种图像识别网络的训练方法的流程图；
图7是根据本发明第五实施方式提供的一种电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
目前的图像识别网络通常根据图像训练集对神经网络进行训练获得，而由于图像的质量不同，导致在训练过程中，不同情况下同一目标对象的特征信息差异较大，这导致训练过程中网络不容易学习，容易出现过度拟合的情况。而若针对每个质量的图像设置对应的网络，当输入图像识别网络的不是对应质量的图像，将导致该图像的特征提取不准确，进而影响对该图像的识别。
本发明的第一实施方式涉及一种图像识别网络的训练方法，其流程如图1所示：
步骤101：获取第一图像训练集中第一图像样本的评估结果。评估结果用于表征第一图像样本的质量。
步骤102：将第一图像样本输入预设的初始图像网络的第一网络分支和第二网络分支进行特征提取，得到第一图像样本的第一特征信息和第二特征信息。第一网络分支和第二网络分支分别用于对不同质量的图像进行特征提取。
步骤103：根据评估结果将第一特征信息和第二特征信息进行融合，生成融合特征，以便基于融合特征和预设的收敛条件，优化第一网络分支的参数和第二网络分支的参数直至得到收敛的初始图像网络作为图像识别网络。
本申请实施例中训练图像识别网络的方法，初始的图像网络包括第一网络分支和第二网络分支，第一网络分支和第二网络分支用于对不同质量的图像进行特征提取，图像的特征提取的准确率与该图像质量相关，例如，模糊、不聚焦、曝光问题等；针对同一目标对象的不同质量的图像，提取的特征往往差距较大，本实施例中由于不是采用一个网络模型暴力地对所有质量的图像样本进行特征提取，而是针对不同的质量的图像由对应的网络分支进行特征提取，使得在训练网络过程中可以对每个图像样本提取出不同准确度的特征信息；评估结果表征了图像样本的质量，通过该评估结果将不同特征信息融合为一个融合特征，使得该图像样本的特征映射成同一条特征向量，且由于是基于图像质量进行特征融合，可以避免因质量差的图像在训练过程中采用不准确特征进行训练导致图像识别网络不准确的问题；同时，根据融合特征和收敛条件对第一网络分支和第二网络分支中的参数进行优化，由于融合特征弱化了质量差的图像中提取不准确特征的影响，融合特征与真实的特征更贴近，使得网络更容易学习，且不易过拟合，提升后续该图像识别网络识别的准确性。
本发明的第二实施方式涉及一种图像识别网络的训练方法。第二实施方式是对第一实施方式的进一步改进，主要改进之处在于：本实施例中通过评估结果确定出第一特征信息为第一质量的第一概率和第二特征信息为第二质量的第二概率，根据第一概率和第二概率确定出第一特征信息的融合权重和第二特征信息的融合权重，以便对第一特征信息和第二特征信息进行融合。第二实施方式的流程如图2所示：
步骤201：获取第一图像训练集中第一图像样本的评估结果。评估结果用于表征第一图像样本的质量。
具体地，第一图像样本的类型可以根据应用场景选取，例如，若用于人脸识别，可以选取不同人脸在各环境下的图像；若应用于商品识别，则选取各类商品在不同环境中的图像。第一图像训练集中包括至少两个第一图像样本。
本示例中，第一图像样本中可以标注有该第一图像样本的评估结果，该评估结果用于表征该第一图像样本的质量。评估结果可以是该第一图像样本与其对应的参考图像之间的相似度；例如，第一图像样本中目标对象为A，选取包含该目标对象A的参考图像，参考图像可以为满足第一质量条件的该目标对象A的图像，第一质量的图像的判定条件为同时满足以下至少两个条件：正面照，无遮挡、光照良好和清晰。
第一图像样本上可以预先标注评估结果，通过读取第一图像样本中标注的评估结果，即可获取第一图像样本的评估结果。
在另一个例子中，还可以预先训练用于获取图像的评估结果的网络。该网络训练的输入数据为图像，输出数据为该图像与参考图像之间的相似度。该网络可以采用神经网络的训练方式训练。
需要说明的是，本示例中评估结果可以是一个位于0~1之间的数，越接近1的评估结果表明该第一图像样本的图像质量越高，越接近0的评估结果表明第一图像样本的质量越低。本示例中，第二质量的图像的判定条件包括：目标对象被遮挡、图像模糊、图像光照暗等。
步骤202：将第一图像样本输入预设的初始图像网络的第一网络分支和第二网络分支进行特征提取，得到第一图像样本的第一特征信息和第二特征信息。第一网络分支和第二网络分支分别用于对不同质量的图像进行特征提取。
具体地，预设的初始图像网络包括第一网络分支和第二网络分支，第一网络分支和第二网络分支用于对不同质量的图像进行特征提取。可以预先设置第一网络分支中的参数和第二网络分支中的参数。将第一图像样本输入至该初始图像网络中的第一网络分支和第二网络分支，分别由第一网络分支和第二网络分支提取该第一图像样本的特征信息，得到第一网络分支输出的第一特征信息以及第二网络分支输出的第二特征信息。
为了便于节约训练该第一网络分支和第二网络分支的速度，可以基于现有的识别网络中的参数设定第一网络分支中的参数和第二网络分支中的参数。例如，预先获取用于识别第一质量的图像的识别网络中的参数作为第一网络分支中的初始参数，预先获取用于识别第二质量的图像的识别网络中的参数作为第二网络分支中的初始参数，其中，第一质量高于第二质量；还可以获取识别网络中的参数，对该网络参数进行调整，将调整后的参数作为第一网络分支的参数或作为第二网络分支的参数。
本示例中第一网络分支可以用于提取第一质量的图像的特征信息，第二网络分支用于提取第二质量的图像的特征信息。
步骤203：根据评估结果和预设的第一概率表达式，获取第一特征信息为第一质量的概率作为第一概率。
在一个例子中，第一概率表达式可以如公式（1）所示：
q1=Score*Score 公式（1）；
其中，q1表示第一概率，Score表示评估结果。
具体地，评估结果可以为第一图像样本中目标对象与参考图像中的目标对象之间的相似度。
步骤204：根据评估结果和预设的第二概率表达式，获取第二特征信息为第二质量的概率作为第二概率，其中，第一质量高于所述第二质量。
第二概率表达式可以如公式（2）所示：
q2=(1-Score)*(1-Score) 公式（2）；
其中，q2表示第二概率，Score表示评估结果。
步骤205：根据预设的权重表达式、第一概率和第二概率，确定第一特征信息的第一融合权重和第二特征信息的第二融合权重。
具体地，该权重表达式可以如公式（3）和公式（4）所示：
W1=q1/(q1+q2) 公式（3）；
其中，q1表示第一概率，q2表示第二概率，W1表示第一融合权重。
W2=q2/(q1+q2) 公式（4）；
其中，q1表示第一概率，q2表示第二概率，W2表示第二融合权重。
步骤206：根据第一融合权重、第二融合权重、第一特征信息、第二特征信息和预设的融合表达式，生成融合特征。
在一个例子中，融合表达式表示为：F = normalize ( normalize(f1) * W1 +normalize(f2) * W2)；其中，normalize表征归一化处理，f1表征第一特征信息，W1表征第一融合权重，f2表征第二特征信息，W2表征第二融合权重，F表示融合特征。
步骤203至步骤206是第一实施方式中步骤103的详细介绍。
步骤207：基于融合特征和预设的收敛条件，优化第一网络分支的参数和第二网络分支的参数直至得到收敛的初始图像网络作为图像识别网络。
具体地，预设的收敛条件为预设的损失函数的收敛条件。用于训练第一网络分支和第二网络分支的损失函数为分类损失函数。该融合特征通过分类器，得到分类结果，根据该分类器的分类结果，判断该分类器的损失函数是否满足收敛，若未满足收敛，则优化第一网络分支的参数和第二网络分支的参数，并重新返回步骤201，再次进行训练，直至得到的第一网络分支和第二网络分支满足收敛，即该初始图像网络满足收敛条件，将满足收敛条件的初始图像网络作为该图像识别网络。
以训练用于人脸识别的图像识别网络为例，该人脸识别网络的训练的示意图如图3所示，输入的数据为第一图像样本，该第一图像样本上标注有评估结果，该第一图像样本同时通过第一网络分支和第二网络分支，得到第一特征信息和第二特征信息，通过获取的评估结果，将第一特征信息和第二特征信息进行融合，生成融合特征，对融合特征进行分类，获得分类结果，根据分类结果和分类损失函数，判断该初始图像网络是否收敛，若未收敛，则调整第一网络分支的参数和第二网络分支的参数，并对下一张第一图像样本进行处理。
本实施方式中，通过对第一概率进行平方处理，以及对第二概率进行平方处理，可以进一步拉大第一特征信息和第二特征信息各自对应融合权重之间的差距，使得融合时弱化概率小所对应的特征信息。本示例中将同一人的容易识别的高质量人脸图像样本和难识别的低质量人脸图像样本通过动态网络的不同分支后映射成同一条特征向量，使得网络容易学习，且不易过拟合，从而提升测试时的识别效果。
本发明的第三实施方式涉及一种图像识别网络的训练方法。第三实施方式与第一实施方式的主要区别之处在于：本实施方式中该初始图像网络还包括图像质量评价网络，通过图像质量评价网络分支获取第一图像样本的评估结果。预先训练图像质量评价网络分支，通过图像质量评价网络获取第一图像样本的评估结果的流程如图4所示：
步骤301：获取第二图像训练集中第二图像样本的第一标注信息。第一标注信息用于指示第二图像样本的质量。
具体地，可以预先构建第二图像训练集，该第二图像训练集中包括不同目标对象的图像。可以为每个目标对象设置对应的标识信息，获取该目标对象的一组图像作为第二图像样本；例如，可以获取人物A的正面照、侧面照、全景照等图像作为该目标对象的第二图像样本。
同时每个目标对象的参考图像，参考图像可以是同时满足正面、无遮挡、光照良好、无模糊、人脸完整等条件的图像。每个第二图像样本上标注有第一标注信息，该第一标注信息用于指示该第二图像样本的质量。该第一标注信息可以由人工预先标注。
步骤302：根据第二图像样本的第一标注信息，对预设的图像质量评价网络分支进行训练，直至图像质量评价网络分支收敛。
该初始图像网络可以包括三个分支，分别为图像质量评价网络分支、第一网络分支和第二网络分支。根据该第二图像样本的第一标注信息，可以对预设的图像质量评价网络分支进行训练，该图像评价网络分支的收敛函数可以是通过该第二图像中的第一标注信息，对预设的图像质量网络分支进行训练得到。该图像质量评价网络分支的损失函数包括：回归损失函数和分类损失函数。例如，通过L1损失和分类损失共同进行收敛判断。直至该图像质量评价网络分支收敛，固定该收敛的图像质量评价网络分支中的各个参数。
步骤303：将第一图像样本输入收敛后的图像质量评价网络分支，得到第一图像样本的评估结果。
在图像质量网络分支收敛后，可以将第一图像样本输入收敛后的图像质量评价网络分支，该图像质量评价网络分支输出该第一图像样本的评估结果。
步骤304：将第一图像样本输入预设的初始图像网络的第一网络分支和第二网络分支进行特征提取，得到第一图像样本的第一特征信息和第二特征信息，第一网络分支和第二网络分支分别用于对不同质量的图像进行特征提取。
步骤305：根据评估结果将第一特征信息和第二特征信息进行融合，生成融合特征，以便基于融合特征和预设的收敛条件，优化第一网络分支的参数和第二网络分支的参数直至得到收敛的初始图像网络作为图像识别网络。
在固定该收敛的图像质量评价网络分支中的各个参数后，再同时对第一网络分支和第二网络分支进行训练，训练的过程304至305与上述步骤102至103大致相同，此处将不再赘述。
以训练用于人脸识别的图像识别网络为例，该人脸识别网络的训练的示意图如图5所示，该初始图像网络包括图像质量评价网络分支、第一网络分支和第二网络分支。若图像质量网络分支的参数固定之后，输入的数据为第一图像样本，该第一图像样本同时通过第一网络分支、第二网络分支和该图像质量评价网络分支，得到该第一图像样本的评估结果、第一特征信息和第二特征信息，通过获取的评估结果，将第一特征信息和第二特征信息进行融合，生成融合特征，对融合特征进行分类，获得分类结果，根据分类结果和分类损失函数，判断该初始图像网络是否收敛，若未收敛，则调整第一网络分支的参数和第二网络分支的参数，并对下一张第一图像样本进行处理。
本实施例中，初始图像网络中还包括图像质量评价网络分支，在该图像质量评价网络分支训练完成之后，即可通过该图像质量评价网络获取第一图像训练集中的各第一图像样本的评估结果，无需人工对该第一图像样本进行标注，减少人工的参与，通过图像质量评价网络分支来指导图像自适应融合两个分支的特征，提高获取第一图像样本的评估结果的速度。
本发明的第四实施方式涉及一种图像识别网络的训练方法。本实施方式是对第三实施方式的进一步改进，主要改进之处在于，根据预设的识别网络对第二图像样本和参考图像进行特征提取，进而根据提取的特征信息对第二图像样本进行标注。其流程如图6所示：
步骤401：根据第二图像样本的第二标注信息，获取目标对象对应的参考图像，第二标注信息用于指示第二图像样本中的目标对象。
具体地，第二图像样本上标注有第二标注信息，第二标注信息用于指示第二图像样本中的目标对象，例如：可以为目标对象的名称。根据该第二标注信息可以在图像库中查询该目标对象的参考图像。或者，可以在该目标对象的第二图像样本中选取满足质量最好的图像作为该目标对象的参考图像。
步骤402：将每个第二图像样本和对应的参考图像输入预设的识别网络，获取第二图像样本的第三特征信息以及参考图像的参考特征信息。
具体地，可以预先获取一个训练完成的识别网络，该识别网络用于识别图像中的目标对象，该识别网络可以采用传统的图像识别网络的训练方式进行训练，即可以根据标注有第二标注信息的图像样本进行深度神经网络的训练，得到该识别网络。
利用该识别网络，可以提取到该第二图像样本的第三特征信息以及该参考图像的参考特征信息。
步骤403：获取第三特征信息与参考特征信息之间的相似度作为第二图像样本的第一标注信息。
具体地，可以获取第三特征信息与参考特征信息之间的相似度，该相似度的范围可以在0~1之间。
本实施例中，通过网络识别该第二图像样本的第三特征信息以及对应的参考图像的参考特征信息，可以由设备计算出相似度，对第二图像样本标注第一标注信息，由于无需人工标注第一标注信息，提高对第二图像样本标注第一标注信息的速度和准确度。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第五实施方式涉及一种电子设备，该电子设备的结构如图7所示，包括：至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行上述的图像识别网络的训练方法。
其中，存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
本发明第六实施方式涉及一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的图像识别网络的训练方法。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (10)
1.一种图像识别网络的训练方法，其特征在于，包括：
获取第一图像训练集中第一图像样本的评估结果，所述评估结果用于表征所述第一图像样本的质量；
将所述第一图像样本输入预设的初始图像网络的第一网络分支和第二网络分支进行特征提取，得到所述第一图像样本的第一特征信息和第二特征信息，所述第一网络分支用于对高质量的图像进行特征提取，所述第二网络分支用于对低质量的图像进行特征提取；
根据所述评估结果确定所述第一特征信息的第一融合权重以及所述第二特征信息的第二融合权重，其中，与所述评估结果指示的质量对应的网络分支输出的特征信息的融合权重高于或等于另一个网络分支输出的特征信息的融合权重；
根据所述第一融合权重、所述第二融合权重、所述第一特征信息、所述第二特征信息和预设的融合表达式，生成融合特征，以便基于所述融合特征和预设的收敛条件，优化所述第一网络分支的参数和所述第二网络分支的参数直至得到收敛的所述初始图像网络作为图像识别网络。
2.根据权利要求1所述的图像识别网络的训练方法，其特征在于，所述初始图像网络中还包括图像质量评价网络分支，所述方法还包括：
获取第二图像训练集中第二图像样本的第一标注信息，所述第一标注信息用于指示所述第二图像样本的质量；
根据所述第二图像样本的第一标注信息，对预设的图像质量评价网络分支进行训练，直至所述图像质量评价网络分支收敛；
所述获取第一图像训练集中第一图像样本的评估结果，包括：
将所述第一图像样本输入收敛后的所述图像质量评价网络分支，得到第一图像样本的评估结果。
3.根据权利要求2所述的图像识别网络的训练方法，其特征在于，在所述获取第二图像训练集中第二图像样本的第一标注信息之前，所述方法还包括：
根据所述第二图像样本的第二标注信息，获取目标对象对应的参考图像，所述第二标注信息用于指示所述第二图像样本中的目标对象；
将每个所述第二图像样本和对应的所述参考图像输入预设的识别网络，获取所述第二图像样本的第三特征信息以及所述参考图像的参考特征信息；
获取所述第三特征信息与所述参考特征信息之间的相似度作为所述第二图像样本的第一标注信息。
4.根据权利要求1至3中任一项所述的图像识别网络的训练方法，其特征在于，所述根据所述评估结果确定所述第一特征信息的第一融合权重以及所述第二特征信息的第二融合权重，包括：
根据所述评估结果和预设的第一概率表达式，获取所述第一特征信息为第一质量的概率作为第一概率；
根据所述评估结果和预设的第二概率表达式，获取所述第二特征信息为第二质量的概率作为第二概率，其中，所述第一质量高于所述第二质量；
根据预设的权重表达式、所述第一概率和所述第二概率，确定所述第一特征信息的第一融合权重和所述第二特征信息的第二融合权重。
5.根据权利要求4所述的图像识别网络的训练方法，其特征在于，所述融合表达式表示为：F = normalize ( normalize(f1) * W1 + normalize(f2) * W2)；
其中，normalize表征归一化处理，f1表征所述第一特征信息，W1表征所述第一融合权重，f2表征所述第二特征信息，W2表征所述第二融合权重，F表示所述融合特征。
6.根据权利要求4所述的图像识别网络的训练方法，其特征在于，所述第一概率表达式表示为：q1=Score*Score，其中，q1表示所述第一概率，Score表示所述评估结果；
所述第二概率表达式表示为：q2=(1-Score)*(1-Score)，其中，所述q2表示所述第二概率。
7.根据权利要求2所述的图像识别网络的训练方法，其特征在于，所述图像质量评价网络分支的损失函数包括：回归损失函数和分类损失函数；用于训练所述第一网络分支和所述第二网络分支的损失函数为分类损失函数。
8.根据权利要求1所述的图像识别网络的训练方法，其特征在于，在所述将所述第一图像样本输入预设的初始图像网络的第一网络分支和第二网络分支进行特征提取，得到所述第一图像样本的第一特征信息和第二特征信息之前，所述方法还包括：
对所述第一图像样本进行图像裁切和/或图片归一化处理。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-8任一所述的图像识别网络的训练方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的图像识别网络的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110575536.6A CN113033525B (zh) | 2021-05-26 | 2021-05-26 | 图像识别网络的训练方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110575536.6A CN113033525B (zh) | 2021-05-26 | 2021-05-26 | 图像识别网络的训练方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113033525A CN113033525A (zh) | 2021-06-25 |
| CN113033525B true CN113033525B (zh) | 2021-08-13 |
Family
ID=76455795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110575536.6A Active CN113033525B (zh) | 2021-05-26 | 2021-05-26 | 图像识别网络的训练方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033525B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780526B (zh) * | 2021-08-30 | 2022-08-05 | 合肥的卢深视科技有限公司 | 人脸识别网络训练的方法、电子设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6895104B2 (en) * | 2001-02-16 | 2005-05-17 | Sac Technologies, Inc. | Image identification system |
| CN107944458A (zh) * | 2017-12-08 | 2018-04-20 | 北京维大成科技有限公司 | 一种基于卷积神经网络的图像识别方法和装置 |
| CN112668637B (zh) * | 2020-12-25 | 2023-05-23 | 苏州科达科技股份有限公司 | 网络模型的训练方法、识别方法、装置及电子设备 |
| CN112560791B (zh) * | 2020-12-28 | 2022-08-09 | 苏州科达科技股份有限公司 | 识别模型的训练方法、识别方法、装置及电子设备 |
-
2021
- 2021-05-26 CN CN202110575536.6A patent/CN113033525B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113033525A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112990432B (zh) | 目标识别模型训练方法、装置及电子设备 | |
| CN111310808B (zh) | 图片识别模型的训练方法、装置、计算机系统及存储介质 | |
| WO2018121690A1 (zh) | 对象属性检测、神经网络训练、区域检测方法和装置 | |
| CN108197670B (zh) | 伪标签生成模型训练方法、装置及伪标签生成方法及装置 | |
| CN108304876B (zh) | 分类模型训练方法、装置及分类方法及装置 | |
| CN108460415B (zh) | 一种语种识别方法 | |
| CN110569700B (zh) | 优化损伤识别结果的方法及装置 | |
| EP3989104A1 (en) | Facial feature extraction model training method and apparatus, facial feature extraction method and apparatus, device, and storage medium | |
| CN111310846A (zh) | 一种选取样本图像的方法、装置、存储介质和服务器 | |
| CN111126514A (zh) | 图像多标签分类方法、装置、设备及介质 | |
| CN113111968B (zh) | 图像识别模型训练方法、装置、电子设备和可读存储介质 | |
| CN114241505B (zh) | 化学结构图像的提取方法、装置、存储介质及电子设备 | |
| CN110956615A (zh) | 图像质量评估模型训练方法、装置、电子设备及存储介质 | |
| CN115661615A (zh) | 一种图像识别模型的训练方法、装置及电子设备 | |
| CN111753873A (zh) | 一种图像检测方法和装置 | |
| CN113763348A (zh) | 图像质量确定方法、装置、电子设备及存储介质 | |
| CN113033525B (zh) | 图像识别网络的训练方法、电子设备及存储介质 | |
| CN115393625A (zh) | 从粗略标记进行图像分段的半监督式训练 | |
| CN113255501B (zh) | 生成表格识别模型的方法、设备、介质及程序产品 | |
| CN113344028A (zh) | 乳腺超声序列图像分类方法及装置 | |
| CN116152576B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN115620083A (zh) | 模型训练方法、人脸图像质量评价方法、设备及介质 | |
| CN114913513A (zh) | 一种公章图像的相似度计算方法、装置、电子设备和介质 | |
| JP2023069083A (ja) | 学習装置、学習方法、学習プログラム、物体検出装置、物体検出方法、物体検出プログラム、学習支援システム、学習支援方法及び学習支援プログラム | |
| CN113569934B (zh) | Logo分类模型构建方法、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210625 Assignee: Anhui Xingtai Financial Leasing Co.,Ltd. Assignor: Hefei lushenshi Technology Co.,Ltd. Contract record no.: X2022980006062 Denomination of invention: Training method, electronic equipment and storage medium of image recognition network Granted publication date: 20210813 License type: Exclusive License Record date: 20220523 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Training method, electronic equipment and storage medium of image recognition network Effective date of registration: 20220525 Granted publication date: 20210813 Pledgee: Anhui Xingtai Financial Leasing Co.,Ltd. Pledgor: Hefei lushenshi Technology Co.,Ltd. Registration number: Y2022980006214 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20230719 Granted publication date: 20210813 Pledgee: Anhui Xingtai Financial Leasing Co.,Ltd. Pledgor: Hefei lushenshi Technology Co.,Ltd. Registration number: Y2022980006214 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| EC01 | Cancellation of recordation of patent licensing contract |
Assignee: Anhui Xingtai Financial Leasing Co.,Ltd. Assignor: Hefei lushenshi Technology Co.,Ltd. Contract record no.: X2022980006062 Date of cancellation: 20230720 |
|
| EC01 | Cancellation of recordation of patent licensing contract | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230809 Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province Patentee after: Hefei lushenshi Technology Co.,Ltd. Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD. Patentee before: Hefei lushenshi Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |