CN110942072A - 基于质量评估的质量分、检测模型训练、检测方法及装置 - Google Patents
基于质量评估的质量分、检测模型训练、检测方法及装置 Download PDFInfo
- Publication number
- CN110942072A CN110942072A CN201911415392.7A CN201911415392A CN110942072A CN 110942072 A CN110942072 A CN 110942072A CN 201911415392 A CN201911415392 A CN 201911415392A CN 110942072 A CN110942072 A CN 110942072A
- Authority
- CN
- China
- Prior art keywords
- quality
- detection
- model
- quality score
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 188
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 274
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims description 80
- 238000001303 quality assessment method Methods 0.000 claims description 33
- 238000002372 labelling Methods 0.000 claims description 19
- 230000005764 inhibitory process Effects 0.000 claims description 17
- 230000001629 suppression Effects 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 15
- 238000013145 classification model Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004807 localization Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 21
- 238000012360 testing method Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000005290 field theory Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 102220037952 rs79161998 Human genes 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于质量评估的质量分、检测模型训练、检测方法及装置，涉及图像处理技术领域，包括：获取训练集图像和每个所述训练集图像对应的质量分，所述质量分根据多峰打分规则确定；将所述训练集图像输入所述质量分模型，确定每个所述训练集图像的预测分；根据所述质量分和所述预测分确定损失函数的值；根据所述损失函数的值调整所述质量分模型的参数直至满足收敛条件，完成对所述质量分模型的训练。本发明通过多峰打分规则确定各训练集图像的质量分，并结合训练过程中各训练集图像的预测分来确定模型的损失函数的值，使得训练得到的质量分模型可对图像的目标多峰程度进行准确打分，有利于提高图像处理的准确度。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种基于质量评估的质量分、检测模型训练、检测方法及装置。
背景技术
随着社会的发展，互联网逐渐普及到千家万户，人们每天会接收许多不同的信息，其中，视频和图像成为人们生活中最重要的数据信息来源之一。目标检测是计算机视觉领域的一个核心研究课题，其主要目的是在图像中准确定位目标存在的区域，并且判断该区域内目标所属的具体类别，然后在图像中标记出目标的检测框。目标检测在例如道路监控、航空航天、工业制造、车辆自动驾驶等领域有着广泛的应用，同时也成为近几年的研究热点。
近年来，随着深度学习和计算机硬件技术的飞速发展，目标检测技术在准确度和运算速度两个维度都取得了突破性进展。但是，在实际应用中，该技术常常伴随大量的虚警，即将某些非目标区域误认为是目标，导致目标检测结果不准确，严重影响其推广。在众多的虚警中，多峰虚警更加顽固，难以消除，或者往往通过牺牲召回率来消除。因此，如何在抑制多峰虚警的同时，保持召回率，是一个非常重要的问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题，为达上述目的，本发明第一方面的实施例提供了一种基于质量评估的质量分模型训练方法，其包括：
获取训练集图像和每个所述训练集图像对应的质量分，所述质量分根据多峰打分规则确定；
将所述训练集图像输入所述质量分模型，确定每个所述训练集图像的预测分；
根据所述质量分和所述预测分确定损失函数的值；
根据所述损失函数的值调整所述质量分模型的参数直至满足收敛条件，完成对所述质量分模型的训练。
进一步地，所述多峰打分规则包括根据每个所述训练集图像中的目标的完整度和/或唯一性进行打分。
进一步地，每个所述训练集图像的质量分根据所述多峰打分规则由人工标注。
进一步地，所述损失函数包括交叉熵或Smooth L1，其中，当所述质量分模型为分类模型时，所述损失函数为交叉熵；当所述质量分模型为回归模型时，所述损失函数为Smooth L1。
为达上述目的，本发明第二方面的实施例还提供了一种基于质量评估的质量分模型训练装置，其包括：
获取模块，用于获取训练集图像和每个所述训练集图像对应的质量分，所述质量分根据多峰打分规则确定；
处理模块，用于将所述训练集图像输入所述质量分模型，确定每个所述训练集图像的预测分；还用于根据所述质量分和所述预测分确定损失函数的值；
训练模块，用于根据所述损失函数的值调整所述质量分模型的参数直至满足收敛条件，完成对所述质量分模型的训练。
使用本发明的基于质量评估的质量分模型训练方法或装置，通过多峰打分规则确定各训练集图像的质量分作为真实值，并结合训练过程中预测的各训练集图像的预测分来确定模型的损失函数的值，使得训练得到的质量分模型可对输入图像的目标多峰程度进行准确打分。确定输入图像的多峰程度可有利于后续对图像的处理，提高图像处理的准确度。
为达上述目的，本发明第三方面的实施例提供了一种基于质量评估的检测模型训练方法，其包括：
获取含有标注信息的训练集图像，所述标注信息包括多个检测框和每个所述检测框的质量分，所述质量分通过将所述检测框输入训练好的质量分模型确定或由人工根据多峰打分规则标注，所述训练好的质量分模型采用如上所述的基于质量评估的质量分模型训练方法进行训练得到；
将所述训练集图像输入所述检测模型，确定预测框的位置、置信度和多峰质量分；
根据所述位置、所述置信度和所述多峰质量分确定损失函数的值；
根据所述损失函数的值调整所述检测模型的参数直至满足收敛条件，完成对所述检测模型的训练。
进一步地，所述损失函数包括检测定位损失函数、检测分类损失函数和多峰质量分损失函数。
为达上述目的，本发明第四方面的实施例提供了一种基于质量评估的检测模型训练装置，其包括：
获取模块，用于获取含有标注信息的训练集图像，所述标注信息包括多个检测框和每个所述检测框的质量分，所述质量分通过将所述检测框输入训练好的质量分模型确定或由人工根据多峰打分规则标注，所述质量分模型采用如上所述的基于质量评估的质量分模型训练方法进行训练得到；
处理模块，用于将所述训练集图像输入所述检测模型，确定预测框的位置、置信度和多峰质量分；还用于根据所述位置、所述置信度和所述多峰质量分确定损失函数的值；
训练模块，用于根据所述损失函数的值调整所述检测模型的参数直至满足收敛条件，完成对所述检测模型的训练。
使用本发明的基于质量评估的检测模型训练方法或装置，通过在对检测模型的训练中引入质量分，使得检测模型融合了多峰质量检测和目标检测，在不增加计算复杂度的情况下能够更加准确的评价检测模型的目标检测结果。并使用多任务损失函数对模型进行训练，保证检测模型的训练效果。
为达上述目的，本发明第五方面的实施例提供了一种基于质量评估的目标检测方法，其包括：
将待检测图像输入检测模型，确定所述待检测图像中检测框的位置、置信度和多峰质量分，其中，所述检测模型采用如上所述的基于质量评估的检测模型训练方法进行训练得到；
根据所述检测框的位置、置信度和多峰质量分判断是否满足多峰抑制条件，删去不满足所述多峰抑制条件的检测框；
对满足所述多峰抑制条件的检测框进行非极大抑制处理；
输出检测框和对应的置信度。
进一步地，所述多峰抑制条件包括所述检测框的得分大于第一预设阈值，所述得分根据所述检测框的置信度和多峰质量分确定，还包括所述检测框的置信度大于第二预设阈值。
为达上述目的，本发明第六方面的实施例提供了一种基于质量评估的目标检测装置，其包括：
输入模块，用于将待检测图像输入检测模型，确定所述待检测图像中检测框的位置、置信度和多峰质量分，其中，所述检测模型采用如上所述的基于质量评估的检测模型训练方法进行训练得到；
处理模块，用于根据所述检测框的位置、置信度和多峰质量分判断是否满足多峰抑制条件，删去不满足所述多峰抑制条件的检测框；还用于对满足所述多峰抑制条件的检测框进行非极大抑制处理；
输出模块，用于输出检测框和对应的置信度。
使用本发明的基于质量评估的目标检测方法或装置，通过使用上述基于质量评估的检测模型训练方法进行训练得到的检测模型来确定待检测图像中包含检测框的位置、置信度和多峰质量分，并根据检测框的位置、置信度和多峰质量分来制定相应的多峰抑制条件，删去不满足条件的检测框。本发明在不损失召回率的情况下，使得目标检测中的多峰虚警问题得到有效改善，提高检测的准确度。
为达上述目的，本发明第七方面的实施例提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现根据本发明第一方面所述的基于质量评估的质量分模型训练方法，或实现根据本发明第三方面所述的基于质量评估的检测模型训练方法，或实现根据本发明第五方面所述的基于质量评估的目标检测方法。
为达上述目的，本发明第八方面的实施例提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现根据本发明第一方面所述的基于质量评估的质量分模型训练方法，或实现根据本发明第三方面所述的基于质量评估的检测模型训练方法，或实现根据本发明第五方面所述的基于质量评估的目标检测方法。
根据本发明的非临时性计算机可读存储介质和计算设备，具有与根据本发明第一方面的基于质量评估的质量分模型训练方法，或与根据本发明第三方面的基于质量评估的检测模型训练方法，或与根据本发明第五方面的基于质量评估的目标检测方法具有类似的有益效果，在此不再赘述。
附图说明
图1为现有技术中的多峰虚警问题的原理示意图；
图2为根据本发明实施例的基于质量评估的质量分模型训练方法的原理示意图；
图3为根据本发明实施例中使用的训练集图像的示意图；
图4为根据本发明实施例的优化质量分模型的原理示意图；
图5为根据本发明实施例的基于质量评估的质量分模型训练装置的结构示意图；
图6为根据本发明实施例的基于质量评估的检测模型训练方法的原理示意图；
图7为根据本发明实施例的检测模型的结构示意图；
图8为根据本发明实施例的基于质量评估的检测模型训练装置的结构示意图；
图9为根据本发明实施例的基于质量评估的目标检测方法的原理示意图；
图10为根据本发明实施例的基于质量评估的目标检测装置的结构示意图；
图11为根据本发明实施例的计算设备的结构示意图。
具体实施方式
下面将参照附图详细描述根据本发明的实施例，描述涉及附图时，除非另有表示，不同附图中的相同附图标记表示相同或相似的要素。要说明的是，以下示例性实施例中所描述的实施方式并不代表本发明的所有实施方式。它们仅是与如权利要求书中所详述的、本发明公开的一些方面相一致的装置和方法的例子，本发明的范围并不局限于此。在不矛盾的前提下，本发明各个实施例中的特征可以相互组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
目前，随着计算机视觉领域理论和技术的不断快速发展，目标检测是基于计算机视觉的人工智能应用的基础组件，在视频监控、图像检索、智能家居等多个领域都有着非常重要的地位。如何提高目标检测算法的检测速度和检测准确率成为计算机视觉领域里的一个研究热点。基于传统目标检测的方法通常都是利用手工设计的特征进行后续检测，不但检测速度较慢而且算法的鲁棒性不高。基于深度学习的目标检测算法利用卷积神经网络直接提取特征，虽然避免了手工设计特征的缺陷，但是其目标的检测准确率依然有待提高。
现有的目标检测中会存在大量的虚警，其中多峰虚警更加难以抑制，大多方法会通过牺牲召回率来消除多峰虚警。本发明通过引入多峰质量分的概念来对目标检测中的多峰程度进行打分，并根据多峰质量分来进行多峰抑制，在不提升计算复杂度的情况下有效抑制多峰虚警，提高检测的准确率。
图1所示为现有技术中的多峰虚警问题的原理示意图。假设待检测图像中有两个目标(分别由图中两个椭圆表示)，在现有技术中，目标检测网络会检测出多个检测框，输出每个检测框的位置和置信度，将置信度小于阈值的检测框删去，然后对剩下的检测框进行NMS(Non-Maximum Suppression，非极大值抑制)，其目的是为了消除多余的候选框，找到最佳的物体检测位置。因为每个目标可能对应多个检测框，所以需要进行NMS尽量使每个目标对应一个检测框。NMS之后可以进入Post Filter(后置过滤器)滤掉质量较差的检测框。
在图1所示的待检测图像中，目标检测网络检测出了3个检测框(左边的S1、中间的S2和右边的S3)，其中，S2是有问题的检测框，因为其包含了两个不完整的检测目标，需要把这个检测框删去，否则会影响检测的准确度。然而有些时候，S2的置信度可能高于S1和S3，经过置信度过滤并NMS后保留下来的可能是S2而不是S1或S3。这样就会导致输出的目标是两个不完整的目标(S2框起来的部分)。当进入Post Filter时，S2可能因为质量太差而被滤掉，导致实际检测不到任何目标。因此，多峰虚警严重影响了目标检测的准确度，需要对其进行有效的抑制。
图2所示为根据本发明实施例的基于质量评估的质量分模型训练方法的原理示意图，包括步骤S21～S24。
在步骤S21中，获取训练集图像和每个所述训练集图像对应的质量分，所述质量分根据多峰打分规则确定。图3所示为本发明实施例中使用的训练集图像的示意图，所述训练集图像为将其他图像进行目标检测后获得的检测框进行裁剪得到的子图，即所述训练集图像为检测框中的检测图像。，可以理解的是，所述子图(即训练集图像)可由其他目标检测模型对图像进行检测获得的检测框形成，也可由人工裁剪形成。在本发明实施例中，每个训练集图像对应具有一个质量分，所述质量分根据多峰打分规则确定。在本发明实施例中，每个训练集图像的质量分根据多峰打分规则确定，所述多峰打分规则包括根据每个所述训练集图像中的目标的完整度进行打分。结合图3为例，图中左边的训练集图像包含了一个完整的目标，其检测的目标完整度最好，则可打1分；中间的训练集图像包含了两个不完整的目标，其目标完整度差，则打0分；右边的训练集图像中包含了较大的不完整目标和较小的不完整目标，其检测到的目标完整度优于中间的检测框，则打0.5分。
可以理解的是，上述多峰打分规则只是一个示例，并不以此为限。在本发明其他实施例中，多峰打分规则还可根据训练集图像中的目标完整度和/或唯一性打分，检测到的目标越完整度分数越高，检测到的目标数量为1的分数高。
在本发明实施例中，每个训练集图像的质量分由人工标注。本发明实施例根据多峰打分规则为每个训练集图像打分，可表征训练集图像中的多峰程度，用于对质量分模型的训练。
在步骤S22中，将所述训练集图像输入所述质量分模型，确定每个所述训练集图像的预测分。在本发明实施例中，所述质量分模型可采用现有的网络架构，例如ResNet、VGG、Xception等，将所述训练集图像输入所述质量分模型，在训练过程中预测，得到每个训练集图像对应的预测分。
在本发明实施例中，对于训练集中的图像，将其质量分记为label(标签值)，作为Ground Truth(真实值，下文简称GT)来对所述质量分模型进行训练，在训练过程中会得到每个训练集图像的预测分，记为pred(预测值)。
在步骤S23中，根据所述质量分和所述预测分确定损失函数的值。在本发明实施例中，所述损失函数包括交叉熵或Smooth L1，其中，当所述质量分模型为分类模型时，所述损失函数为交叉熵；当所述质量分模型为回归模型时，所述损失函数为Smooth L1，使用上述损失函数可保证模型的训练效果。
可以理解的是，在本发明实施例中，根据网络架构和实际需要，所述质量分模型可为分类模型或回归模型，即其输出可以是分类或者是回归。当所述质量分模型为分类模型时，如果将质量分划分为10个等级，则相当于一个10分类问题，输出的就是10个等级中的某一个质量分等级，将输出的质量分等级作为输出的所述质量分。当所述质量分模型为回归模型时，即相当于回归一个最接近的数字作为输出的所述质量分，该结果可能是小数。
当所述质量分模型为分类模型时，所述损失函数为交叉熵。交叉熵可代表真实值和预测值的相似度，用于度量两者之间的差异性。
设真实值label和预测值pred的分布分别为f和g，则定义交叉熵的表达式为：
其中，E(·)表示期望。
由上式可知，D(f(x)||g(x))≥0，因为交叉熵是一个下凸函数，所以当且仅当f(x)＝g(x)时，D(f(x)||g(x))＝0。因此交叉熵表征的是真实值和预测值的相似程度。当真实值label和预测值pred越相似时，损失函数的值(即交叉熵)越小。
当所述质量分模型为回归模型时，所述损失函数为Smooth L1。Smooth L1 loss能从两个方面限制梯度：当预测值与GT差别过大时，梯度值不至于过大；当预测值与GT差别很小时，梯度值足够小。
在本发明实施例中，根据检测框的label和pred，可确定损失函数的值。
在步骤S24中，根据所述损失函数的值调整所述质量分模型的参数直至满足收敛条件，完成对所述质量分模型的训练。在本发明实施例中，所述收敛条件包括损失函数的值足够小或迭代次数epoch达到200次。当满足上述收敛条件后，固定所述质量分模型的参数，完成对所述质量分模型的训练。
可以理解的是，在本发明实施例中，还可包括对所述质量分模型的优化步骤。图4所示为根据本发明实施例的优化质量分模型的原理示意图。包括利用测试集来对上述训练好的质量分网络进行测试，并判断其输出是否符合预期：例如人为标注打分后对测试集中的图像按质量分数从高到底进行排序，通过质量分模型打分后对测试集中的图像按分数从高到底排序，看两种排序是否相同。若对质量分模型的输出结果不满意，则可适当调整多峰打分规则进行训练，以获得最优化的模型训练结果(例如根据排序结果，从用A、B、C三种多峰打分规则训练出的质量分模型中选择出一种最优化的模型)。
采用本发明实施例的基于部件分割的识别模型训练方法，通过多峰打分规则确定各训练集图像的质量分作为真实值，并结合训练过程中预测的各训练集图像的预测分来确定模型的损失函数的值，使得训练得到的质量分模型可对输入图像的目标多峰程度进行准确打分。确定输入图像的多峰程度可有利于后续对图像的处理，提高图像处理的准确度。
本发明第二方面的实施例还提供了一种基于质量评估的质量分模型训练装置。图5所示为根据本发明实施例的基于质量评估的质量分模型训练装置500的结构示意图，包括获取模块501、处理模块502以及训练模块503。
获取模块501用于获取训练集图像和每个所述训练集图像对应的质量分，所述质量分根据多峰打分规则确定。
处理模块502用于将所述训练集图像输入所述质量分模型，确定每个所述训练集图像的预测分；还用于根据所述质量分和所述预测分确定损失函数的值。
训练模块503用于根据所述损失函数的值调整所述质量分模型的参数直至满足收敛条件，完成对所述质量分模型的训练。
所述基于质量评估的质量分模型训练装置500的各个模块的更具体实现方式可以参见对于本发明的基于质量评估的质量分模型训练方法的描述，且具有与之相似的有益效果，在此不再赘述。
本发明第三方面的实施例提出了一种基于质量评估的检测模型训练方法。图6所示为根据本发明实施例的基于质量评估的检测模型训练方法的原理示意图，包括步骤S61～S64。
在步骤S61中，获取含有标注信息的训练集图像，所述标注信息包括多个检测框和每个所述检测框的质量分，在本发明实施例中，训练集图像中的检测框可由人工标注，或由其他训练好的目标检测模型得出。所述质量分通过将所述检测框对应的训练集图像剪裁出来，输入训练好的质量分模型确定，所述训练好的质量分模型采用如上所述的基于质量评估的质量分模型训练方法进行训练得到。或者，所述质量分由人工根据多峰打分规则标注。标注信息包括检测框，意味着标注信息中包括了检测框的位置(例如4个顶点的位置)，或者标注信息包括了检测框的位置和分类(检测框中目标的类别，如人、机动车、非机动车等)。
在步骤S62中，将所述训练集图像输入所述检测模型，获得预测框的位置、置信度和多峰质量分。在本发明实施例中，所述检测模型融合了质量分模型和目标检测模型。可以理解的是，所述检测模型也可采用现有的网络架构。
图7所示为根据本发明实施例的检测模型的结构示意图，该检测模型基于典型的单级(one-stage)目标检测网络，参见图中B1(backbone骨干网络)、B2(卷积层)、B3(卷积层)、B4(卷积层)、B6(输出)和B7(输出)，主要区别在于，增加了B5(卷积层)和B8(输出)，用来预测检测框的多峰质量分，从而能够同时输出检测框位置(B6)、检测框置信度(B7)和检测框多峰质量分(B8)。
在步骤S63中，根据所述位置、所述置信度、所述多峰质量分和所述标注信息确定损失函数的值。
通过预设规则，可以确定与某个预测框对应的检测框，例如将于某个预测框IOU最大的检测框作为该预测框对应的检测框。根据预测框的位置、多峰质量分和其对应的检测框的位置、质量分确定损失函数的值。在本发明实施例中，采用的损失函数为多任务损失函数。当标注信息包括检测框的位置和质量分时，多任务损失函数包括检测定位损失函数(用于表征预测框的位置和标注信息中检测框位置的差异)和多峰质量分损失函数(用于表征多峰质量分和标注信息中质量分的差异)；当标注信息包括检测框的位置、分类和质量分时，多任务损失函数包括检测定位损失函数(用于表征预测框的位置和标注信息中检测框位置的差异)、检测分类损失函数(用于表征预测框的分类和标注信息中检测框分类的差异，此时，步骤S62中，将所述训练集图像输入所述检测模型，还获得预测框的分类)和多峰质量分损失函数(用于表征多峰质量分和标注信息中质量分的差异)。
以下给出一个损失函数的具体示例，但并不以此为限。
Total Loss＝detection cls loss+α*detection reg loss+β*quality loss
其中，detection cls loss表示检测分类损失函数，detection reg loss表示检测定位损失函数，quality loss表示多峰质量分损失函数，α和β表示权重因子，为可调节的超参数。
在本发明实施例中，所述检测分类损失函数使用交叉熵，所述检测定位损失函数使用Smooth L1，所述多峰质量分损失函数使用L2或Smooth L1。使用上述损失函数可保证对检测模型的训练效果。可以理解的是，上述损失函数的种类只是给出的一个具体示例，并不以此为限。
在步骤S64中，根据所述损失函数的值调整所述检测模型的参数直至满足收敛条件，完成对所述检测模型的训练。在一例中，可根据检测框位置对应的损失函数的值更新图7中B1、B2和B3的参数；根据检测框分类对应的损失函数的值更新图7中B1、B2和B4的参数；根据质量分对应的损失函数的值更新图7中B1、B2和B5的参数。
在本发明实施例中，所述收敛条件包括当所述损失函数的值足够小或训练迭代次数达到预设次数。当满足上述收敛条件后，固定所述检测模型的参数，完成对所述检测模型的训练。
本发明实施例的基于质量评估的检测模型训练方法，通过引进质量分加入对检测模型的训练中，使得检测模型融合了多峰质量检测和目标检测，可输出检测框的位置、置信度和多峰质量分。在不增加计算复杂度的情况下提高了检测模型对输入图像处理的效率。并使用多任务损失函数对模型进行训练，保证检测模型的训练效果。
本发明第四方面的实施例提出了一种基于质量评估的检测模型训练装置。图8所示为根据本发明实施例的基于质量评估的检测模型训练装置800的结构示意图，包括获取模块801、处理模块802以及训练模块803。
获取模块801用于获取含有标注信息的训练集图像，所述标注信息包括多个检测框和每个所述检测框的质量分，所述质量分通过将所述检测框输入训练好的质量分模型确定或由人工根据多峰打分规则标注，所述质量分模型采用如上所述的基于质量评估的质量分模型训练方法进行训练得到。
处理模块802用于将所述训练集图像输入所述检测模型，确定预测框的位置、置信度和多峰质量分；还用于根据所述位置、所述置信度和所述多峰质量分确定损失函数的值。
训练模块803用于根据所述损失函数的值调整所述检测模型的参数直至满足收敛条件，完成对所述检测模型的训练。
所述基于质量评估的检测模型训练装置800的各个模块的更具体实现方式可以参见对于本发明的基于质量评估的检测模型训练方法的描述，且具有与之相似的有益效果，在此不再赘述。
本发明第五方面的实施例提出了一种基于质量评估的目标检测方法。图9所示为根据本发明实施例的基于质量评估的目标检测方法的原理示意图，包括步骤S91～S94。
在步骤S91中，将待检测图像输入检测模型，确定所述待检测图像中检测框的位置、置信度和多峰质量分，其中，所述检测模型采用如上所述的基于质量评估的检测模型训练方法进行训练得到。在本发明实施例中，根据上述训练好的检测模型来确定待检测图像中的检测框的位置、置信度和多峰质量分，便于后续图像处理中对多峰虚警问题进行抑制，可有效提高对输入图像进行目标检测的质量。
在步骤S92中，根据所述检测框的位置、置信度和多峰质量分判断是否满足多峰抑制条件，删去不满足所述多峰抑制条件的检测框。其中，所述多峰抑制条件包括所述检测框的得分大于第一预设阈值，所述得分根据所述检测框的置信度和多峰质量分确定，还包括所述检测框的置信度大于第二预设阈值。下文给出一种可能的判断检测框得分是否满足多峰抑制条件的示例，但并不以此为限：
输入：检测框位置(S11)、检测框置信度(S12)，检测框多峰质量分(S13)，阈值th
规则：
a)将S13变换到0至1之间，0代表有明显多峰，1代表完全无多峰
b)检测框得分score＝S12×S13
c)判断检测框得分是否满足多峰抑制条件，输出满足条件的检测框位置和得分
S11＝S11[score>th]，score＝score[score>th]
输出：S11和score
在本发明实施例中，使用多峰质量分作为置信度的权重进行计算。对于如图1中所示的检测框S2，其多峰质量分会很低(例如0.1)。虽然其置信度高，但是经过多峰质量分进行权重计算后，S2的得分(score)还是很低的，使得检测框S2容易在后续处理步骤中容易被去掉。由此，在本发明实施例中，将得分低的检测框删去，而不是将置信度低的检测框删去，通过融合多峰质量分和置信度，实现对多峰虚警的有效抑制。
在步骤S93中，对满足所述多峰抑制条件的检测框进行非极大抑制(NMS)处理。在本发明实施例中，使用目标检测中常用的NMS方法对检测框进行后续处理，其目的是为了消除多余的候选框，找到最佳的物体检测位置，有效提高目标检测的准确度。
在步骤S94中，输出检测框和对应的置信度。在本发明实施例中，将经过上述各步骤处理后保留的检测框和其对应的置信度输出，完成对待检测图像的目标检测全流程。
本发明实施例的基于质量评估的目标检测方法，通过使用上述基于质量评估的检测模型训练方法进行训练得到的检测模型来确定待检测图像中包含检测框的位置、置信度和多峰质量分，并根据检测框的位置、置信度和多峰质量分来制定相应的多峰抑制条件，删去不满足条件的检测框。本发明在不损失召回率的情况下，使得目标检测中的多峰虚警问题得到有效改善，提高检测的准确度。
本发明第六方面的实施例提出了一种基于质量评估的目标检测装置。图10所示为根据本发明实施例的基于质量评估的目标检测装置1000的结构示意图，包括输入模块1001、处理模块1002以及输出模块1003。
输入模块1001用于将待检测图像输入检测模型，确定所述待检测图像中检测框的位置、置信度和多峰质量分，其中，所述检测模型采用如上所述的基于质量评估的检测模型训练方法进行训练得到。
处理模块1002用于根据所述检测框的位置、置信度和多峰质量分判断是否满足多峰抑制条件，删去不满足所述多峰抑制条件的检测框；还用于对满足所述多峰抑制条件的检测框进行非极大抑制处理。
输出模块1003用于输出检测框和对应的置信度。
所述基于质量评估的目标检测装置1000的各个模块的更具体实现方式可以参见对于本发明的基于质量评估的目标检测方法的描述，且具有与之相似的有益效果，在此不再赘述。
本发明第七方面的实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现根据本发明第一方面所述的基于质量评估的质量分模型训练方法，或实现根据本发明第三方面所述的基于质量评估的检测模型训练方法，或实现根据本发明第五方面所述的基于质量评估的目标检测方法。
一般来说，用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性地传播中的信号本身。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，特别是可以使用适于神经网络计算的Python语言和基于TensorFlow、PyTorch等平台框架。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明第八方面的实施例提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现根据本发明第一方面所述的基于质量评估的质量分模型训练方法，或实现根据本发明第三方面所述的基于质量评估的检测模型训练方法，或实现根据本发明第五方面所述的基于质量评估的目标检测方法。
根据本发明第七、八方面的非临时性计算机可读存储介质和计算设备，可以参照根据本发明第一方面实施例或第三方面实施例或第五方面实施例具体描述的内容实现，并具有与根据本发明第一方面实施例的基于质量评估的质量分模型训练方法或第三方面实施例的基于质量评估的检测模型训练方法或第五方面实施例的基于质量评估的目标检测方法具有类似的有益效果，在此不再赘述。
图11示出了适于用来实现本公开的实施方式的示例性计算设备的框图。图11显示的计算设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示，计算设备12可以通用计算设备的形式实现。计算设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性的计算机可读存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图中未显示，通常称为“硬盘驱动器”)。尽管图11中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
计算设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算设备12的其它模块通信。要说明的是，尽管图中未示出，可以结合计算设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
本发明的计算设备可以是服务器，也可以有限算力的终端设备。
尽管上面已经示出和描述了本发明的实施例，应当理解的是，上述实施例是示例性的，不能解释为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (13)
1.一种基于质量评估的质量分模型训练方法，其特征在于，包括：
获取训练集图像和每个所述训练集图像对应的质量分，所述质量分根据多峰打分规则确定；
将所述训练集图像输入所述质量分模型，确定每个所述训练集图像的预测分；
根据所述质量分和所述预测分确定损失函数的值；
根据所述损失函数的值调整所述质量分模型的参数直至满足收敛条件，完成对所述质量分模型的训练。
2.根据权利要求1所述的基于质量评估的质量分模型训练方法，其特征在于，所述多峰打分规则包括根据每个所述训练集图像中的目标的完整度和/或唯一性进行打分。
3.根据权利要求1所述的基于质量评估的质量分模型训练方法，其特征在于，每个所述训练集图像的质量分根据所述多峰打分规则由人工标注。
4.根据权利要求1-3中任一项所述的基于质量评估的质量分模型训练方法，其特征在于，所述损失函数包括交叉熵或Smooth L1，其中，当所述质量分模型为分类模型时，所述损失函数为交叉熵；当所述质量分模型为回归模型时，所述损失函数为Smooth L1。
5.一种基于质量评估的质量分模型训练装置，其特征在于，包括：
获取模块，用于获取训练集图像和每个所述训练集图像对应的质量分，所述质量分根据多峰打分规则确定；
处理模块，用于将所述训练集图像输入所述质量分模型，确定每个所述训练集图像的预测分；还用于根据所述质量分和所述预测分确定损失函数的值；
训练模块，用于根据所述损失函数的值调整所述质量分模型的参数直至满足收敛条件，完成对所述质量分模型的训练。
6.一种基于质量评估的检测模型训练方法，其特征在于，包括：
获取含有标注信息的训练集图像，所述标注信息包括多个检测框和每个所述检测框的质量分，所述质量分通过将所述检测框输入训练好的质量分模型确定或由人工根据多峰打分规则标注，所述训练好的质量分模型采用如权利要求1-4中任一项所述的基于质量评估的质量分模型训练方法进行训练得到；
将所述训练集图像输入所述检测模型，确定预测框的位置、置信度和多峰质量分；
根据所述位置、所述置信度、所述多峰质量分和所述标注信息确定损失函数的值；
根据所述损失函数的值调整所述检测模型的参数直至满足收敛条件，完成对所述检测模型的训练。
7.根据权利要求6所述的基于质量评估的检测模型训练方法，其特征在于，所述损失函数包括检测定位损失函数和多峰质量分损失函数，或者，所述损失函数包括检测定位损失函数、检测分类损失函数和多峰质量分损失函数。
8.一种基于质量评估的检测模型训练装置，其特征在于，包括：
获取模块，用于获取含有标注信息的训练集图像，所述标注信息包括多个检测框和每个所述检测框的质量分，所述质量分通过将所述检测框输入训练好的质量分模型确定或由人工根据多峰打分规则标注，所述质量分模型采用如权利要求1-4中任一项所述的基于质量评估的质量分模型训练方法进行训练得到；
处理模块，用于将所述训练集图像输入所述检测模型，确定预测框的位置、置信度和多峰质量分；还用于根据所述位置、所述置信度、所述多峰质量分和所述标注信息确定损失函数的值；
训练模块，用于根据所述损失函数的值调整所述检测模型的参数直至满足收敛条件，完成对所述检测模型的训练。
9.一种基于质量评估的目标检测方法，其特征在于，包括：
将待检测图像输入检测模型，确定所述待检测图像中检测框的位置、置信度和多峰质量分，其中，所述检测模型采用如权利要求6-7中任一项所述的基于质量评估的检测模型训练方法进行训练得到；
根据所述检测框的位置、置信度和多峰质量分判断是否满足多峰抑制条件，删去不满足所述多峰抑制条件的检测框；
对满足所述多峰抑制条件的检测框进行非极大抑制处理；
输出检测框和对应的置信度。
10.根据权利要求9所述的基于质量评估的目标检测方法，其特征在于，所述多峰抑制条件包括所述检测框的得分大于第一预设阈值，所述得分根据所述检测框的置信度和多峰质量分确定，还包括所述检测框的置信度大于第二预设阈值。
11.一种基于质量评估的目标检测装置，其特征在于，包括：
输入模块，用于将待检测图像输入检测模型，确定所述待检测图像中检测框的位置、置信度和多峰质量分，其中，所述检测模型采用如权利要求6-7中任一项所述的基于质量评估的检测模型训练方法进行训练得到；
处理模块，用于根据所述检测框的位置、置信度和多峰质量分判断是否满足多峰抑制条件，删去不满足所述多峰抑制条件的检测框；还用于对满足所述多峰抑制条件的检测框进行非极大抑制处理；
输出模块，用于输出检测框和对应的置信度。
12.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现根据权利要求1-4中任一项所述的基于质量评估的质量分模型训练方法，或实现根据权利要求6-7中任一项所述的基于质量评估的检测模型训练方法，或实现根据权利要求9-10中任一项所述的基于质量评估的目标检测方法。
13.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现根据权利要求1-4中任一项所述的基于质量评估的质量分模型训练方法，或实现根据权利要求6-7中任一项所述的基于质量评估的检测模型训练方法，或实现根据权利要求9-10中任一项所述的基于质量评估的目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911415392.7A CN110942072B (zh) | 2019-12-31 | 2019-12-31 | 基于质量评估的质量分、检测模型训练、检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911415392.7A CN110942072B (zh) | 2019-12-31 | 2019-12-31 | 基于质量评估的质量分、检测模型训练、检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110942072A true CN110942072A (zh) | 2020-03-31 |
| CN110942072B CN110942072B (zh) | 2024-02-02 |
Family
ID=69913904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911415392.7A Active CN110942072B (zh) | 2019-12-31 | 2019-12-31 | 基于质量评估的质量分、检测模型训练、检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110942072B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476159A (zh) * | 2020-04-07 | 2020-07-31 | 哈尔滨工业大学 | 一种基于双角回归的检测模型训练、检测方法及装置 |
| CN111584044A (zh) * | 2020-05-14 | 2020-08-25 | 上海深至信息科技有限公司 | 一种标准超声图像训练集的生成方法及系统 |
| CN111626177A (zh) * | 2020-05-22 | 2020-09-04 | 深圳技术大学 | 一种pcb元件识别方法及装置 |
| CN111738083A (zh) * | 2020-05-20 | 2020-10-02 | 云知声智能科技股份有限公司 | 一种人脸识别模型的训练方法和装置 |
| CN111768005A (zh) * | 2020-06-19 | 2020-10-13 | 北京百度网讯科技有限公司 | 轻量级检测模型的训练方法、装置、电子设备及存储介质 |
| CN111783844A (zh) * | 2020-06-10 | 2020-10-16 | 东莞正扬电子机械有限公司 | 基于深度学习的目标检测模型训练方法、设备及存储介质 |
| CN112767307A (zh) * | 2020-12-28 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN112801940A (zh) * | 2020-12-31 | 2021-05-14 | 深圳市联影高端医疗装备创新研究院 | 模型评测方法、装置、设备及介质 |
| CN112801132A (zh) * | 2020-12-28 | 2021-05-14 | 泰康保险集团股份有限公司 | 一种图像处理方法和装置 |
| CN114863224A (zh) * | 2022-07-05 | 2022-08-05 | 深圳比特微电子科技有限公司 | 训练方法、图像质量检测方法、装置和介质 |
| CN115376258A (zh) * | 2022-09-26 | 2022-11-22 | 中国舰船研究设计中心 | 一种用于船舶舰船舱室的防盗报警系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008092149A2 (en) * | 2007-01-26 | 2008-07-31 | Information Resources, Inc. | Data fusion methods and systems |
| CN103885016A (zh) * | 2012-12-19 | 2014-06-25 | 西门子公司 | 相位差图的确定 |
| CN107392252A (zh) * | 2017-07-26 | 2017-11-24 | 上海城诗信息科技有限公司 | 计算机深度学习图像特征并量化感知度的方法 |
| CN108171256A (zh) * | 2017-11-27 | 2018-06-15 | 深圳市深网视界科技有限公司 | 人脸图像质评模型构建、筛选、识别方法及设备和介质 |
| CN108960087A (zh) * | 2018-06-20 | 2018-12-07 | 中国科学院重庆绿色智能技术研究院 | 一种基于多维度评估标准的人脸图像质量评估方法及系统 |
| CN109146856A (zh) * | 2018-08-02 | 2019-01-04 | 深圳市华付信息技术有限公司 | 图像质量评定方法、装置、计算机设备及存储介质 |
| CN109345522A (zh) * | 2018-09-25 | 2019-02-15 | 北京市商汤科技开发有限公司 | 一种图像质量筛选方法及装置、设备和存储介质 |
| CN109360183A (zh) * | 2018-08-20 | 2019-02-19 | 中国电子进出口有限公司 | 一种基于卷积神经网络的人脸图像质量评估方法和系统 |
| CN109409517A (zh) * | 2018-09-30 | 2019-03-01 | 北京字节跳动网络技术有限公司 | 物体检测网络的训练方法和装置 |
| CN109426756A (zh) * | 2017-09-04 | 2019-03-05 | 杭州海康威视数字技术股份有限公司 | 一种条码识别结果的查错方法及装置 |
| US20190087726A1 (en) * | 2017-08-30 | 2019-03-21 | The Board Of Regents Of The University Of Texas System | Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications |
| WO2019128646A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳励飞科技有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
| CN110443280A (zh) * | 2019-07-05 | 2019-11-12 | 北京达佳互联信息技术有限公司 | 图像检测模型的训练方法、装置及存储介质 |
| CN110532946A (zh) * | 2019-08-28 | 2019-12-03 | 长安大学 | 一种基于卷积神经网络识别绿通车车辆轴型的方法 |
-
2019
- 2019-12-31 CN CN201911415392.7A patent/CN110942072B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008092149A2 (en) * | 2007-01-26 | 2008-07-31 | Information Resources, Inc. | Data fusion methods and systems |
| CN103885016A (zh) * | 2012-12-19 | 2014-06-25 | 西门子公司 | 相位差图的确定 |
| CN107392252A (zh) * | 2017-07-26 | 2017-11-24 | 上海城诗信息科技有限公司 | 计算机深度学习图像特征并量化感知度的方法 |
| US20190087726A1 (en) * | 2017-08-30 | 2019-03-21 | The Board Of Regents Of The University Of Texas System | Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications |
| CN109426756A (zh) * | 2017-09-04 | 2019-03-05 | 杭州海康威视数字技术股份有限公司 | 一种条码识别结果的查错方法及装置 |
| CN108171256A (zh) * | 2017-11-27 | 2018-06-15 | 深圳市深网视界科技有限公司 | 人脸图像质评模型构建、筛选、识别方法及设备和介质 |
| WO2019128646A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳励飞科技有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
| CN108960087A (zh) * | 2018-06-20 | 2018-12-07 | 中国科学院重庆绿色智能技术研究院 | 一种基于多维度评估标准的人脸图像质量评估方法及系统 |
| CN109146856A (zh) * | 2018-08-02 | 2019-01-04 | 深圳市华付信息技术有限公司 | 图像质量评定方法、装置、计算机设备及存储介质 |
| CN109360183A (zh) * | 2018-08-20 | 2019-02-19 | 中国电子进出口有限公司 | 一种基于卷积神经网络的人脸图像质量评估方法和系统 |
| CN109345522A (zh) * | 2018-09-25 | 2019-02-15 | 北京市商汤科技开发有限公司 | 一种图像质量筛选方法及装置、设备和存储介质 |
| CN109409517A (zh) * | 2018-09-30 | 2019-03-01 | 北京字节跳动网络技术有限公司 | 物体检测网络的训练方法和装置 |
| CN110443280A (zh) * | 2019-07-05 | 2019-11-12 | 北京达佳互联信息技术有限公司 | 图像检测模型的训练方法、装置及存储介质 |
| CN110532946A (zh) * | 2019-08-28 | 2019-12-03 | 长安大学 | 一种基于卷积神经网络识别绿通车车辆轴型的方法 |
Non-Patent Citations (4)
| Title |
|---|
| CHEN-WEI DENG ET AL.: ""High Efficient Image Quality Assessment Model"", pages 623 - 627 * |
| 刘清: ""基于内河单幅图像的去雾算法研究"", vol. 32, no. 01, pages 84 - 90 * |
| 吴水清等: ""基于SSD的车辆目标检测"", no. 05, pages 35 - 40 * |
| 陈莉莉等: "基于离散四元数傅里叶变换的彩色图像质量评价", 《计算机科学》, vol. 45, no. 08, pages 70 - 74 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476159A (zh) * | 2020-04-07 | 2020-07-31 | 哈尔滨工业大学 | 一种基于双角回归的检测模型训练、检测方法及装置 |
| CN111476159B (zh) * | 2020-04-07 | 2023-04-07 | 哈尔滨工业大学 | 一种基于双角回归的检测模型训练、检测方法及装置 |
| CN111584044A (zh) * | 2020-05-14 | 2020-08-25 | 上海深至信息科技有限公司 | 一种标准超声图像训练集的生成方法及系统 |
| CN111584044B (zh) * | 2020-05-14 | 2023-07-14 | 上海深至信息科技有限公司 | 一种标准超声图像训练集的生成方法及系统 |
| CN111738083A (zh) * | 2020-05-20 | 2020-10-02 | 云知声智能科技股份有限公司 | 一种人脸识别模型的训练方法和装置 |
| CN111738083B (zh) * | 2020-05-20 | 2022-12-27 | 云知声智能科技股份有限公司 | 一种人脸识别模型的训练方法和装置 |
| WO2021232670A1 (zh) * | 2020-05-22 | 2021-11-25 | 深圳技术大学 | 一种pcb元件识别方法及装置 |
| CN111626177A (zh) * | 2020-05-22 | 2020-09-04 | 深圳技术大学 | 一种pcb元件识别方法及装置 |
| CN111626177B (zh) * | 2020-05-22 | 2023-11-21 | 深圳技术大学 | 一种pcb元件识别方法及装置 |
| CN111783844A (zh) * | 2020-06-10 | 2020-10-16 | 东莞正扬电子机械有限公司 | 基于深度学习的目标检测模型训练方法、设备及存储介质 |
| CN111783844B (zh) * | 2020-06-10 | 2024-05-28 | 广东正扬传感科技股份有限公司 | 基于深度学习的目标检测模型训练方法、设备及存储介质 |
| CN111768005A (zh) * | 2020-06-19 | 2020-10-13 | 北京百度网讯科技有限公司 | 轻量级检测模型的训练方法、装置、电子设备及存储介质 |
| CN111768005B (zh) * | 2020-06-19 | 2024-02-20 | 北京康夫子健康技术有限公司 | 轻量级检测模型的训练方法、装置、电子设备及存储介质 |
| CN112801132A (zh) * | 2020-12-28 | 2021-05-14 | 泰康保险集团股份有限公司 | 一种图像处理方法和装置 |
| CN112767307A (zh) * | 2020-12-28 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN112801132B (zh) * | 2020-12-28 | 2024-01-02 | 泰康同济(武汉)医院 | 一种图像处理方法和装置 |
| CN112801940A (zh) * | 2020-12-31 | 2021-05-14 | 深圳市联影高端医疗装备创新研究院 | 模型评测方法、装置、设备及介质 |
| CN114863224A (zh) * | 2022-07-05 | 2022-08-05 | 深圳比特微电子科技有限公司 | 训练方法、图像质量检测方法、装置和介质 |
| CN115376258A (zh) * | 2022-09-26 | 2022-11-22 | 中国舰船研究设计中心 | 一种用于船舶舰船舱室的防盗报警系统 |
| CN115376258B (zh) * | 2022-09-26 | 2023-12-26 | 中国舰船研究设计中心 | 一种用于船舶舰船舱室的防盗报警系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110942072B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110942072A (zh) | 基于质量评估的质量分、检测模型训练、检测方法及装置 | |
| CN111401201B (zh) | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 | |
| CN110020592B (zh) | 物体检测模型训练方法、装置、计算机设备及存储介质 | |
| CN111723786A (zh) | 一种基于单模型预测的安全帽佩戴检测方法及装置 | |
| CN110363220B (zh) | 行为类别检测方法、装置、电子设备和计算机可读介质 | |
| CN111582358B (zh) | 户型识别模型的训练方法及装置、户型判重的方法及装置 | |
| WO2020056995A1 (zh) | 语音流利度识别方法、装置、计算机设备及可读存储介质 | |
| CN112149503A (zh) | 目标事件检测方法、装置和电子设备和可读介质 | |
| CN115797736B (zh) | 目标检测模型的训练和目标检测方法、装置、设备和介质 | |
| CN117409419A (zh) | 图像检测方法、设备及存储介质 | |
| CN115272656A (zh) | 环境检测报警方法、装置、计算机设备及存储介质 | |
| CN116805387B (zh) | 基于知识蒸馏的模型训练方法、质检方法和相关设备 | |
| CN116152576B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111428589B (zh) | 一种渐变转场的识别方法及系统 | |
| CN115713731B (zh) | 拥挤场景行人检测模型构建方法及拥挤场景行人检测方法 | |
| CN116413740A (zh) | 一种激光雷达点云地面检测方法及装置 | |
| CN110728229A (zh) | 图像处理方法、装置、设备和存储介质 | |
| Susanto et al. | The implementation of intelligent systems in automating vehicle detection on the road | |
| CN116777814A (zh) | 图像处理方法、装置、计算机设备、存储介质及程序产品 | |
| CN110059591B (zh) | 运动目标区域的识别方法 | |
| CN114255377A (zh) | 一种智能货柜的差异商品检测分类方法 | |
| CN113344121A (zh) | 训练招牌分类模型和招牌分类的方法 | |
| CN112651996A (zh) | 目标检测跟踪方法、装置、电子设备和存储介质 | |
| Duan et al. | Research on defect detection method for end face of steel coil based on Faster-RCNN and YOLOv3 | |
| CN115810020B (zh) | 一种基于语义引导的由粗到细的遥感图像分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |