CN113627229B - 目标检测方法、系统、设备以及计算机存储介质 - Google Patents
目标检测方法、系统、设备以及计算机存储介质 Download PDFInfo
- Publication number
- CN113627229B CN113627229B CN202110601487.9A CN202110601487A CN113627229B CN 113627229 B CN113627229 B CN 113627229B CN 202110601487 A CN202110601487 A CN 202110601487A CN 113627229 B CN113627229 B CN 113627229B
- Authority
- CN
- China
- Prior art keywords
- index
- target detection
- evaluation
- detection model
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Evolutionary Biology (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种目标检测方法、系统、设备以及计算机存储介质,所述方法包括:获取图像;通过目标检测模型在图像中检测设定的目标对象,得到检测结果;根据检测结果执行对应操作。其中,获得目标检测模型的步骤包括:获取目标检测模型对应的评价指标体系以及评价指标体系中各层指标的指标权重;获取至少两个待选目标检测模型各底层指标的指标值;基于评价指标体系中各层指标的指标权重以及各待选目标检测模型各底层指标的指标值,采用改进的模糊综合评价算法计算各待选目标检测模型的评分值;选出评分值满足预设要求的待选目标检测模型作为目标检测模型。
Description
技术领域
本发明涉及计算机视觉技术领域,更具体地,涉及一种目标检测方法、系统、设备以及计算机存储介质。
背景技术
目标检测的任务是在静态图像(或者动态视频)中检测出感兴趣的目标对象,是计算机视觉和数字图像处理的一个热门方向,并广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域。
不同应用场景,对目标检测的性能需求也各不相同,因此,如何更好的满足应用场景对目标检测性能的要求是本领域技术人员亟待解决的问题。
发明内容
本发明实施例的一个目的是提供一种目标检测的新技术方案。
根据本发明实施例的第一方面,提供了一种目标检测方法,包括:
获取图像;
通过预设的目标检测模型在所述图像中检测设定的目标对象,得到检测结果;其中,在所述图像中存在所述目标对象的情况下,所述检测结果包括所述目标对象在所述图像中的位置信息和分类标签;
根据所述检测结果执行对应操作;
获得所述目标检测模型的步骤包括:
获取所述目标检测模型对应的评价指标体系以及所述评价指标体系中各层指标的指标权重;
获取至少两个待选目标检测模型对于所述评价指标体系中各底层指标的指标值;
遍历所述至少两个待选目标检测模型;
对于当前遍历到的当前待选目标检测模型,遍历所述当前待选目标检测模型对应的各底层指标的指标值;
对于当前遍历到的当前底层指标的指标值,基于所述当前底层指标的指标值,采用模糊综合评价算法,计算所述当前底层指标的指标值对应的隶属度矩阵;所述隶属度矩阵中各评价等级的隶属度值是基于各评价等级的隶属度函数计算得到的;
在遍历完所述当前待选目标检测模型对应的各底层指标的指标值的情况下,得到所述当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵;
基于所述评价指标体系中各层指标的指标权重以及当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵,计算当前待选目标检测模型的评分值;
在遍历完所述至少两个待选目标检测模型的情况下,根据所述至少两个待选目标检测模型的评分值,选出评分值满足预设要求的待选目标检测模型作为所述目标检测模型。
优选地,各评价等级的隶属度函数是基于所述当前底层指标的历史指标值数据构建的;
基于所述当前底层指标的历史指标值数据,构建所述各评价等级的隶属度函数,包括:
基于所述当前底层指标的历史指标值数据,拟合正态分布概率密度函数,得到所述正态分布概率密度函数的均值和方差;
基于所述均值和方差,计算各个评价等级的预设隶属度函数的第一参数;
基于所述各个评价等级的预设隶属度函数的第一参数以及获取的调节参数,得到所述各评价等级的隶属度函数;
所述当前底层指标的历史指标值数据的获取步骤包括:
获取至少10个样本目标检测模型;
采用目标检测评价数据集对所述至少10个样本目标检测模型进行测试,得到所述至少10个样本目标检测模型对应的所述当前底层指标的指标值;
将所述至少10个样本目标检测模型对应的所述当前底层指标的指标值作为所述当前底层指标的历史指标值数据。
优选地,评价等级包括:差、中、一般、良好和优秀;
基于所述均值和方差,计算各个评价等级的预设隶属度函数的第一参数,包括:
基于所述均值和方差,按照第一预设算法,计算评价等级差的预设隶属度函数的第一参数,第一预设算法的计算式如下:
μ差=μ-2σ
基于所述均值和方差,按照第二预设算法,计算评价等级中的预设隶属度函数的第一参数,第二预设算法的计算式如下:
μ中=μ-σ
基于所述均值和方差,按照第三预设算法,计算评价等级一般的预设隶属度函数的第一参数,第三预设算法的计算式如下:
μ一般=μ
基于所述均值和方差,按照第四预设算法,计算评价等级良好的预设隶属度函数的第一参数,第四预设算法的计算式如下:
μ良好=μ+σ
基于所述均值和方差,按照第五预设算法,计算评价等级优秀的预设隶属度函数的第一参数,第五预设算法的计算式如下:
μ优秀=μ+2σ
式中,μ差为评价等级差的预设隶属度函数的第一参数,μ中为评价等级中的预设隶属度函数的第一参数,μ一般为评价等级一般的预设隶属度函数的第一参数,μ良好为评价等级良好的预设隶属度函数的第一参数,μ优秀为评价等级优秀的预设隶属度函数的第一参数,μ为所述正态分布概率密度函数的均值,σ为所述正态分布概率密度函数的方差。
优选地,基于所述评价指标体系中各层指标的指标权重以及当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵,计算当前待选目标检测模型的评分值,包括:
基于所述评价指标体系中各层指标的指标权重以及当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵,计算所述评价指标体系中目标层的隶属度矩阵;
获取不同评价等级的评价权重;
基于所述评价指标体系中目标层的隶属度矩阵和不同评价等级的评价权重,计算当前待选目标检测模型的评分值。
优选地,评价指标体系中底层指标至少包括以下指标之一:准确率、召回率、信息处理速度、遮挡下的鲁棒性、伪装下的鲁棒性、光照变化下的鲁棒性、对抗下的鲁棒性、占用算力、能耗特性、训练样本量。
优选地,在获取所述目标检测模型对应的评价指标体系之前,还包括:基于所述目标检测模型的应用场景从预设的目标检测模型评价体系中筛选指标构建所述目标检测模型对应的评价指标体系。
根据本发明实施例的第二方面,提供了一种目标检测系统,包括:
图像获取模块,用于获取图像;
目标识别模块,用于通过预设的目标检测模型在所述图像中检测设定的目标对象,得到检测结果,其中,在所述图像中存在所述目标对象的情况下,所述检测结果包括所述目标对象在所述图像中的位置信息和分类标签;
执行模块,用于根据所述检测结果执行对应操作;
目标检测模型配置模块,用于获取所述目标检测模型;
所述目标检测模型配置模块包括:
第一数据获取单元,用于获取所述目标检测模型对应的评价指标体系以及所述评价指标体系中各层指标的指标权重;
第二数据获取单元,用于获取至少两个待选目标检测模型对于所述评价指标体系中各底层指标的指标值;
测评单元,用于:
遍历所述至少两个待选目标检测模型;
对于当前遍历到的当前待选目标检测模型,遍历所述当前待选目标检测模型对应的各底层指标的指标值;
对于当前遍历到的当前底层指标的指标值,基于所述当前底层指标的指标值,采用模糊综合评价算法,计算所述当前底层指标的指标值对应的隶属度矩阵;所述隶属度矩阵中各评价等级的隶属度值是基于各评价等级的隶属度函数计算得到的;
在遍历完所述当前待选目标检测模型对应的各底层指标的指标值的情况下,得到所述当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵;
基于所述评价指标体系中各层指标的指标权重以及当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵,计算当前待选目标检测模型的评分值;
在遍历完所述至少两个待选目标检测模型的情况下,根据所述至少两个待选目标检测模型的评分值,选出评分值满足预设要求的待选目标检测模型作为所述目标检测模型。
优选地,上述目标检测系统还包括:
评价体系配置模块,用于在获取所述目标检测模型对应的评价指标体系之前,基于所述目标检测模型的应用场景从预设的目标检测模型评价体系中筛选指标构建所述目标检测模型对应的评价指标体系。
根据本发明实施例的第三方面,提供了一种目标检测设备,包括处理器和存储器,所述存储器用于存储指令,所述指令用于控制所述处理器执行本发明实施例第一方面中任一项所述的目标检测方法。
根据本发明实施例的第四方面,提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序在被处理器执行时实现本发明实施例第一方面中任一项所述的目标检测方法。
本公开实施例的一个有益效果在于,根据应用场景对目标检测性能的要求获取目标检测模型对应的评价指标体系;在所述评价指标体系下,基于模糊综合评价算法,计算至少两个待选目标检测模型的评分值,其中,评分值的计算过程中,各底层指标的指标值对应的隶属度矩阵中各评价等级的隶属度值是基于各评价等级的隶属度函数计算得到的,因此,得到的各底层指标的指标值对应的隶属度矩阵更加准确,进而基于各底层指标的指标值对应的隶属度矩阵计算得到的待选目标检测模型的评分值也更加准确;待选目标检测模型的评分值反映了待选目标检测模型在应用场景进行目标检测时的检测性能,因此,在待选目标检测模型的评分值准确的基础上,基于所述评分值筛选得到的目标检测模型的检测性能就能更好的满足应用场景对的目标检测性能的要求。
通过以下参照附图对本发明的示例性实施例进行详细地描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1示出了根据本公开实施例的一种目标检测方法的示意性流程图;
图2示出了根据本公开实施例的一种目标检测模型获取方法的示意性流程图;
图3示出了根据本公开实施例的执行设定检测任务场景下目标检测模型对应的评价指标体系的示意性框图;
图4示出了根据本公开实施例的PR曲线图;
图5示出了根据本公开实施例的拟合得到的正态分布概率密度函数图像;
图6示出了根据本公开实施例的各评价等级的隶属度函数图像;
图7示出了根据本公开实施例的一种目标检测方法的示例的示意性流程图;
图8示出了根据本公开实施例的一种目标检测系统的示意性框图;
图9示出了根据本公开实施例的一种优选目标检测系统的示意性框图;
图10示出了根据本公开实施例的一种目标检测设备的示意性框图。
具体实施方式
现在将参照附图来详细描述本说明书的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本说明书的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本说明书及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
下面,参照附图描述根据本公开的各个实施例和例子。
<方法实施例>
图1为根据本公开实施例的一种目标检测方法的示意性流程图。
根据图1所示,该目标检测方法包括步骤S1100-S1400。
步骤S1100,获取图像。
具体地,图像可以是通过摄像机直接获取的图像,也可以是从视频中提取出的图像帧,还可以是从获取图像中截取出的感兴趣区域图像。
步骤S1200,通过预设的目标检测模型在所述图像中检测设定的目标对象,得到检测结果;其中,在所述图像中存在所述目标对象的情况下,所述检测结果包括所述目标对象在所述图像中的位置信息和分类标签。
具体地,设定的目标对象即目标检测任务中感兴趣的物体,例如:在执行设定检测任务中,设定的目标对象可以为设定一方的人员和/或车辆;在工厂残次品检测任务中,设定的目标对象可以是具有质量缺陷的残次产品。设定的目标对象可以是具有接近的形状和大小的结构类物体,例如人体、车辆、瓶子、建筑、马等。也可是没有固定形状和大小的非结构类物体,例如天空、草地、云朵。
具体地,目标检测模型需要完成两个关键子任务:目标分类和目标定位。目标分类任务负责判断输入的图像中是否有设定的目标对象出现,在输入的图像中存在设定的目标对象时,输出设定的目标对象的分类标签表明目标对象的类别。目标定位任务负责确定输入图像中设定的目标对象的位置和范围,在输入的图像中存在设定的目标对象时,输出目标对象的位置信息,其中,可以采用包围盒、或物体中心、或物体的闭合边界等形式表示目标对象的位置信息,通常情况下,使用方形包围盒,即Bounding Box来表示目标对象的位置信息。
步骤S1300,根据所述检测结果执行对应操作。
在本公开的一个实施例中,在执行设定检测任务的场景下,当检测结果中包括设定一方的人员和/或车辆在输入图像中的位置信息和分类标签时,执行的对应操作包括:基于设定一方的人员和/或车辆在输入图像中的位置信息,确定设定一方的人员和/或车辆在城市中的空间位置坐标。将设定一方的人员和/或车辆在城市中的空间位置坐标以及报警信号发送至侦查人员,并基于设定一方的人员和/或车辆在城市中的空间位置坐标变化对其进行追踪。
在本公开的一个实施例中,目标检测的应用场景为工厂残次品检测,在该场景下,当检测结果中包括残次品在输入图像中的位置信息和分类标签时,执行的对应操作包括:基于残次品在输入图像中的位置信息确定残次品在产线中的位置。根据残次品的分类标签确定残次品的存储位置。然后根据残次品在产品中的位置以及对应的存储位置确定将残次品输送至对应存储位置的传输路线。按照确定的传输路线将识别出的残次品转送至对应的存储位置。
该目标检测方法还包括步骤S1400,获取目标检测模型。
根据图2所示,该目标检测模型获取方法包括步骤S1410-步骤S1480。
步骤S1410,获取所述目标检测模型对应的评价指标体系以及所述评价指标体系中各层指标的指标权重。
具体地,不同的应用场景对目标检测模型的检测性能要求也不同,因此,需要根据应用场景对检测性能的要求构建目标检测模型的评价指标体系。
具体地,评价指标体系中底层指标至少包括以下指标之一:准确率、召回率、信息处理速度、遮挡下的鲁棒性、伪装下的鲁棒性、光照变化下的鲁棒性、对抗下的鲁棒性、占用算力、能耗特性、训练样本量。
在本公开的一个实施例中,目标检测模型的应用场景为执行设定检测任务。在该应用场景下,基于无人机搭载的目标检测模型对城市中的设定一方的人员和/或车辆进行检测和追踪。执行设定检测任务的应用场景对目标检测模型的检测性能具有以下几点要求:首先,最关键的是准确的发现设定一方的人员和/或车辆,因此,要求目标检测模型的检测结果具有较高的准确度。其次,当设定一方的人员和/或车辆感知到被发现后,常常会选择逃出侦察范围,为了实时追踪目标对象避免跟丢,要求目标检测模型的信息处理速度必须要快。再次,城市环境比较复杂,楼宇遮挡、光照变化强烈,且目标对象还可能进行伪装或者进行人工智能对抗,因此,要求目标检测模型的鲁棒性要好。最后,由于目标检测模型部署在无人机上,机载计算资源有限,因此,对目标检测模型的算力大小、能耗特性、小样本特征等也有严格的要求。
在本实施例中,根据执行设定检测任务的场景对目标检测模型的检测性能的上述要求,构建的执行设定检测任务的场景下目标检测模型对应的评价指标体系如图3所示。该场景下目标检测模型对应的评价指标体系包括:目标层、准则层1、准则层2 以及准则层3。目标层为该评价指标体系的首层指标,描述了决策的目的和要解决的问题。准则层描述了对目标检测模型进行评价时考虑的因素,即评价指标。其中,准则层3为该评价指标体系的底层指标。
在本实施例中,准则层1包括目标检测模型的效能指标和代价指标。准则层2 包括关联效能指标的准确度指标、信息处理速度指标和鲁棒性指标;还包括关联代价指标的占用算力指标、耗能特性指标和小样本特征指标。准则层3包括关联准确度指标的准确率指标和召回率指标;关联信息处理速度的单帧图像处理时间指标;关联鲁棒性指标的光照变换下的鲁棒性指标、遮挡下的鲁棒性指标、伪装下的鲁棒性指标以及对抗下的鲁棒性指标;关联占用算力指标的CPU使用率指标和GPU使用率指标;关联耗能特性指标的耗电量指标以及关联小样本特性指标的训练样本量指标。
在本实施例中,用户可以通过指标体系构建界面完成对应评价指标体系的构建。
具体地,在获取所述目标检测模型对应的评价指标体系之前,还可以基于目标检测模型的应用场景从预设的目标检测模型评价体系中筛选指标构建目标检测模型对应的评价指标体系。其中,预设的目标检测模型评价体系中涵盖了反映各种应用场景下对目标检测模型的检测性能要求的指标。
具体地,通常采用层次分析法确定评价指标体系中各层指标的指标权重。本申请中对各层指标的指标权重的确定方法不作具体限定。
在本公开的一个实施例中,采用层次分析法确定如图3示的评价指标体系中各层指标的指标权重,包括步骤S1411-步骤S1415。
步骤S1411,构造准则层3的判断矩阵。具体地,请多个专家分别对准则层3中各指标间的相互重要性进行评价,基于每个专家的评价结果构建一个判断矩阵。具体地,参与评分的专家数量应大于等于准则层3中评价指标的指标个数,进而可以防止因指标维度增加专家数量不够导致的判断矩阵设置不准确的问题。具体地,专家对各指标间的相互重要性进行评价时参考的评价依据如表1所示。具体地,用户可以通过判断矩阵输入界面对判断矩阵进行设定和调整。
表1:
标度 | 含义 |
1 | 表示两个因素相比,具有同样重要性 |
3 | 表示两个因素相比,一个因素比另一个因素稍微重要 |
5 | 表示两个因素相比,一个因素比另一个因素明显重要 |
7 | 表示两个因素相比,一个因素比另一个因素强烈中重要 |
9 | 表示两个因素相比,一个因素比另一个因素极端重要 |
2,4,6,8 | 上述两相邻判断的中值 |
倒数 | 因素i于j的判断aij,则因素j与i比较的判断aji=1/aij |
步骤S1412,对准则层3的各判断矩阵进行一致性检验。具体地,由于通用性指标的多样性和问题的复杂性,判断矩阵一般不能保证各指标间的相互重要性关系不存在任何矛盾,所以需要对判断矩阵进行一致性检验,使判断矩阵的一致性在可接受范围内。
具体地,一致性检验的公式如下所示:
其中,CR代表一致性指标值,CI代表判断矩阵中除最大特征值外其他特征值的负平均值,RI代表随机一致性指标。
具体地,RI计算公式如下所示:
RI=(CI1+CI2+CIi+…)/n
其中,n为判断矩阵的阶数,CIi为准则层3中第i个判断矩阵的CI值。
如果判断矩阵不满足一致性检验,需反馈对应的专家进行重新评价,调整判断矩阵,直到该判断矩阵满一致性要求。
步骤S1413,构造准则层3的综合判断矩阵。具体地,将准则层3经过一致性验证的判断矩阵进行平均,得到准则层3的综合判断矩阵。
步骤S1414,计算准则层3各指标的指标权重。具体地,对准则层3的综合判断矩阵进行求解,得到综合矩阵对应的特征值以及特征值对应的特征向量。将最大特征值的对应的特征向量进行归一化处理,得到最大特征值的对应的归一化特征向量。将归一化特征向量中的数值作为准则层3中各指标的指标权重。
步骤S1415,基于步骤S1411-步骤S1414,计算准则层2中各指标的指标权重和准则层1中各指标的指标权重,从而得到评价指标体系中各层指标的指标权重。
步骤S1420,获取至少两个待选目标检测模型对于所述评价指标体系中各底层指标的指标值。
具体地,各待选目标检测模型可以在目标检测算法上存在差异。例如,待选目标检测模型可以是基于One-Stage目标检测算法构建,这类检测算法不需要候选区域 (RegionProposal)阶段,直接产生物体的类别概率和位置坐标值,经过单次检测即可直接得到最终的检测结果,因此有着更快的检测速度,比较典型的算法如YOLO,SSD, YOLOv2,YOLOv3,Retina-Net德等。又如,待选目标检测模型可以是基于Two-Stage 目标检测算法构建,这类检测算法将检测问题划分为两个阶段,第一个阶段首先产生候选区域(RegionProposals),包含目标对象大概的位置信息,然后第二个阶段对候选区域进行分类和位置精修,这类算法的典型代表有R-CNN,Fast R-CNN,Faster R-CNN等。
具体地,各待选目标检测模型还可以在参数设置、训练方法设置等方面存在差异。本申请中对各待选目标检测模型之间的差异不作具体限定。
下面将结合一个实施例,对获取至少两个待选目标检测模型对于评价指标体系中各底层指标的指标值的步骤进行说明。
在本公开的一个实施例中,目标检测模型的应用场景为执行设定检测任务,目标检测模型对应的评价指标体系如图3示,其中,底层指标包括准确率、召回率、单帧图像处理时间、光照变换下的鲁棒性、遮挡下的鲁棒性、伪装下的鲁棒性、对抗下的鲁棒性、CPU使用率、GPU使用率、耗电量以及训练样本量。
在本实施例中,获取待选目标检测模型对于评价指标体系中各底层指标的指标值的步骤包括步骤S1421-步骤S1424。
步骤S1421,获取MS COCO数据集、光照变换数据集、遮挡数据集、伪装数据集以及对抗数据集。
具体地,MS COCO数据集是计算机视觉领域公认的目标检测评价数据集,目标主体涉及行人、车辆、自行车、手机等日常生活常见物体,该数据集由于公开特性和标准化特点,适合用来进行目标检测模型的训练和测试。
具体地,光照变换数据集、遮挡数据集、伪装数据集以及对抗数据集是根据目标检测模型在应用场景下的检测任务构建的。例如,在执行设定检测任务的场景下,目标检测模型的检测任务是对图像中的设定一方的人员和/或车辆进行检测和跟踪,则构建的光照变换数据集由不同光照条件下获取的含有设定一方的人员和/或车辆的图片以及标注数据组成。遮挡数据集由含有被遮挡的设定一方的人员和/或车辆的图片以及标注数据组成,其中,图片中的设定一方的人员可以是通过帽子,眼镜,口罩等物品对面部的部分特征进行了遮挡。伪装数据集由含有伪装后的设定一方的人员和/或车辆的图片以及标注数据组成。对抗数据集是对含有设定一方的人员和/或车辆的数据集中的图像进行处理后得到的数据集,其中,图像处理可以是在图像中加入不可察觉的噪声层。光照变换数据集、遮挡数据集、伪装数据集以及对抗数据集中至少包含5000张图像以及图像对应的标注数据。
步骤S1422,基于MS COCO数据集的测试集对待选目标检测模型进行测试。基于测试过程中的数据,得到待选目标检测模型对于评级指标体系中准确率指标、召回率指标、单帧图像处理时间指标、CPU使用率指标、GPU使用率指标、耗电量指标的指标值。
具体地,采用MS COCO数据集的测试集对待选目标检测模型进行测试,测试结束后,基于得到的TP值和FP计算准确率指标的指标值。其中,准确率指标的指标值计算式如下:
其中,True positives(TP)为正样本被正确识别为正样本的次数。Falsepositives(FP)为假的正样本,即负样本被错误识别为正样本次数。
基于得到的TP值和FN值计算召回率指标的指标值,召回率指标的指标值计算式如下:
其中,False negatives(FN):为假的负样本,即正样本被错误识别为负样本的次数。
具体地,从MS COCO数据集的测试集中选取图片,构建一个30帧/s的时长1分钟的测试视频。
基于测试视频计算单帧图像处理时间指标的指标值。该计算过程包括:利用计算机时钟统计模型统计从测试视频加载到待选目标检测模型完成对测试视频中所有图像帧的目标检测任务所用的时长。用统计时长除以测试视频包含的图像帧数,得到单帧图像的平均处理时间。
基于测试视频计算耗电量指标的指标值、CPU使用率指标的指标值及GPU使用率指标的指标值。具体地,将待选目标检测系统接入功耗测试设备,循环运行网络和测试视频,通过连接的功耗测试设备统计待选目标检测系统1小时的耗电量,作为耗电量指标的指标值。以1小时为测试时间,以1s为单位时间,从系统中获取待选目标检测模型计算进程中的CPU和GPU使用率,最终将1小时内使用情况进行单秒平均,得到CPU使用率指标的指标值和GPU使用率指标的指标值。
步骤S1423,基于光照变换数据集、遮挡数据集、伪装数据集以及对抗数据集分别对待选目标检测模型进行测试,基于测试过程中的数据,得到待选目标检测模型对于评级指标体系中光照变换下的鲁棒性指标、遮挡下的鲁棒性指标、伪装下的鲁棒性指标、对抗下的鲁棒性指标的指标值。
具体地,从光照变换数据集中筛选出1000张图片作为测试数据,基于筛选出的图片对待选目标检测模型在光照下的鲁棒性进行测试。随着输入图片的数量增加,利用上述准确率与召回率的计算式,分别计算召回率为0.1,0.2,0.3...1的过程中准确率的数值变化,构建PR(Precision-Recall)曲线图,本实施例中得到的PR曲线图如图4所示。计算PR曲线下面积,即AP(Average Precision)数值,将计算得到的AP 作为光照变换下的鲁棒性指标的指标值。其中,AP值的计算公式如下:
其中,AP为平均准确度,p(r)为PR曲线的表达式。
具体地,根据光照变换下的鲁棒性指标的指标值计算方法,计算得到遮挡下的鲁棒性指标、伪装下的鲁棒性指标、对抗下的鲁棒性指标的指标值,详细的计算过程不在赘述。
步骤S1424,获取待选目标检测模型训练过程中的样本使用量,将训练过程中的样本使用量作为训练样本量指标的指标值。
具体地,训练得到待选目标检测模型的步骤包括:基于MS COCO数据集的测试集构建第一训练集,基于第一训练集对待选目标检测模型对应的基础模型进行第一训练,得到初始待选目标检测模型。基于构建光照变换数据集、遮挡数据集、伪装数据集以及对抗数据集对初始待选目标检测模型进行第二训练,得到待选目标检测模型。
具体地,第一训练集的构建步骤包括:将MS COCO数据集的测试集分类打乱,将 80类分别提取等数额量数据,组成5级别的训练数据集,作为第一训练集。其中,第 1级别训练数据集中含有的样本量可以为1万,第2级别训练数据集中含有的样本量可以为3万,第3级别训练数据集中含有的样本量可以为5万,第4级别训练数据集中含有的样本量可以为10万,第5级别训练数据集中含有的样本量可以为20万。
具体地,基于第一训练集对待选目标检测模型对应的基础模型进行第一训练,得到初始待选目标检测模型的步骤包括:依次使用第1级别训练数据集至第5级别训练数据集对待选目标检测模型对应的基础模型进行训练,在训练过程中统计AP数值,直到AP数值达到设定阈值时,记录下使用样本量和样本量对应的样本量级别。其中,设定阈值可以是根据具体的应用场景设定的,例如,设定阈值可以为35%。
在本公开的一个实施例中,样本量级别分为6级,各样本量级别含有的样本量如表2所示。例如,得到的样本量为1.5万,则根据表2可知该样本量对应的样本量级别为2级。
表2:
等级 | 1级 | 2级 | 3级 | 4级 | 5级 | 6级 |
数量 | 1万以内 | 1万-3万 | 3万-5万 | 5万-10万 | 10万-20万 | 20万以上 |
具体地,基于使用样本量和样本量对应的样本量级别,计算训练样本量指标的指标值。具体步骤包括:设定各样本量级别对应的权重,将使用样本量乘以样本量级别对应的权重,得到训练样本量指标的指标值。
具体地,用户可以通过指标值输入界面对各待选目标检测模型对于所述评价指标体系中各底层指标的指标值进行设定。
步骤S1430,遍历所述至少两个待选目标检测模型。
步骤S1440,对于当前遍历到的当前待选目标检测模型,遍历所述当前待选目标检测模型对应的各底层指标的指标值。
步骤S1450,对于当前遍历到的当前底层指标的指标值,基于所述当前底层指标的指标值,采用模糊综合评价算法,计算所述当前底层指标的指标值对应的隶属度矩阵;所述隶属度矩阵中各评价等级的隶属度值是基于各评价等级的隶属度函数计算得到的。
在评价指标体系中,每个底层指标的指标值意义不明确,且各个指标值的数值范围不在同一尺度下(比如信息处理速度范围是0.001s到1s,而准确率是0-100%),不能直观体现待选目标检测模型的优劣,因此,考虑将评估结果放到模糊尺度内进行评判,并基于模糊综合评价算法计算得到的隶属度矩阵得到最终的评价结果。
具体地,现有技术中采用单一隶属度函数来计算隶属度矩阵中不同评价等级的隶属度值,该方法一般用于评价等级较少的情况,当评价等级增加后,用单一隶属度函数很难准确描述各评价等级的隶属度情况。为了能够更准确地描述各评价等级的隶属度情况,本申请中构建了各个评价等级对应的隶属度函数,并基于各个评价等级的隶属度函数,计算隶属度矩阵中不同评价等级的隶属度值。
具体地,以当前底层指标为例,对各个评价等级的隶属度函数的构建步骤进行说明。
在本公开的一个实施例中,当前底层指标对应的各评价等级的隶属度函数是基于当前底层指标的历史指标值数据构建的。
在本实施例中,基于所述当前底层指标的历史指标值数据,构建所述各评价等级的隶属度函数,包括步骤S1451-步骤S1453。
步骤S1451,基于所述当前底层指标的历史指标值数据,拟合正态分布概率密度函数,得到所述正态分布概率密度函数的均值和方差。
在本公开的一个实施例中,当前底层指标的历史指标值数据的获取步骤包括步骤S1451-1至步骤S1451-3。
步骤S1451-1,获取至少10个样本目标检测模型。
具体地,各样本目标检测模型可以在目标检测算法上存在差异,还可以在参数设置、训练方法设置等方面存在差异。本申请中对各样本目标检测模型之间的差异不作具体限定。
步骤S1451-2,采用目标检测评价数据集对所述至少10个样本目标检测模型进行测试,得到所述至少10个样本目标检测模型对应的当前底层指标的指标值。
具体地,目标检测评价数据集可以是PASCAL VOC数据集,可以是MS COCO数据集,还可以是ImageNet数据集,本申请中对目标检测评价数据集不作具体限定。
在本公开的一个实施例中,目标检测评价数据集为MS COCO数据集,样本目标检测模型为14个,基于MS COCO数据集对14个样本目标检测模型进行测试,得到14个样本目标检测模型对应的当前底层指标的指标值。
在本实施例中,各样本目标检测模型对应的当前底层指标的指标值的计算步骤参考步骤S1421-步骤S1424中相应底层指标的指标值计算过程,在此不在赘述。
步骤S1451-3,将所述至少10个样本目标检测模型对应的所述当前底层指标的指标值作为所述当前底层指标的历史指标值数据。
在样本目标检测模型为14个的实施例中,可以采用目标检测评价数据集对每个样本目标检测模型进行一次测试,将得到的14个当前底层指标的指标值数据作为当前底层指标的历史指标值数据。也可以采用目标检测评价数据集对每个样本目标检测模型进行N次测试,将得到的14N个当前底层指标的指标值数据作为当前底层指标的历史指标值数据。
具体地,当前底层指标的历史指标值数据服从正态分布,因此选用正态分布概率密度函数对历史指标值数据进行拟合。
在采用目标检测评价数据集对每个样本目标检测模型进行一次测试,将得到的14个当前底层指标的指标值数据作为当前底层指标的历史指标值数据的实施例中,基于得到的14个当前底层指标的历史指标值数据,拟合正态分布概率密度函数,得到正态分布概率密度函数的均值和方差。
在本实施例中,用于拟合的正态分布概率密度函数的公式如下:
其中,μ为正态分布概率密度函数的均值,σ为正态分布概率密度函数的方差, x当前底层指标的指标值,y为当前底层指标出现指标值x的概率。
在本实施例中,拟合得到的正态分布概率密度函数的图像如图5所示。
步骤S1452,基于所述均值和方差,计算各个评价等级的预设隶属度函数的第一参数。
在本公开的一个实施例中,当前底层指标的评价等级包括:差、中、一般、良好和优秀。
在本实施例中,评级等级差的预设隶属度函数的公式如下:
式中,μ差为评价等级差的预设隶属度函数的第一参数,K1为评价等级差的预设隶属度函数的调节参数,x为当前底层指标的指标值,A差(x)为指标值x在评价等级差的隶属度值,a差为设定的第一阈值。
在本实施例中,评级等级中的预设隶属度函数的公式如下:
式中,μ中为评价等级中的预设隶属度函数的第一参数,K2为评价等级中的预设隶属度函数的调节参数,x为当前底层指标的指标值,A中(x)为指标值x在评价等级中的隶属度值。
在本实施例中,评级等级一般的预设隶属度函数的公式如下:
式中,μ一般为评价等级一般的预设隶属度函数的第一参数,K3为评价等级一般的预设隶属度函数的调节参数,x为当前底层指标的指标值,A一般(x)为指标值x在评价等级一般的隶属度值。
在本实施例中,评级等级良好的预设隶属度函数的公式如下:
式中,μ良好为评价等级良好的预设隶属度函数的第一参数,K4为评价等级良好的预设隶属度函数的调节参数,x为当前底层指标的指标值,A良好(x)为指标值x在评价等级良好的隶属度值。
在本实施例中,评级等级优秀的预设隶属度函数的公式如下:
式中,μ优秀为评价等级优秀的预设隶属度函数的第一参数,K5为评价等级优秀的预设隶属度函数的调节参数,x为当前底层指标的指标值,A优秀(x)为指标值x在评价等级优秀的隶属度值,a优秀为设定的第二阈值。
在本实施例中,用户可以通过各评价等级的隶属度函数设置界面对各评价等级的预设隶属度函数进行设置和调整。
在本实施例中,基于所述均值和方差,计算各个评价等级的预设隶属度函数的第一参数,包括步骤S1452-1至步骤S1452-5。
步骤S1452-1,基于所述均值和方差,按照第一预设算法,计算评价等级差的预设隶属度函数的第一参数,第一预设算法的计算式如下:
μ差=μ-2σ
式中,μ差为评价等级差的预设隶属度函数的第一参数,μ为正态分布概率密度函数的均值,σ为正态分布概率密度函数的方差。
步骤S1452-2,基于所述均值和方差,按照第二预设算法,计算评价等级中的预设隶属度函数的第一参数,第二预设算法的计算式如下:
μ中=μ-σ
式中,μ中为评价等级中的预设隶属度函数的第一参数。
步骤S1452-3,基于所述均值和方差,按照第三预设算法,计算评价等级一般的预设隶属度函数的第一参数,第三预设算法的计算式如下:
μ一般=μ
式中,μ一般为评价等级一般的预设隶属度函数的第一参数。
步骤S1452-4,基于所述均值和方差,按照第四预设算法,计算评价等级良好的预设隶属度函数的第一参数,第四预设算法的计算式如下:
μ良好=μ+σ
式中,μ良好为评价等级良好的预设隶属度函数的第一参数。
步骤S1452-5,基于所述均值和方差,按照第五预设算法,计算评价等级优秀的预设隶属度函数的第一参数,第五预设算法的计算式如下:
μ优秀=μ+2σ
式中,μ优秀为评价等级优秀的预设隶属度函数的第一参数。
步骤S1453,基于所述各个评价等级的预设隶属度函数的第一参数以及获取的调节参数,得到所述各评价等级的隶属度函数。
在本实施例中,各评价等级的预设隶属度函数的调节参数可以均为0.01,用户还可以根据具体地应用场景通过各评价等级的隶属度函数设置界面对各预设隶属度函数的调节参数进行设置和调整。
在本公开的一个实施例中,当前底层指标的评价等级包括:差、中、一般、良好和优秀,拟合得到的正态分布概率密度函数的图像如图5所示,各评价等级的隶属度函数计算步骤参照步骤S1452,在本实施例中,得到的各评价等级的隶属度函数图像如图6所示,其中,具有正方形标记的曲线为评价等级差的隶属度函数图像,具有三角形标记的曲线为评价等级中的隶属度函数图像,具有十字标记的曲线为评价等级一般的隶属度函数图像,具有五边形标记的曲线为评价等级良好的隶属度函数图像,具有星形标记的曲线为评价等级优秀的隶属度函数图像。
在本申请中,各评价等级的隶属度函数是基于当前底层指标的历史指标值数据构建的,能够更准确地描述各评价等级的隶属度情况,提高了各指标的指标值对应的隶属度矩阵计算的准确性。
步骤S1460,在遍历完所述当前待选目标检测模型对应的各底层指标的指标值的情况下,得到所述当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵。
步骤S1470,基于所述评价指标体系中各层指标的指标权重以及当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵,计算当前待选目标检测模型的评分值的步骤包括步骤S1471-步骤S1473。
步骤S1471,基于所述评价指标体系中各层指标的指标权重以及当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵,计算所述评价指标体系中目标层的隶属度矩阵。
在本公开的一个实施例中,评价指标体系包括目标层、准则层1和准则层2。其中,准则层1为中间指标层,准则层2为底层指标层。
在本实施例中,以准则层1中的第一指标对应的隶属度矩阵计算过程为例,对准则层1中各指标对应的隶属度矩阵计算过程进行说明。
具体地,根据评价指标体系确定准则层2中与第一指标关联的指标。获取各关联指标的指标权重构建第一权重矩阵。对各关联指标的指标值对应的隶属度矩阵进行归一化处理得各关联指标的指标值对应的归一化隶属度矩阵。获取各关联指标的指标值对应的归一化隶属度矩阵构建第一综合隶属度矩阵。基于第一权重矩阵以及第一综合隶属度矩阵计算第一指标对应的隶属度矩阵。
具体地,准则层1中第一指标对应的隶属度矩阵计算式如下:
式中,A为第一权重矩阵,ap为第p个关联指标对应的指标权重,R为第一综合隶属度矩阵,rpm为第p个关联指标的指标值在评价等级m下的隶属度值,B为准则层1 中第一指标对应的隶属度矩阵,bm为准则层1中第一指标在评价等级m下的隶属度值。
具体地,采用上述步骤计算准则层1中各指标对应的隶属度矩阵。
进一步地,基于准则层1中各指标对应的隶属度矩阵构建准则层1对应的综合隶属度矩阵。基于准则层1中各指标的指标权重构建准则层1对应的权重矩阵。基于准则层1对应的综合隶属度矩阵以及准则层1对应的权重矩阵计算目标层的隶属度矩阵。
步骤S1472,获取不同评价等级的评价权重。
具体地,不同评价等级的评价权重根据应用场景设定,本申请中不做具体限定。
在本公开的一个实施例中,评价等级包括:差、中、一般、良好和优秀,其中,评价等级差的评价权重可以是20,评价等级中的评价权重可以是40,评价等级一般的评价权重可以是60,评价等级良好的评价权重可以是80,评价等级优秀的评价权重可以是100。用户可以根据应用场景通过评价权重设置界面对不同评价等级的评价权重进行设定,本申请中对各评价等级的评价权重不作具体限定。
步骤S1473,基于所述评价指标体系中目标层的隶属度矩阵和不同评价等级的评价权重,计算当前待选目标检测模型的评分值。
具体地,当前待选目标检测模型的评分值计算公式如下所示:
式中,v'为待选目标检测模型的评分值,cj为目标层隶属度矩阵中第j个评价等级的隶属度值,νj’为第j个评级等级的评价权重,m为评价等级的数量。
步骤S1480,在遍历完所述至少两个待选目标检测模型的情况下,根据所述至少两个待选目标检测模型的评分值,选出评分值满足预设要求的待选目标检测模型作为所述目标检测模型。
具体地,可以选出评分值最高的待选目标检测模型作为目标检测模型。
本申请具有两个改进点:第一,现有技术中采用单一隶属度函数来计算隶属度矩阵中不同评价等级的隶属度值,而本申请中各底层指标的指标值对应的隶属度矩阵中各评价等级的隶属度值是基于各评价等级的隶属度函数计算得到的。第二,现有技术中隶属度函数的参数由人为设置的,而本申请中各底层指标对应的各评价等级的隶属度函数参数是基于对对应指标的历史指标值数据进行统计分析后得到的。上述两个改进点使各底层指标的评估更加客观、准确,底层指标的评估准确也保障了待选目标检测模型评分值的准确性,进而基于准确的评分值可以筛选得到更符合当前应用场景的目标检测模型。
同时,在计算待选目标检测模型评分值的过程中,可以得到待选目标检测模型对于评价指标体系中各指标的评价结果。根据各指标的评价结果可以定位到待选目标检测模型的缺点,进而通过针对性修改模型结构、调整参数等方式提高待选目标检测模型的性能。
具体地,提高待选目标检测模型的在公开数据集上的准确率和召回率的方案可以是选择在公开数据集表现良好的分类网络作为待选目标检测模型的主体网络,如 ResNet网络、Inception网络等;也可以是增加待选目标检测模型主体网络的深度,学习到更多特征;还可以是增加多个检测分支,覆盖大、中、小所有检测目标。
具体地,提高待选目标检测模型信息处理速度的方案可以是对网络实施剪枝和压缩,减小网络计算量;也可以是缩小网络入口分辨率;还可以是减少网络层数。
具体地,提高待选目标检测模型遮挡、伪装、光照等鲁棒性的方案可以是增加可抵抗伪装、欺骗、对抗的仿人眼视觉层,如VoneBlock;也可以是对训练数据增强,增加旋转、平移、遮罩等各类数据增强方式,增加网络适应性。
具体地,提高待选目标检测模型算力与降低能耗的方案可以是对网络实施剪枝和压缩,减小网络计算量;可以是减少网络层数;还可以是使用更好的GPU硬件芯片。
具体地,减少待选目标检测模型训练样本数量的方案可以是增加对特征提取更加有效的人工设计层,如VoneBlock;也可以是减少网络层数,防止过拟合;还可以是在正式训练前先对主体网络进行无监督训练,再在小样本数据上进行微调,较少样本使用量。
<例子>
图7为一种目标检测方法的示例的示意性流程图。
根据图7所示,在该例子中,目标检测方法可以包括步骤S2101-步骤S2111。
步骤S2101,获取所述目标检测模型对应的评价指标体系以及所述评价指标体系中各层指标的指标权重。
步骤S2102,获取至少两个待选目标检测模型对于所述评价指标体系中各底层指标的指标值。
步骤S2103,遍历所述至少两个待选目标检测模型。
步骤S2104,对于当前遍历到的当前待选目标检测模型,遍历所述当前待选目标检测模型对应的各底层指标的指标值。
步骤S2105,对于当前遍历到的当前底层指标的指标值,基于所述当前底层指标的指标值,采用模糊综合评价算法,计算所述当前底层指标的指标值对应的隶属度矩阵;所述隶属度矩阵中各评价等级的隶属度值是基于各评价等级的隶属度函数计算得到的。
具体地,当前底层指标对应的各评价等级的隶属度函数构建步骤包括:
获取当前底层指标的历史指标值数据。在本公开的一个实施例中,当前底层指标的历史指标值数据的获取步骤包括以下步骤:获取至少10个样本目标检测模型。采用目标检测评价数据集对所述至少10个样本目标检测模型进行测试,得到所述至少10 个样本目标检测模型对应的当前底层指标的指标值。将所述至少10个样本目标检测模型对应的所述当前底层指标的指标值作为所述当前底层指标的历史指标值数据。
基于所述当前底层指标的历史指标值数据,拟合正态分布概率密度函数,得到所述正态分布概率密度函数的均值和方差。
基于所述均值和方差,计算各个评价等级的预设隶属度函数的第一参数。在本公开的一个实施例中,当前底层指标的评价等级包括:差、中、一般、良好和优秀。在本实施例中,评价等级差的预设隶属度函数的第一参数μ差=μ-2σ。评价等级中的预设隶属度函数的第一参数μ中=μ-σ。评价等级一般的预设隶属度函数的第一参数μ一般=μ。评价等级良好的预设隶属度函数的第一参数μ良好=μ+σ。评价等级优秀的预设隶属度函数的第一参数μ优秀=μ+2σ。其中,μ为正态分布概率密度函数的均值,σ为正态分布概率密度函数的方差。
基于所述各个评价等级的预设隶属度函数的第一参数以及获取的调节参数,得到所述各评价等级的隶属度函数。具体地,各评价等级的预设隶属度函数的调节参数可以均为0.01,还可以是根据具体地应用场景设置预设隶属度函数的调节参数。
步骤S2106,在遍历完所述当前待选目标检测模型对应的各底层指标的指标值的情况下,得到所述当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵。
步骤S2107,基于所述评价指标体系中各层指标的指标权重以及当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵,计算当前待选目标检测模型的评分值。
具体地,当前待选目标检测模型的评分值的步骤包括:基于所述评价指标体系中各层指标的指标权重以及当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵,计算所述评价指标体系中目标层的隶属度矩阵。获取不同评价等级的评价权重。基于所述评价指标体系中目标层的隶属度矩阵和不同评价等级的评价权重,计算当前待选目标检测模型的评分值。
在本公开的一个实施例中,当前待选目标检测模型的评分值计算公式如下所示:
式中,v'为待选目标检测模型的评分值,cj为目标层隶属度矩阵中第j个评价等级的隶属度值,ν’j为第j个评级等级的评价权重,m为评价等级的数量。
步骤S2108,在遍历完所述至少两个待选目标检测模型的情况下,根据所述至少两个待选目标检测模型的评分值,选出评分值满足预设要求的待选目标检测模型作为所述目标检测模型。
具体地,可以选出评分值最高的待选目标检测模型作为目标检测模型。
步骤S2109,获取图像。
具体地,图像可以是通过摄像机直接获取的图像,也可以是从视频中提取出的图像帧,还可以是从获取图像中截取出的感兴趣区域图像。
步骤S2110,通过步骤S2108获取的目标检测模型在步骤S2109获取图像中检测设定的目标对象,得到检测结果;其中,在所述图像中存在所述目标对象的情况下,所述检测结果包括所述目标对象在所述图像中的位置信息和分类标签。
步骤S2111,根据所述检测结果执行对应操作。
<系统实施例1>
图8为根据本公开实施例的一种目标检测系统的示意性框图。
根据图8所示,该目标检测系统3000包括:
图像获取模块3100,用于获取图像。
目标识别模块3200,用于通过预设的目标检测模型在所述图像中检测设定的目标对象,得到检测结果,其中,在所述图像中存在所述目标对象的情况下,所述检测结果包括所述目标对象在所述图像中的位置信息和分类标签;
执行模块3300,用于根据所述检测结果执行对应操作;
目标检测模型配置模块3400,用于获取所述目标检测模型。
所述目标检测模型配置模块3400包括:
第一数据获取单元3410,用于获取所述目标检测模型对应的评价指标体系以及所述评价指标体系中各层指标的指标权重;
第二数据获取单元3420,用于获取至少两个待选目标检测模型对于所述评价指标体系中各底层指标的指标值;
测评单元3430,用于:
遍历所述至少两个待选目标检测模型;
对于当前遍历到的当前待选目标检测模型,遍历所述当前待选目标检测模型对应的各底层指标的指标值;
对于当前遍历到的当前底层指标的指标值,基于所述当前底层指标的指标值,采用模糊综合评价算法,计算所述当前底层指标的指标值对应的隶属度矩阵;所述隶属度矩阵中各评价等级的隶属度值是基于各评价等级的隶属度函数计算得到的;
在遍历完所述当前待选目标检测模型对应的各底层指标的指标值的情况下,得到所述当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵;
基于所述评价指标体系中各层指标的指标权重以及当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵,计算当前待选目标检测模型的评分值;
在遍历完所述至少两个待选目标检测模型的情况下,根据所述至少两个待选目标检测模型的评分值,选出评分值满足预设要求的待选目标检测模型作为所述目标检测模型。
<系统实施例2>
图9为根据本公开实施例的一种优选地目标检测系统的示意性框图。
根据图9所示,该目标检测系统3000还包括:
评价体系配置模块3500,用于在获取所述目标检测模型对应的评价指标体系之前,基于所述目标检测模型的应用场景从预设的目标检测模型评价体系中筛选指标构建所述目标检测模型对应的评价指标体系。
<设备实施例>
图10为根据本公开实施例的一种目标检测设备的示意性框图。
根据图10所示,该目标检测设备4000包括存储器4001和处理器4002,该存储器4001用于存储指令,该指令用于控制处理器4002执行本说明书中记载任意一项目标检测方法。
除此之外,根据图10所示,该目标检测设备4000还包括接口装置4003、输入装置4004、显示装置4005、通信装置4006、扬声器4007、麦克风4008等等。尽管在图10出了多个装置,但是,本发明可以仅涉及其中的部分装置,例如,处理器4001、存储器4002、接口装置4003等。
上述通信装置4006例如能够进行有有线或无线通信。
上述接口装置4003例如包括耳机插孔、USB接口等。
上述输入装置4004例如可以包括触摸屏、按键等。
上述显示装置4005例如是液晶显示屏、触摸显示屏等。
<计算机存储介质>
在本实施例中,还提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序在被处理器执行时实现本说明书中记载任意一项目标检测方法。
本说明书可以是设备、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本说明书的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘 (DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本说明书操作的计算机程序指令可以是汇编指令、指令集架构(ISA) 指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本说明书的各个方面。
这里参照根据本说明书实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本说明书的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本说明书的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本说明书的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本说明书的范围由所附权利要求来限定。
Claims (10)
1.一种目标检测方法,其特征在于,包括:
获取图像;
通过预设的目标检测模型在所述图像中检测设定的目标对象,得到检测结果;其中,在所述图像中存在所述目标对象的情况下,所述检测结果包括所述目标对象在所述图像中的位置信息和分类标签;
根据所述检测结果执行对应操作;
获得所述目标检测模型的步骤包括:
获取所述目标检测模型对应的评价指标体系以及所述评价指标体系中各层指标的指标权重;
获取至少两个待选目标检测模型对于所述评价指标体系中各底层指标的指标值;
遍历所述至少两个待选目标检测模型;
对于当前遍历到的当前待选目标检测模型,遍历所述当前待选目标检测模型对应的各底层指标的指标值;
对于当前遍历到的当前底层指标的指标值,基于所述当前底层指标的指标值,采用模糊综合评价算法,计算所述当前底层指标的指标值对应的隶属度矩阵;所述隶属度矩阵中各评价等级的隶属度值是基于各评价等级的隶属度函数计算得到的;
在遍历完所述当前待选目标检测模型对应的各底层指标的指标值的情况下,得到所述当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵;
基于所述评价指标体系中各层指标的指标权重以及当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵,计算当前待选目标检测模型的评分值;
在遍历完所述至少两个待选目标检测模型的情况下,根据所述至少两个待选目标检测模型的评分值,选出评分值满足预设要求的待选目标检测模型作为所述目标检测模型。
2.根据权利要求1所述的方法,其特征在于,所述各评价等级的隶属度函数是基于所述当前底层指标的历史指标值数据构建的;
基于所述当前底层指标的历史指标值数据,构建所述各评价等级的隶属度函数,包括:
基于所述当前底层指标的历史指标值数据,拟合正态分布概率密度函数,得到所述正态分布概率密度函数的均值和方差;
基于所述均值和方差,计算各个评价等级的预设隶属度函数的第一参数;
基于所述各个评价等级的预设隶属度函数的第一参数以及获取的调节参数,得到所述各评价等级的隶属度函数;
所述当前底层指标的历史指标值数据的获取步骤包括:
获取至少10个样本目标检测模型;
采用目标检测评价数据集对所述至少10个样本目标检测模型进行测试,得到所述至少10个样本目标检测模型对应的所述当前底层指标的指标值;
将所述至少10个样本目标检测模型对应的所述当前底层指标的指标值作为所述当前底层指标的历史指标值数据。
3.根据权利要求2所述的方法,其特征在于,所述评价等级包括:差、中、一般、良好和优秀;
基于所述均值和方差,计算各个评价等级的预设隶属度函数的第一参数,包括:
基于所述均值和方差,按照第一预设算法,计算评价等级差的预设隶属度函数的第一参数,第一预设算法的计算式如下:
μ差=μ-2σ
基于所述均值和方差,按照第二预设算法,计算评价等级中的预设隶属度函数的第一参数,第二预设算法的计算式如下:
μ中=μ-σ
基于所述均值和方差,按照第三预设算法,计算评价等级一般的预设隶属度函数的第一参数,第三预设算法的计算式如下:
μ一般=μ
基于所述均值和方差,按照第四预设算法,计算评价等级良好的预设隶属度函数的第一参数,第四预设算法的计算式如下:
μ良好=μ+σ
基于所述均值和方差,按照第五预设算法,计算评价等级优秀的预设隶属度函数的第一参数,第五预设算法的计算式如下:
μ优秀=μ+2σ
式中,μ差为评价等级差的预设隶属度函数的第一参数,μ中为评价等级中的预设隶属度函数的第一参数,μ一般为评价等级一般的预设隶属度函数的第一参数,μ良好为评价等级良好的预设隶属度函数的第一参数,μ优秀为评价等级优秀的预设隶属度函数的第一参数,μ为所述正态分布概率密度函数的均值,σ为所述正态分布概率密度函数的方差。
4.根据权利要求1所述的方法,其特征在于,所述基于所述评价指标体系中各层指标的指标权重以及当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵,计算当前待选目标检测模型的评分值,包括:
基于所述评价指标体系中各层指标的指标权重以及当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵,计算所述评价指标体系中目标层的隶属度矩阵;
获取不同评价等级的评价权重;
基于所述评价指标体系中目标层的隶属度矩阵和不同评价等级的评价权重,计算当前待选目标检测模型的评分值。
5.根据权利要求1所述的方法,其特征在于,所述评价指标体系中底层指标至少包括以下指标之一:准确率、召回率、信息处理速度、遮挡下的鲁棒性、伪装下的鲁棒性、光照变化下的鲁棒性、对抗下的鲁棒性、占用算力、能耗特性、训练样本量。
6.根据权利要求1所述的方法,其特征在于,在获取所述目标检测模型对应的评价指标体系之前,还包括:基于所述目标检测模型的应用场景从预设的目标检测模型评价体系中筛选指标构建所述目标检测模型对应的评价指标体系。
7.一种目标检测系统,其特征在于,包括:
图像获取模块,用于获取图像;
目标识别模块,用于通过预设的目标检测模型在所述图像中检测设定的目标对象,得到检测结果,其中,在所述图像中存在所述目标对象的情况下,所述检测结果包括所述目标对象在所述图像中的位置信息和分类标签;
执行模块,用于根据所述检测结果执行对应操作;
目标检测模型配置模块,用于获取所述目标检测模型;
所述目标检测模型配置模块包括:
第一数据获取单元,用于获取所述目标检测模型对应的评价指标体系以及所述评价指标体系中各层指标的指标权重;
第二数据获取单元,用于获取至少两个待选目标检测模型对于所述评价指标体系中各底层指标的指标值;
测评单元,用于:
遍历所述至少两个待选目标检测模型;
对于当前遍历到的当前待选目标检测模型,遍历所述当前待选目标检测模型对应的各底层指标的指标值;
对于当前遍历到的当前底层指标的指标值,基于所述当前底层指标的指标值,采用模糊综合评价算法,计算所述当前底层指标的指标值对应的隶属度矩阵;所述隶属度矩阵中各评价等级的隶属度值是基于各评价等级的隶属度函数计算得到的;
在遍历完所述当前待选目标检测模型对应的各底层指标的指标值的情况下,得到所述当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵;
基于所述评价指标体系中各层指标的指标权重以及当前待选目标检测模型对应的各个所述底层指标的指标值对应的隶属度矩阵,计算当前待选目标检测模型的评分值;
在遍历完所述至少两个待选目标检测模型的情况下,根据所述至少两个待选目标检测模型的评分值,选出评分值满足预设要求的待选目标检测模型作为所述目标检测模型。
8.根据权利要求7所述的系统,其特征在于,还包括:
评价体系配置模块,用于在获取所述目标检测模型对应的评价指标体系之前,基于所述目标检测模型的应用场景从预设的目标检测模型评价体系中筛选指标构建所述目标检测模型对应的评价指标体系。
9.一种目标检测设备,其特征在于,包括处理器和存储器,所述存储器用于存储指令,所述指令用于控制所述处理器执行所述权利要求1-6任一项所述的目标检测方法。
10.一种计算机存储介质,其特征在于,其上存储有计算机程序,所述计算机程序在被处理器执行时实现如所述权利要求1-6任一项所述的目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110601487.9A CN113627229B (zh) | 2021-05-31 | 2021-05-31 | 目标检测方法、系统、设备以及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110601487.9A CN113627229B (zh) | 2021-05-31 | 2021-05-31 | 目标检测方法、系统、设备以及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113627229A CN113627229A (zh) | 2021-11-09 |
CN113627229B true CN113627229B (zh) | 2023-08-25 |
Family
ID=78378079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110601487.9A Active CN113627229B (zh) | 2021-05-31 | 2021-05-31 | 目标检测方法、系统、设备以及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113627229B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116263735A (zh) * | 2021-12-14 | 2023-06-16 | 中科南京软件技术研究院 | 神经网络的鲁棒性评估方法、装置、设备及存储介质 |
CN113918439A (zh) * | 2021-12-15 | 2022-01-11 | 云账户技术(天津)有限公司 | 一种网页页面性能的检测方法及装置 |
CN115114966B (zh) * | 2022-08-29 | 2023-04-07 | 苏州魔视智能科技有限公司 | 模型的操作策略的确定方法、装置、设备及存储介质 |
CN116189332B (zh) * | 2022-10-20 | 2024-03-19 | 开源网安物联网技术(武汉)有限公司 | 一种车辆健康评分方法、装置、电子设备以及存储介质 |
CN115410072B (zh) * | 2022-11-02 | 2024-05-31 | 广东交科检测有限公司 | 一种视频事件检测算法的测试方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109636243A (zh) * | 2019-01-03 | 2019-04-16 | 深圳壹账通智能科技有限公司 | 模型故障检测方法、装置、计算机设备以及存储介质 |
CN110968718A (zh) * | 2019-11-19 | 2020-04-07 | 北京百度网讯科技有限公司 | 目标检测模型负样本挖掘方法、装置及电子设备 |
WO2020150896A1 (zh) * | 2019-01-22 | 2020-07-30 | 深圳大学 | 视频目标的数据关联方法、装置及存储介质 |
AU2020103570A4 (en) * | 2020-11-20 | 2021-02-04 | College of Grassland and Environmental Science, Xinjiang Agricultural University | Grassland soil degradation evaluation method |
-
2021
- 2021-05-31 CN CN202110601487.9A patent/CN113627229B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109636243A (zh) * | 2019-01-03 | 2019-04-16 | 深圳壹账通智能科技有限公司 | 模型故障检测方法、装置、计算机设备以及存储介质 |
WO2020150896A1 (zh) * | 2019-01-22 | 2020-07-30 | 深圳大学 | 视频目标的数据关联方法、装置及存储介质 |
CN110968718A (zh) * | 2019-11-19 | 2020-04-07 | 北京百度网讯科技有限公司 | 目标检测模型负样本挖掘方法、装置及电子设备 |
AU2020103570A4 (en) * | 2020-11-20 | 2021-02-04 | College of Grassland and Environmental Science, Xinjiang Agricultural University | Grassland soil degradation evaluation method |
Non-Patent Citations (1)
Title |
---|
层次分析-模糊综合评价法在免疫胶体金定性快速检测产品综合性能评价中的应用;夏苏捷;李永吉;吕沈亮;潘颖;;上海预防医学(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113627229A (zh) | 2021-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113627229B (zh) | 目标检测方法、系统、设备以及计算机存储介质 | |
Nasution et al. | The Role of Faster R-CNN Algorithm in the Internet of Things to Detect Mask Wearing: The Endemic Preparations | |
CN112508044A (zh) | 人工智能ai模型的评估方法、系统及设备 | |
CN112132119A (zh) | 客流统计方法、装置、电子设备和存储介质 | |
US20150213621A1 (en) | Fire detection system and method employing digital images processing | |
CN115131283B (zh) | 目标对象的缺陷检测、模型训练方法、装置、设备及介质 | |
CN113255580A (zh) | 抛洒物识别、车辆抛洒滴漏识别方法和装置 | |
CN111145222A (zh) | 一种结合烟雾运动趋势和纹理特征的火灾检测方法 | |
CN111160100A (zh) | 一种基于样本生成的轻量级深度模型航拍车辆检测方法 | |
CN115713715A (zh) | 一种基于深度学习的人体行为识别方法及识别系统 | |
CN111414951B (zh) | 用于图像的细分类方法及装置 | |
Viraktamath et al. | Comparison of YOLOv3 and SSD algorithms | |
CN114529462A (zh) | 一种基于改进YOLO V3-Tiny的毫米波图像目标检测方法及系统 | |
CN117368862A (zh) | 一种高效气象雷达数据质量评估系统 | |
CN115761888A (zh) | 基于nl-c3d模型的塔吊操作人员异常行为检测方法 | |
CN113887455B (zh) | 一种基于改进fcos的人脸口罩检测系统及方法 | |
CN113327253B (zh) | 一种基于星载红外遥感影像的弱小目标检测方法 | |
CN114529552A (zh) | 一种基于几何轮廓顶点预测的遥感影像建筑物分割方法 | |
CN108154199B (zh) | 一种基于深度学习的高精度快速单类目标检测方法 | |
US20240054402A1 (en) | Attribution and Generation of Saliency Visualizations for Machine-Learning Models | |
CN117853942A (zh) | 用于云雾的识别方法、云雾识别装置及云雾识别系统 | |
Mu et al. | Change detection in SAR images based on the salient map guidance and an accelerated genetic algorithm | |
US20240160196A1 (en) | Hybrid model creation method, hybrid model creation device, and recording medium | |
CN115830381A (zh) | 基于改进YOLOv5的员工未佩戴口罩检测方法及相关组件 | |
CN114299328A (zh) | 一种环境自适应感知的小样本濒危动物检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |