CN113936224A - 一种检测方法、装置、计算机设备和存储介质 - Google Patents
一种检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113936224A CN113936224A CN202111216850.1A CN202111216850A CN113936224A CN 113936224 A CN113936224 A CN 113936224A CN 202111216850 A CN202111216850 A CN 202111216850A CN 113936224 A CN113936224 A CN 113936224A
- Authority
- CN
- China
- Prior art keywords
- marker
- image
- target
- road maintenance
- markers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 348
- 239000003550 marker Substances 0.000 claims abstract description 478
- 238000012423 maintenance Methods 0.000 claims abstract description 423
- 238000012216 screening Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 description 15
- 230000003068 static effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种检测方法、装置、计算机设备和存储介质,其中,该方法包括:获取待识别图像,以及所述待识别图像之前的、每帧已识别图像中的历史养护标志物;对待识别图像进行图像识别,确定待识别图像中的至少一个道路养护标志物;针对至少一个道路养护标志物中的每个道路养护标志物,从历史养护标志物中筛选与道路养护标志物相匹配的匹配标志物;基于每个道路养护标志物对应的匹配标志物,确定待识别图像对应于道路养护区域的检测结果。本公开实施例能够提高确定的待识别图像中的道路养护区域的检测结果的准确性。
Description
技术领域
本公开涉及高速道路养护、图像处理技术领域,具体而言,涉及一种检测方法、装置、计算机设备和存储介质。
背景技术
随着深度学习技术的发展,神经网络的应用越来越广泛,在智能交通的大潮流下,利用神经网络对高速道路养护区域进行检测成为了重要的交通检测实践方向。但现有的检测方式,往往存在网络误识别的情况,影响了养护区域检测的准确性。
发明内容
本公开实施例至少提供一种检测方法、装置、计算机设备和存储介质。
第一方面,本公开实施例提供了一种检测方法,包括:
获取待识别图像,以及所述待识别图像之前的、每帧已识别图像中的历史养护标志物;
对所述待识别图像进行图像识别,确定所述待识别图像中的至少一个道路养护标志物;
针对所述至少一个道路养护标志物中的每个所述道路养护标志物,从所述历史养护标志物中筛选与所述道路养护标志物相匹配的匹配标志物;
基于每个道路养护标志物对应的匹配标志物,确定所述待识别图像对应于道路养护区域的检测结果。
该实施方式,通过将识别出的待识别图像中的道路养护标志物与前多帧已识别图像中的历史养护标志进行匹配的方式,能够确定出道路养护标志物是否为已出现的标志物,在存在匹配标志物的情况下,说明道路养护标志物为静止出现的标志物,对于养护区域而言,需要一定的时间进行道路养护,所以养护区域对应的道路养护标志物需要静止放置一定的时间以标识养护区域,而行驶车辆中的标志物大多为动态出现的标志物,可能只出现一次就消失,从而,利用从历史养护标志中确定的匹配标志物,不仅能够实现对道路养护标志物的状态(静止或运动)的准确判断,还能够有效地避免对拍摄的行驶车辆中的标志物的误识别,从而,提高确定了道路养护区域的检测结果的准确性。此外,再通过确定的匹配标志物可以实现对标志物是否属于道路养护区域的进一步判断,例如,根据标志物的出现次数进行判断,从而,能够进一步提高确定的检测结果的准确性。
在一种可能的实施方式中,所述基于每个道路养护标志物对应的匹配标志物,确定所述待识别图像中的道路养护区域的检测结果,包括:
将对应的匹配标志物的数量大于第一预设数量的道路养护标志物,作为目标标志物;
基于每个所述目标标志物和与每个所述目标标志物匹配的匹配标志物,确定所述待识别图像中的道路养护区域的检测结果。
该实施方式,利用第一预设数量,能够从道路养护标志物筛选出存在多个匹配标志物的目标标志物,也即,能够筛选出出现在多帧图像中道路养护标志物,在道路养护标志物出现在多帧图像的情况下,其为道路养护区域对应的标志物的概率更高,进而,通过筛选出的目标标志物和与每个目标标志物匹配的匹配标志物,能够进一步提高确定的检测结果的准确性。
在一种可能的实施方式中,所述基于每个道路养护标志物对应的匹配标志物,确定所述待识别图像对应于道路养护区域的检测结果,包括:
基于每个道路养护标志物对应的匹配标志物,以及每个匹配标志物对应的已识别图像,确定对应于相同帧的已识别图像的目标匹配标志物的数量;
在所述数量大于目标数量的情况下,基于所述目标匹配标志物对应的道路养护标志物,确定所述待识别图像中的道路养护区域。
该实施方式,目标匹配标志物为同时出现在同一帧已识别图像中的匹配标志物,并且其对应的道路养护标志物同时出现在待识别图像中,从而,可以确定目标匹配标志物对应的道路养护标志物为静态的标志物,继而,基于目标匹配标志物对应的道路养护标志物,可以准确地确定出待识别图像中的道路养护区域。
在一种可能的实施方式中,所述基于每个所述目标标志物和与每个所述目标标志物匹配的匹配标志物,确定所述待识别图像中的道路养护区域的检测结果,包括:
按照第二预设数量将所述目标标志物分割为至少一个标志物组;
针对每个标志物组,基于所述标志物组中每个目标标志物对应的匹配标志物所属的已识别图像,确定同时包括每个目标标志物对应的匹配标志物的目标已识别图像;
基于每个标志物组对应的目标已识别图像,确定所述待识别图像中的道路养护区域的检测结果。
该实施方式,筛选出的每个标志物组中包括第二预设数量的目标标志物,利用标志物组中的第二预设数量的目标标志物对已识别图像进行筛选,能够从已识别图像中筛选出同时存在与第二预设数量的目标标志物相匹配的第二预设数量的匹配标志物,从而,能够保证第二预设数量的目标标志物中的每个目标标志物均同时出现目标已识别图像中,即可以确定每个目标标志物均为静止的标志物,从而,利用同时出现多次的多个目标标志物进行道路养护区域的判断,相比利用一个目标标志物进行判断而言,其确定的检测结果的准确性更高。
在一种可能的实施方式中,所述基于每个标志物组对应的目标已识别图像,确定所述待识别图像中的道路养护区域的检测结果,包括:
基于每个标志物组对应的目标已识别图像,从标志物组中筛选对应的目标已识别图像大于第三预设数量的目标标志物组;
基于所述目标标志物组中的目标标志物,确定所述待识别图像中的道路养护区域。
该实施方式,筛选出的目标标志物组对应的每个目标标志物,不仅同时出现在待识别图像中,还大于第三预设数量次的同时出现在同一个目标已识别图像中,从而,基于确定的目标标志物组,能够准确地确定出待识别图像中存在道路养护区域,进而,再根据目标标志物组中的每个目标标志物,能够准确确定道路养护区域。
在一种可能的实施方式中,所述基于每个道路养护标志物对应的匹配标志物,确定所述待识别图像对应于道路养护区域的检测结果,包括:
基于每个道路养护标志物对应的匹配标志物,确定存在匹配标志物的道路养护标志物;
基于存在匹配标志物的道路养护标志物在所述待识别图像中的目标位置,确定所述存在匹配标志物的道路养护标志物对应的子图像区域;
将所述子图像区域作为所述待识别图像中的道路养护区域。
在一种可能的实施方式中,所述基于每个道路养护标志物对应的匹配标志物,确定所述待识别图像对应于道路养护区域的检测结果,包括:
基于每个道路养护标志物对应的匹配标志物,确定存在匹配标志物的道路养护标志物的待验证数量;
在所述待验证数量大于第二预设数量的情况下,确定所述待识别图像中存在道路养护区域。
该实施方式,待验证数量能够表征存在匹配标志物的道路养护标志物的数量,也即,能够表征在已识别图像中的出现过的道路养护标志物的数量,在待验证数量大于第二预设数量的情况下,说明存在超过第二预设数量的道路养护标志物曾在已识别图像中的出现过,则可以确定待验证数量的道路养护标志物为静态的标志物,从而可以准确地确定待识别图像中存在道路养护区域。
在一种可能的实施方式中,在确定所述目标已识别图像之后,还包括:
在不存在对应的目标已识别图像大于第三预设数量的标志物组的情况下,确定所述待识别图像对应的道路养护区域不存在。
该实施方式,在确定不存在目标已识别图像大于第三预设数量的标志物组的情况下,说明待识别图像对应的道路养护标志物中,不存在同时出现的多个图像中的标志物,道路养护标志物大概率为动态的标志物,从而,能够较为准确地确定出待识别图像对应的道路养护区域不存在。
在一种可能的实施方式中,从所述历史养护标志物中筛选与所述道路养护标志物相匹配的匹配标志物,包括:
确定所述道路养护标志物对应的第一检测框,以及每帧已识别图像中所述历史养护标志物对应的第二检测框;
基于所述第一检测框和所述第二检测框之间的重叠度信息,以及所述第一检测框和所述第二检测框分别对应的检测框类别,从所述历史养护标志物中筛选与所述道路养护标志物相匹配的匹配标志物。
该实施方式,重叠度信息能够反映第一检测框和第二检测框之间的交并比,当重叠度信息对应的重叠度信息越高,两个检测框对应的标志物相匹配的可能性越高,匹配标志物和道路养护标志物较大概率为同一类别的标志物,其对应的检测框也为相同类别,因此,利用检测框类别,能够准确地确定两个检测框是否为属于同一类别,从而,基于重叠度信息和检测框类别,能够准确地从历史养护标志物中筛选与道路养护标志物相匹配的匹配标志物。
在一种可能的实施方式中,所述对所述待识别图像进行图像识别,确定所述待识别图像中的至少一个道路养护标志物,包括:
对所述待识别图像进行图像识别,确定所述待识别图像中的每个初始检测框;
按照所述初始检测框的第一置信度从高到低的顺序,对所述初始检测框进行排序;
基于所述初始检测框对应的排序结果,从所述初始检测框中筛选出目标检测框,并基于所述目标检测框,确定所述待识别图像中的至少一个道路养护标志物。
该实施方式,基于初始检测框对应的排序结果,能够筛选出排序结果对应的次序较高的目标检测框,次序较高的目标检测框对应的第一置信度较高,其对应检测框的精度较高,进而,利用筛选出的目标检测框,能够提高确定的道路养护标志物的准确性。
在一种可能的实施方式中,所述基于所述初始检测框对应的排序结果,从所述初始检测框中筛选出目标检测框,包括:
从所述初始检测框中筛选出排序结果对应的次序大于预设次序的待确认检测框;
基于每个所述待确认检测框对应的第一置信度和每个所述待确认检测框与其他待确认检测框之间的重叠度信息,从所述待确认检测框中筛选出所述目标检测框。
该实施方式,利用排序结果对应的次序能够筛选出第一置信度较高的待确认检测框,利用待确认检测框之间的重叠度信息,能够确定重叠度较高的待确认检测框,重叠度较高的两个待确认检测框为对应于同一个标志物的检测框,利用第一置信度,能够从重叠度较高的两个待确认检测框中筛选出第一置信度更高的目标检测框,并将第一置信度的待确认检测框删除,从而,实现对待确认检测框的过滤,能够保证得到的每个目标检测框和道路养护标志物一一对应。
在一种可能的实施方式中,所述基于所述目标检测框,确定所述待识别图像中的至少一个道路养护标志物,包括:
确定每个所述目标检测框的目标类别和所述目标类别的第二置信度;
基于每个所述目标检测框对应的第二置信度,从所述目标检测框中筛选出第二置信度大于预设置信度的第一检测框;
基于所述第一检测框及其对应的目标类别,确定所述待识别图像中的至少一个道路养护标志物。
该实施方式,第二置信度能够表征每个目标检测框对应的目标类别的预测准确性,第二置信度越高,其对应的目标检测框为其对应的目标类别的道路养护标志物的可能性越高。利用预设置信度,能够从目标检测框中筛选出预测的目标类别的准确性较高的第一检测框,进而,能够得到准确的道路养护标志物。
在一种可能的实施方式中,所述方法还包括获取所述待识别图像的步骤:
获取待处理的目标视频;
对所述目标视频进行抽帧处理,得到多帧所述待识别图像。
该实施方式,目标视频中的相邻帧的图像对应的图像信息差别较小,图像中所包括的物体较接近,通过对目标视频进行抽帧处理,能够得到具有一定的帧数间隔的待识别图像,待识别图像中所包括的物体存在区别,从而,通过对多帧待识别图像进行识别,有利于确定准确的道路养护区域的检测结果
第二方面,本公开实施例还提供一种检测装置,包括:
获取模块,用于获取待识别图像,以及所述待识别图像之前的、每帧已识别图像中的历史养护标志物;
第一确定模块,用于对所述待识别图像进行图像识别,确定所述待识别图像中的至少一个道路养护标志物;
筛选模块,用于针对所述至少一个道路养护标志物中的每个所述道路养护标志物,从所述历史养护标志物中筛选与所述道路养护标志物相匹配的匹配标志物;
第二确定模块,用于基于每个道路养护标志物对应的匹配标志物,确定所述待识别图像对应于道路养护区域的检测结果。
在一种可能的实施方式中,所述第二确定模块,用于将对应的匹配标志物的数量大于第一预设数量的道路养护标志物,作为目标标志物;
基于每个所述目标标志物和与每个所述目标标志物匹配的匹配标志物,确定所述待识别图像中的道路养护区域的检测结果。
在一种可能的实施方式中,所述第二确定模块,用于基于每个道路养护标志物对应的匹配标志物,以及每个匹配标志物对应的已识别图像,确定对应于相同帧的已识别图像的目标匹配标志物的数量;
在所述数量大于目标数量的情况下,基于所述目标匹配标志物对应的道路养护标志物,确定所述待识别图像中的道路养护区域。
在一种可能的实施方式中,所述第二确定模块,用于按照第二预设数量将所述目标标志物分割为至少一个标志物组;
针对每个标志物组,基于所述标志物组中每个目标标志物对应的匹配标志物所属的已识别图像,确定同时包括每个目标标志物对应的匹配标志物的目标已识别图像;
基于每个标志物组对应的目标已识别图像,确定所述待识别图像中的道路养护区域的检测结果。
在一种可能的实施方式中,所述第二确定模块,用于基于每个标志物组对应的目标已识别图像,从标志物组中筛选对应的目标已识别图像大于第三预设数量的目标标志物组;
基于所述目标标志物组中的目标标志物,确定所述待识别图像中的道路养护区域。
在一种可能的实施方式中,所述第二确定模块,用于基于每个道路养护标志物对应的匹配标志物,确定存在匹配标志物的道路养护标志物;
基于存在匹配标志物的道路养护标志物在所述待识别图像中的目标位置,确定所述存在匹配标志物的道路养护标志物对应的子图像区域;
将所述子图像区域作为所述待识别图像中的道路养护区域。
在一种可能的实施方式中,所述第二确定模块,用于基于每个道路养护标志物对应的匹配标志物,确定存在匹配标志物的道路养护标志物的待验证数量;
在所述待验证数量大于第二预设数量的情况下,确定所述待识别图像中存在道路养护区域。
在一种可能的实施方式中,所述第二确定模块,还用于在确定所述目标已识别图像之后,在不存在对应的目标已识别图像大于第三预设数量的标志物组的情况下,确定所述待识别图像对应的道路养护区域不存在。
在一种可能的实施方式中,所述筛选模块,用于确定所述道路养护标志物对应的第一检测框,以及每帧已识别图像中所述历史养护标志物对应的第二检测框;
基于所述第一检测框和所述第二检测框之间的重叠度信息,以及所述第一检测框和所述第二检测框分别对应的检测框类别,从所述历史养护标志物中筛选与所述道路养护标志物相匹配的匹配标志物。
在一种可能的实施方式中,所述第一确定模块,用于对所述待识别图像进行图像识别,确定所述待识别图像中的每个初始检测框;
按照所述初始检测框的第一置信度从高到低的顺序,对所述初始检测框进行排序;
基于所述初始检测框对应的排序结果,从所述初始检测框中筛选出目标检测框,并基于所述目标检测框,确定所述待识别图像中的至少一个道路养护标志物。
在一种可能的实施方式中,所述第一确定模块,用于从所述初始检测框中筛选出排序结果对应的次序大于预设次序的待确认检测框;
基于每个所述待确认检测框对应的第一置信度和每个所述待确认检测框与其他待确认检测框之间的重叠度信息,从所述待确认检测框中筛选出所述目标检测框。
在一种可能的实施方式中,所述第一确定模块,用于确定每个所述目标检测框的目标类别和所述目标类别的第二置信度;
基于每个所述目标检测框对应的第二置信度,从所述目标检测框中筛选出第二置信度大于预设置信度的第一检测框;
基于所述第一检测框及其对应的目标类别,确定所述待识别图像中的至少一个道路养护标志物。
在一种可能的实施方式中,所述获取模块,还用于按照以下步骤获取所述待识别图像:
获取待处理的目标视频;
对所述目标视频进行抽帧处理,得到多帧所述待识别图像。
第三方面,本公开可选实现方式还提供一种计算机设备,处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开可选实现方式还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
关于上述检测装置、计算机设备、及计算机可读存储介质的效果描述参见上述检测方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种检测方法的流程图;
图2示出了本公开实施例所提供的一种获取待识别图像的方法的流程图;
图3示出了本公开实施例所提供的一种检测装置的示意图;
图4示出了本公开实施例所提供的一种计算机设备结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
另外,本公开实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
经研究发现,随着深度学习技术的发展,神经网络的应用越来越广泛,在智能交通的大潮流下,利用神经网络对高速道路养护区域进行检测成为了重要的交通检测实践方向。但现有的检测方式,往往存在网络误识别的情况,影响了养护区域检测的准确性。
基于上述研究,本公开提供了一种检测方法、装置、计算机设备和存储介质,通过将识别出的待识别图像中的道路养护标志物与之前每帧已识别图像中的历史养护标志进行匹配的方式,能够确定出道路养护标志物是否为已出现的标志物,在存在匹配标志物的情况下,说明道路养护标志物为静止的标志物,对于养护区域而言,需要一定的时间进行道路养护,所以养护区域对应的道路养护标志物需要静止放置一定的时间以标识养护区域,而行驶车辆中的标志物大多为动态出现的标志物,可能只出现一次就消失,从而,利用从历史养护标志中确定的匹配标志物,不仅能够实现对道路养护标志物的状态(静止或运动)的准确判断,还能够有效地避免对拍摄的行驶车辆中的标志物的误识别,从而,提高确定了道路养护区域的检测结果的准确性。此外,再通过确定的匹配标志物可以实现对标志物是否属于道路养护区域的进一步判断,例如,根据标志物的出现次数进行判断,从而,能够进一步提高确定的检测结果的准确性。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是,本公开实施例中所提到的特定名词包括:
RTSP:Real Time Streaming Protocol,实时流传输协议,是TCP/IP协议体系中的一个应用层协议。
TCP:Transmission Control Protocol,传输控制协议,是一种面向连接的、可靠的、基于字节流的传输层通信协议。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种检测方法进行详细介绍,本公开实施例所提供的检测方法的执行主体一般为具有一定计算能力的计算机设备,在一些可能的实现方式中,该检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为计算机设备为例对本公开实施例提供的检测方法加以说明。
如图1所示,为本公开实施例提供的一种检测方法的流程图,可以包括以下步骤:
S101:获取待识别图像,以及待识别图像之前的、每帧已识别图像中的历史养护标志物。
这里,待识别图像可以为在各种交通场景下的摄像装置拍摄的高速道路图像,例如,待识别图像可以为在高速道路上拍摄的目标视频中的图像。
已识别图像为目标视频中的在待识别图像之前的图像,获取的待识别图像之前的已识别图像可以为目标数量帧,目标数量帧为预先设置的帧数,具体的,目标数量帧的已识别图像可以为目标视频中拍摄时间位于待识别图像对应的拍摄时间之前的、与待识别图像对应的拍摄时间最近的多帧图像,一帧已识别图像可以对应为目标视频中的1秒所对应的图像。并且,在具体实施时,目标数量帧可以根据检测需要确定,这里不进行限定。例如,目标数量帧可以为5帧,10帧、20帧等等。
历史养护标志物为出现在已识别图像中的标志物,可以为已识别图像中、已确定的道路养护区域对应的标志物,也可以为从已识别图像中识别出的、出现在已识别图像中的道路养护区域对应的标志物,但该已识别图像中不存在道路养护区域。这里,每帧已识别图像中可以包括至少一个历史养护标志物,获取的历史养护标志物为每帧已识别图像中的历史养护标志物。
具体实施时,本公开实施例所提供的检测方法可以利用对养护区域进行识别的目标神经网络执行,具体的,可以将获取的待识别图像输入至目标神经网络,以利用目标神经网络对待识别图像进行识别,并且可以在待识别图像的同时,获取目标数量帧的已识别图像中每帧已识别图像中的历史养护标志物。
S102:对待识别图像进行图像识别,确定待识别图像中的至少一个道路养护标志物。
这里,道路养护标志物为道路养护区域对应的标志物,能够标识其所在的区域为正在进行道路维护的区域,道路养护标志物可以包括至少一个种类,例如,道路养护标志物可以为施工标志、车道减少标志、导向标志、限速标志、交通锥等。
具体实施时,可以利用目标神经网络对待识别图像进行图像识别,基于待识别图像中的各像素点的特征信息以及道路养护区域对应的每种标志物的特征信息,确定各像素点的特征信息与每种标志物的特征信息之间的相似度,并根据确定的相似度,筛选出属于标志物的目标像素点,进而,可以基于确定的目标像素点,确定待识别图像中的至少一个道路养护区域对应的标志物,并将确定的上述标志物作为待识别图像中的道路养护标志物。
S103:针对至少一个道路养护标志物中的每个道路养护标志物,从历史养护标志物中筛选与道路养护标志物相匹配的匹配标志物。
这里,匹配标志物可以为历史养护标志物中与道路养护标志物相同的标志物,具体的,可以为与道路养护标志物属于同一种类、且所对应于在真实物理世界中的位置和道路养护标志物所对应于在真实物理世界中的位置相同的标志物。
针对至少一个道路养护标志物中的每个道路养护标志物,可以将该道路养护标志物和每个已识别图像对应的历史养护标志物进行匹配,确定是否存在与该道路养护标志物相同的标志物,如果是,则可以将其作为与该道路养护标志物相匹配的匹配标志物,如果否,则可以确定已识别图像中不存在与该道路养护标志物相匹配的匹配标志物。
在一种实施方式中,针对任一已识别图像,可以根据该已识别图像对应的历史养护标志物中的每个历史养护标志物对应的图像位置,确定每个历史养护标志物对应于在真实物理世界中的第一位置,以及,基于该道路养护标志物对应的图像位置,确定其对应于在真实物理世界中的第二位置,进而,可以根据每个历史养护标志物的第一位置和标志物类别,以及该道路养护标志物对应的第二位置和标志物种类,确定该已识别图像对应的历史养护标志物中是否存在与该道路养护标志物的标志物种类相同、且第一位置和第二位置相同的历史养护标志物,如果是,则可以将该历史养护标志物作为与该道路养护标志物相匹配的匹配标志物。
进而,可以从各个已识别图像对应的历史养护标志物中筛选出与道路养护标志物相匹配的匹配标志物,从而,得到每个道路养护标志物分别对应的匹配标志物。
S104:基于每个道路养护标志物对应的匹配标志物,确定待识别图像对应于道路养护区域的检测结果。
这里,检测结果用于表征待识别图像中是否存在道路养护区域,以及在确定存在道路养护区域的情况下,可以表征道路养护区域对应的区域位置、图像位置、道路养护区域对应的道路养护标志物等信息。
本步骤中,在确定出每个道路养护标志物对应的匹配标志物之后,可以确定出存在匹配标志物的目标道路养护标志物,进而,可以根据每个目标道路养护标志物对应的图像位置,确定道路养护区域对应的图像区域。
示例性的,可以在确定目标道路养护标志物之后,确定目标道路养护标志物的数量,并在确定该数量大于预设的最小标志物数量的情况下,确定待识别图像中存在道路养护区域,进而,可以根据每个目标道路养护标志物对应的图像位置,确定道路养护区域对应的图像区域。
这样,通过将识别出的待识别图像中的道路养护标志物与前多帧已识别图像中的历史养护标志进行匹配的方式,能够确定出道路养护标志物是否为已出现的标志物,在存在匹配标志物的情况下,说明道路养护标志物为静止出现的标志物,对于养护区域而言,需要一定的时间进行道路养护,所以养护区域对应的道路养护标志物需要静止放置一定的时间以标识养护区域,而行驶车辆中的标志物大多为动态出现的标志物,可能只出现一次就消失,从而,利用从历史养护标志中确定的匹配标志物,不仅能够实现对道路养护标志物的状态(静止或运动)的准确判断,还能够有效地避免对拍摄的行驶车辆中的标志物的误识别,从而,提高确定了道路养护区域的检测结果的准确性。此外,再通过确定的匹配标志物可以实现对标志物是否属于道路养护区域的进一步判断,例如,根据标志物的出现次数进行判断,从而,能够进一步提高确定的检测结果的准确性。
在一种实施例中,针对S104,可以按照以下步骤确定待识别图像对应于道路养护区域的检测结果:
①:基于每个道路养护标志物对应的匹配标志物,以及每个匹配标志物对应的已识别图像,确定对应于相同帧的已识别图像的目标匹配标志物的数量。
这里,在确定每个道路养护标志物对应的匹配标志物之后,还可以确定每个匹配标志物对应的已识别图像,也即,确定每个匹配标志物所属的已识别图像。
进而,根据每个匹配标志物对应的已识别图像,可以从匹配标志物中确定出对应于相同帧的已识别图像的目标匹配标志物以及目标匹配标志物的数量。这里,对应于相同帧的目标匹配标志物可以包括多组,每组中的目标匹配标志物的数量也可以不同。例如,一组目标匹配标志物可以为待识别图像的前一帧图像中的5个匹配标志物,一组目标匹配标志物可以为待识别图像的前三帧图像中的4个匹配标志物。
②:在数量大于目标数量的情况下,基于目标匹配标志物对应的道路养护标志物,确定待识别图像中的道路养护区域。
这里,目标数量可以根据最小的目标匹配标志物的数量进行设置,例如,最小的目标匹配标志物的数量可以为3,则目标数量可以为2。
在得到的目标匹配标志物的数量之后,可以将该数量和目标数量进行比较,在确定该数量大于目标数量的情况下,说明该数量的目标匹配标志物不仅同时出现在同一帧已识别图像中,该数量的目标匹配标志物分别对应的道路养护标志物还同时出现在待识别图像中,从而,可以确定上述道路养护标志物为静止的,则可以确定待识别图像中存在道路养护区域。
之后,可以基于目标匹配标志物对应的道路养护标志物,确定待识别图像中的道路养护区域。例如,可以直接将待识别图像对应的图像区域作为待识别图像中的道路养护区域。
如果确定出多组目标匹配标志物,则可以在确定任一组目标匹配标志物的数量大于目标数量的情况下,确定待识别图像中存在道路养护区域,进而,可以基于该组目标匹配标志物对应的道路养护标志物,确定待识别图像中的道路养护区域。
另外,在确定不存在目标匹配标志物的数量大于目标数量的情况下,可以确定待识别图像中不存在道路养护区域。
在一种实施例中,针对S104,可以按照以下步骤实施:
S104-1:将对应的匹配标志物的数量大于第一预设数量的道路养护标志物,作为目标标志物。
这里,第一预设数量为预先设置的、每个道路养护标志物对应的最少的匹配标志物的数量,在道路养护标志物对应的匹配标志物的数量小于第一预设数量的情况下,可以确定该道路养护标志物为动态的标志物,无法表征其对应的图像区域为道路养护区域。
本步骤中,在确定每个道路养护标志物对应的匹配标志物之后,可以确定每个道路养护标志物对应的匹配标志物的数量,进而,从道路养护标志物中可以筛选出对应的匹配标志物的数量大于第一预设数量的道路养护标志物,并将其作为目标标志物。
例如,第一预设数量可以设置为2,目标数量帧可以设置为4,也即在确定在前4帧已识别图像中有2帧已识别图像中出现了与待识别图像中的某一道路养护标志物相匹配的匹配标志物的情况下,再加上待识别图像中出现的一次,可以确定该道路养护标志物在最近的5帧图像中出现了3次,因此该道路养护标志物为静态的标志物的概率较高,将其作为目标标志物,进而,可以根据确定的目标标志物,确定道路养护区域的检测结果。
S104-2:基于每个目标标志物和与每个目标标志物匹配的匹配标志物,确定待识别图像中的道路养护区域的检测结果。
这里,根据确定的每个目标标志物,可以从确定的匹配标志物中筛选出每个目标标志物分别对应的匹配标志物。进而,可以确定每个目标标志物对应的匹配标志物分别所属的已识别图像,然后,可以确定每个已识别图像中对应的匹配标志物,根据每个已识别图像中对应的匹配标志物,确定存在第二预设数量的匹配标志物的目标已识别图像,进而,可以根据目标已识别图像的数量和目标已识别图像,确定待识别图像中的道路养护区域的检测结果。
例如,在目标已识别图像包括2帧,并且所述2帧目标已识别图像中包括的相同的匹配标志物的数量为3的情况下,也即,每帧目标已识别图像中均存在3个历史养护标志物与道路养护标志物相匹配,且2帧目标已识别图像对应的道路养护标志物相同,则可以确定待识别图像中存在道路养护区域,且目标已识别图像中的3个历史养护标志物对应的道路养护标志物为待识别图像中的道路养护区域对应的标志物,该道路养护标志物对应的图像区域为目标养护区域对应的图像区域。
在一种实施例中,针对S104-2,可以按照以下步骤实施:
S104-2-1:按照第二预设数量将目标标志物分割为至少一个标志物组。
这里,第二预设数量为确定的每个标志物组中所包括的目标标志物的最小数量,每个标志物组中所包括的目标标志物不完全相同,每个标志物组中所包括的目标标志物的数量可以相同,也可以不同。例如,可以利用第二预设数量3,将目标标志物分割成仅包括3个目标标志物的标志物组,或者,可以将目标标志物分割成既包括3个目标标志物的标志物组,也包括4个或者更多的目标标志物的标志物组,这里不进行限定。
具体实施时,可以按照第二预设数量,以及目标标志物的数量,将目标标志物分割为至少一个标志物组,其中,每个标志物组中的目标标志物的数量相同。比如,每个标志物组中的目标标志物的数量可以均为3个。
另外,在确定目标标志物的数量小于第二预设数量的情况下,可以直接确定待识别图像中不存在道路养护区域。
S104-2-2:针对每个标志物组,基于标志物组中每个目标标志物对应的匹配标志物所属的已识别图像,确定同时包括每个目标标志物对应的匹配标志物的目标已识别图像。
具体实施时,针对划分得到的每个标志物组,基于该标志物组中每个目标标志物对应的匹配标志物所属的已识别图像,可以从已识别图像中确定同时存在与该标志物组中的每个目标标志物相匹配的匹配标志物的已识别图像,将其作为目标已识别图像。
进而,可以从已识别图像中,确定出每个标志物组对应的目标已识别图像。
S104-2-3:基于每个标志物组对应的目标已识别图像,确定待识别图像中的道路养护区域的检测结果。
具体实施时,基于每个标志物组对应的目标已识别图像,可以从标志物组中筛选出符合预设要求的目标标志物组,例如,可以筛选出对应的目标已识别图像的数量最大的目标标志物组,确定该目标标志物组对应的目标已识别图像的数量大于预设的最小目标已识别图像数量的情况下,确定该待识别图像中存在道路养护区域。
在一种实施例中,可以按照以下步骤执行S104-2-3:
S104-2-3-1:基于每个标志物组对应的目标已识别图像,从标志物组中筛选对应的目标已识别图像大于第三预设数量的目标标志物组。
这里,第三预设数量为预设的、标志组对应的最小的目标已识别图像的数量,在目标已识别图像的数量大于第三预设数量的情况下,说明目标已识别图像对应的标志物组中的每个目标标志物,在第三预设数量的目标已识别图像中的每个目标已识别图像中均同时出现过,以及同时出现在了待识别图像中,则可以确定该标志物组中的每个目标标志物为静态的标志物,该标志物组中的每个目标标志物对应的图像区域为待识别图像中的道路养护区域对应的图像区域。
具体实施时,基于每个标志物组对应的目标已识别图像,可以确定每个标志物组对应的目标已识别图像的数量,其中,在该数量的目标已识别图像中的每个目标已识别图像中,均同时出现过该标志物组对应的每个目标标志物。进而,利用该数量和第三预设数量,可以从标志物组中筛选出对应的目标已识别图像的数量大于第三预设数量的目标标志物组。其中,筛选出的目标标志物组的数量可以包括多个。
以目标数量帧为4帧,第一预设数量为2,第二预设数量为3,第三预设数量为2为例,在确定存在目标标志物组的情况下,可以确定在最近5帧图像(包括待识别图像)中,存在至少3个道路养护区域对应的标志物同时3次出现在待识别图像和已识别图像中,则可以确定已识别图像中存在道路养护区域,且这至少3个道路养护区域对应的道路养护标志物所属的图像区域为道路养护区域对应的图像区域。
S104-2-3-2:基于目标标志物组中的目标标志物,确定待识别图像中的道路养护区域。
本步骤中,可以确定目标标志物组中的每个目标标志物对应在待识别图像的图像位置,例如,可以根据目标标志物对应的第一检测框的四个顶点的图像坐标确定目标标志物对应的图像位置,进而,根据确定的目标标志物分别对应的图像位置,可以确定过程目标标志物所对应的图像区域,将该区域作为待识别图像中的道路养护区域对应的图像区域。并且,还可以根据确定的道路养护区域对应的图像区域,确定道路养护区域在真实的物理世界中的区域位置,并将该区域位置作为检测结果。
如果确定的目标标志物组包括多个,可以根据每个目标标志物组分别对应的目标标志物的图像位置,确定出每个目标标志物组对应的图像区域,并将每个目标标志物组对应的图像区域作为待识别图像中的一个道路养护区域对应的图像区域,这样,可以得到与目标标志物组的数量相匹配的多个道路养护区域。
或者,在确定的目标标志物组包括多个的情况下,也可以根据多个目标标志物组中的每个目标标志物对应的图像位置,确定由多个目标标志物组中的每个目标标志物的图像位置所组成的图像区域,将该图像区域作为待识别图像中的道路养护区域对应的图像区域。
在另一种实施方式中,也可以在确定存在目标标志物组的情况下,将该待识别图像对应的图像区域作为道路养护区域对应的图像区域,并根据待识别图像对应于真实的物理世界中的位置,确定道路养护区域对应的真实物理位置。
在一种实施例中,针对S104,基于每个道路养护标志物对应的匹配标志物,可以从道路养护标志物中筛选出存在匹配标志物的道路养护标志物,这里,筛选出的每个道路养护标志物可以对应于多个匹配标志物,对应的多个匹配标志物中的每个匹配标志物对应于一帧已识别图像。
之后,可以确定存在匹配标志物的每个道路养护标志物在待识别图像中对应的目标位置,之后,可以确定上述目标位置组成的子图像区域。例如,可以通过将每两个存在匹配标志物的道路养护标志物对应的目标位置相连的方式,确定出子图像区域。进而,可以将确定的子图像区域作为待识别图像中的道路养护区域。
或者,也可以从确定的存在匹配标志物的道路养护标志物中筛选出部分道路养护标志物,基于筛选出的道路养护标志物对应的目标位置,确定待识别图像中的道路养护区域。例如,针对存在匹配标志物的道路养护标志物,若两个道路养护标志物之间的距离小于预设距离,则可以随机选取两个道路养护标志物中的任一个道路养护标志物,基于该道路养护标志物对应的目标位置,确定道路养护区域的道路养护标志物
在一种实施例中,针对S104,检测结果可以为仅确定出待识别图像中存在道路养护区域,具体的,基于每个道路养护标志物对应的匹配标志物,可以从道路养护标志物中筛选出存在匹配标志物的道路养护标志物的待验证数量。然后,可以将待验证数量和第二预设数量进行比较,例如,第二预设数量可以为2。在确定待验证数量大于第二预设数量的情况下,可以确定存在待验证数量的道路养护标志物不仅出现在了待识别图像中,还出现在了已识别图像中。以第二预设数量为2,待验证数量为3为例,则可以确定存在3个道路养护标志物既出现在了待识别图像中,还出现在了已识别图像中,则可以确定这3个道路养护标志物为静态的,继而,可以确定出待识别图像中存在道路养护区域。
在一种实施例中,在确定所述目标已识别图像之后,还包括:在不存在对应的目标已识别图像大于第三预设数量的标志物组的情况下,确定待识别图像对应的道路养护区域不存在。
这里,如果未能筛选出对应的目标已识别图像的数量大于第三预设数量的目标标志物组,则可以直接确定待识别图像中不存在道路养护区域。或者,在确定不存在目标标志物组的情况下,还可以获取在待识别图像之前的、待检测数量帧的已识别图像中的历史养护标志物。其中,待检测数量帧大于目标数量帧,且待检测数量帧对应的已识别图像中可以包括目标数量帧对应的已识别图像。
进而,可以基于待检测数量帧对应的已识别图像中的历史养护标志物,确定待检测数量帧的已识别图像中是否存在对应的目标已识别图像的数量大于第三预设数量的目标标志物组,如果否,则可以确定待识别图像中不存在道路养护区域。这样,可以防止在确定目标数量帧的已识别图像对应的历史养护标志物时,存在误检、漏检的情况,利用待检测数量帧的已识别图像进行道路养护区域的判断,提高了确定的已识别图像对应的检测结果的准确性和可靠性。
示例性的,目标数量帧可以为4帧,待检测数量帧可以为9帧,一帧为目标视频中的1秒所对应的图像,这样,在确定5帧图像(包括待识别图像)中不存在目标标志物组的情况下,说明在5秒内,不存在至少3个道路养护区域对应的标志物同时3次出现在待识别图像和已识别图像中,进而,可以确定10帧图像中是否存在目标标志物组,如果否,则可以说明10秒内,不存在至少3个道路养护区域对应的标志物同时3次出现在待识别图像和已识别图像中,则可以确定待识别图像中不存在道路养护区域。
在一种实施例中,针对S103中的从历史养护标志物中筛选与道路养护标志物相匹配的匹配标志物的步骤,可以按照以下步骤实施:
S103-1:确定道路养护标志物对应的第一检测框,以及每帧已识别图像中历史养护标志物对应的第二检测框。
由上述实施例可知,可以利用目标神经网路对待识别图像进行图像识别,以确定道路养护标志物,在目标神经网路对待识别图像进行图像识别时,可以输出每个标志物对应的检测框。从而,可以利用道路养护标志物对应的第一检测框,以及每帧已识别图像中的历史养护标志物对应的第二检测框进行标志物的匹配。
具体实施时,在确定道路养护标志物对应的第一检测框之后,可以获取目标数量帧的已识别图像中每帧已识别图像对应的每个历史养护标志物分别对应的第二检测框。
S103-2:基于第一检测框和第二检测框之间的重叠度信息,以及第一检测框和第二检测框分别对应的检测框类别,从历史养护标志物中筛选与道路养护标志物相匹配的匹配标志物。
这里,重叠度信息能够表征两个检测框对应的重叠度,具体的,重叠度信息可以为检测框对应的交并比信息,两个检测框之间的交并比越高,两个检测框对应的标志物的重叠度越高,两个标志物相匹配的概率越高。检测框类别用于表征检测框所对应的标志物的类别,例如,施工标志类、车道减少标志类、导向标志类等。
具体实施时,针对每个道路养护标志物对应的第一检测框,可以根据确定该第一检测框在待识别图像中的第一位置,针对每个已识别图像,可以确定该已识别图像对应的每个第二检测框对应的第二位置,然后基于第一位置和每个第二位置,可以确定是否存在与第一位置匹配的第二位置,其中,第一位置和第二位置相匹配可以为第一位置和第二位置之间的位置差值在预设差值内,或者,第一位置和第二位置相匹配也可以为第一位置和第二位置相同。
进而,在确定存在与该第一位置相匹配的第二位置的情况下,可以确定该第一位置对应的第一检测框和该第二位置对应的第二检测框之间的重叠度信息,以及该第一检测框对应的第一检测框类别和该第二检测框的第二检测框类别。之后,可以在确定该第一检测框和该第二检测框对应的重叠度大于第一预设重叠度、且第一检测框类别和第二检测框类别相同的情况下,确定该第二检测框对应的历史养护标志物为与该第一检测框对应的道路养护标志物相匹配的匹配标志物。
然后,基于每个道路养护标志物对应的第一检测框的第一位置,以及每帧已识别图像对应的每个第二检测框的第二位置,可以分别从每帧已识别图像对应的历史养护标志物中筛选出与各个道路养护标志物相匹配的匹配标志物。这里,每帧已识别图像可以不存在匹配标志物,也可以存在至少一个匹配标志物。
或者,也可以直接确定每个历史养护标志物对应的第二位置,基于每个道路养护标志物对应的每个第一位置,从第二位置中筛选出与该第一位置相匹配的各个目标位置,进而,可以分别确定每个目标位置对应的第二检测框和该第一位置对应的第一检测框之间的重叠度信息,以及第一检测框和该第二检测框对应的检测框类别,进而,可以从目标位置对应的历史养护标志物中确定是否存在与该第一检测框对应的道路养护标志物对应的匹配标志物。
进而,基于每个第二位置和每个第一位置,可以从历史养护标志物中筛选与道路养护标志物相匹配的匹配标志物。这样,不需要确定历史养护标志物所属的已识别图像,可以直接利用历史养护标志物对应的第二位置,筛选出匹配标志物,提高了确定匹配标志物的速度。
在一种实施例中,针对S102,可以按照以下步骤实施:
S102-1:对待识别图像进行图像识别,确定待识别图像中的每个初始检测框。
本步骤中,可以利用目标神经网络对待识别图像进行图像识别,确定待识别图像中可能为道路养护标志物的各个初始检测框。其中,一个初始检测框对应于一个可能的道路养护标志物,并且,目标神经网络还可以输出各个初始检测框对应的第一置信度。
S102-2:按照初始检测框的第一置信度从高到低的顺序,对初始检测框进行排序。
具体实施时,可以根据各个初始检测框对应的第一置信度,按照从高到低的顺序对应各个初始检测框进行排序,确定每个初始初始检测框对应的排序次序。
S102-3:基于初始检测框对应的排序结果,从初始检测框中筛选出目标检测框,并基于目标检测框,确定待识别图像中的至少一个道路养护标志物。
本步骤中,基于各个初始检测框的排序结果对应的次序,可以从中筛选出次序大于预设次序的初始检测框,也即,筛选出第一置信度较高的初始检测框,并将其作为目标检测框。
然后,可以确定每个目标检测框对应的目标类别,其中,目标类别为目标检测框的检测框类别,进而,可以根据确定的目标检测框的目标类别和目标检测框的位置,确定待识别图像中的道路养护标志物的类别和位置,从而,得到待识别图像中的道路养护标志物。这样,第一置信度越低,初始检测框对应的物体为道路养护标志物的概率越低,基于预设次序,能够筛选出部分第一置信度较低的初始检测框,有利于提高确定的道路养护标志物的准确性。
在一种实施例中,可以按照以下步骤从初始检测框中筛选出目标检测框:
S102-3-1:从初始检测框中筛选出排序结果对应的次序大于预设次序的待确认检测框。
具体实施时,可以基于各个初始检测框的排序结果对应的次序,从中筛选出次序大于预设次序的初始检测框,将其作为待确认检测框。其中,待确认检测框用于等待确定对应的物体是否为道路养护标志物的检测框。
S102-3-2:基于每个待确认检测框对应的第一置信度和每个待确认检测框与其他待确认检测框之间的重叠度信息,从待确认检测框中筛选出目标检测框。
这里,在确定每个待确认检测框之后,针对每个待确认检测框,可以确定该待确认检测框与其他待确认检测框之间重叠度信息,若存在该待确认检测框和某一待确认检测框之间的重叠度大于第二预设重叠度的情况,则可以确定该两个待确认检测框对应于同一物体的概率较高,从而,可以基于两个待确认检测框分别对应的第一置信度,从两个待确认检测框中筛选出第一置信度较高的待确认检测框作为目标检测框,并将另一个待确认检测框删除,这样,可以实现对待确认检测框的过滤,能够保证得到的每个目标检测框和道路养护标志物一一对应。
其中,第二预设重叠度为用于筛选待识别图像中的道路养护标志物对应的检测框中的目标检测框的预设重叠度。
进而,根据每个待确认检测框对应的第一置信度和每个待确认检测框与其他待确认检测框之间的重叠度信息,可以从待确认检测框中筛选出目标检测框。
在一种实施例中,针对S102-3中基于目标检测框,确定待识别图像中的至少一个道路养护标志物的步骤,可以按照以下步骤实施:
S102-3-3:确定每个目标检测框的目标类别和目标类别的第二置信度。
这里,第二置信度为预测目标检测框对应的目标类别的置信度。目标类别为目标检测框对应的检测框类别,用于保证目标检测框对应的标志物的类别。
具体实施时,在确定出目标检测框,可以利用目标神经网络确定出每个目标神经网络的目标类别,并输出预测的每个目标检测框对应的目标类别的第二置信度。
S102-3-4:基于每个目标检测框对应的第二置信度,从目标检测框中筛选出第二置信度大于预设置信度的第一检测框。
这里,预设置信度用于表征最小的第二置信度
具体实施时,可以基于每个目标检测框对应的第二置信度,从目标检测框中筛选出第二置信度大于预设置信度的目标检测框,将其作为第一检测框。
这样,利用预设置信度能够从目标检测框中筛选出预测的目标类别的准确性较高的第一检测框,进而,能够得到准确的道路养护标志物。
S102-3-5:基于第一检测框及其对应的目标类别,确定待识别图像中的至少一个道路养护标志物。
这里,可以将待识别图像中与第一检测框相匹配的物体作为待识别图像中的道路养护标志物,并将该第一检测框对应的目标分类作为该道路养护标志物的类别。
在一种实施例中,本公开实例所提供的方法还可以按照以下步骤获取待识别图像:
步骤一、获取待处理的目标视频。
这里,待处理的视频为在各种交通场景下的摄像装置拍摄的高速道路视频,可以为在线拍摄的视频,也可以为离线的视频。不同的待处理的目标视频可以具有不同的视频格式。
在获取到待处理的目标视频之后,在确定待处理的目标视频为在线拍摄的视频的情况下,可以先对待处理的目标视频进行前置处理,即可以将待处理的目标视频的视频格式转化为目标神经网络能够处理的预设格式。具体的,可以将待处理的目标视频的视频格式转换为RTSP格式的、基于TCP协议的目标视频。
如果,待处理的目标视频为离线的视频,可以直接对其执行下述步骤二,不需要进行格式转换。
步骤二、对目标视频进行抽帧处理,得到多帧待识别图像。
这里,在得到RTSP格式的、基于TCP协议的目标视频之后,可以对该目标视频进行抽帧处理。这里,由于目标视频中每秒钟都可以对应于多帧图像,而每秒钟对应的多帧图像中所包括的物体较接近甚至相同,即使是动态的标志物,也可能会出现在1秒钟对应的多帧图像中的每帧图像中,进而,若直接对未进行抽帧处理的目标视频中的图像进行识别,将会直接影响道路养护区域对应的检测结果。
具体实施时,可以先对目标视频进行解析,得到目标视频对应的视频帧图像,其中,目标视频中的每秒可以对应于多个视频帧图像,进而,可以从每秒对应的多个视频帧图像中抽取一个视频帧图像作为该秒对应的待识别图像,并将该秒对应的其他视频帧图像删除,进而,可以得到每秒只对应于一帧待识别图像的目标视频,也即,可以得到多帧待识别图像。
并且,在抽取每秒对应的待识别图像时,可以选取该秒对应的多个视频帧图像中的、位于中间位置的视频帧图像作为待识别图像;或者,也可以选取该秒对应的多个视频帧图像中的、首个视频帧图像作为待识别图像。关于每秒对应的待识别图像的选取方式,不仅限于上述方式,可以根据实际开发需要进行设置,这里不进行限定。
如图2所示,为本公开实施例所提供的一种获取待识别图像的方法的流程图,可以包括以下步骤:
S201:获取待处理的目标视频。
S202:确定目标视频的视频格式是否符合预设格式。
如果否,执行S203;如果是,执行S204。
S203:对目标视频进行格式转化,得到预设格式的目标视频。
S204:对预设格式的目标视频进行解析,确定目标视频对应的视频帧图像,并对视频帧图像进行抽帧处理,得到多帧待识别图像。
关于S201~S204的具体实施步骤,可以参照上述实施例,此处不再赘述。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与检测方法对应的检测装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述检测方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
如图3所示,为本公开实施例提供的一种检测装置的示意图,包括:
获取模块301,用于获取待识别图像,以及所述待识别图像之前的、每帧已识别图像中的历史养护标志物;
第一确定模块302,用于对所述待识别图像进行图像识别,确定所述待识别图像中的至少一个道路养护标志物;
筛选模块303,用于针对所述至少一个道路养护标志物中的每个所述道路养护标志物,从所述历史养护标志物中筛选与所述道路养护标志物相匹配的匹配标志物;
第二确定模块304,用于基于每个道路养护标志物对应的匹配标志物,确定所述待识别图像对应于道路养护区域的检测结果。
在一种可能的实施方式中,所述第二确定模块304,用于将对应的匹配标志物的数量大于第一预设数量的道路养护标志物,作为目标标志物;
基于每个所述目标标志物和与每个所述目标标志物匹配的匹配标志物,确定所述待识别图像中的道路养护区域的检测结果。
在一种可能的实施方式中,所述第二确定模块304,用于基于每个道路养护标志物对应的匹配标志物,以及每个匹配标志物对应的已识别图像,确定对应于相同帧的已识别图像的目标匹配标志物的数量;
在所述数量大于目标数量的情况下,基于所述目标匹配标志物对应的道路养护标志物,确定所述待识别图像中的道路养护区域。
在一种可能的实施方式中,所述第二确定模块304,用于按照第二预设数量将所述目标标志物分割为至少一个标志物组;
针对每个标志物组,基于所述标志物组中每个目标标志物对应的匹配标志物所属的已识别图像,确定同时包括每个目标标志物对应的匹配标志物的目标已识别图像;
基于每个标志物组对应的目标已识别图像,确定所述待识别图像中的道路养护区域的检测结果。
在一种可能的实施方式中,所述第二确定模块304,用于基于每个标志物组对应的目标已识别图像,从标志物组中筛选对应的目标已识别图像大于第三预设数量的目标标志物组;
基于所述目标标志物组中的目标标志物,确定所述待识别图像中的道路养护区域。
在一种可能的实施方式中,所述第二确定模块304,用于基于每个道路养护标志物对应的匹配标志物,确定存在匹配标志物的道路养护标志物;
基于存在匹配标志物的道路养护标志物在所述待识别图像中的目标位置,确定所述存在匹配标志物的道路养护标志物对应的子图像区域;
将所述子图像区域作为所述待识别图像中的道路养护区域。
在一种可能的实施方式中,所述第二确定模块304,用于基于每个道路养护标志物对应的匹配标志物,确定存在匹配标志物的道路养护标志物的待验证数量;
在所述待验证数量大于第二预设数量的情况下,确定所述待识别图像中存在道路养护区域。
在一种可能的实施方式中,所述第二确定模块304,还用于在确定所述目标已识别图像之后,在不存在对应的目标已识别图像大于第三预设数量的标志物组的情况下,确定所述待识别图像对应的道路养护区域不存在。
在一种可能的实施方式中,所述筛选模块303,用于确定所述道路养护标志物对应的第一检测框,以及每帧已识别图像中所述历史养护标志物对应的第二检测框;
基于所述第一检测框和所述第二检测框之间的重叠度信息,以及所述第一检测框和所述第二检测框分别对应的检测框类别,从所述历史养护标志物中筛选与所述道路养护标志物相匹配的匹配标志物。
在一种可能的实施方式中,所述第一确定模块302,用于对所述待识别图像进行图像识别,确定所述待识别图像中的每个初始检测框;
按照所述初始检测框的第一置信度从高到低的顺序,对所述初始检测框进行排序;
基于所述初始检测框对应的排序结果,从所述初始检测框中筛选出目标检测框,并基于所述目标检测框,确定所述待识别图像中的至少一个道路养护标志物。
在一种可能的实施方式中,所述第一确定模块302,用于从所述初始检测框中筛选出排序结果对应的次序大于预设次序的待确认检测框;
基于每个所述待确认检测框对应的第一置信度和每个所述待确认检测框与其他待确认检测框之间的重叠度信息,从所述待确认检测框中筛选出所述目标检测框。
在一种可能的实施方式中,所述第一确定模块302,用于确定每个所述目标检测框的目标类别和所述目标类别的第二置信度;
基于每个所述目标检测框对应的第二置信度,从所述目标检测框中筛选出第二置信度大于预设置信度的第一检测框;
基于所述第一检测框及其对应的目标类别,确定所述待识别图像中的至少一个道路养护标志物。
在一种可能的实施方式中,所述获取模块301,还用于按照以下步骤获取所述待识别图像:
获取待处理的目标视频;
对所述目标视频进行抽帧处理,得到多帧所述待识别图像。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
本公开实施例还提供了一种计算机设备,如图4所示,为本公开实施例提供的一种计算机设备结构示意图,包括:
处理器41和存储器42;所述存储器42存储有处理器41可执行的机器可读指令,处理器41用于执行存储器42中存储的机器可读指令,所述机器可读指令被处理器41执行时,处理器41执行下述步骤:S101:获取待识别图像,以及待识别图像之前的、每帧已识别图像中的历史养护标志物;S102:对待识别图像进行图像识别,确定待识别图像中的至少一个道路养护标志物;S103:针对至少一个道路养护标志物中的每个道路养护标志物,从历史养护标志物中筛选与道路养护标志物相匹配的匹配标志物以及S104:基于每个道路养护标志物对应的匹配标志物,确定待识别图像对应于道路养护区域的检测结果。
上述存储器42包括内存421和外部存储器422;这里的内存421也称内存储器,用于暂时存放处理器41中的运算数据,以及与硬盘等外部存储器422交换的数据,处理器41通过内存421与外部存储器422进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的检测方法的步骤,此处不再赘述。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的检测方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的检测方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的检测方法的步骤,具体可参见上述方法实施例,在此不再赘述。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (16)
1.一种检测方法,其特征在于,包括:
获取待识别图像,以及所述待识别图像之前的、每帧已识别图像中的历史养护标志物;
对所述待识别图像进行图像识别,确定所述待识别图像中的至少一个道路养护标志物;
针对所述至少一个道路养护标志物中的每个所述道路养护标志物,从所述历史养护标志物中筛选与所述道路养护标志物相匹配的匹配标志物;
基于每个道路养护标志物对应的匹配标志物,确定所述待识别图像对应于道路养护区域的检测结果。
2.根据权利要求1所述的方法,其特征在于,所述基于每个道路养护标志物对应的匹配标志物,确定所述待识别图像中的道路养护区域的检测结果,包括:
将对应的匹配标志物的数量大于第一预设数量的道路养护标志物,作为目标标志物;
基于每个所述目标标志物和与每个所述目标标志物匹配的匹配标志物,确定所述待识别图像中的道路养护区域的检测结果。
3.根据权利要求1所述的方法,其特征在于,所述基于每个道路养护标志物对应的匹配标志物,确定所述待识别图像对应于道路养护区域的检测结果,包括:
基于每个道路养护标志物对应的匹配标志物,以及每个匹配标志物对应的已识别图像,确定对应于相同帧的已识别图像的目标匹配标志物的数量;
在所述数量大于目标数量的情况下,基于所述目标匹配标志物对应的道路养护标志物,确定所述待识别图像中的道路养护区域。
4.根据权利要求2所述的方法,其特征在于,所述基于每个所述目标标志物和与每个所述目标标志物匹配的匹配标志物,确定所述待识别图像中的道路养护区域的检测结果,包括:
按照第二预设数量将所述目标标志物分割为至少一个标志物组;
针对每个标志物组,基于所述标志物组中每个目标标志物对应的匹配标志物所属的已识别图像,确定同时包括每个目标标志物对应的匹配标志物的目标已识别图像;
基于每个标志物组对应的目标已识别图像,确定所述待识别图像中的道路养护区域的检测结果。
5.根据权利要求4所述的方法,其特征在于,所述基于每个标志物组对应的目标已识别图像,确定所述待识别图像中的道路养护区域的检测结果,包括:
基于每个标志物组对应的目标已识别图像,从标志物组中筛选对应的目标已识别图像大于第三预设数量的目标标志物组;
基于所述目标标志物组中的目标标志物,确定所述待识别图像中的道路养护区域。
6.根据权利要求5所述的方法,其特征在于,在确定所述目标已识别图像之后,还包括:
在不存在对应的目标已识别图像大于第三预设数量的标志物组的情况下,确定所述待识别图像对应的道路养护区域不存在。
7.根据权利要求1所述的方法,其特征在于,所述基于每个道路养护标志物对应的匹配标志物,确定所述待识别图像对应于道路养护区域的检测结果,包括:
基于每个道路养护标志物对应的匹配标志物,确定存在匹配标志物的道路养护标志物;
基于存在匹配标志物的道路养护标志物在所述待识别图像中的目标位置,确定所述存在匹配标志物的道路养护标志物对应的子图像区域;
将所述子图像区域作为所述待识别图像中的道路养护区域。
8.根据权利要求1所述的方法,其特征在于,所述基于每个道路养护标志物对应的匹配标志物,确定所述待识别图像对应于道路养护区域的检测结果,包括:
基于每个道路养护标志物对应的匹配标志物,确定存在匹配标志物的道路养护标志物的待验证数量;
在所述待验证数量大于第二预设数量的情况下,确定所述待识别图像中存在道路养护区域。
9.根据权利要求1所述的方法,其特征在于,从所述历史养护标志物中筛选与所述道路养护标志物相匹配的匹配标志物,包括:
确定所述道路养护标志物对应的第一检测框,以及每帧已识别图像中所述历史养护标志物对应的第二检测框;
基于所述第一检测框和所述第二检测框之间的重叠度信息,以及所述第一检测框和所述第二检测框分别对应的检测框类别,从所述历史养护标志物中筛选与所述道路养护标志物相匹配的匹配标志物。
10.根据权利要求1所述的方法,其特征在于,所述对所述待识别图像进行图像识别,确定所述待识别图像中的至少一个道路养护标志物,包括:
对所述待识别图像进行图像识别,确定所述待识别图像中的每个初始检测框;
按照所述初始检测框的第一置信度从高到低的顺序,对所述初始检测框进行排序;
基于所述初始检测框对应的排序结果,从所述初始检测框中筛选出目标检测框,并基于所述目标检测框,确定所述待识别图像中的至少一个道路养护标志物。
11.根据权利要求10所述的方法,其特征在于,所述基于所述初始检测框对应的排序结果,从所述初始检测框中筛选出目标检测框,包括:
从所述初始检测框中筛选出排序结果对应的次序大于预设次序的待确认检测框;
基于每个所述待确认检测框对应的第一置信度和每个所述待确认检测框与其他待确认检测框之间的重叠度信息,从所述待确认检测框中筛选出所述目标检测框。
12.根据权利要求10所述的方法,其特征在于,所述基于所述目标检测框,确定所述待识别图像中的至少一个道路养护标志物,包括:
确定每个所述目标检测框的目标类别和所述目标类别的第二置信度;
基于每个所述目标检测框对应的第二置信度,从所述目标检测框中筛选出第二置信度大于预设置信度的第一检测框;
基于所述第一检测框及其对应的目标类别,确定所述待识别图像中的至少一个道路养护标志物。
13.根据权利要求1所述的方法,其特征在于,所述方法还包括获取所述待识别图像的步骤:
获取待处理的目标视频;
对所述目标视频进行抽帧处理,得到多帧所述待识别图像。
14.一种检测装置,其特征在于,包括:
获取模块,用于获取待识别图像,以及所述待识别图像之前的、每帧已识别图像中的历史养护标志物;
第一确定模块,用于对所述待识别图像进行图像识别,确定所述待识别图像中的至少一个道路养护标志物;
筛选模块,用于针对所述至少一个道路养护标志物中的每个所述道路养护标志物,从所述历史养护标志物中筛选与所述道路养护标志物相匹配的匹配标志物;
第二确定模块,用于基于每个道路养护标志物对应的匹配标志物,确定所述待识别图像对应于道路养护区域的检测结果。
15.一种计算机设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述处理器执行如权利要求1至13任意一项所述的检测方法的步骤。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被计算机设备运行时,所述计算机设备执行如权利要求1至13任意一项所述的检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111216850.1A CN113936224A (zh) | 2021-10-19 | 2021-10-19 | 一种检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111216850.1A CN113936224A (zh) | 2021-10-19 | 2021-10-19 | 一种检测方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113936224A true CN113936224A (zh) | 2022-01-14 |
Family
ID=79280554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111216850.1A Withdrawn CN113936224A (zh) | 2021-10-19 | 2021-10-19 | 一种检测方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113936224A (zh) |
-
2021
- 2021-10-19 CN CN202111216850.1A patent/CN113936224A/zh not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10762376B2 (en) | Method and apparatus for detecting text | |
CN111476067B (zh) | 图像的文字识别方法、装置、电子设备及可读存储介质 | |
CN108364010B (zh) | 一种车牌识别方法、装置、设备及计算机可读存储介质 | |
JP5775225B2 (ja) | マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出 | |
CN110853033B (zh) | 基于帧间相似度的视频检测方法和装置 | |
CN107944450B (zh) | 一种车牌识别方法及装置 | |
CN110378297B (zh) | 基于深度学习的遥感图像目标检测方法、装置、及存储介质 | |
CN111931664A (zh) | 混贴票据图像的处理方法、装置、计算机设备及存储介质 | |
CN111460967B (zh) | 一种违法建筑识别方法、装置、设备及存储介质 | |
KR101935010B1 (ko) | 영상 기반 차량 번호판 인식 장치 및 방법 | |
CN109343920B (zh) | 一种图像处理方法及其装置、设备和存储介质 | |
CN109727275B (zh) | 目标检测方法、装置、系统和计算机可读存储介质 | |
CN112200081A (zh) | 异常行为识别方法、装置、电子设备及存储介质 | |
JP7026165B2 (ja) | テキスト認識方法及びテキスト認識装置、電子設備、記憶媒体 | |
CN111325769A (zh) | 一种目标对象检测方法及装置 | |
CN111310850A (zh) | 车牌检测模型的构建方法及系统、车牌检测方法及系统 | |
CN112997190A (zh) | 车牌识别方法、装置及电子设备 | |
CN113762326A (zh) | 一种数据识别方法、装置、设备及可读存储介质 | |
CN109508716B (zh) | 一种图像文字的定位方法及装置 | |
Lee et al. | License plate detection via information maximization | |
CN104966109A (zh) | 医疗化验单图像分类方法及装置 | |
CN109523570B (zh) | 运动参数计算方法及装置 | |
CN112883827A (zh) | 图像中指定目标的识别方法、装置、电子设备和存储介质 | |
CN115018886B (zh) | 运动轨迹识别方法、装置、设备及介质 | |
CN111414889A (zh) | 基于文字识别的财务报表识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220114 |