CN116704467B - 一种车辆防砸自动识别方法、装置、设备和存储介质 - Google Patents
一种车辆防砸自动识别方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116704467B CN116704467B CN202310973294.5A CN202310973294A CN116704467B CN 116704467 B CN116704467 B CN 116704467B CN 202310973294 A CN202310973294 A CN 202310973294A CN 116704467 B CN116704467 B CN 116704467B
- Authority
- CN
- China
- Prior art keywords
- detection
- vehicle
- coordinate information
- angular coordinate
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 219
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012790 confirmation Methods 0.000 abstract description 6
- 230000002265 prevention Effects 0.000 abstract description 4
- 210000003128 head Anatomy 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 208000012661 Dyskinesia Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种车辆防砸自动识别方法、装置、设备和存储介质,所述车辆防砸自动识别方法包括通过摄像头获取车辆的参考帧图片和检测帧图片,其中,参考帧图片为摄像头在车辆停稳时获取的图片,检测帧图片为摄像头在车辆停稳后获取的图片;基于车辆识别模型获取参考帧图片的参考识别框和检测帧图片的检测识别框;获取参考识别框的参考角坐标信息和检测识别框的检测角坐标信息,基于参考角坐标信息和检测角坐标信息判断车辆是否发生移动;根据车辆是否发生移动判断车辆是否会被砸到。本发明解决了现有技术中人工确认集装箱卡车是否被砸以及基于激光传感器防砸成本较高的问题,提高了识别准确率,保证了较低的漏检率和误报率。
Description
技术领域
本发明涉及车辆防砸技术领域,具体涉及一种车辆防砸自动识别方法、装置、设备和存储介质。
背景技术
在港口集装箱装卸货作业过程中,“放箱”是一个重要的生产环节,也是生产安全事故易发的环节。“放箱”是指在集装箱卡车在空载状态下静止于吊具之下,吊具将集装箱放置于集装箱卡车平板上的过程。在放箱过程中,由于集装箱卡车的位置移动,会导致集装箱未放置在集装箱卡车指定的平板位置,从而会砸到集装箱卡车车体的其他部位,造成车体损坏或人员伤亡。
现有技术中,在放箱过程中,集装箱卡车的防砸包括人工确认防砸和基于激光传感器的防砸自动识别两种方式。人工确认防砸有成本高、速度慢等缺点,尤其在繁忙的作业阶段,将极大降低整体的作业效率;而基于激光传感器的防砸自动识别方式则依赖特殊的激光传感器,成本较高,使用场景较为局限。
目前,针对现有技术中的集装箱卡车防砸识别方式成本较高的问题,尚未提出有效的解决方案。
发明内容
有鉴于此,本发明实施例提供了一种车辆防砸自动识别方法、装置、设备和存储介质,以至少解决现有技术中集装箱卡车防砸识别方式成本较高的问题。
本发明实施例提供以下技术方案:
本发明实施例提供一种车辆防砸自动识别方法,包括:
通过摄像头获取车辆的参考帧图片和检测帧图片,其中,所述参考帧图片为所述摄像头在所述车辆停稳时获取的图片,所述检测帧图片为所述摄像头在所述车辆停稳后获取的图片;
基于车辆识别模型获取所述参考帧图片的参考识别框和所述检测帧图片的检测识别框;
获取所述参考识别框的参考角坐标信息和所述检测识别框的检测角坐标信息,基于所述参考角坐标信息和所述检测角坐标信息判断所述车辆是否发生移动;
根据所述车辆是否移动判断所述车辆是否会被砸到。
进一步地,所述基于所述参考角坐标信息和所述检测角坐标信息判断所述车辆是否发生移动包括:
获取所述参考角坐标信息和所述检测角坐标信息的第一均方误差;
在所述第一均方误差小于第一预设阈值的情况下,判断所述车辆未发生移动。
进一步地,获取所述参考识别框的参考角坐标信息和所述检测识别框的检测角坐标信息,基于所述参考角坐标信息和所述检测角坐标信息判断所述车辆是否发生移动包括:
获取所述参考识别框的参考角坐标信息、参考尺寸信息;
获取所述检测识别框的检测角坐标信息、检测尺寸信息;
基于所述参考角坐标信息、所述参考尺寸信息、所述检测角坐标信息和所述检测尺寸信息判断所述车辆是否发生移动。
进一步地,所述基于所述参考角坐标信息、参考尺寸信息、检测角坐标信息和检测尺寸信息判断所述车辆是否发生移动包括:
获取所述参考角坐标信息、所述参考尺寸信息、所述检测角坐标信息和所述检测尺寸信息的第二均方误差;
在所述第二均方误差小于第二预设阈值的情况下,判断所述车辆未发生移动。
进一步地,所述参考识别框和所述检测识别框均包括车牌识别框;或
所述参考识别框和所述检测识别框均包括车轮识别框;或
所述参考识别框和所述检测识别框均包括车牌识别框、车轮识别框。
进一步地,在所述参考识别框包括参考车牌识别框、参考车轮识别框且所述检测识别框包括检测车牌识别框、检测车轮识别框时;
基于所述参考角坐标信息和所述检测角坐标信息判断所述车辆是否发生移动还包括:
在基于所述参考车牌识别框的参考车牌角坐标信息和所述检测车牌识别框的检测车牌角坐标信息判断所述车辆的车牌未发生移动,且基于所述参考车轮识别框的参考车轮角坐标信息和所述检测车轮识别框的检测车轮角坐标信息判断所述车辆的车轮未发生移动的情况下,则判断所述车辆未发生移动。
进一步地,在基于所述参考车牌识别框的参考车牌角坐标信息和所述检测车牌识别框的检测车牌角坐标信息判断所述车辆的车牌未发生移动,且基于所述参考车轮识别框的参考车轮角坐标信息和所述检测车轮识别框的检测车轮角坐标信息判断所述车辆的多个车轮均未发生移动的情况下,则判断所述车辆未发生移动。
本发明实施例的一种车辆防砸自动识别装置,包括:
获取单元,所述获取单元用于通过摄像头获取车辆的参考帧图片和检测帧图片,基于车辆识别模型获取所述参考帧图片的参考识别框和检测帧图片的检测识别框,以及获取所述参考识别框的参考角坐标信息和所述检测识别框的检测角坐标信息,其中,所述参考帧图片为所述摄像头在所述车辆停稳时获取的图片,所述检测帧图片为所述车辆停稳后获取的图片;
判断单元,所述判断单元用于基于所述参考角坐标信息和所述检测角坐标信息判断所述车辆是否会被砸到,并根据所述车辆是否发生移动判断所述车辆是否会被砸到。
本发明实施例的一种计算机设备,包括存储器、处理器以及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上任一项所述的车辆防砸自动识别方法。
本发明实施例的一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上任一项所述的车辆防砸自动识别方法。
与现有技术相比,本发明实施例采用的上述至少一个技术方案能够达到的有益效果至少包括:
本发明的一种车辆防砸自动识别方法,通过摄像头获取车辆的参考帧图片和检测帧图片;基于车辆识别模型获取参考帧图片的参考识别框和检测帧图片的检测识别框;获取参考识别框的参考角坐标信息和检测识别框的检测角坐标信息,基于参考角坐标信息和检测角坐标信息判断车辆车体是否移动,继而判断车辆车体是否会被砸到,解决了现有技术中人工确认集装箱卡车是否被砸以及基于激光传感器防砸成本较高的问题,提高了识别准确率,保证了较低的漏检率和误报率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例的一种车辆防砸自动识别方法的流程图(一);
图2为本发明实施例的摄像头与车辆作业位的一个摆放实施例;
图3为本发明实施例的深度学习网络结构的示意图;
图4为本发明实施例的深度学习网络结构的流程图;
图5为本发明实施例的一种车辆防砸自动识别方法的流程图(二);
图6为本发明实施例的一种车辆防砸自动识别方法的流程图(三);
图7为本发明实施例的参考识别框和检测识别框的结构示意图;
图8为本发明实施例的一种车辆防砸自动识别装置的结构框图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本申请,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目和方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本申请的基本构想,图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践。
现有技术中,通常采用人工确认的方式来进行集装箱卡车的防砸安全识别,在放箱阶段,需要人工确认吊具和箱子在下降过程中是否会与车体其他部位(车头)发生异常碰撞,若判断发生碰撞则需要向轨道吊设备系统发送提示,然而人工确认有着成本高、速度较慢等缺点,尤其在繁忙作业阶段,将大大拉低整体的作业效率。现有技术中也有一些基于激光传感器的防砸自动识别方法,如公开号为WO2021179988A1的专利中记载了一种基于三维激光的集卡防砸检测方法、装置和计算机设备以对集装箱卡车进行防砸安全识别,但是其中使用的三维激光传感器价格昂贵,成本较高,无法被大规模应用,因此需要一种成本较低、识别效率较高、不需要人工的车辆防砸自动识别方法。
有鉴于此,发明人通过对目标检测技术和目标跟踪技术等方案进行深入研究及改进探索发现:可以先识别集装箱卡车的位置,并判断集装箱卡车在放箱过程中集装箱卡车是否移动来判断集装箱卡车的车头等部位是否会被集装箱砸到。
基于此,本发明实施例提出了一种处理方案:通过摄像头获取车辆停稳时的参考帧图片和车辆停稳后的检测帧图片,并基于车辆识别模型判断参考帧图片和检测帧图片内的车辆是否发生移动,并根据车辆是否发生移动判断车辆车体是否会被砸到。
以下结合附图,说明本申请各实施例提供的技术方案。
如图1~2所示,本发明实施例提供的一种车辆防砸自动识别方法,包括:
步骤S102、通过摄像头获取车辆的参考帧图片和检测帧图片,其中,参考帧图片为摄像头在车辆停稳时获取的图片,检测帧图片为摄像头在车辆停稳后获取的图片;
步骤S104、基于车辆识别模型获取参考帧图片的参考识别框和检测帧图片的检测识别框;
步骤S106、获取参考识别框的参考角坐标信息和检测识别框的检测角坐标信息,基于参考角坐标信息和检测角坐标信息判断车辆是否发生移动;
步骤S108、根据车辆是否移动判断车辆是否会被砸到。
在步骤S102中,摄像头为普通摄像头,如RGB视频摄像头。
其中,参考帧图片由于是车辆停稳后拍摄的图片,因此可以将参考帧图片作为基准图片或参考图片,然后通过车辆在检测帧图片中的位置与车辆在参考帧图片中的位置进行比对来判断车辆是否发生移动,若车辆在检测帧图片中的位置相对于参考帧图片发生了相对移动,则判断车辆发生了移动,此时可以判断车辆的车头等部位会被砸到。
其中,通过采用普通摄像头检测车辆是否发生移动,相比于使用人工或其他特殊的激光传感器,也降低了成本,便于大规模推广使用。
其中,参考帧图片和检测帧图片中至少包括车辆的车牌、车轮、车厢中的一项或多项。
优选地,参考帧图片和检测帧图片中包括车牌和车轮。
本发明对摄像头的位置不做限定,其目的是获取到车辆的特征图片,只要能实现本发明的功能,其可设置在车辆的任意位置。
作为一个优选实施方式,摄像头可以设置为车辆的右后侧,以同时拍摄车辆车牌和车轮。
在步骤S104中,车辆识别模型用于识别车辆和车辆特征,如用于识别车辆整体、车厢、车牌、车轮、车头等特征。
在其中的一些实施例中,车辆识别模型使用基于深度学习的RetinaNet方法来进行图像的目标检测,并基于标注的图像进行深度学习训练。
深度学习网络结构如图3所示,Backbone(骨干网络)由ResNet网络(残差网络)构成,本方案选取的是ResNet50,即使用50个bottleneck(瓶颈层)残差单元级联连接,bottleneck的单元结构如图4所示;Neck部分(网络架构中用于整合特征的部分)由FPN网络结构(特征金字塔网络结构)组成。FPN模块接收c3,c4,c5三个特征图,输出P2-P7 五个特征图,通道数都是256, stride(步幅)为 (8,16,32,64,128)。这里的c3,c4是指在RetinaNet(视网膜网络)中使用的特征图,是指在骨干网络中的c3,c4,c5 三个层,它们的输出分别为大小不同、语义层次逐渐提高的特征图。FPN模块接收这三个特征图,通过上采样和特征融合的方式得到P2-P7五个特征图,其中P2对应c3经过一次上采样后与c4相加得到的结果,P3对应P2经过一次上采样后与c3 相加得到的结果,以此类推,最终得到P7,即为c5经过一次卷积得到的特征图。这样做的目的是为了在不同尺度上检测出不同大小的物体,同时保留不同层次的语义信息,提高检测的准确率。head模块包括分类和位置检测两个分支,每个分支都包括4个卷积层。
其中,在基于标注的图像进行深度学习训练时,可以标注的图像数据包含的物体类别包括后车牌、车轮等。
本发明可以将多个摄像头采集的数据以8:1:1的格式作为训练集、验证集和测试集进行训练。
例如,可以将四个摄像头采集到的2000张数据以8:1:1的格式作为训练集、验证集和测试集进行训练,且四个摄像头设置于车辆的左前方、右前方、左后方、右后方。
其中,参考识别框内包括车辆识别模型识别参考帧图片中的车辆特征,如参考帧图片内的车牌、车轮等;检测识别框内包括车辆识别模型识别的检测帧图片中的车辆特征,如检测帧图片内的车牌、车轮等。
具体地,参考识别框内包含车牌、车轮的至少一种,检测识别框内包括车牌、车轮的至少一种。
其中,参考识别框内的车辆特征与检测识别框内的车辆特征相同,如在参考识别框内包括的车辆特征为车牌的情况下,检测识别框内包括的车辆特征也为车牌,从而便于根据相同特征判断车辆是否发生移动。
优选地,每一参考识别框内至少有一种车辆特征,每一检测识别框内至少有一种车辆特征。
在步骤S106中,获取参考识别框的参考角坐标信息和检测识别框的检测角坐标信息与现有技术相同,在此不再赘述。
其中,参考角坐标信息可以为参考识别框的左上角坐标、右上角坐标、左下角坐标、右下角坐标的一种或多种。
其中,检测角坐标信息可以为检测识别框的左上角坐标、右上角坐标、左下角坐标、右下角坐标的一种或多种。
例如,参考角坐标信息可以为参考识别框的左上角坐标,检测识别框的检测角坐标信息可以为检测识别框的左上角坐标。
其中,参考角坐标信息在参考识别框的位置与检测角坐标信息在检测识别框中的位置相同,也即在参考角坐标信息为参考识别框的左上角坐标的情况下,检测角坐标信息也为检测识别框中的左上角坐标。
其中,参考角坐标信息和检测角坐标信息可以为二维坐标或三维坐标。
优选地,参考角坐标信息和检测角坐标信息均为二维坐标。
在其中的一些实施例中,可以根据参考角坐标信息和检测角坐标信息之间的差异来判断车辆是否发生移动。
例如,在参考角坐标信息与检测角坐标信息相同的情况下,说明车辆未发生移动,在参考角坐标信息和检测角坐标信息不同的情况下,则说明车辆发生了移动。
在步骤S108中,车辆发生移动,说明车辆偏离了车辆最初停稳时的位置,因此此时集装箱就有可能砸到车辆的车体,如砸到车头等位置;若车辆未发生移动,此时说明车辆的车体不会被砸。
例如,轨道吊在放箱作业钱,会通过激光扫描集装箱卡车的平板,以确认吊具位置是否准确,此过程一般不会出现错误,而发生碰撞通常是在激光扫描集装箱卡车的平板确认吊具位置准确之后,集装箱卡车司机违规移动了车辆位置,从而导致集装箱与集装箱卡车发生碰撞,所以将车头防砸的识别转换为激光扫描集装箱卡车平板后,集装箱卡车发生移动则集装箱卡车的车头可能会被砸,若集装箱卡车未发生移动则说明集装箱卡车的位置正确,集装箱卡车的车头则不会被砸。
其中,车辆发生移动为车辆移动幅度达到了预设阈值,车辆未发生移动为车辆移动幅度为达到阈值或车辆未移动。
通过步骤S102~步骤S108,通过摄像头获取的参考帧图片和检测帧图片进行特征分析以判断车辆是否发生移动,继而判断车辆是否会被集装箱砸到,解决了现有技术中人工确认或使用昂贵的激光传感器确认是否被砸导致的成本高的问题,并且通过在激光扫描集装箱卡车的平板确认吊具位置准确之后,通过对集装箱卡车的位置进行监控,也增加了车辆防砸的准确率和漏检率。
在其中的一些实施例中,如图5所示,基于参考角坐标信息和检测角坐标信息判断车辆是否发生移动包括:
步骤S106a、获取参考角坐标信息和检测角坐标信息的第一均方误差;
步骤S106b、在第一均方误差小于第一预设阈值的情况下,判断车辆未发生移动。
其中,均方误差是衡量模型预测结果与实际值之间差异的一种指标,通过获取参考角坐标信息和检测角坐标信息的第一均方误差,从而能够获取参考角坐标信息和检测角坐标信息之间的差异,继而通过该差异判断车辆是否发生移动。
其中,第一均方误差越小,说明参考识别框和检测识别框的相对位置关系变化越小,说明车辆移动范围越小,第一均方误差越大,说明参考识别框和检测识别框的相对位置关系变化越大,说明车辆移动范围越大,从而通过获取参考角坐标信息和检测角坐标信息的第一均方误差能够准确的判断出车辆是否发生移动,减少计算误差。
其中,在第一均方误差小于第一预设阈值的情况下,车辆未发生移动是指车辆移动幅度在指定范围内或者完全未移动,且不会被集装箱砸到。
在其中的一些实施例中,在第一均方误差大于或等于第一预设阈值的情况下,则判断车辆发生移动,此时集装箱继续下降会砸到车辆车头或其他部位,此时可以发出报警信息,以提醒车辆司机。
通过步骤S106a~步骤S106b能够放大参考角坐标信息和检测角坐标信息之间的差异,从而能够更加精准的判断车辆位置是否发生了移动,提高了检测精准率。
在其中的一些实施例中,如图6所示,获取参考识别框的参考角坐标信息和检测识别框的检测角坐标信息,基于参考角坐标信息和检测角坐标信息判断车辆是否发生移动包括:
步骤S106c、获取参考识别框的参考角坐标信息、参考尺寸信息;
步骤S106d、获取检测识别框的检测角坐标信息、检测尺寸信息;
步骤S106e、基于参考角坐标信息、参考尺寸信息、检测角坐标信息和检测尺寸信息判断车辆是否发生移动。
其中,参考尺寸信息包括参考识别框的参考识别框长度和参考识别框宽度,检测尺寸信息包括检测识别框长度和检测识别框宽度。
其中,基于参考角坐标信息和检测角坐标信息的基础上,通过对比参考尺寸信息和检测尺寸信息之间的差异,也能够进一步判断车辆是否发生移动。
例如,在车辆移动时,车辆远离摄像头,此时检测识别框内的识别物在图像上的尺寸变小,也即是检测识别框的长度和宽度变小,从而能够根据检测识别框的长度和宽度判断车辆是否发生移动,且结合检测识别框的角坐标信息也能够更准确的判断车辆是否发生移动。
通过步骤S106c~步骤S106e能够更加精准的判断车辆是否移动,从而便于提高检测的准确率。
在其中的一些实施例中,基于参考角坐标信息、参考尺寸信息、检测角坐标信息和检测尺寸信息判断车辆是否发生移动包括获取参考角坐标信息、参考尺寸信息、检测角坐标信息和检测尺寸信息的第二均方误差;在第二均方误差小于第二预设阈值的情况下,判断车辆未发生移动。
其中,通过参考角坐标信息、参考尺寸信息、检测角坐标信息和检测尺寸信息获取第二均方误差,能够继续放大检测识别框与参考识别框之间的差异,增加了对车辆移动检测的灵活性和准确率。
其中,在第二均方误差大于或等于第二预设阈值的情况下,判断车辆发生移动。
如图7所示,x1、y1为参考识别框的左上角坐标,x2、y2为检测识别框左上角坐标,h1、w1为参考识别框的长度和宽度,h2、w2为检测帧识别框的长度和宽度,第二均方误差为MSE=(x1-x2)2+(y1-y2)2+(w1-w2)2+(h1-h2)2。
在其中的一些实施例中,参考识别框和检测识别框均包括车牌识别框,从而能够通过车牌是否移动,以判断车辆是否移动。
例如,在基于参考识别框中的车牌识别框的角坐标信息和检测识别框的车牌识别框的角坐标信息判断车牌发生移动的情况下,就能够判断车辆发生了移动。
在其中的一些实施例中,参考识别框和检测识别框均包括车轮识别框,从而能够通过车轮是否移动,以判断车辆是否移动。
例如,在基于参考识别框中的车轮识别框的角坐标信息和检测识别框的车轮识别框的角坐标信息判断车轮发生移动的情况下,就能够判断车辆发生了移动。
在其中的一些实施例中,参考识别框和检测识别框均包括车牌识别框、车轮识别框,从而能够通过车牌和车轮是否移动,以判断车辆是否移动。
在其中的一些实施例中,车牌识别框包括参考车牌识别框和检测车牌识别框,车轮识别框包括参考车轮识别框和检测车轮识别框,在参考识别框包括参考车牌识别框、参考车轮识别框且检测识别框包括检测车牌识别框、检测车轮识别框时,基于参考角坐标信息和检测角坐标信息判断车辆是否发生移动还包括:
在基于参考车牌识别框的参考车牌角坐标信息和检测车牌识别框的检测车牌角坐标信息判断车辆的车牌未发生移动,且基于参考车轮识别框的参考车轮角坐标信息和检测车轮识别框的检测车轮角坐标信息判断车辆的车轮未发生移动的情况下,则判断车辆未发生移动。
其中,通过对车牌和车轮的综合判断,从而提高了判断车辆是否移动的准确性、灵活性和全面性,减少车辆移动的误报率和漏检率。
其中,可以判断车辆的单个车轮是否移动来判断车辆是否发生移动,也可以判断车辆的多个车轮是否移动来判断车辆是否发生移动。
在一个优选实施例中,在基于参考车牌识别框的参考车牌角坐标信息和检测车牌识别框的检测车牌角坐标信息判断车辆的车牌未发生移动,且基于参考车轮识别框的参考车轮角坐标信息和检测车轮识别框的检测车轮角坐标信息判断车辆的多个车轮均未发生移动的情况下,则判断车辆未发生移动。
其中,通过对多个车轮进行判断,能够提高判断车辆是否移动的准确性,避免出现车辆转向时,检测车轮未移动而造成的偏差。
在一个更优的实施例中,在基于参考车牌识别框的参考车牌角坐标信息和检测车牌识别框的检测车牌角坐标信息判断车辆的车牌未发生移动,且基于参考车轮识别框的参考车轮角坐标信息和检测车轮识别框的检测车轮角坐标信息判断车辆的四个车轮均未发生移动的情况下,则判断车辆未发生移动,其中,四个车轮分别为车辆的左前轮、右前轮、左后轮、右后轮。
其中,在检测车辆四个车轮的情况下,可以在车辆的四个方位均放置摄像头,并对检测帧图片相对参考帧图片做图像的视觉识别分析,判断车辆的后车牌和车轮是否移动,再结合其他三个方位的摄像头对车轮进行目标跟踪,从而判断车辆是否出现异常移动,提高判断车辆是否移动的准确性。
其中,通过车辆的车牌移动结合多个车轮同时移动来判断车辆未发生移动,从而提高了检测车辆是否发生移动的准确性。
本发明的一个具体实施方式如下:
在激光扫描集装箱卡车平板后,通过摄像头获取集装箱卡车停稳后的参考帧图片,并调用车辆识别模型完成对车牌与车轮的识别,并将车牌和车轮的角坐标信息存储于内存;
在集装箱着箱过程中,摄像头连续拍摄检测帧图片,并识别检测帧图片中的车牌和车轮,获取检测帧图片中的车牌和车轮的角坐标信息,再根据参考帧图片中的车牌和车轮的角坐标信息、检测帧图片中的车牌和车轮的角坐标信息获取均方误差MSE;
判断均方误差MSE是否大于预设阈值,在均方误差MSE大于预设阈值的情况下,判断摄像头视角内的物体发生了移动,也即判断车牌和车轮发生了移动;
将车牌未发生移动记为事件A,记各角度摄像头判断车轮未发生移动为时间B1、B2、B3、B4,在A and B1 and B2 and B3 and B4 均为真时,判断车辆未发生异常移动;否则认为车辆发生异常移动;
在判断车辆异常移动之后,则认为会发生砸车事故,此时发出警报。
本发明在系统发出检测指令后,不断调用车辆多个方位的摄像头画面,并对参考帧图片和检测帧图片做图像的视觉识别分析,通过对其中一个方位的摄像头图像进行目标检测和目标跟踪,判断车辆的后车牌和车轮是否移动,再结合其他三个方位的摄像头对车轮进行目标跟踪,继而判断车辆是否出现异常移动。
本发明不需要人工确认是否发生异常,也不需要也不需要使用特殊的传感器(例如激光传感器)来进行识别判断;且本发明利用多个关键点位的目标检测与目标跟踪,实现了较高的识别准确率,并保证了较低的漏检率和误报率,对集装箱卡车防砸识别任务的推进有着极大的有益效果。
本发明的一种车辆防砸自动识别装置,包括获取单元10和判断单元20。其中,获取单元10用于通过摄像头获取车辆的参考帧图片和检测帧图片,基于车辆识别模型获取参考帧图片的参考识别框和检测帧图片的检测识别框,以及获取参考识别框的参考角坐标信息和检测识别框的检测角坐标信息,其中,参考帧图片为摄像头在车辆停稳时获取的图片,检测帧图片为车辆停稳后获取的图片;判断单元20用于基于参考角坐标信息和检测角坐标信息判断车辆是否会被砸到,并根据车辆是否发生移动判断车辆是否会被砸到。
在其中的一些实施例中,获取单元10还用于获取参考角坐标信息和检测角坐标信息的第一均方差。
判断单元20还用于在第一均方误差小于第一预设阈值的情况下,判断车辆未发生移动。
在其中的一些实施例中,获取单元10还用于获取参考识别框的参考角坐标信息、参考尺寸信息;获取检测识别框的检测角坐标信息、检测尺寸信息。
判断单元20还用于基于参考角坐标信息、参考尺寸信息、检测角坐标信息和检测尺寸信息判断车辆是否发生移动。
在其中的一些实施例中,获取单元10还用于获取参考角坐标信息、参考尺寸信息、检测角坐标信息和检测尺寸信息的第二均方差。
判断单元20还用于在第二均方差小于第二预设阈值的情况下,判断车辆未发生移动。
在其中的一些实施例中,判断单元20还用于在基于参考车牌识别框的参考车牌角坐标信息和检测车牌识别框的检测车牌角坐标信息判断车辆的车牌未发生移动,且基于参考车轮识别框的参考车轮角坐标信息和检测车轮识别框的检测车轮角坐标信息判断车辆的车轮未发生移动的情况下,则判断车辆未发生移动。
在其中的一些实施例中,判断单元20还用于在基于参考车牌识别框的参考车牌角坐标信息和检测车牌识别框的检测车牌角坐标信息判断车辆的车牌未发生移动,且基于参考车轮识别框的参考车轮角坐标信息和检测车轮识别框的检测车轮角坐标信息判断车辆的多个车轮均未发生移动的情况下,则判断车辆未发生移动。
本申请实施例还提供了一种计算机设备。该计算机设备可以包括一个或多个处理器和存储器。
处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制计算机设备中的其他组件以执行期望的功能。
存储器可以包括一个或多个计算机程序,所述计算机程序可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序,处理器可以运行所述程序指令,以实现上文所述的车辆防砸自动识别方法以及/或者其他期望的功能。
除此之外,根据具体应用情况,电子设备还可以包括诸如总线、输入/输出接口等等的任何其他适当的组件。
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上文的车辆防砸自动识别方法的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本发明公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指 令,计算机程序指令在被处理器运行时使得所述处理器执行本说明书上文的车辆防砸自动识别方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电、磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本说明书中,各个实施例之间相同相似的部分互相参见即可,每个实施例侧重说明的都是与其他实施例的不同之处。尤其,对于后面说明的产品实施例而言,由于其与方法是对应的,描述比较简单,相关之处参见系统实施例的部分说明即可。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种车辆防砸自动识别方法,其特征在于,包括:
通过摄像头获取车辆的参考帧图片和检测帧图片,其中,所述参考帧图片为所述摄像头在所述车辆停稳时获取的图片,所述检测帧图片为所述摄像头在所述车辆停稳后获取的图片;
基于车辆识别模型获取所述参考帧图片的参考识别框和所述检测帧图片的检测识别框;
获取所述参考识别框的参考角坐标信息和所述检测识别框的检测角坐标信息,基于所述参考角坐标信息和所述检测角坐标信息判断所述车辆是否发生移动;
根据所述车辆是否发生移动判断所述车辆是否会被砸到;
基于所述参考角坐标信息和所述检测角坐标信息判断所述车辆是否发生移动包括:
获取所述参考角坐标信息和所述检测角坐标信息的第一均方误差;
在所述第一均方误差小于第一预设阈值的情况下,判断所述车辆未发生移动。
2.根据权利要求1所述的车辆防砸自动识别方法,其特征在于,获取所述参考识别框的参考角坐标信息和所述检测识别框的检测角坐标信息,基于所述参考角坐标信息和所述检测角坐标信息判断所述车辆是否发生移动包括:
获取所述参考识别框的参考角坐标信息、参考尺寸信息;
获取所述检测识别框的检测角坐标信息、检测尺寸信息;
基于所述参考角坐标信息、所述参考尺寸信息、所述检测角坐标信息和所述检测尺寸信息判断所述车辆是否发生移动。
3.根据权利要求2所述的车辆防砸自动识别方法,其特征在于,基于所述参考角坐标信息、参考尺寸信息、检测角坐标信息和检测尺寸信息判断所述车辆是否发生移动包括:
获取所述参考角坐标信息、所述参考尺寸信息、所述检测角坐标信息和所述检测尺寸信息的第二均方误差;
在所述第二均方误差小于第二预设阈值的情况下,判断所述车辆未发生移动。
4.根据权利要求1~3任一所述的车辆防砸自动识别方法,其特征在于,
所述参考识别框和所述检测识别框均包括车牌识别框;或
所述参考识别框和所述检测识别框均包括车轮识别框;或
所述参考识别框和所述检测识别框均包括车牌识别框、车轮识别框。
5.根据权利要求4所述的车辆防砸自动识别方法,其特征在于,在所述参考识别框包括参考车牌识别框、参考车轮识别框且所述检测识别框包括检测车牌识别框、检测车轮识别框时;
基于所述参考角坐标信息和所述检测角坐标信息判断所述车辆是否发生移动还包括:
在基于所述参考车牌识别框的参考车牌角坐标信息和所述检测车牌识别框的检测车牌角坐标信息判断所述车辆的车牌未发生移动,且基于所述参考车轮识别框的参考车轮角坐标信息和所述检测车轮识别框的检测车轮角坐标信息判断所述车辆的车轮未发生移动的情况下,则判断所述车辆未发生移动。
6.根据权利要求5所述的车辆防砸自动识别方法,其特征在于,在基于所述参考车牌识别框的参考车牌角坐标信息和所述检测车牌识别框的检测车牌角坐标信息判断所述车辆的车牌未发生移动,且基于所述参考车轮识别框的参考车轮角坐标信息和所述检测车轮识别框的检测车轮角坐标信息判断所述车辆的多个车轮均未发生移动的情况下,则判断所述车辆未发生移动。
7.一种车辆防砸自动识别装置,其特征在于,包括:
获取单元,所述获取单元用于通过摄像头获取车辆的参考帧图片和检测帧图片,基于车辆识别模型获取所述参考帧图片的参考识别框和检测帧图片的检测识别框,以及获取所述参考识别框的参考角坐标信息和所述检测识别框的检测角坐标信息,其中,所述参考帧图片为所述摄像头在所述车辆停稳时获取的图片,所述检测帧图片为所述车辆停稳后获取的图片;
判断单元,所述判断单元用于基于所述参考角坐标信息和所述检测角坐标信息判断所述车辆是否会被砸到,并根据所述车辆是否发生移动判断所述车辆是否会被砸到;
所述获取单元还用于获取所述参考角坐标信息和所述检测角坐标信息的第一均方误差;
所述判断单元还用于在所述第一均方误差小于第一预设阈值的情况下,判断所述车辆未发生移动。
8.一种计算机设备,包括存储器、处理器以及存储在所述存储器上并能够在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的车辆防砸自动识别方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至6中任一项所述的车辆防砸自动识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310973294.5A CN116704467B (zh) | 2023-08-04 | 2023-08-04 | 一种车辆防砸自动识别方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310973294.5A CN116704467B (zh) | 2023-08-04 | 2023-08-04 | 一种车辆防砸自动识别方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116704467A CN116704467A (zh) | 2023-09-05 |
CN116704467B true CN116704467B (zh) | 2023-11-03 |
Family
ID=87824295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310973294.5A Active CN116704467B (zh) | 2023-08-04 | 2023-08-04 | 一种车辆防砸自动识别方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116704467B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110706261A (zh) * | 2019-10-22 | 2020-01-17 | 上海眼控科技股份有限公司 | 车辆违章检测方法、装置、计算机设备和存储介质 |
CN111860219A (zh) * | 2020-06-30 | 2020-10-30 | 杭州科度科技有限公司 | 一种高速占道判断方法、装置及电子设备 |
CN112265915A (zh) * | 2020-08-27 | 2021-01-26 | 宁波大榭招商国际码头有限公司 | 一种集装箱放箱时防砸卡车头的方法 |
CN114170252A (zh) * | 2021-12-09 | 2022-03-11 | 上海振华重工(集团)股份有限公司 | 一种基于机器视觉的集卡车头防砸保护系统及方法 |
EP4047511A1 (en) * | 2020-04-29 | 2022-08-24 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and device for detecting vehicle |
CN115239806A (zh) * | 2022-06-23 | 2022-10-25 | 厦门集装箱码头集团有限公司 | 基于机器视觉的车头防砸保护方法、系统、设备、介质 |
CN115984322A (zh) * | 2022-11-23 | 2023-04-18 | 北京航天自动控制研究所 | 一种岸桥岸侧作业吊具下防砸方法及系统 |
CN116092003A (zh) * | 2023-01-06 | 2023-05-09 | 同济大学 | 一种基于多视角视觉检测的集卡防吊起自动识别方法 |
CN116256756A (zh) * | 2023-03-14 | 2023-06-13 | 森思泰克河北科技有限公司 | 基于雷达检测的车辆防砸方法、装置、终端及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220049819A (ko) * | 2020-10-15 | 2022-04-22 | 에스케이텔레콤 주식회사 | 차량의 번호판의 꼭지점을 검출하는 인공 신경망을 학습시키는 방법 및 상기 인공 신경망을 이용하여 검출된 번호판을 재정렬하는 방법 |
CN112287875B (zh) * | 2020-11-16 | 2023-07-25 | 北京百度网讯科技有限公司 | 异常车牌识别方法、装置、设备及可读存储介质 |
-
2023
- 2023-08-04 CN CN202310973294.5A patent/CN116704467B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110706261A (zh) * | 2019-10-22 | 2020-01-17 | 上海眼控科技股份有限公司 | 车辆违章检测方法、装置、计算机设备和存储介质 |
EP4047511A1 (en) * | 2020-04-29 | 2022-08-24 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and device for detecting vehicle |
CN111860219A (zh) * | 2020-06-30 | 2020-10-30 | 杭州科度科技有限公司 | 一种高速占道判断方法、装置及电子设备 |
CN112265915A (zh) * | 2020-08-27 | 2021-01-26 | 宁波大榭招商国际码头有限公司 | 一种集装箱放箱时防砸卡车头的方法 |
CN114170252A (zh) * | 2021-12-09 | 2022-03-11 | 上海振华重工(集团)股份有限公司 | 一种基于机器视觉的集卡车头防砸保护系统及方法 |
CN115239806A (zh) * | 2022-06-23 | 2022-10-25 | 厦门集装箱码头集团有限公司 | 基于机器视觉的车头防砸保护方法、系统、设备、介质 |
CN115984322A (zh) * | 2022-11-23 | 2023-04-18 | 北京航天自动控制研究所 | 一种岸桥岸侧作业吊具下防砸方法及系统 |
CN116092003A (zh) * | 2023-01-06 | 2023-05-09 | 同济大学 | 一种基于多视角视觉检测的集卡防吊起自动识别方法 |
CN116256756A (zh) * | 2023-03-14 | 2023-06-13 | 森思泰克河北科技有限公司 | 基于雷达检测的车辆防砸方法、装置、终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116704467A (zh) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113516660B (zh) | 适用于列车的视觉定位与缺陷检测方法和装置 | |
JP6546271B2 (ja) | 画像処理装置、物体検知装置、画像処理方法 | |
US9082020B2 (en) | Apparatus and method for calculating and displaying the height of an object detected in an image on a display | |
US9076047B2 (en) | System and method for recognizing parking space line markings for vehicle | |
US20220245781A1 (en) | Guided vehicle capture for virtual model generation | |
US9104920B2 (en) | Apparatus and method for detecting obstacle for around view monitoring system | |
CN103810901A (zh) | 车辆停车位置显示装置及方法 | |
US20140160289A1 (en) | Apparatus and method for providing information of blind spot | |
CN110751012B (zh) | 目标检测评估方法、装置、电子设备及存储介质 | |
CN110610137B (zh) | 检测车辆行驶状态的方法、装置以及电子设备、存储介质 | |
CN109383519B (zh) | 信息处理方法、信息处理系统和记录介质 | |
US20170351925A1 (en) | Analysis method of lane stripe images, image analysis device, and non-transitory computer readable medium thereof | |
CN111386530B (zh) | 车辆检测方法和设备 | |
CN111091023A (zh) | 一种车辆检测方法、装置及电子设备 | |
CN118196760A (zh) | 大型车辆检测方法、计算机程序产品、检测装置及车辆 | |
CN112794274B (zh) | 一种油罐车底部装油口安全监控方法及系统 | |
CN116704467B (zh) | 一种车辆防砸自动识别方法、装置、设备和存储介质 | |
CN110111018A (zh) | 评估车辆感测能力的方法、装置、电子设备及存储介质 | |
CN109829401A (zh) | 基于双拍摄设备的交通标志识别方法及装置 | |
JPS63311485A (ja) | 自動キャリブレ−ション装置 | |
CN116718134A (zh) | 列车车体破损状态检测方法、装置、计算机和存储介质 | |
JP3533492B2 (ja) | ワイヤハーネス外観検査装置 | |
CN114724107B (zh) | 一种图像检测方法、装置、设备及介质 | |
CN111126286A (zh) | 车辆动态检测方法、装置、计算机设备及存储介质 | |
CN115393812A (zh) | 一种红外激光辅助车道线检测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |