CN114942009A - 一种基于输电线路的隐患预警方法、装置、设备及介质 - Google Patents
一种基于输电线路的隐患预警方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114942009A CN114942009A CN202210699321.XA CN202210699321A CN114942009A CN 114942009 A CN114942009 A CN 114942009A CN 202210699321 A CN202210699321 A CN 202210699321A CN 114942009 A CN114942009 A CN 114942009A
- Authority
- CN
- China
- Prior art keywords
- hidden danger
- distance
- binocular camera
- baseline
- base line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000005192 partition Methods 0.000 claims abstract description 141
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 238000005259 measurement Methods 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000007689 inspection Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Marketing (AREA)
- Evolutionary Computation (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Business, Economics & Management (AREA)
- Electromagnetism (AREA)
- Game Theory and Decision Science (AREA)
- Artificial Intelligence (AREA)
- Development Economics (AREA)
- Water Supply & Treatment (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Educational Administration (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Emergency Alarm Devices (AREA)
Abstract
本说明书实施例公开了一种基于输电线路的隐患预警方法、装置、设备及介质,包括:若双目摄像头的监拍图像中识别出预先设定的隐患目标,确定双目摄像头基线所处的初始基线分区,并确定隐患目标与双目摄像头基线之间的初始距离;若初始距离不在初始基线分区对应的测距范围,根据初始距离确定对应的实际基线长度;将双目摄像头基线调节至实际基线长度,通过双目摄像头得到隐患目标图像,并确定隐患目标与双目摄像头基线之间的实际距离;根据隐患目标与双目摄像头基线之间的实际距离,确定隐患目标与输电线路的隐患距离;若隐患距离超出预设值,将隐患距离标记到隐患目标图像中,以针对隐患目标进行预警。
Description
技术领域
本说明书涉及计算机技术领域,尤其涉及一种基于输电线路的隐患预警方法、装置、设备及介质。
背景技术
现实生活中,时常因为不确定的隐患物,而使得输电线路遭到破坏,因此需要对输电线路周围的隐患物进行预警,以免隐患物对输电线路造成破坏。
现有技术中,针对隐患物进行预警的方式,大都采用监拍巡检,一旦识别到隐患物,即发出预警信息。所以,日常监拍巡检过程中可能产生大量的告警图像,需要巡检人员确认,增加了巡检人员的工作压力。
发明内容
本说明书一个或多个实施例提供了一种基于输电线路的隐患预警方法、装置、设备及介质,用于解决背景技术提出的技术问题。
本说明书一个或多个实施例采用下述技术方案:
本说明书一个或多个实施例提供的一种基于输电线路的隐患预警方法,包括:
根据双目摄像头基线所处的长度范围设定对应的基线分区,并设定各基线分区对应的测距范围;
若双目摄像头的监拍图像中识别出预先设定的隐患目标,确定所述双目摄像头基线所处的初始基线分区,并确定所述隐患目标与所述双目摄像头基线之间的初始距离;
若所述初始距离不在所述初始基线分区对应的测距范围,根据所述初始距离确定对应的实际基线长度;
将所述双目摄像头基线调节至所述实际基线长度,通过所述双目摄像头得到隐患目标图像,并确定所述隐患目标与所述双目摄像头基线之间的实际距离;
根据所述隐患目标与所述双目摄像头基线之间的实际距离,确定所述隐患目标与输电线路的隐患距离;
若所述隐患距离超出预设值,将所述隐患距离标记到所述隐患目标图像中,以针对所述隐患目标进行预警。
本说明书一个或多个实施例提供的一种基于输电线路的隐患预警装置,包括:
设定单元,根据双目摄像头基线所处的长度范围设定对应的基线分区,并设定各基线分区对应的测距范围;
初始确定单元,若双目摄像头的监拍图像中识别出预先设定的隐患目标,确定所述双目摄像头基线所处的初始基线分区,并确定所述隐患目标与所述双目摄像头基线之间的初始距离;
实际基线确定单元,若所述初始距离不在所述初始基线分区对应的测距范围,根据所述初始距离确定对应的实际基线长度;
实际距离确定单元,将所述双目摄像头基线调节至所述实际基线长度,通过所述双目摄像头得到隐患目标图像,并确定所述隐患目标与所述双目摄像头基线之间的实际距离;
隐患距离确定单元,根据所述隐患目标与所述双目摄像头基线之间的实际距离,确定所述隐患目标与输电线路的隐患距离;
预警单元,若所述隐患距离超出预设值,将所述隐患距离标记到所述隐患目标图像中,以针对所述隐患目标进行预警。
本说明书一个或多个实施例提供的一种基于输电线路的隐患预警设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
根据双目摄像头基线所处的长度范围设定对应的基线分区,并设定各基线分区对应的测距范围;
若双目摄像头的监拍图像中识别出预先设定的隐患目标,确定所述双目摄像头基线所处的初始基线分区,并确定所述隐患目标与所述双目摄像头基线之间的初始距离;
若所述初始距离不在所述初始基线分区对应的测距范围,根据所述初始距离确定对应的实际基线长度;
将所述双目摄像头基线调节至所述实际基线长度,通过所述双目摄像头得到隐患目标图像,并确定所述隐患目标与所述双目摄像头基线之间的实际距离;
根据所述隐患目标与所述双目摄像头基线之间的实际距离,确定所述隐患目标与输电线路的隐患距离;
若所述隐患距离超出预设值,将所述隐患距离标记到所述隐患目标图像中,以针对所述隐患目标进行预警。
本说明书一个或多个实施例提供的一种非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:
根据双目摄像头基线所处的长度范围设定对应的基线分区,并设定各基线分区对应的测距范围;
若双目摄像头的监拍图像中识别出预先设定的隐患目标,确定所述双目摄像头基线所处的初始基线分区,并确定所述隐患目标与所述双目摄像头基线之间的初始距离;
若所述初始距离不在所述初始基线分区对应的测距范围,根据所述初始距离确定对应的实际基线长度;
将所述双目摄像头基线调节至所述实际基线长度,通过所述双目摄像头得到隐患目标图像,并确定所述隐患目标与所述双目摄像头基线之间的实际距离;
根据所述隐患目标与所述双目摄像头基线之间的实际距离,确定所述隐患目标与输电线路的隐患距离;
若所述隐患距离超出预设值,将所述隐患距离标记到所述隐患目标图像中,以针对所述隐患目标进行预警。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:
本说明书实施例采用变基线双目分区标定方法,通过对基线分区标定提高隐患目标双目测距精度,在巡检过程中通过预置位检测隐患目标与基线距离,判断摄像头需要移动的距离,移动到位后进行隐患目标双目测距,实现对隐患目标图像级测距定位,相较于定基线双目测距,实现了对远距离目标的跟踪测距定位,提升外破隐患检测水平,具有较大的实用价值。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本说明书一个或多个实施例提供的一种基于输电线路的隐患预警方法的流程示意图;
图2为本说明书一个或多个实施例提供的一种输电线路变基线双目巡视系统的结构示意图;
图3为本说明书一个或多个实施例提供的一种输电线路变基线的隐患预警方法的流程示意图;
图4为本说明书一个或多个实施例提供的一种变基线双目分区标定方法的流程示意图;
图5为本说明书一个或多个实施例提供的双目成像示意图;
图6为本说明书一个或多个实施例提供的一种基于输电线路的隐患预警装置的结构示意图;
图7为本说明书一个或多个实施例提供的一种基于输电线路的隐患预警设备的结构示意图。
具体实施方式
本说明书实施例提供一种基于输电线路的隐患预警方法、装置、设备及介质。
本说明书实施例为了量化监测输电线路及通道走廊的隐患情况,可以通过下述几种检测方式:
1、可视化智能监拍装置:能够实现输电线路及通道走廊的隐患监控,成本低廉,但不具有测距信息,或测距精度差,日常巡检可能产生大量的告警图像,需要巡检人员确认,会增加巡检人员的工作压力。
2、输电线路定基线双目测距:因其能同时提供环境的图像与密集的深度信息,并具备较低的成本,而得到广泛应用,对于近距离的目标测距有着激光测距无法比拟的优势,主要体现在被动式测量以及可对多目标进行同时测量。大多数的双目摄像头大多采用固定基线的方案,导致其对远、近物体的深度估计的误差有较大差异。具体而言,就是随着被测物体的距离增加,深度估计的误差成倍地快速增加。因此,固定基线的双目摄像头对于距离较近的物体,深度估计的误差小;对于距离较远的物体,深度估计的误差大。
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
图1为本说明书一个或多个实施例提供的一种基于输电线路的隐患预警方法的流程示意图,该流程可以由隐患预警系统执行,该系统可以自动对输电线路及通道走廊的隐患情况进行监拍,若存在隐患目标则确定隐患目标与输电线路的隐患距离,在隐患距离超出预设值时可以进行预警操作。流程中的某些输入参数或者中间结果允许人工干预调节,以帮助提高准确性。
本说明书实施例的方法流程步骤如下:
S102,根据双目摄像头基线所处的长度范围设定对应的基线分区,并设定各基线分区对应的测距范围。
在本说明书实施例中,双目摄像头基线是双目摄像头中两摄像机光心之间的距离。双目摄像头基线存在长度分区,该长度分区为双目摄像头自身所能调节的范围,基线分区可以是将长度范围划分为多个子区间。比如,双目摄像头基线的长度范围是2米,基线分区在划分时可以等分为5个子区间,即每个基线分区为40厘米。本说明书实施例可以预先双目摄像头中各基线分区对应的测距范围,即可以在对应的测距范围内可以使得测距更准确。比如,双目摄像头基线的长度范围是2米,基线分区在划分时等分为5个子区间,基线分区0-40cm对应的测距范围为0-60m,基线分区40-80cm对应的测距范围为60-120m,基线分区80-120cm对应的测距范围为120-180m,基线分区120-160cm对应的测距范围为180-240m,基线分区160-200cm对应的测距范围为240-300m。
S104,若所述双目摄像头的监拍图像中识别出预先设定的隐患目标,确定所述双目摄像头基线所处的初始基线分区,并确定所述隐患目标与所述双目摄像头基线之间的初始距离。
在本说明书实施例中,隐患目标可以预先设置,比如,隐患目标可以包括大型车辆等可以危害到输电线路的物体,识别时可以通过神经网络模型。初始基线分区可以是识别出隐患目标时,双目摄像头基线所处的位置,即双目摄像头的初始位置。比如,双目摄像头基初始位置位于基线分区0-40cm。
在本说明书实施例中,确定所述隐患目标与所述双目摄像头基线之间的初始距离时,双目摄像头基线所处的初始基线分区,通过所述双目摄像头采集初始图像;在所述初始图像中确定所述隐患目标与所述双目摄像头基线之间的初始距离。需要说明的是,由于双目摄像头基线并未根据隐患目标所处的距离调节,计算出的隐患目标与所述双目摄像头基线之间的初始距离可能并不准确,需要判断该初始距离是否初始基线分区对应的测距范围。
需要说明的是,确定所述隐患目标与所述双目摄像头基线之间的初始距离,可以通过双目摄像头的现有的测距算法。
S106,若所述初始距离不在所述初始基线分区对应的测距范围,根据所述初始距离确定对应的实际基线长度。
根据所述初始距离确定对应的实际基线长度时,可以先获取所述双目摄像头的焦距与所述监拍图像的视差,监拍图像的视差可以通过现有方式得到,本说明书实施例对此不进行赘述;然后,将所述双目摄像头的焦距、所述监拍图像的视差以及所述初始距离,输入至预先设定转化公式确定出对应的实际基线长度,其中,Z为初始距离,f为双目摄像头的焦距,B为监拍图像的视差。
S108,将所述双目摄像头基线调节至所述实际基线长度,通过所述双目摄像头得到隐患目标图像,并确定所述隐患目标与所述双目摄像头基线之间的实际距离。
S110,根据所述隐患目标与所述双目摄像头基线之间的实际距离,确定所述隐患目标与输电线路的隐患距离。
在本说明书实施例中,确定所述隐患目标与输电线路的隐患距离时,可以先确定所述输电线路与所述双目摄像头基线之间的距离;根据所述隐患目标与所述双目摄像头基线之间的实际距离,以及所述输电线路与所述双目摄像头基线之间的距离,计算所述隐患目标与输电线路的隐患距离。需要说明的是,在确定隐患距离时,可以先确定距离隐患目标最近的输电线路位置,计算时确定该位置与隐患目标的距离。隐患目标与所述双目摄像头基线之间的实际距离、输电线路与所述双目摄像头基线之间的距离,以及隐患目标与输电线路的隐患距离,三者可以构成三角形,进而计算出隐患目标与输电线路的隐患距离。
S112,若所述隐患距离超出预设值,将所述隐患距离标记到所述隐患目标图像中,以针对所述隐患目标进行预警。
进一步的,在本说明书实施例中,双目摄像头由于光学透镜的特性使得成像存在着径向畸变,在根据双目摄像头基线所处的长度范围设定对应的基线分区,并针对测距目标设定各基线分区对应的测距范围后,需要对基线分区进行标定。
本说明书实施例对基线分区进行标定时,可以先通过所述双目摄像头采集各基线分区对应的标定图像;然后,根据所述各基线分区对应的标定图像,分别对对应的基线分区进行标定,得到各基线分区的标定参数,最后,根据所述各基线分区的标定参数得到所述监拍图像与所述隐患目标图像。
进一步的,本说明书实施例根据所述各基线分区对应的标定图像,分别对对应的基线分区进行标定时,可以在所述各基线分区对应的标定图像中分别确定各测量目标,以及所述各测量目标与所述双目摄像头基线之间的实际距离;然后,根据所述各基线分区对应的标定图像,分别确定所述各测量目标与所述双目摄像头基线之间的测量距离;再根据所述各测量目标与所述双目摄像头基线之间的测量距离,以及所述各测量目标与所述双目摄像头基线之间的实际距离,分别确定所述各基线分区对应的距离偏差;最后,判断所述各基线分区对应的距离偏差不大于预设偏差值,则所述各基线分区标定完成。
进一步的,本说明书实施例还可以在所述各基线分区中分别划分多个子基线分区,通过所述双目摄像头采集各子基线分区对应的子标定图像;根据所述各基线分区中各子基线分区对应的子标定图像,分别对对应的子基线分区进行标定,得到各子基线分区的标定参数,并根据所述各子基线分区的标定参数得到所述监拍图像与所述隐患目标图像。对子基线分区进行标定时,采用的方式可以与上述基线分区标定方式相同,即分别确定各子基线分区对应的距离偏差,进而完成各子基线分区标定。
需要说明的是,本说明书实施例采用变基线双目分区标定方法,通过对基线分区标定提高隐患目标双目测距精度,在巡检过程中通过预置位检测隐患目标与基线距离,判断摄像头需要移动的距离,移动到位后进行隐患目标双目测距,实现对隐患目标图像级测距定位,相较于定基线双目测距,实现了对远距离目标的跟踪测距定位,提升外破隐患检测水平,具有较大的实用价值。
在本说明书实施例中,图2为说明书一个或多个实施例提供的一种输电线路变基线双目巡视系统的结构示意图,包括:SOC智能控制核心、充电管理模块、充电电池、太阳能板、步进电机、限位开关、编码器、副摄像头、主摄像头。
SOC控制核心具有电机智能控制模块,能实现对步进电机的移动控制,并能对移动数据进行跟踪采集;具有强大算力,能对图像进行前端智能分析,识别图像中的隐患目标,并能对隐患目标进行变基线双目测距,实现精确测距巡检任务,并通过4G/5G网络把巡检结果传输到控制中心。
限位开关作为步进电机运行的最大行程,步进电机达到最大行程后,接触限位开关,步进电机正向运动断电,在接收控制指令后可进行反向运动。
系统通过太阳能板进行供电,通过充电管理模块对充电电池进行充电,电路具有过流、过压、防雷保护。
主副摄像头选用同一材质、同一型号、偏差尽量一致的摄像头,主摄像头固定,副摄像头在步进电机的带动下可左右移动。
在本说明书实施例中,图3为一种输电线路变基线的隐患预警方法的流程示意图,具体工作方法为:
1、设备安装完成,从平台获取双目摄像头基线与输电杆塔的距离信息;
2、按照距离信息找到对应基线初始预置位,即初始基线分区,移动摄像头到预置位,开展日常巡检,基线初始预置位可以预先设定,摄像头移动到预置位是根据基线初始预置位进行;
3、通过轻量化智能分析模块识别隐患目标后,触发双目测距,测得隐患目标到基线的初始距离;
4、若判断出初始距离所对应的基线分区并不属于初始基线分区,移动摄像头到对应的基线分区,进行双目测距,得到实际距离;
5、根据实际距离计算隐患目标最高点到导线的最近距离,该距离为隐患距离,并将隐患距离标识到图中,上传服务器,若隐患距离超出设定值,可以发出预警信息。
在本说明书实施例中,图4为一种变基线双目分区标定方法的流程示意图,具体工作方法为:
1、双目摄像机按照设定基线长度进行分区;
2、分区完成后,双目摄像机采集设定分区图像进行标定,标定完成测量对应区域内目标距离;
3、判断测量目标的距离偏差是否不大于设定偏差值;
4、如果测量目标距离不大于设定误差值,此分区标定成功,保存分区号及标定参数,跳转到下一分区,进入下一分区标定,重复执行步骤2、3;
5、如果测量目标距离大于设定误差值,此分区标定失败,重置标定,减小基线距离,增加分区段数,按照新分区重新标定,重复执行步骤1、2、3;
6、直到最后一级分区标定成功,标定完成。
本说明书实施例在实施上述的变基线双目分区标定时,可以先建立基线和测距范围的对应关系,以基线长度2米为例,对应测量距离400米,分为5个分区,两者之间的匹配关系为1分区即40厘米对应80米的测量范围,在一个分区标定完成后,通过测量对应距离区间目标物进行偏差验证,偏差不大于设定值时,该本区标定成功,保存两者间的相对位置关系参数,进入下一分区标定,直到标定完成;当出现某一分区标定失败时,增加分区段数,具体可分成7个分区,每个分区基线长30厘米对应60米的测量范围,提高测距精度。
需要说明的是,本说明书实施例中的双目摄像头可以采用一端固定一端移动的方式,目的是在保证双目测距精度的同时可以节省成本,降低设计复杂度,主摄像头固定,副摄像头可移动。
同时,两个摄像头在工作时可以采用同步触发机制,保持对移动目标良好的跟踪测距效果。
此外,本说明书实施例在双目摄像头标定前,可以先进行单目摄像头的标定,得到摄像头内外参,标定可以采用张正友标定法。
在本说明书实施例中,两个摄像头可以采用平行放置方式,降低设计复杂度。在双目测距模型中,基线为B,焦距为f,pl(xl,yl)和pr(xr,yr)是在左右图像平面中空间点P(x,y,z)的投影点,当采用平行放置式时yl=yr,视差d为xl-xr,成像原理如图可以参见图5示出的双目成像示意图,
在本说明书实施例中,双目摄像头可以挂接在输电线路杆塔上,两端调节水平、固定牢固可靠。
与上述实施例相对应的是,图6为本说明书一个或多个实施例提供的一种基于输电线路的隐患预警装置的结构示意图,包括:设定单元602、初始确定单元604、实际基线确定单元606、实际距离确定单元608、隐患距离确定单元610与预警单元612。
设定单元602,根据双目摄像头基线所处的长度范围设定对应的基线分区,并设定各基线分区对应的测距范围;
初始确定单元604,若双目摄像头的监拍图像中识别出预先设定的隐患目标,确定所述双目摄像头基线所处的初始基线分区,并确定所述隐患目标与所述双目摄像头基线之间的初始距离;
实际基线确定单元606,若所述初始距离不在所述初始基线分区对应的测距范围,根据所述初始距离确定对应的实际基线长度;
实际距离确定单元608,将所述双目摄像头基线调节至所述实际基线长度,通过所述双目摄像头得到隐患目标图像,并确定所述隐患目标与所述双目摄像头基线之间的实际距离;
隐患距离确定单元610,根据所述隐患目标与所述双目摄像头基线之间的实际距离,确定所述隐患目标与输电线路的隐患距离;
预警单元612,若所述隐患距离超出预设值,将所述隐患距离标记到所述隐患目标图像中,以针对所述隐患目标进行预警。
与上述实施例相对应的是,图7为本说明书一个或多个实施例提供的一种基于输电线路的隐患预警设备的结构示意图,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
根据双目摄像头基线所处的长度范围设定对应的基线分区,并设定各基线分区对应的测距范围;
若双目摄像头的监拍图像中识别出预先设定的隐患目标,确定所述双目摄像头基线所处的初始基线分区,并确定所述隐患目标与所述双目摄像头基线之间的初始距离;
若所述初始距离不在所述初始基线分区对应的测距范围,根据所述初始距离确定对应的实际基线长度;
将所述双目摄像头基线调节至所述实际基线长度,通过所述双目摄像头得到隐患目标图像,并确定所述隐患目标与所述双目摄像头基线之间的实际距离;
根据所述隐患目标与所述双目摄像头基线之间的实际距离,确定所述隐患目标与输电线路的隐患距离;
若所述隐患距离超出预设值,将所述隐患距离标记到所述隐患目标图像中,以针对所述隐患目标进行预警。
本说明书一个或多个实施例提供的一种非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:
根据双目摄像头基线所处的长度范围设定对应的基线分区,并设定各基线分区对应的测距范围;
若双目摄像头的监拍图像中识别出预先设定的隐患目标,确定所述双目摄像头基线所处的初始基线分区,并确定所述隐患目标与所述双目摄像头基线之间的初始距离;
若所述初始距离不在所述初始基线分区对应的测距范围,根据所述初始距离确定对应的实际基线长度;
将所述双目摄像头基线调节至所述实际基线长度,通过所述双目摄像头得到隐患目标图像,并确定所述隐患目标与所述双目摄像头基线之间的实际距离;
根据所述隐患目标与所述双目摄像头基线之间的实际距离,确定所述隐患目标与输电线路的隐患距离;
若所述隐患距离超出预设值,将所述隐患距离标记到所述隐患目标图像中,以针对所述隐患目标进行预警。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备、非易失性计算机存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的一个或多个实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种基于输电线路的隐患预警方法,其特征在于,所述方法包括:
根据双目摄像头基线所处的长度范围设定对应的基线分区,并设定各基线分区对应的测距范围;
若双目摄像头的监拍图像中识别出预先设定的隐患目标,确定所述双目摄像头基线所处的初始基线分区,并确定所述隐患目标与所述双目摄像头基线之间的初始距离;
若所述初始距离不在所述初始基线分区对应的测距范围,根据所述初始距离确定对应的实际基线长度;
将所述双目摄像头基线调节至所述实际基线长度,通过所述双目摄像头得到隐患目标图像,并确定所述隐患目标与所述双目摄像头基线之间的实际距离;
根据所述隐患目标与所述双目摄像头基线之间的实际距离,确定所述隐患目标与输电线路的隐患距离;
若所述隐患距离超出预设值,将所述隐患距离标记到所述隐患目标图像中,以针对所述隐患目标进行预警。
2.根据权利要求1所述的方法,其特征在于,所述根据双目摄像头基线所处的长度范围设定对应的基线分区,并针对测距目标设定各基线分区对应的测距范围后,所述方法还包括:
通过所述双目摄像头采集各基线分区对应的标定图像;
根据所述各基线分区对应的标定图像,分别对对应的基线分区进行标定,得到各基线分区的标定参数,并根据所述各基线分区的标定参数得到所述监拍图像与所述隐患目标图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述各基线分区对应的标定图像,分别对对应的基线分区进行标定,具体包括:
在所述各基线分区对应的标定图像中分别确定各测量目标,以及所述各测量目标与所述双目摄像头基线之间的实际距离;
根据所述各基线分区对应的标定图像,分别确定所述各测量目标与所述双目摄像头基线之间的测量距离;
根据所述各测量目标与所述双目摄像头基线之间的测量距离,以及所述各测量目标与所述双目摄像头基线之间的实际距离,分别确定所述各基线分区对应的距离偏差;
判断所述各基线分区对应的距离偏差不大于预设偏差值,则所述各基线分区标定完成。
4.根据权利要求1所述的方法,其特征在于,所述根据双目摄像头基线所处的长度范围设定对应的基线分区,并针对测距目标设定各基线分区对应的测距范围后,所述方法还包括:
在所述各基线分区中分别划分多个子基线分区,通过所述双目摄像头采集各子基线分区对应的子标定图像;
根据所述各基线分区中各子基线分区对应的子标定图像,分别对对应的子基线分区进行标定,得到各子基线分区的标定参数,并根据所述各子基线分区的标定参数得到所述监拍图像与所述隐患目标图像。
5.根据权利要求1所述的方法,其特征在于,所述确定所述隐患目标与所述双目摄像头基线之间的初始距离,具体包括:
在所述双目摄像头基线所处的初始基线分区时,通过所述双目摄像头采集初始图像;
在所述初始图像中确定所述隐患目标与所述双目摄像头基线之间的初始距离。
6.根据权利要求1所述的方法,其特征在于,所述根据所述初始距离确定对应的实际基线长度,具体包括:
获取所述双目摄像头的焦距与所述监拍图像的视差;
将所述双目摄像头的焦距、所述监拍图像的视差以及所述初始距离,输入至预先设定转化公式,确定出对应的实际基线长度。
7.根据权利要求1所述的方法,其特征在于,所述根据所述隐患目标与所述双目摄像头基线之间的实际距离,确定所述隐患目标与输电线路的隐患距离,具体包括:
确定所述输电线路与所述双目摄像头基线之间的距离;
根据所述隐患目标与所述双目摄像头基线之间的实际距离,以及所述输电线路与所述双目摄像头基线之间的距离,计算所述隐患目标与输电线路的隐患距离。
8.一种基于输电线路的隐患预警装置,其特征在于,包括:
设定单元,根据双目摄像头基线所处的长度范围设定对应的基线分区,并设定各基线分区对应的测距范围;
初始确定单元,若双目摄像头的监拍图像中识别出预先设定的隐患目标,确定所述双目摄像头基线所处的初始基线分区,并确定所述隐患目标与所述双目摄像头基线之间的初始距离;
实际基线确定单元,若所述初始距离不在所述初始基线分区对应的测距范围,根据所述初始距离确定对应的实际基线长度;
实际距离确定单元,将所述双目摄像头基线调节至所述实际基线长度,通过所述双目摄像头得到隐患目标图像,并确定所述隐患目标与所述双目摄像头基线之间的实际距离;
隐患距离确定单元,根据所述隐患目标与所述双目摄像头基线之间的实际距离,确定所述隐患目标与输电线路的隐患距离;
预警单元,若所述隐患距离超出预设值,将所述隐患距离标记到所述隐患目标图像中,以针对所述隐患目标进行预警。
9.一种基于输电线路的隐患预警设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
根据双目摄像头基线所处的长度范围设定对应的基线分区,并设定各基线分区对应的测距范围;
若双目摄像头的监拍图像中识别出预先设定的隐患目标,确定所述双目摄像头基线所处的初始基线分区,并确定所述隐患目标与所述双目摄像头基线之间的初始距离;
若所述初始距离不在所述初始基线分区对应的测距范围,根据所述初始距离确定对应的实际基线长度;
将所述双目摄像头基线调节至所述实际基线长度,通过所述双目摄像头得到隐患目标图像,并确定所述隐患目标与所述双目摄像头基线之间的实际距离;
根据所述隐患目标与所述双目摄像头基线之间的实际距离,确定所述隐患目标与输电线路的隐患距离;
若所述隐患距离超出预设值,将所述隐患距离标记到所述隐患目标图像中,以针对所述隐患目标进行预警。
10.一种非易失性计算机存储介质,其特征在于,存储有计算机可执行指令,所述计算机可执行指令设置为:
根据双目摄像头基线所处的长度范围设定对应的基线分区,并设定各基线分区对应的测距范围;
若双目摄像头的监拍图像中识别出预先设定的隐患目标,确定所述双目摄像头基线所处的初始基线分区,并确定所述隐患目标与所述双目摄像头基线之间的初始距离;
若所述初始距离不在所述初始基线分区对应的测距范围,根据所述初始距离确定对应的实际基线长度;
将所述双目摄像头基线调节至所述实际基线长度,通过所述双目摄像头得到隐患目标图像,并确定所述隐患目标与所述双目摄像头基线之间的实际距离;
根据所述隐患目标与所述双目摄像头基线之间的实际距离,确定所述隐患目标与输电线路的隐患距离;
若所述隐患距离超出预设值,将所述隐患距离标记到所述隐患目标图像中,以针对所述隐患目标进行预警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210699321.XA CN114942009B (zh) | 2022-06-20 | 2022-06-20 | 一种基于输电线路的隐患预警方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210699321.XA CN114942009B (zh) | 2022-06-20 | 2022-06-20 | 一种基于输电线路的隐患预警方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114942009A true CN114942009A (zh) | 2022-08-26 |
CN114942009B CN114942009B (zh) | 2024-08-20 |
Family
ID=82910708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210699321.XA Active CN114942009B (zh) | 2022-06-20 | 2022-06-20 | 一种基于输电线路的隐患预警方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114942009B (zh) |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB485997A (en) * | 1937-01-18 | 1938-05-27 | Zeiss Carl | Improvements in binocular viewing devices for stereophotogrammetric measuring instruments |
US5374985A (en) * | 1992-01-02 | 1994-12-20 | Ocutech, Inc. | Method and apparatus for measuring range by use of multiple range baselines |
US20100079450A1 (en) * | 2008-01-09 | 2010-04-01 | Zygmunt Pizlo | Reconstruction of shapes of near symmetric and asymmetric objects |
JP2012222732A (ja) * | 2011-04-13 | 2012-11-12 | Nikon Corp | 撮像装置 |
DE102013211930A1 (de) * | 2012-06-28 | 2014-01-02 | GM Global Technology Operations, LLC (n.d. Ges. d. Staates Delaware) | Binokulares Objektvergleichsverfahren mit breiter Basislinie unter Verwendung eines Flussnetzes mit minimalen Kosten |
CN105823468A (zh) * | 2016-03-01 | 2016-08-03 | 乐卡汽车智能科技(北京)有限公司 | 基线距离可调的双目障碍物检测方法、装置及系统 |
CN109068118A (zh) * | 2018-09-11 | 2018-12-21 | 北京旷视科技有限公司 | 双摄模组的基线距离调整方法、装置及双摄模组 |
CN109166155A (zh) * | 2018-09-26 | 2019-01-08 | 北京图森未来科技有限公司 | 一种车载双目摄像机测距误差的计算方法和装置 |
CN111427383A (zh) * | 2020-03-18 | 2020-07-17 | 青岛联合创智科技有限公司 | 一种双目云台可变基线的控制方法 |
AU2020101932A4 (en) * | 2020-07-16 | 2020-10-01 | Xi'an University Of Science And Technology | Binocular vision–based method and system for pose measurement of cantilever tunneling equipment |
WO2021129073A1 (zh) * | 2019-12-23 | 2021-07-01 | 华为技术有限公司 | 一种测距方法以及测距装置 |
CN113259589A (zh) * | 2021-05-17 | 2021-08-13 | 中新国际联合研究院 | 一种基线自适应调整的双目相机智能感知方法及其装置 |
CN113609921A (zh) * | 2021-07-13 | 2021-11-05 | 衢州光明电力投资集团有限公司 | 一种预警方法和系统 |
CN113822249A (zh) * | 2021-11-23 | 2021-12-21 | 山东信通电子股份有限公司 | 一种监测架空线路隐患位置的方法、设备 |
CN113850137A (zh) * | 2021-08-24 | 2021-12-28 | 山东信通电子股份有限公司 | 一种输电线路图像在线监测方法、系统及设备 |
CN113870336A (zh) * | 2021-09-26 | 2021-12-31 | 深圳市银星智能科技股份有限公司 | 距离确定方法、装置、智能设备及存储介质 |
CN114024574A (zh) * | 2021-12-31 | 2022-02-08 | 山东信通电子股份有限公司 | 一种用于输电线路的隐患状态识别方法及设备 |
CN114119917A (zh) * | 2021-10-27 | 2022-03-01 | 国网浙江省电力有限公司温州供电公司 | 基于输电线路高精度三维模型的可视化隐患测距方法 |
-
2022
- 2022-06-20 CN CN202210699321.XA patent/CN114942009B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB485997A (en) * | 1937-01-18 | 1938-05-27 | Zeiss Carl | Improvements in binocular viewing devices for stereophotogrammetric measuring instruments |
US5374985A (en) * | 1992-01-02 | 1994-12-20 | Ocutech, Inc. | Method and apparatus for measuring range by use of multiple range baselines |
US20100079450A1 (en) * | 2008-01-09 | 2010-04-01 | Zygmunt Pizlo | Reconstruction of shapes of near symmetric and asymmetric objects |
JP2012222732A (ja) * | 2011-04-13 | 2012-11-12 | Nikon Corp | 撮像装置 |
DE102013211930A1 (de) * | 2012-06-28 | 2014-01-02 | GM Global Technology Operations, LLC (n.d. Ges. d. Staates Delaware) | Binokulares Objektvergleichsverfahren mit breiter Basislinie unter Verwendung eines Flussnetzes mit minimalen Kosten |
CN105823468A (zh) * | 2016-03-01 | 2016-08-03 | 乐卡汽车智能科技(北京)有限公司 | 基线距离可调的双目障碍物检测方法、装置及系统 |
CN109068118A (zh) * | 2018-09-11 | 2018-12-21 | 北京旷视科技有限公司 | 双摄模组的基线距离调整方法、装置及双摄模组 |
CN109166155A (zh) * | 2018-09-26 | 2019-01-08 | 北京图森未来科技有限公司 | 一种车载双目摄像机测距误差的计算方法和装置 |
WO2021129073A1 (zh) * | 2019-12-23 | 2021-07-01 | 华为技术有限公司 | 一种测距方法以及测距装置 |
CN111427383A (zh) * | 2020-03-18 | 2020-07-17 | 青岛联合创智科技有限公司 | 一种双目云台可变基线的控制方法 |
AU2020101932A4 (en) * | 2020-07-16 | 2020-10-01 | Xi'an University Of Science And Technology | Binocular vision–based method and system for pose measurement of cantilever tunneling equipment |
CN113259589A (zh) * | 2021-05-17 | 2021-08-13 | 中新国际联合研究院 | 一种基线自适应调整的双目相机智能感知方法及其装置 |
CN113609921A (zh) * | 2021-07-13 | 2021-11-05 | 衢州光明电力投资集团有限公司 | 一种预警方法和系统 |
CN113850137A (zh) * | 2021-08-24 | 2021-12-28 | 山东信通电子股份有限公司 | 一种输电线路图像在线监测方法、系统及设备 |
CN113870336A (zh) * | 2021-09-26 | 2021-12-31 | 深圳市银星智能科技股份有限公司 | 距离确定方法、装置、智能设备及存储介质 |
CN114119917A (zh) * | 2021-10-27 | 2022-03-01 | 国网浙江省电力有限公司温州供电公司 | 基于输电线路高精度三维模型的可视化隐患测距方法 |
CN113822249A (zh) * | 2021-11-23 | 2021-12-21 | 山东信通电子股份有限公司 | 一种监测架空线路隐患位置的方法、设备 |
CN114024574A (zh) * | 2021-12-31 | 2022-02-08 | 山东信通电子股份有限公司 | 一种用于输电线路的隐患状态识别方法及设备 |
Non-Patent Citations (3)
Title |
---|
YANG, SHUN-NAN等: "Discernible Difference and Change in Object Depth Afforded by Stereoscopic Three-Dimensional Content", STEREOSCOPIC DISPLAYS AND APPLICATIONS XXIV, vol. 8648, 31 December 2013 (2013-12-31), pages 1 - 12 * |
李华兵: "基于FPGA的多基线主动双目立体视觉传感器研究", 中国优秀硕士学位论文全文数据库信息科技辑, 28 February 2021 (2021-02-28), pages 138 - 2230 * |
李树楠: "基于深度学习的移动机器人三维目标识别", 中国优秀硕士学位论文全文数据库信息科技辑, 31 August 2021 (2021-08-31), pages 140 - 93 * |
Also Published As
Publication number | Publication date |
---|---|
CN114942009B (zh) | 2024-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108447075B (zh) | 一种无人机监测系统及其监测方法 | |
CN109922251A (zh) | 快速抓拍的方法、装置及系统 | |
JP2008170981A (ja) | レンズ光学系の偏芯調整方法及び装置並びにプログラム | |
CN104567726A (zh) | 车辆运行故障检测系统及方法 | |
CN105953741B (zh) | 一种钢结构局部几何变形的测量系统和方法 | |
CN113850137A (zh) | 一种输电线路图像在线监测方法、系统及设备 | |
CN110996054A (zh) | 智能输电线路巡线机器人巡检系统及巡检方法 | |
CN109636857B (zh) | 对位方法及标定系统 | |
CN114894091B (zh) | 一种双目视觉测距功能的线路监控装置及系统 | |
CN109631768A (zh) | 一种结构物二维位移监测装置及方法 | |
CN111982300B (zh) | 区域危险目标热值定位采集系统和装置 | |
KR102577568B1 (ko) | 열상감시장비 고장 진단장치 및 진단방법 | |
CN115629619A (zh) | 无人机输电线路巡检系统及方法 | |
CN112633035B (zh) | 一种基于无人驾驶车辆的车道线坐标真值获取方法及装置 | |
CN113959398B (zh) | 基于视觉的测距方法、装置、可行驶设备及存储介质 | |
CN114942009A (zh) | 一种基于输电线路的隐患预警方法、装置、设备及介质 | |
CN112565615B (zh) | 飞拍拍摄触发点的确定方法和装置 | |
CN116086408B (zh) | 一种基于工业相机的智能测绘系统 | |
CN117249769A (zh) | 一种基于自动提示的原木测量的控制方法 | |
CN116992907A (zh) | 一种物联网管理系统及方法 | |
CN104121862B (zh) | 一种架空线缆光学测径装置的测径方法 | |
CN114754695B (zh) | 多视场桥梁挠度测量装置、方法及存储介质 | |
CN111736140B (zh) | 一种对象检测方法和摄像设备 | |
CN114092882B (zh) | 一种基于任意位置多摄像头的作业人员定位方法和系统 | |
CN114071020A (zh) | 一种无人驾驶车辆的自动变焦方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |