CN115062178A - 无人机设备巡检图像的整理方法、装置和计算机设备 - Google Patents
无人机设备巡检图像的整理方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN115062178A CN115062178A CN202210984946.0A CN202210984946A CN115062178A CN 115062178 A CN115062178 A CN 115062178A CN 202210984946 A CN202210984946 A CN 202210984946A CN 115062178 A CN115062178 A CN 115062178A
- Authority
- CN
- China
- Prior art keywords
- image
- inspection
- equipment
- shooting
- power transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 387
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000005540 biological transmission Effects 0.000 claims abstract description 89
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000007547 defect Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 29
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/164—File meta data generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种无人机设备巡检图像的整理方法、装置、计算机设备和存储介质。所述方法包括:获取无人机巡检输电设备过程中采集的设备巡检图像,并确定无人机的巡检航线;进而可以获取设备巡检图像的图像拍摄点,将图像拍摄点与巡检航线中的各巡检拍摄点进行匹配,确定与设备巡检图像对应的目标巡检拍摄点,确定位于目标巡检拍摄点的输电设备,并根据与输电设备关联的标识对设备巡检图像进行命名,得到包括与输电设备关联的标识设备的图像名称。通过将设备巡检图像拍摄点与各巡检拍摄点进行匹配,确定出位于目标巡检拍摄点的输电设备,并利用该输电设备关联的标识对设备巡检图像自动命名,提高了无人机巡检图像整理的效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种无人机设备巡检图像的整理方法、装置、计算机设备和存储介质。
背景技术
随着无人机技术的发展,无人机被应用于多种领域上。其中,电力线路的巡检也应用了无人机取代人工巡检。通过无人机对电力杆塔设备关键部位进行悬停拍照,并对照片中的设备进行设备缺陷识别,可以及时发现线路、杆塔等设备存在的问题,保证电力生产运维安全。
在相关技术中,无人机在巡检过程中拍摄的大量照片,主要依赖于运维人员根据无人机的巡视线路和该线路上电力设备的标识对照片逐张命名,然后再上传到文件服务器进行归档存储。然而目前这种人工命名的方法存在文件整理效率低下的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种无人机设备巡检图像的整理方法、装置、计算机设备和存储介质。
第一方面,本申请提供了一种无人机设备巡检图像的整理方法。所述方法包括:
获取无人机巡检输电线路杆塔设备过程中采集的设备巡检图像以及,并确定所述无人机的巡检航线;所述巡检航线包括多个巡检拍摄点;
读取获取所述设备巡检图像的图像拍摄点的经纬度坐标地点;
将所述图像拍摄点,与所述巡检航线中的各巡检拍摄点进行匹配,确定与所述设备巡检图像对应的目标巡检拍摄点;
获取确定位于所述目标巡检拍摄点的输电设备,并的被拍摄部件所关联的部件标识;
根据与所述输电设备关联的部件标识对所述设备巡检图像进行命名,得到所述设备巡检图像的图像名称,所述图像名称包括与所述输电设备关联的标识所述部件标识。
在其中一个实施例中,所述获取所述设备巡检图像的图像拍摄点包括:
获取所述设备巡检图像的可交换图像文件信息,从所述可交换图像文件信息中确定所述图像拍摄点的经纬度坐标;
所述将所述图像拍摄点与所述巡检航线中的各巡检拍摄点进行匹配,确定与所述设备巡检图像对应的目标巡检拍摄点,包括:
从所述巡检航线中的各巡检拍摄点中,获取经纬度坐标与所述图像拍摄点的经纬度坐标相匹配的巡检拍摄点,作为与所述设备巡检图像对应的目标巡检拍摄点。
在其中一个实施例中,在所述根据与所述输电设备关联的标识对所述设备巡检图像进行命名,得到所述设备巡检图像的图像名称之前,还包括:
获取所述设备巡检图像的可交换图像文件信息,从所述可交换图像文件信息中确定所述设备巡检图像的拍摄云台角度;
获取预先针对所述输电设备的各个设备部件设定的图像拍摄角度;
从各个设备部件的图像拍摄角度中,获取图像拍摄角度与所述拍摄云台角度相匹配的目标图像拍摄角度;
根据与所述目标图像拍摄角度相关联的设备部件所对应的部件标识,得到与所述输电设备关联的标识。
在其中一个实施例中,在所述根据与所述输电设备关联的标识对所述设备巡检图像进行命名,得到所述设备巡检图像的图像名称之后,还包括:
确定所述设备巡检图像的拍摄时间,并获取包含所述目标巡检拍摄点的历史巡检任务;
将任务执行时间与所述拍摄时间相匹配的历史巡检任务,作为与所述设备巡检图像关联的历史巡检任务。
在其中一个实施例中,在所述将任务执行时间与所述拍摄时间相匹配的历史巡检任务,作为与所述设备巡检图像关联的历史巡检任务之后,还包括:
基于所述设备巡检图像的图像名称、所述设备巡检图像关联的历史巡检任务、所述设备巡检图像的下载路径,生成所述设备巡检图像的元数据信息;
将所述设备巡检图像以及所述元数据信息保存到云端系统。
在其中一个实施例中,在所述将所述设备巡检图像的元数据信息保存到云端系统后,还包括:
将所述设备巡检图像的元数据信息写入消息中间件;
其中,所述消息中间件的元数据信息用于指示图像识别系统根据所述元数据信息所携带的下载路径获取所述设备巡检图像,对所述设备巡检图像进行图像识别,获取所述输电设备的缺陷识别结果,并将所述缺陷识别结果与所述图像名称和所述历史巡检任务关联。
第二方面,本申请还提供了一种无人机设备巡检图像的整理装置。所述装置包括:
图像采集模块,用于获取无人机巡检输电设备过程中采集的设备巡检图像,并确定所述无人机的巡检航线;所述巡检航线包括多个巡检拍摄点;
地点获取模块,用于获取所述设备巡检图像的图像拍摄点;
地点匹配模块,用于将所述图像拍摄点与所述巡检航线中的各巡检拍摄点进行匹配,确定与所述设备巡检图像对应的目标巡检拍摄点;
图像命名模块,用于确定位于所述目标巡检拍摄点的输电设备,并根据与所述输电设备关联的标识对所述设备巡检图像进行命名,得到所述设备巡检图像的图像名称,所述图像名称包括与所述输电设备关联的标识。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上任一项所述的方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上任一项所述的方法的步骤。
上述无人机设备巡检图像的整理方法、装置、计算机设备和存储介质,可以获取无人机巡检输电设备过程中采集的设备巡检图像,并确定无人机的巡检航线;该巡检航线包括多个巡检拍摄点;进而可以获取设备巡检图像的图像拍摄点,将图像拍摄点与巡检航线中的各巡检拍摄点进行匹配,确定与设备巡检图像对应的目标巡检拍摄点,确定位于目标巡检拍摄点的输电设备,并根据与输电设备关联的标识对设备巡检图像进行命名,得到设备巡检图像的图像名称,图像名称包括与输电设备关联的标识。本申请的方案,通过将设备巡检图像拍摄点与各巡检拍摄点进行匹配,确定出位于目标巡检拍摄点的输电设备,并利用该输电设备关联的标识对设备巡检图像自动命名,提高了无人机巡检图像的整理效率。
附图说明
图1为一个实施例中无人机巡检设备图像的整理方法的流程示意图;
图2为一个实施例中确定输电设备关联标识的步骤的流程示意图;
图3为另一个实施例中确定历史巡检任务的步骤的流程示意图;
图4为另一个实施例中生成并上传元数据信息及图像的步骤的流程示意图;
图5为一个实施例中无人机设备巡检图像的整理装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种无人机巡检设备图像的整理方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
S101,获取无人机巡检输电设备过程中采集的设备巡检图像,并确定无人机的巡检航线;巡检航线包括多个巡检拍摄点。
实际应用中,可以通过无人机执行针对输电设备的巡检任务,以确定输电设备是否存在异常,在任务执行前,可以预先设定无人机飞行过程中的巡检航线,巡检航线中可以包括多个巡检拍摄点,每个巡检拍摄点可以对应一个或多个输电设备。
无人机在巡检过程中,可以对输电设备进行拍摄,得到设备巡检图像,并将设备巡检图像存储到指定的数据存储模块,例如,可以将设备巡检图像存储到无人机上的安全数字卡,或者,也可以通过无线通讯设备,将设备巡检图像存储到预设的服务器。
在接收到图像整理指令的情况下,可以从数据存储模块获取无人机采集到的巡检设备图像,并确定该无人机的巡检航线。
S102,获取设备巡检图像的图像拍摄点。
具体地,在获取无人机采集到的巡检设备图像后,可以进一步确定设备巡检图像的图像拍摄点,该图像拍摄点可以指示设备巡检图像的拍摄位置。
S103,将图像拍摄点与巡检航线中的各巡检拍摄点进行匹配,确定与设备巡检图像对应的目标巡检拍摄点。
具体实现中,在得到图像拍摄点以及巡检航线中的各巡检拍摄点后,可以将图像拍摄点所指示的拍摄位置与巡检拍摄点所指示的位置进行匹配,从巡检航线中的多个巡检拍摄点中确定出目标巡检拍摄点,目标选件拍摄点对应的位置与图像拍摄点所指示的拍摄位置相匹配。
S104,确定位于目标巡检拍摄点的输电设备,并根据与输电设备关联的标识对设备巡检图像进行命名,得到设备巡检图像的图像名称,图像名称包括与所述输电设备关联的标识。
其中,目标巡检拍摄点上可以有一个或多个输电设备,每个输电设备都可以有与其相关联的标识。
在实际应用中,由于每个巡检拍摄点上都可以有相应的输电设备,在确定目标巡检拍摄点后,可以进一步确定位于该目标巡检拍摄点的输电设备,并获取与该输电设备相关联的标识,示例性地,该标识可以包括指示输电设备整体的标识,也可以包括指示输电设备部件的标识。
在得到与输电设备关联的标识后,则可以根据该标识对设备巡检图像进行命名,得到包含输电设备关联的标识的图像名称,作为设备巡检图像的图像名称,例如,可以将与输电设备关联的标识直接作为设备巡检图像的图像名称,可以是该标识和其他相关信息共同构成图像名称。
上述无人机巡检设备图像的整理方法中,可以获取无人机巡检输电设备过程中采集的设备巡检图像,并确定无人机的巡检航线,该巡检航线可以包括多个巡检拍摄点,然后可以获取设备巡检图像的图像拍摄点,将图像拍摄点与巡检航线中的各巡检拍摄点进行匹配,确定与设备巡检图像对应的目标巡检拍摄点,并确定位于目标巡检拍摄点的输电设备,并根据与输电设备关联的标识对设备巡检图像进行命名,得到设备巡检图像的图像名称,图像名称包括与输电设备关联的标识。通过获取设备巡检图像拍摄点与各巡检拍摄点进行匹配,确定该巡检图像的关联设备,从而利用关联设备的标识对设备巡检图像自动命名,提高了无人机巡检图像整理的效率。
在一个实施例中,S102中获取设备巡检图像的图像拍摄点,可以包括如下步骤:
获取设备巡检图像的可交换图像文件信息,从可交换图像文件信息中确定图像拍摄点的经纬度坐标。
其中,可交换图像文件信息也可以称为EXIF(Exchangeable image file format)信息,图像的EXIF信息中除了包含该图像拍摄点的经纬度坐标,还可以包括以下的一种或多种信息:相机拍摄云台角度、拍摄时间等信息,其中经纬度坐标是无人机巡检时定位芯片实时采集的。
具体地,无人机在对输电设备进行拍摄并生成设备巡检图像时,可以相应记录设备巡检图像的属性信息,该属性信息可以采用可交换图像文件信息的形式进行存储,进而在得到设备巡检图像后,可以获取设备巡检图像的可交换图像文件信息,例如可以通过图像处理程序或者可交换图像文件查看器软件读取设备巡检图像的可交换图像文件信息,并从中确定图像拍摄点的经纬度坐标。
相应地,S103中将图像拍摄点与巡检航线中的各巡检拍摄点进行匹配,确定与设备巡检图像对应的目标巡检拍摄点,可以包括:
从巡检航线中的各巡检拍摄点中,获取经纬度坐标与图像拍摄点的经纬度坐标相匹配的巡检拍摄点,作为与设备巡检图像对应的目标巡检拍摄点。
作为一示例,各巡检拍摄点中包含经纬度坐标。
实际应用中,可以获取各巡检拍摄点的经纬度坐标,并将图像拍摄点的经纬度坐标与各巡检拍摄点的经纬度坐标进行匹配,进而可以确定出与图像拍摄点的经纬度坐标相同或者误差在预设范围内的经纬度坐标,并将该经纬度坐标对应的巡检拍摄点作为目标巡检拍摄点。
在本实施例中,通过经纬度坐标的匹配,能够定位到设备巡检图像所在的地点,为进一步确定设备巡检图像所拍摄的设备缩小了范围。
在一个实施例中,根据与输电设备关联的标识对设备巡检图像进行命名,可以包括如下步骤:
在获取到目标巡检拍摄点后,可以确定位于目标巡检拍摄点的输电设备,获取该输电设备的设备标识,并将输电设备的设备标识作为与输电设备关联的标识,对设备巡检图像进行命名,最终得到的图像名称中可以包括输电设备的设备标识。
在一个实施例中,如图2所示,S104中在根据与输电设备关联的标识对设备巡检图像进行命名,得到设备巡检图像的图像名称之前,还可以包括如下步骤:
S201,获取设备巡检图像的可交换图像文件信息,从可交换图像文件信息中确定设备巡检图像的拍摄云台角度。
在一种示例中,拍摄云台角度是无人机对目标设备进行拍摄时,相机云台为了拍摄到目标设备部件所需要调整到的相应角度,拍摄云台角度的数值取可以决于无人机拍摄的目标设备部件所在巡检任务的规划。
实际应用中,可以设备巡检图像的可交换图像文件信息,获取其中设备巡检图像的拍摄云台角度,例如可以通过图像处理程序或者可交换图像文件查看器软件读取设备巡检图像的可交换图像文件信息。
S202,获取预先针对输电设备的各个设备部件设定的图像拍摄角度。
作为一示例,位于目标巡检拍摄点上的输电设备可以包含多个设备部件,巡检任务不仅可以规划了无人机执行任务中各巡视点的经纬度地理位置,还可以预设了无人机相机以规定的图像拍摄角度对各巡视点上的设备部件进行拍摄。示例性地,图像拍摄角度可以是一个二维平面上的拍摄角度,也可以是三维空间中的拍摄角度。
在实际应用中,工作人员可以预先设置无人机在执行巡检任务时的执行方式,具体而言,工作人员不仅可以规划无人机执行巡检任务中需要经过的各巡视点的经纬度地理位置,还可以预设无人机相机以规定的图像拍摄角度对各巡视点上的设备部件进行拍摄。在本步骤中,在获取到巡检设备图像后,可以相应获取预先设定的图像拍摄角度。
S203,从各个设备部件的图像拍摄角度中,获取图像拍摄角度与拍摄云台角度相匹配的目标图像拍摄角度。
其中,各个设备部件与设备巡视图像都位于同一个目标巡视拍摄点上。
具体地,将设备巡视图像的拍摄云台角度与各个图像拍摄角度进行匹配,将与拍摄云台角度相同的图像拍摄角度作为目标图像拍摄角度。
S204,根据与目标图像拍摄角度相关联的设备部件所对应的部件标识,得到与输电设备关联的标识。
作为一示例,每个输电设备部件可以具有相应的部件标识,例如,部件标识可以是设备名加部件序号,也可以是部件名。
实际应用中,可以将巡检任务规定无人机相机以目标图像拍摄角度进行拍摄的设备部件,确定为设备巡检图像拍摄的设备部件,并获取该设备部件的部件标识,作为与位于目标巡视点上的输电设备相关联的标识,该标识将用于设备巡检图像的命名。
在本实施例,通过基于部件标识对设备巡检图像进行命名,能够提高图像名称的描述准确度,使用户能够快速根据图像名称确定设备巡检图像中被拍摄的设备部件。
在一个实施例中,如图3所示,S104中在根据与输电设备关联的标识对设备巡检图像进行命名,得到设备巡检图像的图像名称之后,还可以包括如下步骤:
S301,确定设备巡检图像的拍摄时间,并获取包含目标巡检拍摄点的历史巡检任务。
作为一示例,已执行的巡检任务可以称为历史巡检任务,每个历史巡检任务的巡检航线可以包含相应的巡检拍摄点,且每个历史巡检任务可以具有相应的任务执行时间,该任务执行时间可以是一个时间段也可以是一个时间点。
具体实施中,在得到设备巡检图像后,可以确定设备巡检图像的拍摄时间,例如可以获取设备巡检图像的可交换图像文件信息,从可交换图像文件信息中确定设备巡检图像的拍摄时间。并且,可以获取包含目标巡检拍摄点的历史巡检任务,并读取到各历史巡检任务中的任务执行时间。
S302,将任务执行时间与拍摄时间相匹配的历史巡检任务,作为与设备巡检图像关联的历史巡检任务。
进一步地,在获取拍摄时间并确定历史巡检任务后,可以将S301中得到的各任务执行时间与拍摄时间相匹配,若拍摄时间在某一任务执行时间范围内,则该任务执行时间所对应的历史巡检任务,可以作为与设备巡检图像关联的历史巡检任务。
在本实施例中,通过将设备巡检图像与对应的历史巡检任务关联,能够实现通过设备巡检图像快速获取到该图像所在的历史巡检任务信息,使巡检过程中各方数据形成闭环,便于确定出任务执行过程中拍摄到设备巡检图像的历史巡检任务或确定出一历史巡检任务执行过程中所拍摄到的设备巡检图像。
在一个实施例中,如图4所示,S302中在将任务执行时间与拍摄时间相匹配的历史巡检任务,作为与设备巡检图像关联的历史巡检任务之后,还可以包括如下步骤:
S401,基于设备巡检图像的图像名称、设备巡检图像关联的历史巡检任务、设备巡检图像的下载路径,生成设备巡检图像的元数据信息。
具体而言,在对设备巡检图像进行图像命名,得到图像名称,并将设备巡检图像与其对应的历史巡检任务关联后,可以确定设备巡检图像的下载路径,该下载路径可以是设备巡检图像在云端设备上的存储地点,进而可以基于设备巡检图像的图像名称、设备巡检图像关联的历史巡检任务、设备巡检图像的下载路径生成元数据信息。示例性地,元数据信息还可以包括设备巡检图像的可交换图像文件信息、目标巡视拍摄点所在的巡检航线信息。
S402,将设备巡检图像以及设备巡检图像的元数据信息保存到云端系统。
在得到设备巡检图像的元数据信息后,可以将元数据信息存储在云端系统的关系型数据库中,将设备巡检图像存储在云端系统上。云端系统的用户操作界面可以通过输入图像名称、历史巡检任务、下载路径信息三者中任意信息,实现设备巡检图像的在线浏览、批量下载等功能。
示例性地,元数据信息和/或设备巡检图像可以通过对象存储方式进行存储,对象存储方式的特点是输入存储对象的下载路径即可获取相应的存储对象,下载路径可以是设备巡检图像的标识符。
在本实施例中,通过将设备巡检图像以及巡检图像的元数据信息保存到云端系统,可以满足用户在界面搜索设备巡检图像的任一条元数据信息时,在线浏览设备巡检图像以及设备巡检图像的全部元数据信息、下载设备巡检图像,从而实现对设备巡检图像相关信息的快速检索。
在一个实施例中,S402中在将设备巡检图像以及元数据信息保存到云端系统之后,还可以包括如下步骤:
将设备巡检图像的元数据信息写入消息中间件。
其中,消息中间件的元数据信息用于指示图像识别系统根据元数据信息所携带的下载路径获取设备巡检图像,对设备巡检图像进行图像识别,获取输电设备的缺陷识别结果,并将缺陷识别结果与图像名称和历史巡检任务关联。
作为一示例,图像名称可以包括与设备巡检图像关联的设备部件标识。图像识别系统利用人工智能图像识别技术,采用TensorFlow和Faster-RCNN框架构建电力缺陷训练算法模型,可以对设备巡检图像分析,识别图像中设备部件存在的缺陷。
具体实施中,可以由云端系统将元数据信息写入消息中间件,其他模块可以通过消息中间件获取元数据信息使用,从而可以通过消息中间件实现模块间的信息交流。例如,图像识别系统从消息中间件中获取到下载路径,在云端系统上输入下载路径,获取设备巡检图像,对设备巡检图像进行图像识别,得到设备巡检图像关联的设备部件存在的缺。进一步地,图像识别系统从消息中间件中获取到图像名称、与设备巡检图像关联的历史巡检任务,再将识别到设备部件存在的缺陷与图像名称、历史巡检任务相关联,例如可以将缺陷分级、分类,再将设备巡检图像的图像名称命名为缺陷等级、缺陷类型、设备部件标识、历史巡检任务标识,再保存到关系型数据库中,上传到云端系统,完成信息归档。
在本实施例中,通过消息中间件,可以将图像识别系统的缺陷识别结果与对应的设备部件、历史巡检任务关联。通过把设备巡检图像、设备巡检图像的元数据信息上传到消息中间件,还可以满足各模块通过消息中间件及时获取到以上数据信息,实现无人机巡检过程中信息闭环。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的无人机设备巡检图像的整理方法的无人机设备巡检图像的整理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个无人机设备巡检图像的整理装置实施例中的具体限定可以参见上文中对于无人机设备巡检图像的整理方法的限定,在此不再赘述。
在一个实施例中,如图5所示,提供了一种无人机设备巡检图像的整理装置,包括:
图像采集模块501,用于获取无人机巡检输电设备过程中采集的设备巡检图像,并确定所述无人机的巡检航线;所述巡检航线包括多个巡检拍摄点;
地点获取模块502,用于获取所述设备巡检图像的图像拍摄点;
地点匹配模块503,用于将所述图像拍摄点与所述巡检航线中的各巡检拍摄点进行匹配,确定与所述设备巡检图像对应的目标巡检拍摄点;
图像命名模块504,用于确定位于所述目标巡检拍摄点的输电设备,并根据与所述输电设备关联的标识对所述设备巡检图像进行命名,得到所述设备巡检图像的图像名称,所述图像名称包括与所述输电设备关联的标识。
在一个实施例中,所述地点获取模块,具体用于:
获取所述设备巡检图像的可交换图像文件信息,从所述可交换图像文件信息中确定所述图像拍摄点的经纬度坐标;
所述地点匹配模块,具体用于:
从巡检航线中的各巡检拍摄点中,获取经纬度坐标与图像拍摄点的经纬度坐标相匹配的巡检拍摄点,作为与设备巡检图像对应的目标巡检拍摄点。
在一个实施例中,所述装置还包括:
拍摄云台角度获取模块,用于获取所述设备巡检图像的可交换图像文件信息,从所述可交换图像文件信息中确定所述设备巡检图像的拍摄云台角度;
图像拍摄角度获取模块,用于获取预先针对所述输电设备的各个设备部件设定的图像拍摄角度;
目标图像拍摄角度确定模块,用于从各个设备部件的图像拍摄角度中,获取图像拍摄角度与所述拍摄云台角度相匹配的目标图像拍摄角度;
输电设备关联标识确定模块,用于根据与所述目标图像拍摄角度相关联的设备部件所对应的部件标识,得到与所述输电设备关联的标识。
在一个实施例中,所述装置还包括:
拍摄时间获取模块,用于确定所述设备巡检图像的拍摄时间,并获取包含所述目标巡检拍摄点的历史巡检任务;
任务关联模块,用于将任务执行时间与所述拍摄时间相匹配的历史巡检任务,作为与所述设备巡检图像关联的历史巡检任务。
在一个实施例中,所述装置还包括:
元数据信息生成模块,用于基于所述设备巡检图像的图像名称、所述设备巡检图像关联的历史巡检任务、所述设备巡检图像的下载路径,生成所述设备巡检图像的元数据信息;
信息保存模块,用于将所述设备巡检图像以及所述元数据信息保存到云端系统。
在一个实施例中,所述装置还包括:
写入消息中间件模块,用于将所述设备巡检图像的元数据信息写入消息中间件;
其中,所述消息中间件的元数据信息用于指示图像识别系统根据所述元数据信息所携带的下载路径获取所述设备巡检图像,对所述设备巡检图像进行图像识别,获取所述输电设备的缺陷识别结果,并将所述缺陷识别结果与所述图像名称和所述历史巡检任务关联。
上述无人机设备巡检图像的整理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种无人机设备巡检图像的整理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取无人机巡检输电设备过程中采集的设备巡检图像,并确定所述无人机的巡检航线;所述巡检航线包括多个巡检拍摄点;
获取所述设备巡检图像的图像拍摄点;
将所述图像拍摄点与所述巡检航线中的各巡检拍摄点进行匹配,确定与所述设备巡检图像对应的目标巡检拍摄点;
确定位于所述目标巡检拍摄点的输电设备,并根据与所述输电设备关联的标识对所述设备巡检图像进行命名,得到所述设备巡检图像的图像名称,所述图像名称包括与所述输电设备关联的标识。
在一个实施例中,处理器执行计算机程序时还实现上述其他实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取无人机巡检输电设备过程中采集的设备巡检图像,并确定所述无人机的巡检航线;所述巡检航线包括多个巡检拍摄点;
获取所述设备巡检图像的图像拍摄点;
将所述图像拍摄点与所述巡检航线中的各巡检拍摄点进行匹配,确定与所述设备巡检图像对应的目标巡检拍摄点;
确定位于所述目标巡检拍摄点的输电设备,并根据与所述输电设备关联的标识对所述设备巡检图像进行命名,得到所述设备巡检图像的图像名称,所述图像名称包括与所述输电设备关联的标识。
在一个实施例中,计算机程序被处理器执行时还实现上述其他实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种无人机设备巡检图像的整理方法,其特征在于,所述方法包括:
获取无人机巡检输电设备过程中采集的设备巡检图像,并确定所述无人机的巡检航线;所述巡检航线包括多个巡检拍摄点;
获取所述设备巡检图像的图像拍摄点;
将所述图像拍摄点与所述巡检航线中的各巡检拍摄点进行匹配,确定与所述设备巡检图像对应的目标巡检拍摄点;
确定位于所述目标巡检拍摄点的输电设备,并根据与所述输电设备关联的标识对所述设备巡检图像进行命名,得到所述设备巡检图像的图像名称,所述图像名称包括与所述输电设备关联的标识。
2.根据权利要求1所述的方法,其特征在于,所述获取所述设备巡检图像的图像拍摄点,包括:
获取所述设备巡检图像的可交换图像文件信息,从所述可交换图像文件信息中确定所述图像拍摄点的经纬度坐标;
所述将所述图像拍摄点与所述巡检航线中的各巡检拍摄点进行匹配,确定与所述设备巡检图像对应的目标巡检拍摄点,包括:
从所述巡检航线中的各巡检拍摄点中,获取经纬度坐标与所述图像拍摄点的经纬度坐标相匹配的巡检拍摄点,作为与所述设备巡检图像对应的目标巡检拍摄点。
3.根据权利要求1所述的方法,其特征在于,在所述根据与所述输电设备关联的标识对所述设备巡检图像进行命名,得到所述设备巡检图像的图像名称之前,还包括:
获取所述设备巡检图像的可交换图像文件信息,从所述可交换图像文件信息中确定所述设备巡检图像的拍摄云台角度;
获取预先针对所述输电设备的各个设备部件设定的图像拍摄角度;
从各个设备部件的图像拍摄角度中,获取图像拍摄角度与所述拍摄云台角度相匹配的目标图像拍摄角度;
根据与所述目标图像拍摄角度相关联的设备部件所对应的部件标识,得到与所述输电设备关联的标识。
4.根据权利要求1所述的方法,其特征在于,在所述根据与所述输电设备关联的标识对所述设备巡检图像进行命名,得到所述设备巡检图像的图像名称之后,还包括:
确定所述设备巡检图像的拍摄时间,并获取包含所述目标巡检拍摄点的历史巡检任务;
将任务执行时间与所述拍摄时间相匹配的历史巡检任务,作为与所述设备巡检图像关联的历史巡检任务。
5.根据权利要求4所述的方法,其特征在于,在所述将任务执行时间与所述拍摄时间相匹配的历史巡检任务,作为与所述设备巡检图像关联的历史巡检任务之后,还包括:
基于所述设备巡检图像的图像名称、所述设备巡检图像关联的历史巡检任务、所述设备巡检图像的下载路径,生成所述设备巡检图像的元数据信息;
将所述设备巡检图像以及所述元数据信息保存到云端系统。
6.根据权利要求5所述的方法,其特征在于,在所述将所述设备巡检图像的元数据信息保存到云端系统后,还包括:
将所述设备巡检图像的元数据信息写入消息中间件;
其中,所述消息中间件的元数据信息用于指示图像识别系统根据所述元数据信息所携带的下载路径获取所述设备巡检图像,对所述设备巡检图像进行图像识别,获取所述输电设备的缺陷识别结果,并将所述缺陷识别结果与所述图像名称和所述历史巡检任务关联。
7.一种无人机设备巡检图像的整理装置,其特征在于,所述装置包括:
图像采集模块,用于获取无人机巡检输电设备过程中采集的设备巡检图像,并确定所述无人机的巡检航线;所述巡检航线包括多个巡检拍摄点;
地点获取模块,用于获取所述设备巡检图像的图像拍摄点;
地点匹配模块,用于将所述图像拍摄点与所述巡检航线中的各巡检拍摄点进行匹配,确定与所述设备巡检图像对应的目标巡检拍摄点;
图像命名模块,用于确定位于所述目标巡检拍摄点的输电设备,并根据与所述输电设备关联的标识对所述设备巡检图像进行命名,得到所述设备巡检图像的图像名称,所述图像名称包括与所述输电设备关联的标识。
8.根据权利要求7所述的装置,其特征在于,所述地点获取模块,具体用于:
获取所述设备巡检图像的可交换图像文件信息,从所述可交换图像文件信息中确定所述图像拍摄点的经纬度坐标;
所述地点匹配模块,具体用于:
从巡检航线中的各巡检拍摄点中,获取经纬度坐标与图像拍摄点的经纬度坐标相匹配的巡检拍摄点,作为与设备巡检图像对应的目标巡检拍摄点。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210984946.0A CN115062178A (zh) | 2022-08-17 | 2022-08-17 | 无人机设备巡检图像的整理方法、装置和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210984946.0A CN115062178A (zh) | 2022-08-17 | 2022-08-17 | 无人机设备巡检图像的整理方法、装置和计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115062178A true CN115062178A (zh) | 2022-09-16 |
Family
ID=83208181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210984946.0A Pending CN115062178A (zh) | 2022-08-17 | 2022-08-17 | 无人机设备巡检图像的整理方法、装置和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115062178A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115272900A (zh) * | 2022-09-27 | 2022-11-01 | 南京瀚元科技有限公司 | 基于北斗定位和图像识别技术的电力设备缺损定位方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103941746B (zh) * | 2014-03-29 | 2016-06-01 | 国家电网公司 | 无人机巡检图像处理系统及方法 |
CN106547814A (zh) * | 2016-09-23 | 2017-03-29 | 广西电网有限责任公司电力科学研究院 | 一种输电线路无人机巡检图像的结构化自动归档方法 |
KR101767006B1 (ko) * | 2016-05-30 | 2017-08-09 | 목포대학교산학협력단 | Uav 영상을 이용한 건물 레이어의 갱신 객체 탐지 방법 및 장치 |
CN107450587A (zh) * | 2017-09-19 | 2017-12-08 | 广东电网有限责任公司佛山供电局 | 一种无人机精细化巡检的智能飞行控制方法及系统 |
CN111339347A (zh) * | 2020-05-19 | 2020-06-26 | 北京数字绿土科技有限公司 | 一种巡检照片的管理方法及装置 |
CN114461831A (zh) * | 2022-04-13 | 2022-05-10 | 广东电网有限责任公司佛山供电局 | 输电线路巡检图像自动命名方法及装置 |
-
2022
- 2022-08-17 CN CN202210984946.0A patent/CN115062178A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103941746B (zh) * | 2014-03-29 | 2016-06-01 | 国家电网公司 | 无人机巡检图像处理系统及方法 |
KR101767006B1 (ko) * | 2016-05-30 | 2017-08-09 | 목포대학교산학협력단 | Uav 영상을 이용한 건물 레이어의 갱신 객체 탐지 방법 및 장치 |
CN106547814A (zh) * | 2016-09-23 | 2017-03-29 | 广西电网有限责任公司电力科学研究院 | 一种输电线路无人机巡检图像的结构化自动归档方法 |
CN107450587A (zh) * | 2017-09-19 | 2017-12-08 | 广东电网有限责任公司佛山供电局 | 一种无人机精细化巡检的智能飞行控制方法及系统 |
CN111339347A (zh) * | 2020-05-19 | 2020-06-26 | 北京数字绿土科技有限公司 | 一种巡检照片的管理方法及装置 |
CN114461831A (zh) * | 2022-04-13 | 2022-05-10 | 广东电网有限责任公司佛山供电局 | 输电线路巡检图像自动命名方法及装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115272900A (zh) * | 2022-09-27 | 2022-11-01 | 南京瀚元科技有限公司 | 基于北斗定位和图像识别技术的电力设备缺损定位方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103226575A (zh) | 一种图像处理方法和装置 | |
CN108830837A (zh) | 一种用于检测钢包溶蚀缺陷的方法和装置 | |
CN107085761A (zh) | 道路养护方法、装置和系统 | |
US9665773B2 (en) | Searching for events by attendants | |
CN102970653A (zh) | 一种用户终端拍照方法及用户终端 | |
CN115062178A (zh) | 无人机设备巡检图像的整理方法、装置和计算机设备 | |
US20200279214A1 (en) | System and method of documenting condition, repair, and overhaul of aircraft parts | |
TWI773898B (zh) | 用於電子設備的管理裝置及其管理方法 | |
CN111488829A (zh) | 杆塔巡检照片分类方法、装置、电子设备以及存储介质 | |
US20170193678A1 (en) | Information processing system, information processing method, and storage medium | |
CN108805512B (zh) | 一种考勤信息记录方法及其设备、系统 | |
CN105677843A (zh) | 一种自动获取宗地四至属性的方法 | |
CN115883172A (zh) | 异常监测方法、装置、计算机设备和存储介质 | |
CN112907740B (zh) | 基于gis的不动产可视化展示方法及系统 | |
CN114238541A (zh) | 敏感目标信息获取方法、装置和计算机设备 | |
WO2020103074A1 (zh) | 图像搜索方法、装置、存储介质及电子设备 | |
CN208538127U (zh) | 智能图片分类存储系统 | |
CN114785771B (zh) | 自动驾驶数据的上传方法、装置、计算机设备和存储介质 | |
US11410133B2 (en) | Management apparatus and management method thereof for electronic equipment | |
CN104462234A (zh) | 一种可视化信息系统及可视化信息提供方法 | |
US20210327004A1 (en) | Information processing apparatus, information processing method, and system | |
CN113920144B (zh) | 一种实景照片地面视域分析方法及系统 | |
CN114756539B (zh) | 运单数据校对系统、方法、计算机设备、存储介质 | |
CN109492119A (zh) | 一种用户信息记录方法及装置 | |
CN114943002A (zh) | 巡检数据处理方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220916 |