CN113763306A - 一种地标检测方法、装置及电子设备 - Google Patents
一种地标检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113763306A CN113763306A CN202010485945.2A CN202010485945A CN113763306A CN 113763306 A CN113763306 A CN 113763306A CN 202010485945 A CN202010485945 A CN 202010485945A CN 113763306 A CN113763306 A CN 113763306A
- Authority
- CN
- China
- Prior art keywords
- defect
- landmark
- landmark image
- image
- defect detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 268
- 230000007547 defect Effects 0.000 claims abstract description 545
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000004140 cleaning Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 47
- 230000004927 fusion Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 238000007405 data analysis Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 8
- 230000002596 correlated effect Effects 0.000 claims description 7
- 230000008030 elimination Effects 0.000 claims description 7
- 238000003379 elimination reaction Methods 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明实施例提供了一种地标检测方法、装置及电子设备。其中,方法包括:获取自动导航运输车AGV采集到的地标图像以及位置信息,所述位置信息用于表示所述AGV采集到所述地标图像时所处的位置;基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果至少包括:在检测到所述地标图像中存在缺陷时的缺陷信息;按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级;按照针对所述地标图像所属缺陷等级预设的提醒策略,对所述位置信息所表示的位置处的地标进行更换地标或清理地标的提醒。可以利用AGV采集到的地标图像,对地标进行缺陷检测,并按缺陷等级进行分级提醒,降低地标检测人工成本。
Description
技术领域
本发明涉及物联网技术领域,特别是涉及一种地标检测方法、装置及电子设备。
背景技术
为使得自动导航运输车(Automomated Guild Vechicle,下文简称AGV)能够按照规定的路径进行移动,AGV在工作过程中需要确定自身所处的位置。AGV可以利用设置在AGV上的图像采集设备采集地面的地标,得到地标图像。地标为预先设置于AGV工作区域地面的地面标识,用于表示该地标所设置于的位置,示例性的,地标可以为二维码,用于表示该二维码所处的位置的地图坐标。AGV解析地标图像,获取该地标所表示的位置,作为当前AGV所处的位置。
地标因各种原因可能存在一定的缺陷,如制作工艺导致的色差、使用过程中的磨损等。如果地标存在缺陷,则AGV可能无法从采集到的地标图像中正确解析出该地标所表示的位置,导致AGV无法正常工作。
相关技术中,可以安排工作人员定期或不定期到AGV工作区域进行现场检测,检测各地标是否存在缺陷,以便进行相应的处理,如修复缺陷、更换地标等。但是该方案人工成本较高。
发明内容
本发明实施例的目的在于提供一种地标检测方法、装置及电子设备,以实现降低地标检测的人工成本。具体技术方案如下:
在本发明实施例的第一方面,提供了一种地标检测方法,所述方法包括:
获取自动导航运输车AGV采集到的地标图像以及位置信息,所述位置信息用于表示所述AGV采集到所述地标图像时所处的位置;
基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果至少包括:在检测到所述地标图像中存在缺陷时的缺陷信息,所述缺陷信息包括缺陷类型、缺陷数量以及缺陷位置中的一个或多个;
按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级;
按照针对所述地标图像所属缺陷等级预设的提醒策略,对所述位置信息所表示的位置处的地标进行更换地标或清理地标的提醒。
在一种可能的实现方式中,所述所述基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果用于表示所述地标图像中所存在的缺陷,包括:
将所述地标图像输入至预先建立的缺陷检测模型进行缺陷检测,得到所述地标图像的缺陷检测结果;
其中,所述缺陷检测模型为基于预设训练集进行训练得到的,所述预设训练集包括正样本地标图像和负样本地标图像,其中,所述正样本地标图像为不存在缺陷的地标图像,所述负样本地标图像为携带有缺陷标记并且存在缺陷的地标图像,所述缺陷标记用于标记所述负样本地标图像中所存在的缺陷。
在一种可能的实现方式中,所述预设训练集中的负样本地标图像通过以下方式得到:
获取AGV采集到的历史地标图像;展示所述历史地标图像;接收针对所述历史地标图像反馈的标定指令,所述标定指令用于表示所述历史地标图像所存在的缺陷;按照所述标定指令所表示的缺陷,标定所述历史地标图像,得到负样本地标图像;
和/或,获取预先经过缺陷检测的已检测地标图像,以及所述已检测地标图像的缺陷检测结果;按照该缺陷检测结果所表示的缺陷,标定所述已检测地标图像,得到负样本地标图像;
和/或,针对所述预设训练集已经存在的负样本地标图像,进行预设图像处理,得到新的负样本地标图像,所述预设图像处理包括:亮度调整、翻转、旋转、对比度调整、缩放、增加噪声、消除噪声。
在一种可能的实现方式中,所述按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
按照所述缺陷检测结果中所包括的所述缺陷信息,以及所述缺陷检测结果的置信度,确定所述地标图像的缺陷等级,所述地标图像的缺陷等级与所述置信度正相关。
在一种可能的实现方式中,所述获取自动导航运输车AGV采集到的地标图像以及位置信息,包括:
获取多个AGV在相同位置采集到的地标图像以及位置信息;
所述基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
针对每个AGV采集到的地标图像进行缺陷检测,得到该AGV采集到的地标图像的缺陷检测结果;
所述方法还包括:
融合每个AGV采集到的地标图像的缺陷检测结果中的缺陷信息,得到融合缺陷信息;
所述按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
按照所述融合缺陷信息,确定所述地标图像所属缺陷等级。
在一种可能的实施例中,所述地标图像为包括地标二维码的图像;
所述基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
对所述地标图像中所包括的地标二维码进行缺陷检测,得到所述地标图像的缺陷检测结果。
在本发明实施例的第二方面,提供了一种地标检测装置,所述装置包括:
图像采集单元,用于获取自动导航运输车AGV采集到的地标图像以及位置信息,所述位置信息用于表示所述AGV采集到所述地标图像时所处的位置;
缺陷检测单元,用于基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果至少包括:在检测到所述地标图像中存在缺陷时的缺陷信息,所述缺陷信息包括缺陷类型、缺陷数量以及缺陷位置中的一个或多个;
数据分析单元,用于按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级;
提醒单元,用于按照针对所述地标图像所属缺陷等级预设的提醒策略,对所述位置信息所表示的位置处的地标进行更换地标或清理地标的提醒。
在一种可能的实现方式中,所述缺陷检测单元基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果用于表示所述地标图像中所存在的缺陷,包括:
将所述地标图像输入至预先建立的缺陷检测模型进行缺陷检测,得到所述地标图像的缺陷检测结果;
其中,所述缺陷检测模型为基于预设训练集进行训练得到的,所述预设训练集包括正样本地标图像和负样本地标图像,其中,所述正样本地标图像为不存在缺陷的地标图像,所述负样本地标图像为携带有缺陷标记并且存在缺陷的地标图像,所述缺陷标记用于标记所述负样本地标图像中所存在的缺陷。
在一种可能的实现方式中,所述装置还包括区域标定单元,用于按照以下方式获取负样本地标图像:
获取AGV采集到的历史地标图像;展示所述历史地标图像;接收针对所述历史地标图像反馈的标定指令,所述标定指令用于表示所述历史地标图像所存在的缺陷;按照所述标定指令所表示的缺陷,标定所述历史地标图像,得到负样本地标图像;
和/或,获取预先经过缺陷检测的已检测地标图像,以及所述已检测地标图像的缺陷检测结果;按照该缺陷检测结果所表示的缺陷,标定所述已检测地标图像,得到负样本地标图像;
和/或,针对所述预设训练集已经存在的负样本地标图像,进行预设图像处理,得到新的负样本地标图像,所述预设图像处理包括:亮度调整、翻转、旋转、对比度调整、缩放、增加噪声、消除噪声。
在一种可能的实现方式中,所述数据分析单元按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
按照所述缺陷检测结果中所包括的所述缺陷信息,以及所述缺陷检测结果的置信度,确定所述地标图像的缺陷等级,所述地标图像的缺陷等级与所述置信度正相关。
在一种可能的实施例中,所述图像采集单元获取自动导航运输车AGV采集到的地标图像以及位置信息,包括:
获取多个AGV在相同位置采集到的地标图像以及位置信息;
所述缺陷检测单元基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
针对每个AGV采集到的地标图像进行缺陷检测,得到该AGV采集到的地标图像的缺陷检测结果;
所述装置还包括信息融合模块,用于融合每个AGV采集到的地标图像的缺陷检测结果中的缺陷信息,得到融合缺陷信息;
所述数据分析单元按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
按照所述融合缺陷信息,确定所述地标图像所属缺陷等级。
在一种可能的实施例中,所述地标图像为包括地标二维码的图像;
所述缺陷检测单元基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
对所述地标图像中所包括的地标二维码进行缺陷检测,得到所述地标图像的缺陷检测结果。
在本发明的第三方面,提供了一种电子设备,包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面任一所述的方法步骤。
在本发明的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
本发明实施例提供的地标检测方法、装置及电子设备,可以利用AGV采集到的地标图像,对工作区域的地标进行缺陷检测,并按照缺陷等级进行分级提醒,使得相关人员无需到工作区域现场检测,也可以掌握工作区域各处的地标是否存在缺陷,以便于进行相应的处理。有效降低了地标检测的人工成本。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的地标检测方法的一种流程示意图;
图2为本发明实施例提供的地标检测方法的另一种流程示意图;
图3为本发明实施例提供的应用于AGV的地标检测系统的一种结构示意图;
图4a为本发明实施例提供的地标检测装置的一种结构示意图;
图4b为本发明实施例提供的地标检测装置的另一种结构示意图;
图4c为本发明实施例提供的地标检测装置的另一种结构示意图;
图5为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1所示为本发明实施例提供的地标检测方法的一种流程示意图,该方法可以应用于任一具有地标检测功能的电子设备上,示例性的,可以应用于具有地标检测功能的AGV上,也可以应用于具有地标检测功能的服务器上,方法可以包括:
S101,获取AGV采集到的地标图像以及位置信息。
S102,基于地标图像进行缺陷检测,得到地标图像的缺陷检测结果。
S103,按照缺陷检测结果中所包括的缺陷信息,确定地标图像所属缺陷等级。
S104,按照针对地标图像所属缺陷等级预设的提醒策略,对位置信息所表示的位置处的地标进行更换地标或清理地标的提醒。
选用该实施例,可以利用AGV采集到的地标图像,对工作区域的地标进行缺陷检测,并按照缺陷等级进行分级提醒,使得相关人员无需到工作区域现场检测,也可以掌握工作区域各处的地标是否需要更换或清理,以便于进行相应的处理。有效降低了地标检测的人工成本。
其中,S101中的位置信息用于表示AGV采集到该地标图像时所处的位置。如果该方法应用于AGV,则可以是获取设置于AGV上的图像采集设备采集到的地标图像。如果该方法应用于AGV以外的电子设备,例如与AGV建立有通信连接的服务器,则可以是获取AGV发送的地标图像。
S102中,根据地标类型的不同,缺陷检测的方式不同,例如,在一种可能的实施例中,地标图像为包括地标二维码的图像,进行缺陷检测的方式可以是对地标图像中所包括的地标二维码进行缺陷检测,得到地标图像的缺陷检测结果。
根据实际应用场景的不同,缺陷检测的方式也可以不同,示例性的,在一种可能的实施例中,可以是将地标图像输入至预先建立的缺陷检测模型进行缺陷检测,得到地标图像的缺陷检测结果。在其他可能的实施中,也可以是利用其他的缺陷检测方式进行缺陷检测的,本实施例对此不做限制。
上述缺陷检测模型,可以是预先建立的用于检测所输入的地标图像中所存在的缺陷的模型。缺陷检测模型可以是基于传统的机器学习算法训练得到的算法模型,也可以是基于深度学习算法训练得到的神经网络模型。缺陷检测模型为基于预设训练集进行训练得到的,预设训练集中包括正样本地标图像和负样本地标图像,正样本地标图像为不存在缺陷的地标图像,负样本地标图像为携带有缺陷标记并且存在缺陷的地标图像,缺陷标记用于标记负样本地标图像中所存在的缺陷,缺陷标线可以是用于标记负样本地标图像中的缺陷类型、缺陷数量以及缺陷位置中的一种或多种。
缺陷检测结果至少包括在检测到地标图像中存在缺陷时的缺陷信息,缺陷信息包括缺陷类型、缺陷数量以及缺陷位置中的一个或多个。例如缺陷信息中可以包括用于表示地标图像中存在磨损类型的缺陷的信息,又例如缺陷信息中可以包括用于表示地标图像中存在3处缺陷的信息,海丽如缺陷信息中可以包括用于表示地标图像中像素坐标为(X1,Y1)处存在缺陷的信息。
缺陷信息的表示方式根据应用场景的不同可以不同,示例性的,在一种可能的实施例中,缺陷信息中可以包括地标图像中每个像素点的标签(label),标签的取值范围至少包括两个不同的值,示例性的,标签的取值可以为0或1,其中,0用于表示地标图像中该像素点所在的图像区域不存在缺陷,1用于表示地标图像中该像素点所在图像区域存在缺陷。在另一种可能的实施例中,标签的取值范围也可以包括三个或三个以上的值,不同的值表示地标图像中该像素点所在图像区域存在缺陷的可能性,例如,标签为1表示该像素点所在图像区域不可能存在缺陷,标签为2表示该像素点所在图像区域较小可能存在缺陷,标签为3表示该像素点所在图像区域较大可能存在缺陷,标签为4表示该像素带所在图像区域一定存在缺陷。
S103中,缺陷等级用于表示地标图像所存在的缺陷的严重程度,如果地标图像中存在的缺陷严重程度越高,则AGV通过解析该地标图像能够准确获取该地标图像对应的地标所表示的位置的可能性越低,如果地标图像中存在的缺陷严重程度越低,则AGV通过解析该地标图像能够准确获取该地标图像对应的地标所表示的位置的可能性越高。
由于不同应用场景中,缺陷信息可以用不同的方式进行表示,为描述方便,假设缺陷信息是以上述标签的方式表示的,则可以是计算缺陷检测结果中各个像素点的标签的值的均值,按照预设的标签的值与缺陷等级的对应关系,计算该均值对应的缺陷等级,作为地标图像的缺陷等级。示例性的,假设缺陷检测结果表示地标图像中100个像素点的标签的值为1,100个像素点的标签的值为2,50个像素点的标签的值为3,则均值为1.8。假设标签的值与缺陷等级的对应关系中,当值位于[1,1.5]时对应的缺陷等级为1级,当值位于(1.5,18]时对应的缺陷等级为2级,则该均值对应的缺陷等级为2级,因此该地标图像的缺陷等级为2级。该示例仅是一种可能的缺陷等级确定方法,在其他可能的实施例中,也可以采用其他方法确定缺陷等级,本示例对此不做限制。
在一种可能的实施例中,在计算缺陷等级时,可以是按照缺陷检测结果中所包括的缺陷信息,以及缺陷检测结果的置信度,共同确定地标图像缺陷等级,地标图像的缺陷等级与置信度正相关。可以理解的是,缺陷检测结果可能存在误差,因此即使缺陷检测结果表示地标图像中存在严重缺陷,地标图像实际上也可能并不存在严重缺陷,因此在确定地标图像的缺陷等级时,考虑缺陷检测结果的置信度可以使得得到的缺陷等级更加准确。
S104中,不同等级预设的提醒策略可以根据实际需求或者用户经验进行设置,提醒策略中可以设定以何种方式向用户进行更换或清理地标提醒,例如可以设定如果缺陷等级为1则发出警鸣、缺陷等级为2则发送提醒邮件、缺陷等级为3则向预设用户终端发送提醒短信。也可以是设定提醒内容,以发送提醒邮件为例,可以设定如果缺陷等级为1则邮件中的文本内容中包括“缺陷较轻,建议暂时不更替地标”,如果缺陷等级为2则邮件中的文本内容中包括“缺陷较重,建议更替地标”,如果缺陷等级为3则邮件中的文本内容中包括“缺陷严重,请尽快更替地标”。以上仅是不同缺陷等级对应的提醒策略的示例,在其他可能的实施例中,针对不同缺陷等级预设的提醒策略也可以是其他形式,本实施例对此不做限制。
在进行更换地标或清理地标提醒时,可以展示S101中获取到的位置信息,展示的方式可以根据实际应用场景的不同而不同,例如假设提醒方式为发送报提醒短信,则可以是在提醒短信中携带用于表示该位置信息的文本。可以理解的是,由于不同的地标设置于不同的位置,因此位置信息可以作为地标的标识信息,相关人员可以根据位置信息确定接收到的提醒是针对哪一个地标进行的提醒,当相关人员在接收到的提醒后计划对提醒所针对的地标进行相应的处理时,如替换或清理地标,可以根据位置信息准确找到该地标。
为更清楚的对本发明实施例提供的地标检测方法进行说明,下面将对上述地标缺陷检测模型的训练进行说明。
训练集所包括的样本地标图像的数量可以根据实际应用场景的不同而不同,并且训练缺陷检测模型时,可以只使用其中部分的样本地标图像,也可以使用训练集中所有的样本地标图像。
在一种可能的实施例中,可以将正样本地标图像或负样本地标图像输入至预设模型中,得到该预设模型的输出的缺陷检测结果,将该缺陷检测结果所表示的缺陷与该样本地标图像标定的所存在的缺陷(对于正样本图像可以认为所存在的缺陷为空)进行对比,以构建损失函数,基于该损失函数,利用梯度下降法,调整该预设模型的模型参数。
选取新的样本地标图像,重复上述步骤,直至达到预设训练条件时,将经过调整的预设模型作为缺陷检测模型。预设训练条件可以是模型参数达到收敛,也可以是已经已经使用预设数目个样本地标图像进行训练,还可以是已经使用预设训练集中所有样本地标图像进行训练。
可以理解的是,缺陷检测模型的性能影响到缺陷检测结果的准确性,不准确的缺陷检测结果可能导致错误的提醒,进而造成相关人员对是否需要对地标进行相应处理作出错误的判断。例如,假设地标A的缺陷较轻微,并不需要进行更换,但是由于缺陷检测模型性能较差,地标A的缺陷检测结果表示地标A的缺陷较为严重,导致针对地标A进行提醒,以提示相关人员对地标A进行更换。而缺陷检测模型的性能一定程度取决于训练过程中。在一种可能的实施例中,训练集中的负样本地标图像可以是通过以下三种方式中的一种或多种方式得到:
方式一、获取AGV采集到的历史地标图像,展示历史地标图像,接受针对该历史地标图像反馈的标定指令,该标定指令用于表示历史地标图像所存在的缺陷,按照标定指令所表示的缺陷,标定历史地标图像,得到负样本地标图像。
其中,展示历史地标图像,可以是使用集成或外接于执行主体的显示设备,展示历史地标图像,也可以是向预设终端发送展示请求,以在预设终端展示历史地标图像。示例性的,以执行主体为AGV为例,AGV可以在采集到历史地标图像时,向预设终端发送展示请求,以在预设终端展示历史地标图像,相关人员在观看到所展示的历史地标图像后,观察该历史地标图像中存在的缺陷,并输入标定指令,AGV接收到该标定指令后,按照该标定指令所表示的缺陷,标定历史地标图像,得到负样本地标图像。
方式二、获取预先经过缺陷检测的已检测地标图像,以及该已检测地标图像的缺陷检测结果,按照该缺陷检测结果所表示的缺陷,标定该已检测地标图像,得到负样本地标图像。
已检测地标图像可以是通过其他已经建立完成的缺陷检测模型进行缺陷检测的,也可以是利用缺陷检测模型以外的其他方式进行检测的,本实施例对此不做限制。
方式三、针对预设训练集中已经存在的负样本地标图像,进行预设图像处理,得到新的负样本地标图像。
示例性的,可以是对预设训练集中已经存在样本地标图像,进行以下一种或多种图像处理:
亮度调整、翻转、旋转、对比度调整、缩放、增加噪声、消除噪声。
选用该实施例,可以充分扩展预设训练集中的负样本地标图像,以使得训练得到的缺陷检测模型能够更好的适用于不同的应用场景,并且提高缺陷检测模型的准确性。对于正样本地标图像,可以使用任一地标图像生成方式生成。
可以理解的是,AGV采集到的地标图像可能受到采集时的光线、角度等因素影响,导致地标图像中无法准确反映出地标所存在的缺陷。基于此,参见图2,图2所示为本发明实施例提供的地标检测方法的另一种流程示意图,可以包括:
S201,获取多个AGV在相同位置采集到的地标图像以及位置信息。
多个AGV的数量可以根据应用场景的不同而不同,多个AGV在相同位置采集到的地标图像,可以是指多个AGV在同一空间范围内采集到的地标图像。
S202,针对每个AGV采集到的地标图像进行缺陷检测,得到该AGV采集到的地标图像的缺陷检测结果。
关于基于单个AGV采集到的地标图像如何进行缺陷检测,可以参见前述S102的相关描述,在此不再赘述。
S203,融合每个AGV采集到的地标图像的缺陷检测结果中的缺陷信息,得到融合缺陷信息。
融合的方式根据应用场景的不同可以不同,示例性的,以缺陷信息是以标签的形式表示的,可以是计算各个缺陷检测信息中相同像素点的标签的值的均值,作为融合缺陷信息中相同像素点的标签的值。该均值可以是算数平均值,也可以是加权平均值。示例性的,假设有三个缺陷信息,分别记为缺陷信息1-3,缺陷信息1中像素点(1,1)的标签的值为1,缺陷信息2中像素点(1,1)的标签的值为1,缺陷信息3中像素点(1,1)的标签的值为2,则融合缺陷信息中像素点(1,1)的标签的值可以为(1+1+2)/3=1.33,也可以是(0.9*1+0.9*1+0.8*2)/3=1.13,其中等式左侧的第一个0.9表示缺陷检测结果1的置信度为0.9,第二个0.9表示缺陷检测结果2的置信度为0.9,0.8表示缺陷检测结果3的置信度为0.8。加权平均值时,各标签的值的权重也可以不是置信度,而是通过其他方式确定,本实施例对此不做限制。
S204,按照融合缺陷信息,确定地标图像所属缺陷等级。
可以参见前述S103中关于缺陷等级确定的相关描述,在此不再赘述。
S205,按照针对地标图像所属缺陷等级预设的提醒策略,对位置信息所表示的位置处的地标进行提醒。
由于融合缺陷信息中融合了多个不同AGV采集到的地标图像的缺陷检测结果中的缺陷信息,可以认为不同AGV采集地标图像时,光线、角度等因素是随机的,因此通过融合的方式,可以有效地降低光线、角度等因素对融合缺陷检测结果的影响。因此选用该实施例,更准确的进行提醒,使得相关人员可以根据提醒对是否需要对地标采集相应措施作出准确判断。
如前述分析,本发明实施例提供的地标检测方法可以应用于AGV,也可以应用于AGV以外的其他电子设备。为更清楚的对本发明实施例提供的地标检测方法进行说明,下面将以AGV为执行主体,结合相关人员的操作对本发明实施例提供的地标检测方法进行说明,可以参见图3,图3所示为本发明实施例提供的设置于AGV的地标检测系统的结构示意图,地标检测系统中可以包括图像采集模块301、区域标定模块302、缺陷检测模块303,数据分析模块304。
其中,图像采集模块301,用于控制设置于AGV上的图像采集设备采集地标的地标图像,并将采集到的地标图像输入至区域标定模块302以及缺陷检测模块303。
区域标定模块302,用于向预设终端展示接收到的地标图像,相关人员通过预设终端观察该地标图像,并输入标定指令,与预设终端将该标定指令发送至区域标定模块302,区域标定模块302按照该标定指令,标定地标图像,得到样本地标图像。
缺陷检测模块303,用于对输入的地标图像进行缺陷检测,得到地标图像的缺陷检测结果,并将缺陷检测结果以及地标图像输入至数据分析模块304。
数据分析模块304,用于按照缺陷检测结果所包括的缺陷信息,确定地标图像所属缺陷等级。并按照针对该缺陷等级预设的提醒策略,对位置信息所表示的位置处的地标进行更换地标或清理地标提醒。关于缺陷等级的确定以及提醒策略的设置可以参见前述S103、S104中的相关描述,在此不再赘述。
数据分析模块304还可以用于按照缺陷检测结果所表示的缺陷,在地标地图中标定所存在的缺陷,以得到负样本地标图像,并将负样本地标图像输入至区域标定模块302。
可以定期或不定期基于区域标定模块302所保存的样本地标图像,对缺陷检测模型进行训练,得到新的缺陷检测模型,并控制缺陷检测模块303在进行缺陷检测时,调用该新的缺陷检测模型进行缺陷检测,以提高缺陷检测结果的准确性。
参见图4a,图4a所示为本发明实施例提供的地标检测装置的一种结构示意图,可以包括:
图像采集单元401,用于获取自动导航运输车AGV采集到的地标图像以及位置信息,所述位置信息用于表示所述AGV采集到所述地标图像时所处的位置;
缺陷检测单元402,用于基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果至少包括:在检测到所述地标图像中存在缺陷时的缺陷信息,所述缺陷信息包括缺陷类型、缺陷数量以及缺陷位置中的一个或多个;
数据分析单元403,用于按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级;
提醒单元404,用于按照针对所述地标图像所属缺陷等级预设的提醒策略,对所述位置信息所表示的位置处的地标进行更换地标或清理地标的提醒。
在一种可能的实现方式中,所述缺陷检测单元402基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果用于表示所述地标图像中所存在的缺陷,包括:
将所述地标图像输入至预先建立的缺陷检测模型进行缺陷检测,得到所述地标图像的缺陷检测结果;
其中,所述缺陷检测模型为基于预设训练集进行训练得到的,所述预设训练集包括正样本地标图像和负样本地标图像,其中,所述正样本地标图像为不存在缺陷的地标图像,所述负样本地标图像为携带有缺陷标记并且存在缺陷的地标图像,所述缺陷标记用于标记所述负样本地标图像中所存在的缺陷。
在一种可能的实现方式中,如图4b所示,所述装置还包括区域标定单元405,用于按照以下方式获取负样本地标图像:
获取AGV采集到的历史地标图像;展示所述历史地标图像;接收针对所述历史地标图像反馈的标定指令,所述标定指令用于表示所述历史地标图像所存在的缺陷;按照所述标定指令所表示的缺陷,标定所述历史地标图像,得到负样本地标图像;
和/或,获取预先经过缺陷检测的已检测地标图像,以及所述已检测地标图像的缺陷检测结果;按照该缺陷检测结果所表示的缺陷,标定所述已检测地标图像,得到负样本地标图像;
和/或,针对所述预设训练集已经存在的负样本地标图像,进行预设图像处理,得到新的负样本地标图像,所述预设图像处理包括:亮度调整、翻转、旋转、对比度调整、缩放、增加噪声、消除噪声。
在一种可能的实现方式中,所述数据分析单元403按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
按照所述缺陷检测结果中所包括的所述缺陷信息,以及所述缺陷检测结果的置信度,确定所述地标图像的缺陷等级,所述地标图像的缺陷等级与所述置信度正相关。
在一种可能的实施例中,所述图像采集单元401获取自动导航运输车AGV采集到的地标图像以及位置信息,包括:
获取多个AGV在相同位置采集到的地标图像以及位置信息;
所述缺陷检测单元402基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
针对每个AGV采集到的地标图像进行缺陷检测,得到该AGV采集到的地标图像的缺陷检测结果;
所述装置如图4c所示还包括信息融合模块406,用于融合每个AGV采集到的地标图像的缺陷检测结果中的缺陷信息,得到融合缺陷信息;
所述数据分析单元按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
按照所述融合缺陷信息,确定所述地标图像所属缺陷等级。
在一种可能的实施例中,所述地标图像为包括地标二维码的图像;
所述缺陷检测单元402基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
对所述地标图像中所包括的地标二维码进行缺陷检测,得到所述地标图像的缺陷检测结果。
本发明实施例还提供了一种电子设备,如图5所示,包括:
存储器501,用于存放计算机程序;
处理器502,用于执行存储器501上所存放的程序时,实现如下步骤:
获取自动导航运输车AGV采集到的地标图像以及位置信息,所述位置信息用于表示所述AGV采集到所述地标图像时所处的位置;
基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果至少包括:在检测到所述地标图像中存在缺陷时的缺陷信息,所述缺陷信息包括缺陷类型、缺陷数量以及缺陷位置中的一个或多个;
按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级;
按照针对所述地标图像所属缺陷等级预设的提醒策略,对所述位置信息所表示的位置处的地标进行更换地标或清理地标的提醒。
在一种可能的实现方式中,所述所述基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果用于表示所述地标图像中所存在的缺陷,包括:
将所述地标图像输入至预先建立的缺陷检测模型进行缺陷检测,得到所述地标图像的缺陷检测结果;
其中,所述缺陷检测模型为基于预设训练集进行训练得到的,所述预设训练集包括正样本地标图像和负样本地标图像,其中,所述正样本地标图像为不存在缺陷的地标图像,所述负样本地标图像为携带有缺陷标记并且存在缺陷的地标图像,所述缺陷标记用于标记所述负样本地标图像中所存在的缺陷。
在一种可能的实现方式中,所述预设训练集中的负样本地标图像通过以下方式得到:
获取AGV采集到的历史地标图像;展示所述历史地标图像;接收针对所述历史地标图像反馈的标定指令,所述标定指令用于表示所述历史地标图像所存在的缺陷;按照所述标定指令所表示的缺陷,标定所述历史地标图像,得到负样本地标图像;
和/或,获取预先经过缺陷检测的已检测地标图像,以及所述已检测地标图像的缺陷检测结果;按照该缺陷检测结果所表示的缺陷,标定所述已检测地标图像,得到负样本地标图像;
和/或,针对所述预设训练集已经存在的负样本地标图像,进行预设图像处理,得到新的负样本地标图像,所述预设图像处理包括:亮度调整、翻转、旋转、对比度调整、缩放、增加噪声、消除噪声。
在一种可能的实现方式中,所述按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
按照所述缺陷检测结果中所包括的所述缺陷信息,以及所述缺陷检测结果的置信度,确定所述地标图像的缺陷等级,所述地标图像的缺陷等级与所述置信度正相关。
在一种可能的实现方式中,所述获取自动导航运输车AGV采集到的地标图像以及位置信息,包括:
获取多个AGV在相同位置采集到的地标图像以及位置信息;
所述基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
针对每个AGV采集到的地标图像进行缺陷检测,得到该AGV采集到的地标图像的缺陷检测结果;
所述方法还包括:
融合每个AGV采集到的地标图像的缺陷检测结果中的缺陷信息,得到融合缺陷信息;
所述按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
按照所述融合缺陷信息,确定所述地标图像所属缺陷等级。
在一种可能的实施例中,所述地标图像为包括地标二维码的图像;
所述基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
对所述地标图像中所包括的地标二维码进行缺陷检测,得到所述地标图像的缺陷检测结果。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一地标检测方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一地标检测方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质以及计算机程序产品的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (14)
1.一种地标检测方法,其特征在于,所述方法包括:
获取自动导航运输车AGV采集到的地标图像以及位置信息,所述位置信息用于表示所述AGV采集到所述地标图像时所处的位置;
基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果至少包括:在检测到所述地标图像中存在缺陷时的缺陷信息,所述缺陷信息包括缺陷类型、缺陷数量以及缺陷位置中的一个或多个;
按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级;
按照针对所述地标图像所属缺陷等级预设的提醒策略,对所述位置信息所表示的位置处的地标进行更换地标或清理地标的提醒。
2.根据权利要求1所述的方法,其特征在于,所述基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果用于表示所述地标图像中所存在的缺陷,包括:
将所述地标图像输入至预先建立的缺陷检测模型进行缺陷检测,得到所述地标图像的缺陷检测结果;
其中,所述缺陷检测模型为基于预设训练集进行训练得到的,所述预设训练集包括正样本地标图像和负样本地标图像,其中,所述正样本地标图像为不存在缺陷的地标图像,所述负样本地标图像为携带有缺陷标记并且存在缺陷的地标图像,所述缺陷标记用于标记所述负样本地标图像中所存在的缺陷。
3.根据权利要求2所述的方法,其特征在于,所述预设训练集中的负样本地标图像通过以下方式得到:
获取AGV采集到的历史地标图像;展示所述历史地标图像;接收针对所述历史地标图像反馈的标定指令,所述标定指令用于表示所述历史地标图像所存在的缺陷;按照所述标定指令所表示的缺陷,标定所述历史地标图像,得到负样本地标图像;
和/或,获取预先经过缺陷检测的已检测地标图像,以及所述已检测地标图像的缺陷检测结果;按照该缺陷检测结果所表示的缺陷,标定所述已检测地标图像,得到负样本地标图像;
和/或,针对所述预设训练集已经存在的负样本地标图像,进行预设图像处理,得到新的负样本地标图像,所述预设图像处理包括:亮度调整、翻转、旋转、对比度调整、缩放、增加噪声、消除噪声。
4.根据权利要求1所述的方法,其特征在于,所述按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
按照所述缺陷检测结果中所包括的所述缺陷信息,以及所述缺陷检测结果的置信度,确定所述地标图像的缺陷等级,所述地标图像的缺陷等级与所述置信度正相关。
5.根据权利要求1所述的方法,其特征在于,所述获取自动导航运输车AGV采集到的地标图像以及位置信息,包括:
获取多个AGV在相同位置采集到的地标图像以及位置信息;
所述基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
针对每个AGV采集到的地标图像进行缺陷检测,得到该AGV采集到的地标图像的缺陷检测结果;
所述方法还包括:
融合每个AGV采集到的地标图像的缺陷检测结果中的缺陷信息,得到融合缺陷信息;
所述按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
按照所述融合缺陷信息,确定所述地标图像所属缺陷等级。
6.根据权利要求1所述的方法,其特征在于,所述地标图像为包括地标二维码的图像;
所述基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
对所述地标图像中所包括的地标二维码进行缺陷检测,得到所述地标图像的缺陷检测结果。
7.一种地标检测装置,其特征在于,所述装置包括:
图像采集单元,用于获取自动导航运输车AGV采集到的地标图像以及位置信息,所述位置信息用于表示所述AGV采集到所述地标图像时所处的位置;
缺陷检测单元,用于基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果至少包括:在检测到所述地标图像中存在缺陷时的缺陷信息,所述缺陷信息包括缺陷类型、缺陷数量以及缺陷位置中的一个或多个;
数据分析单元,用于按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级;
提醒单元,用于按照针对所述地标图像所属缺陷等级预设的提醒策略,对所述位置信息所表示的位置处的地标进行更换地标或清理地标的提醒。
8.根据权利要求7所述的装置,其特征在于,所述缺陷检测单元基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果用于表示所述地标图像中所存在的缺陷,包括:
将所述地标图像输入至预先建立的缺陷检测模型进行缺陷检测,得到所述地标图像的缺陷检测结果;
其中,所述缺陷检测模型为基于预设训练集进行训练得到的,所述预设训练集包括正样本地标图像和负样本地标图像,其中,所述正样本地标图像为不存在缺陷的地标图像,所述负样本地标图像为携带有缺陷标记并且存在缺陷的地标图像,所述缺陷标记用于标记所述负样本地标图像中所存在的缺陷。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括区域标定单元,用于按照以下方式获取负样本地标图像:
获取AGV采集到的历史地标图像;展示所述历史地标图像;接收针对所述历史地标图像反馈的标定指令,所述标定指令用于表示所述历史地标图像所存在的缺陷;按照所述标定指令所表示的缺陷,标定所述历史地标图像,得到负样本地标图像;
和/或,获取预先经过缺陷检测的已检测地标图像,以及所述已检测地标图像的缺陷检测结果;按照该缺陷检测结果所表示的缺陷,标定所述已检测地标图像,得到负样本地标图像;
和/或,针对所述预设训练集已经存在的负样本地标图像,进行预设图像处理,得到新的负样本地标图像,所述预设图像处理包括:亮度调整、翻转、旋转、对比度调整、缩放、增加噪声、消除噪声。
10.根据权利要求7所述的装置,其特征在于,所述数据分析单元按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
按照所述缺陷检测结果中所包括的所述缺陷信息,以及所述缺陷检测结果的置信度,确定所述地标图像的缺陷等级,所述地标图像的缺陷等级与所述置信度正相关。
11.根据权利要求7所述的装置,其特征在于,所述图像采集单元获取自动导航运输车AGV采集到的地标图像以及位置信息,包括:
获取多个AGV在相同位置采集到的地标图像以及位置信息;
所述缺陷检测单元基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
针对每个AGV采集到的地标图像进行缺陷检测,得到该AGV采集到的地标图像的缺陷检测结果;
所述装置还包括信息融合模块,用于融合每个AGV采集到的地标图像的缺陷检测结果中的缺陷信息,得到融合缺陷信息;
所述数据分析单元按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
按照所述融合缺陷信息,确定所述地标图像所属缺陷等级。
12.根据权利要求7所述的装置,其特征在于,所述地标图像为包括地标二维码的图像;
所述缺陷检测单元基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
对所述地标图像中所包括的地标二维码进行缺陷检测,得到所述地标图像的缺陷检测结果。
13.一种电子设备,其特征在于,包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一所述的方法步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010485945.2A CN113763306A (zh) | 2020-06-01 | 2020-06-01 | 一种地标检测方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010485945.2A CN113763306A (zh) | 2020-06-01 | 2020-06-01 | 一种地标检测方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113763306A true CN113763306A (zh) | 2021-12-07 |
Family
ID=78782579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010485945.2A Pending CN113763306A (zh) | 2020-06-01 | 2020-06-01 | 一种地标检测方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113763306A (zh) |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6064749A (en) * | 1996-08-02 | 2000-05-16 | Hirota; Gentaro | Hybrid tracking for augmented reality using both camera motion detection and landmark tracking |
US20130034293A1 (en) * | 2011-08-04 | 2013-02-07 | Sharp Laboratories Of America, Inc. | System for defect detection and repair |
US20130259387A1 (en) * | 2012-03-29 | 2013-10-03 | Otter Creek Holdings, Llc | Systems and methods for landmark detection |
CN103675868A (zh) * | 2012-09-12 | 2014-03-26 | 国际商业机器公司 | 用于使用视觉数据确定对象位置的方法和系统 |
CN107490379A (zh) * | 2017-08-28 | 2017-12-19 | 山东非凡智能科技有限公司 | 利用二维码地标定位agv工作点位置的方法及系统 |
US20180218524A1 (en) * | 2017-01-31 | 2018-08-02 | Saudi Arabian Oil Company | Auto-generation of map landmarks using sensor readable tags |
US20180306589A1 (en) * | 2017-04-21 | 2018-10-25 | X Development Llc | Landmark Placement for Localization |
CN109146863A (zh) * | 2018-08-06 | 2019-01-04 | 深圳明创自控技术有限公司 | 一种路面标志线缺陷检测装置 |
US20190068962A1 (en) * | 2017-08-24 | 2019-02-28 | Qualcomm Incorporated | Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Defects |
CN109509195A (zh) * | 2018-12-12 | 2019-03-22 | 北京达佳互联信息技术有限公司 | 前景处理方法、装置、电子设备及存储介质 |
CN109703750A (zh) * | 2019-01-21 | 2019-05-03 | 福州大学 | 基于二维码导航式智能搬运机器人的无人机载物流系统 |
CN109784164A (zh) * | 2018-12-12 | 2019-05-21 | 北京达佳互联信息技术有限公司 | 前景识别方法、装置、电子设备及存储介质 |
CN109993734A (zh) * | 2019-03-29 | 2019-07-09 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
CN110047073A (zh) * | 2019-05-05 | 2019-07-23 | 北京大学 | 一种x射线焊缝图像缺陷定级方法及系统 |
CN110148106A (zh) * | 2019-01-18 | 2019-08-20 | 华晨宝马汽车有限公司 | 一种利用深度学习模型检测物体表面缺陷的系统及方法 |
CN110288625A (zh) * | 2019-07-04 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
CN110619620A (zh) * | 2018-06-04 | 2019-12-27 | 杭州海康威视数字技术股份有限公司 | 导致表面缺陷的异常定位方法、装置、系统及电子设备 |
-
2020
- 2020-06-01 CN CN202010485945.2A patent/CN113763306A/zh active Pending
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6064749A (en) * | 1996-08-02 | 2000-05-16 | Hirota; Gentaro | Hybrid tracking for augmented reality using both camera motion detection and landmark tracking |
US20130034293A1 (en) * | 2011-08-04 | 2013-02-07 | Sharp Laboratories Of America, Inc. | System for defect detection and repair |
US20130259387A1 (en) * | 2012-03-29 | 2013-10-03 | Otter Creek Holdings, Llc | Systems and methods for landmark detection |
CN103675868A (zh) * | 2012-09-12 | 2014-03-26 | 国际商业机器公司 | 用于使用视觉数据确定对象位置的方法和系统 |
US20180218524A1 (en) * | 2017-01-31 | 2018-08-02 | Saudi Arabian Oil Company | Auto-generation of map landmarks using sensor readable tags |
US20180306589A1 (en) * | 2017-04-21 | 2018-10-25 | X Development Llc | Landmark Placement for Localization |
US20190068962A1 (en) * | 2017-08-24 | 2019-02-28 | Qualcomm Incorporated | Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Defects |
CN107490379A (zh) * | 2017-08-28 | 2017-12-19 | 山东非凡智能科技有限公司 | 利用二维码地标定位agv工作点位置的方法及系统 |
CN110619620A (zh) * | 2018-06-04 | 2019-12-27 | 杭州海康威视数字技术股份有限公司 | 导致表面缺陷的异常定位方法、装置、系统及电子设备 |
CN109146863A (zh) * | 2018-08-06 | 2019-01-04 | 深圳明创自控技术有限公司 | 一种路面标志线缺陷检测装置 |
CN109509195A (zh) * | 2018-12-12 | 2019-03-22 | 北京达佳互联信息技术有限公司 | 前景处理方法、装置、电子设备及存储介质 |
CN109784164A (zh) * | 2018-12-12 | 2019-05-21 | 北京达佳互联信息技术有限公司 | 前景识别方法、装置、电子设备及存储介质 |
CN110148106A (zh) * | 2019-01-18 | 2019-08-20 | 华晨宝马汽车有限公司 | 一种利用深度学习模型检测物体表面缺陷的系统及方法 |
CN109703750A (zh) * | 2019-01-21 | 2019-05-03 | 福州大学 | 基于二维码导航式智能搬运机器人的无人机载物流系统 |
CN109993734A (zh) * | 2019-03-29 | 2019-07-09 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
CN110047073A (zh) * | 2019-05-05 | 2019-07-23 | 北京大学 | 一种x射线焊缝图像缺陷定级方法及系统 |
CN110288625A (zh) * | 2019-07-04 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
Non-Patent Citations (3)
Title |
---|
刘娇等: "大数据分析在智能采摘机器人路径规划中的应用", 农机化研究, no. 10, 31 March 2020 (2020-03-31), pages 221 - 225 * |
刘树春等: "《深度实践OCR 基于深度学习的文字识别》", 北京:机械工业出版社, pages: 122 - 127 * |
王廷银等: "基于北斗RDSS 的核辐射监测应急通讯方法", 计算机系统应用, vol. 28, no. 12, 15 December 2019 (2019-12-15), pages 248 - 252 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tsai et al. | Pothole detection and classification using 3D technology and watershed method | |
CN106097361B (zh) | 一种缺陷区域检测方法及装置 | |
CN101010958A (zh) | 摄像机校准设备和摄像机校准方法 | |
EP3843036A1 (en) | Sample labeling method and device, and damage category identification method and device | |
JP2010276529A (ja) | 物体同定装置および物体同定方法 | |
CN113065538A (zh) | 基于图像识别的压力传感器检测方法、装置及设备 | |
CN116124006A (zh) | 一种电池极片视觉检测系统的自动点检方法 | |
CN112036409A (zh) | 一种液位计的读数识别方法及装置 | |
CN113361539A (zh) | 一种井下巡检机器人的仪表读取方法、装置及电子设备 | |
CN113554645B (zh) | 基于wgan的工业异常检测方法和装置 | |
CN117421692B (zh) | 垃圾投放站的垃圾违规投放识别方法、装置、设备 | |
CN113469991B (zh) | 一种锂电池极耳激光焊点视觉在线检测方法 | |
CN113763306A (zh) | 一种地标检测方法、装置及电子设备 | |
CN113032272A (zh) | 自动泊车系统试验评价方法、装置、设备及存储介质 | |
CN117475526A (zh) | 一种水垫塘巡检方法及系统 | |
JP7297634B2 (ja) | 設備工事の検査方法、および設備工事の検査システム | |
CN110161053A (zh) | 缺陷检测系统 | |
CN115409799A (zh) | Led芯片自动针痕检测方法、装置、介质及电子设备 | |
JP3888528B2 (ja) | 液面認識処理装置及び液面監視システム | |
KR102524151B1 (ko) | 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법 | |
CN111504608B (zh) | 辉度均匀检测系统及辉度均匀检测方法 | |
CN114217610A (zh) | 一种脏污程度检测方法、装置、设备和介质 | |
CN110689639A (zh) | 管线全覆盖检查的方法、装置、存储介质及计算机设备 | |
CN117499621B (zh) | 视频采集设备的检测方法、装置、设备及介质 | |
CN117132174B (zh) | 一种应用于工业流水线质量检测的模型训练方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |