CN112380968A - 检测方法、装置、电子设备及存储介质 - Google Patents
检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112380968A CN112380968A CN202011259599.2A CN202011259599A CN112380968A CN 112380968 A CN112380968 A CN 112380968A CN 202011259599 A CN202011259599 A CN 202011259599A CN 112380968 A CN112380968 A CN 112380968A
- Authority
- CN
- China
- Prior art keywords
- image
- detection
- abnormal
- comparison result
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 197
- 230000002159 abnormal effect Effects 0.000 claims description 89
- 238000000034 method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012423 maintenance Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 abstract description 6
- 230000005856 abnormality Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种检测方法、装置、电子设备及计算机可读存储介质，本公开首先获取AR设备拍摄的检测对象的检测图像，以及所述检测对象在第一状态下的第一图像；之后，将所述检测图像与所述第一图像进行对比得到对比结果，并根据所述对比结果，确定所述检测图像与所述第一图像之间的差异图像区域；并生成指示所述差异图像区域的标注信息；最后在所述AR设备中显示的所述检测图像上叠加显示所述标注信息。
Description
技术领域
本公开涉及增强现实技术领域，具体而言，涉及一种检测方法、装置、电子设备及计算机可读存储介质。
背景技术
目前，在工业现场进行巡检的时候，一般是利用工作人员的工作经验确定检测对象是否存在异常，异常检测的精度依靠工作人员的经验，存在异常检测精度较低的缺陷。
发明内容
本公开实施例至少提供一种检测方法方法、装置。
第一方面，本公开实施例提供了一种检测方法，包括：
获取AR设备拍摄的检测对象的检测图像，以及所述检测对象在第一状态下的第一图像；
将所述检测图像与所述第一图像进行对比得到对比结果，并根据所述对比结果，确定所述检测图像与所述第一图像之间的差异图像区域；
生成指示所述差异图像区域的标注信息；
在所述AR设备中显示的所述检测图像上叠加显示所述标注信息。
该方面，将检测对象的检测图像与第一图像进行比对，找到两图像之间的差异图像区域，并基于差异图像区域确定并显示异常的标注信息，克服了现有技术中人工检测带来检测精度低的缺陷，提高了异常检测的精度和速度。
在一种可能的实施方式中，上述检测方法还包括：
确定所述检测对象对应于所述差异图像区域的正常工作参数；
在所述AR设备中显示的所述检测图像上叠加显示所述正常工作参数。
该实施方式，将差异图像区域和正常工作参数共同显示，不仅提高了显示的异常内容的丰富性，更加有利于确定具体的异常状况，从而有利于提高排障效率。
在一种可能的实施方式中，上述检测方法还包括：
基于所述差异图像区域，确定异常风险等级；
在所述AR设备中显示的所述检测图像上叠加显示指示所述异常风险等级的提示信息。
该实施方式，将异常风险等级的提示信息叠加显示在检测图像上，实现了将出现的异常的严重程度等具体的异常状况进行直观展示，有利于提高排障效率。
在一种可能的实施方式中，所述指示所述异常风险等级的提示信息包括以下至少一项：
异常风险等级的标识；所述差异图像区域对应的异常类型；所述差异图像区域对应的异常类型的维修内容。
该实施方式，将异常等级的标识、异常类型等信息作为提示信息，能够较为全面地表征对应的异常的特征，有利于进行排障处理，提高排障效率。
在一种可能的实施方式中，所述将所述检测图像与所述第一图像进行对比得到对比结果，包括：
提取所述检测图像中的多个第一图像特征点；
提取所述第一图像中的多个第二图像特征点；
通过将所述多个第一图像特征点和所述多个第二图像特征点进行比对，得到所述比对结果。
该实施方式，利用检测图像与第一图像中的图像特征点，能够较为准确的确定检测图像与第一图像之间是否存在差异，得到较为准确的对比结果。
在一种可能的实施方式中，通过将所述多个第一图像特征点和所述多个第二图像特征点进行比对，得到所述比对结果，包括：
基于所述多个第一图像特征点和所述多个第二图像特征点，确定多个图像特征点对；其中，一个图像特征点对中的第一图像特征点和第二图像特征点对应所述检测对象的相同位置处；
分别确定每个图像特征点对中的两个图像特征点的特征信息是否相同，并将特征信息不同的图像特征点对作为异常特征点对；
在异常特征点对大于预设值的情况下，基于所述异常特征点对生成所述对比结果。
该实施方式，利用相同位置的图像特征点组成图像特征点对来确定检测图像与第一图像之间是否存在差异，能够提高异常精测的精确度。
在一种可能的实施方式中，所述根据所述对比结果，确定所述检测图像与所述第一图像之间的差异图像区域，包括：
基于所述对比结果，将所述异常特征点对所对应的图像区域，作为所述差异图像区域。
该实施方式，利用异常特征点对能够较为精确地确定差异图像区域的边界，从而提高了差异图像区域检测的精确性。
第二方面，本申请提供了一种检测装置，包括：
图像获取模块，用于获取AR设备拍摄的检测对象的检测图像，以及所述检测对象在第一状态下的第一图像；
图像处理模块，用于将所述检测图像与所述第一图像进行对比得到对比结果，并根据所述对比结果，确定所述检测图像与所述第一图像之间的差异图像区域；
检测信息生成模块，用于生成指示所述差异图像区域的标注信息；
检测信息显示模块，用于在所述AR设备中显示的所述检测图像上叠加显示所述标注信息。
第三方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
关于上述检测装置、电子设备、及计算机可读存储介质的效果描述参见上述检测方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的检测方法的流程图；
图2示出了本公开实施例中检测图像的示意图；
图3示出了本公开实施例所提供的检测装置的示意图；
图4示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
针对现有技术中，利用工作人员的工作经验确定检测对象是否存在异常所带来的检测精度低的缺陷，本公开提供了一种检测方法方法、装置、电子设备及计算机可读存储介质，本公开将检测对象的检测图像与检测对象在第一状态下的第一图像进行比对，找到二者之间存在的差异图像区域，并基于差异图像区域确定并显示异常的标注信息，克服了现有技术中人工检测带来检测精度低的缺陷，提高了异常检测的精度和速度。
下面通过具体的实施例，对本公开公开的检测方法、装置、电子设备及计算机可读存储介质进行说明。
如图1所示，本公开实施例公开了一种检测方法，该方法可以应用于服务器，也可以应用于目标对象持有的AR设备上。具体地，该检测方法可以包括如下步骤：
S110、获取AR设备拍摄的检测对象的检测图像，以及所述检测对象在第一状态下的第一图像。
上述检测对象可以是待检测的部件，AR设备利用自身的摄像头拍摄待检测的部件的图像，得到上述检测图像。
上述第一状态为检测对象在正常工作时的状态，第一图像为检测对象处于正常工作状态时的图像。第一图像是预先拍摄好的，并存储在存储部件中。该存储部件既可以是执行本检测方法的服务器或AR设备，也可以是单独的存储部件。如果存储部件是执行本检测方法的服务器或AR设备，则执行本检测方法的服务器或AR设备直接从自身的部件，即存储部件中获取第一图像即可，如果存储部件是单独的存储部件，则需要执行本检测方法的服务器或AR设备与存储部件通信连接成功之后，才能从存储部件中获取第一图像。
示例性地，存储部件中存储有各个检测对象的标识符，和与每个检测标识符对应的第一图像，检测对象的标识符与对应的第一图像建立有映射关系。在获取某一检测对象的第一图像时，首先需要确定该检测对象的标识符，之后根据上述映射关系，从存储部件中获取与该检测对象的标识符对应的第一图像。
示例性地，可以通过如下两种方式获取某一检测对象的标识符：
方式一、从所述检测图像中提取当前检测对象的图像特征点；将提取的图像特征点与预先存储的各个检测对象的标准图像特征点进行比对，得到比对结果，之后根据比对结果，从各个检测对象中筛选与当前检测对象匹配的目标对象，并将目标对象的标识符作为当前检测对象的标识符。
在执行上述方式一之前，预先存储有各个检测对象的标识符，以及各个检测对象的标准图像特征点。
示例性地，在提取的图像特征点与预先存储的某个检测对象的标准图像特征点的之间的匹配占比大于预设占比的情况下，确定当前检测对象与该检测对象匹配成功，此时，将该检测对象作为目标对象。
方式二、获取工作人员手工输入检测对象的标识符。
S120、将所述检测图像与所述第一图像进行对比得到对比结果，并根据所述对比结果，确定所述检测图像与所述第一图像之间的差异图像区域。
这里可逐像素对检测图像与所述第一图像进行比对，若两个图像中同一位置的两个像素点的灰度值不同，或该两个像素点的灰度值之差大于第一预设灰度阈值，则检测对象在该位置处可能出现异常。之后，在一个位置范围内的可能出现异常的位置点(每个像素点对应一个位置点)的占比大于预设占比的情况下，确定检测对象在该位置范围内出现异常。该位置范围即为上述差异图像区域对应的位置范围。
示例性的，由于图像中像素点很多，如果逐像素对检测图像与第一图像进行比对，则会浪费很多的计算资源和时间。同时图像中不是对每个像素点的比对都有意义，对一些不具有重要特征的像素点的对比只会浪费时间。基于此，可以利用检测图像和第一图像中的特征点来确定差异图像区域，具体可以通过如下步骤实现：
提取所述检测图像中的多个第一图像特征点；提取所述第一图像中的多个第二图像特征点；通过将所述多个第一图像特征点和所述多个第二图像特征点进行比对，得到所述比对结果。
在提取所述检测图像中的第一图像特征点或者第一图像中的第二图像特征点时，具体可以是提取对应的图像中灰度值发生剧烈变化的像素点或者在对应的图像边缘上曲率较大的像素点。
在将所述多个第一图像特征点和所述多个第二图像特征点进行比对时，可以是将两个图像中同一位置的两个图像特征点的灰度值进行比对，若该两个图像特征点的灰度值不同，或该两个图像特征点的灰度值之差大于第二预设灰度阈值，则确定检测对象在该位置处出现异常。最后，基于灰度值不同或灰度值之差大于第二预设灰度阈值的图像特征点对生成对比结果。
示例性地，可以利用如下步骤将所述多个第一图像特征点和所述多个第二图像特征点进行比对，得到所述比对结果：
基于所述多个第一图像特征点和所述多个第二图像特征点，确定多个图像特征点对，其中，一个图像特征点对中的第一图像特征点和第二图像特征点对应所述检测对象的相同位置处；分别确定每个图像特征点对中的两个图像特征点的特征信息是否相同，并将特征信息不同的图像特征点对作为异常特征点对；在异常特征点对大于预设值的情况下，基于所述异常特征点对生成所述对比结果。
上述利用检测图像和第一图像中的检测对象的相同位置的图像特征点组成一个图像特征点对，能够提高检测的精确度。
上述特征是信息具体可以包括对应的图像特征点的灰度值。特征信息不同表示检测图像和第一图像在对应的位置处不同，检测对象在该位置处可能出现异常。
如果出现的异常特征点对数量较少，则表示所述检测图像与所述第一图像之间小概率存在差异，异常点对的出现可能是由于图像质量差等原因造成的，此时认为检测对象未出现异常。此时生成对比结果指示检测对象未出现异常。
如果异常特征点对数量较多，并且大于预设值时，表示所述检测图像与所述第一图像之间大概率存在差异，此时认为检测对象出现异常。此时生成对比结果指示检测对象未出现异常，同时对比结果中包括异常特征点对的信息，基于对比结果中异常特征点对可以确定差异图像区域。
利用相同位置的图像特征点组成图像特征点对来确定检测图像与第一图像之间是否存在差异，能够提高异常精测的精确度。
在基于对比结果确定检测对象出现异常时，可以将确定的异常特征点对所对应的图像区域，作为所述差异图像区域。利用异常特征点对能够较为精确地确定差异图像区域的边界，从而提高了差异图像区域检测的精确性。
利用检测图像与第一图像中的图像特征点，能够较为准确的确定检测图像与第一图像之间是否存在差异，得到较为准确的对比结果。
S130、生成指示所述差异图像区域的标注信息。
这里具体可以是基于所述差异图像区域的位置，生成包围所述差异图像区域的标注框，并将所述标注框作为所述标注信息。
另外标注信息还可以包括一些对异常的描述信息，例如，“注意，此区域出现异常”、“此区域异常严重，需要维修”等文字信息。
S140、在所述AR设备中显示的所述检测图像上叠加显示所述标注信息。
如图2所示，将标注框201所示叠加显示在检测图像202上，实现了主观展示差异图像区域的功能，有助于工作人员快速、准确定位差异图像区域。
在根据对比结果确定检测对象存在异常的情况下，还可以获取所述检测对象对应于所述差异图像区域的正常工作参数，并将获取的正常工作参数叠加显示在AR设备中显示的检测图像上。
示例性地，可以利用如下方式获取差异图像区域对应的正常工作参数：首先确定差异图像区域对应的目标工作部件，之后获取与目标工作部件对应的正常工作参数。
在确定差异图像区域对应的目标工作部件时，首先获取第一图像中的与差异图像区域对应的目标图像区域，之后提取目标图像区域中的图像特征点，将提取的图像特征点与预先存储的各个工作部件对应的标准特征点进行比对，得到比对结果；之后根据比对结果，从各个工作部件中筛选与目标图像区域匹配的目标工作部件。
示例性地，在提取的图像特征点与预先存储的某个工作部件的标准图像特征点的之间的匹配占比大于预设的占比的情况下，确定目标图像区域的图像特征点与该工作部件对应的标准图像特征点匹配成功，此时，将该工作部件作为目标工作部件。
示例性地，可以利用如下步骤获取与目标工作部件对应的正常工作参数：确定目标工作部件的标识符，之后获取目标工作部件的标识符对应的工作参数，并将获取的工作参数作为目标工作部件对应的正常工作参数。
将正常工作参数叠加显示在检测图像上，工作人员根据显示的正常工作参数能够较为方便的确定当前异常的具体异常内容、当前异常的严重程度、确定准确的异常维修方案等，将正常工作参数叠加显示在检测图像上有利于提高排障效率。另外，结合正常工作参数和差异图像区域，还能够确定当前异常的异常风险等级等。
另外，上述正常工作参数可以不限于叠加显示在AR设备中显示的检测图像上，还可以显示在AR设备中检测图像之外的显示区域中。示例性地，可以将检测图像显示在AR设备的第一显示区域内，将正常工作参数显示在AR设备的第二显示区域内。
在一些实施例中，在基于对比结果确定检测对象存在异常的情况下，还可以基于所述差异图像区域，确定异常风险等级，并在所述AR设备中显示的所述检测图像上叠加显示指示所述异常风险等级的提示信息。
示例性地，异常风险等级可以基于差异图像区域内的异常特征点对在差异图像区域内的图像特征点对中的占比确定，该占比的值越大，异常风险等级越高，该占比的值越小，异常风险等级越低。
示例性地，上述异常风险等级的提示信息可以包括：异常风险等级的标识；所述差异图像区域对应的异常类型；所述差异图像区域对应的异常类型的维修内容；记录所述差异图像区域对应的异常的提示信息；上传所述差异图像区域对应的异常的提示信息。
示例性地，上述异常风险等级的标识可以是等级A、等级B、等级C等，其中，等级A对应的异常风险等级最高，等级B应的异常风险等级次之，等级C应的异常风险等级再次之，依次类推。
示例性地，上述差异图像区域对应的异常类型可以根据异常图像区域对应的目标工作部件确定，每一个工作部件预先设置有至少一种异常类型，在基于异常差异图像确定了目标工作部件之后，可以获取到与目标工作部件对应的异常类型。
示例性地，上述维修内容也是与工作部件对应的，在基于异常差异图像确定了目标工作部件之后，可以获取到与目标工作部件对应的维修内容。
上述记录所述差异图像区域对应的异常的提示信息显示在AR设备中，用于提醒工作人员记录当前异常。
上述上传所述差异图像区域对应的异常的提示信息显示在AR设备中，用于提醒工作人员将当前异常上传给远端。
上述异常风险等级的提示信息，可以根据异常风险等级的高低选择其中的一种或几种进行显示。例如，在异常风险等级较低时，可以在AR设备中显示记录所述差异图像区域对应的异常的提示信息和/或上传所述差异图像区域对应的异常的提示信息；在异常风险等级较高时，可以在AR设备中显示差异图像区域对应的异常的维修内容信息，以提高排障效率。
另外，上述异常风险等级的提示信息可以不限于叠加显示在AR设备中显示的检测图像上，还可以显示在AR设备中检测图像之外的显示区域中。
在确定了差异图像区域和异常风险等级之后，还可以根据异常风险等级，确定下一次进行维修或检测时间，并将确定的下一次进行维修或检测时间显示在AR设备中。在具体实施时，既可以将下一次进行维修或检测时间叠加显示在检测图像上，也可以显示在检测图像之外的显示区域中。
上述获取并将异常风险等级显示在AR设备上，有利于工作人员对出现的异常的严重程度有直观、快速地判断，同时有利于提高排障效率。
对应于上述检测方法，本公开还公开了一种检测装置，该装置中的各个模块能够实现上述各个实施例的检测方法中的每个步骤，并且能够取得相同的有益效果，因此，对于相同的部分这里不再进行赘述。具体地，如图3所示，检测装置包括：
图像获取模块310，用于获取AR设备拍摄的检测对象的检测图像，以及所述检测对象在第一状态下的第一图像。
图像处理模块320，用于将所述检测图像与所述第一图像进行对比得到对比结果，并根据所述对比结果，确定所述检测图像与所述第一图像之间的差异图像区域。
检测信息生成模块330，用于生成指示所述差异图像区域的标注信息。
检测信息显示模块340，在所述AR设备中显示的所述检测图像上叠加显示所述标注信息。
在一些实施例中，检测信息生成模块330还用于：
确定所述检测对象对应于所述差异图像区域的正常工作参数；
检测信息显示模块340还用于在所述AR设备中显示的所述检测图像上叠加显示所述正常工作参数。
在一些实施例中，检测信息生成模块330还用于：
基于所述差异图像区域，确定异常风险等级；
检测信息显示模块340还用于：
在所述AR设备中显示的所述检测图像上叠加显示指示所述异常风险等级的提示信息。
在一些实施例中，所述提示信息包括以下至少一项：
异常风险等级的标识；所述差异图像区域对应的异常类型；所述差异图像区域对应的异常类型的维修内容。
在一些实施例中，图像处理模块320在将所述检测图像与所述第一图像进行对比得到对比结果时，用于：
提取所述检测图像中的多个第一图像特征点；
提取所述第一图像中的多个第二图像特征点；
通过将所述多个第一图像特征点和所述多个第二图像特征点进行比对，得到所述比对结果。
在一些实施例中，图像处理模块320在通过将所述多个第一图像特征点和所述多个第二图像特征点进行比对，得到所述比对结果时，用于：
基于所述多个第一图像特征点和所述多个第二图像特征点，确定多个图像特征点对；其中，一个图像特征点对中的第一图像特征点和第二图像特征点对应所述检测对象的相同位置处；
分别确定每个图像特征点对中的两个图像特征点的特征信息是否相同，并将特征信息不同的图像特征点对作为异常特征点对；
在异常特征点对大于预设值的情况下，基于所述异常特征点对生成所述对比结果。
在一些实施例中，图像处理模块320在根据所述对比结果，确定所述检测图像与所述第一图像之间的差异图像区域时，用于：
基于所述对比结果，将所述异常特征点对所对应的图像区域，作为所述差异图像区域。
对应于上述神经网络训练方法，本公开实施例还提供了一种电子设备400，如图4所示，为本公开实施例提供的电子设备400结构示意图，包括：
处理器41、存储器42、和总线43；存储器42用于存储执行指令，包括内存421和外部存储器422；这里的内存421也称内存储器，用于暂时存放处理器41中的运算数据，以及与硬盘等外部存储器422交换的数据，处理器41通过内存421与外部存储器422进行数据交换，当电子设备400运行时，处理器41与存储器42之间通过总线43通信，使得处理器41执行以下指令：
获取AR设备拍摄的检测对象的检测图像，以及所述检测对象在第一状态下的第一图像；将所述检测图像与所述第一图像进行对比得到对比结果，并根据所述对比结果，确定所述检测图像与所述第一图像之间的差异图像区域；生成指示所述差异图像区域的标注信息；在所述AR设备中显示的所述检测图像上叠加显示所述标注信息。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供了一种计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种检测方法，其特征在于，包括：
获取AR设备拍摄的检测对象的检测图像，以及所述检测对象在第一状态下的第一图像；
将所述检测图像与所述第一图像进行对比得到对比结果，并根据所述对比结果，确定所述检测图像与所述第一图像之间的差异图像区域；
生成指示所述差异图像区域的标注信息；
在所述AR设备中显示的所述检测图像上叠加显示所述标注信息。
2.根据权利要求1所述的检测方法，其特征在于，所述方法还包括：
确定所述检测对象对应于所述差异图像区域的正常工作参数；
在所述AR设备中显示的所述检测图像上叠加显示所述正常工作参数。
3.根据权利要求1或2所述的检测方法，其特征在于，所述方法还包括：
基于所述差异图像区域，确定异常风险等级；
在所述AR设备中显示的所述检测图像上叠加显示指示所述异常风险等级的提示信息。
4.根据权利要求3所述的检测方法，其特征在于，所述指示所述异常风险等级的提示信息包括以下至少一项：
异常风险等级的标识；所述差异图像区域对应的异常类型；所述差异图像区域对应的异常类型的维修内容。
5.根据权利要求1至4任一项所述的检测方法，其特征在于，所述将所述检测图像与所述第一图像进行对比得到对比结果，包括：
提取所述检测图像中的多个第一图像特征点；
提取所述第一图像中的多个第二图像特征点；
通过将所述多个第一图像特征点和所述多个第二图像特征点进行比对，得到所述比对结果。
6.根据权利要求5所述的检测方法，其特征在于，通过将所述多个第一图像特征点和所述多个第二图像特征点进行比对，得到所述比对结果，包括：
基于所述多个第一图像特征点和所述多个第二图像特征点，确定多个图像特征点对；其中，一个图像特征点对中的第一图像特征点和第二图像特征点对应所述检测对象的相同位置处；
分别确定每个图像特征点对中的两个图像特征点的特征信息是否相同，并将特征信息不同的图像特征点对作为异常特征点对；
在异常特征点对大于预设值的情况下，基于所述异常特征点对生成所述对比结果。
7.根据权利要求6所述的检测方法，其特征在于，所述根据所述对比结果，确定所述检测图像与所述第一图像之间的差异图像区域，包括：
基于所述对比结果，将所述异常特征点对所对应的图像区域，作为所述差异图像区域。
8.一种检测装置，其特征在于，包括：
图像获取模块，用于获取AR设备拍摄的检测对象的检测图像，以及所述检测对象在第一状态下的第一图像；
图像处理模块，用于将所述检测图像与所述第一图像进行对比得到对比结果，并根据所述对比结果，确定所述检测图像与所述第一图像之间的差异图像区域；
检测信息生成模块，用于生成指示所述差异图像区域的标注信息；
检测信息显示模块，用于在所述AR设备中显示的所述检测图像上叠加显示所述标注信息。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一项所述的检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一项所述的检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011259599.2A CN112380968A (zh) | 2020-11-12 | 2020-11-12 | 检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011259599.2A CN112380968A (zh) | 2020-11-12 | 2020-11-12 | 检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112380968A true CN112380968A (zh) | 2021-02-19 |
Family
ID=74583065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011259599.2A Pending CN112380968A (zh) | 2020-11-12 | 2020-11-12 | 检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112380968A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435448A (zh) * | 2021-07-29 | 2021-09-24 | 上海商汤智能科技有限公司 | 一种图像处理方法、装置、计算机设备及存储介质 |
| CN113822385A (zh) * | 2021-11-24 | 2021-12-21 | 深圳江行联加智能科技有限公司 | 基于图像的输煤异常监测方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809732A (zh) * | 2015-05-07 | 2015-07-29 | 山东鲁能智能技术有限公司 | 一种基于图像比对的电力设备外观异常检测方法 |
| CN106961595A (zh) * | 2017-03-21 | 2017-07-18 | 深圳市科漫达智能管理科技有限公司 | 一种基于增强现实的视频监控方法及视频监控系统 |
| CN110211254A (zh) * | 2019-06-20 | 2019-09-06 | 中冶京诚工程技术有限公司 | 综合管廊巡检监控方法、平台及计算机存储介质 |
| CN111860217A (zh) * | 2020-06-30 | 2020-10-30 | 深圳优地科技有限公司 | 故障检测的方法、装置、电子设备及存储介质 |
-
2020
- 2020-11-12 CN CN202011259599.2A patent/CN112380968A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809732A (zh) * | 2015-05-07 | 2015-07-29 | 山东鲁能智能技术有限公司 | 一种基于图像比对的电力设备外观异常检测方法 |
| CN106961595A (zh) * | 2017-03-21 | 2017-07-18 | 深圳市科漫达智能管理科技有限公司 | 一种基于增强现实的视频监控方法及视频监控系统 |
| CN110211254A (zh) * | 2019-06-20 | 2019-09-06 | 中冶京诚工程技术有限公司 | 综合管廊巡检监控方法、平台及计算机存储介质 |
| CN111860217A (zh) * | 2020-06-30 | 2020-10-30 | 深圳优地科技有限公司 | 故障检测的方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 张华琛等: "基于增强虚拟现实的电力调度设备运行缺陷检测", 《信息技术》 * |
| 张秋雁等: "AR技术在用电信息采集系统运维中的应用", 《自动化与仪表》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435448A (zh) * | 2021-07-29 | 2021-09-24 | 上海商汤智能科技有限公司 | 一种图像处理方法、装置、计算机设备及存储介质 |
| CN113822385A (zh) * | 2021-11-24 | 2021-12-21 | 深圳江行联加智能科技有限公司 | 基于图像的输煤异常监测方法、装置、设备及存储介质 |
| CN113822385B (zh) * | 2021-11-24 | 2022-05-13 | 深圳江行联加智能科技有限公司 | 基于图像的输煤异常监测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9251582B2 (en) | Methods and systems for enhanced automated visual inspection of a physical asset | |
| CN112380968A (zh) | 检测方法、装置、电子设备及存储介质 | |
| JP6317725B2 (ja) | 取得された画像内のクラッタを決定するためのシステム及び方法 | |
| CN111931727A (zh) | 点云数据标注方法、装置、电子设备和存储介质 | |
| CN113505781B (zh) | 目标检测方法、装置、电子设备及可读存储介质 | |
| US20130077856A1 (en) | Processes and systems for training machine typesets for character recognition | |
| CN116168351B (zh) | 电力设备巡检方法及装置 | |
| CN112258507B (zh) | 互联网数据中心的目标对象检测方法、装置和电子设备 | |
| CN112288883B (zh) | 作业指导信息的提示方法、装置、电子设备及存储介质 | |
| CN112559341A (zh) | 一种画面测试方法、装置、设备及存储介质 | |
| CN111209847B (zh) | 一种暴力分拣的识别方法及装置 | |
| CN111179340A (zh) | 一种物体的定位方法、装置及计算机系统 | |
| CN112288889A (zh) | 指示信息展示方法、装置、计算机设备及存储介质 | |
| CN112330821A (zh) | 增强现实呈现方法、装置、电子设备及存储介质 | |
| JP6874864B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN112073713B (zh) | 视频漏录测试方法、装置、设备及存储介质 | |
| CN112581444A (zh) | 一种异常检测方法、装置及设备 | |
| CN112330583A (zh) | 产品缺陷检测方法、装置、设备和存储介质 | |
| CN110955603A (zh) | 自动化测试方法、装置、电子设备及计算机可读存储介质 | |
| CN113554024A (zh) | 一种车辆的清洁度的确定方法、装置及计算机设备 | |
| CN114708230A (zh) | 基于图像分析的车架质量检测方法、装置、设备及介质 | |
| CN114387522A (zh) | 一种工作现场的智能预警方法、装置、设备及介质 | |
| CN111935480A (zh) | 一种用于图像获取装置的检测方法及相关装置 | |
| CN112581525A (zh) | 人体佩戴物品的状态检测方法、装置、设备及存储介质 | |
| CN117746028B (zh) | 一种未标注物品的视觉检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210219 |
|
| RJ01 | Rejection of invention patent application after publication |