CN117218743B - 基于机器视觉的智能巡检控制方法及系统 - Google Patents
基于机器视觉的智能巡检控制方法及系统 Download PDFInfo
- Publication number
- CN117218743B CN117218743B CN202311465802.5A CN202311465802A CN117218743B CN 117218743 B CN117218743 B CN 117218743B CN 202311465802 A CN202311465802 A CN 202311465802A CN 117218743 B CN117218743 B CN 117218743B
- Authority
- CN
- China
- Prior art keywords
- inspection
- dimensional image
- path
- regional
- image model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 434
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000002159 abnormal effect Effects 0.000 claims description 30
- 238000001228 spectrum Methods 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 230000003111 delayed effect Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Abstract
本发明公开了基于机器视觉的智能巡检控制方法及系统，涉及机器学习技术领域，本发明通过采集各个巡检设备的各项基础信息并生成巡检设备信息集，并将巡检区域划分为若干个巡检子区域，进而生成各个巡检子区域三维图像模型，在区域图像三维模型设置若干条巡检路径，并对巡检路径设置若干个时间戳进而生成巡检任务，根据巡检任务巡检对应巡检子区域，并通过巡检设备采集巡检子区域的图像数据，进而生成路径二维图像并将其映射于区域三维图像模型中，通过路径二维图像与区域三维图像模型在对应位置的差异度，判断巡检路径是否存在异常状况或异常物体，根据判断结果动态调整巡检路径，直到巡检任务结束。
Description
技术领域
本发明涉及机器学习技术领域，提供基于机器视觉的智能巡检控制方法及系统。
背景技术
智能巡检是利用人工智能和相关技术，对设备、设施或系统进行自动化的巡视和检测的过程。它主要通过机器学习算法等手段对目标进行监测、识别和分析，以实现监测目标是否正常运行、是否存在异常情况或潜在故障的目的，主要用于制造业、能源行业等领域；
现有智能巡检系统普遍存在只能针对特定场景或特定物体进行智能化巡检，对于复杂、多变或非标准化的情况，其适应性容易受到限制，且智能巡检系统通常对输入图像的质量要求较高，一旦图像处理不到位容易造成巡检设备损坏，怎样在提高智能巡检系统的适应性和灵活性的同时，保证图像处理的正确性，是现有技术的难点，为此提供基于机器视觉的智能巡检控制方法及系统。
发明内容
为了解决上述技术问题，本发明的目的在于提供基于机器视觉的智能巡检控制方法及系统。
为了实现上述目的，本发明提供如下技术方案：
基于机器视觉的智能巡检控制系统，包括管理中心，所述管理中心通信连接有巡检设备管理终端和云计算平台；
所述巡检设备管理终端设置有巡检设备信息采集模块、巡检区域管理模块以及巡检设备管理模块；
所述巡检设备信息采集模块用于实时采集各个巡检设备的各项基础信息并生成巡检设备信息集；
所述巡检区域管理模块用于将巡检区域划分为若干个巡检子区域，并对各个巡检子区域设置编号，进而通过摄像头以及脉冲信号装置采集各个巡检子区域的图像数据与脉冲反射信号频谱，图像数据生成三维图像模型，以及脉冲反射信号频谱生成区域物体图像模型，进而将相同巡检子区域的三维图像模型以及区域物体图像模型进行映射匹配生成区域三维图像模型，同时标注对应巡检子区域的编号；
所述巡检设备管理模块用于执行巡检任务，并通过巡检设备实时采集巡检子区域的图像数据进而生成路径二维图像，进而将路径二维图像映射于区域三维图像模型中的对应位置，进而通过路径二维图像与区域三维图像模型对应位置的差异度，判断巡检路径是否存在异常状况或异常物体；
所述云计算平台设置有巡检区域分析模块和巡检任务生成模块；
所述巡检区域分析模块用于根据各个区域物体图像模型所在位置，在区域图像三维模型中标记可用巡检路径，将可用巡检路径位于区域图像三维模型边缘位置的设为端点，进而将各个端点所处位置的区域物体图像模型设为第一识别目标，并将区域图像三维模型剩余位置的区域物体图像模型设为第二识别目标；
所述巡检任务生成模块用于根据巡检区域三维图像模型内各个区域三维图像模型的端点数量以及端点所在位置设置相同数量的巡检路径起点，将各个端点相对最远的端点设为巡检路径终点，进而根据可选巡检路径生成巡检路径以及巡检任务。
进一步的，所述区域三维图像模型的生成过程包括：
设置区域物体特征点，进而通过区域物体特征点对各个图像数据进行标注，根据标注的区域物体图像建立对应区域物体多个角度的图像模型，将各个图像模型相互映射拼接，进而得到区域物体的图像模型，根据各个区域物体在对应巡检子区域的相对位置，将各个区域物体的图像模型进行依次拼接，进而得到巡检子区域的三维图像模型；
根据脉冲反射信号频谱上各个信号峰值与信号谷值的对应关系，建立各个区域物体的区域物体图像模型，进而将各个由脉冲反射信号频谱建立的区域物体图像模型映射于三维图像模型中的对应位置，进而生成对应巡检子区域的区域三维图像模型，并标注巡检子区域的编号。
进一步的，所述可用巡检路径的标记过程包括：
对区域三维图像模型中的区域图像模型进行标注，并设置空间距离阈值，进而判断各个区域图像模型之间的空间距离是否大于空间距离阈值，根据对比结果对相应位置标记巡检路径点，将各个巡检路径点依次相连，进而得到若干条预设巡检路径，并将其中不呈连续巡检路径点状态的预设巡检路径剔除，得到可用巡检路径。
进一步的，生成所述巡检路径的过程包括：
根据区域三维图像模型上端点数量，选取相同数量的可用巡检路径，进而将各个端点作为各个可用巡检路径的巡检路径起点，并将各个端点相对最远距离的端点设为彼此的巡检路径终点，进而将各对端点之间的可用巡检路径设为巡检路径。
进一步的，所述巡检路径分为飞行巡检路径和平地巡检路径，对于相同的端点作为起始或终点位置的巡检路径，其一个为飞行巡检路径，另一个为平地巡检路径；
设置单位行驶距离，并根据单位行驶距离在各个巡检路径上标记出对应数量的时间戳，用于表示巡检设备在各个时间点预计达到位置，同时对各个巡检路径设置相同的起始巡检时间；
从各对巡检路径中的飞行巡检路径和平地巡检路径与其他对的巡检路径中的飞行巡检路径和平地巡检路径上的时间戳进行对比，若存在时间戳重合的飞行巡检路径或平地巡检路径，则将其中相对短的飞行巡检路径或平地巡检路径的起始巡检时间延后，并更新延后起始巡检时间的巡检路径上的时间戳，直到各个飞行巡检路径或平地巡检路径上的时间戳不重合。
进一步的，所述巡检任务的执行过程包括：
根据巡检任务中的巡检设备编号调取对应的巡检到达巡检路径的巡检路径起点，并将巡检路径信息集发送至相应的巡检设备；
当巡检设备到达巡检路径起点时，通过摄像头拍摄其当前位置的图像数据，进而将图像数据映射于对应编号的区域三维图像模型，进而判断图像数据是否存在第一识别目标，根据判断结果开始执行巡检路径，在巡检设备根据巡检路径进行行驶的过程中，实时采集巡检路径上的图像数据生成路径二维图像；
将路径二维图像映射于区域三维图像模型中的对应位置，进而通过判断路径二维图像与区域三维图像模型对应位置的三维图像模型之间的差异度，判断巡检路径是否存在异常状况或异常物体，根据判断结果生成异常报告发送至云计算平台，进而云计算平台更新巡检路径；
当全部巡检设备摄像头拍摄其当前位置图像数据再次存在第一识别目标时，判断巡检任务结束。
进一步的，基于机器视觉的智能巡检控制系统的智能巡检控制方法，包括以下步骤：
步骤一，采集各个巡检设备的各项基础信息并生成巡检设备信息集，并将巡检区域划分为若干个巡检子区域，进而通过摄像头以及脉冲信号装置采集各个巡检子区域的图像数据与脉冲反射信号频谱；
步骤二，根据图像数据生成三维图像模型，以及脉冲反射信号频谱生成区域物体图像模型，进而将相同巡检子区域的三维图像模型以及区域物体图像模型进行映射匹配生成区域三维图像模型；
步骤三，将区域三维图像模型依次进行拼接生成巡检区域三维图像模型，根据区域图像三维模型内各个区域物体图像模型所在位置，在区域图像三维模型中标记可用巡检路径，将可用巡检路径位于区域图像三维模型边缘位置的设为端点；
步骤四，根据各个区域三维图像模型的端点数量以及端点所在位置设置相同数量的巡检路径起点，将各个端点相对最远的端点设为巡检路径终点，并对巡检路径设置若干个时间戳，进而生成巡检任务；
步骤五，根据巡检任务中的巡检路径巡检对应巡检子区域，并通过巡检设备采集巡检子区域的图像数据，进而生成路径二维图像并将其映射于区域三维图像模型中，通过路径二维图像与区域三维图像模型对应位置的三维图像模型之间的差异度，判断巡检路径是否存在异常状况或异常物体，根据判断结果动态调整巡检路径，直到巡检任务结束。
与现有技术相比，本发明的有益效果是：
1、本发明通过图像数据生成三维图像模型，以及脉冲反射信号频谱生成区域物体图像模型，进而将相同巡检子区域的三维图像模型以及区域物体图像模型进行映射匹配生成区域三维图像模型进而生成各个巡检子区域的三维图像模型，保证了图像数据的正确性，同时在区域图像三维模型设置若干条巡检路径，并对巡检路径设置若干个时间戳进而生成巡检任务，有效的提高了巡检效率；
2、本发明通过巡检设备采集巡检子区域的图像数据，进而生成路径二维图像并将其映射于区域三维图像模型中，通过路径二维图像与区域三维图像模型对应位置的三维图像模型之间的差异度，判断巡检路径是否存在异常状况或异常物体，根据判断结果动态调整巡检路径，进而保证了巡检过程中流畅性，以及提高了巡检任务的灵活性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明的原理图。
实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其他实施方式，都属于本发明所保护的范围。
如图1所示，基于机器视觉的智能巡检控制系统，包括管理中心，所述管理中心通信连接有巡检设备管理终端和云计算平台；
所述巡检设备管理终端设置有巡检设备信息采集模块、巡检区域管理模块以及巡检设备管理模块；
所述巡检设备信息采集模块用于实时采集各个巡检设备的各项基础信息并生成巡检设备信息集，进而将巡检设备信息集同步更新至云计算平台，其中基础信息包括巡检设备的种类名称、当前电量以及实时状态，种类名称可为巡检机器人或巡检无人机等，实时状态分为巡检状态、空闲状态以及充电状态；
所述巡检区域管理模块设置有巡检区域信息采集单元以及巡检图像模型生成单元；
所述巡检区域信息采集单元通过将巡检区域划分为若干个巡检子区域，并对各个巡检子区域设置编号，进而通过摄像头以及脉冲信号装置采集各个巡检子区域的图像数据与脉冲反射信号频谱，进而将各个巡检子区域的图像数据与脉冲反射信号频谱发送至巡检图像模型生成单元；
所述巡检图像模型生成单元用于根据图像数据生成三维图像模型，以及脉冲反射信号频谱生成区域物体图像模型，进而将相同巡检子区域的三维图像模型以及区域物体图像模型进行映射匹配生成区域三维图像模型，同时标注对应巡检子区域的编号，进而将各个区域三维图像模型发送至云计算平台以及巡检设备管理模块；
所述巡检设备管理模块设置有巡检路径管理单元、巡检数据采集单元和巡检异常监测单元；
所述巡检路径管理单元用于接收来自云计算平台的巡检任务，进而根据巡检任务调取对应巡检设备，进而控制对应的巡检设备根据巡检任务中的巡检路径巡检对应巡检子区域；
所述巡检数据采集单元用于控制处于巡检状态的巡检设备上的摄像头实时采集巡检子区域的图像数据，进而生成路径二维图像发送至巡检异常监测单元；
所述巡检异常监测单元用于将路径二维图像映射于区域三维图像模型中的对应位置，进而通过路径二维图像与区域三维图像模型对应位置的三维图像模型之间的差异度，判断巡检路径是否存在异常状况或异常物体，根据判断结果动态调整巡检路径。
需要说明的是，巡检设备管理终端与云计算平台之间设有与巡检子区域数量相同的数据传输通道以及一个特殊数据传输通道，其中各个数据传输通道设置有巡检子区域数量对应的编号，进而巡检设备管理终端通过特殊数据传输通道将巡检设备信息集发送至云计算平台，另一方面，根据区域三维图像模型的编号以及巡检任务的编号，巡检设备管理终端与云计算平台通过对应的数据传输通道进行数据传输。
进一步的，所述云计算平台设置有巡检区域分析模块和巡检任务生成模块；
所述巡检区域分析模块用于根据区域三维图像模型所带有编号，将各个区域三维图像模型依次进行拼接生成巡检区域三维图像模型；
同时对区域图像三维模型内各个区域物体图像模型进行标注，进而根据区域图像三维模型内各个区域物体图像模型所在位置，在区域图像三维模型中标记可用巡检路径；
将可用巡检路径位于区域图像三维模型边缘位置的设为端点，进而将各个端点所处位置的区域物体图像模型设为第一识别目标，并将区域图像三维模型剩余位置的区域物体图像模型设为第二识别目标；
进而巡检区域分析模块将带有可用巡检路径和识别目标标注的巡检区域三维图像模型发送至巡检任务生成模块；
所述巡检任务生成模块通过从巡检设备信息集中挑选出空闲状态的巡检设备，并根据巡检设备的当前电量预估其所能行驶距离，进而根据巡检区域三维图像模型内各个区域三维图像模型的端点数量以及端点所在位置设置相同数量的巡检路径起点，将各个端点相对最远的端点设为巡检路径终点，进而根据各个巡检任务的巡检路径对相应的巡检设备种类设置相同巡检速度，以及根据巡检速度对巡检路径设置若干个时间戳，进而生成巡检任务并通过对应数据传输通道传输至巡检设备管理终端。
进一步的，通过实施例说明本发明具体实施过程：
巡检设备管理终端通过巡检设备信息采集模块采集各个巡检设备的基本信息，根据巡检设备的基本信息生成对应巡检设备的巡检设备信息集，同时根据巡检设备的种类对各个巡检设备信息集依次设置编号，例如编号可为A1、A2、……，B1、……；
需要说明的是，巡检设备管理终端设置有电量阈值，当处于空闲状态的巡检设备的当前电量低于电量阈值时，则巡检设备管理终端生成充电指令发送至对应的巡检设备，同时将巡检设备信息集中的巡检设备状态更新为充电状态，当巡检设备的电量充满时向巡检设备管理终端发送提示，则巡检设备管理终端将巡检设备信息集中的巡检设备状态更新为空闲状态；
进而巡检设备管理终端通过特殊数据传输通道将巡检设备信息集同步更新于云计算平台；
进一步的，巡检设备管理终端通过巡检区域管理模块中的巡检区域信息采集单元将巡检区域划分为若干个巡检子区域，并对各个巡检子区域设置编号S1、S2、……、Sm，其中m为大于0的自然数；
进而巡检区域信息采集单元通过摄像头以及脉冲信号装置采集各个巡检子区域的若干份图像数据与脉冲反射信号频谱；
设置区域物体特征点，进而巡检图像模型生成单元通过区域物体特征点对各个图像数据进行标注，根据标注的区域物体图像建立对应区域物体多个角度的图像模型，进而将各个图像模型相互映射拼接，进而得到区域物体的图像模型，根据各个区域物体在对应巡检子区域的相对位置，将各个区域物体的图像模型进行依次拼接，进而得到对应巡检子区域的三维图像模型；
同时根据脉冲反射信号频谱上各个信号峰值与信号谷值的对应关系，建立各个区域物体的区域物体图像模型，进而将各个由脉冲反射信号频谱建立的区域物体图像模型映射于三维图像模型中的对应位置，并获得三维图像模型中的区域物体的图像模型与区域物体图像模型的像素分布差异值；
设置像素分布差异值阈值，若像素分布差异值小于或等于像素分布差异值阈值，则不做任何操作；
若像素分布差异值大于像素分布差异值阈值，则巡检图像模型生成单元向巡检区域信息采集单元向发送重新获取图像数据与脉冲反射信号频谱指令，进而巡检图像模型生成单元重新生成三维图像模型和区域物体图像模型，直到二者的像素分布差异值小于或等于像素分布差异值阈值为止；
根据三维图像模型和区域物体图像模型的映射结果生成对应巡检子区域的区域三维图像模型，并标注巡检子区域的编号；
进一步的，根据区域三维图像模型所带的编号，巡检设备管理终端匹配对应的数据传输通道，进而巡检设备管理终端将区域三维图像模型传输至云计算平台；
云计算平台将区域三维图像模型发送至巡检区域分析模块，将巡检设备信息集发送至巡检任务生成模块；
巡检区域分析模块对各个区域三维图像模型的边缘位置设置若干个拼接点，进而根据各个区域三维图像模型的编号以及在实际场景的相对位置，将各个区域三维图像模型的拼接点相互匹配；
设置拼接点数量阈值，若存在两个区域三维图像模型的拼接点匹配数量大于或等于拼接点数量阈值，则将该对区域三维图像模型进行拼接；
若存在两个区域三维图像模型的拼接点匹配数量小于拼接点数量阈值，则判断该对区域三维图像模型匹配；
将各个区域三维图像模型根据拼接点匹配数量进行拼接，进而得到巡检区域三维图像模型；
同时对区域三维图像模型中的区域图像模型进行标注，并设置空间距离阈值，进而判断各个区域图像模型之间的空间距离是否大于空间距离阈值，若存在空间距离大于或等于空间距离阈值，则将该位置标记巡检路径点，若空间距离小于空间距离阈值，则忽略该位置；
将各个巡检路径点依次相连，进而得到若干条预设巡检路径，并将其中不呈连续巡检路径点状态的预设巡检路径剔除，得到可用巡检路径；
同时将各个可用巡检路径中位于区域三维图像模型边缘位置的巡检路径点标注为端点，并对各个端点设置编号D1、D2、……、Dk，k为大于0的自然数，进而将各个端点所在位置的区域图像模型设置第一识别目标，并将区域图像三维模型剩余位置的区域物体图像模型设为第二识别目标；
进而巡检区域分析模块将带有可用巡检路径和识别目标标注的巡检区域三维图像模型发送至巡检任务生成模块；
进一步的，巡检任务生成模块对各个巡检子区域设置有巡检周期，在巡检周期开始前，巡检任务生成模块根据巡检设备信息集中挑选出处于空闲状态的巡检设备，同时对各个巡检设备预设相同的标准巡检速度；
进而根据各个巡检设备对应的巡检设备信息集获得当前电量，进而根据当前电量以及标准巡检速度，评估各个巡检设备的预计行驶距离；
将区域三维图像模型上端点数量，选取相同数量的可用巡检路径，进而将各个端点作为各个可用巡检路径的巡检路径起点，并将各个端点相对最远距离的端点设为彼此的巡检路径终点，进而将各对端点之间的可用巡检路径设为巡检路径，且根据巡检设备的种类，巡检路径分为飞行巡检路径和平地巡检路径；
对于相同的端点作为起始位置的巡检路径，其一个为飞行巡检路径，另一个为平地巡检路径；
根据标准巡检速度设置单位行驶距离，并根据单位行驶距离在各个巡检路径上标记出对应数量的时间戳，用于表示巡检设备在各个时间点预计达到位置，同时对各个巡检路径设置相同的起始巡检时间；
从各对巡检路径中的飞行巡检路径和平地巡检路径与其他对的巡检路径中的飞行巡检路径和平地巡检路径上的时间戳进行对比，若存在时间戳重合的飞行巡检路径或平地巡检路径，则将其中相对短的飞行巡检路径或平地巡检路径的起始巡检时间延后，并更新延后起始巡检时间的巡检路径上的时间戳，直到各个飞行巡检路径或平地巡检路径上的时间戳不重合；
根据各个巡检路径的相关信息生成对应数量的巡检路径信息集，其中巡检路径信息集包括巡检路径、巡检路径起点对应端点编号、巡检路径终点对应端点编号、巡检设备编号、起始巡检时间以及巡检路径上带有第一识别目标或第二识别目标的区域物体图像模型；
进而将各个巡检路径信息集整合生成巡检任务，并标注对应巡检子区域的编号。
进一步的，云计算平台根据巡检任务带有的巡检子区域的编号匹配对应的数据传输通道，进而将云计算平台将巡检任务发送至巡检设备管理终端；
巡检设备管理终端将接收到的巡检任务发送至巡检设备管理模块，进而巡检设备管理模块根据巡检任务中的巡检设备编号调取对应的巡检到达巡检路径的巡检路径起点，并将巡检路径信息集发送至相应的巡检设备；
当巡检设备到达巡检路径起点时，通过摄像头拍摄其当前位置图像数据，并将其发送至巡检设备管理模块，进而将图像数据映射于对应编号的区域三维图像模型，进而判断图像数据是否存在第一识别目标；
若不存在，则巡检设备调整位置直到图像数据存在第一识别目标为止；
若存在，则根据起始巡检时间开始执行巡检路径，并通过实时判断巡检路径中是否存在第二识别目标来判断是否行驶出错；
在巡检设备根据巡检路径进行行驶的过程中，巡检数据采集单元控制巡检设备上的摄像头实时采集巡检路径上的图像数据，进而生成路径二维图像发送至巡检异常监测单元；
进而巡检异常监测单元将路径二维图像映射于区域三维图像模型中的对应位置，进而通过路径二维图像与区域三维图像模型对应位置的三维图像模型之间的差异度；
设置差异度阈值，若差异度小于差异度阈值，则判断巡检路径不存在异常状况或异常物体；
若差异度大于或等于差异度阈值，则判断巡检路径存在异常状况或异常物体，进而将异常状况或异常物体所在位置生成异常报告发送至云计算平台，云计算平台中的巡检任务生成模块根据异常报告调整对应巡检路径，再将更新后的巡检路径由巡检设备管理终端发送至对应的巡检设备；
当全部巡检设备摄像头拍摄其当前位置图像数据再次存在第一识别目标时，判断巡检任务结束。
本发明还公开了基于机器视觉的智能巡检控制系统的智能巡检控制方法，包括以下步骤：
步骤一，采集各个巡检设备的各项基础信息并生成巡检设备信息集，并将巡检区域划分为若干个巡检子区域，进而通过摄像头以及脉冲信号装置采集各个巡检子区域的图像数据与脉冲反射信号频谱；
步骤二，根据图像数据生成三维图像模型，以及脉冲反射信号频谱生成区域物体图像模型，进而将相同巡检子区域的三维图像模型以及区域物体图像模型进行映射匹配生成区域三维图像模型；
步骤三，将区域三维图像模型依次进行拼接生成巡检区域三维图像模型，根据区域图像三维模型内各个区域物体图像模型所在位置，在区域图像三维模型中标记可用巡检路径，将可用巡检路径位于区域图像三维模型边缘位置的设为端点；
步骤四，根据各个区域三维图像模型的端点数量以及端点所在位置设置相同数量的巡检路径起点，将各个端点相对最远的端点设为巡检路径终点，并对巡检路径设置若干个时间戳，进而生成巡检任务；
步骤五，根据巡检任务中的巡检路径巡检对应巡检子区域，并通过巡检设备采集巡检子区域的图像数据，进而生成路径二维图像并将其映射于区域三维图像模型中，通过路径二维图像与区域三维图像模型对应位置的三维图像模型之间的差异度，判断巡检路径是否存在异常状况或异常物体，根据判断结果动态调整巡检路径，直到巡检任务结束。
以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。
Claims (6)
1.基于机器视觉的智能巡检控制系统，包括管理中心，其特征在于，所述管理中心通信连接有巡检设备管理终端和云计算平台；
所述巡检设备管理终端设置有巡检设备信息采集模块、巡检区域管理模块以及巡检设备管理模块；
所述巡检设备信息采集模块用于实时采集各个巡检设备的各项基础信息并生成巡检设备信息集；
所述巡检区域管理模块用于将巡检区域划分为若干个巡检子区域，并对各个巡检子区域设置编号，进而通过摄像头以及脉冲信号装置采集各个巡检子区域的图像数据与脉冲反射信号频谱，根据图像数据生成巡检子区域的三维图像模型，以及根据脉冲反射信号频谱生成区域物体图像模型，进而将相同巡检子区域的三维图像模型以及区域物体图像模型进行映射匹配生成区域三维图像模型，同时标注对应巡检子区域的编号；
所述巡检设备管理模块用于执行巡检任务，并通过巡检设备实时采集巡检子区域的图像数据进而生成路径二维图像，将路径二维图像映射于区域三维图像模型中的对应位置，通过判断路径二维图像与区域三维图像模型对应位置的差异度，判断巡检路径是否存在异常状况或异常物体；
所述云计算平台设置有巡检区域分析模块和巡检任务生成模块；
所述巡检区域分析模块用于根据区域三维图像模型内各个区域物体图像模型所在位置，在区域三维图像模型中标记可用巡检路径，将可用巡检路径位于区域三维图像模型边缘位置的设为端点，进而将各个端点所处位置的区域物体图像模型设为第一识别目标，并将区域三维图像模型剩余位置的区域物体图像模型设为第二识别目标；
所述可用巡检路径的标记过程包括：
对各个区域三维图像模型的边缘位置设置若干个拼接点，进而根据各个区域三维图像模型的编号以及在实际场景的相对位置，将各个区域三维图像模型的拼接点相互匹配；
设置拼接点数量阈值，若存在两个区域三维图像模型的拼接点匹配数量大于或等于拼接点数量阈值，则判断该对区域三维图像模型匹配；
若存在两个区域三维图像模型的拼接点匹配数量小于拼接点数量阈值，则判断该对区域三维图像模型不匹配；
将各对匹配的区域三维图像模型根据拼接点匹配数量进行拼接，进而得到巡检区域三维图像模型；
对巡检区域三维图像模型中的区域三维图像模型进行标注，并设置空间距离阈值，进而判断各个区域三维图像模型之间的空间距离是否大于空间距离阈值，若存在空间距离大于或等于空间距离阈值，则将对应两个区域三维图像模型之间的位置标记为巡检路径点，若空间距离小于空间距离阈值，则忽略对应两个区域三维图像模型之间的位置；
将各个巡检路径点依次相连，进而得到若干条预设巡检路径，并将其中不呈连续巡检路径点状态的预设巡检路径剔除，得到可用巡检路径；
同时将各个可用巡检路径中位于区域三维图像模型边缘位置的巡检路径点标注为端点，并对各个端点设置编号D1、D2、……、Dk，k为大于0的自然数，进而将各个端点所在位置的区域三维图像模型设置第一识别目标，并将区域三维图像模型剩余位置的区域物体图像模型设为第二识别目标；
所述巡检任务生成模块用于根据各个区域三维图像模型的端点数量以及端点所在位置设置相同数量的巡检路径起点，将各个端点相对最远的端点设为巡检路径终点，进而根据可选巡检路径生成巡检路径以及巡检任务。
2.根据权利要求1所述的基于机器视觉的智能巡检控制系统，其特征在于，所述区域三维图像模型的生成过程包括：
设置区域物体特征点，进而巡检图像模型生成单元通过区域物体特征点对各个图像数据进行标注，根据标注的区域物体图像建立对应区域物体多个角度的图像模型，进而将各个图像模型相互映射拼接，进而得到区域物体的图像模型，根据各个区域物体在对应巡检子区域的相对位置，将各个区域物体的图像模型进行依次拼接，进而得到对应巡检子区域的三维图像模型；
同时根据脉冲反射信号频谱上各个信号峰值与信号谷值的对应关系，建立各个区域物体的区域物体图像模型，进而将各个由脉冲反射信号频谱建立的区域物体图像模型映射于巡检子区域的三维图像模型中的对应位置，并获得巡检子区域的三维图像模型中的区域物体的图像模型与区域物体图像模型的像素分布差异值；
设置像素分布差异值阈值，若像素分布差异值小于或等于像素分布差异值阈值，则不做任何操作；
若像素分布差异值大于像素分布差异值阈值，则巡检图像模型生成单元向巡检区域信息采集单元发送重新获取图像数据与脉冲反射信号频谱指令，进而巡检图像模型生成单元重新生成巡检子区域的三维图像模型和区域物体图像模型，直到二者的像素分布差异值小于或等于像素分布差异值阈值为止；
根据巡检子区域的三维图像模型和区域物体图像模型的映射结果生成对应巡检子区域的区域三维图像模型，并标注巡检子区域的编号。
3.根据权利要求2所述的基于机器视觉的智能巡检控制系统，其特征在于，生成所述巡检路径的过程包括：
根据区域三维图像模型上端点数量，选取与端点数量相同数量的可用巡检路径，进而将各个端点作为各个可用巡检路径的巡检路径起点，并将各个端点彼此之间相对最远距离的端点设为巡检路径终点，进而将各对端点之间的可用巡检路径设为巡检路径。
4.根据权利要求3所述的基于机器视觉的智能巡检控制系统，其特征在于，所述巡检路径分为飞行巡检路径和平地巡检路径，对于相同的端点作为起始或终点位置的巡检路径，其中一个为飞行巡检路径，另一个为平地巡检路径；
设置单位行驶距离，并根据单位行驶距离在各个巡检路径上标记若干个时间戳，用于表示巡检设备在各个时间点预计达到位置，同时对各个巡检路径设置相同的起始巡检时间；
从各对巡检路径中的飞行巡检路径和平地巡检路径与其他对的巡检路径中的飞行巡检路径和平地巡检路径上的时间戳进行对比，若存在时间戳重合的飞行巡检路径或平地巡检路径，则将其中相对短的飞行巡检路径或平地巡检路径的起始巡检时间延后，并更新延后起始巡检时间的巡检路径上的时间戳，直到各个飞行巡检路径或平地巡检路径上的时间戳不重合。
5.根据权利要求4所述的基于机器视觉的智能巡检控制系统，其特征在于，所述巡检任务的执行过程包括：
根据巡检任务中的巡检设备编号获得对应巡检路径的巡检路径起点，并将巡检路径信息集发送至相应的巡检设备；
当巡检设备到达巡检路径起点时，通过摄像头拍摄其当前位置的图像数据，进而将图像数据映射于对应编号的区域三维图像模型，进而判断图像数据是否存在第一识别目标，根据判断结果开始执行巡检路径，在巡检设备根据巡检路径进行行驶的过程中，实时采集巡检路径上的图像数据生成路径二维图像；
将路径二维图像映射于区域三维图像模型中的对应位置，进而通过判断路径二维图像与区域三维图像模型对应位置的三维图像模型之间的差异度，判断巡检路径是否存在异常状况或异常物体，根据判断结果生成异常报告发送至云计算平台，进而云计算平台更新巡检路径，当全部巡检设备摄像头拍摄其当前位置图像数据再次存在第一识别目标时，判断巡检任务结束。
6.根据权利要求1至5任一项所述的基于机器视觉的智能巡检控制系统的智能巡检控制方法，其特征在于，包括以下步骤：
步骤一，采集各个巡检设备的各项基础信息并生成巡检设备信息集，并将巡检区域划分为若干个巡检子区域，进而通过摄像头以及脉冲信号装置采集各个巡检子区域的图像数据与脉冲反射信号频谱；
步骤二，根据图像数据生成三维图像模型，以及脉冲反射信号频谱生成区域物体图像模型，进而将相同巡检子区域的三维图像模型以及区域物体图像模型进行映射匹配生成区域三维图像模型；
步骤三，将区域三维图像模型依次进行拼接生成巡检区域三维图像模型，根据区域三维图像模型内各个区域物体图像模型所在位置，在区域三维图像模型中标记可用巡检路径，将可用巡检路径位于区域三维图像模型边缘位置的设为端点；
步骤四，根据各个区域三维图像模型的端点数量以及端点所在位置设置相同数量的巡检路径起点，将各个端点相对最远的端点设为巡检路径终点，并对巡检路径设置若干个时间戳，进而生成巡检任务；
步骤五，根据巡检任务巡检对应巡检子区域，并通过巡检设备采集巡检子区域的图像数据，进而生成路径二维图像并将其映射于区域三维图像模型中，通过路径二维图像与区域三维图像模型在对应位置的差异度，判断巡检路径是否存在异常状况或异常物体，根据判断结果动态调整巡检路径，直到巡检任务结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311465802.5A CN117218743B (zh) | 2023-11-07 | 2023-11-07 | 基于机器视觉的智能巡检控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311465802.5A CN117218743B (zh) | 2023-11-07 | 2023-11-07 | 基于机器视觉的智能巡检控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117218743A CN117218743A (zh) | 2023-12-12 |
| CN117218743B true CN117218743B (zh) | 2024-02-09 |
Family
ID=89042901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311465802.5A Active CN117218743B (zh) | 2023-11-07 | 2023-11-07 | 基于机器视觉的智能巡检控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218743B (zh) |
Citations (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101951502A (zh) * | 2010-10-19 | 2011-01-19 | 北京硅盾安全技术有限公司 | 一种三维智能视频监控方法 |
| KR20130064564A (ko) * | 2011-12-08 | 2013-06-18 | 주식회사 엔티리서치 | 역구배를 가지는 대상물체의 입체형상 측정 장치 |
| CN103868500A (zh) * | 2014-03-21 | 2014-06-18 | 无锡市星迪仪器有限公司 | 光谱三维成像系统及成像方法 |
| CA2917310A1 (en) * | 2015-03-18 | 2016-09-18 | Philippe Gagne | Optical method and apparatus for identifying wood species of a raw wooden log |
| CN109142382A (zh) * | 2018-10-12 | 2019-01-04 | 成都精工华耀科技有限公司 | 一种轨道可视化巡检二维与三维融合成像系统 |
| CN110009761A (zh) * | 2019-03-20 | 2019-07-12 | 华南理工大学 | 智能设备自动巡检路径规划方法及系统 |
| CN110363846A (zh) * | 2019-08-21 | 2019-10-22 | 江苏盈丰电子科技有限公司 | 一种井下3d激光成像智能巡检系统及其使用方法 |
| CN110490163A (zh) * | 2019-08-26 | 2019-11-22 | 西南交通大学 | 一种铁路视频数据智能处理方法及装置 |
| CN110497413A (zh) * | 2019-08-26 | 2019-11-26 | 西南交通大学 | 一种基于图像处理的巡检方法及装置 |
| CN110826549A (zh) * | 2019-11-04 | 2020-02-21 | 山东欧玛嘉宝电气科技有限公司 | 基于计算机视觉的巡检机器人仪表图像识别方法及系统 |
| CN111241359A (zh) * | 2018-11-28 | 2020-06-05 | 富士通株式会社 | 显示方法、信息处理设备和计算机可读记录介质 |
| KR20200087305A (ko) * | 2018-12-28 | 2020-07-21 | 한국국토정보공사 | 실내 공간정보 데이터 융합을 통한 위치추정 방법 |
| CN111507951A (zh) * | 2020-04-08 | 2020-08-07 | 中国电力科学研究院有限公司 | 电缆线路隧道工程巡检装置 |
| KR102169652B1 (ko) * | 2019-12-27 | 2020-10-23 | 한국수력원자력 주식회사 | 원자력 발전소 설비의 통합 준공 3차원 모델을 생성하기 위한 장치 및 방법 |
| CN111968262A (zh) * | 2020-07-30 | 2020-11-20 | 国网智能科技股份有限公司 | 一种语义智能变电站巡视作业机器人导航系统及方法 |
| CN112214019A (zh) * | 2020-09-21 | 2021-01-12 | 国网浙江省电力有限公司 | 一种无人巡检设备无盲区智能反馈控制系统、方法、终端 |
| CN112466000A (zh) * | 2020-09-23 | 2021-03-09 | 国网上海市电力公司 | 一种基于电力巡检机器人的巡检系统及巡检控制方法 |
| CN112927360A (zh) * | 2021-03-24 | 2021-06-08 | 广州蓝图地理信息技术有限公司 | 一种基于倾斜模型与激光点云数据融合的三维建模方法和系统 |
| CN113125444A (zh) * | 2021-04-20 | 2021-07-16 | 上海应用技术大学 | 一种基于无人机搭载三维扫描仪的铁路桥梁病害监测方法 |
| KR20210115245A (ko) * | 2020-03-12 | 2021-09-27 | 이용 | 디지털 트윈 기반 지능형 댐 안전 관리 시스템 |
| CN113848560A (zh) * | 2021-09-27 | 2021-12-28 | 湖南德森九创科技有限公司 | 一种大坝表面图像无人机快速安全采集方法及系统 |
| CN113947731A (zh) * | 2021-12-21 | 2022-01-18 | 成都中轨轨道设备有限公司 | 一种基于接触网安全巡检的异物识别方法及系统 |
| CN114373245A (zh) * | 2021-12-16 | 2022-04-19 | 南京南自信息技术有限公司 | 基于数字化电厂的智能巡检系统 |
| CN114462646A (zh) * | 2022-03-15 | 2022-05-10 | 成都中轨轨道设备有限公司 | 一种基于接触网安全巡检的杆号牌识别方法及系统 |
| CN114898234A (zh) * | 2022-05-17 | 2022-08-12 | 厦门大招科技有限公司 | 搭载激光雷达热成像技术的无人机电网巡检三维成像方法 |
| CN114998244A (zh) * | 2022-05-27 | 2022-09-02 | 中车青岛四方车辆研究所有限公司 | 基于计算机视觉的轨道梁指形板智能巡检系统及方法 |
| CN115686063A (zh) * | 2022-08-02 | 2023-02-03 | 金华八达集团有限公司 | 配网电路巡检的移动无人机和机巢管控系统 |
| CN116594426A (zh) * | 2023-05-12 | 2023-08-15 | 国网浙江省电力有限公司超高压分公司 | 一种变电站无人机巡检航线规划方法及系统 |
| CN116972855A (zh) * | 2023-09-22 | 2023-10-31 | 北京洛斯达科技发展有限公司 | 基于bim的选煤厂设备三维漫游巡检方法及系统 |
-
2023
- 2023-11-07 CN CN202311465802.5A patent/CN117218743B/zh active Active
Patent Citations (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101951502A (zh) * | 2010-10-19 | 2011-01-19 | 北京硅盾安全技术有限公司 | 一种三维智能视频监控方法 |
| KR20130064564A (ko) * | 2011-12-08 | 2013-06-18 | 주식회사 엔티리서치 | 역구배를 가지는 대상물체의 입체형상 측정 장치 |
| CN103868500A (zh) * | 2014-03-21 | 2014-06-18 | 无锡市星迪仪器有限公司 | 光谱三维成像系统及成像方法 |
| CA2917310A1 (en) * | 2015-03-18 | 2016-09-18 | Philippe Gagne | Optical method and apparatus for identifying wood species of a raw wooden log |
| CN109142382A (zh) * | 2018-10-12 | 2019-01-04 | 成都精工华耀科技有限公司 | 一种轨道可视化巡检二维与三维融合成像系统 |
| CN111241359A (zh) * | 2018-11-28 | 2020-06-05 | 富士通株式会社 | 显示方法、信息处理设备和计算机可读记录介质 |
| KR20200087305A (ko) * | 2018-12-28 | 2020-07-21 | 한국국토정보공사 | 실내 공간정보 데이터 융합을 통한 위치추정 방법 |
| CN110009761A (zh) * | 2019-03-20 | 2019-07-12 | 华南理工大学 | 智能设备自动巡检路径规划方法及系统 |
| CN110363846A (zh) * | 2019-08-21 | 2019-10-22 | 江苏盈丰电子科技有限公司 | 一种井下3d激光成像智能巡检系统及其使用方法 |
| CN110497413A (zh) * | 2019-08-26 | 2019-11-26 | 西南交通大学 | 一种基于图像处理的巡检方法及装置 |
| CN110490163A (zh) * | 2019-08-26 | 2019-11-22 | 西南交通大学 | 一种铁路视频数据智能处理方法及装置 |
| CN110826549A (zh) * | 2019-11-04 | 2020-02-21 | 山东欧玛嘉宝电气科技有限公司 | 基于计算机视觉的巡检机器人仪表图像识别方法及系统 |
| KR102169652B1 (ko) * | 2019-12-27 | 2020-10-23 | 한국수력원자력 주식회사 | 원자력 발전소 설비의 통합 준공 3차원 모델을 생성하기 위한 장치 및 방법 |
| KR20210115245A (ko) * | 2020-03-12 | 2021-09-27 | 이용 | 디지털 트윈 기반 지능형 댐 안전 관리 시스템 |
| CN111507951A (zh) * | 2020-04-08 | 2020-08-07 | 中国电力科学研究院有限公司 | 电缆线路隧道工程巡检装置 |
| CN111968262A (zh) * | 2020-07-30 | 2020-11-20 | 国网智能科技股份有限公司 | 一种语义智能变电站巡视作业机器人导航系统及方法 |
| CN112214019A (zh) * | 2020-09-21 | 2021-01-12 | 国网浙江省电力有限公司 | 一种无人巡检设备无盲区智能反馈控制系统、方法、终端 |
| CN112466000A (zh) * | 2020-09-23 | 2021-03-09 | 国网上海市电力公司 | 一种基于电力巡检机器人的巡检系统及巡检控制方法 |
| CN112927360A (zh) * | 2021-03-24 | 2021-06-08 | 广州蓝图地理信息技术有限公司 | 一种基于倾斜模型与激光点云数据融合的三维建模方法和系统 |
| CN113125444A (zh) * | 2021-04-20 | 2021-07-16 | 上海应用技术大学 | 一种基于无人机搭载三维扫描仪的铁路桥梁病害监测方法 |
| CN113848560A (zh) * | 2021-09-27 | 2021-12-28 | 湖南德森九创科技有限公司 | 一种大坝表面图像无人机快速安全采集方法及系统 |
| CN114373245A (zh) * | 2021-12-16 | 2022-04-19 | 南京南自信息技术有限公司 | 基于数字化电厂的智能巡检系统 |
| CN113947731A (zh) * | 2021-12-21 | 2022-01-18 | 成都中轨轨道设备有限公司 | 一种基于接触网安全巡检的异物识别方法及系统 |
| CN114462646A (zh) * | 2022-03-15 | 2022-05-10 | 成都中轨轨道设备有限公司 | 一种基于接触网安全巡检的杆号牌识别方法及系统 |
| CN114898234A (zh) * | 2022-05-17 | 2022-08-12 | 厦门大招科技有限公司 | 搭载激光雷达热成像技术的无人机电网巡检三维成像方法 |
| CN114998244A (zh) * | 2022-05-27 | 2022-09-02 | 中车青岛四方车辆研究所有限公司 | 基于计算机视觉的轨道梁指形板智能巡检系统及方法 |
| CN115686063A (zh) * | 2022-08-02 | 2023-02-03 | 金华八达集团有限公司 | 配网电路巡检的移动无人机和机巢管控系统 |
| CN116594426A (zh) * | 2023-05-12 | 2023-08-15 | 国网浙江省电力有限公司超高压分公司 | 一种变电站无人机巡检航线规划方法及系统 |
| CN116972855A (zh) * | 2023-09-22 | 2023-10-31 | 北京洛斯达科技发展有限公司 | 基于bim的选煤厂设备三维漫游巡检方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 一种针对拍摄物体三维重建的全视角立体成像方法;左承林;王炜;张茂军;徐玮;;计算机辅助设计与图形学学报(11);全文 * |
| 基于神经网络的三维重构研究;郭威强;胡立生;;微型电脑应用(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117218743A (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108890652B (zh) | 一种变电站巡检机器人及变电站设备巡检方法 | |
| CN110703800A (zh) | 基于无人机的电力设施智能识别方法及系统 | |
| CN113791641A (zh) | 一种基于飞行器的设施检测方法及控制设备 | |
| CN110570454B (zh) | 一种检测异物入侵的方法及装置 | |
| CN112270267B (zh) | 可自动抓拍线路故障的摄像识别系统 | |
| CN110060473A (zh) | 一种基于车联网的路况检测系统及路况检测方法 | |
| CN108174111B (zh) | 巡检机器人目标图像抓取方法 | |
| CN110648319B (zh) | 基于双相机的设备图像采集诊断系统及方法 | |
| CN111988524A (zh) | 一种无人机与摄像头协同避障方法、服务器及存储介质 | |
| CN111244822B (zh) | 一种复杂地理环境的固定翼无人机巡线方法、系统和装置 | |
| CN115184726B (zh) | 一种智能电网故障实时监测定位系统及方法 | |
| CN114581760B (zh) | 一种机房巡检的设备故障检测方法及系统 | |
| CN115272888A (zh) | 一种基于数字孪生的5g+无人机输电线路巡检方法及系统 | |
| CN115169602A (zh) | 电力设备的维护方法、装置、存储介质及计算机设备 | |
| CN110181518B (zh) | 模组的安装方法、存储介质 | |
| CN117218743B (zh) | 基于机器视觉的智能巡检控制方法及系统 | |
| CN113987246A (zh) | 无人机巡检的图片自动命名方法、装置、介质和电子设备 | |
| CN112489017A (zh) | 一种电力设备故障智能识别方法及识别系统 | |
| CN112927214A (zh) | 建筑物缺陷定位方法、系统和存储介质 | |
| WO2021189429A1 (zh) | 图像拍摄方法、装置、可移动平台和存储介质 | |
| CN115018759A (zh) | 汽车零部件装配防错系统及方法 | |
| CN108957384A (zh) | 一种周转箱及电能计量设备方向判别方法与装置 | |
| Fang et al. | An adapted visual servo algorithm for substation equipment inspection robot | |
| CN117075515B (zh) | 基于视觉分析调整飞行姿态的单片机控制系统 | |
| CN115373329B (zh) | 一种铁路配电所无人化系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |