CN117809263B - 一种智慧街区智能巡检控制方法、装置及介质 - Google Patents
一种智慧街区智能巡检控制方法、装置及介质 Download PDFInfo
- Publication number
- CN117809263B CN117809263B CN202410233837.4A CN202410233837A CN117809263B CN 117809263 B CN117809263 B CN 117809263B CN 202410233837 A CN202410233837 A CN 202410233837A CN 117809263 B CN117809263 B CN 117809263B
- Authority
- CN
- China
- Prior art keywords
- image
- inspection
- intelligent
- cost
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000002159 abnormal effect Effects 0.000 claims abstract description 26
- 230000002093 peripheral effect Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 230000005856 abnormality Effects 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 3
- 239000002131 composite material Substances 0.000 abstract description 3
- 230000010354 integration Effects 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本申请公开了一种智慧街区智能巡检控制方法、装置及介质，巡检设备通过初始巡检路径巡检初步判断出异常后，调用周边第二图像采集装置进行图像合成，以进一步地对异常进行识别与处理。通过与周边摄像头的联动，可以更加全面的获取周边的环境及异常巡检识别，并从中提取出有价值的信息。通过数据整合与分析，可以提供更深入的洞察和预测能力，有助于优化巡检策略和提高安全监控的效率。进一步地，通过联动控制，巡检机器人可以与周边的摄像头进行协同工作，机器人可以根据合成图像进行路径规划和运动控制，确保机器人能够更加安全、高效地整个巡检区域，可以提高巡检的全面性和效率，减少人工干预和巡检成本。
Description
技术领域
本申请涉及智能巡检控制技术领域，尤其涉及一种智慧街区智能巡检控制方法、装置及介质 。
背景技术
在传统的街区、园区巡检中，通常采用人工巡检的方式，这种方式不仅效率低下，而且容易受到人为因素的影响，如疲劳、疏忽等。近年来，随着机器人技术和图像处理技术的快速发展，通过巡检机器人区巡检系统逐渐成为研究的热点，并逐渐取代传统的人工巡检。
然而，在巡检过程中由于环境复杂、目标多样、突发临时因素多变等原因，导致机器人在巡检可能存在路径规划不合理、目标识别不准确度、事件检测与识别能力不足等一系列的问题，也可能导致误报或漏报现象。此外，机器人巡检面对一些情况需要全面收集大量的数据和信息，这对巡检机器人也是一个挑战。因此，有必要研发一种更加高效、准确的街区巡检系统。
发明内容
基于此，本申请针对上述问题，提出了一种智能巡检控制方案，以适应复杂多变的街区巡检环境，并进行高效、准确地进行街区巡检。
本申请一方面提供一种智慧街区智能巡检控制方法，所述方法包括：
接收巡检任务，并基于所述巡检任务进行初始路径规划；
获取所述初始路径上的第二图像采集装置，并路径地图上进行标记；
根据所述初始路径进行巡检，并采集巡检数据，得到第一巡检图像；
判断当前第一巡检图像是否存在异常，若是，控制巡检设备朝该异常位置采集第一图像，调用周边第二图像采集装置，获取第二图像；
根据第一巡检图像及第二图像进行合成，得到目标图像；
根据所述目标图像进行异常识别与处理。
其中，调用周边第二图像采集装置，获取第二图像，包括：
记录异常位置的第一坐标信息；根据当前位置获取周边第二图像采集装置的第二坐标信息/>；
与第二采集装置建立无线通信连接；
根据第一坐标信息和第二坐标信息，确定第二摄像头的偏转角和俯仰角；
将所述偏转角和俯仰角发送给摄像头进行图像采集，得到第二图像。
具体地，确定第二摄像头的偏转角和俯仰角，包括：
其中，θ为偏转角，δ为俯仰角。
进一步地，根据第一图像及第二图像进行合成，得到目标图像，包括：
对第二图像进行缩放及分辨率变换处理；
分别对第一图像和第二图像进行预处理；
对预处理后第一图像和第二图像进行关键点和特征提取；
在第一图像和第二图像之间找到匹配的关键点，并基于所述关键点得到几何变换矩阵R,T：，/>；
根据所述几何变换矩阵R,T，得到对第二图像进行变换，得到变换图像：
[x，y]为变换后图像坐标像素，第二图像对应坐标像素；
将第一图像及第二变换图像进行合成，得到目标图像：
其中，为合成目标图像，/>为第一图像,/>为第二变换图像,α、β为权重系数，且α+β=1。
具体地，所述基于所述关键点得到几何变换矩阵R,T，包括：
设置优化函数：
其中，[xi，yi]为第一图像上的第i关键点像素，[，/>]为第二图像上的第i关键点像素，n为关键点的个数；
将各匹配点带入所述优化函数进行求解，使得所述优化函数值最小，得到矩阵R,T。
进一步地，所述根据所述目标图像进行识别，包括：
判断所述异常的类型；
若为静态障碍物，则将所述障碍物映射到巡检机器人地图坐标系进行标记，并计算出障碍物的大小和位置，基于所述障碍物的大小和位置，对所述初始路径进行优化；
若异常为事件或行为异常，则采集目标对象的特征信息，发出警告或提示，并通过无线通信方式将特征信息上报至智慧街区管理系统。
具体地，所述初始路径进行优化，包括：
使用二维数组或矩阵来表示环境地图，其中每个元素表示一个位置；
以当前位置作为起点，以按继续当前巡检方向规避所述障碍物回到初始路径的位置作为终点；
从起点开始遍历地图上的节点，逐步扩展到相邻节点，并更新距离数组，在扩展节点时，根据代价函数计算当前节点到终点的代价，选择代价最小的节点作为下一步的移动方向：
F = w1 * L + w2 *M+ w3 * S + w4 * T
其中，w1、w2、w3和w4是权重系数，用于调整各个代价函数在综合代价函数中的权重，L为路径长度代价，M为路径转弯代价，S为安全代价，T为时间代价；
重复遍历过程直到到达终点或所有节点都被访问过。
本申请第二方面提供一种智慧街区智能巡检控制装置，所述装置包括：
规划模块，用于接收巡检任务，并基于所述巡检任务进行初始路径规划；
标记模块，用于获取所述初始路径上的第二图像采集装置，并进行标记；
采集模块，用于根据所述初始路径进行巡检，并采集巡检数据，得到第一巡检图像；
判断模块，用于判断当前第一巡检图像是否存在异常，若是，调用周边第二图像采集装置，获取第二图像；
合成模块，根据第一巡检图像及第二图像进行合成，得到目标图像；
处理模块，根据所述目标图像进行异常识别与处理。
本申请三方面提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述任一项所述方法的步骤。
本申请第四方面提供一种计算机终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任一项所述方法的步骤。
本申请上述方案巡检机器人通过初始巡检路径巡检初步判断出异常后，调用周边第二图像采集装置进行图像合成，以进一步地对异常进行识别与处理。通过与周边摄像头的联动，可以更加全面的获取周边的环境及异常巡检识别，并从中提取出有价值的信息，巡检设备可以整合多种数据源，包括自身采集的数据、从摄像头获取的视频数据。通过数据整合与分析，大大提高了巡检识别（如异常检测、事件识别）的准确性，有助于优化巡检策略和提高安全监控的效率。进一步地，通过联动控制，巡检机器人可以与周边的摄像头进行协同工作，机器人可以根据合成图像进行路径规划和运动控制，确保机器人能够更加安全、高效地整个巡检区域，可以提高巡检的全面性和效率，减少人工干预和巡检成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中智慧街区智能巡检控制方法流程图；
图2为一个实施例中智慧街区智能巡检控制装置结构框图；
图3为一个实施例中计算机终端设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”、“包含”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。在本申请的权利要求书、说明书以及说明书附图中的术语，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。
在一个实施方式中，如图1为本申请一种智慧街区智能巡检控制方法流程图，所述方法包括：
S10、接收巡检任务，并基于所述巡检任务进行初始路径规划。
具体地，巡检任务可以包括巡检对象、巡检区域等等，可以通过智慧街区管理平台向巡检机器人发送巡检任务，巡检机器人在接收任务后，确定要巡检的区域，并基于巡检地图进行初始路径规划。
在路径规划前先构建巡检区域地图：利用高精度激光雷达或事先通过控制巡检设备内设的采集扫描装置对目标场地进行扫描，建立二维栅格地图，将该地图存入或导入巡检设备后台数据库系统，巡检设备可以为巡检机器人或其他可以移动巡检装置，其包括图像采集装置、存储器、处理器、位置传感器、距离传感器等。
S11、获取所述初始路径上的第二图像采集装置，并路径地图上进行标记。
具体地，可以通过各区域图像采集装置的布防位置信息，获取多个第二图像采集装置的分布，也可以在建立栅格地图时对区域目标场地扫描时，扫描并记录各图像采集装置的位置信息。确定好各图像采集装置的位置信息后，将在路径地图上标注。
S12、根据所述初始路径进行巡检，并采集巡检数据，得到第一巡检图像。
确定初始路径后，巡检设备根据所述初始路径进行巡检，并按照预设的频率即第一分辨率进行图像采集，得到第一巡检图像集，所述第一巡检图像可以经过处理后输入到图像识别算法进行识别。
S13、判断当前第一巡检图像是否存在异常，若是，调用周边第二图像采集装置，获取第二图像。
具体地，需要在巡检机器人预先建立一个包含异常的图像特征数据库，异常包括事件异常、行为异常、静态障碍物异常等，这个数据库将作为后续判断异常行为的基准。
进而对当前采集的巡检图像进行预处理，包括去噪、增强、分割等图像预处理操作，以提高图像质量，进而通过图像处理和计算机视觉技术，从预处理后的图像中提取关键特征，在一个实施方式中，采用使用深度学习模型（如卷积神经网络CNN）对预处理后的图像进行特征提取。将这些特征与异常的图像特征数据库特征进行比较，以初步判断当前巡检环境下是否存在异常。需要说明的是为了提高巡检效率，本申请方案通过巡检设备边巡检边识别的方式，由于在巡检运动过程中采集的第一巡检图像为按巡检路径方向采集拍摄的，异常信息在该巡检视角下采集的精度和分辨率相对没那么精细，该过程异常识别与判断过程也为粗匹配识别。
待初步识别异常后，控制巡检设备朝该异常位置方向采集第一图像。其中第一图像为调整巡检设备拍摄方向，并以更高精度、高分辨率采集的图像，其目的为了后续更加精确的对异常进行识别与判断。以此同时，巡检设备调用周边第二图像采集装置，获取第二图像，具体包括如下步骤：
S131、记录异常位置的第一坐标信息。
巡检设备确定异常点在图像中的位置像素坐标，并利用巡检设备的相机的内参和外参标定信息将异常点在图像中的位置像素坐标转换为实际的环境世界坐标。进而进行地图匹配与定位，如采用SLAM等技术进行地图匹配和定位，通过将检测到的异常点坐标与预先构建的地图进行比对，巡检设备即可以确定自己在地图中的位置第一坐标信息。
S132、根据当前位置获取周边第二图像采集装置的第二坐标信息。
确定异常位置的坐标信息后，巡检设备通过地图搜寻当前位置周边存在的可调用的第二图像采集装置，并确定所述第二图像采集装置的第二坐标信息。
S133、与第二图像采集装置建立通信连接。
具体地，本申请方案通过与第二图像采集装置建立无线通信的方式，来与第二图像采集装置进行通信与数据交互。如通过4G、5G、WIFI、蓝牙等无线通信技术，也可以通过巡检机器人向后台控制中心建立通信连接后转发通信指令和数据给第二图像采集装置的方式，与与第二图像采集装置建立间接通信连接。
一旦通信连接建立起来，巡检设备就可以与第二采集装置进行数据交互。根据需要，从第二采集装置获取数据，或者向其发送控制指令。
S134、根据第一坐标信息和第二坐标信息，确定第二摄像头的偏转角和俯仰角。
具体地，确定第二摄像头的偏转角和俯仰角，包括：
其中，θ为偏转角，δ为俯仰角。
S135、将所述偏转角和俯仰角发送给摄像头进行图像采集，得到第二图像。
具体地，在一个实施例中，巡检设备通过无线通信模块，将角度控制指令及角度参数发送给第二图像采集装置，以让第二图像采集能够接收到机器人的指令并做出相应的动作。第二图像采集装置根据接收到的指令，调整其拍摄的角度，包括转动镜头以改变水平方向的偏转角，以及调整摄像头的高度或俯仰角度。调整完成后，摄像头开始进行图像采集工作，捕获当前视角下的第二图像，并将其保存或传输给巡检机器人。
巡检设备接收第二图像：巡检机器人通过无线通信模块或通过后台控制中心接收第二图像采集所采集的第二图像。
S14、根据第一图像及第二图像进行合成，得到目标图像。
为了更加清晰全面的得到异常位置的信息，本申请方案通过巡检设备当前视角下的第一图像与第二图像采集装置视角下的第二图像进行合成，以便后续更加精细识别判断用。具体包括：
S141、对第二图像进行缩放及分辨率变换处理。
为了后续合成方便，需要先将得到的第二图像进行进行缩放处理与分辨率变换处理，以使得第二图像与第一图像尺寸、分辨率一致。
S142、分别对第一图像和第二图像进行预处理。
具体地，预处理包括：对输第一图像和第二图像分别进行高斯去噪、对比度增强处理、色彩校正等，以提高后续处理的准确性。
S143、对预处理后第一图像和第二图像进行关键点和特征提取。
具体地，采用特征提取算法（如SIFT、SURF、ORB等）从第一图像和第二图像图像中提取关键点和特征描述信息。关键点可以是图像中具有明显特征变化的点，如边缘、角点等。通过对检测到的关键点，通过算法生成相应的特征描述信息，这些信息描述了关键点周围的图像特征，如边缘方向、角点强度等信息，及提取这些关键点和特征描述以用于后续的特征匹配。
S144、在第一图像和第二图像之间找到匹配的关键点，并基于所述关键点得到几何变换矩阵R,T：，/>。
具体地，所述基于所述关键点得到几何变换矩阵R,T，包括：
设置优化函数：
其中，[xi，yi]为第一图像上的第i关键点像素，[，/>]为第二图像上的第i关键点像素，n为关键点的个数；
将各匹配点带入所述优化函数进行求解，使得所述优化函数值最小，得到矩阵R,T。
需要说明的是，在计算几何变换之前，需要先对第二图像采集装置进行标定，获取摄像头的内参和畸变参数，并进行相应的畸变校正。
S145、根据所述几何变换矩阵R,T，得到对第二图像进行变换，得到变换图像：
其中，[x，y]为变换后图像坐标像素，第二图像对应坐标像素。
S146、将第一图像及第二变换图像进行合成，得到目标图像：
其中，为合成目标图像，/>为第一图像,/>为第二变换图像,α、β为权重系数，且α+β=1。
进一步地，本申请方案在图像合成后进行后续优化处理操作，如滤波、锐化等，以提高合成图像的质量。
S15、根据所述目标图像进行异常识别与处理。
具体地，由于合成的目标图像包含了多个视角下的图像信息及分辨率也更高，因此对异常识别判断更加精确，本申请方案将合成的目标图像输入到预设的神经网络模型中进行识别判断。具体对所述目标图像进行识别与判断，包括：
S151、判断所述异常的类型。
S152、若为静态障碍物，则将所述障碍物映射到巡检机器人地图坐标系进行标记，并计算出障碍物的大小和位置，基于所述障碍物的大小和位置，对所述初始路径进行优化。
由于街区环境复杂多变，可能在某个时刻临时出现障碍物，如出现临时部分封闭维修，临时停放某些大型物体，该临时障碍物在之前地图生成和初始路径规划时，并未出现，导致巡检设备无法获取障碍物的具体信息，进而导致巡检设备可能无法进行下一步巡检任务。此时巡检设备可以通过映射在障碍物信息，并判断障碍物是否包含在初始路径上，进而确定是否进行路径优化。
具体地，所述初始路径进行优化，包括如下处理步骤：
S1521、使用二维数组或矩阵来表示环境地图，其中每个元素表示一个位置。
S1522、以当前位置作为起点，以按继续当前巡检方向规避所述障碍物回到初始路径的位置作为终点。
S1523、从起点开始遍历地图上的节点，逐步扩展到相邻节点，并更新距离数组，在扩展节点时，根据代价函数计算当前节点到终点的代价，选择代价最小的节点作为下一步的移动方向：
F = w1 * L + w2 *M+ w3 * S + w4 * T
其中，w1、w2、w3和w4是权重系数，用于调整各个代价函数在综合代价函数中的权重，L为路径长度代价，M为路径转弯代价，S为安全代价，T为时间代价。并且，定义路径长度代价L：使用欧几里得距离或曼哈顿距离作为路径长度的度量;定义转弯次数代价M：优化路径过程行驶过程中转弯的次数；定义安全代价S：根据巡检识别行驶过程中是否遇到障碍物或危险区域来计算安全代价，遇到障碍物或危险区域时s增加，否则s不变；定义时间代价T：巡检设备行驶过程中的时间消耗来计算时间代价。
S1524、重复遍历过程直到到达终点或所有节点都被访问过。
需要说明的是，本申请方案还包括计算障碍物的大小和位置：在将障碍物映射到巡检设备地图坐标系，其中每个元素表示一个位置，可用0表示空地（可通行区域），用1表示障碍物（不可通行区域），并计算出障碍物的大小和位置，障碍物的大小可以通过测量其在图像中的面积或周长来确定。以让巡检设备能清晰掌握障碍物的大小和具体位置信息，从而基于障碍物在地图的位置信息及初始路径进行确定按继续当前巡检方向规避所述障碍物回到初始路径的位置信息。
S153、若异常为事件或行为异常，则采集目标对象的特征信息，发出警告或提示，并通过无线通信方式将特征信息上报至智慧街区管理系统。
具体的事件异常可以包括交通事故、违规停放等事件，行为异常可以包括人员徘徊、人群聚集等行为。识别上述异常后，采集目标对象的特征信息，发出警告或提示，并通过无线通信方式将特征信息上报至智慧街区管理系统。
本申请上述方案巡检机器人通过初始巡检路径巡检初步判断出异常后，调用周边第二图像采集装置进行图像合成，以进一步地对异常进行识别与处理。通过与周边摄像头的联动，可以更加全面的获取周边的环境及异常巡检识别，并从中提取出有价值的信息，巡检设备可以整合多种数据源，包括自身采集的数据、从摄像头获取的视频数据。通过数据整合与分析，大大提高了巡检识别（如异常检测、事件识别）的准确性，有助于优化巡检策略和提高安全监控的效率。进一步地，通过联动控制，巡检机器人可以与周边的摄像头进行协同工作，机器人可以根据合成图像进行路径规划和运动控制，确保机器人能够更加安全、高效地整个巡检区域，可以提高巡检的全面性和效率，减少人工干预和巡检成本。
在另一实施方式中，如图2所示，本申请第二方面提供一种智慧街区智能巡检控制装置，所述装置包括：
规划模块，用于接收巡检任务，并基于所述巡检任务进行初始路径规划；
标记模块，用于获取所述初始路径上的第二图像采集装置，并进行标记；
采集模块，用于根据所述初始路径进行巡检，并采集巡检数据，得到第一巡检图像；
判断模块，用于判断当前第一巡检图像是否存在异常，若是，调用周边第二图像采集装置，获取第二图像；
合成模块，根据第一巡检图像及第二图像进行合成，得到目标图像；
处理模块，根据所述目标图像进行异常识别与处理。
在另一实施方式中，本申请还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述任一项所述方法的步骤。
在另一实施方式中，如图3所示，本申请还提供一种终端控制设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任一项所述方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种智慧街区智能巡检控制方法，其特征在于，所述方法包括：
接收巡检任务，并基于所述巡检任务进行初始路径规划；
获取所述初始路径上的第二图像采集装置，并在路径地图上进行标记；
根据所述初始路径进行巡检，并采集巡检数据，得到第一巡检图像；
判断当前第一巡检图像是否存在异常，若是，控制巡检设备朝该异常位置采集第一图像，并调用周边第二图像采集装置，获取第二图像；
根据第一图像及第二图像进行合成，得到目标图像；所述根据第一图像及第二图像进行合成，得到目标图像，包括：
对第二图像进行缩放及分辨率变换处理；
分别对第一图像和第二图像进行预处理；
对预处理后第一图像和第二图像进行关键点和特征提取；
在第一图像和第二图像之间找到匹配关键点，并基于所述关键点得到几何变换矩阵R,T：，/>；
根据所述几何变换矩阵R,T，得到对第二图像进行变换，得到变换图像：
[x，y]为变换后图像坐标像素，第二图像对应坐标像素；
将第一图像及第二变换图像进行合成，得到目标图像：
其中，为合成目标图像，/>为第一图像,/>为第二变换图像,α、β为权重系数，且α+β=1；
根据所述目标图像进行异常识别与处理；所述根据所述目标图像进行异常识别与处理，包括：
判断所述异常的类型；
若为静态障碍物，则将所述障碍物映射到巡检机器人地图坐标系进行标记，并计算出障碍物的大小和位置，基于所述障碍物的大小和位置，对所述初始路径进行优化；
若异常为事件或行为异常，则采集目标对象的特征信息，发出警告或提示，并通过无线通信方式将特征信息上报至智慧街区管理系统；
其中，所述初始路径进行优化，包括：
使用二维数组或矩阵来表示环境地图，其中每个元素表示一个位置；
以当前位置作为起点，以按继续当前巡检方向规避所述障碍物回到初始路径的位置作为终点；
从起点开始遍历地图上的节点，逐步扩展到相邻节点，并更新距离数组，在扩展节点时，根据代价函数计算当前节点到终点的代价，选择代价最小的节点作为下一步的移动方向：
F = w1 * L + w2 *M+ w3 * S + w4 * T
其中，w1、w2、w3和w4是权重系数，用于调整各个代价函数在综合代价函数中的权重，L为路径长度代价，M为路径转弯代价，S为安全代价，T为时间代价；
重复遍历过程直到到达终点或所有节点都被访问过。
2.根据权利要求1所述的方法，其特征在于，所述调用周边第二图像采集装置，获取第二图像，包括：
记录异常位置的第一坐标信息；
根据当前位置获取周边第二图像采集装置的第二坐标信息；
与第二采集装置建立通信连接；
根据第一坐标信息和第二坐标信息，确定第二摄像头的偏转角和俯仰角；
将所述偏转角和俯仰角发送给摄像头进行图像采集，得到第二图像。
3.根据权利要求2所述的方法，所述根据第一坐标信息和第二坐标信息，确定第二摄像头的偏转角和俯仰角，包括：
其中，θ为偏转角，δ为俯仰角。
4.根据权利要求1所述的方法，其特征在于，所述基于所述关键点得到几何变换矩阵R、T，包括：
设置优化函数：
其中，[，/>]为第一图像上的第i关键点像素，[/>，/>]为第二图像上的第i关键点像素，n为关键点的个数；
将各匹配点带入所述优化函数进行求解，使得所述优化函数值最小，得到矩阵R、T。
5.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至4中任一项所述方法的步骤。
6.一种巡检设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至4中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410233837.4A CN117809263B (zh) | 2024-03-01 | 2024-03-01 | 一种智慧街区智能巡检控制方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410233837.4A CN117809263B (zh) | 2024-03-01 | 2024-03-01 | 一种智慧街区智能巡检控制方法、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117809263A CN117809263A (zh) | 2024-04-02 |
| CN117809263B true CN117809263B (zh) | 2024-05-10 |
Family
ID=90426026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410233837.4A Active CN117809263B (zh) | 2024-03-01 | 2024-03-01 | 一种智慧街区智能巡检控制方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117809263B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112461227A (zh) * | 2020-10-22 | 2021-03-09 | 新兴际华集团有限公司 | 轮式底盘机器人巡检智能化自主导航方法 |
| CN114581342A (zh) * | 2022-04-01 | 2022-06-03 | 澳门大学 | 图像增强方法、巡检机器人、远程终端及巡检运维系统 |
| CN116203973A (zh) * | 2023-05-05 | 2023-06-02 | 唐山昌宏科技有限公司 | 轨道ai巡检机器人智能控制系统 |
-
2024
- 2024-03-01 CN CN202410233837.4A patent/CN117809263B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112461227A (zh) * | 2020-10-22 | 2021-03-09 | 新兴际华集团有限公司 | 轮式底盘机器人巡检智能化自主导航方法 |
| CN114581342A (zh) * | 2022-04-01 | 2022-06-03 | 澳门大学 | 图像增强方法、巡检机器人、远程终端及巡检运维系统 |
| CN116203973A (zh) * | 2023-05-05 | 2023-06-02 | 唐山昌宏科技有限公司 | 轨道ai巡检机器人智能控制系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117809263A (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3017275B1 (de) | Positionsbestimmungsverfahren für ein vermessungsgerät und ein ebensolches vermessungsgerät | |
| WO2021000524A1 (zh) | 孔位保护门检测方法、装置、计算机设备和存储介质 | |
| CN112417926B (zh) | 车位识别方法、装置、计算机设备及可读存储介质 | |
| KR102143108B1 (ko) | 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기 | |
| CN112101361B (zh) | 针对鱼眼图像的目标检测方法、装置、设备和存储介质 | |
| CN110033484B (zh) | 一种结合uav影像和tls点云的高郁闭森林样地树高提取方法 | |
| CN115917559A (zh) | 轨迹预测方法、装置、计算机设备和存储介质 | |
| CN112966665A (zh) | 路面病害检测模型训练方法、装置和计算机设备 | |
| CN112464766A (zh) | 一种农田地头自动识别方法及系统 | |
| CN111832760B (zh) | 一种基于视觉算法的井盖自动巡检方法 | |
| CN112697134A (zh) | 一种室内巡检机器人的环境感知方法、系统、设备及其计算机可读存储介质 | |
| CN113538620A (zh) | 一种面向二维栅格地图的slam建图结果评价方法 | |
| CN111046809A (zh) | 一种障碍物检测方法、装置、设备及计算机可读存储介质 | |
| CN117492026B (zh) | 结合激光雷达扫描的铁路货车装载状态检测方法及系统 | |
| CN117809263B (zh) | 一种智慧街区智能巡检控制方法、装置及介质 | |
| CN117288094A (zh) | 基于激光传感器的掘进机实时定位系统 | |
| US20230314169A1 (en) | Method and apparatus for generating map data, and non-transitory computer-readable storage medium | |
| CN113642430B (zh) | 基于VGG+NetVLAD的地下停车场高精度视觉定位方法及系统 | |
| CN110223250B (zh) | 基于单应变换的sar几何校正方法 | |
| CN111476129A (zh) | 一种基于深度学习的土壤杂质检测方法 | |
| DE102020213111A1 (de) | Verfahren und System zur Bestimmung einer Pose oder Position eines mobilen Endgeräts | |
| CN117152083B (zh) | 一种基于类别激活映射的探地雷达道路病害图像预测可视化方法 | |
| CN117152102B (zh) | 一种焦炉废气砣杆工作状态的检测方法和系统 | |
| CN116343125B (zh) | 一种基于计算机视觉的集装箱箱底锁头检测方法 | |
| CN115063372A (zh) | 设施主体形变监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |