CN117496045A - 一种基于电缆图像的模型自动生成装置、方法及设备 - Google Patents
一种基于电缆图像的模型自动生成装置、方法及设备 Download PDFInfo
- Publication number
- CN117496045A CN117496045A CN202311230296.1A CN202311230296A CN117496045A CN 117496045 A CN117496045 A CN 117496045A CN 202311230296 A CN202311230296 A CN 202311230296A CN 117496045 A CN117496045 A CN 117496045A
- Authority
- CN
- China
- Prior art keywords
- cable
- image
- target
- information
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000004458 analytical method Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000003708 edge detection Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Manipulator (AREA)
Abstract
本申请公开了一种基于电缆图像的模型自动生成装置、方法及设备,本申请属于电力设施技术领域。该装置包括:图像采集模块,用于通过配置有摄像头的机器人采集目标电缆的拍摄图像;位姿获取模块,用于获取所述拍摄图像采集过程中摄像头的位置信息和姿态信息;物理参数解析模块,用于根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,进行物理参数解析,得到所述目标电缆的物理参数;模型生成模块,用于根据所述物理参数生成所述目标电缆的空间模型。本技术方案,通过根据机器人的位置与姿态信息以及目标电缆的拍摄图像,解析得到目标电缆的物理参数,可以自动生成目标电缆的空间模型,提高电缆录入的工作效率。
Description
技术领域
本申请属于电力设施技术领域,具体涉及一种基于电缆图像的模型自动生成装置、方法及设备。
背景技术
记录电缆的几何形状、路径和布局,可以帮助工作人员更直观地了解电缆的空间位置、走向和交叉情况,方便进行可视化分析,还可以标识和定位具体的电缆,方便维护人员进行故障排除和维护操作。综上所述,记录存储电缆对于工程项目的顺利进行和电缆管理具有重要意义。
但目前人工对电缆进行入网的方式,不仅执行操作复杂,十分耗时费力,而且由于电缆形状各不相同,如直线型、转角型以及缠绕型等,工作人员无法掌握电缆的精确信息,从而对后续基于电缆信息的分析或维护工作造成影响。因此,如何根据电缆图像自动生成电缆的空间模型,提高电缆的录入效率是本领域技术人员亟待解决的技术问题。
发明内容
本申请实施例的目的是提供一种基于电缆图像的模型自动生成装置、方法及设备,目的在于实现机器人摄像头自动采集目标电缆的拍摄图像,并根据机器人的位置与姿态信息以及拍摄图像生成目标电缆的空间模型,提高电缆录入的工作效率。
第一方面,本申请实施例提供了一种基于电缆图像的模型自动生成装置,所述装置包括:
图像采集模块,用于通过配置有摄像头的机器人采集目标电缆的拍摄图像;
位姿获取模块,用于获取所述拍摄图像采集过程中摄像头的位置信息和姿态信息;
物理参数解析模块,用于根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,进行物理参数解析,得到所述目标电缆的物理参数;
模型生成模块,用于根据所述物理参数生成所述目标电缆的空间模型。
第二方面,本申请实施例提供了一种基于电缆图像的模型自动生成方法,所述方法包括:
通过配置有摄像头的机器人采集目标电缆的拍摄图像;
获取所述拍摄图像采集过程中摄像头的位置信息和姿态信息;
根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,进行物理参数解析,得到所述目标电缆的物理参数;
根据所述物理参数生成所述目标电缆的空间模型。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
在本申请实施例中,图像采集模块,用于通过配置有摄像头的机器人采集目标电缆的拍摄图像;位姿获取模块,用于获取所述拍摄图像采集过程中摄像头的位置信息和姿态信息;物理参数解析模块,用于根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,进行物理参数解析,得到所述目标电缆的物理参数;模型生成模块,用于根据所述物理参数生成所述目标电缆的空间模型。上述基于电缆图像的模型自动生成装置,通过根据机器人的位置与姿态信息以及目标电缆的拍摄图像,解析得到目标电缆的物理参数,可以自动生成目标电缆的空间模型,提高电缆录入的工作效率。
附图说明
图1是本申请实施例一提供的基于电缆图像的模型自动生成装置的结构示意图;
图2是本申请实施例二提供的基于电缆图像的模型自动生成装置的结构示意图;
图3是本申请实施例三提供的基于电缆图像的模型自动生成装置的结构示意图;
图4是本申请实施例四提供的基于电缆图像的模型自动生成方法的流程示意图;
图5是本申请实施例五提供的电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的基于电缆图像的模型自动生成装置、方法及设备进行详细地说明。
实施例一
图1是本申请实施例一提供的基于电缆图像的模型自动生成装置的结构示意图。如图1所示,具体包括如下步骤:
图像采集模块110,用于通过配置有摄像头的机器人采集目标电缆的拍摄图像;
位姿获取模块120,用于获取所述拍摄图像采集过程中摄像头的位置信息和姿态信息;
物理参数解析模块130,用于根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,进行物理参数解析,得到所述目标电缆的物理参数;
模型生成模块140,用于根据所述物理参数生成所述目标电缆的空间模型。
本申请适用于根据机器人摄像头采集的图像进行物理参数解析,并生成目标电缆的空间模型的场景。具体的,对于物理参数的解析以及空间模型的生成可以由智能终端设备执行,方便工作人员根据生成的电缆空间模型,对电缆进行科学的管理。
基于上述使用场景,可以理解的,本申请的执行主体可以是该智能终端设备,例如台式电脑、笔记本电脑、手机、平板电脑以及交互式多媒体设备等,此处不做过多的限定。
图像采集模块110,可以是由计算机的微处理芯片等组成,用于通过配置有摄像头的机器人采集目标电缆的拍摄图像。
机器人可以是一种能够自主执行任务或工作的物理实体,被设计用于执行各种任务,一般装配轮子或履带以便在电缆布线环境中能够自由移动,还可以装配GPS(GlobalPositioning System,全球定位系统)接收器以便实时获取机器人的定位。
电缆可以是一种用于运输电力或信号的装置,由一个或多个导体、绝缘层、护套以及接头等部分组成。
采集目标电缆的拍摄图像的方式,可以采用机器人位于电缆的一侧,垂直面向电缆,机器人调整摄像头的姿态,直至摄像头的画面内能够清晰显示目标电缆,摄像头采集拍摄图像。
在计算机中,图像可以被表示为像素阵列,每个像素包含了图像的颜色和亮度信息。摄像头可以是一种常见的图像采集设备,用于获取实时视频或静态图像数据,摄像头通过光学传感器和图像处理器将光学信号转换为数字图像数据。摄像头采集图像的基本过程,包括:位于摄像机镜头背后的光学传感器将通过镜头进入的光线转化为电信号;光学传感器中的光敏元件对光线的强度、颜色等进行检测,并将其转化为电压信号;模数转换器将连续变化的模拟电压信号转换为数字形式,以便进一步处理和存储;图像处理器对数字信号进行处理和增强,处理可以包括色彩校正、对比度调整以及降噪等,以提高图像质量和清晰度;摄像头对图像数据进行压缩,以减少存储和传输所需的空间和带宽;处理和压缩后的图像数据通过接口(如USB、HDMI以及网线等)输出到计算机的微处理芯片。
位姿获取模块120,可以是由计算机的微处理芯片等组成,用于获取所述拍摄图像采集过程中摄像头的位置信息和姿态信息。
位置信息可以是摄像头的定位映射在电缆敷设地图中的坐标。电缆敷设地图可以是用于表示电缆敷设轨迹的地图数据。地图数据可以是地理空间信息的数字化表示。平面坐标系将地球表面的曲面投影到一个平面上,以便在地图上表示,平面坐标系常用于局部地区的地图制作,例如城市地图以及区域地图等,常见的平面坐标系包括UTM坐标系以及高斯-克吕格坐标系等。
获取位置信息的方式,可以采用机器人的GPS接收器接收多个GPS卫星发送的信号,每个信号里面有该信号发出的时间T,然后根据时间T与接收的时间之差计算出巡检机器人到各个GPS卫星的距离,从而得到机器人的位置信息。
姿态信息可以包括设置于机器人上的摄像头的高度与角度。摄像头的角度可以包括水平方向上的角度和垂直方向上的角度。水平方向上的角度可以用度数来表示,以正北方向为基准0度,顺时针方向为0-360度;垂直方向上的角度数据可以用度数来表示,以垂直地面向上的方向为基准0度,顺时针方向为0-360度。
获取姿态信息的方式,可以采用使用激光测距仪测量摄像头与地面的距离,使用陀螺仪测量摄像头的角度。其中,激光测距仪可以是一种使用激光束测量目标与测距仪之间距离的设备,激光测距仪利用激光束的特性,通过测量激光束的传播时间或相位差来计算目标距离;陀螺仪可以是一种利用角动量守恒定律测量角速度的仪器,常用于导航、姿态控制以及机器人等领域。
物理参数解析模块130,可以是由计算机的微处理芯片等组成,用于根据目标电缆在拍摄图像中的像素特征,以及摄像头的位置信息和姿态信息,进行物理参数解析,得到目标电缆的物理参数。
像素特征可以是指在图像处理和分析中使用的基本图像特征,是对图像中每个像素的属性、值或统计信息的描述,常见的像素特征包括灰度值、颜色特征、纹理特征、边缘特征以及尺度特征等。
灰度值可以是图像中每个像素的亮度或灰度级别,可以用于图像增强、边缘检测等任务,在灰度图像中每个像素仅有一个灰度值,一般在0到255的范围内表示;对于彩色图像,可以使用颜色特征来描述每个像素的颜色属性,常见的颜色表示方法包括RGB(红绿蓝)颜色空间、HSV(色调饱和度明度)颜色空间以及Lab颜色空间等;纹理特征描述了图像区域的纹理属性,即像素之间的局部变化模式,常见的纹理特征包括灰度共生矩阵(GLCM)、局部二值模式(LBP)以及方向梯度直方图(HOG)等;边缘特征表示图像中不同区域之间的边界或边缘,可以通过计算像素之间的梯度或使用边缘检测算法来提取边缘特征(如Sobel以及Canny等);尺度特征描述了图像中不同对象或结构的尺度大小,常见的尺度特征包括像素间距以及对象的宽度和高度等。
其中,下面是一个简单的示例代码,演示如何使用Python和OpenCV库实现边缘检测算法:
import cv2
#读取图像
image=cv2.imread('input.jpg',cv2.IMREAD_GRAYSCALE)
#Canny边缘检测
edges=cv2.Canny(image,100,200)#调整阈值参数以获得所需的边缘效果
#显示结果
cv2.imshow('Original Image',image)
cv2.imshow('Edges',edges)
cv2.waitKey(0)
cv2.destroyAllWindows()
上述代码使用了OpenCV库的ˋcv2.Canny()ˋ函数来进行Canny边缘检测。首先,使用ˋcv2.imread()ˋ函数读取输入图像(在此示例中假设图像名为'input.jpg')。然后,将图像转换为灰度图像(使用ˋcv2.IMREAD_GRAYSCALEˋ参数),并应用Canny边缘检测算法。最后,使用ˋcv2.imshow()ˋ函数显示原始图像和边缘图像,并使用ˋcv2.waitKey(0)ˋ等待按键输入,最后使用ˋcv2.destroyAllWindows()ˋ关闭所有窗口。
物理参数可以包括目标电缆空间位置信息、直径、走向以及曲率等。进行分物理参数解析的方式,可以采用根据目标电缆在拍摄图像中的像素特征,以及摄像头的位置信息和姿态信息,解析得到目标电缆空间位置信息、直径、走向以及曲率中的至少一种。
在本方案中,可选的,所述物理参数解析模块,具体用于:
根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,解析得到所述目标电缆空间位置信息、直径、走向以及曲率中的至少一种。
空间位置信息可以是目标电缆映射在电缆敷设地图中的坐标(x,y,z);直径可以是穿过目标电缆横切面的圆心,与横切面的边缘相交的线段,单位为厘米(cm);走向可以是指目标电缆的敷设路径或方向,根据目标电缆的弯曲程度可以将走向分为直线走向和弯曲走向,在径向方向上观察目标电缆,可以将目标电缆的走向分为水平走向、垂直走向、上升走向以及下降走向;曲率可以是用于描述目标电缆在某一点上弯曲程度的物理量,即目标电缆在在该点上的切线与目标电缆在在该点附近的一小段弧长之间的夹角,曲率越大,目标电缆在该点附近的弯曲程度越大。
解析的方式,可以采用将目标电缆在拍摄图像中的像素特征、摄像头的内部参数以及摄像头的位置信息和姿态信息输入进神经网络模型,神经网络模型经过计算并对目标电缆空间位置信息、直径、走向以及曲率进行反馈。其中,摄像头的内部参数可以包括焦距以及光心等;神经网络可以是一种基于生物神经元结构和功能的计算模型,通过多个节点之间的连接和信息传递来实现数据的处理和分析,具体的节点可以包括空间位置信息、直径、走向、曲率以及像素特征等。
本技术方案这样设置的好处是,通过根据目标电缆在拍摄图像中的像素特征以及摄像头的位置信息和姿态信息,解析得到目标电缆空间位置信息、直径、走向以及曲率中的至少一种,可以为目标电缆的空间模型的的生成提供数据基础。可以理解的,解析得到的物理参数项数越多,生成的目标电缆的空间模型的精确度越高。
模型生成模块140,可以是由计算机的微处理芯片等组成,用于根据所述物理参数生成所述目标电缆的空间模型。
空间模型可以是目标电缆的三维图像。三维图像可以是一种利用计算机技术生成的、具有立体感和逼真效果的图像,三维图像可以呈现出在不同角度下的三维物体的外观以及结构等特征。
生成空间模型的方式,可以采用计算机自动完成以下步骤:
打开三维建模软件,例如Blender、3ds Max以及Maya等;
使用软件中的工具创建电缆的基本形状,可以使用圆柱体或圆管来代表电缆的主体部分,根据电缆的直径确定合适的尺寸;
根据电缆的空间位置信息,在三维建模软件中移动和定位电缆的模型;
根据电缆的走向和曲率,在三维建模软件中调整电缆的形状,可以使用曲线工具或变形工具来模拟电缆的走向和曲率。
在本方案中,可选的,所述装置还包括:
手动标定模块,用于在所述拍摄图像中包括至少两条已敷设电缆时,生成手动标定信息,以根据采集到的标定操作的标定对象,确定需要生成空间模型的目标电缆。
手动标定信息可以是一条用于提示工作人员手动标定目标电缆的信息。生成手动标定信息的方式,可以采用智能终端设备的显示屏弹出手动标定窗口,手动标定窗口显示机器人摄像头采集的拍摄图像以及根据像素特征对至少两条已敷设电缆的分类标记。
标定操作可以是工作人员在至少两条已敷设电缆中选择出目标电缆,点击目标电缆的分类标记完成对目标电缆的标定。
本技术方案这样设置的好处是,通过在拍摄图像中包括至少两条已敷设电缆时,确定需要生成空间模型的目标电缆,可以避免拍摄图像中的非目标电缆干扰目标电缆的空间模型的生成,从而提高生成的空间模型的准确性。
在本申请实例中,图像采集模块,用于通过配置有摄像头的机器人采集目标电缆的拍摄图像;位姿获取模块,用于获取所述拍摄图像采集过程中摄像头的位置信息和姿态信息;物理参数解析模块,用于根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,进行物理参数解析,得到所述目标电缆的物理参数;模型生成模块,用于根据所述物理参数生成所述目标电缆的空间模型。本技术方案,通过根据机器人的位置与姿态信息以及目标电缆的拍摄图像,解析得到目标电缆的物理参数,可以自动生成目标电缆的空间模型,提高电缆录入的工作效率。
实施例二
图2是本申请实施例二提供的基于电缆图像的模型自动生成装置的结构示意图。本方案在上述实施例的基础上做出了更优的改进,具体改进为:所述装置还包括:边缘位置确定模块,用于根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,确定当前拍摄图像的图像两侧边缘的电缆空间位置;拍摄提示模块,用于根据所述图像两侧边缘的电缆空间位置生成拍摄提示信息。
如图2所示,所述装置包括:
图像采集模块210,用于通过配置有摄像头的机器人采集目标电缆的拍摄图像;
位姿获取模块220,用于获取所述拍摄图像采集过程中摄像头的位置信息和姿态信息;
物理参数解析模块230,用于根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,进行物理参数解析,得到所述目标电缆的物理参数;
模型生成模块240,用于根据所述物理参数生成所述目标电缆的空间模型;
边缘位置确定模块250,用于根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,确定当前拍摄图像的图像两侧边缘的电缆空间位置;
拍摄提示模块260,用于根据所述图像两侧边缘的电缆空间位置生成拍摄提示信息。
确定电缆空间位置的方式,可以采用获取拍摄图像中图像两侧边缘的电缆在像素坐标系中的像素位置(即图像上的坐标),根据摄像头的内部参数将像素位置转换为相机坐标系中的坐标,最后根据摄像头的位置信息和姿态信息将相机坐标系中的坐标转换为电缆敷设地图中的坐标(即电缆空间位置)。
拍摄提示信息可以是一条用于提示工作人员控制机器人摄像头采集拍摄图像的信息。生成拍摄提示信息的方式,可以采用智能终端设备通过弹出窗口显示摄像头采集的画面、摄像头姿态调整控制选项、机器人位置调整控制选项以及拍摄提示图标来显示拍摄提示信息。
拍摄提示信息还可以是一条用于自主控制机器人摄像头采集拍摄图像的计算机指令。生成拍摄提示信息的方式,还可以采用计算机执行预置程序对机器人与摄像头进行控制。
特别的,拍摄提示信息的生成周期可以根据当前拍摄图像的图像两侧边缘的电缆空间位置确定,两个电缆空间位置的z值的差值越大,拍摄提示信息的生成周期越短,通过及时调整机器人摄像头,可以防止电缆的走向上升或下降过快导致机器人摄像头无法采集到电缆,致使无法生成电缆的空间模型。
本技术方案这样设置的好处是,通过根据图像两侧边缘的电缆空间位置生成拍摄提示信息,可以保证机器人摄像头始终能够采集到目标电缆,从而保证目标电缆的空间模型的准确生成。
在本方案中,可选的,所述装置还包括:
拍摄位置确定模块,用于根据当前拍摄图像中所述目标电缆的电缆空间位置,确定所述机器人采集下一拍摄图像时的目标拍摄位置;
路线控制模块,用于根据所述目标拍摄位置以及所述机器人所在的当前拍摄位置生成移动路线,并根据所述移动路线控制所述机器人移动。
目标拍摄位置可以是机器人采集下一拍摄图像时的定位映射在电缆敷设地图中的坐标。确定目标拍摄位置的方式,可以根据当前拍摄图像中目标电缆的电缆空间位置确定目标电缆的走向,并根据当前拍摄图像的图像两侧边缘的电缆空间位置以及目标电缆的走向预测下一张拍摄图像中目标电缆的电缆空间位置,最后根据下一张拍摄图像中目标电缆的电缆空间位置确定机器人采集下一拍摄图像时的目标拍摄位置。
生成移动路线的方式,可以采用根据目标电缆的走向,使用光滑直线或曲线连接当前拍摄位置以及采集下一拍摄图像时的目标拍摄位置。
下面是一个简单的示例代码,用于生成移动路线:
在这个示例代码中,假设机器人的当前拍摄位置是`(current_x,current_y)`,目标拍摄位置是ˋ(target_x,target_y)ˋ,电缆的走向信息存储在变量ˋcable_directionˋ中。根据机器人当前拍摄位置和目标拍摄位置的相对关系,确定机器人在X轴和Y轴上的移动方向,然后根据电缆的走向,逐步生成移动路线,直到机器人到达目标位置。
控制机器人移动的方式,机器人根据移动路线调整移动装置的方向与速度,当机器人到达目标拍摄位置时停止移动。进一步的,当机器人到达目标拍摄位置时无法完整采集到目标电缆,机器人可以根据画面中的目标电缆的电缆空间位置进行进一步的位置调整。
本技术方案这样设置的好处是,通过根据当前拍摄图像中目标电缆的电缆空间位置,确定机器人采集下一拍摄图像时的目标拍摄位置,可以保证机器人能够顺延目标电缆移动,完成对目标电缆的所有拍摄图像的采集工作,从而保证目标电缆的空间模型的准确生成。
实施例三
图3是本申请实施例一提供的基于电缆图像的模型自动生成装置的结构示意图。本方案在上述实施例的基础上做出了更优的改进,具体改进为:所述装置还包括:置信度计算模块,用于根据所述摄像头的位置信息和姿态信息,以及所述机器人的当前拍摄位置和所述当前拍摄位置的周边环境信息,确定当前拍摄图像的置信度;拼接模块,用于在对当前拍摄图像与当前拍摄图像的上一拍摄图像和下一拍摄图像进行拼接时,根据所述置信度确定两拍摄图像拼接位置处所述目标电缆的电缆空间位置。
如图3所示,所述装置包括:
图像采集模块310,用于通过配置有摄像头的机器人采集目标电缆的拍摄图像;
位姿获取模块320,用于获取所述拍摄图像采集过程中摄像头的位置信息和姿态信息;
物理参数解析模块330,用于根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,进行物理参数解析,得到所述目标电缆的物理参数;
模型生成模块340,用于根据所述物理参数生成所述目标电缆的空间模型;
置信度计算模块350,用于根据所述摄像头的位置信息和姿态信息,以及所述机器人的当前拍摄位置和所述当前拍摄位置的周边环境信息,确定当前拍摄图像的置信度;
拼接模块360,用于在对当前拍摄图像与当前拍摄图像的上一拍摄图像和下一拍摄图像进行拼接时,根据所述置信度确定两拍摄图像拼接位置处所述目标电缆的电缆空间位置。
周边环境信息可以包括机器人所处位置的照明条件、遮挡物以及地势等。照明条件可以影响机器人采集到的拍摄图像的亮度和对比度,从而影响图像的质量和可用性,进一步影响对目标电缆的物理参数的解析;目标电缆与机器人之间可能存在着障碍物,使机器人摄像头可能无法直接采集到电缆,或者电缆的一部分可能被遮挡,从而影响图像的完整性和清晰度;机器人在不同地势上行进时,其相对于电缆的位置和角度可能会发生变化,这可能导致拍摄图像中电缆的可见部分和视角发生改变;地势的不平坦性可能会对机器人搭载的摄像头的稳定性产生影响,在颠簸或震动的地方,摄像头可能会受到机器人运动的干扰,导致图像模糊或晃动,这可能降低图像的清晰度和可读性。
置信度可以是指对某个观点、结论或事件的信任程度或可信程度,具体的,可以是对当前拍摄图像的准确性的评价,用百分比数值进行表示。确定置信度的方式,可以采用将摄像头的位置信息和姿态信息以及机器人的当前拍摄位置和当前拍摄位置的周边环境信息输入进神经网络模型,神经网络模型经过对上述输入参数的综合评价,对置信度进行反馈。
确定电缆空间位置的方式,可以采用对拼接位置处的电缆空间位置以及对应的置信度作乘法运算得到拼接位置处的基准空间位置,并将两个基准空间位置的加和除以两个置信度的加和,所得计算结果即为最终的电缆空间位置。
假设,拍摄图像1的拼接位置处的电缆空间位置为(45,123,5),拍摄图像1的置信度为80%,拍摄图像2的拼接位置处的电缆空间位置为(42,135,7),拍摄图像2的置信度为70%,则:
拍摄图像1的拼接位置处的基准空间位置
=(45×80%,123×80%,5×80%)
=(36,98.4,4)
拍摄图像2的拼接位置处的基准空间位置
=(42×70%,135×70%,7×70%)
=(29.4,94.5,4.9)
拼接位置处最终的电缆空间位置
=[(36+29.4)/(80%+70%),(98.4+94.5)/(80%+70%),(4
+4.9)/(80%+70%)]
=(65.4/1.5,192.9/1.5,8.9/1.5)
=(43.6,128.6,5.9)
本技术方案这样设置的好处是,通过确定当前拍摄图像的置信度,并根据置信度确定两拍摄图像拼接位置处目标电缆的电缆空间位置,可以降低周边环境因素造成的误差,从而提高生成的空间模型的准确性。
实施例四
图4是本申请实施例四提供的基于电缆图像的模型自动生成方法的流程示意图。如图4所示,具体包括如下步骤:
S401、通过配置有摄像头的机器人采集目标电缆的拍摄图像;
S402、获取所述拍摄图像采集过程中摄像头的位置信息和姿态信息;
S403、根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,进行物理参数解析,得到所述目标电缆的物理参数;
S404、根据所述物理参数生成所述目标电缆的空间模型。
在本申请实施例中,通过配置有摄像头的机器人采集目标电缆的拍摄图像;获取所述拍摄图像采集过程中摄像头的位置信息和姿态信息;根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,进行物理参数解析,得到所述目标电缆的物理参数;根据所述物理参数生成所述目标电缆的空间模型。上述基于电缆图像的模型自动生成方法,通过根据机器人的位置与姿态信息以及目标电缆的拍摄图像,解析得到目标电缆的物理参数,可以自动生成目标电缆的空间模型,提高电缆录入的工作效率。
本申请实施例提供的基于电缆图像的模型自动生成方法与上述实施例所提供的基于电缆图像的模型自动生成装置相对应,具有相同的功能模块和有益效果,为避免重复,这里不再赘述。
实施例五
如图5所示,本申请实施例还提供一种电子设备500,包括处理器501,存储器502,存储在存储器502上并可在所述处理器501上运行的程序或指令,该程序或指令被处理器501执行时实现上述基于电缆图像的模型自动生成装置实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
实施例六
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述基于电缆图像的模型自动生成装置实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
实施例七
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述基于电缆图像的模型自动生成装置实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由权利要求的范围决定。
Claims (10)
1.一种基于电缆图像的模型自动生成装置,其特征在于,所述装置包括:
图像采集模块,用于通过配置有摄像头的机器人采集目标电缆的拍摄图像;
位姿获取模块,用于获取所述拍摄图像采集过程中摄像头的位置信息和姿态信息;
物理参数解析模块,用于根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,进行物理参数解析,得到所述目标电缆的物理参数;
模型生成模块,用于根据所述物理参数生成所述目标电缆的空间模型。
2.根据权利要求1所述的基于电缆图像的模型自动生成装置,其特征在于,所述装置还包括:
边缘位置确定模块,用于根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,确定当前拍摄图像的图像两侧边缘的电缆空间位置;
拍摄提示模块,用于根据所述图像两侧边缘的电缆空间位置生成拍摄提示信息。
3.根据权利要求2所述的基于电缆图像的模型自动生成装置,其特征在于,所述装置还包括:
拍摄位置确定模块,用于根据当前拍摄图像中所述目标电缆的电缆空间位置,确定所述机器人采集下一拍摄图像时的目标拍摄位置;
路线控制模块,用于根据所述目标拍摄位置以及所述机器人所在的当前拍摄位置生成移动路线,并根据所述移动路线控制所述机器人移动。
4.根据权利要求1所述的基于电缆图像的模型自动生成装置,其特征在于,所述物理参数解析模块,具体用于:
根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,解析得到所述目标电缆空间位置信息、直径、走向以及曲率中的至少一种。
5.根据权利要求1所述的基于电缆图像的模型自动生成装置,其特征在于,所述装置还包括:
置信度计算模块,用于根据所述摄像头的位置信息和姿态信息,以及所述机器人的当前拍摄位置和所述当前拍摄位置的周边环境信息,确定当前拍摄图像的置信度;
拼接模块,用于在对当前拍摄图像与当前拍摄图像的上一拍摄图像和下一拍摄图像进行拼接时,根据所述置信度确定两拍摄图像拼接位置处所述目标电缆的电缆空间位置。
6.根据权利要求1所述的基于电缆图像的模型自动生成装置,其特征在于,所述装置还包括:
手动标定模块,用于在所述拍摄图像中包括至少两条已敷设电缆时,生成手动标定信息,以根据采集到的标定操作的标定对象,确定需要生成空间模型的目标电缆。
7.一种基于电缆图像的模型自动生成方法,其特征在于,所述方法包括:
通过配置有摄像头的机器人采集目标电缆的拍摄图像;
获取所述拍摄图像采集过程中摄像头的位置信息和姿态信息;
根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,进行物理参数解析,得到所述目标电缆的物理参数;
根据所述物理参数生成所述目标电缆的空间模型。
8.根据权利要求7所述的基于电缆图像的模型自动生成方法,其特征在于,在获取所述拍摄图像采集过程中摄像头的位置信息和姿态信息之后,所述方法还包括:
根据所述目标电缆在所述拍摄图像中的像素特征,以及所述摄像头的位置信息和姿态信息,确定当前拍摄图像的图像两侧边缘的电缆空间位置;
根据所述图像两侧边缘的电缆空间位置生成拍摄提示信息。
9.根据权利要求8所述的基于电缆图像的模型自动生成方法,其特征在于,在确定当前拍摄图像的图像两侧边缘的电缆空间位置之后,所述方法还包括:
根据当前拍摄图像中所述目标电缆的电缆空间位置,确定所述机器人采集下一拍摄图像时的目标拍摄位置;
根据所述目标拍摄位置以及所述机器人所在的当前拍摄位置生成移动路线,并根据所述移动路线控制所述机器人移动。
10.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求7-9中任一项所述的基于电缆图像的模型自动生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311230296.1A CN117496045A (zh) | 2023-09-21 | 2023-09-21 | 一种基于电缆图像的模型自动生成装置、方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311230296.1A CN117496045A (zh) | 2023-09-21 | 2023-09-21 | 一种基于电缆图像的模型自动生成装置、方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117496045A true CN117496045A (zh) | 2024-02-02 |
Family
ID=89669764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311230296.1A Pending CN117496045A (zh) | 2023-09-21 | 2023-09-21 | 一种基于电缆图像的模型自动生成装置、方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117496045A (zh) |
-
2023
- 2023-09-21 CN CN202311230296.1A patent/CN117496045A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112793564B (zh) | 一种基于全景鸟瞰图和深度学习的自主泊车辅助系统 | |
CN115439424B (zh) | 一种无人机航拍视频图像智能检测方法 | |
CN109977813B (zh) | 一种基于深度学习框架的巡检机器人目标定位方法 | |
CN104330074B (zh) | 一种智能测绘平台及其实现方法 | |
CN109387186B (zh) | 测绘信息获取方法、装置、电子设备及存储介质 | |
CN109520500B (zh) | 一种基于终端拍摄图像匹配的精确定位及街景库采集方法 | |
CN111401146A (zh) | 一种无人机电力巡检方法、设备及存储介质 | |
CN110246175A (zh) | 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法 | |
CN110473221A (zh) | 一种目标物体自动扫描系统及方法 | |
CN109900274B (zh) | 一种图像匹配方法及系统 | |
CN114841944B (zh) | 基于挂轨轨道机器人的尾矿坝表面形变巡检方法 | |
CN113205507A (zh) | 一种视觉问答方法、系统及服务器 | |
CN115272452A (zh) | 一种目标检测定位方法、装置、无人机及存储介质 | |
CN114972421A (zh) | 车间物料识别追踪与定位方法、系统 | |
CN116229247A (zh) | 室内场景语义分割方法、装置、设备和介质 | |
CN117333600A (zh) | 通过虚拟现实引擎生成数据集的方法、装置和设备 | |
CN111780744A (zh) | 移动机器人混合导航方法、设备及存储装置 | |
EP3825804A1 (en) | Map construction method, apparatus, storage medium and electronic device | |
CN114273826A (zh) | 用于大型待焊接工件的焊接位置自动识别方法 | |
CN112529498B (zh) | 一种仓储物流管理方法及系统 | |
CN114494582A (zh) | 一种基于视觉感知的三维模型动态更新方法 | |
WO2024147898A1 (en) | Parking space detection method and system | |
CN111527375A (zh) | 一种测绘采样点的规划方法、装置、控制终端及存储介质 | |
CN112419402A (zh) | 一种基于多光谱影像和激光点云的定位方法及系统 | |
CN116736259A (zh) | 一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |