CN116977328B - 车底机器人主动视觉中的图像质量评估方法 - Google Patents
车底机器人主动视觉中的图像质量评估方法 Download PDFInfo
- Publication number
- CN116977328B CN116977328B CN202311206002.1A CN202311206002A CN116977328B CN 116977328 B CN116977328 B CN 116977328B CN 202311206002 A CN202311206002 A CN 202311206002A CN 116977328 B CN116977328 B CN 116977328B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- point cloud
- standard
- chart
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 10
- 230000036544 posture Effects 0.000 claims abstract description 62
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 93
- 238000013461 design Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 abstract description 9
- 230000009471 action Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像数据处理领域,具体公开了一种车底机器人主动视觉中的图像质量评估方法,包括获取标准图、标准图和当前过车图RGB图像目标检测、映射点云图、计算标准图和当前过车图点云的位置和姿态;通过综合考虑点云图各点的坐标和方向,计算出能表征目标点云的位置和姿态的参数,利用该参数能够快速且正确的判断出过车图相对于标准图的偏差,使得机械臂做出有效的反馈动作,自动调整并适应拍摄的位置和姿态,拍摄到更多更高质量的过车图,并将拍摄时的姿态记录,加入此后的拍摄流程中,获得更高质量的过车图,提高检测结果的准确性,解决了车底机器人的拍摄姿态与预先设定的姿态不一致,影响了拍摄图像质量以及车底故障判断准确性的问题。
Description
技术领域
本发明涉及图像数据处理领域,更具体地说,本发明涉及一种车底机器人主动视觉中的图像质量评估方法。
背景技术
动车是一个复杂的交通运输工具,传统的动车巡检往往依赖于人力,而且只能在夜间作业,巡检结果受到光线的影响,巡检的人员也极易发生疲劳,无法保障巡检效果,为了高效解决车底检修人工作业的高风险、易疲劳以及效率低的问题,车底机器人应运而生,它能够通过自主移动机器人平台结合图像识别处理机器,对动车、火车底部关键检修点进行精确成像,利用人工智能技术判断车底关键部件异常状态,实现车底检修作业的自动化和智能化,在动车的检修过程中,利用车底机器人对动车车底的零部件进行RGB-D拍照,并使用计算机视觉算法判断零部件的故障情况,节省了很多的人力和时间成本,而且车底机器人都是沿着固定的轨道行进,对车底的零部件拍照,针对车底的具体零部件,其拍照的位置、距离以及姿态都是事先固定好的,拍照过程中应不发生改变,但是在实际的拍摄过程中会存在很多的意外和情况,会导致车底机器人的拍摄姿态与预先设定的姿态不一致,拍摄的过车图相对于标准图存在偏差,影响了拍摄图像的质量以及车底故障判断的准确性。为了解决上述问题,现提供一种技术方案。
发明内容
为了克服现有技术的上述缺陷,本发明的实施例提供一种车底机器人主动视觉中的图像质量评估方法,通过综合考虑点云图各点的坐标和方向,计算出能表征目标点云的位置和姿态的参数,利用该参数能够快速且正确的判断出过车图相对于标准图的偏差,使得机械臂做出有效的反馈动作,自动调整并适应拍摄的位置和姿态,拍摄到更多更高质量的过车图,并将拍摄时的姿态记录,加入此后的拍摄流程中,获得更高质量的过车图,提高检测结果的准确性。
为实现上述目的,本发明提供如下技术方案:
一种车底机器人主动视觉中的图像质量评估方法,包括如下步骤:
步骤S1,获取标准图:拍摄一组高质量的正常过车图,将该组过车图作为标准图,标准图包含拍摄的RGB图像以及其对应的点云图;
步骤S2,标准图和当前过车图RGB图像目标检测:在车底机器人开始主动检测拍摄时,在相应的点位上利用YoloV5目标检测算法同时在标准图和当前过车图的RGB图像上检测出目标物,并对目标框扩若干像素值,分别构成标准图和当前过车图RGB图像的ROI目标区域;
步骤S3,映射点云图:将标准图和当前过车图RGB图像的ROI目标区域同时映射到各自的点云图中,裁剪区域的点云并分别缩放这两个点云图;
步骤S4,计算标准图和当前过车图点云的位置和姿态:利用三维空间算子分别计算标准图和当前过车图电源的位置和姿态,三维空间算子能够正确表征目标点云的位置和姿态。
作为本发明进一步的方案,在步骤S2中,对目标框扩展的像素值为整体像素总数的十分之一。
作为本发明进一步的方案,在步骤S2中,利用YoloV5目标检测算法进行目标物检测的方法包括:
步骤一,数据准备:准备标准图的RGB图像和对应的点云图,以及当前过车图的RGB图像,下载或配置YoloV5的预训练权重,这些权重用于目标检测模型的初始化;
步骤二:YoloV5目标检测:加载YoloV5模型,将预训练的YoloV5模型加载到内存中,准备进行目标检测;
步骤三,图像预处理:对标准图的RGB图像和当前过车图的RGB图像进行预处理,包括调整大小、归一化,以适应YoloV5模型的输入要求;
步骤四:执行目标检测:对标准图的RGB图像进行目标检测,将经过预处理的标准图RGB图像输入到YoloV5模型中,通过模型推断得到在图像中检测到的目标框,每个框会包含目标物的位置和类别信息,对当前过车图的RGB图像进行目标检测,将经过预处理的当前过车图RGB图像输入到YoloV5模型中,得到在当前过车图RGB图像中检测到的目标框。
作为本发明进一步的方案,在步骤S4中,三维空间算子在设计时,设置一块半径为R的圆形区域,以R为半径的圆形区域的外接正方形框内,以该正方形的对角线交点为原点,过原点做相互垂直的两条直线,且这两条直线分别与这个正方形相邻的两条边平行,以这两条直线分别为轴和/>轴,以过原点垂直于该正方形所在平面向上的直线为/>轴,构建三维相对坐标系,对点云中的每个点,获取以原点为中心,以2R为棱长的正方体空间内所有点的法向量/>和坐标/>,再对区域内所有的点云坐标进行加权叠加作为区域的设计中心点坐标,设计中心点的加权权重为0.5,剩余点的个数为/>,剩余点的权重为/>,区域中每个点坐标的公式为:
;
式中:为区域中每个点的横坐标,/>为区域中每个点的纵坐标,/>为区域中每个点的竖坐标,/>为设计中心点的/>轴坐标,/>为设计中心点的/>轴坐标,/>为设计中心点的/>轴坐标,/>为剩余/>个点的序号。
作为本发明进一步的方案,在步骤S4中,在获取设计中心点坐标后,再计算区域所有点的法向量,将区域内所有点的法向量向设计中心点向量投影,并乘以加权系数,中心点的加权系数为0.5,剩余个点的权重系数为/>,区域内所有点向设计中心点向量投影的公式为:
;
式中:为区域内所有点向设计中心点向量投影,/>为设计中心点向量的模长,/>为设计中心点向量,/>为区域内剩余点法向量向设计中心点向量投影的投影向量,/>为区域内第/>个点法向量与设计中心点向量之间夹角的余弦值。
作为本发明进一步的方案,在步骤S4中,获取区域内所有点向设计中心点向量投影后,将所有区域点的位置坐标叠加,求取叠加坐标的均值,将该均值作为该点云图在空间中的位置坐标,将所有区域点计算后的法向量做矢量叠加运算,获取叠加和向量,将叠加和向量的指向作为该点云图的方向指向,对这个区域内所有点进行这样的操作,完整表征点云图,点云图中共有个点云,将点云图坐标以及点云图的指向矢量作为点云图中每个点的三维算子,点云图中每个点的三维算子公式为:/>;
;
式中:为点云图的坐标,/>为点云图内的点向设计中心点向量投影后的位置坐标,/>为点云图的指向矢量,/>为点云图中每个点计算后的法向量,/>为区域内的点。
作为本发明进一步的方案,在步骤S4中,标准图和当前过车图点云的位置调整值为当前过车图的点云图坐标减去标准图的点云图坐标,标准图和当前过车图点云的姿态调整值为当前过车图点云图的指向矢量减去标准图点云图的指向矢量,标准图和当前过车图点云的位置调整值和姿态调整值分别为:
;
;
式中:、/>分别为标准图和当前过车图点云的位置调整值和姿态调整值,/>、/>分别为当前过车图的点云图坐标减、标准图的点云图坐标,/>、/>分别为当前过车图点云图的指向矢量、标准图点云图的指向矢量。
作为本发明进一步的方案,在步骤S4中,在获取标准图和当前过车图点云的位置调整值和姿态调整值后,判断标准图和当前过车图点云的位置调整值和姿态调整值是否在允许的阈值范围内:
当标准图和当前过车图点云的位置调整值和姿态调整值在允许的阈值范围内,拍摄图像成功,并将拍摄时的姿态记录,计入此后的拍摄流程中;
当标准图和当前过车图点云的位置调整值和姿态调整值不在允许的阈值范围内,车底机器人的机械臂根据标准图和当前过车图点云的位置调整值和姿态调整值进行自适应调整,调整完成后再次拍摄图片。
本发明一种车底机器人主动视觉中的图像质量评估方法的技术效果和优点:本发明通过综合考虑点云图各点的坐标和方向,计算出能表征目标点云的位置和姿态的参数,利用该参数能够快速且正确的判断出过车图相对于标准图的偏差,使得机械臂做出有效的反馈动作,自动调整并适应拍摄的位置和姿态,拍摄到更多更高质量的过车图,并将拍摄时的姿态记录,加入此后的拍摄流程中,获得更高质量的过车图,提高检测结果的准确性。
附图说明
图1为本发明一种车底机器人主动视觉中的图像质量评估方法流程图。
具体实施方式
下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的内容仅仅是本发明一部分技术方案,而不是全部的技术方案。基于本发明中的技术方案,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他技术方案,都属于本发明保护的范围。
如图1所示,本发明提出的一种车底机器人主动视觉中的图像质量评估方法,通过综合考虑点云图各点的坐标和方向,计算出能表征目标点云的位置和姿态的参数,利用该参数能够快速且正确的判断出过车图相对于标准图的偏差,使得机械臂做出有效的反馈动作,自动调整并适应拍摄的位置和姿态,拍摄到更多更高质量的过车图,并将拍摄时的姿态记录,加入此后的拍摄流程中,获得更高质量的过车图,提高检测结果的准确性,该方法具体包括如下步骤:
步骤S1,获取标准图:拍摄一组高质量的正常过车图,将该组过车图作为标准图,标准图包含拍摄的RGB图像以及其对应的点云图;
步骤S2,标准图和当前过车图RGB图像目标检测:在车底机器人开始主动检测拍摄时,在相应的点位上利用YoloV5目标检测算法同时在标准图和当前过车图的RGB图像上检测出目标物,并对目标框扩若干像素值,分别构成标准图和当前过车图RGB图像的ROI目标区域;
步骤S3,映射点云图:将标准图和当前过车图RGB图像的ROI目标区域同时映射到各自的点云图中,裁剪区域的点云并分别缩放这两个点云图;
步骤S4,计算标准图和当前过车图点云的位置和姿态:利用三维空间算子分别计算标准图和当前过车图电源的位置和姿态,三维空间算子能够正确表征目标点云的位置和姿态。
需要说明的是,在步骤S2中,对目标框扩展的像素值为整体像素总数的十分之一,在目标检测任务中,目标物体会因为姿态变化、角度变化等因素导致目标框无法完全包围目标,通过扩展目标框,降低了漏检的风险,确保目标物体的一部分仍在框内,同时,一些误检也能被包括在目标框内,减少不必要的误报;扩展目标框能捕捉目标物体周围的环境信息,这对于理解目标物体在整个场景中的位置和关系非常有用,这些上下文信息有助于更准确地进行后续的点云映射、位置姿态计算等处理步骤;扩展目标框能使得目标物体更稳定地存在于ROI目标区域中,即使存在一些姿态变化或图像噪声,也能够保持目标的连贯性,有助于后续算法的稳定性和鲁棒性;扩展目标框增加了所提取的区域的数据量,为后续处理提供更多的信息,有助于提高算法的性能。
进一步地,在步骤S2中,利用YoloV5目标检测算法进行目标物检测的方法包括:
步骤一,数据准备:准备标准图的RGB图像和对应的点云图,以及当前过车图的RGB图像,下载或配置YoloV5的预训练权重,这些权重用于目标检测模型的初始化;
步骤二:YoloV5目标检测:加载YoloV5模型,将预训练的YoloV5模型加载到内存中,准备进行目标检测;
步骤三,图像预处理:对标准图的RGB图像和当前过车图的RGB图像进行预处理,包括调整大小、归一化,以适应YoloV5模型的输入要求;
步骤四:执行目标检测:对标准图的RGB图像进行目标检测,将经过预处理的标准图RGB图像输入到YoloV5模型中,通过模型推断得到在图像中检测到的目标框,每个框会包含目标物的位置和类别信息,对当前过车图的RGB图像进行目标检测,将经过预处理的当前过车图RGB图像输入到YoloV5模型中,得到在当前过车图RGB图像中检测到的目标框。
YoloV5是一种快速、高效的目标检测算法,能够在短时间内对图像中的目标进行准确的检测和定位,使用YoloV5能快速捕捉图像中的目标物体,为后续的处理步骤提供可靠的数据基础;YoloV5是端到端的目标检测算法,能够直接从原始图像中检测目标物体,无需手动设计特征提取器等步骤,这种自动化的特点使得目标检测过程更加简便和高效;YoloV5支持多类别目标检测,能够同时检测图像中的多个不同类别的目标物体,这对于车底机器人场景中会出现的多种目标物体(例如零件、螺丝等)非常有用;检测到的目标框能提供目标物体的位置和边界信息,同时,由于目标框扩展了一定像素值,还能够获取目标物体周围的一些上下文信息,有助于后续的点云映射和位置姿态计算,从而提高整个流程的准确性;YoloV5算法在不同尺寸的图像上都表现出色,这意味着它在不同分辨率的图像上都能有效工作,适应不同情况下的目标检测需求。
需要说明的是,在步骤S4中,三维空间算子在设计时,设置一块半径为R的圆形区域,以R为半径的圆形区域的外接正方形框内,以该正方形的对角线交点为原点,过原点做相互垂直的两条直线,且这两条直线分别与这个正方形相邻的两条边平行,以这两条直线分别为轴和/>轴,以过原点垂直于该正方形所在平面向上的直线为/>轴,构建三维相对坐标系,对点云中的每个点,获取以原点为中心,以2R为棱长的正方体空间内所有点的法向量/>和坐标/>,再对区域内所有的点云坐标进行加权叠加作为区域的设计中心点坐标,设计中心点的加权权重为0.5,剩余点的个数为/>,剩余点的权重为/>,区域中每个点坐标的公式为:
;
式中:为区域中每个点的横坐标,/>为区域中每个点的纵坐标,/>为区域中每个点的竖坐标,/>为设计中心点的/>轴坐标,/>为设计中心点的/>轴坐标,/>为设计中心点的/>轴坐标,/>为剩余/>个点的序号。
使用圆形区域和加权叠加法,能够有效地提取目标物体周围的局部特征信息,有助于捕获目标物体的形状、轮廓和其他细节,从而提供更多的信息用于后续的位置和姿态计算;通过对局部区域内的点云进行加权叠加,能够平衡噪声的影响,减小局部区域内个别点的不良影响,有助于提高算法的稳定性和准确性,尤其在点云数据存在噪声或不完整的情况下;使用加权设计中心点更好地反映了局部点云的分布情况,设计中心点的加权权重考虑了设计中心点和其他剩余点之间的相对重要性,确保了设计中心点更符合局部点云的整体特征;加权叠加方法在一定程度上减弱局部点云中的异常点或噪声对最终结果的影响,有助于提高算法对于干扰和噪声的抵抗能力;结合半径为R的圆形区域、加权叠加和三维坐标系的构建,该方法能在保留局部特征的同时,提高设计中心点的准确性,为后续的位置和姿态计算等步骤提供更可靠的输入。
进一步地,在步骤S4中,在获取设计中心点坐标后,再计算区域所有点的法向量,将区域内所有点的法向量向设计中心点向量投影,并乘以加权系数,中心点的加权系数为0.5,剩余个点的权重系数为/>,区域内所有点向设计中心点向量投影的公式为:
;
式中:为区域内所有点向设计中心点向量投影,/>为设计中心点向量的模长,/>为设计中心点向量,/>为区域内剩余点法向量向设计中心点向量投影的投影向量,/>为区域内第/>个点法向量与设计中心点向量之间夹角的余弦值。
通过将区域内所有点的法向量向设计中心点向量投影,能够得到一个局部法向量的平均或一致性方向,这对于识别和表征局部区域的几何形状和方向非常有用,有助于更准确地捕捉目标物体的外形和特征;使用加权系数对法向量进行投影计算,更好地反映了设计中心点和其他剩余点法向量的重要性,通过加权平均,设计中心点的法向量更能成为整个区域内点云法向量的代表,从而提高法向量计算的准确性;对坐标的加权叠加,对法向量进行加权投影也能够减小噪声和误差的影响,有助于更稳定地计算出设计中心点的法向量,减少局部不良点对结果的干扰;结合坐标加权叠加和法向量投影,该方法综合考虑了局部区域的坐标和几何特征,使得设计中心点更加符合目标物体的形状和方向,这进一步提高了后续位置和姿态计算等步骤的准确性。
在步骤S4中,获取区域内所有点向设计中心点向量投影后,将所有区域点的位置坐标叠加,求取叠加坐标的均值,将该均值作为该点云图在空间中的位置坐标,将所有区域点计算后的法向量做矢量叠加运算,获取叠加和向量,将叠加和向量的指向作为该点云图的方向指向,对这个区域内所有点进行这样的操作,完整表征点云图,点云图中共有个点云,将点云图坐标以及点云图的指向矢量作为点云图中每个点的三维算子,点云图中每个点的三维算子公式为:
;
;
式中:为点云图的坐标,/>为点云图内的点向设计中心点向量投影后的位置坐标,/>为点云图的指向矢量,/>为点云图中每个点计算后的法向量,/>为区域内的点。
将区域内所有点的投影坐标进行叠加并求取均值,得到的均值坐标能看作是区域点云图在空间中的位置坐标,有助于定位和表示整个区域内点云的中心位置,使得点云数据更具有空间定位信息;通过对所有区域点的法向量进行矢量叠加运算,能获取叠加和向量,将其指向作为点云图的方向指向,有助于确定点云图的主要方向或朝向,提供了点云数据的额外信息;将点云图的坐标和方向信息合并为三维算子,能完整地表征整个点云图,有助于将局部区域的信息整合为全局特征,为后续处理提供更具有综合性的数据表示;通过计算均值坐标和叠加和向量,能将原始点云数据在空间中进行降维,从而减少了点云数据的维度,使得后续处理更加高效;将位置坐标和方向信息合并为三维算子,能够提供更丰富的点云图特征,这些特征有助于进一步的分析、处理和决策。
需要说明的是,在步骤S4中,标准图和当前过车图点云的位置调整值为当前过车图的点云图坐标减去标准图的点云图坐标,标准图和当前过车图点云的姿态调整值为当前过车图点云图的指向矢量减去标准图点云图的指向矢量,标准图和当前过车图点云的位置调整值和姿态调整值分别为:
;
;
式中:、/>分别为标准图和当前过车图点云的位置调整值和姿态调整值,/>、/>分别为当前过车图的点云图坐标减、标准图的点云图坐标,/>、/>分别为当前过车图点云图的指向矢量、标准图点云图的指向矢量。
通过计算标准图和当前过车图点云的位置调整值和姿态调整值,实现了将标准图与实际过车图进行匹配和对齐,有助于确保分析和比较的一致性,使得标准图与实际图之间的位置和姿态差异更容易进行量化和理解;通过计算位置和姿态调整值,能够定量地评估标准图和当前过车图之间的差异,有助于判断实际图与标准的一致性程度,从而更好地评估当前过车图的图像质量和特征;在数据采集过程中存在一些误差(车辆位置的微小变化或摄像头角度的变动),通过计算调整值能对这些误差进行校正,有助于提高测量和分析的准确性;计算姿态调整值,即指向矢量的差值,确保了标准图和实际过车图的方向信息在计算中得到适当的对齐,对于后续的点云映射、位置和姿态计算等处理步骤非常重要;通过计算调整值,能使标准图和实际过车图在位置和姿态上更接近,从而使得数据的分析和比较更有意义,能够用于检测目标物体的变化、定位精度等方面的分析。
进一步地,在步骤S4中,在获取标准图和当前过车图点云的位置调整值和姿态调整值后,判断标准图和当前过车图点云的位置调整值和姿态调整值是否在允许的阈值范围内:
当标准图和当前过车图点云的位置调整值和姿态调整值在允许的阈值范围内,拍摄图像成功,并将拍摄时的姿态记录,计入此后的拍摄流程中;
当标准图和当前过车图点云的位置调整值和姿态调整值不在允许的阈值范围内,车底机器人的机械臂根据标准图和当前过车图点云的位置调整值和姿态调整值进行自适应调整,调整完成后再次拍摄图片。
通过判断标准图和当前过车图点云的位置调整值和姿态调整值是否在允许的阈值范围内,车底机器人能够实时地检测目标物体的位置和姿态变化,一旦检测到超出阈值的变化,立即触发自适应调整,实现实时的反馈和纠正;自适应调整机制保证了目标物体在测量过程中始终处于正确的位置和姿态,有助于提高测量的准确性和可靠性,确保测量结果的正确性;当标准图和当前过车图点云的位置调整值和姿态调整值在允许的阈值范围内,直接认定拍摄图像成功,避免不必要的重复拍摄,从而节省时间和资源;车底机器人在实际应用中会遇到环境变化、振动等因素,导致目标物体位置和姿态的微小变化,通过自适应调整,能适应这些不稳定的因素,提高系统的鲁棒性和稳定性;自适应调整使车底机器人能够在某种程度上自主地处理位置和姿态变化,而无需人工干预,有助于提高机器人的自主性和自动化程度。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
最后:以上所述仅为本发明的优选技术方案而已,并不用于限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种车底机器人主动视觉中的图像质量评估方法,其特征在于,包括如下步骤:
步骤S1,获取标准图:拍摄一组高质量的正常过车图,将过车图作为标准图,标准图包含拍摄的RGB图像以及其对应的点云图;
步骤S2,标准图和当前过车图RGB图像目标检测:在车底机器人开始主动检测拍摄时,在相应的点位上利用YoloV5目标检测算法同时在标准图和当前过车图的RGB图像上检测出目标物,并对目标框扩若干像素值,分别构成标准图和当前过车图RGB图像的ROI目标区域;
步骤S3,映射点云图:将标准图和当前过车图RGB图像的ROI目标区域同时映射到各自的点云图中,裁剪区域的点云并分别缩放这两个点云图;
步骤S4,计算标准图和当前过车图点云的位置和姿态:利用三维空间算子分别计算标准图和当前过车图电源的位置和姿态,三维空间算子能够正确表征目标点云的位置和姿态;在获取标准图和当前过车图点云的位置调整值和姿态调整值后,判断标准图和当前过车图点云的位置调整值和姿态调整值是否在允许的阈值范围内:
当标准图和当前过车图点云的位置调整值和姿态调整值在允许的阈值范围内,拍摄图像成功,并将拍摄时的姿态记录,计入此后的拍摄流程中;
当标准图和当前过车图点云的位置调整值和姿态调整值不在允许的阈值范围内,车底机器人的机械臂根据标准图和当前过车图点云的位置调整值和姿态调整值进行自适应调整,调整完成后再次拍摄图片;
在步骤S4中,三维空间算子在设计时,设置一块半径为R的圆形区域,以R为半径的圆形区域的外接正方形框内,以该正方形的对角线交点为原点,过原点做相互垂直的两条直线,且这两条直线分别与这个正方形相邻的两条边平行,以这两条直线分别为轴和/>轴,以过原点垂直于该正方形所在平面向上的直线为/>轴,构建三维相对坐标系,对点云中的每个点,获取以原点为中心,以2R为棱长的正方体空间内所有点的法向量/>和坐标/>,再对区域内所有的点云坐标进行加权叠加作为区域的设计中心点坐标,设计中心点的加权权重为0.5,剩余点的个数为/>,剩余点的权重为/>,区域中每个点坐标的公式为:
;
式中:为区域中每个点的横坐标,/>为区域中每个点的纵坐标,/>为区域中每个点的竖坐标,/>为设计中心点的/>轴坐标,/>为设计中心点的/>轴坐标,/>为设计中心点的/>轴坐标,/>为剩余/>个点的序号。
2.根据权利要求1所述的一种车底机器人主动视觉中的图像质量评估方法,其特征在于,在步骤S2中,对目标框扩展的像素值为整体像素总数的十分之一。
3.根据权利要求1所述的一种车底机器人主动视觉中的图像质量评估方法,其特征在于,在步骤S2中,利用YoloV5目标检测算法进行目标物检测的方法包括:
步骤一,数据准备:准备标准图的RGB图像和对应的点云图,以及当前过车图的RGB图像,下载或配置YoloV5的预训练权重,这些权重用于目标检测模型的初始化;
步骤二:YoloV5目标检测:加载YoloV5模型,将预训练的YoloV5模型加载到内存中,准备进行目标检测;
步骤三,图像预处理:对标准图的RGB图像和当前过车图的RGB图像进行预处理,包括调整大小、归一化,以适应YoloV5模型的输入要求;
步骤四:执行目标检测:对标准图的RGB图像进行目标检测,将经过预处理的标准图RGB图像输入到YoloV5模型中,通过模型推断得到在图像中检测到的目标框,每个框会包含目标物的位置和类别信息,对当前过车图的RGB图像进行目标检测,将经过预处理的当前过车图RGB图像输入到YoloV5模型中,得到在当前过车图RGB图像中检测到的目标框。
4.根据权利要求1所述的一种车底机器人主动视觉中的图像质量评估方法,其特征在于,在步骤S4中,在获取设计中心点坐标后,再计算区域所有点的法向量,将区域内所有点的法向量向设计中心点向量投影,并乘以加权系数,中心点的加权系数为0.5,剩余个点的权重系数为/>,区域内所有点向设计中心点向量投影的公式为:
;
式中:为区域内所有点向设计中心点向量投影,/>为设计中心点向量的模长,为设计中心点向量,/>为区域内剩余点法向量向设计中心点向量投影的投影向量,/>为区域内第/>个点法向量与设计中心点向量之间夹角的余弦值。
5.根据权利要求4所述的一种车底机器人主动视觉中的图像质量评估方法,其特征在于,在步骤S4中,获取区域内所有点向设计中心点向量投影后,将所有区域点的位置坐标叠加,求取叠加坐标的均值,将该均值作为该点云图在空间中的位置坐标,将所有区域点计算后的法向量做矢量叠加运算,获取叠加和向量,将叠加和向量的指向作为该点云图的方向指向,对这个区域内所有点进行这样的操作,完整表征点云图,点云图中共有个点云,将点云图坐标以及点云图的指向矢量作为点云图中每个点的三维算子,点云图中每个点的三维算子公式为:
;
;
式中:为点云图的坐标,/>为点云图内的点向设计中心点向量投影后的位置坐标,/>为点云图的指向矢量,/>为点云图中每个点计算后的法向量;/>为区域内的点。
6.根据权利要求5所述的一种车底机器人主动视觉中的图像质量评估方法,其特征在于,在步骤S4中,标准图和当前过车图点云的位置调整值为当前过车图的点云图坐标减去标准图的点云图坐标,标准图和当前过车图点云的姿态调整值为当前过车图点云图的指向矢量减去标准图点云图的指向矢量,标准图和当前过车图点云的位置调整值和姿态调整值分别为:
;
;
式中:、/>分别为标准图和当前过车图点云的位置调整值和姿态调整值,、/>分别为当前过车图的点云图坐标减、标准图的点云图坐标,、/>分别为当前过车图点云图的指向矢量、标准图点云图的指向矢量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311206002.1A CN116977328B (zh) | 2023-09-19 | 2023-09-19 | 车底机器人主动视觉中的图像质量评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311206002.1A CN116977328B (zh) | 2023-09-19 | 2023-09-19 | 车底机器人主动视觉中的图像质量评估方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116977328A CN116977328A (zh) | 2023-10-31 |
CN116977328B true CN116977328B (zh) | 2023-12-19 |
Family
ID=88479849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311206002.1A Active CN116977328B (zh) | 2023-09-19 | 2023-09-19 | 车底机器人主动视觉中的图像质量评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116977328B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117649542A (zh) * | 2023-11-30 | 2024-03-05 | 中科海拓(无锡)科技有限公司 | 一种基于主动视觉的动车运维机器人自动示教方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115546202A (zh) * | 2022-11-23 | 2022-12-30 | 青岛中德智能技术研究院 | 一种用于无人叉车的托盘检测与定位方法 |
EP4141474A1 (en) * | 2021-08-25 | 2023-03-01 | Hexagon Geosystems Services AG | System for 3d surveying by an autonomous robotic vehicle using lidar-slam and an estimated point distribution map for path planning |
CN115861999A (zh) * | 2022-09-30 | 2023-03-28 | 西北工业大学 | 一种基于多模态视觉信息融合的机器人抓取检测方法 |
CN116372938A (zh) * | 2023-05-10 | 2023-07-04 | 北京航空航天大学 | 一种基于双目立体视觉三维重建的表取采样机械臂精调方法及其装置 |
-
2023
- 2023-09-19 CN CN202311206002.1A patent/CN116977328B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4141474A1 (en) * | 2021-08-25 | 2023-03-01 | Hexagon Geosystems Services AG | System for 3d surveying by an autonomous robotic vehicle using lidar-slam and an estimated point distribution map for path planning |
CN115861999A (zh) * | 2022-09-30 | 2023-03-28 | 西北工业大学 | 一种基于多模态视觉信息融合的机器人抓取检测方法 |
CN115546202A (zh) * | 2022-11-23 | 2022-12-30 | 青岛中德智能技术研究院 | 一种用于无人叉车的托盘检测与定位方法 |
CN116372938A (zh) * | 2023-05-10 | 2023-07-04 | 北京航空航天大学 | 一种基于双目立体视觉三维重建的表取采样机械臂精调方法及其装置 |
Non-Patent Citations (1)
Title |
---|
车载激光点云与序列化全景影像融合方法;卢秀山;俞家勇;田茂义;刘如飞;石波;李鹏飞;;中国激光(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116977328A (zh) | 2023-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104484648B (zh) | 基于轮廓识别的机器人可变视角障碍物检测方法 | |
EP2430588B1 (en) | Object recognition method, object recognition apparatus, and autonomous mobile robot | |
CN111862201B (zh) | 一种基于深度学习的空间非合作目标相对位姿估计方法 | |
CN116977328B (zh) | 车底机器人主动视觉中的图像质量评估方法 | |
JP2012042396A (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
Nguyen et al. | 3D scanning system for automatic high-resolution plant phenotyping | |
CN111369495B (zh) | 一种基于视频的全景图像的变化检测方法 | |
CN110926330B (zh) | 图像处理装置和图像处理方法 | |
JP2016197287A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2019032218A (ja) | 位置情報記録方法および装置 | |
CN113313659B (zh) | 一种多机协同约束下高精度图像拼接方法 | |
CN112529827A (zh) | 遥感图像融合模型的训练方法及装置 | |
CN110796700A (zh) | 基于卷积神经网络的多物体抓取区域定位方法 | |
WO2020181506A1 (zh) | 一种图像处理方法、装置及系统 | |
CN114372992A (zh) | 一种基于动平台的边缘角点检测四目视觉算法 | |
CN113011285B (zh) | 车道线检测方法、装置、自动驾驶车辆及可读存储介质 | |
CN107767366B (zh) | 一种输电线路拟合方法及装置 | |
FR3070084B1 (fr) | Procede de controle automatique non destructif de pieces mecaniques | |
CN113436262A (zh) | 一种基于视觉的车辆目标位置和姿态角度的检测方法 | |
JPH08110807A (ja) | 自動キャリブレーション方法およびその装置 | |
CN114170317B (zh) | 泳池防溺水人头位置判断方法、装置及计算机设备 | |
CN112802112B (zh) | 视觉定位方法、装置、服务器及存储介质 | |
CN112950787B (zh) | 一种基于图像序列的目标物体三维点云生成方法 | |
JPH1151611A (ja) | 認識対象物体の位置姿勢認識装置および位置姿勢認識方法 | |
CN111815560B (zh) | 光伏电站故障检测方法、装置、便携检测设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |