CN115079727A - 一种巡检机器人云台调整方法 - Google Patents

一种巡检机器人云台调整方法 Download PDF

Info

Publication number
CN115079727A
CN115079727A CN202110273660.7A CN202110273660A CN115079727A CN 115079727 A CN115079727 A CN 115079727A CN 202110273660 A CN202110273660 A CN 202110273660A CN 115079727 A CN115079727 A CN 115079727A
Authority
CN
China
Prior art keywords
identified
inspection
image
template image
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110273660.7A
Other languages
English (en)
Inventor
刘光星
王军
卢静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gubo Robot Chongqing Co ltd
Original Assignee
Gubo Robot Chongqing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gubo Robot Chongqing Co ltd filed Critical Gubo Robot Chongqing Co ltd
Priority to CN202110273660.7A priority Critical patent/CN115079727A/zh
Publication of CN115079727A publication Critical patent/CN115079727A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种巡检机器人云台调整方法，包括根据预设巡检点设置一个或多个待识别对象的调整参数并获取待识别对象的模板图像，根据巡检任务将多个待识别对象的调整参数按顺序生成部署文件，其中，所述调整参数包括云台转动角度和相机参数；巡检机器人读取所述部署文件后，到达其中一个巡检点时，调整云台转动角度和相机参数，获取包含一个或多个待识别对象的巡检图像；计算待识别对象的所述巡检图像与对应模板图像的位置偏移量；当所述巡检图像中的待识别对象数量和/或顺序与所述模板图像不一致时，根据所述位置偏差修正所述调整参数；本发明可有效解决机器人巡检过程中拍照误差的问题，维护简单便捷。

Description

一种巡检机器人云台调整方法
技术领域
本发明涉及智能巡检领域，尤其涉及一种巡检机器人云台调整方法。
背景技术
巡检机器人的云台集成可见光和红外两种类型的相机，在巡检任务里，需要识别仪表读数、开关分合、油位计量、跑冒滴漏、设备测温等，拍摄高清可见光图像和红外测温图像对能否正确识别图像起到了关键作用。
在实际巡检中，通常拍摄到的照片会出现拍摄角度和视野偏差的问题，如果不进行纠正处理，则后续无法完成图像识别。通常导致拍照偏差因素有以下几个：
1.巡检机器人重复定位精度误差，目前绝大部分巡检机器人的重复定位精度误差在±5cm以上；
2.云台转动误差，云台的转动装置经过长时间的转动机械装置会出现磨损，从而导致云台转动的实际角度与设定角度出现偏差。
在实际云台应用中，一般是通过云台参数预置的方式预先写入云台的“预置点”，在机器人巡检过程中云台调用相应的“预置点”，从而使云台转到到指定“预置点”完成拍照工作。如果需要增加、修改、删除拍照点，需要对云台“预置点”做相应的修改，增加项目维护难度。这种工作方式有以下缺点：
1.在实际应用中，通常巡检机器人在巡检现场需要拍照识别的对象非常多，有高达1万个，那么要求云台支持存储大量的“预置点”，增加设备成本。
发明内容
鉴于以上现有技术存在的问题，本发明提出一种巡检机器人云台调整方法，主要解决拍照误差影响巡检准确性的问题。
为了实现上述目的及其他目的，本发明采用的技术方案如下。
一种巡检机器人云台调整方法，包括：
根据预设巡检点设置一个或多个待识别对象调整参数并获取待识别对象的模板图像，根据巡检任务将多个待识别对象的调整参数按顺序生成部署文件，其中，所述调整参数包括云台转动角度和相机参数；
巡检机器人读取所述部署文件后，到达其中一个巡检点时，调整云台转动角度和相机参数，获取包含一个或多个待识别对象的巡检图像；
计算待识别对象的所述巡检图像与对应模板图像的位置偏移量；
当所述巡检图像中的待识别对象数量和/或顺序与所述模板图像不一致时，根据所述位置偏差修正所述调整参数。
可选地，所述部署文件包括模板图像、云台转动角度、相机参数、待识别对象坐标位置、待识别对象类型。
可选地，设置便携式终端，通过便携式终端对所述模板图像中的待识别对象坐标位置和类型进行标定，并将标定信息输入所述部署文件。
可选地，计算待识别对象的所述巡检图像与对应模板图像的位置偏移量，包括：
通过侦测网络获取所述巡检图像中待识别对象的矩形外框，根据所述矩形外框左上角和右下角坐标确定巡检图像中对应待识别对象位置；
通过侦测网络获取所述模板图像中待识别对象的矩形外框，根据所述矩形外框左上角和右下角坐标确定模板图像中对应待识别对象位置；
根据所述巡检图像中待识别对象与所述模板图像中对应待识别对象的位置分别获取横轴和纵轴方向的最大偏移量作为所述位置偏移量。
可选地，根据所述位置偏差修正所述调整参数，包括：
当所述巡检图像中待识别对象数量与对应模板图像中待识别对象数量不一致时，根据所述位置偏移量重新设置云台转动角度和相机参数；
当所述巡检图像中待识别对象数量与对应模板图像中待识别对象数量一致时，按从上到下和/或从左到右的顺序对所述巡检图像以及对应模板图像中的待识别对象进行排序，若所述巡检图像与对应模板图像中待识别对象的顺序不一致，则根据所述位置偏移量重新设置云台转动角度和相机参数；若所述巡检图像与对应模板图像中待识别对象的顺序一致，则根据所述位置偏移量调整当前云台转动角度和相机参数，直到相机采集图像与模板图像中待识别对象位置一致。
可选地，所述侦测网络包括YoloV5。
如上所述，本发明一种巡检机器人云台调整方法，具有以下有益效果。
标定待识别对象，计算拍照偏移量，使得云台转动、相机参数等设置更为精确，保障巡检顺利进行；在巡检时读取部署文件，不需要将每个巡检点信息预存到云台，降低设备成本，维护更为简单、便捷。
附图说明
图1为本发明一实施例中巡检机器人云台调整方法的流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种巡检机器人云台调整方法，包括步骤S01-S04。
在步骤S01中，根据预设巡检点设置一个或多个待识别对象的调整参数并获取待识别对象的模板图像，根据巡检任务将多个待识别对象的调整参数按顺序生成部署文件，其中，所述调整参数包括云台转动角度和相机参数。
具体地，在部署过程中，巡检机器人停止到预设位置，根据待识别对象位置，调整云台转动角度和相机参数，获取并保存高清照片，形成模板图片。可选地，可设置便携式终端，通过手持终端标定识别的对象在照片中的坐标位置以及识别类型，同时保存云台位置参数、相机参数、识别对象坐标位置、识别对象类型到部署文件里。
在步骤S02中，巡检机器人读取所述部署文件后，到达其中一个巡检点时，调整云台转动角度和相机参数，获取包含一个或多个待识别对象的巡检图像；
在巡检过程中，巡检机器人读取部署文件，按照顺序巡检，停止到预设位置，从部署文件里读取云台位姿参数和相机参数，根据云台位姿参数控制云台转动到预设位置，根据相机参数调整相机到预设拍摄状态，然后进行拍照，保存照片。
在步骤S03中，计算待识别对象的所述巡检图像与对应模板图像的位置偏移量；
在一实施例中，通过侦测网络获取巡检图像中待识别对象的矩形外框，根据矩形外框左上角和右下角坐标确定巡检图像中对应待识别对象位置；
通过侦测网络获取模板图像中待识别对象的矩形外框，根据矩形外框左上角和右下角坐标确定模板图像中对应待识别对象位置；
根据巡检图像中待识别对象与模板图像中对应待识别对象的位置分别获取横轴和纵轴方向的最大偏移量作为位置偏移量。
具体地，可设巡检过程中拍摄的图片里有n个待识别对象，使用YoloV5分别侦测巡检过程中巡检图片和对应的模板图片，分别得到两组待识别对象对应侦测矩形框左上角和右下角坐标，分别表示为[(
Figure 796972DEST_PATH_IMAGE001
，
Figure 87139DEST_PATH_IMAGE002
),(
Figure 29687DEST_PATH_IMAGE003
，
Figure 405305DEST_PATH_IMAGE004
)]...[(
Figure 825922DEST_PATH_IMAGE005
，
Figure 298491DEST_PATH_IMAGE006
),(
Figure 848159DEST_PATH_IMAGE007
，
Figure 773390DEST_PATH_IMAGE008
)]和[(
Figure 997698DEST_PATH_IMAGE009
，
Figure 996878DEST_PATH_IMAGE010
),(
Figure 281229DEST_PATH_IMAGE011
，
Figure 631439DEST_PATH_IMAGE012
)]...[(
Figure 659437DEST_PATH_IMAGE013
，
Figure 778703DEST_PATH_IMAGE014
),(
Figure 968376DEST_PATH_IMAGE015
，
Figure 868199DEST_PATH_IMAGE016
)]；
进一步地，求巡检图片和模板图片在XY方向上的偏差，具体步骤包括：
1）巡检图片中待识别对象在X方向的最小坐标值和最大坐标值分别为
Figure 893965DEST_PATH_IMAGE017
=
Figure 195634DEST_PATH_IMAGE018
,
Figure 493891DEST_PATH_IMAGE019
=
Figure 881010DEST_PATH_IMAGE020
，求模板图片中待识别对象的X方向的最小坐标值和最大坐标值分别为
Figure 250811DEST_PATH_IMAGE021
=
Figure 79090DEST_PATH_IMAGE022
,
Figure 876145DEST_PATH_IMAGE023
=
Figure 484981DEST_PATH_IMAGE024
；
2）巡检图片中待识别对象在Y方向的最小坐标值和最大坐标值分别为
Figure 596156DEST_PATH_IMAGE025
=
Figure 606837DEST_PATH_IMAGE026
,
Figure 574793DEST_PATH_IMAGE027
=
Figure 107144DEST_PATH_IMAGE028
,求模板图片中待识别对象的Y方向的最小坐标值和最大坐标值分别为
Figure 818748DEST_PATH_IMAGE029
=
Figure 683936DEST_PATH_IMAGE030
,
Figure 760476DEST_PATH_IMAGE031
=
Figure 343904DEST_PATH_IMAGE032
；
3）巡检图片与模板图片X方向最小值偏移量表示为
Figure 531303DEST_PATH_IMAGE033
；
4）巡检图片与模板图片X方向最大值偏移量表示为
Figure 516576DEST_PATH_IMAGE034
；
5）巡检图片与模板图片Y方向最小值偏移量表示为
Figure 826335DEST_PATH_IMAGE035
；
6）巡检图片与模板图片Y方向最大值偏移量表示为
Figure 834742DEST_PATH_IMAGE036
；
7）X方向偏移量的最大值表示为
Figure 888149DEST_PATH_IMAGE037
；
8）Y方向偏移量的最大值表示为
Figure 727929DEST_PATH_IMAGE038
；
在步骤S04中，当巡检图像中的待识别对象数量和/或顺序与模板图像不一致时，根据位置偏差修正所述调整参数；
在一实施例中，根据计算得到的位置偏移量修正云台的调整参数，包括以下步骤：
当巡检图像中待识别对象数量与对应模板图像中待识别对象数量不一致时，根据位置偏移量重新设置云台转动角度和相机参数；
当巡检图像中待识别对象数量与对应模板图像中待识别对象数量一致时，按从上到下和/或从左到右的顺序对巡检图像以及对应模板图像中的待识别对象进行排序，若巡检图像与对应模板图像中待识别对象的顺序不一致，则根据位置偏移量重新设置云台转动角度和相机参数；若巡检图像与对应模板图像中待识别对象的顺序一致，则根据位置偏移量调整当前云台转动角度和相机参数，直到相机采集图像与模板图像中待识别对象位置一致。
具体地，可设通过侦测网络YoloV5侦测到巡检图片中待识别对象个数为M，模板图片识别对象个数为N。
如果M不等于N，则说明拍照误差偏移过大，需要根据偏移量调整云台位姿重新拍照，把偏移量
Figure 644807DEST_PATH_IMAGE039
反馈给系统，系统重新调整云台参数后拍照。
如果M等于N，使用YoloV5侦测到获取的巡检图片中识别对象按从上到下，从左到右顺序为
Figure 937248DEST_PATH_IMAGE040
，对应模板图片的识别顺序为
Figure 794346DEST_PATH_IMAGE041
,如果
Figure 426315DEST_PATH_IMAGE042
，说明拍照误差偏移过大，需要根据偏移量调整云台位姿重新拍照，把偏移量
Figure 77877DEST_PATH_IMAGE039
反馈给系统，系统重新调整云台参数后拍照；如果
Figure 123193DEST_PATH_IMAGE043
，则可通过图像识别算法计算偏移量
Figure 456085DEST_PATH_IMAGE039
，根据偏移量对云台转动角度和相机参数进行微调，使巡检图片与模板图片识别对象位置一致，从而进行一下一步识别。
综上所述，本发明一种巡检机器人云台调整方法，有效解决拍照偏差问题，使图像识别工作能顺利进行；有效解决云台“预置点”数量和维护困难的问题，降低设备成本，项目维护简单。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (6)

1.一种巡检机器人云台调整方法，其特征在于，包括：
根据预设巡检点设置一个或多个待识别对象的调整参数并获取待识别对象的模板图像，根据巡检任务将多个待识别对象的调整参数按顺序生成部署文件，其中，所述调整参数包括云台转动角度和相机参数；
巡检机器人读取所述部署文件后，到达其中一个巡检点时，调整云台转动角度和相机参数，获取包含一个或多个待识别对象的巡检图像；
计算待识别对象的所述巡检图像与对应模板图像的位置偏移量；
当所述巡检图像中的待识别对象数量和/或顺序与所述模板图像不一致时，根据所述位置偏差修正所述调整参数。
2.根据权利要求1所述的巡检机器人云台调整方法，其特征在于，所述部署文件包括模板图像、云台转动角度、相机参数、待识别对象坐标位置、待识别对象类型。
3.根据权利要求1所述的巡检机器人云台调整方法，其特征在于，设置便携式终端，通过便携式终端对所述模板图像中的待识别对象坐标位置和类型进行标定，并将标定信息输入所述部署文件。
4.根据权利要求1所述的巡检机器人云台调整方法，其特征在于，计算待识别对象的所述巡检图像与对应模板图像的位置偏移量，包括：
通过侦测网络获取所述巡检图像中待识别对象的矩形外框，根据所述矩形外框左上角和右下角坐标确定巡检图像中对应待识别对象位置；
通过侦测网络获取所述模板图像中待识别对象的矩形外框，根据所述矩形外框左上角和右下角坐标确定模板图像中对应待识别对象位置；
根据所述巡检图像中待识别对象与所述模板图像中对应待识别对象的位置分别获取横轴和纵轴方向的最大偏移量作为所述位置偏移量。
5.根据权利要求1所述的巡检机器人云台调整方法，其特征在于，根据所述位置偏差修正所述调整参数，包括：
当所述巡检图像中待识别对象数量与对应模板图像中待识别对象数量不一致时，根据所述位置偏移量重新设置云台转动角度和相机参数；
当所述巡检图像中待识别对象数量与对应模板图像中待识别对象数量一致时，按从上到下和/或从左到右的顺序对所述巡检图像以及对应模板图像中的待识别对象进行排序，若所述巡检图像与对应模板图像中待识别对象的顺序不一致，则根据所述位置偏移量重新设置云台转动角度和相机参数；若所述巡检图像与对应模板图像中待识别对象的顺序一致，则根据所述位置偏移量调整当前云台转动角度和相机参数，直到相机采集图像与模板图像中待识别对象位置一致。
6.根据权利要求1所述的巡检机器人云台调整方法，其特征在于，所述侦测网络包括YoloV5。
CN202110273660.7A 2021-03-15 2021-03-15 一种巡检机器人云台调整方法 Pending CN115079727A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110273660.7A CN115079727A (zh) 2021-03-15 2021-03-15 一种巡检机器人云台调整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110273660.7A CN115079727A (zh) 2021-03-15 2021-03-15 一种巡检机器人云台调整方法

Publications (1)

Publication Number Publication Date
CN115079727A true CN115079727A (zh) 2022-09-20

Family

ID=83240707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110273660.7A Pending CN115079727A (zh) 2021-03-15 2021-03-15 一种巡检机器人云台调整方法

Country Status (1)

Country Link
CN (1) CN115079727A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115914792A (zh) * 2022-12-22 2023-04-04 长春理工大学 基于深度学习的实时多维度成像自适应调整系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115914792A (zh) * 2022-12-22 2023-04-04 长春理工大学 基于深度学习的实时多维度成像自适应调整系统及方法

Similar Documents

Publication Publication Date Title
US9998719B2 (en) Non-planar surface projecting system, auto-calibration method thereof, and auto-calibration device thereof
CN108830906B (zh) 一种基于虚拟双目视觉原理的摄像机参数自动标定方法
CN104395692B (zh) 三维测定方法、装置、系统以及图像处理装置
CN111872544B (zh) 激光出光指示点的标定方法、装置和振镜同轴视觉系统
CN110736447B (zh) 一种集成式图像采集设备竖直方向水平位置检校方法
EP3421930A1 (en) Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method
CN108769530B (zh) 图像采集处理设备和图像采集处理方法
JP4270949B2 (ja) キャリブレーションチャート画像表示装置、キャリブレーション装置、キャリブレーション方法
CN111770270A (zh) 一种相机姿态的校正方法、摄像机
GB2325579A (en) Camera and lens calibration
CN111627073B (zh) 一种基于人机交互的标定方法、标定装置和存储介质
CN112330749A (zh) 相机安装于机器人手臂上的手眼标定方法及手眼标定装置
CN110238851B (zh) 一种移动机器人及其快速标定方法和系统
CN115079727A (zh) 一种巡检机器人云台调整方法
CN116743973A (zh) 无感投影图像自动校正方法
CN107527323B (zh) 镜头畸变的标定方法及装置
TWI412725B (zh) 距離量測與定位方法
JPH09210649A (ja) 三次元計測装置
CN114663518A (zh) 相机标定方法、系统、终端设备及计算机可读存储介质
WO2022036512A1 (zh) 数据处理方法、装置、终端和存储介质
CN114295331A (zh) 一种多摄模组光轴测试方法、装置、设备和介质
CN211403455U (zh) 图像采集处理设备
JPH11101640A (ja) カメラおよびカメラのキャリブレーション方法
JP4536428B2 (ja) ズームレンズのキャリブレーション装置及びキャリブレーション方法、撮影装置
JP2004340753A (ja) キャリブレーションチャート画像表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination