CN113345002A - 一种操作机器人操作位置的位置判定及调节方法 - Google Patents

一种操作机器人操作位置的位置判定及调节方法 Download PDF

Info

Publication number
CN113345002A
CN113345002A CN202110436202.0A CN202110436202A CN113345002A CN 113345002 A CN113345002 A CN 113345002A CN 202110436202 A CN202110436202 A CN 202110436202A CN 113345002 A CN113345002 A CN 113345002A
Authority
CN
China
Prior art keywords
image
detected
cognitive
robot
judging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110436202.0A
Other languages
English (en)
Inventor
韩中杰
孙献春
周刚
王春林
戚中译
黄杰
许群舟
孙晓媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing Hengchuang Electric Power Group Co ltd Bochuang Material Branch
Jiaxing Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Jiaxing Hengchuang Electric Power Group Co ltd Bochuang Material Branch
Jiaxing Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaxing Hengchuang Electric Power Group Co ltd Bochuang Material Branch, Jiaxing Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical Jiaxing Hengchuang Electric Power Group Co ltd Bochuang Material Branch
Priority to CN202110436202.0A priority Critical patent/CN113345002A/zh
Publication of CN113345002A publication Critical patent/CN113345002A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种操作机器人操作位置的位置判定及调节方法，包括以下步骤：S1变电站操作机器人移动到待测物体正前方；S2投射激光散斑状纹理并采集激光散斑状纹理图像；S3构建待测物体三维形状；S4判定变电站操作机器人的操作位置；S5进行控件识别和操作。上述技术方案面对高压柜光滑的表面，变换激光散斑状纹理并通过双目摄像头对变换后投射的激光散斑进行图像采集，将采集到的多次变换的图像进行重叠合成，实现对高压柜三维形状与轮廓的判断，同时根据高压柜三维形状判定高压柜开门方式以确定变电站操作机器人的操作位置，同时操作完毕后进行二次判断，实现对操作结果的主动获取和检验，确保操作的准确性。

Description

一种操作机器人操作位置的位置判定及调节方法
技术领域
本发明涉及识别操作技术领域，尤其涉及一种操作机器人操作位置的位置判定及调节方法。
背景技术
随着社会发展，生产生活的需要，对于用电量的需求也不断增加，因而对用电线路及设备的要求不断增加。面对更大的用电压力，早期建设的输电线路、变电站等实现电力传输的设施需要更精细的电力运行维护。实现电力运行设备的监控通常采用对电力运行设备整体改造，添加辅助采集和调控装置，实现物联控制，可是对早期变电站进行物联改造所需成本高且改造过程中难以正常运行，因此采用变电站操作机器人的改造方式，在不影响变电站工作的同时实现对变电站的运行监控。
有资料显示，变电站操作机器人实现相应操作时首先面对的便是对高压柜及待控控件的识别，针对不同规格的高压柜，需求的识别角度及范围存在不同，且由于高压柜表面光滑，表面缺少辅助识别的纹理，因此对于识别的要求更高。并且变电站操作机器人进行操作后，往往只能被动接收操作之后的结果，缺少对高压柜的二次判断
中国专利文献CN111260788A公开了一种“基于双目视觉的配电柜开关状态识别方法”。采用了步骤：1)获得双目相机中左相机和右相机的参数及左右相机之间的相对位置关系矩阵；2)对左右相机进行立体校正，并通过图像处理技术检测校正图像中的特征点，通过视差法实现特征点的三维重建；3)收集不同距离情况下圆形开关与线状开关在图像中的尺寸信息，分别拟合距离与圆形开关尺寸之间的线性关系以及距离与线状开关之间的线性关系；4)对左相机校正图像进行预处理，通过图像处理算法获取圆形开关和线状开关位置；5)对圆形开关图像和线状开关图像进行状态识别。上述技术方案未考虑对不同规格高压柜的光滑表面不易识别的问题。
发明内容
本发明主要解决原有的技术方案对不同规格高压柜的光滑表面不易识别，且操作完缺少二次判断的技术问题，提供一种操作机器人操作位置的位置判定及调节方法，面对高压柜光滑的表面，变换激光散斑状纹理并通过双目摄像头对变换后投射的激光散斑进行图像采集，将采集到的多次变换的图像进行重叠合成，实现对高压柜三维形状与轮廓的判断，同时根据高压柜三维形状判定高压柜开门方式以确定变电站操作机器人的操作位置，同时操作完毕后进行二次判断，实现对操作结果的主动获取和检验，确保操作的准确性。
本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明包括以下步骤：
S1变电站操作机器人移动到待测物体正前方；
S2投射激光散斑状纹理并采集激光散斑状纹理图像；
S3构建待测物体三维形状；
S4判定变电站操作机器人的操作位置；
S5进行控件识别和操作。
作为优选，所述的步骤S1具体包括：
S1.1控制变电站操作机器人移动到待测物体正前方；
S1.2通过双目摄像头对待测物体形状以及与待测物体间距离的初步判断；
S1.3将根据判断判断结果将变电站操作机器人移动到待测物体正前方是中央位置并且与待测物体间距离小于等于1.5m。在保证将高压柜完全采集的同时对高压柜内部器件进行准确识别。
作为优选，所述的步骤S2具体包括：
S2.1在待测物体表面投射激光散斑状纹理；
S2.2通过相对位置固定的两个摄像头采集图像SAn和图像SBn；
S2.3切换投射的激光散斑状纹理；
S2.4重复步骤S2.2和S2.3直到n≥5。
作为优选，所述的步骤S3将采集的图像进行合成，最终合成的图片上，被测物体表面被打满均匀的光斑，使物体的形状与轮廓的线条更加清晰，通过合成的照片判断物体的三维形状与轮廓。
作为优选，所述的步骤S4判定变电站操作机器人的操作位置具体包括：
S4.1通过构建的待测物体的三维形状判定柜门数据；
S4.2通过双目摄像头判断与待测物体间的空间距离；
S4.3模拟柜门开启轨迹并判断变电站操作机器人当前位置是否存在干涉；
S4.4若干涉不存在，则变电站操作机器人保持静止；若存在干涉，则控制变电站操作机器人进行移动。
作为优选，所述的步骤S4.1柜门数据包括远离柜门一端到柜门轴承的直线距离L，柜门开启方式，包括单开门和双开门。柜门开启方式影响柜门打开的轨迹，但是都需确保变电站操作机器人与轴承间直线距离大于L。
作为优选，所述的步骤S4.2具体包括:
S4.21通过相对位置固定的两个摄像头采集图像PAn和图像PBn
S4.22对图像PAn和图像PBn进行预处理并进行认知确定
S4.23通过认知确定，基于图像的深度学习认知特征确认采集对象的针对性认知特征；
S4.24根据双目立体成像原理进行视差计算并获取点云图；
S4.25根据采集对象的针对性认知特征和点云图构建三维坐标空间；
S4.26对三维坐标空间的识别度精度要求和误差要求进行判断；
S4.27若满足，则输出三维坐标空间，若不满足，则回到步骤S4.23。
作为优选，所述的认知确定具体包括：确定图像PAn和图像PBn普遍性认知特征；建立图像PAn和图像PBn之间的匹配联系；对采集对象的认知属性进行辨认。
作为优选，所述的普遍性认知特征包括纹理、轮廓和颜色，普遍性认知特征包括针对性认知特征。普遍性认知特征为通用的实现图像辨认的方式，因此在认知确定后，再进行针对性认知特征具备更好的辨识效果。
作为优选，所述的确定图像PAn和图像PBn普遍性认知特征的方法包括：图形种类、组成图形的线条的几何长度、组成图形的不同特征区域的颜色、组成图形的线条的连接关系、采集对象和其它通用性图形的几何关系、组成图形的轮廓的长度比例关系。
本发明的有益效果是：面对高压柜光滑的表面，变换激光散斑状纹理并通过双目摄像头对变换后投射的激光散斑进行图像采集，将采集到的多次变换的图像进行重叠合成，实现对高压柜三维形状与轮廓的判断，同时根据高压柜三维形状判定高压柜开门方式以确定变电站操作机器人的操作位置，同时操作完毕后进行二次判断，实现对操作结果的主动获取和检验，确保操作的准确性。。
附图说明
图1是本发明的一种流程图。
图2是本发明的一种判断与待测物体间的空间距离的流程图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：本实施例的一种操作机器人操作位置的位置判定及调节方法，如图1所示，包括以下步骤：
S1变电站操作机器人移动到待测物体正前方，具体包括：
S1.1控制变电站操作机器人移动到待测物体正前方；
S1.2通过双目摄像头对待测物体形状以及与待测物体间距离的初步判断；
S1.3将根据判断判断结果将变电站操作机器人移动到待测物体正前方是中央位置并且与待测物体间距离小于等于1.5m。
S2投射激光散斑状纹理并采集激光散斑状纹理图像，具体包括：
S2.1在待测物体表面投射激光散斑状纹理；
S2.2通过相对位置固定的两个摄像头采集图像SAn和图像SBn；
S2.3切换投射的激光散斑状纹理；
S2.4重复步骤S2.2和S2.3直到n≥5。
S3构建待测物体三维形状，将采集的图像进行合成，最终合成的图片上，被测物体表面被打满均匀的光斑，使物体的形状与轮廓的线条更加清晰，通过合成的照片判断物体的三维形状与轮廓。
S4判定变电站操作机器人的操作位置，具体包括：
S4.1通过构建的待测物体的三维形状判定柜门数据，柜门数据包括远离柜门一端到柜门轴承的直线距离L，柜门开启方式，包括单开门和双开门。柜门开启方式影响柜门打开的轨迹，但是都需确保变电站操作机器人与轴承间直线距离大于L。
S4.2通过双目摄像头判断与待测物体间的空间距离，具体包括:
S4.21通过相对位置固定的两个摄像头采集图像PAn和图像PBn；
S4.22对图像PAn和图像PBn进行预处理并进行认知确定；认知确定具体包括：确定图像PA0和图像PB0普遍性认知特征，普遍性认知特征包括纹理、轮廓和颜色。确定图像PA0和图像PB0普遍性认知特征的方法包括：图形种类、组成图形的线条的几何长度、组成图形的不同特征区域的颜色、组成图形的线条的连接关系、采集对象和其它通用性图形的几何关系、组成图形的轮廓的长度比例关系。
建立图像PA0和图像PB0之间的匹配联系；
对采集对象的认知属性进行辨认，认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构。通过对采集图像颜色、轮廓、表面纹理以及轮廓的几何结构的辨认确定采集图像的外观特征以实现精确辨识的目的。
S4.23通过认知确定，基于图像的深度学习认知特征确认采集对象的针对性认知特征；普遍性认知特征为通用的实现图像辨认的方式，因此在认知确定后，再进行针对性认知特征具备更好的辨识效果。
S4.24根据双目立体成像原理进行视差计算并获取点云图；
S4.25根据采集对象的针对性认知特征和点云图构建三维坐标空间；
S4.26对三维坐标空间的识别度精度要求和误差要求进行判断；若无法满足三维坐标空间的识别度精度要求和误差要求，则判定为选取的针对性认知特征缺少区别度。
S4.27若满足，则输出三维坐标空间，若不满足，则回到步骤S4.23。基于图像的深度学习认知特征重新确认采集对象的针对性认知特征并继续构建三维坐标空间，直到满足三维坐标空间的识别度精度要求和误差要求。
S4.3模拟柜门开启轨迹并判断变电站操作机器人当前位置是否存在干涉；
S4.4若干涉不存在，则变电站操作机器人保持静止；若存在干涉，则控制变电站操作机器人进行移动。
S5进行控件识别和操作。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管本文较多地使用了激光散斑状纹理、认知确定等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (10)

1.一种操作机器人操作位置的位置判定及调节方法，其特征在于，包括以下步骤：
S1变电站操作机器人移动到待测物体正前方；
S2投射激光散斑状纹理并采集激光散斑状纹理图像；
S3构建待测物体三维形状；
S4判定变电站操作机器人的操作位置；
S5进行控件识别和操作。
2.根据权利要求1所述的一种操作机器人操作位置的位置判定及调节方法，其特征在于，所述步骤S1具体包括：
S1.1控制变电站操作机器人移动到待测物体正前方；
S1.2通过双目摄像头对待测物体形状以及与待测物体间距离的初步判断；
S1.3将根据判断判断结果将变电站操作机器人移动到待测物体正前方是中央位置并且与待测物体间距离小于等于1.5m。
3.根据权利要求1所述的一种操作机器人操作位置的位置判定及调节方法，其特征在于，所述步骤S2具体包括：
S2.1在待测物体表面投射激光散斑状纹理；
S2.2通过相对位置固定的两个摄像头采集图像SAn和图像SBn；
S2.3切换投射的激光散斑状纹理；
S2.4重复步骤S2.2和S2.3直到n≥5。
4.根据权利要求1所述的一种操作机器人操作位置的位置判定及调节方法，其特征在于，所述步骤S3将采集的图像进行合成，最终合成的图片上，被测物体表面被打满均匀的光斑，使物体的形状与轮廓的线条更加清晰，通过合成的照片判断物体的三维形状与轮廓。
5.根据权利要求1所述的一种操作机器人操作位置的位置判定及调节方法，其特征在于，所述步骤S4判定变电站操作机器人的操作位置具体包括：
S4.1通过构建的待测物体的三维形状判定柜门数据；
S4.2通过双目摄像头判断与待测物体间的空间距离；
S4.3模拟柜门开启轨迹并判断变电站操作机器人当前位置是否存在干涉；
S4.4若干涉不存在，则变电站操作机器人保持静止；若存在干涉，则控制变电站操作机器人进行移动。
6.根据权利要求5所述的一种操作机器人操作位置的位置判定及调节方法，其特征在于，所述步骤S4.1柜门数据包括远离柜门一端到柜门轴承的直线距离L，柜门开启方式，包括单开门和双开门。
7.根据权利要求5所述的一种操作机器人操作位置的位置判定及调节方法，其特征在于，所述步骤S4.2具体包括:
S4.21通过相对位置固定的两个摄像头采集图像PAn和图像PBn；
S4.22对图像PAn和图像PBn进行预处理并进行认知确定；
S4.23通过认知确定，基于图像的深度学习认知特征确认采集对象的针对性认知特征；
S4.24根据双目立体成像原理进行视差计算并获取点云图；
S4.25根据采集对象的针对性认知特征和点云图构建三维坐标空间；
S4.26对三维坐标空间的识别度精度要求和误差要求进行判断；
S4.27若满足，则输出三维坐标空间，若不满足，则回到步骤S4.23。
8.根据权利要求7所述的一种操作机器人操作位置的位置判定及调节方法，其特征在于，所述认知确定具体包括：确定图像PAn和图像PBn普遍性认知特征；建立图像PAn和图像PBn之间的匹配联系；对采集对象的认知属性进行辨认。
9.根据权利要求8所述的一种操作机器人操作位置的位置判定及调节方法，其特征在于，所述普遍性认知特征包括纹理、轮廓和颜色，普遍性认知特征包括针对性认知特征。
10.根据权利要求8所述的一种操作机器人操作位置的位置判定及调节方法，其特征在于，所述确定图像PAn和图像PBn普遍性认知特征的方法包括：图形种类、组成图形的线条的几何长度、组成图形的不同特征区域的颜色、组成图形的线条的连接关系、采集对象和其它通用性图形的几何关系、组成图形的轮廓的长度比例关系。
CN202110436202.0A 2021-04-22 2021-04-22 一种操作机器人操作位置的位置判定及调节方法 Pending CN113345002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110436202.0A CN113345002A (zh) 2021-04-22 2021-04-22 一种操作机器人操作位置的位置判定及调节方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110436202.0A CN113345002A (zh) 2021-04-22 2021-04-22 一种操作机器人操作位置的位置判定及调节方法

Publications (1)

Publication Number Publication Date
CN113345002A true CN113345002A (zh) 2021-09-03

Family

ID=77468351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110436202.0A Pending CN113345002A (zh) 2021-04-22 2021-04-22 一种操作机器人操作位置的位置判定及调节方法

Country Status (1)

Country Link
CN (1) CN113345002A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105500406A (zh) * 2015-12-25 2016-04-20 山东建筑大学 变电站开关箱操作移动机器人、工作方法及系统
CN107957246A (zh) * 2017-11-29 2018-04-24 北京伟景智能科技有限公司 基于双目视觉的传送带上物体几何尺寸测量方法
CN110560429A (zh) * 2019-09-06 2019-12-13 苏州艾思兰光电有限公司 一种变电站刀闸激光清洗系统
CN111260788A (zh) * 2020-01-14 2020-06-09 华南理工大学 一种基于双目视觉的配电柜开关状态识别方法
CN111649695A (zh) * 2020-06-05 2020-09-11 苏州若柏视智能科技有限公司 一种双目视觉传感器及物体识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105500406A (zh) * 2015-12-25 2016-04-20 山东建筑大学 变电站开关箱操作移动机器人、工作方法及系统
CN107957246A (zh) * 2017-11-29 2018-04-24 北京伟景智能科技有限公司 基于双目视觉的传送带上物体几何尺寸测量方法
CN110560429A (zh) * 2019-09-06 2019-12-13 苏州艾思兰光电有限公司 一种变电站刀闸激光清洗系统
CN111260788A (zh) * 2020-01-14 2020-06-09 华南理工大学 一种基于双目视觉的配电柜开关状态识别方法
CN111649695A (zh) * 2020-06-05 2020-09-11 苏州若柏视智能科技有限公司 一种双目视觉传感器及物体识别方法

Similar Documents

Publication Publication Date Title
CN107014294B (zh) 一种基于红外图像的接触网几何参数检测方法及系统
Zhou et al. Rail profile measurement based on line-structured light vision
CN111028295A (zh) 一种基于编码结构光和双目的3d成像方法
CN104766309A (zh) 一种平面特征点导航定位方法与装置
Belhaoua et al. Error evaluation in a stereovision-based 3D reconstruction system
CN110425996A (zh) 基于双目立体视觉的工件尺寸测量方法
Ye et al. An accurate 3D point cloud registration approach for the turntable-based 3D scanning system
CN106500626A (zh) 一种手机立体成像方法及三维成像手机
CN112288815B (zh) 一种目标模位置测量方法、系统、存储介质及设备
Ge et al. Online 3-D modeling of complex workpieces for the robotic spray painting with low-cost RGB-D cameras
CN110517323A (zh) 基于机械手单相机多目视觉的三维定位系统及方法
CN112525106A (zh) 基于三相机协同激光的3d探测方法及装置
CN113345002A (zh) 一种操作机器人操作位置的位置判定及调节方法
Cociaş et al. Multiple-superquadrics based object surface estimation for grasping in service robotics
He et al. The research of an automatic object reconstruction method based on limit visible region of the laser-scanning vision system
Li et al. Workpiece intelligent identification and positioning system based on binocular machine vision
Belhaoua et al. Estimation of 3D reconstruction errors in a stereo-vision system
Kawata et al. Scale optimization of structure from motion for structured light-based all-round 3D measurement
Takimoto et al. Shape reconstruction from multiple RGB-D point cloud registration
CN110772258A (zh) 一种用于人体尺寸测量的多视角测距方法
Zhang et al. Camera Calibration Algorithm for Long Distance Binocular Measurement
Guo et al. Research of camera calibration based on BP neural network
Uyanik et al. A method for determining 3D surface points of objects by a single camera and rotary stage
Distante et al. A model-based 3-d vision system for bin-picking
Wang et al. 3d slam applied to an autonomous interior finishing robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210903

RJ01 Rejection of invention patent application after publication