CN114427652A - 室内三维重建信息采集装置及装置摄像头位置获取方法 - Google Patents

室内三维重建信息采集装置及装置摄像头位置获取方法 Download PDF

Info

Publication number
CN114427652A
CN114427652A CN202111562884.6A CN202111562884A CN114427652A CN 114427652 A CN114427652 A CN 114427652A CN 202111562884 A CN202111562884 A CN 202111562884A CN 114427652 A CN114427652 A CN 114427652A
Authority
CN
China
Prior art keywords
mechanical arm
camera
driving motor
tail end
lifting device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111562884.6A
Other languages
English (en)
Other versions
CN114427652B (zh
Inventor
李茂月
闫亚男
杨腾辉
许圣博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202111562884.6A priority Critical patent/CN114427652B/zh
Publication of CN114427652A publication Critical patent/CN114427652A/zh
Application granted granted Critical
Publication of CN114427652B publication Critical patent/CN114427652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/42—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters with arrangement for propelling the support stands on wheels
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/10—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a horizontal axis
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/18—Heads with mechanism for moving the apparatus relatively to the stand
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
    • F16M11/2035—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/24—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other
    • F16M11/38—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other by folding, e.g. pivoting or scissors tong mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M2200/00—Details of stands or supports
    • F16M2200/06—Arms
    • F16M2200/061—Scissors arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Manipulator (AREA)

Abstract

室内三维重建信息采集装置及装置摄像头位置获取方法，本发明涉及三维重建信息采集装置及位置获取方法，本发明目的在于解决传统的信息采集利用人工手持摄像头的方法进行信息的采集，侦测存在未知危险情况的室内环境，无法使用人工方法进行重建信息的采集的问题，它包括小车车体、机械臂基座、机械臂旋转平台、升降装置驱动电机、升降装置、机械臂驱动电机、机械臂、摄像头俯仰电机、摄像头、旋转平台驱动电机和机械臂顶部平台；确定机械臂基座的第一位置；确定机械臂基座和机械臂末端之间的第一位置转换关系；确定机械臂末端的第二位置；获取机械臂末端和摄像头之间第二位置转换关系；获取摄像头的第三位置。本发明属于自动化控制领域。

Description

室内三维重建信息采集装置及装置摄像头位置获取方法
技术领域
本发明涉及三维重建装置，特别是涉及三维重建信息采集装置及位置获取方法，机械臂相关技术和室内智能小车以及自动化控制相关领域，属于自动化控制领域。
背景技术
随着三维重建技术的发展，对三维重建信息采集的研究也成为了新的研究方向，实际的科学研究也越来越多的出现利用室内智能小车作为载体采集信息的情况。重建信息能否完备采集直接影响着重建的效果，决定了重建模型是否在实际应用场景具有被利用的价值。
传统的信息采集方法是利用人工手持摄像头的方法进行信息的采集。然而在某些场景下，如侦测存在未知危险情况的室内环境，无法使用人工方法进行重建信息的采集，需借助室内小车作为载体实现信息采集。以室内小车作为载体进行信息采集时，往往需要对作为采集装置的摄像头进行位置操纵，实现信息的完备采集，避免重建模型出现缺陷。
通过对小车、机械臂和摄像头俯仰装置的控制，使得摄像头能够运动到满足重建需求的信息采集位置，便能够实现信息的完备采集。有鉴于此，提出一种室内三维重建信息自动采集和控制装置与实现方法。
发明内容
本发明目的在于解决传统的信息采集利用人工手持摄像头的方法进行信息的采集，侦测存在未知危险情况的室内环境，无法使用人工方法进行重建信息的采集的问题，提供了室内三维重建信息采集装置及装置摄像头位置获取方法。
室内三维重建信息采集装置，它包括小车车体、机械臂基座、机械臂旋转平台、升降装置驱动电机、升降装置、机械臂驱动电机、机械臂、摄像头俯仰电机、摄像头、旋转平台驱动电机和机械臂顶部平台；
机械臂基座固定安装在小车车体上，旋转平台驱动电机壳体安装在机械臂基座上，机械臂旋转平台安装在旋转平台驱动电机的输出轴上，升降装置驱动电机和升降装置固定安装在机械臂旋转平台上端面上，升降装置驱动电机通过连接杆与升降装置驱动端连接，机械臂顶部平台固定安装在升降装置顶端上，机械臂首端通过机械臂驱动电机安装在机械臂顶部平台上端面上，摄像头通过摄像头俯仰电机与机械臂末端固定连接，小车车体底部安装有多个麦克纳姆轮，车载控制装置安装在小车车体上，车载控制装置与升降装置驱动电机、机械臂驱动电机、摄像头俯仰电机、摄像头、旋转平台驱动电机和多个麦克纳姆轮连接。
室内三维重建信息采集装置摄像头位置获取方法，所述方法是按照以下步骤实现的：
步骤一：通过小车车体上麦克纳姆轮的编码电机获得小车车体的运动位置，并根据机械臂的安装位置确定机械臂基座的第一位置；
步骤二：根据机械臂本身机构利用标准D-H参数标定方法确定运动学相对关系，确定机械臂基座和机械臂末端之间的第一位置转换关系；
步骤三：基于机械臂基座和机械臂末端之间的第一位置转换关系和机械臂基座的第一位置，确定机械臂末端的第二位置；
步骤四：利用标准D-H参数标定方法获取摄像头位置相对于机械臂末端的运动学相对关系，从而获取机械臂末端和摄像头之间第二位置转换关系；
步骤五：根据步骤四机械臂末端的第二位置，基于获取机械臂末端和摄像头之间第二位置转换关系，获取摄像头的第三位置。
本发明最为突出的特点和显著的有益效果是：
1、本申请通过对小车车体、机械臂和摄像头俯仰电机的控制，使得摄像头能够运动到满足重建需求的信息采集位置，便能够实现信息的完备采集。
2.本申请为了实现对摄像头位置精确而快速的控制，首先得到机械臂基座和摄像头之间的位置转换关系，然后通过获取到的机械臂基座位置，并通过对机械臂基座和机械臂末端位置进行去噪处理，得到对应的摄像头位置以提高定位精度，并且利用此位姿信息作为反馈，对小车车体和机械臂以及摄像头俯仰电机进行下位控制，通过PID参数整定减少参数调整时间，提高控制效率。
附图说明
图1是本申请的整体结构示意图。
图2是本申请的整体结构示意图。
图3是摄像头位置获取方法流程图。
图4是机械臂系统控制方法一个实施例的方法示意图。
具体实施方式
具体实施方式一：结合图1-图2对本实施方式进行说明，本实施方式给出的室内三维重建信息采集装置，它包括小车车体1、机械臂基座2、机械臂旋转平台3、升降装置驱动电机4、升降装置5、机械臂驱动电机6、机械臂7、摄像头俯仰电机8、摄像头9、旋转平台驱动电机10和机械臂顶部平台11；
机械臂基座2固定安装在小车车体1上，旋转平台驱动电机10壳体安装在机械臂基座2上，机械臂旋转平台3安装在旋转平台驱动电机10的输出轴上，升降装置驱动电机4和升降装置5固定安装在机械臂旋转平台3上端面上，升降装置驱动电机4通过连接杆与升降装置5驱动端连接，机械臂顶部平台11固定安装在升降装置5顶端上，机械臂7首端通过机械臂驱动电机6安装在机械臂顶部平台11上端面上，摄像头9通过摄像头俯仰电机8与机械臂7末端固定连接，小车车体1底部安装有多个麦克纳姆轮，车载控制装置30安装在小车车体(1)上，车载控制装置30与升降装置驱动电机4、机械臂驱动电机6、摄像头俯仰电机8、摄像头9、旋转平台驱动电机10和多个麦克纳姆轮连接。麦克纳姆轮通过联轴器与编码电机连接。
具体实施方式二：结合图1-图2对本实施方式进行说明，本实施方式给出的室内三维重建信息采集装置，机械臂驱动电机6壳体固定安装在机械臂顶部平台11上端面上，机械臂驱动电机6输出轴与机械臂7首端固定连接，机械臂7末端与摄像头俯仰电机8壳体固定连接，摄像头俯仰电机8输出轴与摄像头9固定连接。其它结构连接关系和具体实施方式一相同。
具体实施方式三：结合图1-图2对本实施方式进行说明，本实施方式给出的室内三维重建信息采集装置，升降装置5包括两组‘X’形剪叉连板，每组‘X’形剪叉连板包括两个‘X’形剪叉连板和多个连接杆，每组‘X’形剪叉连板上相对设置‘X’形剪叉连板中间转动轴通过连接杆连接，两组‘X’形剪叉连板由上至下竖直设置，位于上方一组‘X’形剪叉连板底端每侧的板体与下方对应一组‘X’形剪叉连板顶端一侧的板体通过连接杆转动连接，位于上方一组‘X’形剪叉连板顶端一侧板体与机械臂顶部平台11转动连接，位于上方一组‘X’形剪叉连板顶端另一侧板体与机械臂顶部平台11通过滑块滑动连接，位于下方一组‘X’形剪叉连板底端一侧板体与机械臂旋转平台3上的两个固定块转动连接，位于下方一组‘X’形剪叉连板顶端另一侧每个板体均与机械臂旋转平台3上的一个固定块上的滑柱固定连接，每个滑柱在固定块的滑槽上滑动连接，两个滑柱通过连接柱连接，升降装置驱动电机4输出轴与丝杠一端固定连接，丝杠与两个滑柱上的连接柱螺纹连接。其它结构连接关系和具体实施方式一相同。
具体实施方式四：结合图1-图4对本实施方式进行说明，本实施方式给出的室内三维重建信息采集装置摄像头位置获取方法，所述方法是按照以下步骤实现的：
步骤一：通过小车车体1上麦克纳姆轮的编码电机获得小车车体1的运动位置，或通过获取电机的角位移，从而根据轮子的参数计算出小车的位移和转向角度，并根据机械臂7的安装位置确定机械臂基座2的第一位置；
对车载传感器的信息处理可以通过选取编码电机作为小车的驱动电机，同时在车上安装惯性测量元件(IMU)，编码电机能够返回脉冲信号作为电机的反馈来源，能够与(IMU)提供的位置信息进行信息融合，从而能够实现对驱动电机的高精度闭环控制，结合文中提到的粒子滤波方法进一步的提高小车的定位精度。
步骤二：根据机械臂本身机构利用标准D-H参数标定方法确定运动学相对关系，确定机械臂基座2和机械臂7末端之间的第一位置转换关系；
机械臂基座2和机械臂7末端之间的第一位置转换关系包括机械臂7末端相对于机械臂基座2的转换矩阵，可以通过机械臂7的几何参数，运用运动学原理计算得到。
步骤三：基于机械臂基座2和机械臂7末端之间的第一位置转换关系和机械臂基座2的第一位置，确定机械臂7末端的第二位置；
通过机械臂基座2和机械臂7末端之间的第一位置转换关系可以将机械臂基座2的位置矢量与机械臂7末端的位置建立一个可以求得的映射关系、从而通过位置转换关系得到机械臂7末端的第二位置。机械臂基座2的第一位置包括在以工作环境为基准的绝对坐标系之下的位置矢量返回的位置数据。
第二位置由公式：
P2＝T1*P1或者P2＝(T1)-1*P1计算得到：
其中P2为第二位置，T1为第一位置转换关系，P1为第一位置。
步骤四：利用标准D-H参数标定方法获取摄像头9位置相对于机械臂7末端的运动学相对关系，从而获取机械臂7末端和摄像头9之间第二位置转换关系；
包括摄像头俯仰电机8相对于机械臂7末端的转换矩阵，通过摄像头俯仰电机8的几何参数，运用运动学原理计算得到机械臂7末端和摄像头9之间第二位置转换关系。
步骤五：根据步骤四机械臂7末端的第二位置，基于获取机械臂7末端和摄像头9之间第二位置转换关系，获取摄像头9的第三位置。
将机械臂7末端的第二位置与摄像头俯仰电机8的位置建立一个可以求得的映射关系，从而通过机械臂7末端和摄像头9之间第二位置转换关系得到摄像头俯仰电机8的第三位置。
第三位置由公式：
P3＝T2*P2或者P3＝(T2)-1*P2计算得到：
其中P3为第三位置，T2为第二位置转换关系，P2为第二位置。
本实施方式中通过信息采集的摄像头9和摄像头俯仰电机8安装在机械臂7末端上，机械臂基座2安装在小车车体1上获取各组件位置的方法。摄像头9通过摄像头俯仰电机8能够自主进行俯仰角调节，摄像头9进行深度信息采集，用于对工作环境进行拍摄，并将拍摄得到的图像信息和深度信息发送至车载控制装置30，升降装置驱动电机4、机械臂驱动电机6、摄像头俯仰电机8、旋转平台驱动电机10均使用自带的编码器输出脉冲作为运动信息。
具体实施方式五：结合图1-图4对本实施方式进行说明，本实施方式给出的室内三维重建信息采集装置的摄像头位置获取方法，步骤三中确定机械臂7末端的第二位置和机械臂基座2的第一位置采用粒子滤波算法进行去噪，由小车车体1上的麦克纳姆轮的编码电机产生的第一噪声项，利用所述第一噪声项对所述机械臂基座2的第一位置进行去噪处理，得到去噪处理后的机械臂基座2的第一位置，进而获取机械臂7末端的第二位置，机械臂7的运动由升降装置驱动电机4、机械臂驱动电机6、摄像头俯仰电机8和旋转平台驱动电机10由车载控制装置30控制，由升降装置驱动电机4、机械臂驱动电机6、摄像头俯仰电机8和旋转平台驱动电机10各自带的编码器产生的第二噪声项，因而第二噪声项可以用来对机械臂末端的第二位置进行去噪处理，并利用所述第二噪声项对所述机械臂7末端的第二位置进行去噪处理，得到去噪处理后的机械臂7末端的第二位置，进而获取摄像头9的第三位置在绝对坐标系下的位置。其它结构连接关系和具体实施方式四相同。
使用鲸群算法优化采样粒子滤波算法，对所述机械臂基座2的第一位置和机械臂7末端的第二位置进行处理，得到去噪处理后的机械臂基座2的第一位置和机械臂7末端的第二位置：
获取第一噪声项，并利用所述第一噪声项对所述第一位置进行去噪处理，得到去噪处理之后的所述第一位置。
考虑到利用运动学原理计算到的机械臂基座的第一位置中不可避免的会存在过程噪声，若不加以处理，噪声带来的偏差会随后续的位置转换不断扩大，因而，为提高第一位置准确度，在S201中，对第一位置进行去噪处理，以得到去噪处理之后的第一位置。
上述噪声可以为高斯噪声、均匀噪声或者其他的经验值、标定值等，其来源可以是运动过程中产生，也可以是在传感器处理位置关系过程中得到。
对第一位置的去噪处理流程如下：
首先，根据小车运动概率p(x0)，得到代表描述小车运动的粒子集：
Figure BDA0003421315600000051
其中
Figure BDA0003421315600000052
代表小车在初始时刻，由第i个粒子的初始位置和各自的粒子权重ω组成的向量，粒子
Figure BDA0003421315600000053
对应的状态值
Figure BDA0003421315600000054
为鲸群位置；
然后，在t时刻更新粒子权重值：
Figure BDA0003421315600000055
对粒子权重进行随机扰动：生成两随机数rand1、rand2，且rand1,rand2～N(0,1)，更新鲸群位置：
Figure BDA0003421315600000056
其中
Figure BDA0003421315600000061
为新生成邻域位置，其对应粒子权重为
Figure BDA0003421315600000062
比较
Figure BDA0003421315600000063
和
Figure BDA0003421315600000064
若
Figure BDA0003421315600000065
则粒子的最佳位置X*更新为
Figure BDA0003421315600000066
否则为
Figure BDA0003421315600000067
更新粒子位置：生成一个独立的随机数p，且p～U(0,1),则t+1时刻的鲸群位置
Figure BDA0003421315600000068
由以下公式得到：
Figure BDA0003421315600000069
其中A＝a(2r1-1)，a为收敛因子，随着迭代次数的增加从2～0线性递减，r1～U(0,1),D＝2r2X*t-Xt，r2～U(0,1),
D’＝X*t-Xt，b为模仿鲸鱼螺旋搜索猎物的系数，l～U(-1,1)；
考察是否达到最大迭代次数，若达到，则停止迭代,若未达到，则继续迭代；
对其粒子权重进行归一化处理：
Figure BDA00034213156000000610
得到t时刻小车未知量x的最小均方估计：
Figure BDA00034213156000000611
重复上述过程至运动停止。
获取第二噪声项，利用所述第二噪声项对所述第二位置进行去噪处理，得到去噪处理之后的第二位置，
上述噪声可以为高斯噪声、均匀噪声或者其他的经验值、标定值等，其来源可以是运动过程中产生，也可以是在传感器处理位置关系过程中得到。按照所述第一噪声项对所述第一位置进行去噪处理，得到去噪处理之后的所述第一位置方式得到去噪处理之后的第二位置。
车载控制装置30通过线缆或者无线通信的方式连接与摄像头9连接，车载控制装置30对摄像头9采集到的信息进行三维重建处理，并且计算出摄像头9的下一预期位置；车载控制装置30与小车车体1的麦克纳姆轮的编码电机、升降装置驱动电机4、机械臂驱动电机6、摄像头俯仰电机8、旋转平台驱动电机10连接并读取麦克纳姆轮的编码电机、升降装置驱动电机4的编码器、机械臂驱动电机6的编码器、摄像头俯仰电机8的编码器和旋转平台驱动电机10的编码器数据得到电机驱动各个组件的运动位置和运动过程，用于对机械臂基座，机械臂末端，摄像头俯仰装置的旋转角度进行测量。基于获取的位置和运动过程，根据运动关系计算机械臂基座，机械臂末端和摄像头俯仰装置在运动后的新位置；同时车载控制装置通过控制小车车体1的麦克纳姆轮的编码电机、升降装置驱动电机4的编码器、机械臂驱动电机6的编码器、摄像头俯仰电机8的编码器和旋转平台驱动电机10的编码器的运动数据，驱动电机带动小车车体1和机械臂7到达满足室内三维重建信息采集要求的位置。
车载控制装置30还用于：获取第一噪声项，并利用所述第一噪声项对所述第一位置进行去噪处理，得到去噪处理之后的所述第一位置；车载控制装置30还用于：
获取第二噪声项，并利用所述第二噪声项对所述第二位置进行去噪处理，得到去噪处理之后的所述第二位置。
具体实施方式六：结合图1-图4对本实施方式进行说明，本实施方式给出的室内三维重建信息采集装置的摄像头位置获取方法，所述方法是按照以下步骤实现的：
根据去噪后的机械臂基座2的第一位置和机械臂7末端的第二位置通过公式计算得到摄像头的第三位置；
流程如下：
首先根据小车车体1和机械臂7运动概率p(x0)，p(y0)得到代表描述小车车体1和机械臂7运动的粒子集：
Figure BDA0003421315600000071
其中
Figure BDA0003421315600000072
代表小车车体1和机械臂7在初始时刻，由第i个粒子的初始位置和各自的粒子权重ω组成的向量，粒子
Figure BDA0003421315600000073
对应的状态值
Figure BDA0003421315600000074
为鲸群位置；
然后在t时刻更新粒子权重值：
Figure BDA0003421315600000075
对粒子权重进行随机扰动：生成两随机数rand1、rand2，且rand1,rand2～N(0,1)，更新鲸群位置：
Figure BDA0003421315600000076
其中
Figure BDA0003421315600000077
为新生成邻域位置，其对应粒子权重为
Figure BDA0003421315600000078
比较
Figure BDA0003421315600000079
和
Figure BDA00034213156000000710
若
Figure BDA00034213156000000711
则粒子的最佳位置X*更新为
Figure BDA00034213156000000712
否则为
Figure BDA00034213156000000713
更新粒子位置：生成一个独立的随机数p，且p～U(0,1),则t+1时刻的鲸群位置
Figure BDA00034213156000000714
由以下公式得到：
Figure BDA00034213156000000715
其中A＝a(2r1-1)，a为收敛因子，随着迭代次数的增加从2～0线性递减，r1～U(0,1),
D＝2r2X*t-Xt，r2～U(0,1),
D’＝X*t-Xt，b为模仿鲸鱼螺旋搜索猎物的系数，l～U(-1,1)；
考察是否达到最大迭代次数，若达到，则停止迭代,若未达到，则继续迭代；
对其粒子权重进行归一化处理：
Figure BDA0003421315600000081
得到t时刻小车车体1未知量x的最小均方估计：
Figure BDA0003421315600000082
同理按照以上方式得出机械臂7未知量y，进行滤波迭代去除噪声提高位置精度。
具体实施方式七：结合图1-图4对本实施方式进行说明，本实施方式给出的室内三维重建信息采集装置的摄像头位置获取方法，所述机械臂控制方法通过对升降装置驱动电机4、机械臂驱动电机6、摄像头俯仰电机8和旋转平台驱动电机10利用PID控制方法进行控制，针对PID控制的Kp，Ki，Kd三个参数，建立g(Kp，Ki，Kd)函数，利用改进的花授粉算法进行参数整定，流程如下：
确定花授粉算法的控制参数，即初始种群大小N，最大迭代次数Genmax，转换概率p；
初始化种群，即根据给定的上下界随机生成初始解x1,x2,x3，并计算其对应的初始适应度值；
从初始种群中寻找最佳解决方案，即根据适应度值寻找最佳解决方案g*，及其适应度f(g*)；生成新的种群，生成公式如下：
Figure BDA0003421315600000083
其中随机参数L遵循位置参数为0，标度参数为1的Levy分布，
Figure BDA0003421315600000084
t为迭代次数，ξ～N(0，1)，
Figure BDA0003421315600000085
为第t次迭代后的xi值，
Figure BDA0003421315600000086
为随机选取的异于
Figure BDA0003421315600000087
的两个值，ε～U(0,1)，根据经验，p取0.8；
更新种群和最佳解决方案，根据适应度选择更好的新解决方案并保留下来；
重复以上步骤直至达到最大迭代数，得出符合实际要求精度和控制速度的Kp，Ki，Kd参数。其它方式和具体实施方式四相同。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.室内三维重建信息采集装置，其特征在于：它包括小车车体(1)、机械臂基座(2)、机械臂旋转平台(3)、升降装置驱动电机(4)、升降装置(5)、机械臂驱动电机(6)、机械臂(7)、摄像头俯仰电机(8)、摄像头(9)、旋转平台驱动电机(10)和机械臂顶部平台(11)；
机械臂基座(2)固定安装在小车车体(1)上，旋转平台驱动电机(10)壳体安装在机械臂基座(2)上，机械臂旋转平台(3)安装在旋转平台驱动电机(10)的输出轴上，升降装置驱动电机(4)和升降装置(5)固定安装在机械臂旋转平台(3)上端面上，升降装置驱动电机(4)通过连接杆与升降装置(5)驱动端连接，机械臂顶部平台(11)固定安装在升降装置(5)顶端上，机械臂(7)首端通过机械臂驱动电机(6)安装在机械臂顶部平台(11)上端面上，摄像头(9)通过摄像头俯仰电机(8)与机械臂(7)末端固定连接，小车车体(1)底部安装有多个麦克纳姆轮，车载控制装置(30)安装在小车车体(1)上，车载控制装置(30)与升降装置驱动电机(4)、机械臂驱动电机(6)、摄像头俯仰电机(8)、摄像头(9)、旋转平台驱动电机(10)和多个麦克纳姆轮连接。
2.根据权利要求1所述室内三维重建信息采集装置，其特征在于：机械臂驱动电机(6)壳体固定安装在机械臂顶部平台(11)上端面上，机械臂驱动电机(6)输出轴与机械臂(7)首端固定连接，机械臂(7)末端与摄像头俯仰电机(8)壳体固定连接，摄像头俯仰电机(8)输出轴与摄像头(9)固定连接。
3.根据权利要求1所述室内三维重建信息采集装置，其特征在于：升降装置(5)包括两组‘X’形剪叉连板，每组‘X’形剪叉连板包括两个‘X’形剪叉连板和多个连接杆，每组‘X’形剪叉连板上相对设置‘X’形剪叉连板中间转动轴通过连接杆连接，两组‘X’形剪叉连板由上至下竖直设置，位于上方一组‘X’形剪叉连板底端每侧的板体与下方对应一组‘X’形剪叉连板顶端一侧的板体通过连接杆转动连接，位于上方一组‘X’形剪叉连板顶端一侧板体与机械臂顶部平台(11)转动连接，位于上方一组‘X’形剪叉连板顶端另一侧板体与机械臂顶部平台(11)通过滑块滑动连接，位于下方一组‘X’形剪叉连板底端一侧板体与机械臂旋转平台(3)上的两个固定块转动连接，位于下方一组‘X’形剪叉连板顶端另一侧每个板体均与机械臂旋转平台(3)上的一个固定块上的滑柱固定连接，每个滑柱在固定块的滑槽上滑动连接，两个滑柱通过连接柱连接，升降装置驱动电机(4)输出轴与丝杠一端固定连接，丝杠与两个滑柱上的连接柱螺纹连接。
4.利用权利要求1、2或3所述室内三维重建信息采集装置摄像头位置获取方法，其特征在于：所述方法是按照以下步骤实现的：
步骤一：通过小车车体(1)上的麦克纳姆轮的编码电机获得小车车体(1)的运动位置，并根据机械臂(7)的安装位置确定机械臂基座(2)的第一位置；
步骤二：根据机械臂本身机构利用标准D-H参数标定方法确定运动学相对关系，确定机械臂基座(2)和机械臂(7)末端之间的第一位置转换关系；
步骤三：基于机械臂基座(2)和机械臂(7)末端之间的第一位置转换关系和机械臂基座(2)的第一位置，确定机械臂(7)末端的第二位置；
步骤四：利用标准D-H参数标定方法获取摄像头(9)位置相对于机械臂(7)末端的运动学相对关系，从而获取机械臂(7)末端和摄像头(9)之间第二位置转换关系；
步骤五：根据步骤四机械臂(7)末端的第二位置，基于获取机械臂(7)末端和摄像头(9)之间第二位置转换关系，获取摄像头(9)的第三位置。
5.根据权利要求4所述室内三维重建信息采集装置的摄像头位置获取方法，其特征在于：
步骤三中确定机械臂(7)末端的第二位置和机械臂基座(2)的第一位置采用粒子滤波算法进行去噪，由小车车体(1)上的麦克纳姆轮的编码电机产生的第一噪声项，利用所述第一噪声项对所述机械臂基座(2)的第一位置进行去噪处理，得到去噪处理后的机械臂基座(2)的第一位置，进而获取机械臂(7)末端的第二位置，机械臂(7)的运动由升降装置驱动电机(4)、机械臂驱动电机(6)、摄像头俯仰电机(8)和旋转平台驱动电机(10)由车载控制装置(30)控制，由升降装置驱动电机(4)、机械臂驱动电机(6)、摄像头俯仰电机(8)和旋转平台驱动电机(10)各自带的编码器产生的第二噪声项，因而第二噪声项可以用来对机械臂末端的第二位置进行去噪处理，并利用所述第二噪声项对所述机械臂(7)末端的第二位置进行去噪处理，得到去噪处理后的机械臂(7)末端的第二位置，进而获取摄像头(9)的第三位置在绝对坐标系下的位置。
6.根据权利要求5所述室内三维重建信息采集装置的摄像头位置获取方法，其特征在于：根据去噪后的机械臂基座(2)的第一位置和机械臂(7)末端的第二位置通过公式计算得到摄像头的第三位置；
流程如下：
首先根据小车车体(1)和机械臂(7)运动概率p(x0)，p(y0)得到代表描述小车车体(1)和机械臂(7)运动的粒子集：
Figure FDA0003421315590000021
其中
Figure FDA0003421315590000022
代表小车车体(1)和机械臂(7)在初始时刻，由第i个粒子的初始位置和各自的粒子权重ω组成的向量，粒子
Figure FDA0003421315590000023
对应的状态值
Figure FDA0003421315590000024
为鲸群位置；
然后在t时刻更新粒子权重值：
Figure FDA0003421315590000025
对粒子权重进行随机扰动：生成两随机数rand1、rand2，且rand1,rand2～N(0,1)，更新鲸群位置：
Figure FDA0003421315590000031
其中
Figure FDA0003421315590000032
为新生成邻域位置，其对应粒子权重为
Figure FDA0003421315590000033
比较
Figure FDA0003421315590000034
和
Figure FDA0003421315590000035
若
Figure FDA0003421315590000036
则粒子的最佳位置X*更新为
Figure FDA0003421315590000037
否则为
Figure FDA0003421315590000038
更新粒子位置：生成一个独立的随机数p，且p～U(0,1),则t+1时刻的鲸群位置
Figure FDA0003421315590000039
由以下公式得到：
Figure FDA00034213155900000310
其中A＝a(2r1-1)，a为收敛因子，随着迭代次数的增加从2～0线性递减，r1～U(0,1),D＝2r2X*t-Xt，r2～U(0,1),
D’＝X*t-Xt，b为模仿鲸鱼螺旋搜索猎物的系数，l～U(-1,1)；
考察是否达到最大迭代次数，若达到，则停止迭代,若未达到，则继续迭代；
对其粒子权重进行归一化处理：
Figure FDA00034213155900000311
得到t时刻小车车体(1)未知量x的最小均方估计：
Figure FDA00034213155900000312
同理按照以上方式得出机械臂(7)未知量y，进行滤波迭代去除噪声提高位置精度。
7.根据权利要求5所述室内三维重建信息采集装置的摄像头位置获取方法，其特征在于：所述机械臂控制方法通过对升降装置驱动电机(4)、机械臂驱动电机(6)、摄像头俯仰电机(8)和旋转平台驱动电机(10)利用PID控制方法进行控制，针对PID控制的Kp，Ki，Kd三个参数，建立g(Kp，Ki，Kd)函数，利用改进的花授粉算法进行参数整定，流程如下：
确定花授粉算法的控制参数，即初始种群大小N，最大迭代次数Genmax，转换概率p；
初始化种群，即根据给定的上下界随机生成初始解x1,x2,x3，并计算其对应的初始适应度值；从初始种群中寻找最佳解决方案，即根据适应度值寻找最佳解决方案g*，及其适应度f(g*)；生成新的种群，生成公式如下：
Figure FDA00034213155900000313
其中随机参数L遵循位置参数为0，标度参数为1的Levy分布，
Figure FDA0003421315590000041
t为迭代次数，ξ～N(0，1)，
Figure FDA0003421315590000042
为第t次迭代后的xi值，
Figure FDA0003421315590000043
为随机选取的异于
Figure FDA0003421315590000044
的两个值，ε～U(0,1)，根据经验，p取0.8；
更新种群和最佳解决方案，根据适应度选择更好的新解决方案并保留下来；
重复以上步骤直至达到最大迭代数，得出符合实际要求精度和控制速度的Kp，Ki，Kd参数。
CN202111562884.6A 2021-12-20 2021-12-20 室内三维重建信息采集装置及装置摄像头位置获取方法 Active CN114427652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111562884.6A CN114427652B (zh) 2021-12-20 2021-12-20 室内三维重建信息采集装置及装置摄像头位置获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111562884.6A CN114427652B (zh) 2021-12-20 2021-12-20 室内三维重建信息采集装置及装置摄像头位置获取方法

Publications (2)

Publication Number Publication Date
CN114427652A true CN114427652A (zh) 2022-05-03
CN114427652B CN114427652B (zh) 2023-10-10

Family

ID=81311328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111562884.6A Active CN114427652B (zh) 2021-12-20 2021-12-20 室内三维重建信息采集装置及装置摄像头位置获取方法

Country Status (1)

Country Link
CN (1) CN114427652B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109566359A (zh) * 2018-12-26 2019-04-05 南通市中京机械有限公司 基于北斗卫星定位的浇花机器人系统
CN109910010A (zh) * 2019-03-23 2019-06-21 广东石油化工学院 一种高效控制机器人的系统及方法
CN209665352U (zh) * 2019-04-15 2019-11-22 中国石油大学(华东) 智能物流机器人
CN110977985A (zh) * 2019-12-23 2020-04-10 中国银联股份有限公司 一种定位的方法及装置
CN111409720A (zh) * 2019-12-27 2020-07-14 上海微电机研究所(中国电子科技集团公司第二十一研究所) 一种配电巡检机器人
CN111656964A (zh) * 2020-06-09 2020-09-15 广东省现代农业装备研究所 一种果实采摘机器人
CN112192608A (zh) * 2020-10-26 2021-01-08 大陆智源科技（北京）有限公司 机器人头颈结构和机器人
CN112715163A (zh) * 2021-02-02 2021-04-30 广州大学 一种水果采摘机器人
CN112975896A (zh) * 2021-02-26 2021-06-18 中国建筑第四工程局有限公司 一种建筑材料搬运机器人
WO2021208230A1 (zh) * 2020-04-15 2021-10-21 上海工程技术大学 智能装配控制系统
CN113524183A (zh) * 2021-07-14 2021-10-22 广东智源机器人科技有限公司 相对位置获得方法、机械臂控制方法以及机械臂系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109566359A (zh) * 2018-12-26 2019-04-05 南通市中京机械有限公司 基于北斗卫星定位的浇花机器人系统
CN109910010A (zh) * 2019-03-23 2019-06-21 广东石油化工学院 一种高效控制机器人的系统及方法
CN209665352U (zh) * 2019-04-15 2019-11-22 中国石油大学(华东) 智能物流机器人
CN110977985A (zh) * 2019-12-23 2020-04-10 中国银联股份有限公司 一种定位的方法及装置
CN111409720A (zh) * 2019-12-27 2020-07-14 上海微电机研究所(中国电子科技集团公司第二十一研究所) 一种配电巡检机器人
WO2021208230A1 (zh) * 2020-04-15 2021-10-21 上海工程技术大学 智能装配控制系统
CN111656964A (zh) * 2020-06-09 2020-09-15 广东省现代农业装备研究所 一种果实采摘机器人
CN112192608A (zh) * 2020-10-26 2021-01-08 大陆智源科技（北京）有限公司 机器人头颈结构和机器人
CN112715163A (zh) * 2021-02-02 2021-04-30 广州大学 一种水果采摘机器人
CN112975896A (zh) * 2021-02-26 2021-06-18 中国建筑第四工程局有限公司 一种建筑材料搬运机器人
CN113524183A (zh) * 2021-07-14 2021-10-22 广东智源机器人科技有限公司 相对位置获得方法、机械臂控制方法以及机械臂系统

Also Published As

Publication number Publication date
CN114427652B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN109202912A (zh) 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法
CN112907735B (zh) 一种基于点云的柔性电缆识别与三维重建方法
CN103176409B (zh) 一种快速准确实现混凝土泵车臂架运动轨迹的方法
CN110634161A (zh) 一种基于点云数据的工件位姿快速高精度估算方法及装置
CN103331756A (zh) 一种机械臂运动控制方法
CN110103071B (zh) 一种变形复杂零件的数字化寻位加工方法
CN110794762A (zh) 用于打磨机器人的控制方法及系统
CN113155047B (zh) 长距离孔距测量装置、方法、存储介质、设备及轨道车辆
CN113641103B (zh) 自适应机器人的跑步机控制方法和系统
CN115096261B (zh) 基于改进的椭圆拟合优化算法测量锻件倾斜度的方法
CN108180834A (zh) 一种工业机器人同三维成像仪位姿关系现场实时标定方法
CN113341728A (zh) 一种抗噪型归零神经网络的四轮移动机械臂轨迹跟踪控制方法
CN116872216B (zh) 一种基于有限时间控制的机器人视觉伺服作业方法
CN115533916B (zh) 一种机械臂末端负载质量辨识方法、系统、设备及介质
CN114485460B (zh) 一种基于激光雷达的地表三维形貌测量系统及方法
CN116117824A (zh) 一种用于电力对接的框架式机械手定位方法
CN114529703A (zh) 一种基于熵增优化的大型复杂构件点云全局匹配方法
CN114427652A (zh) 室内三维重建信息采集装置及装置摄像头位置获取方法
CN112631342B (zh) 大型海洋模块滑移装船协同作业方法
CN116374191B (zh) 一种直升机尾梁自动安装方法及系统
CN116476046A (zh) 基于粒子群算法优化的机械臂标定与控制装置及方法
CN114842079B (zh) 盾构隧道内对预制中隔墙进行位姿测量的设备及方法
CN115655311A (zh) 一种基于扫描匹配的阿克曼型机器人里程计标定方法
CN114998422B (zh) 一种基于误差补偿模型的高精快速三维定位系统
CN114942421A (zh) 一种全向扫描的多线激光雷达自主定位装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant