CN116664622A - 一种视觉运动控制方法和装置 - Google Patents

一种视觉运动控制方法和装置 Download PDF

Info

Publication number
CN116664622A
CN116664622A CN202310440265.2A CN202310440265A CN116664622A CN 116664622 A CN116664622 A CN 116664622A CN 202310440265 A CN202310440265 A CN 202310440265A CN 116664622 A CN116664622 A CN 116664622A
Authority
CN
China
Prior art keywords
target
pose
feature
motion
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310440265.2A
Other languages
English (en)
Inventor
万里华
张继勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haochuan Automation Technology Co ltd
Original Assignee
Shenzhen Haochuan Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Haochuan Automation Technology Co ltd filed Critical Shenzhen Haochuan Automation Technology Co ltd
Priority to CN202310440265.2A priority Critical patent/CN116664622A/zh
Publication of CN116664622A publication Critical patent/CN116664622A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G06T5/70—
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明涉及运动控制技术领域，揭露了一种视觉运动控制方法，包括：利用第一摄像机获取第一初始图集，利用第二摄像机实时获取第二初始图集，对第二初始图集进行运动除噪，得到第二运动图集；从第一初始图集中提取出第一位姿特征，从第二运动图集中提取出第二位姿特征，根据第一位姿特征和第二位姿特征进行三维重建，得到环境三维模型，对环境三维模型进行物体分割和语义识别，得到环境物体语义集；利用环境物体语义集对环境三维模型进行运动标注，并提取出目标运动点以及目标运动点的目标三维坐标，根据目标三维坐标控制机器臂进行装配运动。本发明还提出一种视觉运动控制装置。本发明可以提高数据风险识别时的精确度。

Description

一种视觉运动控制方法和装置
技术领域
本发明涉及运动控制技术领域，尤其涉及一种视觉运动控制方法和装置。
背景技术
机器人是工业制造的基石，其研发、制造与应用是衡量一个国家科技创新和高端制造水平的重要标志，而随着工业化进程的加速，工业中机器人的数量也在与日俱增，为了提高机器人的生产效率，需要对机器人进行运动控制。
现有的机器人运动控制技术多为基于事先规划轨迹的运动控制方法，将机器人置于流水线的固定位置上，按照固定的频率和事先规划的运动轨迹控制机器人进行运动，实际应用中，基于事先规划轨迹的运动控制方法在处理目标不规律工作时需要由工作人员针对性地一一手动规划运动轨迹，而运动轨迹规划时由于手动测量位移可能导致实际工作时的误差较大，可能会导致进行机器人运动控制时的精确度较低。
发明内容
本发明提供一种视觉运动控制方法和装置，其主要目的在于解决进行机器人运动控制时的精确度较低的问题。
为实现上述目的，本发明提供的一种视觉运动控制方法，包括：
利用固定于运动基座上的第一摄像机实时获取机器臂的第一初始图集，利用固定于所述机器臂上的第二摄像机实时获取第二初始图集，获取所述机器臂的实时运动参数，根据所述实时运动参数对所述第二初始图集进行运动除噪，得到第二运动图集；
将所述第一初始图集除噪融合成第一位姿图片，从所述第一位姿图片中提取出第一位姿特征，将所述第二运动图集除噪融合成第二位姿图片，从所述第二位姿图片中提取出第二位姿特征，对所述第一位姿特征和所述第二位姿特征进行特征匹配，得到特征匹配点集，其中，所述将所述第一初始图集除噪融合成第一位姿图片，包括：对所述第一初始图集进行图块拆分，得到第一图块组集；逐个选取所述第一图块组集中的第一图块组作为目标第一图块组，对所述目标第一图块组进行小波变换，得到目标第一小波系数组集；逐个选取所述目标第一小波系数组集中的第一小波系数组作为目标第一小波系数组，利用如下的图块模糊度公式计算出所述目标第一小波系数组对应的模糊度：
其中，S是指所述模糊度，k是指所述目标第一小波系数组的层数序号，K是指所述目标第一小波系数组的分解总层数，h是指行数序号，Nk是指所述目标第一小波系数组中第k层小波分解后的总行数，j是指列数序号，Mk指所述目标第一小波系数组中第k层小波分解后的总列数，whjk是指所述目标第一小波系数组中第k层第h行第j列的小波系数的振幅值，P是指所述目标第一小波系数组对应的第一图块的像素总行数，p是指行数序号，Q是指所述目标第一小波系数组对应的第一图块的像素总列数，q是指列数序号，wpqk是指所述目标第一小波系数组中第k层第p行第q列的小波系数的振幅值；将所述目标第一小波系数组集对应的所有的模糊度汇集成目标模糊度组，从所述目标模糊度组中筛选出数值最小的模糊度作为目标模糊度；将所述目标第一图块组中所述目标模糊度对应的第一图块作为目标第一图块，将所述第一图块组集中所有的目标第一图块拼接成第一位姿图片；
获取所述第一摄像机的第一实时位姿，根据所述第一实时位姿计算出所述第二摄像机的第二实时位姿，根据所述第二实时位姿生成所述第二摄像机的相机外参，根据所述相机外参对所述特征匹配点集进行空间系转化，得到标准匹配点集；
根据所述标准匹配点集对所述第一位姿图片和所述第二位姿图片进行三维重建，得到环境三维模型，对所述环境三维模型进行物体分割，得到环境物体模型集，对所述环境物体模型集进行语义识别，得到环境物体语义集，对所述环境物体模型集进行语义识别，得到环境物体语义集；
利用所述环境物体语义集对所述环境三维模型进行运动标注，得到标准环境模型，从所述标准环境模型中提取出目标运动点以及所述目标运动点的目标三维坐标，根据所述目标三维坐标控制所述机器臂进行装配运动。
可选地，所述根据所述实时运动参数对所述第二初始图集进行运动除噪，得到第二运动图集，包括：
根据所述实时运动参数建立所述第二摄像机对应的实时运动模型；
逐个选取所述第二初始图集中的图片作为目标第二初始图片，获取所述目标第二初始图片对应的曝光时间，根据所述曝光时间和所述实时运动模型生成所述目标第二初始图片中各个像素的像素移动轨迹；
对所有的像素移动轨迹进行插值运算，得到所述目标第二初始图片的图片运动模型；
根据所述图片运动模型对所述目标第二初始图片进行反卷积滤波，得到目标第二反卷积图片；
依次对所述目标第二反卷积图片进行灰度增强和图像锐化操作，得到目标第二运动图片，并将所有的目标第二运动图片汇集成第二运动图集。
可选地，所述根据所述实时运动参数建立所述第二摄像机对应的实时运动模型，包括：
获取所述机械臂各个关节的长度参数，利用如下的正向运动公式根据所述长度参数和所述实时运动参数中的角度参数计算出所述机器臂的旋转矩阵：
其中，T是指所述旋转矩阵，i是指第i个关节，e是指所述机械臂的关节总数，cos为余弦函数，sin为正弦函数，θi是指所述角度参数中的第i个关节的偏移角度，αi表示所述角度参数中的第i个关节绕第i-1个关节坐标系的前进方向轴旋转的角度，di表示所述角度参数中的第i个关节绕第i-1个关节坐标系的竖直方向轴旋转的角度；
根据所述旋转矩阵和所述角度参数生成所述机器臂的雅克比矩阵；
根据所述雅克比矩阵和所述实时运动参数生成所述第二摄像机的实时运动模型。
可选地，所述根据所述图片运动模型对所述目标第二初始图片进行反卷积滤波，得到目标第二反卷积图片，包括：
对所述目标第二初始图片进行频域转化，得到目标第二图片频域；
利用如下的反卷积滤波算法和所述图片运动模型对所述目标第二图片频域进行反卷积滤波，得到目标第二反卷积频域：
其中，是指所述目标第二反卷积频域在第t时刻频率为(u,v)处的振幅，u是指水平方向上的频率，v是指垂直方向上的频率，t是指所述目标第二反卷积频域的时间，G*(u,v,t)是所述振幅反卷积滤波器在第t时刻频率为(u,v)处的振幅，*为卷积运算符号，π是指圆周率，σ是指高斯分布的标准差，e是指欧拉数，xt是指所述图片运动模型在第t时刻的位置，x0是指所述图片运动模型的初始位置，∈为预设常数，F(u,v,t)是指所述目标第二图片频域在第t时刻频率为(u,v)处的振幅；
对所述目标第二反卷积频域进行图片转化，得到目标第二反卷积图片。
可选地，所述从所述第一位姿图片中提取出第一位姿特征，包括：
对所述第一位姿图片进行多层高斯滤波，得到第一高斯图组；
逐个对所述第一高斯图组中的两个相邻的第一高斯图片进行图像差分操作，得到第一差分特征组；
对所述第一差分特征组进行极值滤波，得到第一极值特征集；
对所述第一极值特征集中的各个第一极值特征进行特征点定位，得到第一初始特征点集；
从所述第一初始特征点集中筛除低对比度特征点和边缘特征点，得到第一标准特征点集；
对所述第一标准特征点集中的各个第一标准特征点进行方向分配，得到第一方向特征点集；
逐个对所述第一方向特征点集中的各个第一方向特征点的进行特征描述，得到第一描述特征点，并将所有的第一描述特征点汇集成第一位姿特征。
可选地，所述对所述第一标准特征点集中的各个第一标准特征点进行方向分配，得到第一方向特征点集，包括：
逐个选取所述第一标准特征点集中的第一标准特征点作为目标第一标准特征点，生成所述目标第一标准特征点的目标特征区域；
将所述目标特征区域划分为角度子区域集，根据所述角度子区域集生成所述目标第一标准特征点的梯度直方图；
将所述梯度直方图中的极大值梯度作为所述目标第一标准特征点的特征方向，得到目标第一方向特征点；
将所有的目标第一方向特征点汇集成第一方向特征点集。
可选地，所述对所述第一位姿特征和所述第二位姿特征进行特征匹配，得到特征匹配点集，包括：
逐个选取所述第一位姿特征中的第一描述特征点作为目标第一描述特征点，计算出所述目标第一描述特征点与所述第二位姿特征中的各个第二描述特征点之间的特征距离；
将所述第二位姿特征中特征距离小于预设的第一距离阈值的第二描述特征点汇集成匹配第二特征点集；
从所述匹配第二特征点集中筛除噪声特征点，得到标准匹配第二特征点集；
利用最近邻算法从所述标准匹配第二特征点集中筛选出所述目标第一描述特征点的特征匹配点，并将所有的特征匹配点汇集成特征匹配点集。
可选地，所述根据所述相机外参对所述特征匹配点集进行空间系转化，得到标准匹配点集，包括：
逐个选取所述特征匹配点集中的特征匹配点作为目标特征匹配点，对所述目标特征匹配点进行齐次坐标转化，得到目标点齐次坐标；
根据所述第二摄像机的内参矩阵对所述目标点齐次坐标进行反投影，得到目标相机坐标点；
根据所述相机外参对所述目标相机坐标点进行世界坐标投影，得到目标初级匹配点；
对所述目标初级匹配点进行反齐次转化，得到标准匹配点，并将所有的标准匹配点汇集成标准匹配点集。
可选地，所述根据所述标准匹配点集对所述第一位姿图片和所述第二位姿图片进行三维重建，得到环境三维模型，包括：
逐个选取所述标准匹配点集中的标准匹配点作为目标标准匹配点，将所述第一位姿图片中与所述目标标准匹配点对应的像素点作为第一位姿匹配点将所述第二位姿图片中与所述目标标准匹配点对应的像素点作为第二位姿匹配点，
利用三角化算法根据所述第一位姿匹配点和所述第二位姿匹配点对所述目标标准匹配点进行点云转化，得到目标环境点云；
将所有的目标环境点云组成环境点云集，对所述环境点云集进行点云滤波，得到滤波点云集；
利用所述第一位姿图片和所述第二位姿图片对所述滤波点云集进行表面重构，得到环境三维模型。
为了解决上述问题，本发明还提供一种视觉运动控制装置，所述装置包括：
图集获取模块，用于利用固定于运动基座上的第一摄像机实时获取机器臂的第一初始图集，利用固定于所述机器臂上的第二摄像机实时获取第二初始图集，获取所述机器臂的实时运动参数，根据所述实时运动参数对所述第二初始图集进行运动除噪，得到第二运动图集；
特征匹配模块，用于将所述第一初始图集除噪融合成第一位姿图片，从所述第一位姿图片中提取出第一位姿特征，将所述第二运动图集除噪融合成第二位姿图片，从所述第二位姿图片中提取出第二位姿特征，对所述第一位姿特征和所述第二位姿特征进行特征匹配，得到特征匹配点集，其中，所述将所述第一初始图集除噪融合成第一位姿图片，包括：对所述第一初始图集进行图块拆分，得到第一图块组集；逐个选取所述第一图块组集中的第一图块组作为目标第一图块组，对所述目标第一图块组进行小波变换，得到目标第一小波系数组集；逐个选取所述目标第一小波系数组集中的第一小波系数组作为目标第一小波系数组，利用如下的图块模糊度公式计算出所述目标第一小波系数组对应的模糊度：
其中，S是指所述模糊度，k是指所述目标第一小波系数组的层数序号，K是指所述目标第一小波系数组的分解总层数，h是指行数序号，Nk是指所述目标第一小波系数组中第k层小波分解后的总行数，j是指列数序号，Mk指所述目标第一小波系数组中第k层小波分解后的总列数，whjk是指所述目标第一小波系数组中第k层第h行第j列的小波系数的振幅值，P是指所述目标第一小波系数组对应的第一图块的像素总行数，p是指行数序号，Q是指所述目标第一小波系数组对应的第一图块的像素总列数，q是指列数序号，wpqk是指所述目标第一小波系数组中第k层第p行第q列的小波系数的振幅值；将所述目标第一小波系数组集对应的所有的模糊度汇集成目标模糊度组，从所述目标模糊度组中筛选出数值最小的模糊度作为目标模糊度；将所述目标第一图块组中所述目标模糊度对应的第一图块作为目标第一图块，将所述第一图块组集中所有的目标第一图块拼接成第一位姿图片；
位姿匹配模块，用于获取所述第一摄像机的第一实时位姿，根据所述第一实时位姿计算出所述第二摄像机的第二实时位姿，根据所述第二实时位姿生成所述第二摄像机的相机外参，根据所述相机外参对所述特征匹配点集进行空间系转化，得到标准匹配点集；
语义识别模块，用于根据所述标准匹配点集对所述第一位姿图片和所述第二位姿图片进行三维重建，得到环境三维模型，对所述环境三维模型进行物体分割，得到环境物体模型集，对所述环境物体模型集进行语义识别，得到环境物体语义集，对所述环境物体模型集进行语义识别，得到环境物体语义集；
运动控制模块，用于利用所述环境物体语义集对所述环境三维模型进行运动标注，得到标准环境模型，从所述标准环境模型中提取出目标运动点以及所述目标运动点的目标三维坐标，根据所述目标三维坐标控制所述机器臂进行装配运动。
本发明实施例通过利用固定于运动基座上的第一摄像机实时获取机器臂的第一初始图集，利用固定于所述机器臂上的第二摄像机实时获取第二初始图集，可以节省三维建模器材的成本，得到两个不同方位的环境图片，从而方便后续的环境建模，也可以进一步提高图片的精确度，通过获取所述机器臂的实时运动参数，根据所述实时运动参数对所述第二初始图集进行运动除噪，得到第二运动图集，可以实现对机械臂末端的运动建模，并消除因为机械臂运动造成的第二初值图集的运动模糊，进而提高后续的控制精确度，通过将所述第一初始图集除噪融合成第一位姿图片，可以提高图片清晰度，保留图片细节，并减轻后续计算的复杂度，通过从所述第一位姿图片中提取出第一位姿特征，可以方便后续的图片特征匹配，通过对所述第一位姿特征和所述第二位姿特征进行特征匹配，得到特征匹配点集，可以构建第一摄像机和第二摄像机拍摄到的不同图片之间的各个相同物体的对应关系，从而方便后续的三维环境模型的建立。
通过获取所述第一摄像机的第一实时位姿，根据所述第一实时位姿计算出所述第二摄像机的第二实时位姿，根据所述第二实时位姿生成所述第二摄像机的相机外参，根据所述相机外参对所述特征匹配点集进行空间系转化，得到标准匹配点集，可以将每个特征匹配点转化到空间三维坐标，方便后续的环境三维模型的建立，通过根据所述标准匹配点集对所述第一位姿图片和所述第二位姿图片进行三维重建，得到环境三维模型，可以获得机器臂所在环境周围的模型，通过对所述环境三维模型进行物体分割，得到环境物体模型集，对所述环境物体模型集进行语义识别，得到环境物体语义集，可以让机械臂了解环境中各物体的位置与空间构成，从而方便运动控制，通过利用所述环境物体语义集对所述环境三维模型进行运动标注，得到标准环境模型，从所述标准环境模型中提取出目标运动点以及所述目标运动点的目标三维坐标，根据所述目标三维坐标控制所述机器臂进行装配运动，可以提高机器臂躲避障碍物的能力，并提高机器臂的运动控制的精确度。因此本发明提出的视觉运动控制方法和装置，可以解决进行机器人运动控制时的精确度较低的问题。
附图说明
图1为本发明一实施例提供的视觉运动控制方法的流程示意图；
图2为本发明一实施例提供的进行运动除噪的流程示意图；
图3为本发明一实施例提供的生成标准匹配点集的流程示意图；
图4为本发明一实施例提供的视觉运动控制装置的功能模块图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种视觉运动控制方法。所述视觉运动控制方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述视觉运动控制方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的视觉运动控制方法的流程示意图。在本实施例中，所述视觉运动控制方法包括：
S1、利用固定于运动基座上的第一摄像机实时获取机器臂的第一初始图集，利用固定于所述机器臂上的第二摄像机实时获取第二初始图集，获取所述机器臂的实时运动参数，根据所述实时运动参数对所述第二初始图集进行运动除噪，得到第二运动图集。
本发明实施例中，所述运动基座是所述机械臂的固定基座，所述运动基座与运动控制器相连，所述运动控制器可以是XPLC500控制器或HMC912BE-2控制器，所述运动控制器用于获取第一摄像机、第二摄像机拍摄的图像，生成三维环境模型，并控制机器臂进行运动。
详细地，所述第一摄像机与所述第二摄像机为可见光的高清相机，所述第一摄像机和所述第二摄像机的型号可以是MV-GE1600C-T摄像机、OMT-918C摄像机或XGA-130VM-T摄像机，所述第二摄像机固定安装于所述机器臂的末端，所述机器臂是指高精度，多输入多输出、高度非线性、强耦合的多轴机器人，因其独特的操作灵活性，已在工业装配、安全防爆等领域得到广泛应用，其中，所述第一摄像机和所述第二摄像机均已提前标定过内参，并进行了相机畸变矫正。
具体地，所述第一初始图集是包含机器臂以及机器臂周围环境的图片组成的图集，所述第二初始图集是所述机器臂的工作目标以及周围环境的图片组成的图集。
详细地，所述利用固定于运动基座上的第一摄像机实时获取机器臂的第一初始图集是指利用固定于运动基座上的第一摄像机对机器臂方向进行连续多次拍摄，得到由多张第一初始图片组成的第一初始图集，所述利用固定于所述机器臂上的第二摄像机实时获取第二初始图集是指利用固定于所述机器臂前端的第二摄像机对机器臂的末端方向进行连续多次拍摄，得到多张由第二初始图片组成的第二初始图集。
详细地，所述实时运动参数是指所述机械臂末端的角度参数、速度参数以及加速度参数等参数，所述角度参数是指所述机械臂每个关节的偏移角度，所述速度参数是指所述机械臂每个关节的关节角速度和笛卡尔坐标速度等反映机械臂速度信息的数据，所述加速度参数是指所述机械臂每个关节的关节角加速度以及笛卡尔坐标加速度等反映机械臂加速度信息的数据。
具体地，可以利用所述机器臂各个关节上的速度传感器和加速度传感器获取所述机器臂的实时运动参数。
本发明实施例中，参照图2所示，所述根据所述实时运动参数对所述第二初始图集进行运动除噪，得到第二运动图集，包括：
S21、根据所述实时运动参数建立所述第二摄像机对应的实时运动模型；
S22、逐个选取所述第二初始图集中的图片作为目标第二初始图片，获取所述目标第二初始图片对应的曝光时间，根据所述曝光时间和所述实时运动模型生成所述目标第二初始图片中各个像素的像素移动轨迹；
S23、对所有的像素移动轨迹进行插值运算，得到所述目标第二初始图片的图片运动模型；
S24、根据所述图片运动模型对所述目标第二初始图片进行反卷积滤波，得到目标第二反卷积图片；
S25、依次对所述目标第二反卷积图片进行灰度增强和图像锐化操作，得到目标第二运动图片，并将所有的目标第二运动图片汇集成第二运动图集。
具体地，所述实时运动模型是指所述第二摄像机在拍摄过程中的运动模型，即所述第二摄像机的位置与时间的关系模型。
详细地，所述根据所述实时运动参数建立所述第二摄像机对应的实时运动模型，包括：
获取所述机械臂各个关节的长度参数，利用如下的正向运动公式根据所述长度参数和所述实时运动参数中的角度参数计算出所述机器臂的旋转矩阵：
其中，T是指所述旋转矩阵，i是指第i个关节，e是指所述机械臂的关节总数，cos为余弦函数，sin为正弦函数，θi是指所述角度参数中的第i个关节的偏移角度，αi表示所述角度参数中的第i个关节绕第i-1个关节坐标系的前进方向轴旋转的角度，di表示所述角度参数中的第i个关节绕第i-1个关节坐标系的竖直方向轴旋转的角度；
根据所述旋转矩阵和所述角度参数生成所述机器臂的雅克比矩阵；
根据所述雅克比矩阵和所述实时运动参数生成所述第二摄像机的实时运动模型。
详细地，通过利用所述正向运动公式根据所述长度参数和所述实时运动参数中的角度参数计算出所述机器臂的旋转矩阵，可以通过每个机械臂关节的角度偏移确定所述机械臂末端位置处的所述第二摄像机的位置参数，提高后续实时运动模型的计算精确度。
本发明实施例中，可以利用雅克比公式根据所述旋转矩阵和所述角度参数生成所述机器臂的雅克比矩阵，所述雅可比矩阵(Jacobian matrix)是一个在向量微积分中非常重要的概念，描述了一个向量函数的每个输出分量对其输入分量的偏导数，在机器人学和运动学中，雅克比矩阵用于描述机器人末端执行器，例如机械臂的夹爪的运动与关节运动之间的关系，反映了关节空间、关节角度与机器人末端执行器位置和方向之间的映射关系。
具体地，所述根据所述雅克比矩阵和所述实时运动参数生成所述第二摄像机的实时运动模型是指根据所述雅克比矩阵和所述实时运动参数中的速度参数计算出所述第二摄像机的实时速度，根据所述雅克比矩阵和所述实时运动参数中的加速度参数计算出所述第二摄像机的实时加速度，根据所述实时运动速度，所述实时加速度以及所述旋转矩阵生成所述实时运动模型。
详细地，所述曝光时间是指所述目标第二初始图片拍摄过程中将光投射到所述第二摄像机的感光材料的感光面上，快门所要打开的时间。
具体地，所述根据所述曝光时间和所述实时运动模型生成所述目标第二初始图片中各个像素的像素移动轨迹，包括：根据所述曝光时间和所述实时运动模型计算出所述第二摄像机的拍摄位移；逐个选取所述目标第二初始图片中的像素点作为目标像素点，将所述目标像素点对应的焦距作为目标焦距；根据所述目标焦距和所述拍摄位移计算出所述目标像素点的像素移动轨迹，其中，所述根据所述目标焦距和所述拍摄位移计算出所述目标像素点的像素移动轨迹数字包括计算出所述目标像素点的水平移动轨迹和垂直移动轨迹，例如，所述计算出所述目标像素点的水平移动轨迹包括利用所述目标像素点在横轴上的焦距乘以所述第二摄像机的横轴坐标与像素坐标系中心点的横轴坐标之差，并除以所述第二摄像机的纵轴坐标。
具体地，可以利用最邻近插值法或双线性插值法等插值算法对所有的像素移动轨迹进行插值计算，得到所述目标第二初始图片的图片运动模型。
详细地，所述根据所述图片运动模型对所述目标第二初始图片进行反卷积滤波，得到目标第二反卷积图片，包括：
对所述目标第二初始图片进行频域转化，得到目标第二图片频域；
利用如下的反卷积滤波算法和所述图片运动模型对所述目标第二图片频域进行反卷积滤波，得到目标第二反卷积频域：
其中，是指所述目标第二反卷积频域在第t时刻频率为(u,v)处的振幅，u是指水平方向上的频率，v是指垂直方向上的频率，t是指所述目标第二反卷积频域的时间，G*(u,v,t)是所述振幅反卷积滤波器在第t时刻频率为(u,v)处的振幅，*为卷积运算符号，π是指圆周率，σ是指高斯分布的标准差，e是指欧拉数，xt是指所述图片运动模型在第t时刻的位置，x0是指所述图片运动模型的初始位置，∈为预设常数，F(u,v,t)是指所述目标第二图片频域在第t时刻频率为(u,v)处的振幅；
对所述目标第二反卷积频域进行图片转化，得到目标第二反卷积图片。
详细地，可以利用快速傅里叶转化公式对所述目标第二初始图片进行频域转化，得到目标第二图片频域，可以利用反傅里叶转化公式对所述目标第二反卷积频域进行图片转化，得到目标第二反卷积图片，所述反卷积滤波器可以是deconvreg滤波器、Wiener滤波器或Lucy-Richardson。
本发明实施例中，通过利用所述反卷积滤波算法和所述图片运动模型对所述目标第二图片频域进行反卷积滤波，得到目标第二反卷积频域，可以利用图片运动模型与高斯扩散函数之间的数学关系消除图片的运动模糊，从而提高图片的清晰度。
具体地，可以利用灰度直方图法对所述目标第二反卷积图片进行灰度增强操作，可以利用canny滤波、拉普拉斯滤波或sobel等滤波算法对所述目标第二反卷积图片进行图像锐化操作，得到目标第二运动图片。
本发明实施例中，通过利用固定于运动基座上的第一摄像机实时获取机器臂的第一初始图集，利用固定于所述机器臂上的第二摄像机实时获取第二初始图集，可以节省三维建模器材的成本，得到两个不同方位的环境图片，从而方便后续的环境建模，也可以进一步提高图片的精确度，通过获取所述机器臂的实时运动参数，根据所述实时运动参数对所述第二初始图集进行运动除噪，得到第二运动图集，可以实现对机械臂末端的运动建模，并消除因为机械臂运动造成的第二初值图集的运动模糊，进而提高后续的控制精确度。
S2、将所述第一初始图集除噪融合成第一位姿图片，从所述第一位姿图片中提取出第一位姿特征，将所述第二运动图集除噪融合成第二位姿图片，从所述第二位姿图片中提取出第二位姿特征，对所述第一位姿特征和所述第二位姿特征进行特征匹配，得到特征匹配点集。
本发明实施例中，所述第一位姿图片是由所述第一初始图集融合得到的最为清晰的图片。
本发明实施例中，所述将所述第一初始图集除噪融合成第一位姿图片，包括：
对所述第一初始图集进行图块拆分，得到第一图块组集；
逐个选取所述第一图块组集中的第一图块组作为目标第一图块组，对所述目标第一图块组进行小波变换，得到目标第一小波系数组集；
逐个选取所述目标第一小波系数组集中的第一小波系数组作为目标第一小波系数组，利用如下的图块模糊度公式计算出所述目标第一小波系数组对应的模糊度：
其中，S是指所述模糊度，k是指所述目标第一小波系数组的层数序号，K是指所述目标第一小波系数组的分解总层数，h是指行数序号，Nk是指所述目标第一小波系数组中第k层小波分解后的总行数，j是指列数序号，Mk指所述目标第一小波系数组中第k层小波分解后的总列数，whjk是指所述目标第一小波系数组中第k层第h行第j列的小波系数的振幅值，P是指所述目标第一小波系数组对应的第一图块的像素总行数，p是指行数序号，Q是指所述目标第一小波系数组对应的第一图块的像素总列数，q是指列数序号，wpqk是指所述目标第一小波系数组中第k层第p行第q列的小波系数的振幅值；
将所述目标第一小波系数组集对应的所有的模糊度汇集成目标模糊度组，从所述目标模糊度组中筛选出数值最小的模糊度作为目标模糊度；
将所述目标第一图块组中所述目标模糊度对应的第一图块作为目标第一图块，将所述第一图块组集中所有的目标第一图块拼接成第一位姿图片。
具体地，所述对所述第一初始图集进行图块拆分，得到第一图块组集是指逐个选取所述第一初始图集中的第一初始图片作为目标第一初始图片，依次对所述目标第一初始图片进行多级四叉树分块、三叉树分块以及二叉树分块，得到第一图块组，并将所有的第一图块组汇集成第一图块组集。
详细地，所述对所述目标第一图块组进行小波变换，得到目标第一小波系数组集是指逐个选取所述目标第一图块组中的第一图块作为目标第一图块，利用Haar小波滤波器、Daubechies小波滤波器以及Coiflets小波滤波器等滤波器将所述目标第一图块进行连续的滤波，并利用二维离散小波变换或二维连续小波变换等小波变换算法将滤波得到的多个子带进行小波变换，得到第一小波系数组，将所有的第一小波系数组汇集成目标第一小波系数组集。
本发明实施例中，通过利用所述图块模糊度公式计算出所述目标第一小波系数组对应的模糊度可以根据小波变换的图片灰度频域确定图片的模糊度，从而提高图片模糊度的识别准确率。
详细地，所述将所述第二运动图集除噪融合成第二位姿图片，从所述第二位姿图片中提取出第二位姿特征的方法与上述步骤中所述将所述第一初始图集除噪融合成第一位姿图片，从所述第一位姿图片中提取出第一位姿特征的方法一致，这里不再赘述。
具体地，所述从所述第一位姿图片中提取出第一位姿特征，包括：
对所述第一位姿图片进行多层高斯滤波，得到第一高斯图组；
逐个对所述第一高斯图组中的两个相邻的第一高斯图片进行图像差分操作，得到第一差分特征组；
对所述第一差分特征组进行极值滤波，得到第一极值特征集；
对所述第一极值特征集中的各个第一极值特征进行特征点定位，得到第一初始特征点集；
从所述第一初始特征点集中筛除低对比度特征点和边缘特征点，得到第一标准特征点集；
对所述第一标准特征点集中的各个第一标准特征点进行方向分配，得到第一方向特征点集；
逐个对所述第一方向特征点集中的各个第一方向特征点的进行特征描述，得到第一描述特征点，并将所有的第一描述特征点汇集成第一位姿特征。
详细地，所述对所述第一位姿图片进行多层高斯滤波，得到第一高斯图组是指对所述第一位姿图片进行多次高斯滤波，以产生一系列具有不同尺度和分辨率的第一高斯图片，其中每一层的第一高斯图片的分辨率比前一层低，但是在同一层内的第一高斯图片具有相同的尺度。
具体地，可以利用最大值滤波器对所述第一差分特征组进行初级极值滤波，得到第一初级极值特征集，并筛除所述第一初级极值特征集中小于预设的特征阈值的第一初级极值特征后，得到第一极值特征集。
详细地，可以利用Hessian矩阵的主曲率比或局部插值算法对所述第一极值特征集中的各个第一极值特征进行特征点定位，得到第一初始特征点集，所述低对比度特征点是指第一初始特征点集中特征点周围像素点的灰度差平均值小于预设灰度阈值的第一初始特征点，所述边缘特征点是指第一初始特征点集中特征点周围的像素点的梯度方向与特征点周围的主要梯度方向差别很大的第一初始特征点。
本发明实施例中，所述对所述第一标准特征点集中的各个第一标准特征点进行方向分配，得到第一方向特征点集，包括：
逐个选取所述第一标准特征点集中的第一标准特征点作为目标第一标准特征点，生成所述目标第一标准特征点的目标特征区域；
将所述目标特征区域划分为角度子区域集，根据所述角度子区域集生成所述目标第一标准特征点的梯度直方图；
将所述梯度直方图中的极大值梯度作为所述目标第一标准特征点的特征方向，得到目标第一方向特征点；
将所有的目标第一方向特征点汇集成第一方向特征点集。
具体地，所述目标特征区域是以所述目标第一标准特征点为中心点的圆形区域，所述角度子区域集是由多个角度子区域组成的集合，且每个角度子区域的角度范围为30度到45度，所述根据所述角度子区域集生成所述目标第一标准特征点的梯度直方图是指计算所述角度子区域集中各个角度子区域中像素的梯度幅值、梯度方向以及累加梯度幅值，得到梯度直方图。
具体地，所述逐个对所述第一方向特征点集中的各个第一方向特征点的进行特征描述，得到第一描述特征点是指通过各个第一方向特征点周围的像素值和方向来描述第一方向特征点，得到第一方向特征点的特征向量，将所述特征向量作为所述第一方向特征点的描述符，得到第一描述特征点。
详细地，所述对所述第一位姿特征和所述第二位姿特征进行特征匹配，得到特征匹配点集，包括：
逐个选取所述第一位姿特征中的第一描述特征点作为目标第一描述特征点，计算出所述目标第一描述特征点与所述第二位姿特征中的各各第二描述特征点之间的特征距离；
将所述第二位姿特征中特征距离小于预设的第一距离阈值的第二描述特征点汇集成匹配第二特征点集；
从所述匹配第二特征点集中筛除噪声特征点，得到标准匹配第二特征点集；
利用最近邻算法从所述标准匹配第二特征点集中筛选出所述目标第一描述特征点的特征匹配点，并将所有的特征匹配点汇集成特征匹配点集。
详细地，可以利用余弦距离算法或欧式距离算法计算出所述目标第一描述特征点与所述第二位姿特征中的各第二描述特征点之间的特征距离，可以利用RANSAC算法或基于阈值筛除算法从所述匹配第二特征点集中筛除噪声特征点，得到标准匹配第二特征点集。
本发明实施例中，通过将所述第一初始图集除噪融合成第一位姿图片，可以提高图片清晰度，保留图片细节，并减轻后续计算的复杂度，通过从所述第一位姿图片中提取出第一位姿特征，可以方便后续的图片特征匹配，通过对所述第一位姿特征和所述第二位姿特征进行特征匹配，得到特征匹配点集，可以构建第一摄像机和第二摄像机拍摄到的不同图片之间的各个相同物体的对应关系，从而方便后续的三维环境模型的建立。
S3、获取所述第一摄像机的第一实时位姿，根据所述第一实时位姿计算出所述第二摄像机的第二实时位姿，根据所述第二实时位姿生成所述第二摄像机的相机外参，根据所述相机外参对所述特征匹配点集进行空间系转化，得到标准匹配点集。
本发明实施例中，所述第一实时位姿是指所述第一摄像机的位置和朝向，所述第一实时位姿由所述第一摄像机的旋转矩阵和平移向量组成，所述第二实时位姿是指所述第二摄像机的位置和朝向，所述第二实时位姿由所述第二摄像机的旋转矩阵和平移向量组成，所述相机外参是指相机的位置和朝向的投影矩阵，包括相机的内参矩阵和相机的位姿矩阵，所述第一摄像机的第一实时位姿可以通过所述第一摄像机上的重力传感器和角度传感器得到。
本发明实施例中，所述获取根据所述第一实时位姿计算出所述第二摄像机的第二实时位姿的方法与上述步骤S1中的所述根据所述实时运动参数建立所述第二摄像机对应的实时运动模型的方法一致，这里不再赘述。
本发明实施例中，所述根据所述第二实时位姿生成所述第二摄像机的相机外参，包括：获取所述第二摄像机的相机内参，根据所述相机内参生成内参矩阵，从所述第二实时位姿中提取出位姿矩阵，将所述内参矩阵乘以所述位姿矩阵得到所述第二摄像机的相机外参。
详细地，参照图3所示，所述根据所述相机外参对所述特征匹配点集进行空间系转化，得到标准匹配点集，包括：
S31、逐个选取所述特征匹配点集中的特征匹配点作为目标特征匹配点，对所述目标特征匹配点进行齐次坐标转化，得到目标点齐次坐标；
S32、根据所述第二摄像机的内参矩阵对所述目标点齐次坐标进行反投影，得到目标相机坐标点；
S33、根据所述相机外参对所述目标相机坐标点进行世界坐标投影，得到目标初级匹配点；
S34、对所述目标初级匹配点进行反齐次转化，得到标准匹配点，并将所有的标准匹配点汇集成标准匹配点集。
具体地，所述对所述目标特征匹配点进行齐次坐标转化，得到目标点齐次坐标是指将所述目标特征匹配点的坐标末尾加上1，得到三维坐标，方便矩阵空间运算。
本发明实施例中，通过获取所述第一摄像机的第一实时位姿，根据所述第一实时位姿计算出所述第二摄像机的第二实时位姿，根据所述第二实时位姿生成所述第二摄像机的相机外参，根据所述相机外参对所述特征匹配点集进行空间系转化，得到标准匹配点集，可以将每个特征匹配点转化到空间三维坐标，方便后续的环境三维模型的建立。
S4、根据所述标准匹配点集对所述第一位姿图片和所述第二位姿图片进行三维重建，得到环境三维模型，对所述环境三维模型进行物体分割，得到环境物体模型集，对所述环境物体模型集进行语义识别，得到环境物体语义集。
本发明实施例中，所述环境三维模型是指所述机器臂周围空间的三维化模型，通过生成所述环境三维模型，可以方便所述机器臂识别空间信息，从而进行精确地运动控制。
本发明实施例中，所述根据所述标准匹配点集对所述第一位姿图片和所述第二位姿图片进行三维重建，得到环境三维模型，包括：
逐个选取所述标准匹配点集中的标准匹配点作为目标标准匹配点，将所述第一位姿图片中与所述目标标准匹配点对应的像素点作为第一位姿匹配点将所述第二位姿图片中与所述目标标准匹配点对应的像素点作为第二位姿匹配点，
利用三角化算法根据所述第一位姿匹配点和所述第二位姿匹配点对所述目标标准匹配点进行点云转化，得到目标环境点云；
将所有的目标环境点云组成环境点云集，对所述环境点云集进行点云滤波，得到滤波点云集；
利用所述第一位姿图片和所述第二位姿图片对所述滤波点云集进行表面重构，得到环境三维模型。
具体地，可以利用Poisson重构、Marching Cubes重构、Ball Pivoting重构等重构算法对所述滤波点云集进行表面重构，得到环境三维模型；可以利用区域生长算法或密度聚类算法对所述环境三维模型进行物体分割，得到环境物体模型集。
详细地，所述对所述环境物体模型集进行语义识别，得到环境物体语义集，包括：逐个选取所述环境物体模型集中的环境物体模型作为目标环境物体模型，对所述目标环境物体进行多维特征提取，得到目标物体特征组；根据所述目标物体特征组对所述目标环境物体进行语义识别，得到环境物体语义，并将所有的环境物体语义汇集成环境物体语义集。
具体地，所述对所述目标环境物体进行多维特征提取，得到目标物体特征组是指依次提取出所述目标环境物体的颜色特征、形状特征以及纹理特征等特征，并汇集成目标物体特征组，其中，可以利用主成分分析(Principal Component Analysis，简称PCA)、快速点特征直方图(Fast Point Feature Histograms，简称FPFH)以及方向直方图签名(Signature of Histograms of OrienTations，简称SHOT)等特征提取算法提取出所述目标环境物体的颜色特征、形状特征以及纹理特征等特征。
详细地，可以利用训练后的支持向量机(Support Vector Machine，简称SVM)、卷积神经网络(Convolutional Neural Network，简称CNN)或k近邻(K-Nearest Neighbors，简称KNN)神经网络或机器学习算法根据所述目标物体特征组对所述目标环境物体进行语义识别，得到环境物体语义，并将所有的环境物体语义汇集成环境物体语义集。
本发明实施例中，通过根据所述标准匹配点集对所述第一位姿图片和所述第二位姿图片进行三维重建，得到环境三维模型，可以获得机器臂所在环境周围的模型，通过对所述环境三维模型进行物体分割，得到环境物体模型集，对所述环境物体模型集进行语义识别，得到环境物体语义集，可以让机械臂了解环境中各物体的位置与空间构成，从而方便运动控制。
S5、利用所述环境物体语义集对所述环境三维模型进行运动标注，得到标准环境模型，从所述标准环境模型中提取出目标运动点以及所述目标运动点的目标三维坐标，根据所述目标三维坐标控制所述机器臂进行装配运动。
具体地，所述利用所述环境物体语义集对所述环境三维模型进行运动标注，得到标准环境模型是指将所述环境三维模型中的各个环境物体模型标注成运动控制语义，例如，当环境物体的环境物体语义为待装配螺丝时，标注为目标运动点，当环境物体的环境物体语义为书本时，标注为障碍物。
具体地，所述目标运动点是指所述机器臂需要进行工作运动的物体的坐标，例如待装配螺丝的三维空间坐标，所述根据所述目标三维坐标控制所述机器臂进行装配运动是指控制所述机器臂移动到所述目标三维坐标所在位置进行运动。
详细地，可以根据所述目标三维坐标和所述机器臂末端的三维坐标计算出相对位移，并利用A算法或蚁群算法等路径分析算法得到机器臂的运动路径，利用逆运动学算法计算出所述运动路径对应的各关节的旋转方向与角度，从而控制所述机器臂进行装配运动。
本发明实施例中，通过利用所述环境物体语义集对所述环境三维模型进行运动标注，得到标准环境模型，从所述标准环境模型中提取出目标运动点以及所述目标运动点的目标三维坐标，根据所述目标三维坐标控制所述机器臂进行装配运动，可以提高机器臂躲避障碍物的能力，并提高机器臂的运动控制的精确度。
本发明实施例通过利用固定于运动基座上的第一摄像机实时获取机器臂的第一初始图集，利用固定于所述机器臂上的第二摄像机实时获取第二初始图集，可以节省三维建模器材的成本，得到两个不同方位的环境图片，从而方便后续的环境建模，也可以进一步提高图片的精确度，通过获取所述机器臂的实时运动参数，根据所述实时运动参数对所述第二初始图集进行运动除噪，得到第二运动图集，可以实现对机械臂末端的运动建模，并消除因为机械臂运动造成的第二初值图集的运动模糊，进而提高后续的控制精确度，通过将所述第一初始图集除噪融合成第一位姿图片，可以提高图片清晰度，保留图片细节，并减轻后续计算的复杂度，通过从所述第一位姿图片中提取出第一位姿特征，可以方便后续的图片特征匹配，通过对所述第一位姿特征和所述第二位姿特征进行特征匹配，得到特征匹配点集，可以构建第一摄像机和第二摄像机拍摄到的不同图片之间的各个相同物体的对应关系，从而方便后续的三维环境模型的建立。
通过获取所述第一摄像机的第一实时位姿，根据所述第一实时位姿计算出所述第二摄像机的第二实时位姿，根据所述第二实时位姿生成所述第二摄像机的相机外参，根据所述相机外参对所述特征匹配点集进行空间系转化，得到标准匹配点集，可以将每个特征匹配点转化到空间三维坐标，方便后续的环境三维模型的建立，通过根据所述标准匹配点集对所述第一位姿图片和所述第二位姿图片进行三维重建，得到环境三维模型，可以获得机器臂所在环境周围的模型，通过对所述环境三维模型进行物体分割，得到环境物体模型集，对所述环境物体模型集进行语义识别，得到环境物体语义集，可以让机械臂了解环境中各物体的位置与空间构成，从而方便运动控制，通过利用所述环境物体语义集对所述环境三维模型进行运动标注，得到标准环境模型，从所述标准环境模型中提取出目标运动点以及所述目标运动点的目标三维坐标，根据所述目标三维坐标控制所述机器臂进行装配运动，可以提高机器臂躲避障碍物的能力，并提高机器臂的运动控制的精确度。因此本发明提出的视觉运动控制方法，可以解决进行机器人运动控制时的精确度较低的问题。
如图4所示，是本发明一实施例提供的视觉运动控制装置的功能模块图。
本发明所述视觉运动控制装置100可以安装于电子设备中。根据实现的功能，所述视觉运动控制装置100可以包括图集获取模块101、特征匹配模块102、位姿匹配模块103、语义识别模块104及运动控制模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述图集获取模块101，用于利用固定于运动基座上的第一摄像机实时获取机器臂的第一初始图集，利用固定于所述机器臂上的第二摄像机实时获取第二初始图集，获取所述机器臂的实时运动参数，根据所述实时运动参数对所述第二初始图集进行运动除噪，得到第二运动图集；
所述特征匹配模块102，用于将所述第一初始图集除噪融合成第一位姿图片，从所述第一位姿图片中提取出第一位姿特征，将所述第二运动图集除噪融合成第二位姿图片，从所述第二位姿图片中提取出第二位姿特征，对所述第一位姿特征和所述第二位姿特征进行特征匹配，得到特征匹配点集，其中，所述将所述第一初始图集除噪融合成第一位姿图片，包括：对所述第一初始图集进行图块拆分，得到第一图块组集；逐个选取所述第一图块组集中的第一图块组作为目标第一图块组，对所述目标第一图块组进行小波变换，得到目标第一小波系数组集；逐个选取所述目标第一小波系数组集中的第一小波系数组作为目标第一小波系数组，利用如下的图块模糊度公式计算出所述目标第一小波系数组对应的模糊度：
其中，S是指所述模糊度，k是指所述目标第一小波系数组的层数序号，K是指所述目标第一小波系数组的分解总层数，h是指行数序号，Nk是指所述目标第一小波系数组中第k层小波分解后的总行数，j是指列数序号，Mk指所述目标第一小波系数组中第k层小波分解后的总列数，whjk是指所述目标第一小波系数组中第k层第h行第j列的小波系数的振幅值，P是指所述目标第一小波系数组对应的第一图块的像素总行数，p是指行数序号，Q是指所述目标第一小波系数组对应的第一图块的像素总列数，q是指列数序号，wpqk是指所述目标第一小波系数组中第k层第p行第q列的小波系数的振幅值；将所述目标第一小波系数组集对应的所有的模糊度汇集成目标模糊度组，从所述目标模糊度组中筛选出数值最小的模糊度作为目标模糊度；将所述目标第一图块组中所述目标模糊度对应的第一图块作为目标第一图块，将所述第一图块组集中所有的目标第一图块拼接成第一位姿图片；
所述位姿匹配模块103，用于获取所述第一摄像机的第一实时位姿，根据所述第一实时位姿计算出所述第二摄像机的第二实时位姿，根据所述第二实时位姿生成所述第二摄像机的相机外参，根据所述相机外参对所述特征匹配点集进行空间系转化，得到标准匹配点集；
所述语义识别模块104，用于根据所述标准匹配点集对所述第一位姿图片和所述第二位姿图片进行三维重建，得到环境三维模型，对所述环境三维模型进行物体分割，得到环境物体模型集，对所述环境物体模型集进行语义识别，得到环境物体语义集，对所述环境物体模型集进行语义识别，得到环境物体语义集；
所述运动控制模块105，用于利用所述环境物体语义集对所述环境三维模型进行运动标注，得到标准环境模型，从所述标准环境模型中提取出目标运动点以及所述目标运动点的目标三维坐标，根据所述目标三维坐标控制所述机器臂进行装配运动。
详细地，本发明实施例中所述视觉运动控制装置100中所述的各模块在使用时采用与上述图1至图3中所述的视觉运动控制方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统实施例中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种视觉运动控制方法，其特征在于，所述方法包括：
S1：利用固定于运动基座上的第一摄像机实时获取机器臂的第一初始图集，利用固定于所述机器臂上的第二摄像机实时获取第二初始图集，获取所述机器臂的实时运动参数，根据所述实时运动参数对所述第二初始图集进行运动除噪，得到第二运动图集；
S2：将所述第一初始图集除噪融合成第一位姿图片，从所述第一位姿图片中提取出第一位姿特征，将所述第二运动图集除噪融合成第二位姿图片，从所述第二位姿图片中提取出第二位姿特征，对所述第一位姿特征和所述第二位姿特征进行特征匹配，得到特征匹配点集，其中，所述将所述第一初始图集除噪融合成第一位姿图片，包括：
S21：对所述第一初始图集进行图块拆分，得到第一图块组集；
S22：逐个选取所述第一图块组集中的第一图块组作为目标第一图块组，对所述目标第一图块组进行小波变换，得到目标第一小波系数组集；
S23：逐个选取所述目标第一小波系数组集中的第一小波系数组作为目标第一小波系数组，利用如下的图块模糊度公式计算出所述目标第一小波系数组对应的模糊度：
其中，S是指所述模糊度，k是指所述目标第一小波系数组的层数序号，K是指所述目标第一小波系数组的分解总层数，h是指行数序号，Nk是指所述目标第一小波系数组中第k层小波分解后的总行数，j是指列数序号，Mk指所述目标第一小波系数组中第k层小波分解后的总列数，whjk是指所述目标第一小波系数组中第k层第h行第j列的小波系数的振幅值，P是指所述目标第一小波系数组对应的第一图块的像素总行数，p是指行数序号，Q是指所述目标第一小波系数组对应的第一图块的像素总列数，q是指列数序号，wpqk是指所述目标第一小波系数组中第k层第p行第q列的小波系数的振幅值；
S24：将所述目标第一小波系数组集对应的所有的模糊度汇集成目标模糊度组，从所述目标模糊度组中筛选出数值最小的模糊度作为目标模糊度；
S25：将所述目标第一图块组中所述目标模糊度对应的第一图块作为目标第一图块，将所述第一图块组集中所有的目标第一图块拼接成第一位姿图片；
S3：获取所述第一摄像机的第一实时位姿，根据所述第一实时位姿计算出所述第二摄像机的第二实时位姿，根据所述第二实时位姿生成所述第二摄像机的相机外参，根据所述相机外参对所述特征匹配点集进行空间系转化，得到标准匹配点集；
S4：根据所述标准匹配点集对所述第一位姿图片和所述第二位姿图片进行三维重建，得到环境三维模型，对所述环境三维模型进行物体分割，得到环境物体模型集，对所述环境物体模型集进行语义识别，得到环境物体语义集，对所述环境物体模型集进行语义识别，得到环境物体语义集；
S5：利用所述环境物体语义集对所述环境三维模型进行运动标注，得到标准环境模型，从所述标准环境模型中提取出目标运动点以及所述目标运动点的目标三维坐标，根据所述目标三维坐标控制所述机器臂进行装配运动。
2.如权利要求1所述的视觉运动控制方法，其特征在于，所述根据所述实时运动参数对所述第二初始图集进行运动除噪，得到第二运动图集，包括：
根据所述实时运动参数建立所述第二摄像机对应的实时运动模型；
逐个选取所述第二初始图集中的图片作为目标第二初始图片，获取所述目标第二初始图片对应的曝光时间，根据所述曝光时间和所述实时运动模型生成所述目标第二初始图片中各个像素的像素移动轨迹；
对所有的像素移动轨迹进行插值运算，得到所述目标第二初始图片的图片运动模型；
根据所述图片运动模型对所述目标第二初始图片进行反卷积滤波，得到目标第二反卷积图片；
依次对所述目标第二反卷积图片进行灰度增强和图像锐化操作，得到目标第二运动图片，并将所有的目标第二运动图片汇集成第二运动图集。
3.如权利要求2所述的视觉运动控制方法，其特征在于，所述根据所述实时运动参数建立所述第二摄像机对应的实时运动模型，包括：
获取所述机械臂各个关节的长度参数，利用如下的正向运动公式根据所述长度参数和所述实时运动参数中的角度参数计算出所述机器臂的旋转矩阵：
其中，T是指所述旋转矩阵，i是指第i个关节，e是指所述机械臂的关节总数，cos为余弦函数，sin为正弦函数，θi是指所述角度参数中的第i个关节的偏移角度，αi表示所述角度参数中的第i个关节绕第i-1个关节坐标系的前进方向轴旋转的角度，di表示所述角度参数中的第i个关节绕第i-1个关节坐标系的竖直方向轴旋转的角度；
根据所述旋转矩阵和所述角度参数生成所述机器臂的雅克比矩阵；
根据所述雅克比矩阵和所述实时运动参数生成所述第二摄像机的实时运动模型。
4.如权利要求2所述的视觉运动控制方法，其特征在于，所述根据所述图片运动模型对所述目标第二初始图片进行反卷积滤波，得到目标第二反卷积图片，包括：
对所述目标第二初始图片进行频域转化，得到目标第二图片频域；
利用如下的反卷积滤波算法和所述图片运动模型对所述目标第二图片频域进行反卷积滤波，得到目标第二反卷积频域：
其中，是指所述目标第二反卷积频域在第t时刻频率为(u,v)处的振幅，u是指水平方向上的频率，v是指垂直方向上的频率，t是指所述目标第二反卷积频域的时间，G*(u,v,t)是所述振幅反卷积滤波器在第t时刻频率为(u,v)处的振幅，*为卷积运算符号，π是指圆周率，σ是指高斯分布的标准差，e是指欧拉数，xt是指所述图片运动模型在第t时刻的位置，x0是指所述图片运动模型的初始位置，∈为预设常数，F(u,v,t)是指所述目标第二图片频域在第t时刻频率为(u,v)处的振幅；
对所述目标第二反卷积频域进行图片转化，得到目标第二反卷积图片。
5.如权利要求1所述的视觉运动控制方法，其特征在于，所述从所述第一位姿图片中提取出第一位姿特征，包括：
对所述第一位姿图片进行多层高斯滤波，得到第一高斯图组；
逐个对所述第一高斯图组中的两个相邻的第一高斯图片进行图像差分操作，得到第一差分特征组；
对所述第一差分特征组进行极值滤波，得到第一极值特征集；
对所述第一极值特征集中的各个第一极值特征进行特征点定位，得到第一初始特征点集；
从所述第一初始特征点集中筛除低对比度特征点和边缘特征点，得到第一标准特征点集；
对所述第一标准特征点集中的各个第一标准特征点进行方向分配，得到第一方向特征点集；
逐个对所述第一方向特征点集中的各个第一方向特征点的进行特征描述，得到第一描述特征点，并将所有的第一描述特征点汇集成第一位姿特征。
6.如权利要求5所述的视觉运动控制方法，其特征在于，所述对所述第一标准特征点集中的各个第一标准特征点进行方向分配，得到第一方向特征点集，包括：
逐个选取所述第一标准特征点集中的第一标准特征点作为目标第一标准特征点，生成所述目标第一标准特征点的目标特征区域；
将所述目标特征区域划分为角度子区域集，根据所述角度子区域集生成所述目标第一标准特征点的梯度直方图；
将所述梯度直方图中的极大值梯度作为所述目标第一标准特征点的特征方向，得到目标第一方向特征点；
将所有的目标第一方向特征点汇集成第一方向特征点集。
7.如权利要求1所述的视觉运动控制方法，其特征在于，所述对所述第一位姿特征和所述第二位姿特征进行特征匹配，得到特征匹配点集，包括：
逐个选取所述第一位姿特征中的第一描述特征点作为目标第一描述特征点，计算出所述目标第一描述特征点与所述第二位姿特征中的各个第二描述特征点之间的特征距离；
将所述第二位姿特征中特征距离小于预设的第一距离阈值的第二描述特征点汇集成匹配第二特征点集；
从所述匹配第二特征点集中筛除噪声特征点，得到标准匹配第二特征点集；
利用最近邻算法从所述标准匹配第二特征点集中筛选出所述目标第一描述特征点的特征匹配点，并将所有的特征匹配点汇集成特征匹配点集。
8.如权利要求1所述的视觉运动控制方法，其特征在于，所述根据所述相机外参对所述特征匹配点集进行空间系转化，得到标准匹配点集，包括：
逐个选取所述特征匹配点集中的特征匹配点作为目标特征匹配点，对所述目标特征匹配点进行齐次坐标转化，得到目标点齐次坐标；
根据所述第二摄像机的内参矩阵对所述目标点齐次坐标进行反投影，得到目标相机坐标点；
根据所述相机外参对所述目标相机坐标点进行世界坐标投影，得到目标初级匹配点；
对所述目标初级匹配点进行反齐次转化，得到标准匹配点，并将所有的标准匹配点汇集成标准匹配点集。
9.如权利要求1所述的视觉运动控制方法，其特征在于，所述根据所述标准匹配点集对所述第一位姿图片和所述第二位姿图片进行三维重建，得到环境三维模型，包括：
逐个选取所述标准匹配点集中的标准匹配点作为目标标准匹配点，将所述第一位姿图片中与所述目标标准匹配点对应的像素点作为第一位姿匹配点将所述第二位姿图片中与所述目标标准匹配点对应的像素点作为第二位姿匹配点，
利用三角化算法根据所述第一位姿匹配点和所述第二位姿匹配点对所述目标标准匹配点进行点云转化，得到目标环境点云；
将所有的目标环境点云组成环境点云集，对所述环境点云集进行点云滤波，得到滤波点云集；
利用所述第一位姿图片和所述第二位姿图片对所述滤波点云集进行表面重构，得到环境三维模型。
10.一种视觉运动控制装置，其特征在于，所述装置包括：
图集获取模块，用于利用固定于运动基座上的第一摄像机实时获取机器臂的第一初始图集，利用固定于所述机器臂上的第二摄像机实时获取第二初始图集，获取所述机器臂的实时运动参数，根据所述实时运动参数对所述第二初始图集进行运动除噪，得到第二运动图集；
特征匹配模块，用于将所述第一初始图集除噪融合成第一位姿图片，从所述第一位姿图片中提取出第一位姿特征，将所述第二运动图集除噪融合成第二位姿图片，从所述第二位姿图片中提取出第二位姿特征，对所述第一位姿特征和所述第二位姿特征进行特征匹配，得到特征匹配点集，其中，所述将所述第一初始图集除噪融合成第一位姿图片，包括：对所述第一初始图集进行图块拆分，得到第一图块组集；逐个选取所述第一图块组集中的第一图块组作为目标第一图块组，对所述目标第一图块组进行小波变换，得到目标第一小波系数组集；逐个选取所述目标第一小波系数组集中的第一小波系数组作为目标第一小波系数组，利用如下的图块模糊度公式计算出所述目标第一小波系数组对应的模糊度：
其中，S是指所述模糊度，k是指所述目标第一小波系数组的层数序号，K是指所述目标第一小波系数组的分解总层数，h是指行数序号，Nk是指所述目标第一小波系数组中第k层小波分解后的总行数，j是指列数序号，Mk指所述目标第一小波系数组中第k层小波分解后的总列数，whjk是指所述目标第一小波系数组中第k层第h行第j列的小波系数的振幅值，P是指所述目标第一小波系数组对应的第一图块的像素总行数，p是指行数序号，Q是指所述目标第一小波系数组对应的第一图块的像素总列数，q是指列数序号，wpqk是指所述目标第一小波系数组中第k层第p行第q列的小波系数的振幅值；将所述目标第一小波系数组集对应的所有的模糊度汇集成目标模糊度组，从所述目标模糊度组中筛选出数值最小的模糊度作为目标模糊度；将所述目标第一图块组中所述目标模糊度对应的第一图块作为目标第一图块，将所述第一图块组集中所有的目标第一图块拼接成第一位姿图片；
位姿匹配模块，用于获取所述第一摄像机的第一实时位姿，根据所述第一实时位姿计算出所述第二摄像机的第二实时位姿，根据所述第二实时位姿生成所述第二摄像机的相机外参，根据所述相机外参对所述特征匹配点集进行空间系转化，得到标准匹配点集；
语义识别模块，用于根据所述标准匹配点集对所述第一位姿图片和所述第二位姿图片进行三维重建，得到环境三维模型，对所述环境三维模型进行物体分割，得到环境物体模型集，对所述环境物体模型集进行语义识别，得到环境物体语义集，对所述环境物体模型集进行语义识别，得到环境物体语义集；
运动控制模块，用于利用所述环境物体语义集对所述环境三维模型进行运动标注，得到标准环境模型，从所述标准环境模型中提取出目标运动点以及所述目标运动点的目标三维坐标，根据所述目标三维坐标控制所述机器臂进行装配运动。
CN202310440265.2A 2023-04-23 2023-04-23 一种视觉运动控制方法和装置 Pending CN116664622A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310440265.2A CN116664622A (zh) 2023-04-23 2023-04-23 一种视觉运动控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310440265.2A CN116664622A (zh) 2023-04-23 2023-04-23 一种视觉运动控制方法和装置

Publications (1)

Publication Number Publication Date
CN116664622A true CN116664622A (zh) 2023-08-29

Family

ID=87719668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310440265.2A Pending CN116664622A (zh) 2023-04-23 2023-04-23 一种视觉运动控制方法和装置

Country Status (1)

Country Link
CN (1) CN116664622A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649409A (zh) * 2024-01-29 2024-03-05 深圳市锐健电子有限公司 基于机器视觉的滑台自主限位系统、方法、装置及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649409A (zh) * 2024-01-29 2024-03-05 深圳市锐健电子有限公司 基于机器视觉的滑台自主限位系统、方法、装置及介质
CN117649409B (zh) * 2024-01-29 2024-04-02 深圳市锐健电子有限公司 基于机器视觉的滑台自主限位系统、方法、装置及介质

Similar Documents

Publication Publication Date Title
CN109344882B (zh) 基于卷积神经网络的机器人控制目标位姿识别方法
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN112476434A (zh) 一种基于协作机器人的视觉3d取放方法及系统
CN110176032B (zh) 一种三维重建方法及装置
CN111553949B (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN114417616A (zh) 一种装配机器人遥操作环境的数字孪生建模方法及系统
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN109886124B (zh) 一种基于线束描述子图像匹配的无纹理金属零件抓取方法
CN114419147A (zh) 一种救援机器人智能化远程人机交互控制方法及系统
CN112907735B (zh) 一种基于点云的柔性电缆识别与三维重建方法
CN113043267A (zh) 机器人控制方法、装置、机器人及计算机可读存储介质
CN115345822A (zh) 一种面向航空复杂零件的面结构光自动化三维检测方法
CN113011401B (zh) 人脸图像姿态估计和校正方法、系统、介质及电子设备
CN114022560A (zh) 标定方法及相关装置、设备
CN111981982A (zh) 一种基于加权sfm算法的多向合作靶标光学测量方法
CN116664622A (zh) 一种视觉运动控制方法和装置
CN113077519A (zh) 一种基于人体骨架提取的多相机外参自动标定方法
CN115345942A (zh) 空间标定方法、装置、计算机设备和存储介质
CN112947458B (zh) 基于多模态信息的机器人准确抓取方法及计算机可读介质
CN110634160B (zh) 二维图形中目标三维关键点提取模型构建及姿态识别方法
CN111008932B (zh) 一种基于图像筛选的全景图像拼接方法
CN115719377A (zh) 一种六自由度位姿估计数据集自动采集系统
CN110570473A (zh) 一种基于点线融合的权重自适应位姿估计方法
CN115456870A (zh) 基于外参估计的多图像拼接方法
CN113284249B (zh) 一种基于图神经网络的多视角三维人体重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination