CN117237594B - 基于视觉定位的机械手精准定位方法及系统 - Google Patents

基于视觉定位的机械手精准定位方法及系统 Download PDF

Info

Publication number
CN117237594B
CN117237594B CN202311502612.6A CN202311502612A CN117237594B CN 117237594 B CN117237594 B CN 117237594B CN 202311502612 A CN202311502612 A CN 202311502612A CN 117237594 B CN117237594 B CN 117237594B
Authority
CN
China
Prior art keywords
target
signal
manipulator
data
carrying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311502612.6A
Other languages
English (en)
Other versions
CN117237594A (zh
Inventor
汤晓华
王亚龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wuxin Intelligent Technology Co ltd
Original Assignee
Shenzhen Wuxin Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wuxin Intelligent Technology Co ltd filed Critical Shenzhen Wuxin Intelligent Technology Co ltd
Priority to CN202311502612.6A priority Critical patent/CN117237594B/zh
Publication of CN117237594A publication Critical patent/CN117237594A/zh
Application granted granted Critical
Publication of CN117237594B publication Critical patent/CN117237594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及图像识别技术领域,公开了一种基于视觉定位的机械手精准定位方法及系统,用于提高基于视觉定位的机械手精准定位的准确率。包括:对目标机械手进行位置参考点标定,得到目标机械手对应的多个位置参考点,基于多个位置参考点构建离线位置指纹数据库;对目标机械手进行图像采集,得到目标机械手的多个实时图像,对多个实时图像进行机械手第一位置特征提取,得到第一位置特征集;对目标机械手进行AP信号采集,得到多个目标AP信号,对每个目标AP信号进行离散系数计算,得到离散系数集合;对目标机械手进行第二位置特征计算,得到第二位置特征集;对第一位置特征集以及第二位置特征集进行机械手定位分析,得到目标位置数据。

Description

基于视觉定位的机械手精准定位方法及系统
技术领域
本发明涉及图像识别技术领域,尤其涉及一种基于视觉定位的机械手精准定位方法及系统。
背景技术
随着自动化和机器人技术的迅速发展,精确的机械手定位对于工业自动化、物流、医疗保健和其他领域的应用变得日益重要。
传统的机械手定位方法主要依赖于GPS、惯性导航系统或激光测距等技术,但这些方法在室内、高精度和高可靠性存在不足。传统方法的定位精度有限,无法满足高精度定位需求,如精确抓取、导航和定点操作。
发明内容
本发明提供了一种基于视觉定位的机械手精准定位方法及系统,用于提高基于视觉定位的机械手精准定位的准确率。
本发明第一方面提供了一种基于视觉定位的机械手精准定位方法,所述基于视觉定位的机械手精准定位方法包括:对预置的目标机械手进行位置参考点标定,得到所述目标机械手对应的多个位置参考点,并基于多个所述位置参考点构建离线位置指纹数据库;
对预置的目标机械手进行图像采集,得到所述目标机械手的多个实时图像,并对多个所述实时图像进行机械手第一位置特征提取,得到第一位置特征集;
基于所述离线位置指纹数据库,对所述目标机械手进行AP信号采集,得到多个目标AP信号,并对每个所述目标AP信号进行离散系数计算,得到离散系数集合;
通过所述离散系数集合对所述目标机械手进行第二位置特征计算,得到第二位置特征集;
对所述第一位置特征集以及所述第二位置特征集进行机械手定位分析,得到目标位置数据。
结合第一方面,在本发明第一方面的第一实施方式中,所述对预置的目标机械手进行位置参考点标定,得到所述目标机械手对应的多个位置参考点,并基于多个所述位置参考点构建离线位置指纹数据库,包括:
对所述目标机械手进行工作空间提取,得到所述目标机械手的工作空间范围;
基于所述工作空间范围,对所述目标机械手进行关键动作点坐标分析,得到多个坐标数据;
根据多个所述坐标数据对所述目标机械手进行位置参考点标定,得到所述目标机械手对应的多个位置参考点;
基于多个所述位置参考点,对所述目标机械手进行初始AP信号采集,得到初始AP信号集合,并基于所述初始AP信号集合构建离线位置指纹数据库。
结合第一方面,在本发明第一方面的第二实施方式中,所述对预置的目标机械手进行图像采集,得到所述目标机械手的多个实时图像,并对多个所述实时图像进行机械手第一位置特征提取,得到第一位置特征集,包括:
对所述目标机械手进行图像采集,得到所述目标机械手的多个实时图像;
对多个所述实时图像进行实时视频流转换,得到目标实时视频流;
对所述目标实时视频流进行图像区域提取框标定,得到目标区域提取框;
根据所述目标区域提取框,对所述目标机械手进行运动趋势分析,得到目标运动趋势;
对所述目标运动趋势进行运动曲线构建,得到目标运动曲线;
对所述目标运动曲线进行曲线特征点提取,得到多个曲线特征点;
基于多个所述曲线特征点对所述目标机械手进行机械手第一位置特征提取,得到所述第一位置特征集。
结合第一方面,在本发明第一方面的第三实施方式中,所述基于所述离线位置指纹数据库,对所述目标机械手进行AP信号采集,得到多个目标AP信号,并对每个所述目标AP信号进行离散系数计算,得到离散系数集合,包括:
对所述目标机械手进行AP信号采集,得到多个目标AP信号;
分别对每个所述目标AP信号进行MAC地址分析,得到每个所述AP信号对应的MAC地址数据;
分别对每个所述目标AP信号进行信号强度计算,得到每个所述目标AP信号对应的信号强度数据;
分别对每个所述目标AP信号进行信号频率计算,得到每个所述目标AP信号对应的信号频率数据;
基于每个所述AP信号对应的MAC地址数据、每个所述AP信号对应的信号强度数据以及每个所述AP信号对应的信号频率数据,对每个所述目标AP信号进行离散系数计算,得到离散系数集合。
结合第一方面的第三实施方式,在本发明第一方面的第四实施方式中,所述基于每个所述AP信号对应的MAC地址数据、每个所述AP信号对应的信号强度数据以及每个所述AP信号对应的信号频率数据,对每个所述目标AP信号进行离散系数计算,得到离散系数集合,包括:
对每个所述AP信号对应的信号强度数据进行强度均值计算,得到强度均值数据;
基于所述强度均值数据,分别对每个所述AP信号对应的信号强度数据进行标准差计算,得到每个所述AP信号对应的标准差数据;
基于所述强度均值数据,通过每个所述AP信号对应的标准差数据对每个所述AP信号进行初始离散系数计算,得到每个所述AP信号对应的初始离散系数;
基于每个所述AP信号对应的MAC地址数据,通过每个所述AP信号对应的信号频率数据分别对每个所述AP信号对应的初始离散系数进行加权处理,得到每个所述AP信号对应的目标离散系数并将每个所述AP信号对应的目标离散系数合并为离散系数集合。
结合第一方面的第四实施方式,在本发明第一方面的第五实施方式中,所述通过所述离散系数集合对所述目标机械手进行第二位置特征计算,得到第二位置特征集,包括:
分别对每个所述AP信号及所述目标机械手进行欧氏距离计算,得到多个欧氏距离数据;
通过所述离散系数集合对多个所述欧氏距离数据进行数据修正,得到多个目标距离数据;
基于多个所述目标距离数据对所述目标机械手进行第二位置特征计算,得到所述第二位置特征集。
结合第一方面,在本发明第一方面的第六实施方式中,所述对所述第一位置特征集以及所述第二位置特征集进行机械手定位分析,得到目标位置数据,包括:
对所述第一位置特征集进行空间位置映射,得到第一空间位置数据;
对所述第二位置特征集进行空间位置映射,得到第二空间位置数据;
对所述第一空间位置数据以及所述第二空间位置数据进行差异数据提取,得到位置差异数据;
对所述位置差异数据进行位置精度分析,得到对应的精度指标,并对所述精度指标进行阈值分析;
当所述精度指标小于或等于阈值的预设阈值时,对所述第一空间位置数据以及所述第二空间位置数据进行差异数据剔除处理,得到第一候选数据以及第二候选数据;
对所述第一候选数据以及所述第二候选数据进行机械手定位分析,得到所述目标位置数据。
本发明第二方面提供了一种基于视觉定位的机械手精准定位系统,所述基于视觉定位的机械手精准定位系统包括:
标定模块,用于对预置的目标机械手进行位置参考点标定,得到所述目标机械手对应的多个位置参考点,并基于多个所述位置参考点构建离线位置指纹数据库;
提取模块,用于对预置的目标机械手进行图像采集,得到所述目标机械手的多个实时图像,并对多个所述实时图像进行机械手第一位置特征提取,得到第一位置特征集;
采集模块,用于基于所述离线位置指纹数据库,对所述目标机械手进行AP信号采集,得到多个目标AP信号,并对每个所述目标AP信号进行离散系数计算,得到离散系数集合;
计算模块,用于通过所述离散系数集合对所述目标机械手进行第二位置特征计算,得到第二位置特征集;
分析模块,用于对所述第一位置特征集以及所述第二位置特征集进行机械手定位分析,得到目标位置数据。
本发明第三方面提供了一种基于视觉定位的机械手精准定位设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述基于视觉定位的机械手精准定位设备执行上述的基于视觉定位的机械手精准定位方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的基于视觉定位的机械手精准定位方法。
本发明提供的技术方案中,对目标机械手进行位置参考点标定,得到目标机械手对应的多个位置参考点,基于多个位置参考点构建离线位置指纹数据库;对目标机械手进行图像采集,得到目标机械手的多个实时图像,对多个实时图像进行机械手第一位置特征提取,得到第一位置特征集;基于离线位置指纹数据库,对目标机械手进行AP信号采集,得到多个目标AP信号,对每个目标AP信号进行离散系数计算,得到离散系数集合;通过离散系数集合对目标机械手进行第二位置特征计算,得到第二位置特征集;对第一位置特征集以及第二位置特征集进行机械手定位分析,得到目标位置数据。在本申请方案中,通过使用多个位置参考点进行标定和构建离线位置指纹数据库,以及通过离散系数计算和第一/第二位置特征集的分析,能够实现机械手的高精度定位。离线位置指纹数据库和离散系数计算可以帮助减少环境变化对定位的影响。综合了图像数据、AP信号数据以及其他位置指纹数据,从多个角度捕获信息,提高了定位的鲁棒性。通过实时图像采集和实时AP信号采集,这使得机械手可以快速响应并校正其位置,以适应动态环境中的变化。在需要更高精度的情况下,位置校正可以轻松集成到该方案中。机械手可以通过外部传感器进行校正,以进一步提高位置标定的准确性。
附图说明
图1为本发明实施例中基于视觉定位的机械手精准定位方法的一个实施例示意图;
图2为本发明实施例中对预置的目标机械手进行图像采集的流程图;
图3为本发明实施例中对目标机械手进行AP信号采集的流程图;
图4为本发明实施例中对每个目标AP信号进行离散系数计算的流程图;
图5为本发明实施例中基于视觉定位的机械手精准定位系统的一个实施例示意图;
图6为本发明实施例中基于视觉定位的机械手精准定位设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于视觉定位的机械手精准定位方法及系统,用于提高基于视觉定位的机械手精准定位的准确率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中基于视觉定位的机械手精准定位方法的一个实施例包括:
S101、对预置的目标机械手进行位置参考点标定,得到目标机械手对应的多个位置参考点,并基于多个位置参考点构建离线位置指纹数据库;
可以理解的是,本发明的执行主体可以为基于视觉定位的机械手精准定位系统,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的,对目标机械手进行工作空间提取,以确定目标机械手的工作空间范围。工作空间是机械手能够达到的物理范围,通常由关节和执行器的运动能力所限制。分析工作空间有助于确定机械手出现的位置。在工作空间提取的基础上,进行关键动作点坐标分析。这一步骤涉及到机械手在其工作空间内的关键动作点,这些点是机械手在执行任务时所需经过的位置。通过分析这些关键动作点,可以得到多个坐标数据,它们描述了机械手在工作空间内的各个位置。根据多个坐标数据对目标机械手进行位置参考点标定。使用先前获得的坐标数据来标记工作空间内的特定位置,这些位置将成为离线位置指纹数据库的一部分。这些位置参考点在将来的定位中将用于参考。基于多个位置参考点,进行初始AP信号采集。在这些参考点上采集初始的AP信号,这可以是Wi-Fi或蓝牙信号等。这些初始AP信号将用于构建离线位置指纹数据库,这个数据库将包含每个参考点上的AP信号信息。例如,工作空间提取包括确定机械手可以覆盖的整个工厂区域。通过分析工作空间,确定了一系列需要机械手执行任务的关键动作点,如零部件装配点和生产线上的检验点。坐标数据记录了这些关键动作点的三维坐标。接着,使用坐标数据来标定这些关键动作点,将它们纳入位置参考点。例如,机械手需要在工作空间中的某个位置准确拾取零件,这个位置就是一个位置参考点。采集初始AP信号,比如在工厂的不同区域记录Wi-Fi信号的强度和标识信息。这些数据将构成离线位置指纹数据库的一部分,可以在将来的机械手定位中用于定位分析,以确保机械手在工厂中能够精确定位并执行任务,如零部件装配或物流操作。
S102、对预置的目标机械手进行图像采集,得到目标机械手的多个实时图像,并对多个实时图像进行机械手第一位置特征提取,得到第一位置特征集;
需要说明的是,进行图像采集。这涉及获取目标机械手的多个实时图像。这些图像可以通过相机或摄像头来捕获,这些设备可以安装在机械手附近或在工作区域内。对多个实时图像进行实时视频流转换。这一步骤将图像串联起来,以形成一个目标的实时视频流,这使得机械手的运动可以连续跟踪。随后,对目标实时视频流进行图像区域提取框标定。定义一个感兴趣的区域,通常是包含机械手的位置,以便集中关注机械手的运动。基于目标区域提取框,进行运动趋势分析。这一步骤涉及追踪目标区域提取框的移动,以了解机械手的运动趋势。这可以通过比较连续图像帧之间的位置信息来实现。接着,对目标运动趋势进行运动曲线构建。这一步骤将机械手的运动趋势可视化为一个连续的运动曲线,这有助于更好地理解机械手的移动路径。对目标运动曲线进行曲线特征点提取。在曲线上确定关键特征点,这些特征点包括极值点、拐点或其他显著的位置,它们将有助于描述机械手的运动轨迹。基于多个曲线特征点进行机械手的第一位置特征提取。从曲线中提取的特征点作为机械手的第一位置特征集。这个特征集将包括有关机械手位置和运动的重要信息。例如,实时图像由摄像头捕获,每秒捕获多个图像。这些图像被转化为实时视频流,以实时跟踪机械手的运动。在图像区域提取框标定阶段,确定了装配线上的特定区域,这个区域包括了机械手在装配任务中的操作区域。运动趋势分析可以监测机械手的移动,包括零部件抓取、旋转和放置等动作。通过构建运动曲线,可以以可视化的方式展示机械手的移动路径,这对于分析和调试机械手的运动非常有帮助。在曲线上,可以提取关键特征点,如机械手在零部件抓取点的最低点或零部件旋转的拐点。基于这些曲线特征点,构建第一位置特征集,其中包含有关机械手动作的重要信息,例如抓取点、旋转点和放置点。这个第一位置特征集可以用于精确定位机械手并确保它能够准确地完成装配任务。
S103、基于离线位置指纹数据库,对目标机械手进行AP信号采集,得到多个目标AP信号,并对每个目标AP信号进行离散系数计算,得到离散系数集合;
具体的,进行AP信号采集,以获取多个目标AP信号。这些信号可以是无线局域网络(Wi-Fi)或蓝牙等通信协议的信号。通常,多个AP信号将在机械手操作区域内可用,这些信号具有不同的MAC地址、信号强度和信号频率。对每个目标AP信号进行MAC地址分析。这一步骤涉及确定每个AP信号所对应的MAC地址数据。MAC地址是唯一的标识符,用于区分不同的无线设备或AP。随后,分别对每个目标AP信号进行信号强度计算。测量每个AP信号的信号强度,这通常以分贝(dBm)为单位来表示。信号强度反映了设备与AP之间的距离和通信质量。继而,分别对每个目标AP信号进行信号频率计算。这一步骤涉及测量每个AP信号的信号频率,通常以赫兹(Hz)为单位。信号频率是无线通信信号的频率,不同的AP在不同频率上进行通信。基于每个AP信号对应的MAC地址数据、信号强度数据以及信号频率数据,进行离散系数计算。离散系数是用于分析信号的波动和变化程度的指标。这可以通过比较不同AP信号的信号强度、频率和MAC地址等特征来计算。例如,假设机械手需要在仓库中精确定位以执行物流任务。在仓库内,有多个Wi-Fi接入点分布,它们发出Wi-Fi信号。机械手配备了Wi-Fi接收器,可以接收这些信号。首先进行AP信号采集,通过机械手上的Wi-Fi接收器捕获多个目标AP信号。每个AP信号具有不同的MAC地址、信号强度和信号频率。对每个AP信号进行MAC地址分析,以确定每个信号所对应的唯一MAC地址数据。接着,分别对每个AP信号进行信号强度计算,以了解机械手与不同AP之间的距离和信号质量。随后,进行信号频率计算,以获得每个AP信号的信号频率信息。基于MAC地址、信号强度和信号频率数据,计算每个AP信号的离散系数,这可以用于确定机械手相对于不同AP的位置信息。通过比较离散系数,可以确定机械手相对于这些AP的位置,从而实现了机械手的精准定位和导航。
对每个AP信号对应的信号强度数据进行强度均值计算。这一步骤涉及计算每个AP信号的信号强度的平均值。信号强度的平均值反映了机械手与AP之间的一般距离和通信质量。基于强度均值数据,分别对每个AP信号对应的信号强度数据进行标准差计算。标准差是一种统计指标,用于衡量数据集的变化程度。在这里,它用于衡量每个AP信号的信号强度的变化情况。随后,基于强度均值数据,通过每个AP信号对应的标准差数据,进行初始离散系数计算。初始离散系数是通过将信号强度的标准差除以信号强度均值来计算的,这将提供一个初始的离散系数,用于描述信号强度的相对变化程度。基于每个AP信号对应的MAC地址数据,通过每个AP信号对应的信号频率数据,分别对每个AP信号的初始离散系数进行加权处理。这一步骤涉及使用MAC地址和信号频率信息来调整初始离散系数,以获得每个AP信号的目标离散系数。将每个AP信号对应的目标离散系数合并为离散系数集合。这个集合包含了所有AP信号的目标离散系数,可以用于后续的机械手定位和导航操作。
S104、通过离散系数集合对目标机械手进行第二位置特征计算,得到第二位置特征集;
具体的,进行欧氏距离计算,分别对每个AP信号和目标机械手进行计算。欧氏距离是一种常用的距离度量方法,用于衡量两个点之间的直线距离。在这里,它用于衡量每个AP信号和机械手之间的距离。通过离散系数集合对多个欧氏距离数据进行数据修正。使用离散系数集合中的信息来修正欧氏距离数据。具体的修正方式可以根据离散系数集合的内容和机械手的运动模式而定。随后,基于多个目标距离数据,对目标机械手进行第二位置特征计算。这一步骤旨在使用修正后的距离数据来生成第二位置特征集,这个特征集将包含关于机械手位置和周围环境的信息。例如,假设机械手通过Wi-Fi接收器收集多个AP信号源的数据,包括MAC地址、信号强度和信号频率。这些数据可以用于计算机械手与每个信号源之间的欧氏距离。通过离散系数集合,机械手对欧氏距离数据进行数据修正。如果某个AP信号受到干扰或信号质量不稳定,离散系数可以用于校正这些问题,以确保距离数据更准确。基于修正后的目标距离数据,机械手可以生成第二位置特征,如其坐标、方向和速度信息。这将帮助机械手准确搬运货物,确保货物放置在正确的位置,提高仓库自动化系统的效率。
S105、对第一位置特征集以及第二位置特征集进行机械手定位分析,得到目标位置数据。
需要说明的是,通过对第一位置特征集进行空间位置映射,可以得到第一空间位置数据。这个映射过程将第一位置特征集中的位置信息转化为机械手在三维空间中的坐标。同样,对第二位置特征集进行空间位置映射,可以得到第二空间位置数据,这将提供机械手在另一个时间点的位置和方向信息。通过对第一和第二空间位置数据进行差异数据提取,可以得到位置差异数据。这些差异数据反映了机械手在两个时间点之间的位置变化和姿态变化。进行位置精度分析,这一步骤旨在计算机械手定位的精度。精度指标通常表示机械手的定位误差或不确定性。随后,进行阈值分析,比较精度指标与预设的阈值。如果精度指标小于或等于预设阈值,说明机械手的定位相对准确,可以进一步处理。当满足精度条件时,对第一和第二空间位置数据进行差异数据剔除处理,以得到第一候选数据和第二候选数据。这个步骤旨在去除由于不准确的定位引起的差异数据,从而提高定位的准确性。对第一和第二候选数据进行机械手定位分析,以得到目标位置数据。这个目标位置数据代表了机械手在特定时间点的精确位置和方向,可用于引导机械手执行任务,如抓取、装配或定位。
本发明实施例中,对目标机械手进行位置参考点标定,得到目标机械手对应的多个位置参考点,基于多个位置参考点构建离线位置指纹数据库;对目标机械手进行图像采集,得到目标机械手的多个实时图像,对多个实时图像进行机械手第一位置特征提取,得到第一位置特征集;基于离线位置指纹数据库,对目标机械手进行AP信号采集,得到多个目标AP信号,对每个目标AP信号进行离散系数计算,得到离散系数集合;通过离散系数集合对目标机械手进行第二位置特征计算,得到第二位置特征集;对第一位置特征集以及第二位置特征集进行机械手定位分析,得到目标位置数据。在本申请方案中,通过使用多个位置参考点进行标定和构建离线位置指纹数据库,以及通过离散系数计算和第一/第二位置特征集的分析,能够实现机械手的高精度定位。离线位置指纹数据库和离散系数计算可以帮助减少环境变化对定位的影响。综合了图像数据、AP信号数据以及其他位置指纹数据,从多个角度捕获信息,提高了定位的鲁棒性。通过实时图像采集和实时AP信号采集,这使得机械手可以快速响应并校正其位置,以适应动态环境中的变化。在需要更高精度的情况下,位置校正可以轻松集成到该方案中。机械手可以通过外部传感器进行校正,以进一步提高位置标定的准确性。
在一具体实施例中,执行步骤S101的过程可以具体包括如下步骤:
(1)对目标机械手进行工作空间提取,得到目标机械手的工作空间范围;
(2)基于工作空间范围,对目标机械手进行关键动作点坐标分析,得到多个坐标数据;
(3)根据多个坐标数据对目标机械手进行位置参考点标定,得到目标机械手对应的多个位置参考点;
(4)基于多个位置参考点,对目标机械手进行初始AP信号采集,得到初始AP信号集合,并基于初始AP信号集合构建离线位置指纹数据库。
具体的,工作空间提取是指确定目标机械手能够覆盖的空间范围。这通常包括机械手能够移动和执行任务的区域。这一步骤的目标是确保机械手在执行任务时不会超出其工作范围。进行关键动作点坐标分析。关键动作点是机械手在执行任务时的重要位置。通过分析这些点的坐标,可以了解机械手的关键动作范围和姿态。基于多个坐标数据对目标机械手进行位置参考点标定。确定在工作空间中的特定位置,这些位置将成为后续定位的参考点。这些位置通常选在工作空间中的战略位置,以确保全面的覆盖。进行初始AP信号采集。机械手配备了Wi-Fi接收器,用于接收来自各个AP信号源的信号。在工作空间中移动机械手,收集不同位置的AP信号数据。基于初始AP信号集合构建离线位置指纹数据库。这个数据库将包括不同位置的AP信号数据,以及与这些位置相关联的坐标数据。这个数据库将用于后续的机械手定位,通过比对实际收集到的AP信号数据与离线数据库中的数据,机械手可以确定自身位置。例如,工作空间提取确定了机械手可以操作的范围,这包括仓库内各个货架的位置。这确保了机械手在执行任务时不会超出工作范围,从而提高了安全性和效率。通过关键动作点坐标分析,确定了机械手在货物搬运任务中的关键动作点,如抓取点、放置点等。这些坐标将在后续的操作中用作参考。多个坐标数据用于位置参考点标定。在仓库内选择了若干位置作为参考点,这些位置通常位于货架的顶部或重要的交叉路口处。随后,机械手在工作空间内移动,收集初始AP信号数据。这些数据包括来自Wi-Fi信号源的MAC地址、信号强度和信号频率。使用初始AP信号数据构建离线位置指纹数据库。该数据库将包括每个参考点的AP信号数据以及相应的坐标数据。这使得机械手在执行任务时能够根据当前接收到的AP信号数据来确定自身位置,并确保货物被放置在正确的货架上。
在一具体实施例中,如图2所示,执行步骤S102的过程可以具体包括如下步骤:
S201、对目标机械手进行图像采集,得到目标机械手的多个实时图像;
S202、对多个实时图像进行实时视频流转换,得到目标实时视频流;
S203、对目标实时视频流进行图像区域提取框标定,得到目标区域提取框;
S204、根据目标区域提取框,对目标机械手进行运动趋势分析,得到目标运动趋势;
S205、对目标运动趋势进行运动曲线构建,得到目标运动曲线;
S206、对目标运动曲线进行曲线特征点提取,得到多个曲线特征点;
S207、基于多个曲线特征点对目标机械手进行机械手第一位置特征提取,得到第一位置特征集。
需要说明的是,进行图像采集。这一步骤涉及使用摄像设备,如摄像头或相机,捕捉目标机械手的多个实时图像。这些图像可用于后续的分析和定位。对多个实时图像进行实时视频流转换,以创建目标的实时视频流。这一过程将多个图像组合成一个流,以提供更全面的信息以及连续的视角。随后,对目标实时视频流进行图像区域提取框标定。这一步骤涉及在视频中标定机械手的区域,以便将注意力集中在机械手的位置和运动上。根据目标区域提取框,进行运动趋势分析。这一过程旨在跟踪机械手的运动,并分析其在视频中的位置变化。通过分析运动趋势,可以预测机械手的位置。进行运动曲线构建。将机械手在视频中的位置数据转化为运动曲线,以更好地了解其轨迹和速度变化。随后,对目标运动曲线进行曲线特征点提取。这一步骤涉及检测曲线中的特殊点,如极值、拐点或速度峰值。这些特征点提供了关于机械手运动的重要信息。基于多个曲线特征点进行机械手第一位置特征提取。这一步骤将曲线特征点与机械手的位置和运动特征相关联,以创建第一位置特征集。这些特征可用于后续的机械手定位和控制。
在一具体实施例中,如图3所示,执行步骤S103的过程可以具体包括如下步骤:
S301、对目标机械手进行AP信号采集,得到多个目标AP信号;
S302、分别对每个目标AP信号进行MAC地址分析,得到每个AP信号对应的MAC地址数据;
S303、分别对每个目标AP信号进行信号强度计算,得到每个目标AP信号对应的信号强度数据;
S304、分别对每个目标AP信号进行信号频率计算,得到每个目标AP信号对应的信号频率数据;
S305、基于每个AP信号对应的MAC地址数据、每个AP信号对应的信号强度数据以及每个AP信号对应的信号频率数据,对每个目标AP信号进行离散系数计算,得到离散系数集合。
需要说明的是,进行AP信号采集。这一步骤涉及使用Wi-Fi接收设备,如Wi-Fi适配器或接收器,以捕获周围Wi-Fi访问点(AP)的信号。机械手将携带这些设备,以便在其工作区域内进行信号采集。对每个目标AP信号进行MAC地址分析。每个Wi-Fi访问点都有唯一的MAC地址,可以用于识别和区分它们。机械手将收集到的AP信号与其对应的MAC地址关联起来,以后续分析使用。随后,进行信号强度计算。机械手测量每个AP信号的信号强度,这是一个表示信号质量的值。信号强度通常以分贝毫瓦(dBm)为单位,负值表示较弱的信号,正值表示较强的信号。这些信号强度数据将用于后续的离散系数计算。进行信号频率计算。机械手分析每个AP信号的频率,以确定它们所使用的Wi-Fi频段。不同的Wi-Fi频段在不同的频率上运行,因此了解频率有助于识别和区分不同的AP信号。基于每个AP信号对应的MAC地址数据、信号强度数据以及信号频率数据,进行离散系数计算。离散系数是用于描述数据分散度或变异性的统计度量。在这里,它用于衡量不同AP信号的信号强度和频率之间的变异程度。其中,标准差衡量了数据的分散程度,均值是数据的平均值。通过将标准差除以均值,可以得到离散系数,它表示了数据的变异性。例如,假设机械手采集了多个AP信号,每个信号都具有唯一的MAC地址。此外,机械手测量了每个AP信号的信号强度,以及它们所使用的Wi-Fi频率。通过对每个AP信号的信号强度数据进行标准差计算,然后将其除以均值,可以得到每个AP信号的离散系数。这些离散系数表示了不同AP信号的信号强度变异程度。如果某个AP信号的离散系数较低,说明其信号强度相对稳定,用于机械手的定位。如果离散系数较高,说明信号强度波动较大,不适合用于定位。通过分析和比较各个AP信号的离散系数,机械手可以选择最稳定的信号用于定位,从而实现高精度的位置感知和导航。这有助于提高仓储管理的效率和准确性。
在一具体实施例中,如图4所示,执行步骤S305的过程可以具体包括如下步骤:
S401、对每个AP信号对应的信号强度数据进行强度均值计算,得到强度均值数据;
S402、基于强度均值数据,分别对每个AP信号对应的信号强度数据进行标准差计算,得到每个AP信号对应的标准差数据;
S403、基于强度均值数据,通过每个AP信号对应的标准差数据对每个AP信号进行初始离散系数计算,得到每个AP信号对应的初始离散系数;
S404、基于每个AP信号对应的MAC地址数据,通过每个AP信号对应的信号频率数据分别对每个AP信号对应的初始离散系数进行加权处理,得到每个AP信号对应的目标离散系数并将每个AP信号对应的目标离散系数合并为离散系数集合。
具体的,对每个AP信号对应的信号强度数据进行强度均值计算。这一步骤涉及将每个AP信号的信号强度数据求平均值,得到强度均值数据。强度均值表示了每个信号的平均信号强度。基于强度均值数据,分别对每个AP信号对应的信号强度数据进行标准差计算。标准差是一种统计度量,用于衡量数据的分散度或变异性。通过计算每个AP信号的信号强度数据的标准差,可以了解信号强度的变化程度。基于强度均值数据,通过每个AP信号对应的标准差数据对每个AP信号进行初始离散系数计算。其中,标准差是信号强度数据的标准差,均值是信号强度数据的平均值。离散系数表示了信号强度数据的变异性。基于每个AP信号对应的MAC地址数据,通过每个AP信号对应的信号频率数据分别对每个AP信号的初始离散系数进行加权处理,得到每个AP信号对应的目标离散系数并将每个AP信号对应的目标离散系数合并为离散系数集合。加权处理可以根据具体需求,调整不同因素的权重,以更好地反映离散系数的整体情况。例如,假设机械手采集了多个AP信号,这些信号是由工厂内的Wi-Fi路由器发出的。每个信号都带有唯一的MAC地址,用于标识。机械手测量了每个AP信号的信号强度,这是一个表示信号质量的值,通常以dBm为单位。这些信号强度数据将用于后续的离散系数计算。进行信号频率计算,以了解每个AP信号使用的Wi-Fi频段。不同的频率对信号穿透能力和稳定性产生影响。基于每个AP信号的信号强度均值数据,机械手计算了每个AP信号的标准差,以了解信号强度的变化情况。标准差数据反映了不同信号的信号强度分布情况。机械手使用标准差数据和强度均值数据计算了每个AP信号的初始离散系数。这些离散系数表示了不同AP信号的信号强度变异性。通过加权处理每个AP信号的初始离散系数,机械手得到了每个AP信号的目标离散系数,并将它们合并为离散系数集合。这个集合用于确定零件的准确位置,以确保它们在生产线上被精确装配。
在一具体实施例中,执行步骤S104的过程可以具体包括如下步骤:
(1)分别对每个AP信号及目标机械手进行欧氏距离计算,得到多个欧氏距离数据;
(2)通过离散系数集合对多个欧氏距离数据进行数据修正,得到多个目标距离数据;
(3)基于多个目标距离数据对目标机械手进行第二位置特征计算,得到第二位置特征集。
具体的,分别对每个AP信号及目标机械手进行欧氏距离计算。欧氏距离是一种用于衡量两点之间距离的标准方法。对于每个AP信号,机械手计算其与目标机械手当前位置之间的欧氏距离。这将生成多个欧氏距离数据,每个数据对应一个AP信号。通过离散系数集合对多个欧氏距离数据进行数据修正。数据修正可以包括使用离散系数来调整欧氏距离数据,以考虑信号质量和稳定性。修正后的距离数据更能反映信号的实际质量,有助于提高定位准确性。基于多个目标距离数据进行第二位置特征计算。第二位置特征集是基于多个欧氏距离数据构建的,可以包括各种特征,如平均距离、最小距离、标准差等。这些特征用于描述目标机械手与不同AP信号之间的关系,从而帮助确定机械手的精确位置。例如,机械手需要根据Wi-Fi信号来确定自己的位置,以便在仓库中执行任务。系统使用多个AP信号发射器作为定位基站。机械手采集了多个AP信号,每个信号具有不同的MAC地址,代表不同的定位基站。机械手还记录了自己的当前位置坐标。机械手分别计算了与每个AP信号之间的欧氏距离。这些距离表示了机械手与各个基站之间的距离。使用离散系数集合来修正这些距离数据。离散系数考虑了信号的稳定性,如果某个AP信号的离散系数很低,说明信号质量较高,对应的距离数据不需要太多修正。相反,如果离散系数较高,需要更大的修正。机械手基于修正后的距离数据计算了第二位置特征集。这个特征集包括了各种与AP信号之间的距离关系相关的特征,如平均距离、最小距离、标准差等。这些特征有助于机械手确定自己的精确位置,以便在仓库中执行任务,如物料搬运或装配操作。
在一具体实施例中,执行步骤S105的过程可以具体包括如下步骤:
(1)对第一位置特征集进行空间位置映射,得到第一空间位置数据;
(2)对第二位置特征集进行空间位置映射,得到第二空间位置数据;
(3)对第一空间位置数据以及第二空间位置数据进行差异数据提取,得到位置差异数据;
(4)对位置差异数据进行位置精度分析,得到对应的精度指标,并对精度指标进行阈值分析;
(5)当精度指标小于或等于阈值的预设阈值时,对第一空间位置数据以及第二空间位置数据进行差异数据剔除处理,得到第一候选数据以及第二候选数据;
(6)对第一候选数据以及第二候选数据进行机械手定位分析,得到目标位置数据。
具体的,对第一位置特征集进行空间位置映射。将第一位置特征集中的数据映射到实际的三维空间中,以获取第一空间位置数据。这通常涉及到将图像特征映射到坐标系,以便在物理世界中定位物体。对第二位置特征集进行空间位置映射,以获取第二空间位置数据。这些数据通常表示另一个视觉或传感器数据源提供的位置信息,可以与第一位置特征集相结合,以提供更准确的位置信息。对第一空间位置数据以及第二空间位置数据进行差异数据提取。这涉及比较两组数据,以找出它们之间的差异或偏移。这些差异数据可以包括位置坐标的差异、旋转角度或其他相关信息。对差异数据进行位置精度分析,以获得精度指标。这些指标通常表示了位置估计的准确性,可以根据差异数据的分布和稳定性来计算。当精度指标小于或等于预设的阈值时,可以进行差异数据剔除处理。将不符合精度要求的数据或异常值剔除,以获得更可靠的位置估计。基于第一候选数据以及第二候选数据进行机械手定位分析,以获取目标位置数据。这一步通常涉及使用剔除异常数据后的位置信息来确定机械手的准确位置,以支持精确的操作和任务执行。例如,假设机械手的摄像头采集了产品的图像,然后对图像进行特征提取,形成第一位置特征集。另外,机械手上安装了激光传感器,它提供了产品位置的第二位置特征集。第一位置特征集和第二位置特征集被映射到三维空间,以获取第一空间位置数据和第二空间位置数据。这些数据描述了机械手和产品在三维空间中的位置。差异数据被提取,这包括机械手的位置偏差和产品的旋转角度。这些数据被用来计算精度指标,以确定定位的准确性。当精度指标小于或等于预设的阈值时,机械手采用差异数据剔除处理,去除异常值,以确保定位准确性。机械手使用剔除异常数据后的位置信息来执行抓取和放置任务,确保产品被准确地抓取并放置到目标位置。
通过以上步骤,对目标机械手进行位置参考点标定,得到目标机械手对应的多个位置参考点,基于多个位置参考点构建离线位置指纹数据库;对目标机械手进行图像采集,得到目标机械手的多个实时图像,对多个实时图像进行机械手第一位置特征提取,得到第一位置特征集;基于离线位置指纹数据库,对目标机械手进行AP信号采集,得到多个目标AP信号,对每个目标AP信号进行离散系数计算,得到离散系数集合;通过离散系数集合对目标机械手进行第二位置特征计算,得到第二位置特征集;对第一位置特征集以及第二位置特征集进行机械手定位分析,得到目标位置数据。在本申请方案中,通过使用多个位置参考点进行标定和构建离线位置指纹数据库,以及通过离散系数计算和第一/第二位置特征集的分析,能够实现机械手的高精度定位。离线位置指纹数据库和离散系数计算可以帮助减少环境变化对定位的影响。综合了图像数据、AP信号数据以及其他位置指纹数据,从多个角度捕获信息,提高了定位的鲁棒性。通过实时图像采集和实时AP信号采集,这使得机械手可以快速响应并校正其位置,以适应动态环境中的变化。在需要更高精度的情况下,位置校正可以轻松集成到该方案中。机械手可以通过外部传感器进行校正,以进一步提高位置标定的准确性。
上面对本发明实施例中基于视觉定位的机械手精准定位方法进行了描述,下面对本发明实施例中基于视觉定位的机械手精准定位系统进行描述,请参阅图5,本发明实施例中基于视觉定位的机械手精准定位系统一个实施例包括:
标定模块501,用于对预置的目标机械手进行位置参考点标定,得到所述目标机械手对应的多个位置参考点,并基于多个所述位置参考点构建离线位置指纹数据库;
提取模块502,用于对预置的目标机械手进行图像采集,得到所述目标机械手的多个实时图像,并对多个所述实时图像进行机械手第一位置特征提取,得到第一位置特征集;
采集模块503,用于基于所述离线位置指纹数据库,对所述目标机械手进行AP信号采集,得到多个目标AP信号,并对每个所述目标AP信号进行离散系数计算,得到离散系数集合;
计算模块504,用于通过所述离散系数集合对所述目标机械手进行第二位置特征计算,得到第二位置特征集;
分析模块505,用于对所述第一位置特征集以及所述第二位置特征集进行机械手定位分析,得到目标位置数据。
通过上述各个组成部分的协同合作,通过使用多个位置参考点进行标定和构建离线位置指纹数据库,以及通过离散系数计算和第一/第二位置特征集的分析,能够实现机械手的高精度定位。离线位置指纹数据库和离散系数计算可以帮助减少环境变化对定位的影响。综合了图像数据、AP信号数据以及其他位置指纹数据,从多个角度捕获信息,提高了定位的鲁棒性。通过实时图像采集和实时AP信号采集,这使得机械手可以快速响应并校正其位置,以适应动态环境中的变化。在需要更高精度的情况下,位置校正可以轻松集成到该方案中。机械手可以通过外部传感器进行校正,以进一步提高位置标定的准确性。
上面图5从模块化功能实体的角度对本发明实施例中的基于视觉定位的机械手精准定位系统进行详细描述,下面从硬件处理的角度对本发明实施例中基于视觉定位的机械手精准定位设备进行详细描述。
图6是本发明实施例提供的一种基于视觉定位的机械手精准定位设备的结构示意图,该基于视觉定位的机械手精准定位设备600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessingunits,CPU)610(例如,一个或一个以上处理器)和存储器620,一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中,存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对基于视觉定位的机械手精准定位设备600中的一系列指令操作。更进一步地,处理器610可以设置为与存储介质630通信,在基于视觉定位的机械手精准定位设备600上执行存储介质630中的一系列指令操作。
基于视觉定位的机械手精准定位设备600还可以包括一个或一个以上电源640,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口660,和/或,一个或一个以上操作系统631,例如WindowsServe,MacOSX,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图6示出的基于视觉定位的机械手精准定位设备结构并不构成对基于视觉定位的机械手精准定位设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种基于视觉定位的机械手精准定位设备,所述基于视觉定位的机械手精准定位设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述基于视觉定位的机械手精准定位方法的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述基于视觉定位的机械手精准定位方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或通过时,可以存储在一个计算机可读取存储介质中。基于的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-onlymemory,ROM)、随机存取存储器(randomacceSmemory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种基于视觉定位的机械手精准定位方法,其特征在于,所述基于视觉定位的机械手精准定位方法包括:
对预置的目标机械手进行位置参考点标定,得到所述目标机械手对应的多个位置参考点,并基于多个所述位置参考点构建离线位置指纹数据库;具体包括:对所述目标机械手进行工作空间提取,得到所述目标机械手的工作空间范围;基于所述工作空间范围,对所述目标机械手进行关键动作点坐标分析,得到多个坐标数据;根据多个所述坐标数据对所述目标机械手进行位置参考点标定,得到所述目标机械手对应的多个位置参考点;基于多个所述位置参考点,对所述目标机械手进行初始AP信号采集,得到初始AP信号集合,并基于所述初始AP信号集合构建离线位置指纹数据库;
对预置的目标机械手进行图像采集,得到所述目标机械手的多个实时图像,并对多个所述实时图像进行机械手第一位置特征提取,得到第一位置特征集;具体包括:对所述目标机械手进行图像采集,得到所述目标机械手的多个实时图像;对多个所述实时图像进行实时视频流转换,得到目标实时视频流;对所述目标实时视频流进行图像区域提取框标定,得到目标区域提取框;根据所述目标区域提取框,对所述目标机械手进行运动趋势分析,得到目标运动趋势;对所述目标运动趋势进行运动曲线构建,得到目标运动曲线;对所述目标运动曲线进行曲线特征点提取,得到多个曲线特征点;基于多个所述曲线特征点对所述目标机械手进行机械手第一位置特征提取,得到所述第一位置特征集;
基于所述离线位置指纹数据库,对所述目标机械手进行AP信号采集,得到多个目标AP信号,并对每个所述目标AP信号进行离散系数计算,得到离散系数集合;具体包括:对所述目标机械手进行AP信号采集,得到多个目标AP信号;分别对每个所述目标AP信号进行MAC地址分析,得到每个所述AP信号对应的MAC地址数据;分别对每个所述目标AP信号进行信号强度计算,得到每个所述目标AP信号对应的信号强度数据;分别对每个所述目标AP信号进行信号频率计算,得到每个所述目标AP信号对应的信号频率数据;基于每个所述AP信号对应的MAC地址数据、每个所述AP信号对应的信号强度数据以及每个所述AP信号对应的信号频率数据,对每个所述目标AP信号进行离散系数计算,得到离散系数集合;其中,得到离散系数集合,包括:对每个所述AP信号对应的信号强度数据进行强度均值计算,得到强度均值数据;基于所述强度均值数据,分别对每个所述AP信号对应的信号强度数据进行标准差计算,得到每个所述AP信号对应的标准差数据;基于所述强度均值数据,通过每个所述AP信号对应的标准差数据对每个所述AP信号进行初始离散系数计算,得到每个所述AP信号对应的初始离散系数;基于每个所述AP信号对应的MAC地址数据,通过每个所述AP信号对应的信号频率数据分别对每个所述AP信号对应的初始离散系数进行加权处理,得到每个所述AP信号对应的目标离散系数并将每个所述AP信号对应的目标离散系数合并为离散系数集合;
通过所述离散系数集合对所述目标机械手进行第二位置特征计算,得到第二位置特征集;具体包括:分别对每个所述AP信号及所述目标机械手进行欧氏距离计算,得到多个欧氏距离数据;通过所述离散系数集合对多个所述欧氏距离数据进行数据修正,得到多个目标距离数据;基于多个所述目标距离数据对所述目标机械手进行第二位置特征计算,得到所述第二位置特征集;
对所述第一位置特征集以及所述第二位置特征集进行机械手定位分析,得到目标位置数据;具体包括:对所述第一位置特征集进行空间位置映射,得到第一空间位置数据;对所述第二位置特征集进行空间位置映射,得到第二空间位置数据;对所述第一空间位置数据以及所述第二空间位置数据进行差异数据提取,得到位置差异数据;对所述位置差异数据进行位置精度分析,得到对应的精度指标,并对所述精度指标进行阈值分析;当所述精度指标小于或等于阈值的预设阈值时,对所述第一空间位置数据以及所述第二空间位置数据进行差异数据剔除处理,得到第一候选数据以及第二候选数据;对所述第一候选数据以及所述第二候选数据进行机械手定位分析,得到所述目标位置数据。
2.一种基于视觉定位的机械手精准定位系统,其特征在于,所述基于视觉定位的机械手精准定位系统包括:
标定模块,用于对预置的目标机械手进行位置参考点标定,得到所述目标机械手对应的多个位置参考点,并基于多个所述位置参考点构建离线位置指纹数据库;具体包括:对所述目标机械手进行工作空间提取,得到所述目标机械手的工作空间范围;基于所述工作空间范围,对所述目标机械手进行关键动作点坐标分析,得到多个坐标数据;根据多个所述坐标数据对所述目标机械手进行位置参考点标定,得到所述目标机械手对应的多个位置参考点;基于多个所述位置参考点,对所述目标机械手进行初始AP信号采集,得到初始AP信号集合,并基于所述初始AP信号集合构建离线位置指纹数据库;
提取模块,用于对预置的目标机械手进行图像采集,得到所述目标机械手的多个实时图像,并对多个所述实时图像进行机械手第一位置特征提取,得到第一位置特征集;具体包括:对所述目标机械手进行图像采集,得到所述目标机械手的多个实时图像;对多个所述实时图像进行实时视频流转换,得到目标实时视频流;对所述目标实时视频流进行图像区域提取框标定,得到目标区域提取框;根据所述目标区域提取框,对所述目标机械手进行运动趋势分析,得到目标运动趋势;对所述目标运动趋势进行运动曲线构建,得到目标运动曲线;对所述目标运动曲线进行曲线特征点提取,得到多个曲线特征点;基于多个所述曲线特征点对所述目标机械手进行机械手第一位置特征提取,得到所述第一位置特征集;
采集模块,用于基于所述离线位置指纹数据库,对所述目标机械手进行AP信号采集,得到多个目标AP信号,并对每个所述目标AP信号进行离散系数计算,得到离散系数集合;具体包括:对所述目标机械手进行AP信号采集,得到多个目标AP信号;分别对每个所述目标AP信号进行MAC地址分析,得到每个所述AP信号对应的MAC地址数据;分别对每个所述目标AP信号进行信号强度计算,得到每个所述目标AP信号对应的信号强度数据;分别对每个所述目标AP信号进行信号频率计算,得到每个所述目标AP信号对应的信号频率数据;基于每个所述AP信号对应的MAC地址数据、每个所述AP信号对应的信号强度数据以及每个所述AP信号对应的信号频率数据,对每个所述目标AP信号进行离散系数计算,得到离散系数集合;其中,得到离散系数集合,包括:对每个所述AP信号对应的信号强度数据进行强度均值计算,得到强度均值数据;基于所述强度均值数据,分别对每个所述AP信号对应的信号强度数据进行标准差计算,得到每个所述AP信号对应的标准差数据;基于所述强度均值数据,通过每个所述AP信号对应的标准差数据对每个所述AP信号进行初始离散系数计算,得到每个所述AP信号对应的初始离散系数;基于每个所述AP信号对应的MAC地址数据,通过每个所述AP信号对应的信号频率数据分别对每个所述AP信号对应的初始离散系数进行加权处理,得到每个所述AP信号对应的目标离散系数并将每个所述AP信号对应的目标离散系数合并为离散系数集合;
计算模块,用于通过所述离散系数集合对所述目标机械手进行第二位置特征计算,得到第二位置特征集;具体包括:分别对每个所述AP信号及所述目标机械手进行欧氏距离计算,得到多个欧氏距离数据;通过所述离散系数集合对多个所述欧氏距离数据进行数据修正,得到多个目标距离数据;基于多个所述目标距离数据对所述目标机械手进行第二位置特征计算,得到所述第二位置特征集;
分析模块,用于对所述第一位置特征集以及所述第二位置特征集进行机械手定位分析,得到目标位置数据;具体包括:对所述第一位置特征集进行空间位置映射,得到第一空间位置数据;对所述第二位置特征集进行空间位置映射,得到第二空间位置数据;对所述第一空间位置数据以及所述第二空间位置数据进行差异数据提取,得到位置差异数据;对所述位置差异数据进行位置精度分析,得到对应的精度指标,并对所述精度指标进行阈值分析;当所述精度指标小于或等于阈值的预设阈值时,对所述第一空间位置数据以及所述第二空间位置数据进行差异数据剔除处理,得到第一候选数据以及第二候选数据;对所述第一候选数据以及所述第二候选数据进行机械手定位分析,得到所述目标位置数据。
3.一种基于视觉定位的机械手精准定位设备,其特征在于,所述基于视觉定位的机械手精准定位设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述基于视觉定位的机械手精准定位设备执行如权利要求1所述的基于视觉定位的机械手精准定位方法。
4.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1所述的基于视觉定位的机械手精准定位方法。
CN202311502612.6A 2023-11-13 2023-11-13 基于视觉定位的机械手精准定位方法及系统 Active CN117237594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311502612.6A CN117237594B (zh) 2023-11-13 2023-11-13 基于视觉定位的机械手精准定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311502612.6A CN117237594B (zh) 2023-11-13 2023-11-13 基于视觉定位的机械手精准定位方法及系统

Publications (2)

Publication Number Publication Date
CN117237594A CN117237594A (zh) 2023-12-15
CN117237594B true CN117237594B (zh) 2024-03-22

Family

ID=89095227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311502612.6A Active CN117237594B (zh) 2023-11-13 2023-11-13 基于视觉定位的机械手精准定位方法及系统

Country Status (1)

Country Link
CN (1) CN117237594B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157403A (en) * 1996-08-05 2000-12-05 Kabushiki Kaisha Toshiba Apparatus for detecting position of object capable of simultaneously detecting plural objects and detection method therefor
WO2012024516A2 (en) * 2010-08-18 2012-02-23 Nearbuy Systems, Inc. Target localization utilizing wireless and camera sensor fusion
WO2014189295A1 (ko) * 2013-05-22 2014-11-27 Han Dong Kwan 와이파이 기반 위치 추적 시스템 및 방법
CN110320495A (zh) * 2019-08-01 2019-10-11 桂林电子科技大学 一种基于Wi-Fi、蓝牙和PDR融合定位的室内定位方法
CN110933631A (zh) * 2019-12-03 2020-03-27 浙江科技学院 基于wifi位置指纹的室内定位方法
CN112165684A (zh) * 2020-09-28 2021-01-01 上海大学 基于联合视觉和无线信号特征的高精度室内定位方法
CN112714493A (zh) * 2020-12-29 2021-04-27 北京工业大学 物体位置定位方法与定位系统
CN116638521A (zh) * 2023-06-14 2023-08-25 贵州师范大学 目标物件的机械臂定位抓取方法、系统、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8862400B2 (en) * 2012-02-24 2014-10-14 MCube Inc. Methods and systems of network-based indoor location estimation using multiple Wi-Fi access points

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157403A (en) * 1996-08-05 2000-12-05 Kabushiki Kaisha Toshiba Apparatus for detecting position of object capable of simultaneously detecting plural objects and detection method therefor
WO2012024516A2 (en) * 2010-08-18 2012-02-23 Nearbuy Systems, Inc. Target localization utilizing wireless and camera sensor fusion
WO2014189295A1 (ko) * 2013-05-22 2014-11-27 Han Dong Kwan 와이파이 기반 위치 추적 시스템 및 방법
CN110320495A (zh) * 2019-08-01 2019-10-11 桂林电子科技大学 一种基于Wi-Fi、蓝牙和PDR融合定位的室内定位方法
CN110933631A (zh) * 2019-12-03 2020-03-27 浙江科技学院 基于wifi位置指纹的室内定位方法
CN112165684A (zh) * 2020-09-28 2021-01-01 上海大学 基于联合视觉和无线信号特征的高精度室内定位方法
CN112714493A (zh) * 2020-12-29 2021-04-27 北京工业大学 物体位置定位方法与定位系统
CN116638521A (zh) * 2023-06-14 2023-08-25 贵州师范大学 目标物件的机械臂定位抓取方法、系统、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于WiFi指纹与视觉融合的高精度室内定位;谢静茹;《中国优秀硕士学位论文全文数据库 信息科技辑》(第07期);第I136-541页 *

Also Published As

Publication number Publication date
CN117237594A (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN109029257B (zh) 基于立体视觉和结构光视觉的大型工件位姿测量系统、方法
US9111177B2 (en) Position/orientation measurement apparatus, processing method therefor, and non-transitory computer-readable storage medium
CN102062587B (zh) 基于激光传感器的多移动机器人位姿测定方法
US9163940B2 (en) Position/orientation measurement apparatus, measurement processing method thereof, and non-transitory computer-readable storage medium
US20130230235A1 (en) Information processing apparatus and information processing method
JP2016001181A (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
CN105014678A (zh) 基于激光测距的机器人手眼标定方法
JP2015199155A (ja) 情報処理装置および情報処理方法、プログラム
CN108214487A (zh) 基于双目视觉和激光雷达的机器人目标定位和抓取方法
CN110146017B (zh) 工业机器人重复定位精度测量方法
US11511435B2 (en) Robot-conveyor calibration method, robot system and control system
CN112684728B (zh) 一种基于激光slam的机器人码垛控制方法
US20220230348A1 (en) Method and apparatus for determining a three-dimensional position and pose of a fiducial marker
CN114355953B (zh) 一种基于机器视觉的多轴伺服系统的高精度控制方法及系统
CN112518748A (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
CN117260815A (zh) 基于视觉定位的机械手精准定位方法及系统
CN117237594B (zh) 基于视觉定位的机械手精准定位方法及系统
CN113733100A (zh) 巡检操作机器人的目标定位方法、装置、设备及存储介质
CN111145247B (zh) 基于视觉的位置度检测方法及机器人、计算机存储介质
CN116977434A (zh) 基于追踪相机的目标行为追踪方法及系统
CN113246146B (zh) 一种并联机器人误差校正的方法、装置以及系统
CN113325430B (zh) 末端执行器安装精度测量方法、装置、设备及存储介质
CN116147477A (zh) 联合标定方法、孔位检测方法、电子设备以及存储介质
CN114562994A (zh) 移动机器人处于动态环境中的定位方法
CN112085732A (zh) 目标物体多视角图像采集与观测角度自动标记装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant