CN114633261B - 一种用于工业机械手的全自动打靶视觉系统 - Google Patents

一种用于工业机械手的全自动打靶视觉系统 Download PDF

Info

Publication number
CN114633261B
CN114633261B CN202210560242.0A CN202210560242A CN114633261B CN 114633261 B CN114633261 B CN 114633261B CN 202210560242 A CN202210560242 A CN 202210560242A CN 114633261 B CN114633261 B CN 114633261B
Authority
CN
China
Prior art keywords
target
module
shooting
representing
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210560242.0A
Other languages
English (en)
Other versions
CN114633261A (zh
Inventor
李海龙
王艳强
钟石明
焦国年
蔡步远
潘庆玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Julifang Vision Technology Co ltd
Original Assignee
Shenzhen Julifang Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Julifang Vision Technology Co ltd filed Critical Shenzhen Julifang Vision Technology Co ltd
Priority to CN202210560242.0A priority Critical patent/CN114633261B/zh
Publication of CN114633261A publication Critical patent/CN114633261A/zh
Application granted granted Critical
Publication of CN114633261B publication Critical patent/CN114633261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Abstract

本发明公开一种用于工业机械手的全自动打靶视觉系统，其中包括：传输装置、打靶基准、视觉采集模块、导航模块、控制中心、校准模块、计算机管理系统和显示模块；其中所述计算机管理系统分别与控制中心、显示模块、视觉采集模块、机械手、导航模块和校准模块连接，所述视觉采集模块获取打靶基准的数据信息，以实现打靶基准信息的采集或者获取。本发明通过深度打靶目标图像识别方法能够实现打靶目标数据中心或者目标点的获取与定位，大大提高打靶瞄准的准确度和工作效率，实现打靶目标数据位置的引导与移位；并能够校准打靶目标定位时激光定位不准确，提高了定位准确率。

Description

一种用于工业机械手的全自动打靶视觉系统
技术领域
本发明涉及机械手技术领域，且更确切地涉及一种用于工业机械手的全自动打靶视觉系统。
背景技术
工业机械手是模仿人的手部动作，按给定程序实现自动抓取、搬运和操作的自动装置。机械手一般由执行机构、驱动机构、控制系统、检测装置等组成，智能机械手还具有感觉系统和智能系统。但是随着科学技术的不断发展,人类的生活和工作日趋自动化，在射击比赛和部队射击训练中,为了减少报靶时间,提高比赛和训练的效率以及公平性,自动报靶方式也正逐渐取代传统的人工报靶方式。在工业技术应用过程中，机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的风险作业环境或人工视觉难以满足要求的场合。
随着工业的发展，在生产中对自动化的要求越来越高，视觉技术已被广泛引入工业机械臂机器人行业，具备视觉的工业机械臂机器人能更快、更准、更灵活地完成定位抓取、对位组装等。基于打靶目标图像分析的视觉技术在工业机械臂机器人引导相关应用中的主要作用是精确获取对象物（待抓取物体）和目标物（待组装物体）的坐标位置和角度，并将打靶目标图像坐标转换表示工业机械臂机器人能识别的工业机械臂机器人坐标，指导工业机械臂机器人进行纠偏和组装。因此，手眼标定和定位引导是机器视觉在工业机械臂机器人引导中应用的的核心。现有技术中工业机械手在应用过程中，全自动打靶视觉系统在工作过程中缺乏导航引导，打靶过程中缺乏位置定位，难以实现打靶目标索引和位置引导，打靶容易出现误差，精度不高。
发明内容
针对上述技术的不足，本发明一种用于工业机械手的全自动打靶视觉系统，通过设置视觉采集模块、导航模块等，能够提高全自动打靶的精确度，提高工业生产能力。
为了实现上述技术效果，本发明采用以下技术方案：
一种用于工业机械手的全自动打靶视觉系统，其中包括：
传输装置，精密滚珠丝杠和精密直线导轨作表示运载体的冲孔传输装置，将待冲孔的物体从一个位置运输到另一个位置；
打靶基准，以十字靶形或者圆形靶形表示基准的工件；
视觉采集模块，通过深度打靶目标图像识别方法实现打靶目标数据中心或者目标点的获取与定位；
导航模块，用于实现打靶目标数据位置的引导与移位；
控制中心，控制不同模块处于工作状态，以实现打靶视觉系统的定位、控制与引导；
校准模块，用于校准打靶目标定位时激光定位不准确，提高了定位准确率；
计算机管理系统，用于向控制中心接收或者发出不同数据指令，以提高数据信息管理能力；
显示模块，用于显示计算机管理系统处理或者显示的数据信息，以提高打靶数据信息的显示与管理能力；
其中所述计算机管理系统分别与控制中心、显示模块、视觉采集模块、机械手、导航模块和校准模块连接，所述视觉采集模块获取打靶基准的数据信息，以实现打靶基准信息的采集或者获取。
作为本发明进一步的技术方案，所述视觉采集模块包括FPGA硬件主控模块和与所述FPGA硬件主控模块连接的基于OV7670打靶目标图像传感器相机以及电源模块、打靶目标图像识别模块和输出模块，其中基于OV7670打靶目标图像传感器相机表示CMOS工业相机，所述CMOS工业相机连接有点阵光源，所述点阵光源表示LED白光阵列光源，FPGA硬件主控模块还连接有打靶目标图像识别模块，所述打靶目标图像识别模块表示双目立体机器视觉技术的打靶目标图像识别模块。
作为本发明进一步的技术方案，打靶目标图像识别模块实现打靶目标数据信息识别的方法表示：
通过两个摄像机以双目立体视觉的人眼打靶目标图像识别方式实现打靶目标数据信息不同角度坐标信息的获取，进而确定要打靶的目标在空间中的位置；
设置
Figure 442376DEST_PATH_IMAGE001
表示打靶中心上的点，设置两个摄像机的光心表示
Figure 880311DEST_PATH_IMAGE002
和
Figure 222299DEST_PATH_IMAGE003
，相机成像平面设置表示
Figure 694869DEST_PATH_IMAGE004
和
Figure 11581DEST_PATH_IMAGE005
，
Figure 936812DEST_PATH_IMAGE006
点在相机上成像的点分别设置表示
Figure 82491DEST_PATH_IMAGE007
和
Figure 143988DEST_PATH_IMAGE008
，将直线
Figure 631601DEST_PATH_IMAGE009
和
Figure 44128DEST_PATH_IMAGE010
相交的点记作表示
Figure 259077DEST_PATH_IMAGE001
；
依据摄像机坐标系、机械手坐标系以及与打靶基准在空间中真实坐标点重合情况，将三维空间点
Figure 440660DEST_PATH_IMAGE001
的
Figure 302437DEST_PATH_IMAGE011
轴坐标表示：
Figure 202260DEST_PATH_IMAGE012
（1）
式（1）中，
Figure 220900DEST_PATH_IMAGE013
和
Figure 522568DEST_PATH_IMAGE014
分别表示三维空间点在实际空间中的
Figure 555246DEST_PATH_IMAGE015
轴和
Figure 942365DEST_PATH_IMAGE016
轴的坐标，
Figure 499118DEST_PATH_IMAGE017
表示摄像机的焦距；
另一台摄像机上，
Figure 389713DEST_PATH_IMAGE001
点在
Figure 390030DEST_PATH_IMAGE015
轴的坐标表示：
Figure 998866DEST_PATH_IMAGE018
（2）
式（2）中，
Figure 93730DEST_PATH_IMAGE019
和
Figure 104411DEST_PATH_IMAGE020
分别表示三维空间点在实际空间中的
Figure 275630DEST_PATH_IMAGE021
轴和
Figure 371762DEST_PATH_IMAGE022
轴的坐标，
Figure 4737DEST_PATH_IMAGE023
表示摄像机的焦距；
三维空间点
Figure 869925DEST_PATH_IMAGE001
在两台摄像机上
Figure 946465DEST_PATH_IMAGE022
轴对应的坐标点表示：
Figure 529893DEST_PATH_IMAGE024
（3）
式（3）中，B表示两个摄像头光心的距离；
Figure 232139DEST_PATH_IMAGE025
（4）
将公式（1）-（4）合并处理后，得出以下公式：
Figure 217413DEST_PATH_IMAGE026
（5）
式（5）中，
Figure 199275DEST_PATH_IMAGE027
表示摄像机的焦距，成像平面之间的距离
Figure 269999DEST_PATH_IMAGE028
表示三维信息中的深度信息，将三维空间的点与成像平面之间的距离
Figure 510357DEST_PATH_IMAGE029
之间的关系通过视差
Figure 350137DEST_PATH_IMAGE030
表示，将三维空间点
Figure 768480DEST_PATH_IMAGE001
通过空间范围内的坐标点
Figure 60921DEST_PATH_IMAGE031
和
Figure 104969DEST_PATH_IMAGE032
联系起来，进而获取打靶目标物体在三维空间中的坐标，从而计算出两个摄像机与打靶目标中心点之间的距离。
作为本发明进一步的技术方案，所述导航模块表示基于激光定位的导航模块。
作为本发明进一步的技术方案，所述控制中心采用MSP430F249单片机的主控模块。
作为本发明进一步的技术方案，所述校准模块包括信息提取模块、滤波模块、可见度评估模块、纹理对比模块和纠偏模块，其中所述信息提取模块的输出端与滤波模块的输入端连接，所述滤波模块的输出端与可见度评估模块的输入端连接，所述可见度评估模块的输入端与纹理对比模块的输出端连接，所述纹理对比模块的输出端与纠偏模块的输入端连接；其中所述信息提取模块用于提取打靶目标图像纹理特征数据信息，所述滤波模块用于过滤提取的打靶目标图像信息中的噪音，可见度评估模块用于评估打靶目标打靶目标图像信息点，纹理对比模块用于将提取的纹理与标准模板进行对比，纠偏模块用于纠正打靶目标设置值与实际打靶偏差值。
作为本发明进一步的技术方案，校准模块实现校准的方法表示：
提取打靶目标图像信息的纹理特征，并滤除提取到的数据信息值，通过过滤后的打靶目标图像信息输出函数表示：
Figure 799256DEST_PATH_IMAGE033
（6）
式（6）中，
Figure 654079DEST_PATH_IMAGE034
表示滤除提取到的数据信息值的滤波器的中心频率，
Figure 699395DEST_PATH_IMAGE027
表示摄像机的焦距，
Figure 15976DEST_PATH_IMAGE035
表示影响测量摄像机焦距的参数，
Figure 564769DEST_PATH_IMAGE036
表示方向带宽确定参数，提取到的打靶目标图像纹理特征函数为：
Figure 590494DEST_PATH_IMAGE037
（7）
公式（7）中，
Figure 857527DEST_PATH_IMAGE038
表示提取到打靶目标图像的纹理特征图，
Figure 243378DEST_PATH_IMAGE039
表示在
Figure 646678DEST_PATH_IMAGE040
尺度下打靶目标图像的纹理特征图，
Figure 843304DEST_PATH_IMAGE041
表示压缩后可见度打靶目标图像纹理的处理结果；
压缩后打靶目标图像可见度函数表示为：
Figure 597633DEST_PATH_IMAGE042
（8）
式（8）中，
Figure 521596DEST_PATH_IMAGE043
表示压缩后打靶目标图像像素灰度平均值，
Figure 44981DEST_PATH_IMAGE044
表示压缩后打靶目标图像视觉常数，
Figure 412508DEST_PATH_IMAGE045
表示压缩后打靶目标图像窗口大小，
Figure 388555DEST_PATH_IMAGE046
表示
Figure 116208DEST_PATH_IMAGE047
位置下压缩后打靶目标图像像素的灰度值；
对比数据函数表示为：
Figure 759679DEST_PATH_IMAGE048
（9）
式（9）中，
Figure 32529DEST_PATH_IMAGE049
表示提取打靶目标图像信息的局部亮度，
Figure 761450DEST_PATH_IMAGE050
表示提取打靶目标图像信息局部背景亮度，
Figure 27215DEST_PATH_IMAGE051
表示打靶目标图像高频分量，
Figure 525193DEST_PATH_IMAGE027
表示摄像机的焦距；通过移动上述计算差值进而实现打靶目标值纠偏。
本发明有益的积极效果在于：
区别于常规技术，本发明通过深度打靶目标图像识别方法能够实现打靶目标数据中心或者目标点的获取与定位，大大提高打靶瞄准的准确度和工作效率，实现打靶目标数据位置的引导与移位；并能够校准打靶目标定位时激光定位不准确，提高了定位准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图，其中：
图1为本发明系统的架构示意图；
图2为本发明视觉采集模块的架构示意图；
图3为本发明一种实施例的机械手工作过程结构示意图；
图4为本发明中视觉采集模块的原理结构示意图；
图5为本发明中控制中心原理结构示意图；
图6为本发明中校准模块原理示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，一种用于工业机械手的全自动打靶视觉系统，其中包括：
传输装置，精密滚珠丝杠和精密直线导轨作表示运载体的冲孔传输装置，将待冲孔的物体从一个位置运输到另一个位置；
打靶基准，以十字靶形或者圆形靶形表示基准的工件；
视觉采集模块，通过深度打靶目标图像识别方法实现打靶目标数据中心或者目标点的获取与定位；
导航模块，用于实现打靶目标数据位置的引导与移位；
控制中心，控制不同模块处于工作状态，以实现打靶视觉系统的定位、控制与引导；
校准模块，用于校准打靶目标定位时激光定位不准确，提高了定位准确率；
计算机管理系统，用于向控制中心接收或者发出不同数据指令，以提高数据信息管理能力；
显示模块，用于显示计算机管理系统处理或者显示的数据信息，以提高打靶数据信息的显示与管理能力；
其中所述计算机管理系统分别与控制中心、显示模块、视觉采集模块、机械手、导航模块和校准模块连接，所述视觉采集模块获取打靶基准的数据信息，以实现打靶基准信息的采集或者获取。
在具体实施例中，在计算机管理系统的管控下，传输装置将待传输的工件或者打靶标的传输到打靶视觉系统，在一种实施例中，比如以全自动打靶机为例，打靶标的就是使用十字靶形或者圆形靶形表示基准，并用摄像机摄取图形，使用电脑软件或者单片机控制操作系统，并用精密滚珠丝杠和精密直线导轨作表示运载体的冲孔打靶。通过机械手实现全自动上下料。视觉采集模块对打靶基准中的某个点或者中心实现数据信息获取或者提取，视觉采集模块提取打靶数据信息，导航模块实现数据信息打靶中心的导航和位置引导，校准模块实现数据信息的位置纠正，以提高打靶过程中打靶能力。显示模块能够显示打靶过程或者打靶目的。
在上述实施例中，如图2所示，视觉采集模块包括FPGA硬件主控模块和与所述FPGA硬件主控模块连接的基于OV7670打靶目标图像传感器相机以及电源模块、打靶目标图像识别模块和输出模块，其中基于OV7670打靶目标图像传感器相机表示CMOS工业相机，所述CMOS工业相机连接有点阵光源，所述点阵光源表示LED白光阵列光源，FPGA硬件主控模块还连接有打靶目标图像识别模块，所述打靶目标图像识别模块表示双目立体机器视觉技术的打靶目标图像识别模块。
在上述实施例中，如图3和图4所示，所述打靶目标图像识别模块实现打靶目标数据信息识别的方法表示：
通过两个摄像机以双目立体视觉的人眼打靶目标图像识别方式实现打靶目标数据信息不同角度坐标信息的获取，进而确定要打靶的目标在空间中的位置；
设置
Figure 968943DEST_PATH_IMAGE001
表示打靶中心上的点，设置两个摄像机的光心表示
Figure 185161DEST_PATH_IMAGE002
和
Figure 254617DEST_PATH_IMAGE003
，相机成像平面设置表示
Figure 607101DEST_PATH_IMAGE004
和
Figure 487332DEST_PATH_IMAGE005
，
Figure 925267DEST_PATH_IMAGE006
点在相机上成像的点分别设置表示
Figure 532835DEST_PATH_IMAGE007
和
Figure 5404DEST_PATH_IMAGE008
，将直线
Figure 790958DEST_PATH_IMAGE009
和
Figure 716188DEST_PATH_IMAGE010
相交的点记作表示
Figure 127447DEST_PATH_IMAGE001
；
依据摄像机坐标系、机械手坐标系以及与打靶基准在空间中真实坐标点重合情况，将三维空间点
Figure 454523DEST_PATH_IMAGE001
的
Figure 676557DEST_PATH_IMAGE011
轴坐标表示：
Figure 89084DEST_PATH_IMAGE012
（1）
式（1）中，
Figure 38454DEST_PATH_IMAGE013
和
Figure 220037DEST_PATH_IMAGE014
分别表示三维空间点在实际空间中的
Figure 612972DEST_PATH_IMAGE015
轴和
Figure 512795DEST_PATH_IMAGE016
轴的坐标，
Figure 265856DEST_PATH_IMAGE017
表示摄像机的焦距；
另一台摄像机上，
Figure 301945DEST_PATH_IMAGE001
点在
Figure 865782DEST_PATH_IMAGE011
轴的坐标表示：
Figure 252901DEST_PATH_IMAGE018
（2）
式（2）中，
Figure 544074DEST_PATH_IMAGE019
和
Figure 700249DEST_PATH_IMAGE020
分别表示三维空间点在实际空间中的
Figure 434986DEST_PATH_IMAGE021
轴和
Figure 43822DEST_PATH_IMAGE022
轴的坐标，
Figure 404265DEST_PATH_IMAGE023
表示摄像机的焦距；
三维空间点
Figure 414947DEST_PATH_IMAGE001
在两台摄像机上
Figure 320586DEST_PATH_IMAGE022
轴对应的坐标点表示：
Figure 416718DEST_PATH_IMAGE024
（3）
式（3）中，B表示两个摄像头光心的距离；
Figure 49693DEST_PATH_IMAGE025
（4）
将公式（1）-（4）合并处理后，得出以下公式：
Figure 180460DEST_PATH_IMAGE026
（5）
式（5）中，
Figure 257001DEST_PATH_IMAGE027
表示摄像机的焦距，成像平面之间的距离
Figure 840429DEST_PATH_IMAGE028
表示三维信息中的深度信息，将三维空间的点与成像平面之间的距离
Figure 277095DEST_PATH_IMAGE029
之间的关系通过视差
Figure 262369DEST_PATH_IMAGE030
表示，将三维空间点
Figure 509811DEST_PATH_IMAGE001
通过空间范围内的坐标点
Figure 767485DEST_PATH_IMAGE031
和
Figure 820892DEST_PATH_IMAGE032
联系起来，进而获取打靶目标物体在三维空间中的坐标，从而计算出两个摄像机与打靶目标中心点之间的距离。
通过三维空间点在两台摄像机的成像视差，可求出空间点的三维坐标。因此，能够实现打靶基准的运行位置的识别，即通过上述设计的硬件技术实现打靶基准打靶目标图像的采集，进而提取打靶状态区域，获取打靶状态区域视差图，再计算视差图中距离，根据距离分布情况，进而可以确定打靶基准的位置信息。
在上述实施例中，导航模块表示基于激光定位的导航模块。
在上述实施例中，控制中心采用MSP430F249单片机的主控模块。
在具体实施例中，如图5所示，通过MSP430F249单片机作表示主控模块，MSP单片机具备丰富的寻址方式，并配置有寄存器和片内RAM存储，具有丰富的控制指令，能够支持用户实时调试单片机上程序。集中器硬件结构还包含数据存储模块、电源模块和时钟模块等外围电路，使用稳压芯片将输出的电压进行转换后提供给通信模块和主控模块，时钟模块使用DS1320芯片作表示时钟芯片，具有多个引脚与主控芯片进行通信。时钟芯片能够将时钟设置表示秒级中断计数，并将中断信号输出到主控芯片中，主控模块接收到中断信号后根据单片机中设定的程序，发送控制信号向采集区域内所有的采集器和电能表，将采集到的用电数据进行汇总。为了保证时钟模块不受设备断电的影响，在没有电源供电的情况下进行稳定的计时，在时钟芯片上接入了电池，并在引脚上外接电阻，使主控芯片能够读取到时钟芯片输出的信号。
在上述实施例中，如图6所示，校准模块包括信息提取模块、滤波模块、可见度评估模块、纹理对比模块和纠偏模块，其中所述信息提取模块的输出端与滤波模块的输入端连接，所述滤波模块的输出端与可见度评估模块的输入端连接，所述可见度评估模块的输入端与纹理对比模块的输出端连接，所述纹理对比模块的输出端与纠偏模块的输入端连接；其中所述信息提取模块用于提取打靶目标图像纹理特征数据信息，所述滤波模块用于过滤提取的打靶目标图像信息中的噪音，可见度评估模块用于评估打靶目标打靶目标图像信息点，纹理对比模块用于将提取的纹理与标准模板进行对比，纠偏模块用于纠正打靶目标设置值与实际打靶偏差值。
在上述实施例中，校准模块实现校准的方法表示：
提取打靶目标图像信息的纹理特征，并滤除提取到的数据信息值，通过过滤后的打靶目标图像信息输出函数表示：
Figure 660672DEST_PATH_IMAGE033
（6）
式（6）中，
Figure 79015DEST_PATH_IMAGE034
表示滤除提取到的数据信息值的滤波器的中心频率，
Figure 371456DEST_PATH_IMAGE027
表示摄像机的焦距，
Figure 415504DEST_PATH_IMAGE035
表示影响测量摄像机焦距的参数，
Figure 109791DEST_PATH_IMAGE036
表示方向带宽确定参数，提取到的打靶目标图像纹理特征函数为：
Figure 699035DEST_PATH_IMAGE037
（7）
公式（7）中，
Figure 744352DEST_PATH_IMAGE038
表示提取到打靶目标图像的纹理特征图，
Figure 326512DEST_PATH_IMAGE039
表示在
Figure 875305DEST_PATH_IMAGE040
尺度下打靶目标图像的纹理特征图，
Figure 901029DEST_PATH_IMAGE041
表示压缩后可见度打靶目标图像纹理的处理结果；
压缩后打靶目标图像可见度函数表示为：
Figure 168063DEST_PATH_IMAGE042
（8）
式（8）中，
Figure 288334DEST_PATH_IMAGE043
表示压缩后打靶目标图像像素灰度平均值，
Figure 957213DEST_PATH_IMAGE044
表示压缩后打靶目标图像视觉常数，
Figure 153839DEST_PATH_IMAGE045
表示压缩后打靶目标图像窗口大小，
Figure 642589DEST_PATH_IMAGE046
表示
Figure 832131DEST_PATH_IMAGE047
位置下压缩后打靶目标图像像素的灰度值；
对比数据函数表示为：
Figure 355516DEST_PATH_IMAGE048
（9）
式（9）中，
Figure 457465DEST_PATH_IMAGE049
表示提取打靶目标图像信息的局部亮度，
Figure 699090DEST_PATH_IMAGE050
表示提取打靶目标图像信息局部背景亮度，
Figure 426744DEST_PATH_IMAGE051
表示打靶目标图像高频分量，
Figure 804635DEST_PATH_IMAGE027
表示摄像机的焦距；通过移动上述计算差值进而实现打靶目标值纠偏。
区别于常规技术，本发明通过深度打靶目标图像识别方法能够实现打靶目标数据中心或者目标点的获取与定位，大大提高打靶瞄准的准确度和工作效率，实现打靶目标数据位置的引导与移位；并能够校准打靶目标定位时激光定位不准确，提高了定位准确率。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。

Claims (4)

1.一种用于工业机械手的全自动打靶视觉系统，其特征在于：包括：
传输装置，精密滚珠丝杠和精密直线导轨作表示运载体的冲孔传输装置，将待冲孔的物体从一个位置运输到另一个位置；
打靶基准，以十字靶形或者圆形靶形表示基准的工件；
视觉采集模块；通过深度打靶目标图像识别方法实现打靶目标数据中心或者目标点的获取与定位；
导航模块，用于实现打靶目标数据位置的引导与移位；
控制中心，控制不同模块处于工作状态，以实现打靶视觉系统的定位、控制与引导；
校准模块，用于校准打靶目标定位时激光定位不准确，提高了定位准确率；
计算机管理系统，用于向控制中心接收或者发出不同数据指令，以提高数据信息管理能力；
显示模块，用于显示计算机管理系统处理或者显示的数据信息，以提高打靶数据信息的显示与管理能力；
其中所述计算机管理系统分别与控制中心、显示模块、视觉采集模块、机械手、导航模块和校准模块连接，所述视觉采集模块获取打靶基准的数据信息，以实现打靶基准信息的采集或者获取；
所述校准模块包括信息提取模块、滤波模块、可见度评估模块、纹理对比模块和纠偏模块，其中所述信息提取模块的输出端与滤波模块的输入端连接，所述滤波模块的输出端与可见度评估模块的输入端连接，所述可见度评估模块的输入端与纹理对比模块的输出端连接，所述纹理对比模块的输出端与纠偏模块的输入端连接；其中所述信息提取模块用于提取打靶目标图像纹理特征数据信息，所述滤波模块用于过滤提取的打靶目标图像信息中的噪音，可见度评估模块用于评估打靶目标打靶目标图像信息点，纹理对比模块用于将提取的纹理与标准模板进行对比，纠偏模块用于纠正打靶目标设置值与实际打靶偏差值；
打靶目标图像识别模块实现打靶目标数据信息识别的方法表示：
通过两个摄像机以双目立体视觉的人眼打靶目标图像识别方式实现打靶目标数据信息不同角度坐标信息的获取，进而确定要打靶的目标在空间中的位置；
设置
Figure 58620DEST_PATH_IMAGE001
表示打靶中心上的点，设置两个摄像机的光心表示
Figure 898400DEST_PATH_IMAGE002
和
Figure 441377DEST_PATH_IMAGE003
，相机成像平面设置表示
Figure 733818DEST_PATH_IMAGE004
和
Figure 653233DEST_PATH_IMAGE005
，
Figure 409836DEST_PATH_IMAGE006
点在相机上成像的点分别设置表示
Figure 61397DEST_PATH_IMAGE007
和
Figure 106714DEST_PATH_IMAGE008
，将直线
Figure 564240DEST_PATH_IMAGE009
和
Figure 113033DEST_PATH_IMAGE010
相交的点记作表示
Figure 263391DEST_PATH_IMAGE001
；
依据摄像机坐标系、机械手坐标系以及与打靶基准在空间中真实坐标点重合情况，将三维空间点
Figure 530425DEST_PATH_IMAGE011
的
Figure 791642DEST_PATH_IMAGE012
轴坐标表示：
Figure 194941DEST_PATH_IMAGE013
（1）
式（1）中，
Figure 516201DEST_PATH_IMAGE014
和
Figure 270531DEST_PATH_IMAGE015
分别表示三维空间点在实际空间中的
Figure 69859DEST_PATH_IMAGE016
轴和
Figure 593244DEST_PATH_IMAGE017
轴的坐标，
Figure 85406DEST_PATH_IMAGE018
表示摄像机的焦距；
另一台摄像机上，
Figure 61452DEST_PATH_IMAGE019
点在
Figure 664472DEST_PATH_IMAGE016
轴的坐标表示：
Figure 370259DEST_PATH_IMAGE020
（2）
式（2）中，
Figure 705426DEST_PATH_IMAGE021
和
Figure 496664DEST_PATH_IMAGE022
分别表示三维空间点在实际空间中的
Figure 575479DEST_PATH_IMAGE023
轴和
Figure 73456DEST_PATH_IMAGE024
轴的坐标，
Figure 641841DEST_PATH_IMAGE025
表示摄像机的焦距；
三维空间点
Figure 858059DEST_PATH_IMAGE001
在两台摄像机上
Figure 802881DEST_PATH_IMAGE026
轴对应的坐标点表示：
Figure 155365DEST_PATH_IMAGE027
（3）
式（3）中，B表示两个摄像头光心的距离；
Figure 160230DEST_PATH_IMAGE028
（4）
将公式（1）-（4）合并处理后，得出以下公式：
Figure 598164DEST_PATH_IMAGE029
（5）
式（5）中，
Figure 143415DEST_PATH_IMAGE030
表示摄像机的焦距，成像平面之间的距离
Figure 615985DEST_PATH_IMAGE031
表示三维信息中的深度信息，将三维空间的点与成像平面之间的距离
Figure 463855DEST_PATH_IMAGE032
之间的关系通过视差
Figure 451403DEST_PATH_IMAGE033
表示，将三维空间点
Figure 675711DEST_PATH_IMAGE001
通过空间范围内的坐标点
Figure 65104DEST_PATH_IMAGE034
和
Figure 349455DEST_PATH_IMAGE035
联系起来，进而获取打靶目标物体在三维空间中的坐标，从而计算出两个摄像机与打靶目标中心点之间的距离；
校准模块实现校准的方法表示：
提取打靶目标图像信息的纹理特征，并滤除提取到的数据信息值，通过过滤后的打靶目标图像信息输出函数表示：
Figure 824298DEST_PATH_IMAGE036
（6）
式（6）中，
Figure 586718DEST_PATH_IMAGE037
表示滤除提取到的数据信息值的滤波器的中心频率，
Figure 830617DEST_PATH_IMAGE030
表示摄像机的焦距，
Figure DEST_PATH_IMAGE039AA
表示影响测量摄像机焦距的参数，
Figure 348186DEST_PATH_IMAGE040
表示方向带宽确定参数，提取到的打靶目标图像纹理特征函数为：
Figure 310326DEST_PATH_IMAGE041
（7）
公式（7）中，
Figure 876437DEST_PATH_IMAGE042
表示提取到打靶目标图像的纹理特征图，
Figure 974843DEST_PATH_IMAGE043
表示在
Figure 600996DEST_PATH_IMAGE044
尺度下打靶目标图像的纹理特征图，
Figure 50432DEST_PATH_IMAGE045
表示压缩后可见度打靶目标图像纹理的处理结果；
压缩后打靶目标图像可见度函数表示为：
Figure 154654DEST_PATH_IMAGE046
（8）
式（8）中，
Figure 373146DEST_PATH_IMAGE047
表示压缩后打靶目标图像像素灰度平均值，
Figure 170201DEST_PATH_IMAGE048
表示压缩后打靶目标图像视觉常数，
Figure 841353DEST_PATH_IMAGE049
表示压缩后打靶目标图像窗口大小，
Figure 14846DEST_PATH_IMAGE050
表示
Figure 87844DEST_PATH_IMAGE051
位置下压缩后打靶目标图像像素的灰度值；
对比数据函数表示为：
Figure 55800DEST_PATH_IMAGE052
（9）
式（9）中，
Figure 214249DEST_PATH_IMAGE053
表示提取打靶目标图像信息的局部亮度，
Figure 660274DEST_PATH_IMAGE054
表示提取打靶目标图像信息局部背景亮度，
Figure 853358DEST_PATH_IMAGE055
表示打靶目标图像高频分量，
Figure 992215DEST_PATH_IMAGE030
表示摄像机的焦距。
2.根据权利要求1所述的一种用于工业机械手的全自动打靶视觉系统，其特征在于：所述视觉采集模块包括FPGA硬件主控模块和与所述FPGA硬件主控模块连接的基于OV7670打靶目标图像传感器相机以及电源模块、打靶目标图像识别模块和输出模块，其中基于OV7670打靶目标图像传感器相机表示CMOS工业相机，所述CMOS工业相机连接有点阵光源，所述点阵光源表示LED白光阵列光源，FPGA硬件主控模块还连接有打靶目标图像识别模块，所述打靶目标图像识别模块表示双目立体机器视觉技术的打靶目标图像识别模块。
3.根据权利要求1所述的一种用于工业机械手的全自动打靶视觉系统，其特征在于：所述导航模块表示基于激光定位的导航模块。
4.根据权利要求1所述的一种用于工业机械手的全自动打靶视觉系统，其特征在于：所述控制中心采用MSP430F249单片机的主控模块。
CN202210560242.0A 2022-05-23 2022-05-23 一种用于工业机械手的全自动打靶视觉系统 Active CN114633261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210560242.0A CN114633261B (zh) 2022-05-23 2022-05-23 一种用于工业机械手的全自动打靶视觉系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210560242.0A CN114633261B (zh) 2022-05-23 2022-05-23 一种用于工业机械手的全自动打靶视觉系统

Publications (2)

Publication Number Publication Date
CN114633261A CN114633261A (zh) 2022-06-17
CN114633261B true CN114633261B (zh) 2022-07-26

Family

ID=81952824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210560242.0A Active CN114633261B (zh) 2022-05-23 2022-05-23 一种用于工业机械手的全自动打靶视觉系统

Country Status (1)

Country Link
CN (1) CN114633261B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011064816A1 (ja) * 2009-11-26 2011-06-03 三菱電機株式会社 数値制御装置
CN208601650U (zh) * 2018-08-10 2019-03-15 菱铁（厦门）机械有限公司 一种自动卷装打靶机
CN113715105A (zh) * 2021-09-10 2021-11-30 睿科集团(厦门)股份有限公司 一种干血斑片自动采集冲孔仪

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011064816A1 (ja) * 2009-11-26 2011-06-03 三菱電機株式会社 数値制御装置
CN208601650U (zh) * 2018-08-10 2019-03-15 菱铁（厦门）机械有限公司 一种自动卷装打靶机
CN113715105A (zh) * 2021-09-10 2021-11-30 睿科集团(厦门)股份有限公司 一种干血斑片自动采集冲孔仪

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
巨力方激光打标视觉定位系统;深圳市巨力方视觉技术有限公司;《深圳市巨力方视觉技术有限公司微信公众号》;20200617;1-3 *

Also Published As

Publication number Publication date
CN114633261A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN110599541B (zh) 一种对多传感器进行标定的方法、装置和存储介质
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN111127568B (zh) 一种基于空间点位信息的相机位姿标定方法
CN111191625A (zh) 一种激光-单目视觉融合的物体识别与定位方法
CN108380509A (zh) 基于机器视觉的led灯盘分拣与检测系统
CN111998772A (zh) 一种基于激光与单目视觉融合的像素级目标定位方法
CN101825439B (zh) 基于多相机组合的发动机缸体结合面孔组在线测量方法
CN1904806A (zh) 手、眼关系引导的非接触式位置输入系统和方法
CN110146017B (zh) 工业机器人重复定位精度测量方法
CN103198477A (zh) 一种苹果套袋机器人视觉定位方法
CN103308524A (zh) Pcb自动光学检测系统
CN111968048A (zh) 电力巡检少样本图像数据增强方法及系统
CN108959713A (zh) 基于卷积神经网络的目标距离与正对位置偏移测量方法
Zhou et al. Design and test of a sorting device based on machine vision
CN109855796A (zh) 一种试验机力值自动校准系统和方法
CN114633261B (zh) 一种用于工业机械手的全自动打靶视觉系统
CN205664784U (zh) 一种无需在物体表面粘贴标志点的三维扫描系统
CN112958960B (zh) 一种基于光学靶标的机器人手眼标定装置
CN109636856A (zh) 基于hog特征融合算子的物体六维度位姿信息联合测量方法
CN106092053A (zh) 一种机器人重复定位系统及其定位方法
CN110421565B (zh) 一种用于实训的机器人全局定位与测量系统和方法
CN204679122U (zh) 一种高集成多功能手持终端
CN208654043U (zh) 一种锂电极片涂布线扫视觉检测装置
CN208399978U (zh) 一种定位测量装置
CN206864487U (zh) 一种太阳能电池片高速视觉定位及矫正系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant