CN113758415A - 一种基于深度学习的机器视觉定位支架及系统及定位方法 - Google Patents
一种基于深度学习的机器视觉定位支架及系统及定位方法 Download PDFInfo
- Publication number
- CN113758415A CN113758415A CN202110736515.8A CN202110736515A CN113758415A CN 113758415 A CN113758415 A CN 113758415A CN 202110736515 A CN202110736515 A CN 202110736515A CN 113758415 A CN113758415 A CN 113758415A
- Authority
- CN
- China
- Prior art keywords
- module
- fixed
- visual
- positioning
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims description 10
- 230000000007 visual effect Effects 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims description 29
- 238000005259 measurement Methods 0.000 claims description 27
- 102000008115 Signaling Lymphocytic Activation Molecule Family Member 1 Human genes 0.000 claims description 23
- 108010074687 Signaling Lymphocytic Activation Molecule Family Member 1 Proteins 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000013523 data management Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000032258 transport Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习的机器视觉定位支架,所述支架用于对货架上的物品进行图像采集,包括驱动小车、电源模块、支撑架、控制箱、位置控制模块、图像采集模块和视觉定位模块,所述支撑架固定于所述驱动小车上端,所述控制箱固定于所述驱动小车,所述图像采集模块固定于所述夹持组件,视觉定位模块包括4个CCD相机,其中两个CCD相机固定于控制箱上端,另外两个CCD相机固定于所述支撑架,4个所述CCD相机平行设置,所述CCD相机和控制箱之间配置有基于深度学习的机器视觉定位系统,所述驱动小车、驱动马达、第一气缸和夹持组件与所述控制箱信号连接。本产品结构接单,自动化水平高,将视觉定位和图像采集相结合,可以自行对物品进行图像采集。
Description
技术领域
本发明涉及视觉定位的技术领域,具体而言,涉及的一种基于深度学习的机器视觉定位支架及系统及定位方法。
背景技术
机器视觉是人工智能正在快速发展的一个分支。简单说来,机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置,分CMOS和CCD两种)将被摄取目标转换成图像信号,传送给专用的图像处理系统,得到被摄目标的形态信息,根据像素分布和亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。
机器视觉是一项综合技术,包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、I/O卡等)。一个典型的机器视觉应用系统包括图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。
机器视觉系统最基本的特点就是提高生产的灵活性和自动化程度。在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合,常用机器视觉来替代人工视觉。同时,在大批量重复性工业生产过程中,用机器视觉检测方法可以大大提高生产的效率和自动化程度。
图像采集是利用现代化技术进行实时图像信息获取的手段,在现代多媒体技术中占有重要的地位。在日常生活中、生物医学领域、航空航天等领域都有着广泛的应用。图像采集的速度、质量直接影响到产品的整体效果。目前还没有一种能将视觉定位运用到图像采集上的设备。
发明内容
基于此,为了解决将视觉定位运用到图像采集上的问题,本发明提供了一种基于深度学习的机器视觉定位支架,其具体技术方案如下:
一种基于深度学习的机器视觉定位支架,所述支架用于对货架上的物品进行图像采集,包括驱动小车、电源模块、支撑架、控制箱、位置控制模块、图像采集模块和视觉定位模块,所述电源模块设置于所述驱动小车内,所述支撑架固定于所述驱动小车上端,所述控制箱固定于所述驱动小车,所述位置控制模块包括第一摆臂、第二摆臂、驱动马达、第一气缸和夹持组件,所述第一摆臂的一端铰接于所述支撑架上端,所述驱动马达与所述第一摆臂的一端连接,所述第一摆臂的另一端与所述第二摆臂的一端铰接,所述第一气缸固定于所述第一摆臂,所述第一气缸的动力输出端与所述第二摆臂连接,所述夹持组件固定于所述第二摆臂的另一端,所述图像采集模块固定于所述夹持组件,视觉定位模块包括4个CCD相机,其中两个CCD相机固定于控制箱上端,另外两个CCD相机固定于所述支撑架,4个所述CCD相机平行设置,所述CCD相机和控制箱之间配置有基于深度学习的机器视觉定位系统,所述驱动小车、驱动马达、第一气缸和夹持组件与所述控制箱信号连接。
上述方案中,通过通过4个CCD相机对需要图像采集的物品进行视觉定位,其中每两个CCD相机之间抓取一组双目视觉定位数据,则四个CCD相机公共构成有六组双目视觉定位数据,通过控制箱对视觉定位的数据进行处理,获取定位物品是实时位置数据,再驱动所述驱动小车移动到指定位置,通过所述位置控制模块将图像采集模块运输到指定位置进行图像采集,本产品结构接单,使用方便,自动化水平高,将视觉定位和图像采集相结合,可以自行对物品进行图像采集,无需搬运待测物品,可以大大提高图像采集效率。
进一步地,所述夹持组件包括第二气缸和夹持机械手,第二气缸固定于与所述第二摆臂的另一端,所述第二气缸的动力输出端与所述夹持机械手连接。
进一步地,所述图像采集模块包括轴向调节组件、固定块、横向调节组件、固定板和采集摄像头,所述固定块设置于所述横向调节组件上端,所述固定块用于与所述夹持机械手配合固定,所述横向调节组件与所述轴向调节组件连接,所述固定板与所述轴向调节组件连接,所述采集摄像头固定于所述固定板。
进一步地,所述横向调节组件包括第一安装板、第一丝杆、第一电机和第一滑块,所述第一安装板固定于所述第一丝杆上端,所述固定块固定于所述第一安装板上端,所述第一电机与所述第一丝杆连接,所述第一滑块与所述第一丝杆滑动连接。
进一步地,所述轴向调节组件包括第二安装板、第二丝杆、第二电机和第二滑块,所述第二安装板与所述第一滑块固定连接,所述第二丝杆固定于所述第二滑块,所述第二电机与所述第二丝杆连接,所述第二滑块与所述第二丝杆滑动连接,所述第二滑块与所述固定块连接。
进一步地,所述电源模块包括主电源和备用电源,所述主电源和备用电源均设置于所述驱动小车内。
进一步地,所述驱动小车上设有至少四个激光测距仪,四个所述激光测距仪分别设置于驱动小车前后左右四个方位。
进一步地,所述控制箱内设有控制电路板,所述控制电路板包括中央处理器、陀螺仪芯片、CAN通信芯片、串口通信模块电路、ADC转换器、电磁继电器、九轴惯性导航单元和GPS定位器,所述陀螺仪芯片与所述中央处理器连接,所述中央处理器通过CAN芯片与驱动小车连接,所述串口通信模块电路设两个,所述中央处理器通过其中一个串口模块电路与位置控制模块连接,所述中央处理器通过另一个串口通信模块与GPS定位器连接,所述电源模块通过所述ADC转换器和电磁继电器与中央处理器连接,所述九轴惯性导航单元和GPS定位器用于确定机器人的位置。
基于此,本发明还提供了一种基于深度学习的机器视觉定位支架的定位系统,所述定位系统基于4个CCD相机获取的图像数据进行运算,其中每两个CCD相机之间抓取一组双目视觉定位数据,则四个CCD相机公共构成有六组双目视觉定位数据,其特征在于,包括数据预处理模块、视觉SLAM模块、参数解算模块、数据管理模块和位置解算模块;其中,
数据预处理模块,用于将不同的双目视觉定位数据进行插值处理,以获取每帧图像对应的位置数据,进一步用于后续生成位置数据集;
视觉SLAM模块,用于将双目视觉定位数据作为输入,在任意一个双目视觉SLAM基础上加入另外两组双目视觉SLAM进行约束,进行物品位置地图的构建,生成视觉数据集,并实时输出物品当前在视觉坐标系下的位置信息;
参数解算模块,用于筛选并求解关键帧视觉坐标系与地理坐标系之间的变换关系,生成坐标转换参数集;
数据管理模块,用于管理视觉SLAM模块生成的视觉数据集、与视觉位置关键帧对应的位置数据集、参数解算模块求解的坐标转换参数集以及这三者之间的映射表;
位置解算模块,用于利用视觉SLAM模块输出的视觉坐标系下载体当前位置,结合从数据管理模块中提取到坐标转换参数,计算定位结果并将其输出。
基于此,本发明还提供了一种基于深度学习的机器视觉定位支架的定位方法,其特征在于,包括以下步骤:
通过4个CCD相机对需要图像采集的物品进行视觉定位,其中每两个CCD相机之间抓取一组双目视觉定位数据,则四个CCD相机公共构成有六组双目视觉定位数据,六组双目视觉定位系统对同一被测物品进行n次测量以使得每组双目视觉定位系统获得n组测量数据;
运行其中一组双目视觉SLAM程序,获取关键帧对应的物品定位信息;
加入另外两组双目视觉SLAM程序,对物品的位置信息进行约束,获得带测物体的实际位置数据,并将其输出;
中央处理器通过GPS定位器获取驱动小车的实时位置,并将物体的实际位置数据结合规划出驱动小车的行驶路线;
控制芯片通过CAN通信芯片将信号传输给驱动小车,驱动小车移动到指定位置;
中央处理器通过串口模块电路将信号传输给位置控制模块,通过驱动马达和第一气缸将图像采集模块移动到指定位置;
通过横向调节组件和轴向调节组件对采集摄像头的位置进行微调,随后通过采集摄像头对待测物品进行图像采集。
上述方案中,通过六组双目视觉定位系统对需要进行视觉定位的物品进行多次测量以获取多组测量数据,其次将对这些测量数据进行均值计算以获取测量数据均值,然后测量数据均值对进行筛选以剔除异常数据,最后将筛选后的数据进行加权算术求平均,从而得到被测物品的最佳空间坐标数据,提高了对被测物品的定位准确性。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制,而是将重点放在示出实施例的原理上。在不同的视图中,相同的附图标记指定对应的部分。
图1是本发明一实施例中的一种基于深度学习的机器视觉定位支架的结构示意图;
图2是本发明一实施例中的一种基于深度学习的机器视觉定位支架的局部结构示意图;
图3是本发明一实施例中的一种基于深度学习的机器视觉定位支架的控制电路板的电路图;
图4是本发明一实施例中的一种基于深度学习的机器视觉定位支架的定位系统的流程图;
附图标记说明:1、驱动小车;2、支撑架;3、控制箱;4、第一摆臂;5、第二摆臂;6、驱动马达;7、第一气缸;8、CCD相机;9、第二气缸;10、夹持机械手;11、固定块;12、采集摄像头;13、固定板;14、第一安装板;15、第一丝杆;16、第一电机;17、第一滑块;18、第二安装板;19、第二丝杆;20、第二电机;21、第二滑块;22、主电源;23、备用电源;24、激光测距仪。
具体实施方式
为了使得本发明的目的、技术方案及优点更加清楚明白,以下结合其实施例,对本发明进行进一步详细说明。应当理解的是,此处所描述的具体实施方式仅用以解释本发明,并不限定本发明的保护范围。
需要说明的是,当元件被称为“固定于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的,并不表示是唯一的实施方式。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本发明中所述“第一”、“第二”不代表具体的数量及顺序,仅仅是用于名称的区分。
如图1所示,本发明一实施例中的一种基于深度学习的机器视觉定位支架,所述支架用于对货架上的物品进行图像采集,包括驱动小车1、电源模块、支撑架2、控制箱3、位置控制模块、图像采集模块和视觉定位模块,所述电源模块设置于所述驱动小车1内,所述支撑架2固定于所述驱动小车1上端,所述控制箱3固定于所述驱动小车1,所述位置控制模块包括第一摆臂4、第二摆臂5、驱动马达6、第一气缸7和夹持组件,所述第一摆臂4的一端铰接于所述支撑架2上端,所述驱动马达6与所述第一摆臂4的一端连接,所述第一摆臂4的另一端与所述第二摆臂5的一端铰接,所述第一气缸7固定于所述第一摆臂4,所述第一气缸7的动力输出端与所述第二摆臂5连接,所述夹持组件固定于所述第二摆臂5的另一端,所述图像采集模块固定于所述夹持组件,视觉定位模块包括4个CCD相机8,其中两个CCD相机8固定于控制箱3上端,另外两个CCD相机8固定于所述支撑架2,4个所述CCD相机8平行设置,所述CCD相机8和控制箱3之间配置有基于深度学习的机器视觉定位系统,所述驱动小车1、驱动马达6、第一气缸7和夹持组件均与所述控制箱3信号连接。
上述方案中,通过通过4个CCD相机8对需要图像采集的物品进行视觉定位,其中每两个CCD相机8之间抓取一组双目视觉定位数据,则四个CCD相机8公共构成有六组双目视觉定位数据,通过控制箱3对视觉定位的数据进行处理,获取定位物品是实时位置数据,再驱动所述驱动小车1移动到指定位置,通过所述位置控制模块将图像采集模块运输到指定位置进行图像采集,本产品结构接单,使用方便,自动化水平高,将视觉定位和图像采集相结合,可以自行对物品进行图像采集,无需搬运待测物品,可以大大提高图像采集效率。
在其中一个实施例中,所述夹持组件包括第二气缸9和夹持机械手10,第二气缸9固定于与所述第二摆臂5的另一端,所述第二气缸9的动力输出端与所述夹持机械手10连接。通过所述第二气缸9驱动夹持机械手10对所述图像采集模块进行固定,方便安装和取出。
如图2所示,所述图像采集模块包括轴向调节组件、固定块11、横向调节组件、固定板13和采集摄像头12,所述固定块11设置于所述横向调节组件上端,所述固定块11用于与所述夹持机械手10配合固定,所述横向调节组件与所述轴向调节组件连接,所述固定板13与所述轴向调节组件连接,所述采集摄像头12固定于所述固定板13。通过横向调节组件和轴向调节组件对所述采集摄像头12的位置进行微调,方便进行图像采集。
在其中一个实施例中,所述横向调节组件包括第一安装板14、第一丝杆15、第一电机16和第一滑块17,所述第一安装板14固定于所述第一丝杆15上端,所述固定块11固定于所述第一安装板14上端,所述第一电机16与所述第一丝杆15连接,所述第一滑块17与所述第一丝杆15滑动连接。通过所述第一电机16驱动所述第一滑块17横向运动。
在其中一个实施例中,所述轴向调节组件包括第二安装板18、第二丝杆19、第二电机20和第二滑块21,所述第二安装板18与所述第一滑块17固定连接,所述第二丝杆19固定于所述第二滑块21,所述第二电机20与所述第二丝杆19连接,所述第二滑块21与所述第二丝杆19滑动连接,所述第二滑块21与所述固定块11连接。通过所述第二电机20驱动所述第二滑块21轴向运动。
在其中一个实施例中,所述电源模块包括主电源22和备用电源23,所述主电源22和备用电源23均设置于所述驱动小车1内。当主电源22没电时,可以使用备用电源23供电,提高续航。
在其中一个实施例中,所述驱动小车1上设有至少四个激光测距仪24,四个所述激光测距仪24分别设置于驱动小车1前后左右四个方位。通过所述所述激光测距仪24探测所述驱动小车1与周边物体的距离,防止发生碰撞。
如图3所示,在其中一个实施例中,所述控制箱3内设有控制电路板,所述控制电路板包括中央处理器、陀螺仪芯片、CAN通信芯片、串口通信模块电路、ADC转换器、电磁继电器、九轴惯性导航单元和GPS定位器,所述陀螺仪芯片与所述中央处理器连接,所述中央处理器通过CAN芯片与驱动小车1连接,所述串口通信模块电路设两个,所述中央处理器通过其中一个串口模块电路与位置控制模块连接,所述中央处理器通过另一个串口通信模块与GPS定位器连接,所述电源模块通过所述ADC转换器和电磁继电器与中央处理器连接,所述九轴惯性导航单元和GPS定位器用于确定机器人的位置。
所述陀螺仪芯片将准确的方位传输给中央理器,所述CAN通信芯片用于将中央处理器的信号传输给驱动小车1,同时接收驱动小车1的反馈信号,所述串口通信模块电路设两个,其中一个串口通信模块用于控制所述位置控制模块,另一个路串口通信模块电路则用于读取所述GPS定位器的地理坐标绝对值,所述ADC转换器和电磁继电器模块用于测量所述电池电量,当电量偏低时自动切换为备用电池供电。
如图4所示,基于此,本发明还提供了一种基于深度学习的机器视觉定位支架的定位系统,所述定位系统基于4个CCD相机8获取的图像数据进行运算,其中每两个CCD相机8之间抓取一组双目视觉定位数据,则四个CCD相机8公共构成有六组双目视觉定位数据,包括数据预处理模块、视觉SLAM模块、参数解算模块、数据管理模块和位置解算模块;其中,
数据预处理模块,用于将不同的双目视觉定位数据进行插值处理,以获取每帧图像对应的位置数据,进一步用于后续生成位置数据集;
视觉SLAM模块,用于将双目视觉定位数据作为输入,在任意一个双目视觉SLAM基础上加入另外两组双目视觉SLAM进行约束,进行物品位置地图的构建,生成视觉数据集,并实时输出物品当前在视觉坐标系下的位置信息;
参数解算模块,用于筛选并求解关键帧视觉坐标系与地理坐标系之间的变换关系,生成坐标转换参数集;
数据管理模块,用于管理视觉SLAM模块生成的视觉数据集、与视觉位置关键帧对应的位置数据集、参数解算模块求解的坐标转换参数集以及这三者之间的映射表;
位置解算模块,用于利用视觉SLAM模块输出的视觉坐标系下载体当前位置,结合从数据管理模块中提取到坐标转换参数,计算定位结果并将其输出。
基于此,在其中一个实施例中,本发明还提供了一种基于深度学习的机器视觉定位支架的定位方法,包括以下步骤:
通过4个CCD相机8对需要图像采集的物品进行视觉定位,其中每两个CCD相机8之间抓取一组双目视觉定位数据,则四个CCD相机8公共构成有六组双目视觉定位数据,六组双目视觉定位系统对同一被测物品进行n次测量以使得每组双目视觉定位系统获得n组测量数据;
运行其中一组双目视觉SLAM程序,获取关键帧对应的物品定位信息;
加入另外两组双目视觉SLAM程序,对物品的位置信息进行约束,获得带测物体的实际位置数据,并将其输出;
中央处理器通过GPS定位器获取驱动小车1的实时位置,并将物体的实际位置数据结合规划出驱动小车1的行驶路线;
控制芯片通过CAN通信芯片将信号传输给驱动小车1,驱动小车1移动到指定位置;
中央处理器通过串口模块电路将信号传输给位置控制模块,通过驱动马达6和第一气缸7将图像采集模块移动到指定位置;
通过横向调节组件和轴向调节组件对采集摄像头12的位置进行微调,随后通过采集摄像头12对待测物品进行图像采集。
在其中一个实施例中,所述待图像拆解产品的坐标的计算方法为:对同一被测物品进行n次测量以使得每组双目视觉定位系统获得n组测量数据,其中n为大于等于10的正整数;
测量数据的均值求取:对每组双目视觉定位系统获得n组测量数据进行计算以获取每组双目视觉定位系统的测量数据均值,各组双目视觉定位系统的测量数据均值分别为:(X1,Y1,Z1)、(X2,Y2,Z2)、(X3,Y3,Z3)、(X4,Y4,Z4)、(X5,Y5,Z5)、(X6,Y6,Z6);
测量不确定度求取:然后对六组双目视觉定位系统的测量数据进行计算以求取各组双目视觉定位系统的测量不确定度,各组双目视觉定位系统的测量不确定度分别为U1(Ux1,Uy1,Uz1)、U2(Ux2,Uy2,Uz2)、U3(Ux3,Uy3,Uz3)、U4(Ux4,Uy4,Uz4)、U5(Ux5,Uy5,Uz5)、U6(Ux6,Uy6,Uz6);
异常数据剔除:将X1、X2、X3、X4、X5、X6以及Ux1、Ux2、Ux3、Ux4、Ux5、Ux6分别带入以下公式将Y1、Y2、Y3、Y4、Y5、Y6以及Uy1、Uy2、Uy3、Uy4、Uy5、Uy6分别带入以下公式将Z1、Z2、Z3、Z4、Z5、Z6以及Uz1、Uz2、Uz3、Uz4、Uz5、Uz6分别带入以下公式其中i为1到6的正整数;对于大于等于1的EXn所对应的Xi标记为异常数据并剔除,若EXn都小于1,则将最大的EXn所对应的Xi标记为异常数据并剔除;对于大于等于1的EYn所对应的Yi标记为异常数据并剔除,若EYn都小于1,则将最大的EYn所对应的Yi标记为异常数据并剔除;对于大于等于1的EZn所对应的Zi标记为异常数据并剔除,若EZn都小于1,则将最大的EZn所对应的Zi标记为异常数据并剔除;
被测物品的最佳空间坐标数据求取:将剔除异常数据剩下的Xi及其所对应的Uxi带入公式将剔除异常数据剩下的Yi及其所对应的Uyi带入公式将剔除异常数据剩下的Zi及其所对应的Uzi带入公式最终被测物品的最佳空间坐标数据为(X,Y,Z);其中Uxu为剔除异常数据剩下的Xi中任意一个所对应的Uxi,Uyu为剔除异常数据剩下的yi中任意一个所对应的Uyi,Uzu为剔除异常数据剩下的zi中任意一个所对应的Uzi。从而得到物品的实际坐标。
上述方案中,通过六组双目视觉定位系统对需要进行视觉定位的物品进行多次测量以获取多组测量数据,其次将对这些测量数据进行均值计算以获取测量数据均值,然后测量数据均值对进行筛选以剔除异常数据,最后将筛选后的数据进行加权算术求平均,从而得到被测物品的最佳空间坐标数据,提高了对被测物品的定位准确性。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于深度学习的机器视觉定位支架,所述支架用于对货架上的物品进行图像采集,其特征在于,包括驱动小车、电源模块、支撑架、控制箱、位置控制模块、图像采集模块和视觉定位模块,所述电源模块设置于所述驱动小车内,所述支撑架固定于所述驱动小车上端,所述控制箱固定于所述驱动小车,所述位置控制模块包括第一摆臂、第二摆臂、驱动马达、第一气缸和夹持组件,所述第一摆臂的一端铰接于所述支撑架上端,所述驱动马达与所述第一摆臂的一端连接,所述第一摆臂的另一端与所述第二摆臂的一端铰接,所述第一气缸固定于所述第一摆臂,所述第一气缸的动力输出端与所述第二摆臂连接,所述夹持组件固定于所述第二摆臂的另一端,所述图像采集模块固定于所述夹持组件,视觉定位模块包括4个CCD相机,其中两个CCD相机固定于控制箱上端,另外两个CCD相机固定于所述支撑架,4个所述CCD相机平行设置,所述CCD相机和控制箱之间配置有基于深度学习的机器视觉定位系统,所述驱动小车、驱动马达、第一气缸和夹持组件与所述控制箱信号连接。
2.根据权利要求1所述的一种基于深度学习的机器视觉定位支架,其特征在于,所述夹持组件包括第二气缸和夹持机械手,第二气缸固定于与所述第二摆臂的另一端,所述第二气缸的动力输出端与所述夹持机械手连接。
3.根据权利要求2所述一种基于深度学习的机器视觉定位支架,其特征在于,所述图像采集模块包括轴向调节组件、固定块、横向调节组件、固定板和采集摄像头,所述固定块设置于所述横向调节组件上端,所述固定块用于与所述夹持机械手配合固定,所述横向调节组件与所述轴向调节组件连接,所述固定板与所述轴向调节组件连接,所述采集摄像头固定于所述固定板。
4.根据权利要求3所述的一种基于深度学习的机器视觉定位支架,其特征在于,所述横向调节组件包括第一安装板、第一丝杆、第一电机和第一滑块,所述第一安装板固定于所述第一丝杆上端,所述固定块固定于所述第一安装板上端,所述第一电机与所述第一丝杆连接,所述第一滑块与所述第一丝杆滑动连接。
5.根据权利要求4所述的一种基于深度学习的机器视觉定位支架,其特征在于,所述轴向调节组件包括第二安装板、第二丝杆、第二电机和第二滑块,所述第二安装板与所述第一滑块固定连接,所述第二丝杆固定于所述第二滑块,所述第二电机与所述第二丝杆连接,所述第二滑块与所述第二丝杆滑动连接,所述第二滑块与所述固定块连接。
6.根据权利要求1所述的一种基于深度学习的机器视觉定位支架,其特征在于,所述电源模块包括主电源和备用电源,所述主电源和备用电源均设置于所述驱动小车内。
7.根据权利要求1所述的一种基于深度学习的机器视觉定位支架,其特征在于,所述驱动小车上设有至少四个激光测距仪,四个所述激光测距仪分别设置于驱动小车前后左右四个方位。
8.根据权利要求1所述的一种基于深度学习的机器视觉定位支架,其特征在于,所述控制箱内设有控制电路板,所述控制电路板包括中央处理器、陀螺仪芯片、CAN通信芯片、串口通信模块电路、ADC转换器、电磁继电器、九轴惯性导航单元和GPS定位器,所述陀螺仪芯片与所述中央处理器连接,所述中央处理器通过CAN芯片与驱动小车连接,所述串口通信模块电路设两个,所述中央处理器通过其中一个串口模块电路与位置控制模块连接,所述中央处理器通过另一个串口通信模块与GPS定位器连接,所述电源模块通过所述ADC转换器和电磁继电器与中央处理器连接,所述九轴惯性导航单元和GPS定位器用于确定机器人的位置。
9.一种基于深度学习的机器视觉定位支架的定位系统,所述定位系统基于4个CCD相机获取的图像数据进行运算,其中每两个CCD相机之间抓取一组双目视觉定位数据,则四个CCD相机公共构成有六组双目视觉定位数据,其特征在于,包括数据预处理模块、视觉SLAM模块、参数解算模块、数据管理模块和位置解算模块;其中,
数据预处理模块,用于将不同的双目视觉定位数据进行插值处理,以获取每帧图像对应的位置数据,进一步用于后续生成位置数据集;
视觉SLAM模块,用于将双目视觉定位数据作为输入,在任意一个双目视觉SLAM基础上加入另外两组双目视觉SLAM进行约束,进行物品位置地图的构建,生成视觉数据集,并实时输出物品当前在视觉坐标系下的位置信息;
参数解算模块,用于筛选并求解关键帧视觉坐标系与地理坐标系之间的变换关系,生成坐标转换参数集;
数据管理模块,用于管理视觉SLAM模块生成的视觉数据集、与视觉位置关键帧对应的位置数据集、参数解算模块求解的坐标转换参数集以及这三者之间的映射表;
位置解算模块,用于利用视觉SLAM模块输出的视觉坐标系下载体当前位置,结合从数据管理模块中提取到坐标转换参数,计算定位结果并将其输出。
10.一种基于深度学习的机器视觉定位支架的定位方法,其特征在于,包括以下步骤:
通过4个CCD相机对需要图像采集的物品进行视觉定位,其中每两个CCD相机之间抓取一组双目视觉定位数据,则四个CCD相机公共构成有六组双目视觉定位数据,六组双目视觉定位系统对同一被测物品进行n次测量以使得每组双目视觉定位系统获得n组测量数据;
运行其中一组双目视觉SLAM程序,获取关键帧对应的物品定位信息;
加入另外两组双目视觉SLAM程序,对物品的位置信息进行约束,获得带测物体的实际位置数据,并将其输出;
中央处理器通过GPS定位器获取驱动小车的实时位置,并将物体的实际位置数据结合规划出驱动小车的行驶路线;
控制芯片通过CAN通信芯片将信号传输给驱动小车,驱动小车移动到指定位置;
中央处理器通过串口模块电路将信号传输给位置控制模块,通过驱动马达和第一气缸将图像采集模块移动到指定位置;
通过横向调节组件和轴向调节组件对采集摄像头的位置进行微调,随后通过采集摄像头对待测物品进行图像采集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110736515.8A CN113758415A (zh) | 2021-06-30 | 2021-06-30 | 一种基于深度学习的机器视觉定位支架及系统及定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110736515.8A CN113758415A (zh) | 2021-06-30 | 2021-06-30 | 一种基于深度学习的机器视觉定位支架及系统及定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113758415A true CN113758415A (zh) | 2021-12-07 |
Family
ID=78787527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110736515.8A Pending CN113758415A (zh) | 2021-06-30 | 2021-06-30 | 一种基于深度学习的机器视觉定位支架及系统及定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113758415A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114950886A (zh) * | 2022-06-06 | 2022-08-30 | 东莞理工学院 | 一种基于机器视觉的定位系统 |
CN117901554A (zh) * | 2024-01-25 | 2024-04-19 | 山东润通炜智能科技有限公司 | 一种移动式喷码设备及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101356877A (zh) * | 2008-09-19 | 2009-02-04 | 中国农业大学 | 一种温室环境下黄瓜采摘机器人系统及采摘方法 |
CN106254742A (zh) * | 2016-08-31 | 2016-12-21 | 苏州朗坤自动化设备有限公司 | 一种双相机图像测量机构 |
CN109269473A (zh) * | 2018-08-09 | 2019-01-25 | 厦门市计量检定测试院 | 一种基于四目视觉定位系统的定位方法 |
CN208992713U (zh) * | 2018-09-28 | 2019-06-18 | 华南理工大学 | 一种基于激光测距的机器人 |
US20200039076A1 (en) * | 2016-03-04 | 2020-02-06 | Ge Global Sourcing Llc | Robotic system and method for control and manipulation |
CN111025364A (zh) * | 2019-12-17 | 2020-04-17 | 南京航空航天大学 | 一种基于卫星辅助的机器视觉定位系统及方法 |
CN111055281A (zh) * | 2019-12-19 | 2020-04-24 | 杭州电子科技大学 | 一种基于ros的自主移动抓取系统与方法 |
CN111496770A (zh) * | 2020-04-09 | 2020-08-07 | 上海电机学院 | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 |
CN112747749A (zh) * | 2020-12-23 | 2021-05-04 | 浙江同筑科技有限公司 | 一种基于双目视觉和激光融合定位导航系统 |
-
2021
- 2021-06-30 CN CN202110736515.8A patent/CN113758415A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101356877A (zh) * | 2008-09-19 | 2009-02-04 | 中国农业大学 | 一种温室环境下黄瓜采摘机器人系统及采摘方法 |
US20200039076A1 (en) * | 2016-03-04 | 2020-02-06 | Ge Global Sourcing Llc | Robotic system and method for control and manipulation |
CN106254742A (zh) * | 2016-08-31 | 2016-12-21 | 苏州朗坤自动化设备有限公司 | 一种双相机图像测量机构 |
CN109269473A (zh) * | 2018-08-09 | 2019-01-25 | 厦门市计量检定测试院 | 一种基于四目视觉定位系统的定位方法 |
CN208992713U (zh) * | 2018-09-28 | 2019-06-18 | 华南理工大学 | 一种基于激光测距的机器人 |
CN111025364A (zh) * | 2019-12-17 | 2020-04-17 | 南京航空航天大学 | 一种基于卫星辅助的机器视觉定位系统及方法 |
CN111055281A (zh) * | 2019-12-19 | 2020-04-24 | 杭州电子科技大学 | 一种基于ros的自主移动抓取系统与方法 |
CN111496770A (zh) * | 2020-04-09 | 2020-08-07 | 上海电机学院 | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 |
CN112747749A (zh) * | 2020-12-23 | 2021-05-04 | 浙江同筑科技有限公司 | 一种基于双目视觉和激光融合定位导航系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114950886A (zh) * | 2022-06-06 | 2022-08-30 | 东莞理工学院 | 一种基于机器视觉的定位系统 |
CN117901554A (zh) * | 2024-01-25 | 2024-04-19 | 山东润通炜智能科技有限公司 | 一种移动式喷码设备及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113758415A (zh) | 一种基于深度学习的机器视觉定位支架及系统及定位方法 | |
CN104385282B (zh) | 一种视觉智能数控系统及其视觉计测方法 | |
CN109297413B (zh) | 一种大型筒体结构视觉测量方法 | |
CN105269403A (zh) | 一种检测系统及检测方法 | |
CN102253048A (zh) | 可用于多种产品检测的机器视觉检测方法及系统 | |
US11908162B2 (en) | Line scanner having target-tracking and geometry-tracking modes | |
CN105516688B (zh) | 一种可分辨率变换的仿鹰眼视觉成像装置及其成像方法 | |
CN201839391U (zh) | 一种产品质量检测嵌入式照相机设备 | |
Labudzki et al. | The essence and applications of machine vision | |
CN103475827A (zh) | 基于红外热成像技术的检测系统及其实现方法 | |
CN104394316B (zh) | 摄像机云台姿态测试系统 | |
CN111275665A (zh) | 一种基于视觉的叶片磨抛加工振动检测系统及方法 | |
CN116958146A (zh) | 3d点云的采集方法及装置、电子装置 | |
Schmidt et al. | An indoor RGB-D dataset for the evaluation of robot navigation algorithms | |
Wang et al. | Automatic reading system for analog instruments based on computer vision and inspection robot for power plant | |
CN110702016A (zh) | 输电线路覆冰测量系统及方法 | |
CN204165516U (zh) | 一种基于双目视觉的石壁爆破孔检测与定位装置 | |
CN203636826U (zh) | 机械手装置 | |
CN104714068B (zh) | 对室外电能表读表的机器人 | |
CN214410073U (zh) | 一种工业相机与深度相机结合的三维检测定位系统 | |
CN212363444U (zh) | 一种热分布监控系统 | |
CN205336450U (zh) | 一种可分辨率变换的仿鹰眼视觉成像装置 | |
CN210689626U (zh) | 一种用于双目立体视觉测量系统的图像采集装置 | |
Kheng et al. | Stereo vision with 3D coordinates for robot arm application guide | |
CN207117042U (zh) | 一种应用于自走式输电线缆巡检机器人的视觉控制装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |