CN208999804U - 一种基于多目视觉定位系统的高精度智能设备 - Google Patents
一种基于多目视觉定位系统的高精度智能设备 Download PDFInfo
- Publication number
- CN208999804U CN208999804U CN201822027803.2U CN201822027803U CN208999804U CN 208999804 U CN208999804 U CN 208999804U CN 201822027803 U CN201822027803 U CN 201822027803U CN 208999804 U CN208999804 U CN 208999804U
- Authority
- CN
- China
- Prior art keywords
- fork truck
- positioning system
- vision
- equipment based
- intelligent equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Forklifts And Lifting Vehicles (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种基于多目视觉定位系统的高精度智能设备，是由多目相机单元、交换机和视觉定位系统构成；其中，所述多目相机单元是至少有两目相机构成的单元结构；属于嵌入式开发，体积很小、算法接口均为标准接口；可依据货物的位姿引导叉车进行准确的叉取货拍；结构简单，易于实现，适用于智能化仓储系统中的无人叉车自动插装货拍。
Description
技术领域
本实用新型属于智能化仓储相关技术领域，尤其是一种基于多目视觉定位系统的高精度智能设备。
背景技术
目前市场上智能化仓储系统和无人化仓储系统正越来越受到人们的重视，其中无人叉车的自动化插取货物是一个非常重要的技术环节，技术难点在于怎么样引导叉车精准插取位置不固定的货拍。目前解决这个难题比较常用的办法是采用单相机系统和在货拍上贴合作目标相结合的方式来实现，但是这种方式的缺点在于，要在每一个货拍的相同位置贴合作目标，系统精度很大一部分受到合作目标与货拍相对位置关系的精度影响。因此，为了达到很高的精度合作目标和货拍的位置关系要提前进行标定。并且货拍种类非常多，操作起来很麻烦。这导致在很多应用的场合都达不到很好的控制效果。
实用新型内容
本实用新型的目的在于设计一种基于多目视觉定位系统的高精度智能设备，它可以弥补现有技术的不足，是一种结构简单，容易实现的多目视觉图像定位系统。
本实用新型的技术方案：一种基于多目视觉定位系统的高精度智能设备，包括叉车控制系统，由嵌入式控制系统、伺服电机驱动系统、网口和USB口的标准通讯接口和其它辅助功能单元构成，其特征在于它是由多目相机单元、交换机和视觉定位系统构成；其中，所述多目相机单元是至少有两目相机构成的单元结构，用于采集叉车及货拍图像信息，与交换机之间呈双向数据连接；所述视觉定位系统包括控制核心板单元；所述交换机与控制核心板单元之间呈双向数据连接；所述控制核心板单元与交换机和叉车控制系统之间均呈双向数据连接，用于实现对多目相机单元采集到的叉车图像信息进行坐标系标定处理，以获取物体在叉车坐标系下的位姿，找出与标准位姿之间的位置偏差，并将偏差信号回传给叉车控制系统，达到控制叉车正确动作的目的。
所述控制核心板单元与交换机之间依千兆以太网接口呈双向数据连接；所述控制核心板单元与叉车控制系统之间通过USB接口呈双向数据连接。
所述一种基于多目视觉定位系统的高精度智能设备还包括控制光源，通过IO接口与视觉定位系统的控制核心板单元呈双向连接。
所述交换机是工业交换机。
所述多目相机单元是双目相机单元，由两个相机和镜头采用品牌和规格参数一致工业相机构成。
所述双目相机单元装于叉车正前方的车头位置，安装位置调整的依据以无遮挡地看见货拍为准；所述车头位置安装有一个水平支架，所述双目相机单元的相机和镜头都架设在该水平支架上；所述双目相机单元的两个相机之间的中心线夹角与被测物体的大小和待测距离有关，依据保证物体可同时完全出现在两个相机的视场中，并且大小是整幅画面的1/3对中心线夹角进行调节。
所述视觉定位系统是一套符合X86结构的计算系统，采用嵌入式核心CPU板为控制核心，可以安装Windows/Linux系统。
本实用新型的工作过程：
第一步：由多目相机单元采集叉车和货拍位置进行图像信息，并通过交换机将图像信息上传到控制核心板单元，此时，控制核心板单元要将多目相机单元得到的叉车图像信息与已经存储在控制核心板单元的叉车图像信息进行联合标定，得到转换矩阵，目的是将视觉系统的坐标系与叉车坐标系进行统一化；
第二步：标定后，通过分析叉车在图像坐标系下的值即可通过转换矩阵计算出物体在叉车坐标系下的位姿；完成系统标定工作；
第三步：在叉车和货拍标准位置关系下，通过多目相机单元对货拍进行图像采集，并将此图像中的货拍正面图像设置为模板，将当前状况下叉车的位姿作为参考位姿；
第四步：叉车开始工作，当叉车运动到货拍前方1.6米-2米的位置后，由双目图像检测单进行图像数据采集，并上传到控制核心板单元，由控制核心板单元对图像中的货拍图像数据进行特征点提取，并与第三步得到的货拍模板图片进行对比，进而计算出当前货拍在叉车坐标系下的位姿；
第五步：将第四步得到的货拍在叉车坐标系下的位姿信息以（X,Y,Z,Rx,Ry,Rz）的格式通过USB接口发送给叉车控制系统；其中，X、Y、Z是三维坐标系下物体的位置信息，X、Y、Z表示一个坐标点分别表示一个点在三维坐标系下X轴、Y轴和Z轴方向的值；Rx、Ry、Rz是物体在每个坐标轴下的旋转量，这六个参数统称为物体的位置和姿态信息；
第六步：叉车控制系统则根据事先标定好的标准参考位姿与当前得到的位姿进行差值比较，即可计算出叉车所需要的偏移量和旋转量，叉车根据这些计算值进行对应的移动来达到准确插装的目的。
本实用新型的工作原理：是一款基于多目视觉图像定位系统，来引导无人叉车完成高精度插装。它是基于模板匹配的方式将货拍正面建立模板，通过多目视觉系统识别和分析货拍侧面的特征点来解析出当前货拍在相机坐标系下的位姿。因为相机坐标系和叉车坐标系已经提前标定完毕，所以通过相机坐标系下的位姿可以反算出货拍在叉车坐标系下的位姿，从而可以引导叉车进行对应的位置调整。它可以在不贴标志点的情况下兼容绝大多数货拍。因此，它大大增加了设备的柔性化程度，应用范围也随之扩大。
本实用新型的优越性：1、嵌入式开发，体积很小、算法接口均为标准接口；3、将高精度视觉测量技术与无人叉车控制技术结合在一起，结构简单，易于实现，适用于智能化仓储系统中的无人叉车自动插装货拍。
附图说明
图1为本实用新型所涉一种基于多目视觉定位系统的高精度智能设备的整体结构框图。
具体实施方式
实施例：一种基于多目视觉定位系统的高精度智能设备，包括叉车控制系统，由嵌入式控制系统、伺服电机驱动系统、网口和USB口的标准通讯接口和其它辅助功能单元构成，如图所示，其特征在于它是由多目相机单元、交换机和视觉定位系统构成；其中，所述多目相机单元是至少有两目相机构成的单元结构，用于采集叉车及货拍图像信息，与交换机之间呈双向数据连接；所述视觉定位系统包括控制核心板单元；所述交换机与控制核心板单元之间呈双向数据连接；所述控制核心板单元与交换机和叉车控制系统之间均呈双向数据连接，用于实现对多目相机单元采集到的叉车图像信息进行坐标系标定处理，以获取物体在叉车坐标系下的位姿，找出与标准位姿之间的位置偏差，并将偏差信号回传给叉车控制系统，达到控制叉车正确动作的目的。
如图所示，所述控制核心板单元与交换机之间依千兆以太网接口呈双向数据连接；所述控制核心板单元与叉车控制系统之间通过USB接口呈双向数据连接。
如图所示，所述一种基于多目视觉定位系统的高精度智能设备还包括控制光源，通过IO接口与视觉定位系统的控制核心板单元呈双向连接。
所述交换机是工业交换机。
如图所示，所述多目相机单元是双目相机单元，由两个相机和镜头采用品牌和规格参数一致工业相机构成。
所述双目相机单元装于叉车正前方的车头位置，安装位置调整的依据以无遮挡地看见货拍为准；所述车头位置安装有一个水平支架，所述双目相机单元的相机和镜头都架设在该水平支架上；所述双目相机单元的两个相机之间的中心线夹角与被测物体的大小和待测距离有关，依据保证物体可同时完全出现在两个相机的视场中，并且大小是整幅画面的1/3对中心线夹角进行调节。
所述视觉定位系统是一套符合X86结构的计算系统，采用嵌入式核心CPU板为控制核心，可以安装Windows/Linux系统。
为了进一步清晰明白的描述本实用新型的目的、技术方案及优点，结合附图以及实施案例进行详细的说明。此处描述的实施案例只是本实用新型的一部分。
当系统各部分运行进入自动模式时，无人叉车在SLAM系统导航的指引下运动到货拍正前方，但是由于货拍的姿态具有很大的不确定性，并且叉车的定位精度在±5cm范围，所以要想叉车精准的插取货物就必须借助本视觉定位系统进行最后的调整。
第一步：本视觉定位系统装于叉车正前方的车头位置，具体的安装位置要调整到可以无遮挡地看见货拍为准。第二步：多相机系统要与叉车进行联合标定，得到转换矩阵，目的是将视觉系统的坐标系与叉车坐标系进行统一化。标定后，通过分析物体在图像坐标系下的值即可通过转换矩阵的计算出物体在叉车坐标系下的位姿。第三步：进行完系统标定以后就可以进行工作了。在叉车和货拍标准位置关系下对货拍进行采图，并将此图像中的货拍正面图像设置为模板，将当前状况下叉车的位姿作为参考位姿。叉车到位后视觉系统首先进行图像数据采集，然后对图像中的货拍进行特征点提取，并与模板图片进行对比，进而计算出当前货拍在叉车坐标系下的位姿，并将该位姿信息以（X,Y,Z,Rx,Ry,Rz）的格式通过USB接口发送给叉车控制系统。叉车系统根据参考位姿与当前得到的位姿进行差值比较即可计算出叉车所需要的偏移量和旋转量，叉车根据这些计算值进行对应的移动来达到准确插装的目的。
尽管上述已经详细描述本实用新型实施例，但是对本领域普通技术人员，在此原理和精神下可对实施例进行多种变化，在没有做出创造性的劳动前提下，均属于本实用新型的保护范围之内。
Claims (7)
1.一种基于多目视觉定位系统的高精度智能设备，包括叉车控制系统，由嵌入式控制系统、伺服电机驱动系统、网口和USB口的标准通讯接口和其它辅助功能单元构成，其特征在于它是由多目相机单元、交换机和视觉定位系统构成；其中，所述多目相机单元是至少有两目相机构成的单元结构，用于采集叉车及货拍图像信息，与交换机之间呈双向数据连接；所述视觉定位系统包括控制核心板单元；所述交换机与控制核心板单元之间呈双向数据连接；所述控制核心板单元与交换机和叉车控制系统之间均呈双向数据连接，用于实现对多目相机单元采集到的叉车图像信息进行坐标系标定处理，以获取物体在叉车坐标系下的位姿，找出与标准位姿之间的位置偏差，并将偏差信号回传给叉车控制系统，达到控制叉车正确动作的目的。
2.根据权利要求1所述一种基于多目视觉定位系统的高精度智能设备，其特征在于所述控制核心板单元与交换机之间依千兆以太网接口呈双向数据连接；所述控制核心板单元与叉车控制系统之间通过USB接口呈双向数据连接。
3.根据权利要求1所述一种基于多目视觉定位系统的高精度智能设备，其特征在于所述一种基于多目视觉定位系统的高精度智能设备还包括控制光源，通过IO接口与视觉定位系统的控制核心板单元呈双向连接。
4.根据权利要求1所述一种基于多目视觉定位系统的高精度智能设备，其特征在于所述交换机是工业交换机。
5.根据权利要求1所述一种基于多目视觉定位系统的高精度智能设备，其特征在于所述多目相机单元是双目相机单元，由两个相机和镜头采用品牌和规格参数一致工业相机构成。
6.根据权利要求5所述一种基于多目视觉定位系统的高精度智能设备，其特征在于所述双目相机单元装于叉车正前方的车头位置，安装位置调整的依据以无遮挡地看见货拍为准；所述车头位置安装有一个水平支架，所述双目相机单元的相机和镜头都架设在该水平支架上；所述双目相机单元的两个相机之间的中心线夹角与被测物体的大小和待测距离有关，依据保证物体可同时完全出现在两个相机的视场中，并且大小是整幅画面的1/3对中心线夹角进行调节。
7.根据权利要求1所述一种基于多目视觉定位系统的高精度智能设备，其特征在于所述视觉定位系统是一套符合X86结构的计算系统，采用嵌入式核心CPU板为控制核心，可以安装Windows/Linux系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201822027803.2U CN208999804U (zh) | 2018-12-05 | 2018-12-05 | 一种基于多目视觉定位系统的高精度智能设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201822027803.2U CN208999804U (zh) | 2018-12-05 | 2018-12-05 | 一种基于多目视觉定位系统的高精度智能设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN208999804U true CN208999804U (zh) | 2019-06-18 |
Family
ID=66808649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201822027803.2U Active CN208999804U (zh) | 2018-12-05 | 2018-12-05 | 一种基于多目视觉定位系统的高精度智能设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN208999804U (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109521398A (zh) * | 2018-12-05 | 2019-03-26 | 普达迪泰（天津）智能装备科技有限公司 | 一种基于多目视觉的定位系统及定位方法 |
-
2018
- 2018-12-05 CN CN201822027803.2U patent/CN208999804U/zh active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109521398A (zh) * | 2018-12-05 | 2019-03-26 | 普达迪泰（天津）智能装备科技有限公司 | 一种基于多目视觉的定位系统及定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110428467B (zh) | 一种相机、imu和激光雷达联合的机器人定位方法 | |
| CN108303710B (zh) | 基于三维激光雷达的无人机多场景定位建图方法 | |
| CN104217439B (zh) | 一种室内视觉定位系统及方法 | |
| CN107179086B (zh) | 一种基于激光雷达的制图方法、装置及系统 | |
| CN109211241B (zh) | 基于视觉slam的无人机自主定位方法 | |
| CN110033489B (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
| CN103064417B (zh) | 一种基于多传感器的全局定位导引系统及方法 | |
| KR20140049361A (ko) | 다중 센서 시스템, 이를 이용하는 3차원 월드 모델링 장치 및 방법 | |
| CN108536145A (zh) | 一种使用机器视觉进行智能跟随的机器人系统及运行方法 | |
| CN110517216A (zh) | 一种基于多类型相机的slam融合方法及其系统 | |
| CN106168805A (zh) | 基于云计算的机器人自主行走的方法 | |
| CN102967305A (zh) | 基于大小回字标志物的多旋翼无人机位姿获取方法 | |
| CN206990800U (zh) | 一种定位系统 | |
| WO2021036587A1 (zh) | 面向电力巡检场景的定位方法及系统 | |
| AU2021350657A1 (en) | Positioning method and system for fully mechanized mining face | |
| WO2022000713A1 (zh) | 一种基于航空装配的增强现实自定位方法 | |
| CN113311452B (zh) | 一种基于多传感器的定位方法及其系统 | |
| CN109387194A (zh) | 一种移动机器人定位方法和定位系统 | |
| CN109521398A (zh) | 一种基于多目视觉的定位系统及定位方法 | |
| CN208999804U (zh) | 一种基于多目视觉定位系统的高精度智能设备 | |
| CN109407115A (zh) | 一种基于激光雷达的路面提取系统及其提取方法 | |
| CN112050814A (zh) | 一种室内变电站无人机视觉导航系统及方法 | |
| CN114037762A (zh) | 基于图像与高精度地图配准的实时高精度定位方法 | |
| CN113781576A (zh) | 多自由度位姿实时调整的双目视觉检测系统、方法、装置 | |
| CN111958593A (zh) | 一种语义智能变电站巡视作业机器人视觉伺服方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190904 Address after: 215624 7th Floor, Shazhou Building, 718 Huachang Road, Jinfeng Town, Zhangjiagang City, Suzhou City, Jiangsu Province Co-patentee after: Puda Ditai (Tianjin) Intelligent Equipment Technology Co., Ltd. Patentee after: Jiangsu Puda Ditai Technology Co., Ltd. Address before: 300384 No. 7 Building, Zhonglian Industrial Park, Xiqing Automobile Industrial Zone, Xiqing District, Tianjin Patentee before: Puda Ditai (Tianjin) Intelligent Equipment Technology Co., Ltd. |
|
| TR01 | Transfer of patent right |