CN107038703A - 一种基于双目视觉的货物距离测量方法 - Google Patents

一种基于双目视觉的货物距离测量方法 Download PDF

Info

Publication number
CN107038703A
CN107038703A CN201710283329.7A CN201710283329A CN107038703A CN 107038703 A CN107038703 A CN 107038703A CN 201710283329 A CN201710283329 A CN 201710283329A CN 107038703 A CN107038703 A CN 107038703A
Authority
CN
China
Prior art keywords
image
goods
binocular
camera
measurement method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710283329.7A
Other languages
English (en)
Inventor
宋纪恩
王金虎
朱富云
戴相龙
唐玉婷
张清玉
朱卫
张宏林
韩斌
张珂铭
巫媛媛
罗挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU HAOHAN INFORMATION TECHNOLOGY Co Ltd
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Nantong Power Supply Co of Jiangsu Electric Power Co Ltd
Original Assignee
JIANGSU HAOHAN INFORMATION TECHNOLOGY Co Ltd
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Nantong Power Supply Co of Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGSU HAOHAN INFORMATION TECHNOLOGY Co Ltd, State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, Nantong Power Supply Co of Jiangsu Electric Power Co Ltd filed Critical JIANGSU HAOHAN INFORMATION TECHNOLOGY Co Ltd
Priority to CN201710283329.7A priority Critical patent/CN107038703A/zh
Publication of CN107038703A publication Critical patent/CN107038703A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目视觉的货物距离测量方法，包括以下步骤：从双目摄像头获取双目图像，对所得图像进行预处理；通过摄像机参数标定算法获得摄像机参数，建立成像模型；提取双目图像的SIFT特征，根据提取的特征对双目图像进行立体匹配；通过计算货物与摄像头之间的距离，换算为货物之间的距离。本发明依据计算机双目视觉原理，实现对仓库货架的合理摆放，并根据入库货物的自身特性，对新入库货物合理分配库位，降低了仓库管理人员的工作强度。

Description

一种基于双目视觉的货物距离测量方法
技术领域：
本技术涉及计算机视觉处理领域，具体涉及基于双目视觉的货物距离测量方法。
背景技术：
随着成产技术与人类需求的快速发展，仓储库存在企业中占有越来越重要的地位。而库存中的货物要面临频繁的出库、入库以及盘点操作，传统的库存管理，都需要靠人力来完成上述操作，频繁的操作不仅加大了人工的劳动强度，同时由于物品种类繁多，对仓库货架设计摆放、货物的入库库位安排提高了要求。近几年里，计算机视觉得到了长足的发展，已经被广泛应用于交通安全管理、人脸识别等领域。
利用双目视觉理论，实现对仓库货架的合理摆放，并根据货物自身特点自动安排合理的库位进行存储，在高效利用仓储进行存储的同时，也降低了库存管理人员的劳动强度。
发明内容：
本发明针对现在仓库中的获取需要频繁出入库操作的问题，提出一种基于双目视觉的货物距离测量方法，实现了自动测量仓库内货物间的距离，不仅提高了仓库面积的利用率，同时也降低了仓库管理人员的劳动强度。
本发明的目的通过以下技术方案来实现：一种基于双目视觉的货物距离测量方法，包括以下步骤：(a)通过在仓库墙壁上架设的双目摄像头采集货物图像，然后采用图像处理基本原理对所得图像进行预处理；
(b)通过摄像机参数标定算法获得摄像机参数，建立成像模型；
(c)提取双目图像的SIFT特征，根据提取的特征对双目图像进行立体匹配；(d)通过计算货物与摄像头之间的距离，换算为货物之间的距离，进而实现用基于双目视觉图像的货物距离测量；步骤a中双目摄像头采集货物图像，首先对获取到的图像进行预处理，处理过程主要包含图像的灰度化和基于阈值的图像分割，以提取双目图像中的货物信息；所述图像进行预处理具体为：对所获得的双目图像根据其灰度信息，先进行基于阈值的图像分割，所述分割过程需要将目标将货物从双目图像中分离出来，所以阈值的选择采用OSTU算法自适应选择阈值；被分割出的图像已经基本可以描绘出货物的基本形态，但是因双目图像中的噪声的存在，使得货物之间并不能很好的分割，于是采用图像开运算算法，对货物进行分离，最后提取到较为理想的货物目标图像；还包括以下步骤：对双目摄像机进行标定，获得摄像头的模型参数，建立图像的像素坐标与仓库点坐标之间建立关系；采用张正友棋盘法对相机进行标定；所述张正友相机标定法，具体如下步骤：打印一张模板，并将其贴在一块平面上作为标定板；移动标定板，从不同角度拍摄不少于三张照片；检测出每张照片中的所有角点；在不考虑径向畸变的情况下，利用旋转矩阵的正交性，通过求解线性方程，得到相机的内部参数和外部参数；利用最小二乘法估算相机的径向畸变系数；利用再投影误差最小化准则，对内外参数进行优化；对双目图像提取SIFT特征，根据提取的特征对双目图像进行立体匹配，然后利用同一物体在不同成像面上的成像差异求出货物点的空间坐标。
本发明通过计算机双目视觉原理，对双目摄像头采集回的图像进行预处理，实现货物与背景、货物与货物的分离，然后提取双目图像的SIFT特征，对双目图像进行立体匹配，再根据获取到的摄像头参数，计算出货物的位置信息，以此实现对仓库货物间的距离测量。本发明依据计算机双目视觉原理，实现对仓库货架的合理摆放，并根据入库货物的自身特性，对新入库货物合理分配库位，降低了仓库管理人员的工作强度。
附图说明：
图1为本发明的工作流程图；
具体实施方式：
为了加深对本发明的理解，下面将结合实施例和附图对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
如图1示出了本发明一种基于双目视觉的货物距离测量方法的具体实施方式：具体包括以下步骤：双目摄像头采集到的是彩色图像，首先将所采集的双目彩色图像转变为双目灰度图像Il(x,y)和Ir(x,y)，他们的最大值都是255；对双目灰度图像Il(x,y)和Ir(x,y)采用OTSU阈值法对图像前景和背景分割，设前景货物的像素值不变，背景像素值为零，结果仍保存在Il(x,y)和Ir(x,y)中；采用图像开运算算法，对图像Il(x,y)、Ir(x,y)通过结构体S开运算结果分别为IlOS和IrOS；采用张正友棋盘法对摄像机进行标定，获得摄像头的参数，建立图像的像素坐标与仓库点坐标之间建立关系；对开运算的结果图IlOS构建尺度空间，用两个相邻高斯尺度空间的图像相减，得到一个DOG的响应值图像Dl(x,y,σ)，然后对Dl(x,y,σ)求去局部的极值点，然后根据对比度剔除一些不好的极值点，得到满足条件的特征点。根据特征点以及该点的尺度σ，得到特征点所在的尺度图像Ll(x,y)，计算以特征点为中心，以3×1.5σ为半径的区域图像的幅角和幅值，求得每个点的梯度的模
和方向根据特征点的位置(x,y)，尺度σ和角度θl，得到左摄像头采集图像Il(x,y)的SIFT特征；对开运算的结果图IrOS构建尺度空间，用两个相邻高斯尺度空间的图像相减，得到一个DOG的响应值图像Dr(x,y,σ)，然后对Dr(x,y,σ)求去局部的极值点，然后根据对比度剔除一些不好的极值点，得到满足条件的特征点。根据特征点以及该点的尺度σ，得到特征点所在的尺度图像Lr(x,y)，计算以特征点为中心，以3×1.5σ为半径的区域图像的幅角和幅值，求得每个点的梯度的模
和方向根据特征点的位置(x,y)，尺度σ和角度θr，得到左摄像头采集图像Ir(x,y)的SIFT特征；将Il(x,y)和I2(x,y)匹配后的货物特征点，通过公式换算的到世界坐标系OwXwYwZw中，并计算不同货物间的距离。
申请人又一声明，本发明通过上述实施例来说明本发明的实现方法及装置结构，但本发明并不局限于上述实施方式，即不意味着本发明必须依赖上述方法及结构才能实施。所属技术领域的技术人员应该明了，对本发明的任何改进，对本发明所选用实现方法等效替换及步骤的添加、具体方式的选择等，均落在本发明的保护范围和公开的范围之内。
本发明并不限于上述实施方式，凡采用和本发明相似结构及其方法来实现本发明目的的所有方式，均在本发明的保护范围之内。

Claims (8)

1.一种基于双目视觉的货物距离测量方法，其特征在于：包括以下步骤：(a)通过在仓库墙壁上架设的双目摄像头采集货物图像，然后采用图像处理基本原理对所得图像进行预处理；
(b)通过摄像机参数标定算法获得摄像机参数，建立成像模型；
(c)提取双目图像的SIFT特征，根据提取的特征对双目图像进行立体匹配；(d)通过计算货物与摄像头之间的距离，换算为货物之间的距离，进而实现用基于双目视觉图像的货物距离测量。
2.根据权利要求1所述的基于双目视觉的货物距离测量方法，其特征在于：步骤a中双目摄像头采集货物图像，首先对获取到的图像进行预处理，处理过程主要包含图像的灰度化和基于阈值的图像分割，以提取双目图像中的货物信息。
3.根据权利要求2所述的基于双目视觉的货物距离测量方法，其特征在于：所述图像进行预处理具体为：对所获得的双目图像根据其灰度信息，先进行基于阈值的图像分割，所述分割过程需要将目标将货物从双目图像中分离出来，所以阈值的选择采用OSTU算法自适应选择阈值。
4.根据权利要求3所述的基于双目视觉的货物距离测量方法，其特征在于：采用图像开运算算法，对货物进行分离，提取货物目标图像。
5.根据权利要求1所述的基于双目视觉的货物距离测量方法，其特征在于：还包括以下步骤：对双目摄像机进行标定，获得摄像头的模型参数，建立图像的像素坐标与仓库点坐标之间建立关系。
6.根据权利要求5所述的基于双目视觉的货物距离测量方法，其特征在于：采用张正友棋盘法对相机进行标定。
7.根据权利要求6所述的基于双目视觉的货物距离测量方法，其特征在于：所述张正友相机标定法，具体如下步骤：打印一张模板，并将其贴在一块平面上作为标定板；移动标定板，从不同角度拍摄不少于三张照片；检测出每张照片中的所有角点；在不考虑径向畸变的情况下，利用旋转矩阵的正交性，通过求解线性方程，得到相机的内部参数和外部参数；利用最小二乘法估算相机的径向畸变系数；利用再投影误差最小化准则，对内外参数进行优化。
8.根据权利要求1所述的基于双目视觉的货物距离测量方法，其特征在于：对双目图像提取SIFT特征，根据提取的特征对双目图像进行立体匹配，然后利用同一物体在不同成像面上的成像差异求出货物点的空间坐标。
CN201710283329.7A 2017-04-26 2017-04-26 一种基于双目视觉的货物距离测量方法 Pending CN107038703A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710283329.7A CN107038703A (zh) 2017-04-26 2017-04-26 一种基于双目视觉的货物距离测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710283329.7A CN107038703A (zh) 2017-04-26 2017-04-26 一种基于双目视觉的货物距离测量方法

Publications (1)

Publication Number Publication Date
CN107038703A true CN107038703A (zh) 2017-08-11

Family

ID=59536073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710283329.7A Pending CN107038703A (zh) 2017-04-26 2017-04-26 一种基于双目视觉的货物距离测量方法

Country Status (1)

Country Link
CN (1) CN107038703A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107716468A (zh) * 2017-10-31 2018-02-23 广东工业大学 一种激光自动聚焦方法、系统、装置及可读存储介质
CN109493391A (zh) * 2018-11-30 2019-03-19 Oppo广东移动通信有限公司 摄像头标定方法和装置、电子设备、计算机可读存储介质
CN109684932A (zh) * 2018-11-30 2019-04-26 华南农业大学 一种基于双目视觉的托盘位姿识别方法
CN109934862A (zh) * 2019-02-22 2019-06-25 上海大学 一种点线特征结合的双目视觉slam方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090252398A1 (en) * 2008-04-07 2009-10-08 Compucyte Corporation Method and System for Creating a Three-Dimensionally-Perceived Image of a Biological Sample
CN102761768A (zh) * 2012-06-28 2012-10-31 中兴通讯股份有限公司 一种实现立体成像的方法及装置
CN103090846A (zh) * 2013-01-15 2013-05-08 广州市盛光微电子有限公司 一种测距装置、测距系统及其测距方法
CN104933718A (zh) * 2015-06-23 2015-09-23 广东省自动化研究所 一种基于双目视觉的物理坐标定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090252398A1 (en) * 2008-04-07 2009-10-08 Compucyte Corporation Method and System for Creating a Three-Dimensionally-Perceived Image of a Biological Sample
CN102761768A (zh) * 2012-06-28 2012-10-31 中兴通讯股份有限公司 一种实现立体成像的方法及装置
CN103090846A (zh) * 2013-01-15 2013-05-08 广州市盛光微电子有限公司 一种测距装置、测距系统及其测距方法
CN104933718A (zh) * 2015-06-23 2015-09-23 广东省自动化研究所 一种基于双目视觉的物理坐标定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
丁莹: "《复杂环境运动目标检测技术及应用》", 31 January 2014, 国防工业出版社 *
王平等: "基于双目视觉技术的物体深度信息的提取", 《科学技术与工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107716468A (zh) * 2017-10-31 2018-02-23 广东工业大学 一种激光自动聚焦方法、系统、装置及可读存储介质
CN109493391A (zh) * 2018-11-30 2019-03-19 Oppo广东移动通信有限公司 摄像头标定方法和装置、电子设备、计算机可读存储介质
CN109684932A (zh) * 2018-11-30 2019-04-26 华南农业大学 一种基于双目视觉的托盘位姿识别方法
CN109684932B (zh) * 2018-11-30 2023-05-23 华南农业大学 一种基于双目视觉的托盘位姿识别方法
CN109934862A (zh) * 2019-02-22 2019-06-25 上海大学 一种点线特征结合的双目视觉slam方法

Similar Documents

Publication Publication Date Title
CN103927016B (zh) 一种基于双目视觉的实时三维双手手势识别方法及其系统
CN107038703A (zh) 一种基于双目视觉的货物距离测量方法
CN105718945B (zh) 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法
Zhuang et al. Computer vision-based localisation of picking points for automatic litchi harvesting applications towards natural scenarios
CN108876241B (zh) 一种基于视觉的仓储空间识别管理系统
CN103793708B (zh) 一种基于仿射校正的多尺度车牌精准定位方法
CN110084243B (zh) 一种基于二维码和单目相机的档案识别与定位方法
CN107169475A (zh) 一种基于kinect相机的人脸三维点云优化处理方法
CN106548165A (zh) 一种基于图像分块加权的卷积神经网络的人脸识别方法
CN106651882B (zh) 一种基于机器视觉的燕窝杂质识别与检测方法及装置
CN103248906B (zh) 一种双目立体视频序列的深度图获取方法与系统
CN107992820A (zh) 基于双目视觉的货柜自助售货方法
US20190188451A1 (en) Lightweight 3D Vision Camera with Intelligent Segmentation Engine for Machine Vision and Auto Identification
CN109684932B (zh) 一种基于双目视觉的托盘位姿识别方法
CN108537239A (zh) 一种图像显著性目标检测的方法
CN112465832B (zh) 一种基于双目视觉的单面树木点云骨架线提取方法及系统
CN103337072A (zh) 一种基于纹理与几何属性联合模型的室内对象解析方法
CN109903299A (zh) 一种条件式生成对抗网络的异源遥感图像配准方法及装置
Zhang et al. A method for organs classification and fruit counting on pomegranate trees based on multi-features fusion and support vector machine by 3D point cloud
CN105069816B (zh) 一种进出口人流量统计的方法及系统
CN110033487A (zh) 基于深度联想感知算法的受遮挡蔬果采收方法
CN114219842A (zh) 港口集装箱自动装卸作业中的视觉识别、测距与定位方法
CN107527343A (zh) 一种基于图像处理的双孢蘑菇分级方法
CN110544300A (zh) 一种基于二维手绘图像特征自动生成三维模型的方法
CN107169996A (zh) 一种视频中动态人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170811

RJ01 Rejection of invention patent application after publication