CN109261528A - 基于双目视觉的快件分拣方法及装置 - Google Patents

基于双目视觉的快件分拣方法及装置 Download PDF

Info

Publication number
CN109261528A
CN109261528A CN201811028904.XA CN201811028904A CN109261528A CN 109261528 A CN109261528 A CN 109261528A CN 201811028904 A CN201811028904 A CN 201811028904A CN 109261528 A CN109261528 A CN 109261528A
Authority
CN
China
Prior art keywords
express mail
binocular vision
image
posture information
express
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811028904.XA
Other languages
English (en)
Inventor
程智勇
李晓娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Railway Polytechnic
Original Assignee
Guangzhou Railway Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Railway Polytechnic filed Critical Guangzhou Railway Polytechnic
Priority to CN201811028904.XA priority Critical patent/CN109261528A/zh
Publication of CN109261528A publication Critical patent/CN109261528A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00Sorting according to destination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Abstract

本发明实施例提供一种基于双目视觉的快件分拣方法及装置,属于快递分拣技术领域。该方法通过获取两个摄像机拍取的快件的双目视觉图像,然后对所述快件的双目视觉图像进行处理,获得所述快件的位姿信息,然后根据所述位姿信息控制机器人对所述快件进行分拣。本方案中基于双目视觉原理采集快件的图像,获得快件的位姿信息,进而使得机器人根据快件的位姿信息对快件进行分拣,由此可提高快件分拣的效率以及快件分拣的准确性。

Description

基于双目视觉的快件分拣方法及装置
技术领域
本发明涉及快递分拣技术领域,具体而言,涉及一种基于双目视觉的快件分拣方法及装置。
背景技术
随着生产制造业不断发展,人们对自动化要求不断提高,传统的制造方法(人工操作或者简单的机械生产)不断受到挑战。工业机器人是面向工业领域的多关节机械手或多自由度的机器装置,它能自动执行工作,是靠自身动力和控制能力来实现各种功能的一种机器,可以接受人类指挥,因而在工业领域受到了越来越广泛应用,但现在工业机器人一般都需要按照预先编排的程序运行,需要前期复杂的调试,不满足更加灵活地柔性生产。
近年来,机器人应用在快递行业,通过机器人可自动实现对快递的分拣,而目前通常是人为对机器人进行控制来实现快递分拣,这种方式使得分拣效率低,并且分拣出错概率大。
发明内容
有鉴于此,本发明实施例的目的在于提供一种基于双目视觉的快件分拣方法及装置,以改善上述问题。
第一方面,本发明实施例提供了一种基于双目视觉的快件分拣方法,所述方法包括:
获取两个摄像机拍取的快件的双目视觉图像;
对所述快件的双目视觉图像进行处理,获得所述快件的位姿信息;
根据所述位姿信息控制机器人对所述快件进行分拣。
进一步地,对所述快件的双目视觉图像进行处理,获得所述快件的位姿信息,包括:
对所述双目视觉图像进行校正;
采用模板匹配算法识别所述双目视觉图像中的快件;
根据所述双目视觉图像中所述快件的识别定位信息计算获得所述快件的三维位姿信息。
进一步地,对所述快件的双目视觉图像进行处理,获得所述快件的位姿信息,包括:
对所述双目视觉图像进行基于小波变换的图像去噪预处理;
采用基于Harris算子的角点提取法对所述双目视觉图像的图像特征进行提取;
采用Harris-SIFT算法对所述双目视觉图像进行特征匹配,获得多对匹配点;
根据所述多对匹配点获得所述快件的位姿信息。
进一步地,获取两个摄像机拍取的快件的双目视觉图像之前,所述方法还包括:
利用标定板对所述两个摄像机做单摄像机标定,确定其摄像机畸变系数和摄像机内参矩阵,以矫正图像,输出无畸变图像。
进一步地,根据所述位姿信息控制机器人对所述快件进行分拣,包括:
利用标定板采用Tsai的手眼标定算法离线求取所述两个摄像机坐标系相对所述机器人基坐标的位姿关系;
利用所述位姿关系,将所述快件的三维世界坐标转换为所述机器人的基坐标;
控制所述机器人根据所述快件在所述基坐标的下的位姿对所述快件进行分拣。
第二方面,本发明实施例提供了一种基于双目视觉的快件分拣装置,所述装置包括:
图像获取模块,用于获取两个摄像机拍取的快件的双目视觉图像;
位姿信息获取模块,用于对所述快件的双目视觉图像进行处理,获得所述快件的位姿信息;
分拣模块,用于根据所述位姿信息控制机器人对所述快件进行分拣。
进一步地,所述位姿信息获取模块,用于对所述双目视觉图像进行校正;采用模板匹配算法识别所述双目视觉图像中的快件;根据所述双目视觉图像中所述快件的识别定位信息计算获得所述快件的三维位姿信息。
进一步地,所述位姿信息获取模块,用于对所述双目视觉图像进行基于小波变换的图像去噪预处理;采用基于Harris算子的角点提取法对所述双目视觉图像的图像特征进行提取;采用Harris-SIFT算法对所述双目视觉图像进行特征匹配,获得多对匹配点;根据所述多对匹配点获得所述快件的位姿信息。
进一步地,所述装置还包括:
校正模块,用于利用标定板对所述两个摄像机做单摄像机标定,确定其摄像机畸变系数和摄像机内参矩阵,以矫正图像,输出无畸变图像。
进一步地,所述分拣模块,用于利用标定板采用Tsai的手眼标定算法离线求取所述两个摄像机坐标系相对所述机器人基坐标的位姿关系;利用所述位姿关系,将所述快件的三维世界坐标转换为所述机器人的基坐标;控制所述机器人根据所述快件在所述基坐标的下的位姿对所述快件进行分拣。
第三方面,本发明实施例提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如上述第一方面提供的所述方法中的步骤。
第四方面,本发明实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本发明实施例的有益效果是:
本发明实施例提供一种基于双目视觉的快件分拣方法及装置,该方法通过获取两个摄像机拍取的快件的双目视觉图像,然后对所述快件的双目视觉图像进行处理,获得所述快件的位姿信息,然后根据所述位姿信息控制机器人对所述快件进行分拣。本方案中基于双目视觉原理采集快件的图像,获得快件的位姿信息,进而使得机器人根据快件的位姿信息对快件进行分拣,由此可提高快件分拣的效率以及快件分拣的准确性。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了一种可应用于本申请实施例中的电子设备的结构框图;
图2为本发明实施例提供的一种基于双目视觉的快件分拣方法的流程图;
图3为本发明实施例提供的一种基于双目视觉的快件分拣装置的结构框图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参照图1,图1示出了一种可应用于本申请实施例中的电子设备100的结构框图。电子设备100可以包括基于双目视觉的快件分拣装置、存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105、音频单元106、显示单元107。
所述存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105、音频单元106、显示单元107各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述基于双目视觉的快件分拣装置包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述基于双目视觉的快件分拣装置的操作系统(operating system,OS)中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块,例如所述基于双目视觉的快件分拣装置包括的软件功能模块或计算机程序。
其中,存储器101可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器101用于存储程序,所述处理器103在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器103中,或者由处理器103实现。
处理器103可以是一种集成电路芯片,具有信号的处理能力。上述的处理器103可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。
所述外设接口104将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中,外设接口104,处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元105用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元105可以是,但不限于,鼠标和键盘等。
音频单元106向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示单元107在所述电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,所述显示单元107可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器103进行计算和处理。
所述外设接口104将各种输入/输入装置耦合至处理器103以及存储器101。在一些实施例中,外设接口104,处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元105用于提供给用户输入数据实现用户与处理终端的交互。所述输入输出单元105可以是,但不限于,鼠标和键盘等。
可以理解,图1所示的结构仅为示意,所述电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2,图2为本发明实施例提供的一种基于双目视觉的快件分拣方法的流程图,所述方法包括如下步骤:
步骤S110:获取两个摄像机拍取的快件的双目视觉图像。
在本发明实施例中,利用双目视觉原理获取快件的位姿信息,双目视觉系统的原理是基于视差原理,采用两个摄像机同时获得同一目标物体的立体像对,并通过两个摄像机影像的视差重构三维场景的几何信息。
而为了获得快件的双目视觉图像,可以通过两个摄像机对快件进行图像拍取,摄像机采集图像可以采用触发采集方式,可通过编程进行帧数设置,以及帧间间隔设置,即可一次触发采集多帧图像。
另外,在两个摄像机采集快件的图像前,还可对两个摄像机进行标定,即利用标定板对所述两个摄像机做单摄像机标定,确定其摄像机畸变系数和摄像机内参矩阵,以矫正图像,输出无畸变图像。
具体的,可以采用张正友标定发对两个摄像机进行标定,根据张正友平面标定流程,首先固定摄像机,然后对标定板进行拍照,再将标定板图像输入至计算机中并获取标定板上每个格点的像素坐标,接着把标定板的已知三维坐标载入计算机,通过将标定板的像素坐标和三维坐标带入标定模型,求解出摄像机的内外参数,经过左右摄像机的分别标定,最终获得双目视觉系统的摄像机参数。
另外,图像采集是通过CMOS或CCD传感器将采集到的模拟制式图像转换为数字信号的过程,简而言之,就是将实际被测物数字化的过程。图像质量的好坏主要取决于图像采集设备的优劣,常见的图像采集设备主要包括:工业相机、数码相机、扫描仪、显微镜等。
为了使采集到的图像能满足机器人位姿检测的要求,本实施例中采用相机型号为MV-1300FM的工业CCD摄像头进行图像采集,MV-1300FM摄像机是一款高性能的工业检测专业CCD摄像机,具有高精度、高清晰度、高分辨率,以及噪声小,色彩还原性好等优点;此外,该相机采用1394标准接口,相对于USB2.0输出数字相机,其数字传输过程占用资源较少,适合一机与多台数字相机同时使用,并且该相机可通过外部信号触发采集或连续采集,可应用于文字识别、显微图像、医学图像采集,工业检测、机器人视觉研究等领域。
步骤S120:对所述快件的双目视觉图像进行处理,获得所述快件的位姿信息。
作为一种实施方式,可以对所述双目视觉图像进行校正,然后采用模板匹配算法识别所述双目视觉图像中的快件,再根据所述双目视觉图像中的所述快件的识别定位信息计算获得所述快件的三维位姿信息。
具体地,可以采用视觉软件包halcon的可变形模板匹配算子识别定位两个摄像机采集的双目视觉图像中的快件,则首先采集包含快件的图像并截取快件部分的图像,然后利用halcon工具把截取的快件部分制作成模板文件,利用创建好的模板文件在线识别定位图像中的快件,并输出快件在两个摄像机采集的左右图像中的轮廓和中心,根据左右摄像机图像快件的识别定位信息计算快件的三维位姿。
其中,计算快件的三维位姿的方式为:求取快件的中心位置:由左右图像的快件模板匹配中心,求出快件中心位置在左摄像机坐标系的三维坐标;求取快件的法向方向:由左右图像的快件轮廓各种匹配点,拟合快件轮廓的空间平面,求取该平面的法向量。
作为一种实施方式,对所述快件的双目视觉图像进行处理,获得所述快件的位姿信息的方式,还可以为:对所述双目视觉图像进行基于小波变换的图像去噪预处理;采用基于Harris算子的角点提取法对所述双目视觉图像的图像特征进行提取;采用Harris-SIFT算法对所述双目视觉图像进行特征匹配,获得多对匹配点;根据所述多对匹配点获得所述快件的位姿信息。
具体地,为了降低噪声对快件位姿检测所带来的不良影响,采用基于小波变换的去噪方法对获得的双目视觉图像进行预处理,通过去噪处理有效抑制图像噪声,以便下一步特征提取操作。
像素点的Harris响应函数为:
R=det M-k(traceM)2
其中,det M为矩阵M的行列式,traceM为矩阵M的真迹;k为经验常数,通常取值范围0.04~0.06。设定阈值t,根据上述Harris算子计算响应值R,若R<t,则该点为特征点,本实施例取经验常数k=0.04,并直接通过调用OpenCV库函数((conerHarris())实现快件图像的特征点提取。
本实施例采用Harris-SIFT算法进行快件图像特征点匹配。该匹配算法使用Harris特征点取代SIFT中的极值点,采用拟合三维二次函数的方法实现对特征点的精确定位,并剔除对噪声敏感的低对比度点和难以定位的处于图像边沿的点,从而筛选出稳定的点作为图像的SIFT特征点。基于Harris-SIFT算法的立体匹配分为以下步骤:
(1)对特征点x的DoG算子进行泰勒展开:
其中,△x为特征点x的偏移量,当x为DoG算子的极值点时,D(x)的一阶偏导为0,则特征点精确位置的偏移量△x可求得:
经过多次迭代后得到被测点的精确位置和尺度,将其代入Harris响应函数可求得该点的DoG值并取其绝对值,设定对比度阈值Tc,从而剔除对比度绝对值小于阈值Tc的低对比度点。
而对于边沿点的剔除,可通过DoG函数极值点的主曲率与阈值比较来实现,通常,边沿的DoG函数极值点比非边沿点的主曲率大,因此,可将主曲率比值大于阈值的边沿点剔除。非边沿点满足关系如下式所示:
其中,r为设定的阈值,本实施例取r=10;H为2×2的Hessian矩阵,H矩阵表示如下式所示:
(2)确定特征点方向。设点L(x,y)的梯度模为m(x,y),方向为θ(x,y),则该点高斯梯度模和方向表示如下式所示:
统计关键点邻域像素的梯度分布,并选取直方图的主峰值作为关键点的方向。至此,每个特征点都具备了3个重要的信息:位置、尺度和方向。
(3)生成特征描述子。生成特征描述子需要将坐标轴旋转为特征点方向,并均匀划分该特征点相邻的16×16像素区域为8个4×4的子区域,接着在每个4×4的子区域上计算8个方向的梯度直方图,这样每个特征点就可产生128个数据以形成128维的SIFT特征向量,将生成的特征向量进行长度归一化,可进一步减少光照变化的影响。
(4)特征描述子生成后,便可根据SIFT匹配算法的欧氏距离进行特征点匹配。具体实现如下:首先,将左图像中的某一特征点p与待匹配的右图像的所有特征点分别进行欧氏距离计算;然后,取出右图像中与p点欧氏距离最近和次近的两个点p1和p2;最后,计算最近欧式距离与次近欧式距离的比值并与一个阈值相比较,若该比值小于阈值,则匹配成功,此时,(p1,p2)为图像序列的一个匹配点对,反之,则匹配失败。本实施例设定阈值为0.5。
获取多对匹配点后,还可通过RANSAC算法实现对匹配点对进行提纯。
然后基于多对匹配点组合成所述快件的位姿信息。
步骤S130:根据所述位姿信息控制机器人对所述快件进行分拣。
作为一种实施方式,可以利用标定板采用Tsai的手眼标定算法离线求取所述两个摄像机坐标系相对所述机器人基坐标的位姿关系,然后利用所述位姿关系,将所述快件的三维世界坐标转换为所述机器人的基坐标,再控制所述机器人根据所述快件在所述基坐标的下的位姿对所述快件进行分拣。
本实施例中,对快件进行识别和定位,得出快件在机器人的基坐标的三维位姿信息,机器人根据快件的三维位姿信息自动对快件进行分拣,快件图像在室内光照变化,背景反光,噪声干扰等外界因素而发生失真时,还能够对快件进行准确地识别定位,进而对快件进行准确的分拣。
请参照图3,图3为本发明实施例提供的一种基于双目视觉的快件分拣装置200的结构框图,所述装置包括:
图像获取模块210,用于获取两个摄像机拍取的快件的双目视觉图像;
位姿信息获取模块220,用于对所述快件的双目视觉图像进行处理,获得所述快件的位姿信息;
分拣模块230,用于根据所述位姿信息控制机器人对所述快件进行分拣。
进一步地,所述位姿信息获取模块220,用于对所述双目视觉图像进行校正;采用模板匹配算法识别所述双目视觉图像中的快件;根据所述双目视觉图像中所述快件的识别定位信息计算获得所述快件的三维位姿信息。
进一步地,所述位姿信息获取模块220,用于对所述双目视觉图像进行基于小波变换的图像去噪预处理;采用基于Harris算子的角点提取法对所述双目视觉图像的图像特征进行提取;采用Harris-SIFT算法对所述双目视觉图像进行特征匹配,获得多对匹配点;根据所述多对匹配点获得所述快件的位姿信息。
进一步地,所述装置还包括:
校正模块,用于利用标定板对所述两个摄像机做单摄像机标定,确定其摄像机畸变系数和摄像机内参矩阵,以矫正图像,输出无畸变图像。
进一步地,所述分拣模块230,用于利用标定板采用Tsai的手眼标定算法离线求取所述两个摄像机坐标系相对所述机器人基坐标的位姿关系;利用所述位姿关系,将所述快件的三维世界坐标转换为所述机器人的基坐标;控制所述机器人根据所述快件在所述基坐标的下的位姿对所述快件进行分拣。
本发明实施例还提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如上述的图2中的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
综上所述,本发明实施例提供一种基于双目视觉的快件分拣方法及装置,该方法通过获取两个摄像机拍取的快件的双目视觉图像,然后对所述快件的双目视觉图像进行处理,获得所述快件的位姿信息,然后根据所述位姿信息控制机器人对所述快件进行分拣。本方案中基于双目视觉原理采集快件的图像,获得快件的位姿信息,进而使得机器人根据快件的位姿信息对快件进行分拣,由此可提高快件分拣的效率以及快件分拣的准确性。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于双目视觉的快件分拣方法,其特征在于,所述方法包括:
获取两个摄像机拍取的快件的双目视觉图像;
对所述快件的双目视觉图像进行处理,获得所述快件的位姿信息;
根据所述位姿信息控制机器人对所述快件进行分拣。
2.根据权利要求1所述的方法,其特征在于,对所述快件的双目视觉图像进行处理,获得所述快件的位姿信息,包括:
对所述双目视觉图像进行校正;
采用模板匹配算法识别所述双目视觉图像中的快件;
根据所述双目视觉图像中所述快件的识别定位信息计算获得所述快件的三维位姿信息。
3.根据权利要求1所述的方法,其特征在于,对所述快件的双目视觉图像进行处理,获得所述快件的位姿信息,包括:
对所述双目视觉图像进行基于小波变换的图像去噪预处理;
采用基于Harris算子的角点提取法对所述双目视觉图像的图像特征进行提取;
采用Harris-SIFT算法对所述双目视觉图像进行特征匹配,获得多对匹配点;
根据所述多对匹配点获得所述快件的位姿信息。
4.根据权利要求3所述的方法,其特征在于,获取两个摄像机拍取的快件的双目视觉图像之前,所述方法还包括:
利用标定板对所述两个摄像机做单摄像机标定,确定其摄像机畸变系数和摄像机内参矩阵,以矫正图像,输出无畸变图像。
5.根据权利要求1所述的方法,其特征在于,根据所述位姿信息控制机器人对所述快件进行分拣,包括:
利用标定板采用Tsai的手眼标定算法离线求取所述两个摄像机坐标系相对所述机器人基坐标的位姿关系;
利用所述位姿关系,将所述快件的三维世界坐标转换为所述机器人的基坐标;
控制所述机器人根据所述快件在所述基坐标的下的位姿对所述快件进行分拣。
6.一种基于双目视觉的快件分拣装置,其特征在于,所述装置包括:
图像获取模块,用于获取两个摄像机拍取的快件的双目视觉图像;
位姿信息获取模块,用于对所述快件的双目视觉图像进行处理,获得所述快件的位姿信息;
分拣模块,用于根据所述位姿信息控制机器人对所述快件进行分拣。
7.根据权利要求6所述的装置,其特征在于,所述位姿信息获取模块,用于对所述双目视觉图像进行校正;采用模板匹配算法识别所述双目视觉图像中的快件;根据所述双目视觉图像中所述快件的识别定位信息计算获得所述快件的三维位姿信息。
8.根据权利要求6所述的装置,其特征在于,所述位姿信息获取模块,用于对所述双目视觉图像进行基于小波变换的图像去噪预处理;采用基于Harris算子的角点提取法对所述双目视觉图像的图像特征进行提取;采用Harris-SIFT算法对所述双目视觉图像进行特征匹配,获得多对匹配点;根据所述多对匹配点获得所述快件的位姿信息。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
校正模块,用于利用标定板对所述两个摄像机做单摄像机标定,确定其摄像机畸变系数和摄像机内参矩阵,以矫正图像,输出无畸变图像。
10.根据权利要求6所述的装置,其特征在于,所述分拣模块,用于利用标定板采用Tsai的手眼标定算法离线求取所述两个摄像机坐标系相对所述机器人基坐标的位姿关系;利用所述位姿关系,将所述快件的三维世界坐标转换为所述机器人的基坐标;控制所述机器人根据所述快件在所述基坐标的下的位姿对所述快件进行分拣。
CN201811028904.XA 2018-09-03 2018-09-03 基于双目视觉的快件分拣方法及装置 Pending CN109261528A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811028904.XA CN109261528A (zh) 2018-09-03 2018-09-03 基于双目视觉的快件分拣方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811028904.XA CN109261528A (zh) 2018-09-03 2018-09-03 基于双目视觉的快件分拣方法及装置

Publications (1)

Publication Number Publication Date
CN109261528A true CN109261528A (zh) 2019-01-25

Family

ID=65187683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811028904.XA Pending CN109261528A (zh) 2018-09-03 2018-09-03 基于双目视觉的快件分拣方法及装置

Country Status (1)

Country Link
CN (1) CN109261528A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110320100A (zh) * 2019-07-03 2019-10-11 中北大学 一种基于机器视觉的双相机布氏硬度测量装置和测量方法
CN110751691A (zh) * 2019-09-24 2020-02-04 同济大学 一种基于双目视觉的管件自动抓取方法
CN111368730A (zh) * 2020-03-04 2020-07-03 上海东普信息科技有限公司 快件分拣异常动作的识别方法、装置、设备及存储介质
CN111915680A (zh) * 2020-09-01 2020-11-10 山东新一代信息产业技术研究院有限公司 机器人定位方法、系统、电子装置及计算机可读介质
CN112077007A (zh) * 2020-08-14 2020-12-15 上海企申自动化设备有限公司 一种分拣方法、装置、分拣机及存储介质
CN114308691A (zh) * 2022-01-21 2022-04-12 山东大学 一种基于自动识别的包裹分拣系统及方法
CN114653629A (zh) * 2022-02-23 2022-06-24 深圳市如本科技有限公司 基于视觉识别的分拣方法、智能分拣系统及可读存储介质
CN115311254A (zh) * 2022-09-13 2022-11-08 万岩铁路装备(成都)有限责任公司 基于Harris-SIFT算法的钢轨轮廓匹配方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581409A (ja) * 1991-09-19 1993-04-02 Nec Corp 両眼視方式
CN103247053A (zh) * 2013-05-16 2013-08-14 大连理工大学 基于双目显微立体视觉的零件精确定位方法
CN103337094A (zh) * 2013-06-14 2013-10-02 西安工业大学 一种应用双目摄像机实现运动三维重建的方法
CN103934211A (zh) * 2014-04-30 2014-07-23 重庆环视科技有限公司 基于立体视觉的产品三维尺寸分拣系统
CN106408609A (zh) * 2016-09-13 2017-02-15 江苏大学 一种基于双目视觉的并联机构末端运动位姿检测方法
CN106737638A (zh) * 2016-12-22 2017-05-31 河北省自动化研究所 一种分拣手机摄像头定位系统及其定位算法
CN107192331A (zh) * 2017-06-20 2017-09-22 佛山市南海区广工大数控装备协同创新研究院 一种基于双目视觉的工件抓取方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581409A (ja) * 1991-09-19 1993-04-02 Nec Corp 両眼視方式
CN103247053A (zh) * 2013-05-16 2013-08-14 大连理工大学 基于双目显微立体视觉的零件精确定位方法
CN103337094A (zh) * 2013-06-14 2013-10-02 西安工业大学 一种应用双目摄像机实现运动三维重建的方法
CN103934211A (zh) * 2014-04-30 2014-07-23 重庆环视科技有限公司 基于立体视觉的产品三维尺寸分拣系统
CN106408609A (zh) * 2016-09-13 2017-02-15 江苏大学 一种基于双目视觉的并联机构末端运动位姿检测方法
CN106737638A (zh) * 2016-12-22 2017-05-31 河北省自动化研究所 一种分拣手机摄像头定位系统及其定位算法
CN107192331A (zh) * 2017-06-20 2017-09-22 佛山市南海区广工大数控装备协同创新研究院 一种基于双目视觉的工件抓取方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110320100A (zh) * 2019-07-03 2019-10-11 中北大学 一种基于机器视觉的双相机布氏硬度测量装置和测量方法
CN110320100B (zh) * 2019-07-03 2022-04-01 中北大学 一种基于机器视觉的双相机布氏硬度测量装置和测量方法
CN110751691A (zh) * 2019-09-24 2020-02-04 同济大学 一种基于双目视觉的管件自动抓取方法
CN110751691B (zh) * 2019-09-24 2022-09-20 同济大学 一种基于双目视觉的管件自动抓取方法
CN111368730A (zh) * 2020-03-04 2020-07-03 上海东普信息科技有限公司 快件分拣异常动作的识别方法、装置、设备及存储介质
CN111368730B (zh) * 2020-03-04 2023-05-16 上海东普信息科技有限公司 快件分拣异常动作的识别方法、装置、设备及存储介质
CN112077007A (zh) * 2020-08-14 2020-12-15 上海企申自动化设备有限公司 一种分拣方法、装置、分拣机及存储介质
CN111915680A (zh) * 2020-09-01 2020-11-10 山东新一代信息产业技术研究院有限公司 机器人定位方法、系统、电子装置及计算机可读介质
CN114308691A (zh) * 2022-01-21 2022-04-12 山东大学 一种基于自动识别的包裹分拣系统及方法
CN114653629A (zh) * 2022-02-23 2022-06-24 深圳市如本科技有限公司 基于视觉识别的分拣方法、智能分拣系统及可读存储介质
CN115311254A (zh) * 2022-09-13 2022-11-08 万岩铁路装备(成都)有限责任公司 基于Harris-SIFT算法的钢轨轮廓匹配方法

Similar Documents

Publication Publication Date Title
CN109261528A (zh) 基于双目视觉的快件分拣方法及装置
CN106534616B (zh) 一种基于特征匹配与运动补偿的视频稳像方法及系统
CN104463108B (zh) 一种单目实时目标识别及位姿测量方法
CN103426186B (zh) 一种改进的surf快速匹配方法
CN112950667B (zh) 一种视频标注方法、装置、设备及计算机可读存储介质
CN106919944B (zh) 一种基于orb算法的大视角图像快速识别方法
CN108694741B (zh) 一种三维重建方法及装置
CN109086727B (zh) 一种确定人体头部的运动角度的方法、装置及电子设备
CN107958458A (zh) 图像分割方法、图像分割系统及包括其的设备
CN110930411B (zh) 一种基于深度相机的人体分割方法及系统
JP2016207147A (ja) テンプレート作成装置及びテンプレート作成方法
CN108229500A (zh) 一种基于函数拟合的sift误匹配点剔除法
US10157439B2 (en) Systems and methods for selecting an image transform
CN107798702A (zh) 一种用于增强现实的实时图像叠加方法以及装置
CN106067031B (zh) 基于人工纠错机制与深度学习网络协作机器视觉识别系统
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
CN113329179B (zh) 拍摄对位方法、装置、设备及存储介质
CN109389018A (zh) 一种人脸角度识别方法、装置及设备
CN107479715A (zh) 利用手势控制实现虚拟现实交互的方法和装置
CN104978558B (zh) 目标的识别方法及装置
CN109981967A (zh) 用于智能机器人的拍摄方法、装置、终端设备及介质
JP6016242B2 (ja) 視点推定装置及びその分類器学習方法
JP5931646B2 (ja) 画像処理装置
CN109753930B (zh) 人脸检测方法及人脸检测系统
CN111881841A (zh) 一种基于双目视觉的人脸检测识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190125