CN112614191B - 基于双目深度相机的装卸位置检测方法、装置和系统 - Google Patents

基于双目深度相机的装卸位置检测方法、装置和系统 Download PDF

Info

Publication number
CN112614191B
CN112614191B CN202011485438.5A CN202011485438A CN112614191B CN 112614191 B CN112614191 B CN 112614191B CN 202011485438 A CN202011485438 A CN 202011485438A CN 112614191 B CN112614191 B CN 112614191B
Authority
CN
China
Prior art keywords
coordinate
detected
loading
error
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011485438.5A
Other languages
English (en)
Other versions
CN112614191A (zh
Inventor
蔡传玉
宋林鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Think Tank Intelligent Technology Co ltd
Original Assignee
Jiangsu Think Tank Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Think Tank Intelligent Technology Co ltd filed Critical Jiangsu Think Tank Intelligent Technology Co ltd
Priority to CN202011485438.5A priority Critical patent/CN112614191B/zh
Publication of CN112614191A publication Critical patent/CN112614191A/zh
Application granted granted Critical
Publication of CN112614191B publication Critical patent/CN112614191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于双目深度相机的装卸位置检测方法，属于位置检测技术领域，包括如下步骤：采集装卸区域内待检测物的图像和深度；基于双目深度相机的畸变参数，对所述图像进行去畸变处理；利用训练好的深度学习模型识别经去畸变处理后的图像，获取所述待检测物的中心点像素坐标；根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标，计算所述待检测物的空间三维坐标；根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项，构建待检测物的坐标误差模型；根据所述坐标误差模型获得经误差纠正的空间三维坐标。本发明能够提高装卸位置检测的自动化水平、工作效率和安全性。

Description

基于双目深度相机的装卸位置检测方法、装置和系统
技术领域
本发明涉及无人行车装卸位置检测技术领域，尤其涉及基于双目深度相机的装卸位置检测方法、装置和系统。
背景技术
随着自动化技术的日益发展，现代工业对行车的高效性、安全性提出了越来越高的需求。行车已从单一的搬运工具逐步演变成自动化柔性化生产中的重要组成部分。全自动行车将成为现代生产制造执行管理系统中必需的执行构件，其利用先进的计算机控制技术，根据接收到的上层网络作业指令进行对物料的检测、行车各机构的精确定位完成卸料、上料、移库等作业，实现物料的全自动存储及装卸。其中，物料经由无人行车或者框架车入库、出库时，通过全自动无人行车实现对其自动、精确、高效的装车和卸车成为整个全自动无人行车系统研究的核心之一。
目前，国内外对于行车的装卸区域的货物检测方法的主要有如下方案：
(1)半自动方式。无人行车在装卸物料区域时，由装卸区域的操作人员，利用遥控器控制行车来完成货物的装卸。在这种情况下，无人行车作业的自动化水平较低，人为干预的因素较多，降低了无人行车作业的安全性和作业效率；
(2)固定位置的全自动模式。所有入库、出库的无人行车的垛位位置固定以及无人行车上物料位置固定，在这种情况下，无人行车可以精确地获得物料以及垛位的位置，从而实现自动走行、装卸物料。在该模式下，由于对无人行车的要求过高，在实际生产作业中可行性较低；
(3)相对位置的全自动模式。无人行车出库时，司机通过手动控制激光扫描装置定位无人行车上的物料或垛位位置；无人行车入库时，激光扫描装置自动定位无人行车上的物料或垛位位置。从而无人行车可以获得物料以及垛位的位置，从而实现自动走行、装卸物料。在该模式下，无人行车司机需要肉眼观察落在无人行车上的可见红光线，当无人行车的车架高于司机的观察范围时，司机需要借助辅助平台才能观察到扫描线，这就给该模式的实施带来了不便；同时可见红光线对人眼的危害较大。另外，由于激光扫描装置价格比较昂贵，大大增加了无人行车作业的成本。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于双目深度相机的装卸位置检测方法、装置和系统，能够提高装卸位置检测的自动化水平、工作效率和安全性，并且操作简便，有助于减少作业成本。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种基于双目深度相机的装卸位置检测方法，包括如下步骤：
采集装卸区域内待检测物的图像和深度；
基于双目深度相机的畸变参数，对所述图像进行去畸变处理；
利用训练好的深度学习模型识别经去畸变处理后的图像，获取所述待检测物的中心点像素坐标；
根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标，计算所述待检测物的空间三维坐标；
根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项，构建待检测物的坐标误差模型；
根据所述坐标误差模型获得经误差纠正的空间三维坐标。
进一步的，对所述图像进行去畸变处理的方法包括如下步骤：
利用双目深度相机的畸变系数并调用视觉opencv库中的函数对采集的图像进行去畸变处理。
进一步的，训练深度学习模型的方法包括如下步骤：
利用标注工具对经去畸变处理的图像进行待检测物标注，构建包含待检测物的边缘和范围的训练集；
利用深度学习模型和物体检测算法对构建的训练集进行训练，获得模型收敛的深度学习模型。
进一步的，所述待检测物包括无人行车和货物，获取所述待检测物的中心点像素坐标的方法包括如下步骤：
利用训练好的深度学习模型实时识别装卸区域中的无人行车图像和货物图像，获取无人行车区域像素坐标集和货物区域像素坐标集；
对获取的无人行车区域像素坐标集和货物区域像素坐标集分别取中值，计算获得无人行车和货物的中心像素坐标。
进一步的，计算所述待检测物的空间三维坐标的方法包括如下步骤：
根据相机成像模型求得待检测物的四维归一化坐标，然后对求得的四维归一化坐标进行去除归一化处理得到待检测物的空间三维坐标；其中，
所述相机成像模型表示如下：
Zp＝K[R|t]P
其中，p为中心像素坐标，K为相机内参数，R,t为相机外参数，P为四维归一化坐标[X,Y,Z,1]T，(X,Y,Z)为空间三维坐标。
进一步的，构建待检测物的坐标误差模型的方法包括如下步骤：
测量得到待检测物的真实空间三维坐标；
根据真实空间三维坐标和计算得到的空间三维坐标，计算获得坐标误差值；
根据影响坐标精度的误差项，建立坐标误差值和误差项之间的坐标误差模型关系；
根据多组所述坐标误差值，计算确定坐标误差模型中参数。
进一步的，还包括对双目深度相机进行相机标定，具体方法包括如下步骤：
制作黑白标定板；
采集一定数量的标定板图像；
利用经筛选去除后的标定板图像和张氏相机标定法对双目深度相机进行相机标定；
根据所述相机标定获取双目深度相机的内参数和外参数以及畸变参数。
第二方面，本发明提供了一种装卸位置检测装置，包括双目深度相机，包括如下模块：
数据采集模块，用于采集装卸区域内的待检测物的图像和深度；
畸变处理模块，用于基于双目深度相机的畸变参数，对所述图像进行去畸变处理；
中心坐标模块，用于利用训练好的深度学习模型识别经去畸变处理后的图像，获取所述待检测物的中心点像素坐标；
计算坐标模块，用于根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标，计算所述待检测物的空间三维坐标；
误差模型模块，用于根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项，构建待检测物的坐标误差模型；
误差纠正模块，用于根据所述坐标误差模型获得经误差纠正的空间三维坐标。
第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现第一方面中任一项所述方法的步骤。
第四方面，本发明提供了一种装卸位置检测系统，包括第二方面中所述的装卸位置检测装置；
所述系统利用所述装卸位置检测装置对装卸区域内的待检测物进行位置检测。
与现有技术相比，本发明所达到的有益效果：
本发明的基于双目深度相机的装卸位置检测方法、装置和系统，能够实时获取待检测物无人行车和货物等的位置数据，提高了无人行车和货物在装卸区域内作业自动化水平和工作效率；避免了人为因素较大干扰，可靠性高；同时解决了现有技术中采用可见红外光带来的安全性问题；能够适应多种应用场合，降低了制造和应用成本。
附图说明
图1是本发明实施例提供的一种基于双目深度相机的装卸位置检测方法的流程图；
图2是本发明实施例提供的一种基于双目深度相机的装卸位置检测方法中无人行车和货物中心像素坐标的示意图；
图3是本发明实施例提供的一种装卸位置检测装置的结构框图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
实施例一：
如图1所示，本发明提供了一种基于双目深度相机的装卸位置检测方法，包括如下步骤：
步骤1：采集装卸区域内待检测物的图像和深度，所述待检测物包括无人行车和货物；
步骤2：基于双目深度相机的畸变参数，对所述图像进行去畸变处理；
步骤3：利用训练好的深度学习模型识别经去畸变处理后的图像，获取所述待检测物的中心点像素坐标；
步骤4：根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标，计算所述待检测物的空间三维坐标；
步骤5：根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项，构建待检测物的坐标误差模型；
步骤6：根据所述坐标误差模型获得经误差纠正的空间三维坐标。
为了更好地进行位置检测作业，可以提前单独获取所采用双目深度相机的内参数、外参数和畸变参数，也可以对内参数、外参数和畸变参数进行现场测量确定。在本实施例中，基于双目深度相机的装卸位置检测方法在步骤1或步骤2之前还包括对双目深度相机进行相机标定，具体方法包括如下步骤：
制作黑白标定板；
采集一定数量的标定板图像，去除不能用于相机标定的标定板图像；
利用经筛选去除后符合条件的标定板图像和张氏相机标定法对双目深度相机进行相机标定；
利用最小二乘法和非线性优化方法来最小化标定板图像中的特征点的重投影误差，计算得到相机的内参数和外参数，以及畸变参数，以方便用于对待检测物图像去进行去畸变处理和计算物体空间三维坐标。
其中，相机标定的具体实现方式有两种，一种是利用matlab中集成的相机标定工具进行相机标定；另一种是利用视觉opencv库中的一些相关函数进行相机标定。
待相机标定获得内参数、外参数和畸变参数后，将双目深度相机安置于无人行车装卸区域的正上方，便于对整个装卸区域获取相关图像。
如图1所示，本发明装卸位置检测方法中利用双目深度相机的畸变系数并调用视觉opencv库中的函数对采集的图像进行去畸变处理，相机畸变模型具体如下：
xcorrected＝x(1+k1r2+k2r4+k3r3)+2p1xy+p2(r2+2x2)
ycorrected＝y(1+k1r2+k2r4+k3r3)+2p2xy+p1(r2+2y2)
式中，k1、k2、k3、p1、p2为均为畸变系数，均可由相机标定得到，利用批量采集装卸区域的包含无人行车和货物的图像，在采集的同时利用相机的畸变系数并调用视觉opencv中的函数对图像进行去畸变处理，进而获得大量无畸变的无人行车和货物图像。
如图2所示，在步骤2中对去畸变处理后的无人行车的图像和货物的图像，利用标注工具进行无人行车和货物的位置标注，确定无人行车和货物的边缘和范围，可以得到无人行车区域像素坐标集Car(Xmin,Ymin,Xmax,Ymax)和货物区域像素坐标集Goods(Xmin,Ymin,Xmax,Ymax)，然后构建训练集；
利用深度学习框架Tensorflow和物体检测算法YOLOV3，根据误差模型e＝e1-e2对训练集进行训练，其中，e2＝k*input+b，e为误差，e1为期望输出，e2为模型输出，input为模型输入，这里模型输入为上述步骤2中的训练集中的图片。在训练过程中，当模型参数k,b都趋于稳定，且误差e比较小且保持稳定时，可以判定模型收敛，结束训练，从而获得模型收敛的深度学习模型，用于获取无人行车区域像素坐标集和货物区域像素坐标集。
在步骤3中，利用训练好的深度学习模型实时识别装卸区域中的无人行车图像和货物图像，获取无人行车区域像素坐标集Car(Xmin,Ymin,Xmax,Ymax)和货物区域像素坐标集Goods(Xmin,Ymin,Xmax,Ymax)。
对获取的无人行车区域像素坐标集和货物区域像素坐标集分别取中值，计算获得无人行车的中心像素坐标和货物的中心像素坐标，即计算出无人行车的中心像素坐标Car(X,Y)和货物的中心像素坐标Goods(X,Y)，如图2所示。
同时，根据无人行车的区域像素坐标集可以知道无人行车停靠位置，进而可以判断无人行车停靠位置是否合格。
在本实施例的步骤4中，根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标，计算待检测物无人行车和货物的空间三维坐标的方法包括如下步骤：
根据相机成像模型求得待检测物的四维归一化坐标，然后对求得的四维归一化坐标进行去除归一化处理得到待检测物的空间三维坐标；
其中，相机成像模型表示如下：
Zp＝K[R|t]P
其中，p为中心像素坐标，K为相机内参数，R,t为相机外参数，P为四维归一化坐标[X,Y,Z,1]T，(X,Y,Z)为空间三维坐标，其中Z高度距离(深度)可以通过双目深度相机直接获得。
在本实施例的步骤5中，根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项，构建待检测物的坐标误差模型，具体操作如下：
测量得到待检测物真实的空间三维坐标P1，与计算得到的待检测物空间三维坐标P2进行对比，计算得到坐标误差值e；
根据实际环境考虑整个过程中存在的误差项,待检测物与相机的垂直距离H，利用数学建模，建立坐标误差值e和误差项之间的坐标误差模型关系；e＝P1-P2 e＝aP1+bH2+c。
其中，H为上述步骤4中的深度Z，已经得到，然后，根据多组真实的空间三维坐标P1和计算得到的待检测物空间三维坐标P2计算出的坐标误差值e来确定坐标误差模型中的参数a、b和c。
最后，利用确定参数的坐标误差模型获得经误差纠正的空间三维坐标，达到缩小检测误差的目的，使位置检测结果误差达到可接受的精度范围。
在本实施例中，将实时获的经误差纠正的货物空间三维坐标发送给无人行车系统，无人行车在实时获取自身经误差纠正的空间三维坐标的指引下，对货物的装卸进行相应作业，以达到提高装卸作业自动化水平、提高作业效率的目的。
实施例二：
如图3所示，本发明实施例提供了一种装卸位置检测装置，包括安装于装卸区域上方的双目深度相机，该装置包括如下模块：
数据采集模块，用于采集装卸区域内的待检测物的图像和深度；
畸变处理模块，用于基于双目深度相机的畸变参数，对所述图像进行去畸变处理；
中心坐标模块，用于利用训练好的深度学习模型识别经去畸变处理后的图像，获取所述待检测物的中心点像素坐标；
计算坐标模块，用于根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标，计算所述待检测物的空间三维坐标；
误差模型模块，用于根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项，构建待检测物的坐标误差模型；
误差纠正模块，用于根据所述坐标误差模型获得经误差纠正的空间三维坐标。
实施例三：
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现实施例一中所述方法的步骤。
实施例四：
本发明实施例提供了一种装卸位置检测系统，该系统包括实施例二中所述的装卸位置检测装置；
其中，系统利用装卸位置检测装置对装卸区域内的待检测物进行位置检测。
综上，本发明的基于双目深度相机的装卸位置检测方法、装置和系统，能够实时获取待检测物无人行车和货物等的位置数据，提高了无人行车和货物在装卸区域内作业自动化水平和工作效率；避免了人为因素较大干扰，可靠性高；同时解决了现有技术中采用可见红外光带来的安全性问题；能够适应多种应用场合，且所用设备材料简单易得，降低了制造和应用成本。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.基于双目深度相机的装卸位置检测方法，其特征在于，包括如下步骤：
采集装卸区域内待检测物的图像和深度；
基于双目深度相机的畸变参数，对所述图像进行去畸变处理；
利用训练好的深度学习模型识别经去畸变处理后的图像，获取所述待检测物的中心点像素坐标；
根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标，计算所述待检测物的空间三维坐标；
根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项，构建待检测物的坐标误差模型；
根据所述坐标误差模型获得经误差纠正的空间三维坐标；
对所述图像进行去畸变处理的方法包括如下步骤：
利用双目深度相机的畸变系数并调用视觉opencv库中的函数对采集的图像进行去畸变处理；
相机畸变模型包括：
xcorrected＝x(1+k1r2+k2r4+k3r3)+2p1xy+p2(r2+2x2)
ycorrected＝y(1+k1r2+k2r4+k3r3)+2p2xy+p1(r2+2y2)
式中，k1、k2、k3、p1、p2为均为畸变系数，均由相机标定得到，利用批量采集装卸区域的包含无人行车和货物的图像，在采集的同时利用相机的畸变系数并调用视觉opencv中的函数对图像进行去畸变处理，进而获得大量无畸变的无人行车和货物图像；
构建待检测物的坐标误差模型的方法包括如下步骤：
测量得到待检测物的真实空间三维坐标；
根据真实空间三维坐标和计算得到的空间三维坐标，计算获得坐标误差值；
根据实际环境考虑整个过程中存在的误差项,待检测物与相机的垂直距离H，利用数学建模，建立坐标误差值e和误差项之间的坐标误差模型关系；e＝P1-P2e＝aP1+bH2+c；
其中，H为深度Z；
根据多组真实的空间三维坐标P1和计算得到的待检测物空间三维坐标P2计算出的坐标误差值e来确定坐标误差模型中的参数a、b和c。
2.根据权利要求1所述的基于双目深度相机的装卸位置检测方法，其特征在于，训练深度学习模型的方法包括如下步骤：
利用标注工具对经去畸变处理的图像进行待检测物标注，构建包含待检测物的边缘和范围的训练集；
利用深度学习模型和物体检测算法对构建的训练集进行训练，获得模型收敛的深度学习模型；
利用深度学习模型和物体检测算法对构建的训练集进行训练，包括：
利用深度学习框架Tensorflow和物体检测算法YOLOV3，根据误差模型e＝e1-e2对训练集进行训练，其中，e2＝k*input+b，e为误差，e1为期望输出，e2为模型输出，input为模型输入，这里模型输入为训练集中的图片；
在训练过程中，当模型参数k,b都趋于稳定，且误差e比较小且保持稳定时，判定模型收敛，结束训练，从而获得模型收敛的深度学习模型，用于获取无人行车区域像素坐标集和货物区域像素坐标集。
3.根据权利要求1所述的基于双目深度相机的装卸位置检测方法，其特征在于，所述待检测物包括无人行车和货物，获取所述待检测物的中心点像素坐标的方法包括如下步骤：
利用训练好的深度学习模型实时识别装卸区域中的无人行车图像和货物图像，获取无人行车区域像素坐标集和货物区域像素坐标集；
对获取的无人行车区域像素坐标集和货物区域像素坐标集分别取中值，计算获得无人行车和货物的中心像素坐标。
4.根据权利要求1所述的基于双目深度相机的装卸位置检测方法，其特征在于，计算所述待检测物的空间三维坐标的方法包括如下步骤：
根据相机成像模型求得待检测物的四维归一化坐标，然后对求得的四维归一化坐标进行去除归一化处理得到待检测物的空间三维坐标；其中，
所述相机成像模型表示如下：
Zp＝K[R|t]P
其中，p为中心像素坐标，K为相机内参数，R,t为相机外参数，P为四维归一化坐标[X,Y,Z,1]T，(X,Y,Z)为空间三维坐标。
5.根据权利要求1所述的基于双目深度相机的装卸位置检测方法，其特征在于，还包括对双目深度相机进行相机标定，具体方法包括如下步骤：
制作黑白标定板；
采集一定数量的标定板图像；
利用经筛选去除后的标定板图像和张氏相机标定法对双目深度相机进行相机标定；
根据所述相机标定获取双目深度相机的内参数和外参数以及畸变参数。
6.一种用于执行如权利要求1-5任一项所述方法的装卸位置检测装置，包括双目深度相机，其特征在于，包括如下模块：
数据采集模块，用于采集装卸区域内的待检测物的图像和深度；
畸变处理模块，用于基于双目深度相机的畸变参数，对所述图像进行去畸变处理；
中心坐标模块，用于利用训练好的深度学习模型识别经去畸变处理后的图像，获取所述待检测物的中心点像素坐标；
计算坐标模块，用于根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标，计算所述待检测物的空间三维坐标；
误差模型模块，用于根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项，构建待检测物的坐标误差模型；
误差纠正模块，用于根据所述坐标误差模型获得经误差纠正的空间三维坐标。
7.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～5任一项所述方法的步骤。
8.一种装卸位置检测系统，其特征在于，包括权利要求6所述的装卸位置检测装置；
所述系统利用所述装卸位置检测装置对装卸区域内的待检测物进行位置检测。
CN202011485438.5A 2020-12-16 2020-12-16 基于双目深度相机的装卸位置检测方法、装置和系统 Active CN112614191B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011485438.5A CN112614191B (zh) 2020-12-16 2020-12-16 基于双目深度相机的装卸位置检测方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011485438.5A CN112614191B (zh) 2020-12-16 2020-12-16 基于双目深度相机的装卸位置检测方法、装置和系统

Publications (2)

Publication Number Publication Date
CN112614191A CN112614191A (zh) 2021-04-06
CN112614191B true CN112614191B (zh) 2024-05-24

Family

ID=75239696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011485438.5A Active CN112614191B (zh) 2020-12-16 2020-12-16 基于双目深度相机的装卸位置检测方法、装置和系统

Country Status (1)

Country Link
CN (1) CN112614191B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953418B (zh) * 2023-02-01 2023-11-07 公安部第一研究所 安检ct三维图像中笔记本区域剥离方法、存储介质及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07294242A (ja) * 1994-04-21 1995-11-10 Polyplastics Co 三次元測定機及び三次元形状測定法
CN104574415A (zh) * 2015-01-26 2015-04-29 南京邮电大学 一种基于单摄像机的目标空间定位方法
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
CN108340211A (zh) * 2018-01-12 2018-07-31 大连理工大学 基于单目视觉的数控机床轮廓误差三维测量方法
CN108389157A (zh) * 2018-01-11 2018-08-10 江苏四点灵机器人有限公司 一种三维全景图像快速拼接方法
CN109035320A (zh) * 2018-08-12 2018-12-18 浙江农林大学 基于单目视觉的深度提取方法
CN109795830A (zh) * 2019-03-04 2019-05-24 北京旷视科技有限公司 自动定位物流托盘的方法及装置
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统
CN111062990A (zh) * 2019-12-13 2020-04-24 哈尔滨工程大学 一种面向水下机器人目标抓取的双目视觉定位方法
CN111563415A (zh) * 2020-04-08 2020-08-21 华南理工大学 一种基于双目视觉的三维目标检测系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2879098A4 (en) * 2012-07-27 2016-03-16 Nec Solution Innovators Ltd SYSTEM AND METHOD FOR THE JOINT USE OF THREE-DIMENSIONAL ENVIRONMENTS
CN106597417A (zh) * 2017-01-10 2017-04-26 北京航天计量测试技术研究所 一种远距离扫描激光雷达测量误差的修正方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07294242A (ja) * 1994-04-21 1995-11-10 Polyplastics Co 三次元測定機及び三次元形状測定法
CN104574415A (zh) * 2015-01-26 2015-04-29 南京邮电大学 一种基于单摄像机的目标空间定位方法
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
CN108389157A (zh) * 2018-01-11 2018-08-10 江苏四点灵机器人有限公司 一种三维全景图像快速拼接方法
CN108340211A (zh) * 2018-01-12 2018-07-31 大连理工大学 基于单目视觉的数控机床轮廓误差三维测量方法
CN109035320A (zh) * 2018-08-12 2018-12-18 浙江农林大学 基于单目视觉的深度提取方法
CN109795830A (zh) * 2019-03-04 2019-05-24 北京旷视科技有限公司 自动定位物流托盘的方法及装置
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统
CN111062990A (zh) * 2019-12-13 2020-04-24 哈尔滨工程大学 一种面向水下机器人目标抓取的双目视觉定位方法
CN111563415A (zh) * 2020-04-08 2020-08-21 华南理工大学 一种基于双目视觉的三维目标检测系统及方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A Novel Three-Dimensional Coordinate Positioning Algorithm Based on Factor Graph;Hao, Qiang等;《Access》;20201028;第8卷;207167–207180 *
Calibration of the Relative Orientation between Multiple Depth Cameras Based on a Three-Dimensional Target;Liu, Z.等;《Sensors》;20190708;第19卷(第13期);1-14 *
三目视觉坐标测量系统的设计与实现;辛乐;《中国优秀硕士学位论文全文数据库：信息科技辑》;20190115(第1期);1-86 *
基于快速SSD深度学习算法的机器人抓取系统研究;王欣;《中国优秀硕士学位论文全文数据库：信息科技辑》;20181015(第10期);1-84，正文第2.4-3章 *
基于改进SSD算法的机器人零件识别与抓取研究;韩鑫;《中国优秀硕士学位论文全文数据库：工程科技Ⅱ辑》;20200815(第8期);1-84 *
基于机器视觉的机器人路径规划研究;王亚超;《中国优秀硕士学位论文全文数据库：信息科技辑》;20200115(第1期);1-79 *

Also Published As

Publication number Publication date
CN112614191A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN109767473B (zh) 一种全景泊车装置标定方法及装置
WO2021197345A1 (zh) 一种基于激光雷达的封闭空间内剩余体积的检测方法和装置
CN112304954B (zh) 一种基于线激光扫描及机器视觉的零件表面缺陷检测方法
CN106809730A (zh) 一种基于视觉的集装箱自动对接起吊系统及起吊方法
CN110827361B (zh) 基于全局标定架的相机组标定方法及装置
CN111704035B (zh) 一种基于机器视觉的集装箱装卸集卡自动定位装置及方法
CN112902874A (zh) 图像采集装置及方法、图像处理方法及装置、图像处理系统
CN112614191B (zh) 基于双目深度相机的装卸位置检测方法、装置和系统
CN110852180B (zh) 用于自动引导车的tof相机标定方法及自动引导车
CN113267180B (zh) 一种基于3d深度视觉的agv叉车托盘定位及叉取方法
CN112634269B (zh) 一种轨道车辆车体检测方法
CN111498525A (zh) 一种自动装车定位系统和方法
CN112505663B (zh) 用于多线激光雷达与相机联合标定的标定方法
CN107643049B (zh) 基于单目结构光的地磅上车辆位置检测系统及方法
CN115880372A (zh) 自动化起重机的外集卡定位相机统一标定方法及系统
CN113743206B (zh) 矿车装料控制方法、装置、系统及计算机可读介质
CN209342062U (zh) 3d视觉引导拆垛测量系统
CN110543612A (zh) 一种基于单目视觉测量的集卡定位方法
CN116276938A (zh) 基于多零位视觉引导的机械臂定位误差补偿方法及装置
CN110040669B (zh) 一种高位叉货辅助方法
CN114923410A (zh) 一种纵梁孔位在线检测方法及装置
CN115170541A (zh) 一种齿轮啮合状态的检测方法、装置及系统
CN114897981A (zh) 一种基于视觉检测的吊具位姿识别方法
CN111854678B (zh) 一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法
CN114594789A (zh) 一种无人机回收引导方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant