CN112016354A - 一种基于视觉识别的运粮车粮箱装载状态检测方法 - Google Patents

一种基于视觉识别的运粮车粮箱装载状态检测方法 Download PDF

Info

Publication number
CN112016354A
CN112016354A CN201910461604.9A CN201910461604A CN112016354A CN 112016354 A CN112016354 A CN 112016354A CN 201910461604 A CN201910461604 A CN 201910461604A CN 112016354 A CN112016354 A CN 112016354A
Authority
CN
China
Prior art keywords
grain
point cloud
loading state
grain tank
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910461604.9A
Other languages
English (en)
Other versions
CN112016354B (zh
Inventor
王卓
赵泳嘉
白晓平
胡河春
奚文龙
杨亮
刘丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN201910461604.9A priority Critical patent/CN112016354B/zh
Publication of CN112016354A publication Critical patent/CN112016354A/zh
Application granted granted Critical
Publication of CN112016354B publication Critical patent/CN112016354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于视觉识别的运粮车粮箱装载状态检测方法，在粮箱边缘布置多个深度相机，用于采集粮箱内装载的状态信息；构建粮箱体角落处的3D模型图，对3D模型图进行多视角采样，形成模版库，该模版库用于模版匹配；对多个深度相机进行标定，构建深度相机与粮箱坐标系之间的映射关系；对多个深度相机采集到的点云进行滤波降噪处理，得到粮箱有效点云信息；对粮箱有效点云信息进行点云融合，得到粮箱内装载的粮食空间分布信息。本发明实现基于模板匹配的深度相机的标定方法，同时对点云实现滤波降噪处理，能够有效对装载状态进行检测；通过视觉识别检测粮箱装载状态，能够准确的描述粮食在粮箱内的空间分布状态，适用性强，便于维护。

Description

一种基于视觉识别的运粮车粮箱装载状态检测方法
技术领域
本发明涉及视觉识别三维重建在农机协同作业领域，具体地说是一种基于视觉识别的运粮车粮箱装载状态检测方法。
背景技术
农机作业与运维智能管理是农业生产方式转变、农机企业转型升级、农机作业服务提质增效的重要技术支撑。我国农业生产全程机械化发展迅速，但农机调度与协同作业决策方法缺乏，农机工况数据积累不足，故障预警及诊断准确率不高，作业质量难以定量评价，导致农机作业效率低、效益差，运维成本高，作业质量难以满足农艺要求。发展农机协同作业，加速农业自动化、智能化转变，本发明应用于收获机—运粮车协同作业控制系统中，为装载过程实现无人化操作提供解决方案。
为提高收获机—运粮车主从协同作业的效率和监控能力，需要重点解决运粮车粮箱谷物装载情况的动态检测问题。协同作业控制中，既要避免粮食谷物散落到运粮车粮箱之外，又要保证谷物在粮箱中均匀装载，这就需要实时识别粮箱的装载状态以实现收获机与运粮车相对位置的动态调整。在现有的技术方法中，对粮箱装载状态的检测主要以下三种方法：机械式传感器、超声波传感器、压力传感器。上述这些传感器可以大体检测粮箱装载状态，但是粮食在粮箱内的空间分布状态信息难以检测，同时存在故障率高、稳定性差等问题。应用视觉识别对粮箱内的粮食进行空间分布建模，以空间分布状态信息用于规划收获机与运粮车间的空间位置，对协同控制具有良好的适用性。
发明内容
针对现有技术的不足，本发明提供一种基于视觉识别的运粮车粮箱装载状态检测方法，解决运粮车粮箱谷物装载情况需要检测且粮食在粮箱内的空间分布状态信息难以检测的问题。
本发明为实现上述目的所采用的技术方案是：
一种基于视觉识别的运粮车粮箱装载状态检测方法，包括以下步骤：
步骤1:在粮箱边缘布置多个深度相机，用于采集粮箱内装载的状态信息；
步骤2:构建粮箱体角落处的3D模型图，对3D模型图进行多视角采样，形成模版库，该模版库用于模版匹配；
步骤3:对多个深度相机进行标定，通过模版匹配，构建深度相机与粮箱坐标系之间的映射关系；
步骤4:对多个深度相机采集到的点云进行滤波降噪处理，得到粮箱有效点云信息；
步骤5:对粮箱有效点云信息进行点云融合，得到粮箱内装载的粮食空间分布信息。
所述深度相机的适用场景包括室外，且有效识别范围涵盖粮箱范围。
所述对3D模型图进行多视角采样：应用PCL点云库对3D模型图的特定视角采集模型点云。
所述模版库包括：特定视角采样的点云以及虚拟相机与点云间的映射关系。
所述特定视角为虚拟相机在3D模型坐标系的第一象限内。
所述对多个深度相机进行标定，包括：
在采集到的点云中通过直通滤波分割出粮箱对角处点云，与模版库中点云进行模版匹配，得到目标匹配点云；
由目标匹配点云与虚拟相机间的映射关系以及目标匹配点云与采集到的对角点云间的映射关系，得到深度相机与粮箱坐标系之间的映射关系。
所述模版匹配采用采样一致性初始配准算法进行匹配。
所述滤波降噪处理包括：直通滤波，离群点滤除和高斯滤波。
所述对粮箱有效点云信息进行点云融合采用迭代最近点算法。
本发明具有以下有益效果及优点：
1.本发明实现基于模板匹配的深度相机的标定方法，同时对点云实现滤波降噪处理，能够有效对装载状态进行检测。
2.本发明通过视觉识别检测粮箱装载状态，能够准确的描述粮食在粮箱内的空间分布状态，为收获机——运粮车协同作业及无人化操作提供数据支持；
3.本发明采用视觉识别对粮箱的装载状态进行检测，方法适用性强，便于维护；
附图说明
图1是本发明的方法流程图；；
图2是本发明的传感器空间布置方式示意图；
图3是本发明点云处理流程图；
图4是本发明的深度相机标定方法操作流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
如图1所示为本发明的方法流程图。
方法包括以下步骤：
步骤1:在粮箱边缘布置多个深度相机，用于采集粮箱内装载的状态信息；
步骤2:构建粮箱体角落处的3D模型图，对3D模型图进行多视角采样，形成模版库，该模版库用于模版匹配；
步骤3:对多个深度相机进行标定，通过模版匹配，构建深度相机与粮箱坐标系之间的映射关系；
步骤4:对多个深度相机采集到的点云进行滤波降噪处理，得到粮箱有效点云信息；
步骤5:对粮箱有效点云信息进行点云融合，得到粮箱内装载的粮食空间分布信息。
如图2所示为本发明的传感器空间布置方式示意图。
采用两个深度相机布设于粮箱的对角线上，对粮箱内粮食的空间三维信息进行采集。坐标设置如图1所示，其中{O1X1Y1Z1}和{O2X2Y2Z2}分别为两个深度相机坐标系，{OwXwYwZw}为世界坐标系，深度相机与粮箱间采用球铰云台固定，便于调整深度相机姿态。深度摄像机的布置要求相机光轴线指向粮箱对角处的底角上，采用此种布置方案能够在减小成本的前提下最大限度地利用深度相机的有效视域范围，即布置时尽量使粮箱对角的底角处于图像中心位置。深度相机的布置条件直接影响粮箱内粮食三维重构的效果，此种布置方案对装载状态监测具有良好的适用性。
深度相机采集的原始深度信息包含大量冗余和噪声点，对深度相机采集的原始数据的处理是获得高精度三维重构结果的保障。
图3是本发明点云处理的流程图，首先对采集得到的原始点云数据进行直通滤波处理，直通滤波以给定的阈值范围(通过布设条件人为估计)对点云进行切割。原始的点云信息包含视域内的大量信息，而对于粮箱的三维重建，有效信息始终处于深度相机的固定范围内，采用直通滤波，能够有效去除冗余点云信息。此外点云中包含大量噪声点，采用离群点去除滤波，对噪声点进行有效滤除，离群点滤除限定条件要依据点云的体素密度进行合理设定。在不同的光影作用下，点云易产生突变等，采用高斯滤波对点云进行平滑处理，以保障点云信息的可靠性。
针对粮箱内粮食的空间分布信息的三维重构，对深度信息的采集采用多深度相机方案，而后对深度相机采集到的信息进行融合，进而获取可靠空间分布情况。多视觉传感器的应用，深度信息融合需要构建空间关系的映射条件。本发明构建基于模板匹配的摄像头标定方法，以粮箱的3D模型为模板，解析出多视角点云，与深度相机采集得到的空载粮箱对角点云进行模板匹配，以均方差最小作为最佳匹配点云，得出模板点云与相机采集的点云间的映射关系，间接得到深度相机与粮箱间的空间映射关系。点云配准方法采用SAC-IA(Sample Consensus Initial Alignment)算法，即采样一致性初始配准算法。点云特征描述中应用点云与曲面法线计算FPFH(Fast Point Feature Histograms)描述子，即快速点特征直方图，将点云的特征描述子与八叉树快速搜索匹配相结合，能够获得较快的匹配速度。
如图4是本发明的深度相机标定方法操作流程图。
深度相机的标定采用基于模板匹配的标定方法。下采样即以一定的单位长度构建三维立体栅格，以体素内所有点的重心近似代表其他点，目的是将体素内所有点的特征简化为一个点，这种简化处理在保障基本属性不变的前提下大幅度减少数据量，能够提升算法运算速度，若要提高匹配精度可适当缩小体素单元即可。通过模板匹配得到最佳匹配模板，由虚拟相机与几何模型间映射关系已知，模板与深度相机采集点云映射关系已知，可间接求·得深度相机与实际采集点云间的映射关系，完成深度相机的标定。
通过对深度相机采集得到的点云信息进行一系列处理，结合标定信息，能够将点云映射至粮箱坐标系下，融合两个深度传感器采集的点云信息，对粮箱装载粮食进行三维重建。对于多视觉传感器采集的深度信息融合，采用迭代最近点算法(ICP)。即将深度相机采集的点云映射至统一坐标系(粮箱坐标系)下，对点云进行配准融合，实现粮箱内粮食的三维重构。

Claims (9)

1.一种基于视觉识别的运粮车粮箱装载状态检测方法，其特征在于，包括以下步骤：
步骤1:在粮箱边缘布置多个深度相机，用于采集粮箱内装载的状态信息；
步骤2:构建粮箱体角落处的3D模型图，对3D模型图进行多视角采样，形成模版库，该模版库用于模版匹配；
步骤3:对多个深度相机进行标定，通过模版匹配，构建深度相机与粮箱坐标系之间的映射关系；
步骤4:对多个深度相机采集到的点云进行滤波降噪处理，得到粮箱有效点云信息；
步骤5:对粮箱有效点云信息进行点云融合，得到粮箱内装载的粮食空间分布信息。
2.根据权利要求1所述的基于视觉识别的运粮车粮箱装载状态检测方法，其特征在于：所述深度相机的适用场景包括室外，且有效识别范围涵盖粮箱范围。
3.根据权利要求1所述的基于视觉识别的运粮车粮箱装载状态检测方法，其特征在于：所述对3D模型图进行多视角采样：应用PCL点云库对3D模型图的特定视角采集模型点云。
4.根据权利要求1所述的基于视觉识别的运粮车粮箱装载状态检测方法，其特征在于：所述模版库包括：特定视角采样的点云以及虚拟相机与点云间的映射关系。
5.根据权利要求3或4所述的基于视觉识别的运粮车粮箱装载状态检测方法，其特征在于：所述特定视角为虚拟相机在3D模型坐标系的第一象限内。
6.根据权利要求1所述的基于视觉识别的运粮车粮箱装载状态检测方法，其特征在于：所述对多个深度相机进行标定，包括：
在采集到的点云中通过直通滤波分割出粮箱对角处点云，与模版库中点云进行模版匹配，得到目标匹配点云；
由目标匹配点云与虚拟相机间的映射关系以及目标匹配点云与采集到的对角点云间的映射关系，得到深度相机与粮箱坐标系之间的映射关系。
7.根据权利要求1或6所述的基于视觉识别的运粮车粮箱装载状态检测方法，其特征在于：所述模版匹配采用采样一致性初始配准算法进行匹配。
8.根据权利要求1所述的基于视觉识别的运粮车粮箱装载状态检测方法，其特征在于：所述滤波降噪处理包括：直通滤波、离群点滤除和高斯滤波。
9.根据权利要求1所述的基于视觉识别的运粮车粮箱装载状态检测方法，其特征在于：所述对粮箱有效点云信息进行点云融合采用迭代最近点算法。
CN201910461604.9A 2019-05-30 2019-05-30 一种基于视觉识别的运粮车粮箱装载状态检测方法 Active CN112016354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910461604.9A CN112016354B (zh) 2019-05-30 2019-05-30 一种基于视觉识别的运粮车粮箱装载状态检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910461604.9A CN112016354B (zh) 2019-05-30 2019-05-30 一种基于视觉识别的运粮车粮箱装载状态检测方法

Publications (2)

Publication Number Publication Date
CN112016354A true CN112016354A (zh) 2020-12-01
CN112016354B CN112016354B (zh) 2024-01-09

Family

ID=73500885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910461604.9A Active CN112016354B (zh) 2019-05-30 2019-05-30 一种基于视觉识别的运粮车粮箱装载状态检测方法

Country Status (1)

Country Link
CN (1) CN112016354B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128515A (zh) * 2021-04-29 2021-07-16 西北农林科技大学 一种基于rgb-d视觉的在线果蔬识别系统及方法
CN113674354A (zh) * 2021-08-30 2021-11-19 上海交通大学 一种三维重建方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015033047A (ja) * 2013-08-05 2015-02-16 Kddi株式会社 複数カメラを用いた奥行き推定装置
CN106996751A (zh) * 2016-01-26 2017-08-01 中国科学院沈阳自动化研究所 一种基于视觉图像的运粮车谷物装载状态检测方法及装置
KR20170119496A (ko) * 2016-04-19 2017-10-27 광주과학기술원 3차원 객체 검출 및 자세추정 방법
CN108550141A (zh) * 2018-03-29 2018-09-18 上海大学 一种基于深度视觉信息的运动车斗自动识别与定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015033047A (ja) * 2013-08-05 2015-02-16 Kddi株式会社 複数カメラを用いた奥行き推定装置
CN106996751A (zh) * 2016-01-26 2017-08-01 中国科学院沈阳自动化研究所 一种基于视觉图像的运粮车谷物装载状态检测方法及装置
KR20170119496A (ko) * 2016-04-19 2017-10-27 광주과학기술원 3차원 객체 검출 및 자세추정 방법
CN108550141A (zh) * 2018-03-29 2018-09-18 上海大学 一种基于深度视觉信息的运动车斗自动识别与定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴剑锋等: "基于点云融合算法的Kinect 三维重建技术及其应用研究", 计算机应用与软件, vol. 35, no. 8, pages 260 - 264 *
胡晨光;: "一种粮食运输车专用远程监控设备的设计", 今日电子, no. 09 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128515A (zh) * 2021-04-29 2021-07-16 西北农林科技大学 一种基于rgb-d视觉的在线果蔬识别系统及方法
CN113128515B (zh) * 2021-04-29 2024-05-31 西北农林科技大学 一种基于rgb-d视觉的在线果蔬识别系统及方法
CN113674354A (zh) * 2021-08-30 2021-11-19 上海交通大学 一种三维重建方法及系统
CN113674354B (zh) * 2021-08-30 2024-05-24 上海交通大学 一种三维重建方法及系统

Also Published As

Publication number Publication date
CN112016354B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN112581457B (zh) 一种基于三维点云的管道内表面检测方法及装置
JP6681729B2 (ja) オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム
Oehler et al. Efficient multi-resolution plane segmentation of 3D point clouds
CN112016354B (zh) 一种基于视觉识别的运粮车粮箱装载状态检测方法
CN111968224A (zh) 船舶3d扫描点云数据处理方法
CN113093216A (zh) 一种激光雷达和相机融合的不规则物体测量方法
US10204405B2 (en) Apparatus and method for parameterizing a plant
CN116638766A (zh) 3d打印偏差检测方法、装置和计算机设备
CN117021059B (zh) 采摘机器人及其果实定位方法、装置、电子设备及介质
CN114820474A (zh) 一种基于三维信息的列车车轮缺陷检测方法
CN113674218A (zh) 焊缝特征点提取方法、装置、电子设备与存储介质
CN112232248A (zh) 一种多线LiDAR点云数据平面特征的提取方法及装置
CN117874900B (zh) 一种基于bim技术的房屋建筑工程监理方法
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
CN117541537B (zh) 基于全景点云融合技术的时空差异检测方法及其系统
CN117324221A (zh) 一种曲面构件腻子喷涂方法
CN113256591A (zh) 一种宽幅玻璃缺陷快速检测装置及方法
CN116642420A (zh) 一种汽车风窗玻璃涂胶在线胶型检测装置及方法
CN114055781B (zh) 基于点体素相关场的燃油箱焊接机械臂自适应校正方法
CN115971004A (zh) 一种针对车厢的智能腻子喷涂方法及系统
Lian et al. An adaptive multi-scale point cloud filtering method for feature information retention
CN115100271A (zh) 取货高度的检测方法、装置、计算机设备和存储介质
CN114972948A (zh) 一种基于神经检测网络的识别定位方法及系统
CN112785711A (zh) 一种基于三维重建的绝缘子爬电距离检测方法和检测系统
Wu et al. An algorithm for extracting spray trajectory based on laser vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant