CN114047751A - 一种冷藏保鲜库内机器人立体巡检系统及方法 - Google Patents
一种冷藏保鲜库内机器人立体巡检系统及方法 Download PDFInfo
- Publication number
- CN114047751A CN114047751A CN202111261316.2A CN202111261316A CN114047751A CN 114047751 A CN114047751 A CN 114047751A CN 202111261316 A CN202111261316 A CN 202111261316A CN 114047751 A CN114047751 A CN 114047751A
- Authority
- CN
- China
- Prior art keywords
- signal
- robot
- image
- target object
- humidity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 claims abstract description 38
- 235000012055 fruits and vegetables Nutrition 0.000 claims abstract description 19
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 238000013135 deep learning Methods 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 15
- 238000005286 illumination Methods 0.000 claims description 13
- 230000033001 locomotion Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 10
- 230000035943 smell Effects 0.000 claims description 10
- 230000007547 defect Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 238000005065 mining Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 claims description 5
- 238000013145 classification model Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000005057 refrigeration Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000004927 fusion Effects 0.000 abstract description 6
- 238000007726 management method Methods 0.000 abstract description 5
- 230000006378 damage Effects 0.000 abstract description 4
- 206010063385 Intellectualisation Diseases 0.000 abstract description 3
- 238000007405 data analysis Methods 0.000 abstract description 2
- 230000014860 sensory perception of taste Effects 0.000 abstract 1
- 238000004321 preservation Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000013210 evaluation model Methods 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012098 association analyses Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 239000011261 inert gas Substances 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 235000020774 essential nutrients Nutrition 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
本发明公开了一种冷藏保鲜库内机器人立体巡检系统及方法,为冷藏保鲜库安装上智能传感器感知库内环境状况。以立体巡检机器人对冷库巡检,结合嗅觉传感器、味觉传感器、视觉传感器、红外摄像机、超声波测距传感器等设备及人工智能信息融合与数据分析方法,针对库内货物巡检的需要,采用巡检机器人在不同方位与高度进行多维空间内进行监测,集农产品外观颜色、状态、气味、距离等多信息融合技术,综合反映冷库内农产品状态,形成冷库智能巡检机器人系列新产品,实现设备集控条件下冷库内的农产品果蔬巡检。通过本发明可提升冷藏保鲜库内巡检管理效能,降低农产品损坏耗,节约成本,促进实现农产品全流程的冷链规范化、系统化、智能化。
Description
技术领域
本发明涉及智慧农业装备技术领域,具体的说,涉及一种冷藏保鲜库内机器人立体巡检系统及方法。
背景技术
随着经济发展与社会需求的提升,果蔬新品种新技术的不断引进种植,果蔬产量大幅提升,果蔬多样性更为丰富。同时,经常听闻多处反映果蔬丰收,却难销,造成价贱伤农。市场经济时代,市场全部放开,农民的生产经营行为自由自在,存在市场无序,农民缺乏市场信息的捕捉,容易导致某种果蔬的多种,产生积压。当前农产品销售方式:一是向种植大户或合作社靠拢,集中种植分销;二是通过电商平台上线销售,扩大销量;三是大客户直销,与学校、企业、单位合作定点供货。在这些环节中,冷藏保鲜库可实现农产品果蔬在一定时期内的保存与加工。对存放于冷藏保鲜库的货物,可保持果蔬新鲜与良好口味,并能在市场销售中适时推出提供支撑,并应用于农产品全程监控系统。在果蔬的保存中,迫切需要的冷藏保鲜库具有以下特点。一是,冷藏库的温度为-15℃~-18℃。产品放入冷库,经过一段时间,冷库的温度达到-18℃,放入与取出通常是不定期、不定时。二是,保鲜库的库温度在0℃~5℃,用于保鲜,即在较长时间内最大限度地保持农产品原有的品质和新鲜度,农产品活体本体尽量不死亡,细胞在冷藏的过程中处于休眠状态,减少营养的损耗,保持鲜活的品质。现在的果蔬产业,多为集中种植,在运输、出售等过程中,不可避免的要利用冷库去保持果蔬应有的营养成分。
发明人通过调研与走访四川省内的成都市、德阳市、绵阳市、眉山市、广元市、遂宁市、南充市、宜宾市、广安市、达州市、巴中市等11个市及阿坝州、甘孜州、凉山州“三州”的农产品果蔬的生产、保存及销售情况,发现在农产品成熟的旺季,均存在堆积与低价的现象,而且产品的分类保存与运输存在较多问题。主要体现在农产品企业普遍规模小、效益差,可追溯的农产品不缺乏;保存时间有限,成熟季量多价廉,品牌效应不强;农产品同质化竞争激烈,冷链监测手段落后,产品质量和安全缺乏保障。
发明内容
本发明的目的在于克服背景技术中所提出的技术问题,提供一种冷藏保鲜库内机器人立体巡检系统及方法。
本发明的具体技术方案如下:
一种冷藏保鲜库内机器人立体巡检方法,包括以下步骤:
采用机器人实时获取冷藏保鲜库内的温度信号、湿度信号、气味信号、光照信号以及影像信号;
根据所述影像信号,获取冷藏保鲜库内实时图像的像素分布和亮度、颜色,并对其进行运算来抽取目标物的特征,根据预设的判断来输出目标物的颜色饱和度、形状、位置摆放有或无;
根据温度信号、湿度信号、气味信号,判定目标物状态;
根据所述影像信号,对其中含有目标物图像进行特征选取,对特征提取方法进行分析,设计特征选择准则,进行分割与测量或得目标物的特征参数;
构建深度学习网络结构,所述深度学习网络结构能够自生长与参数学习,挖掘农产品堆放区域果蔬状态的本质特征;
基于所述目标物的特征参数,所述深度学习网络结构不断学习训练,再结合径向基网络实现农产品各类的识别与状态的监测,完成自主巡检、自主识别场景目标缺陷和自主学习;
获取冷藏保鲜库的坐标定位,通过融入温度信号、湿度信号、气味信号及冷藏保鲜库的坐标定位对环境进行综合评估,基于数据间关联与影响分析,并用可视化的方式展示分析结果;
根据所述影像信号,获得带有目标物的图像,基于带有目标物的图像的目标感知、特征提取和特征选择,同时结合温度信号、湿度信号及空气成分信号,利用深度学习和模糊推理脉冲神经膜系统分割不同类型农产品图像中的颜色、状态、气味,并对分类模型及算法、分类结果、环境变化进行评价,以反馈信息给特征挖掘部分作进一步修正。
作为优选的技术方案,所述采用机器人实时获取冷藏保鲜库内的温度信号、湿度信号、气味信号、光照信号以及影像信号,具体括步骤:
所述机器人根据横纵坐标的变动及上下的移动,构建立体空间中多方位的机器运动,以探测X,Y,Z三个方向位置。
作为优选的技术方案,所述采用机器人实时获取冷藏保鲜库内的温度信号、湿度信号、气味信号、光照信号以及影像信号,具体括步骤:
所述机器人上配置温湿度传感器、气流传感器、光敏及嗅觉传感器以实时获取冷藏保鲜库内的温度信号、湿度信号、气味信号、光照信号。
一种冷藏保鲜库内机器人立体巡检系统,包括机器人,所述机器人包括机器人本体,所述机器人本体上设有嵌入式运动控制模块、主控芯片、图像采集摄像机、气体成分测量仪、定位陀螺,其中,所述主控芯片与所述嵌入式运动控制模块、图像采集摄像机、气体成分测量仪、定位陀螺均线路连接,所述主控芯片通过外接温湿度传感器、光照传感器来采集温度信号、湿度信号以及光照信号,通过NB-IoT板块将多组信号传回NB-IoT服务器,结合MQTT协议与QS100核心块,EMQ服务器上接收采集的温湿度数据及图像信息,并发送 APP显示;
所述主控芯片进一步配置为:
采用机器人实时获取冷藏保鲜库内的温度信号、湿度信号、气味信号、光照信号以及影像信号;
根据所述影像信号,获取冷藏保鲜库内实时图像的像素分布和亮度、颜色,并对其进行运算来抽取目标物的特征,根据预设的判断来输出目标物的颜色饱和度、形状、位置摆放有或无;
根据温度信号、湿度信号、气味信号,判定目标物状态;
根据所述影像信号,对其中含有目标物图像进行特征选取,对特征提取方法进行分析,设计特征选择准则,进行分割与测量或得目标物的特征参数;
构建深度学习网络结构,所述深度学习网络结构能够自生长与参数学习,挖掘农产品堆放区域果蔬状态的本质特征;
基于所述目标物的特征参数,所述深度学习网络结构不断学习训练,再结合径向基网络实现农产品各类的识别与状态的监测,完成自主巡检、自主识别场景目标缺陷和自主学习;
获取冷藏保鲜库的坐标定位,通过融入温度信号、湿度信号、气味信号及冷藏保鲜库的坐标定位对环境进行综合评估,基于数据间关联与影响分析,并用可视化的方式展示分析结果;
根据所述影像信号,获得带有目标物的图像,基于带有目标物的图像的目标感知、特征提取和特征选择,同时结合温度信号、湿度信号及空气成分信号,利用深度学习和模糊推理脉冲神经膜系统分割不同类型农产品图像中的颜色、状态、气味,并对分类模型及算法、分类结果、环境变化进行评价,以反馈信息给特征挖掘部分作进一步修正。
有益效果在于:
本发明采用巡检机器人在不同方位与高度进行多维空间内进行监测,集农产品外观颜色、状态、气味、距离等多信息融合技术,综合反映冷库内农产品状态,形成冷库智能巡检机器人系列新产品,实现设备集控条件下冷库内的农产品果蔬巡检。对所获取的图像与数据信息,采用人工智能的方法,分析图像的状态变化,基于深度学习对农产品分类管理,挖掘数据间的关联,可视化展示各因素间影响,融合多源信息综合评估冷藏保鲜库内环境,并采取相应的应对措施。通过本发明可提升冷藏保鲜库内巡检管理效能,降低农产品损坏耗,节约成本,促进实现农产品全流程的冷链规范化、系统化、智能化。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
图1为根据本发明的实施例的整体逻辑框图。
图2为根据本发明的实施例的控制块逻辑框图。
图3为根据本发明的实施例的双闭环PID水平(X,Y轴)定位控制框图。
图4为根据本发明的实施例的双闭环PID垂直(Z轴)定高控制框图。
图5为根据本发明的实施例的不加扰动时高度陀螺仪z轴数据实时波形图、
图6为根据本发明的实施例的不加扰动时高度陀螺仪x与y轴数据实时波形图、
图7为根据本发明的实施例的加扰动时高度陀螺仪z轴数据实时波形图。
图8为根据本发明的实施例的加扰动时高度陀螺仪x与y轴数据实时波形图。
具体实施方式
为使本领域技术人员更好的理解本公开的技术方案,下面结合附图和具体实施方式对本公开作详细说明。下面结合附图和具体实施例对本公开的实施例作进一步详细描述,但不作为对本公开的限定。本文中所描述的各个步骤,如果彼此之间没有前后关系的必要性,则本文中作为示例对其进行描述的次序不应视为限制,本领域技术人员应知道可以对其进行顺序调整,只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
现在结合说明书附图对本发明做进一步的说明。
本发明实施例中,具体是一种冷藏保鲜库内机器人立体巡检系统及方法,可为现有冷库提供以下辅助:一是长期实时的监测;二是克服人员监测中容易存在漏洞;三是各类丰富的数据分析能更好的挖掘环境因素间的关系。具体的构成内容为:冷藏保鲜库内机器人巡检行进,基于深度学习的冷库内视频内容检测与分析,融合多源信息的库内环境监测及库内环境评估与显示,如图1所示。
本发明实施例首先是,机器人行进与环境数据采集,具体包括机器人行进以及环境数据采集。
关于机器人行进,机器人首先要能够在温度极低的冷藏保鲜库内正常行进,才能够发挥应有的作用。巡检机器人要能在低温甚至充满惰性气体的环境中生存,需要解决三方面问题:能够生存于冷库内环境的机器人本体设计、巡检机器人导航与控制和巡检机器人能量供给与通信管理。巡检机器人有了身体(机器人本体)、大脑(机器人控制)和能量,才能够在冷库环境中生存下来,以便为冷藏保鲜库内环境的监测做出贡献。运用横纵坐标的变动及上下的移动,构建立体空间中多方位的机器运动,可探测X,Y,Z三个方向位置。对货物多角度拍摄,为监测状态的变化提供丰富的数据。主要内容为:机器人本体,嵌入式运动控制模块、主控芯片、滑轮等设计,图像采集摄像机、气体成分测量仪、定位陀螺等数据获取装置,机器人外壳设计采用钣金折弯,焊接成型,表面喷涂防锈底漆及表面烤漆;控制电机的转速实现移动机器人的差速转向,轨道转轨器、收发站点、中央控制系统及区域控制器、空车存储站、断轨器、自动定位装置及其他支架。实现库内无人值守,在不影响库内环境情况下,定时与不定时的获取图像与各类传感器数据。
在一些实施例中,运用横纵坐标的变动及上下的移动,构建立体空间中多方位的机器运动,可探测X,Y,Z三个方向位置,具体的工作原理如下。
如图2所示,传感器的数据通过接口传输到微程序控制器 (MicroprogrammedControl Unit,MCU)之后,MCU可通过串口直接将数据发送到惯性测量单位(InertialMeasurement Unit,IMU)进行融合滤波、解算,此时再将解算后的数据通过串口返回MCU,直接输出PWM波形信号给电调,控制电机,从而控制巡检机器人姿态。同时,IMU可以通过有线或者无线的传输方式与上位机进行通信,以便随时监测巡检机器人状态。
传感器使用IMU的时候。为了提高悬停精度,采用双闭环串行比例积分微分(Proportion Integration Differentiation,PID)的控制方式,增加内环参数对时间的微分PID控制器,可有效加快系统响应速度,并且克服振荡,有效避免外界对系统的干扰,增强系统的鲁棒性,如图3所示,巡检机器人姿态控制在水平面进行定位时,输入期望欧拉角,以陀螺仪为传感器,测得的角速度为内环 PID控制,角度为外环PID控制,两级PID串级联接,对巡检机器人的姿态进行控制。
为了保证高度上精度,在高度定位过程中,传感器使用气压计,双闭环串行PID的控制方式是同样也是一个非常有效而且简单的方法,如图4所示,四旋翼无人机在进行高度控制时。输入期望高度值,以加速度计为传感器,测得的加速度为内环PID控制,高度为外环PID控制,两级PID串级联接,对四旋翼无人机的高度进行控制。
如图5所示,巡检机器人定高性能测试,在达到预设高度,即374帧后,z 轴上偏移量稳定在-12至10之间,巡检机器人在垂直方向上的悬停效果显著。同样在不加扰动的情况下,将无人机悬停在2米高度,得到如图6所示的陀螺仪x,y轴上位机数据。得出在5324帧时,巡检机器人实现悬停后,x,y轴的偏移量稳定在正负100之内,实验表明,在2米高度上,巡检机器人水平定位良好。但相比悬停在1米高度时,会增加50的偏移量,水平定位精度不如定位在1米时。
为了观察无人机在外部环境干扰时,垂直方向上定高的性能,将z轴波形单独取出分析。如图7所示,从30000帧开始,高度偏移量是一直在正负200 之间波动的,而此时没有人为加入干扰,部分扰动是由于气流干扰导致气压计数据变化。第30671帧时加入扰动后,高度偏移量开始波动达到400,随后在 30771帧时,z轴高度趋于平稳。表明基于气压计定高的巡检机器人在有外部干扰时,在垂直方向上的定高具备一定抗干扰能力,但同时也容易受到气流干扰。
验证巡检机器人悬停在2米时的抗干扰能力,在悬停一段时间后,人为在第6174帧时加入扰动,此时,图8所示,陀螺仪x,y轴偏移量发生波动达到 200,随后在6274帧时,巡检机器人又自动修正回来,趋于平稳,表明无人机在2米高度的水平定位悬停是具备抗干扰能力。
环境数据采集,本发明实施例使用嵌入式系统为主控,通过外接DHT11温湿度传感器来采集温度、湿度与光照信息,在通过NB-IoT板块将信息传回NB-IoT 服务器,结合MQTT协议与骑士科技的QS100核心块,EMQ服务器上接收采集的温湿度数据及图像信息,并可发送APP显示。通过冷藏保鲜库机器人在库内运行,可设置每天在库内的数次巡检,实时监测有无货物滑落、货物外观有无变化、货物是否有异味产生等情况。通过巡检机器人报告异常并定位异常所发生的位置坐标。同时,可以在操作室内机器人到指定位置,进一步获取信息,以便分析,并采取相应措施。
接着,库内态势监测与图像分类,包括空气成分分析与农产品货物态势监测以及基于深度学习的视频分析。
其中,空气成分分析与农产品货物态势监测,本发明实施例通过智能巡检机器人感知冷藏保鲜库内环境变化,识别出库内存放农产品的颜色、状态、大小变化等缺陷或隐患情况。利用温湿度传感器、气流传感器、光敏及嗅觉传感器等获得库内环境参数,同时结合库内农产品摆放数据。通过智能化的机器人获取库内实时图像的像素分布和亮度、颜色等信息,进行运算来抽取目标的特征,最后根据预设的判断来输出结果,如颜色饱和度、形状、位置摆放有或无等。同时根据农产品中所在变质或腐烂所引起空气中气味成分的变化,并结合温湿度及放入的惰性气体含量综合判定货物状态。
基于深度学习的视频分析,本发明实施例通过获取冷藏保鲜库内农产品图像,对其中含有目标物图像进行选取,对特征提取方法进行分析,设计特征选择准则,以便进行后续的分割与测量工作。拟构建深度学习网络结构,且该结构能够自生长与参数学习,挖掘农产品堆放区域果蔬状态的本质特征,再结合径向基网络实现农产品各类的识别与状态的监测。完成自主巡检、自主识别场景目标缺陷和自主学习。农产品图像的卷积神经网络训练,在视频图像分析中,所采用的神经网络结构不同于以往的卷积神经网络分割,本发明中忽略明确空间特征定义,采用多个块与核大小结合方式,估计强度与空间特征信息,同时,结合径向基网络的深度学习网络与脉冲膜方法在图像分割中的应用。
最后是数据关联与多源融合评估,包括数据关联分析以及融入多源信息的库内环境综合分析与展示。
其中,数据关联分析,本发明实施例中,通过融入温度、湿度、气味及坐标定位等多源信息对环境进行综合评估,基于数据间关联与影响分析,并用可视化的方式展示。对采集到的多项数据进行智能化的分析与展示,挖掘数据内在的关联,形象直观的展示在不同时期,不同因素对环境的影响。采用机器学习与统计分析方法对各数据间的关联性进行分析,并结合大数据信息对历史数据进行对照分析,建立数据模型评估方法。
采集多项数据,智能化的分析与展示,挖掘数据内在的关联,形象直观的展示,不同时期,不同因素对环境的影响指标性能分析,选择分析方法,效果展示模式。利用可视化技术,形象直观展示各数据间关系及与图像的信息综合分析。利用数据的分析与展示效果,进行环境综合评估,提高监管效能,辅助决策。
关于融入多源信息的库内环境综合分析与展示,本发明实施例中,具体是农产品轮廓提取,以脉冲神经网络检测为主、挖掘数据关联。以农产品图像区域的目标感知、特征提取和特征选择为基础,同时结合温度、湿度及空气成分等环境信息,利用深度学习和模糊推理脉冲神经膜系统分割不同类型农产品图像中的颜色、状态、气味等信息,并对分类模型及算法、分类结果、环境变化进行评价,以反馈信息给特征挖掘部分作进一步修正。
对采集到的多项数据进行智能化的分析与展示,挖掘数据内在的关联,形象直观的展示在不同时期,不同因素对环境的影响。分析方法:描述统计、假设检验、信度分析、列联表分析、相关分析、方差分析、回归分析、聚类分析、主成分分析、时间序列分析等;评估模型构建:分割性能与关键参数、特征间的关联关系;评价指标的综合方法、满意评价模型、模糊评价模型等。多源数据信息的融合,可更加全面的掌握冷库内的环境状况,能更好地及时发现库内产品品质的细微变化。
综上所述,本发明运用人工智能技术的最新成果,基于智能机器人平台研究设备集控条件下冷藏保鲜库内运行设备的无人值守,研究成果完全替代人工进行设备的检测。这将高冷藏保鲜库的运行效率,节约运行成本,提高冷藏保鲜库自动化水平,具有极高的经济和社会效益。智能巡检机器人的应用可极大的降低农产品损坏率,提前预防隐患,并在货物有较小变化时及时发现,采取措施;节约劳动力,减少人员进出冷库内的次数,降低由于人员进出所带来的环境影响,远程视频或传感器传输数据到监控室进行操作,极大的节省人力资源。冷库巡检机器人的智能化普及,有利于塑造品牌,提升竞争力,促进从产地采购、生产过程,到储运销售,全流程管控的开展。保障农产品安全优质生产、减少农产品损耗;从农田到餐桌,保卫舌尖上的安全,实现农产品全流程的冷链规范化、系统化、智能化。对比我国农业农村的发展有着积极作用,具有良好的社会效益。
以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (4)
1.一种冷藏保鲜库内机器人立体巡检方法,其特征在于,包括以下步骤:
采用机器人实时获取冷藏保鲜库内的温度信号、湿度信号、气味信号、光照信号以及影像信号;
根据所述影像信号,获取冷藏保鲜库内实时图像的像素分布和亮度、颜色,并对其进行运算来抽取目标物的特征,根据预设的判断来输出目标物的颜色饱和度、形状、位置摆放有或无;
根据温度信号、湿度信号、气味信号,判定目标物状态;
根据所述影像信号,对其中含有目标物图像进行特征选取,对特征提取方法进行分析,设计特征选择准则,进行分割与测量或得目标物的特征参数;
构建深度学习网络结构,所述深度学习网络结构能够自生长与参数学习,挖掘农产品堆放区域果蔬状态的本质特征;
基于所述目标物的特征参数,所述深度学习网络结构不断学习训练,再结合径向基网络实现农产品各类的识别与状态的监测,完成自主巡检、自主识别场景目标缺陷和自主学习;
获取冷藏保鲜库的坐标定位,通过融入温度信号、湿度信号、气味信号及冷藏保鲜库的坐标定位对环境进行综合评估,基于数据间关联与影响分析,并用可视化的方式展示分析结果;
根据所述影像信号,获得带有目标物的图像,基于带有目标物的图像的目标感知、特征提取和特征选择,同时结合温度信号、湿度信号及空气成分信号,利用深度学习和模糊推理脉冲神经膜系统分割不同类型农产品图像中的颜色、状态、气味,并对分类模型及算法、分类结果、环境变化进行评价,以反馈信息给特征挖掘部分作进一步修正。
2.根据权利要求1所述的方法,其特征在于,所述采用机器人实时获取冷藏保鲜库内的温度信号、湿度信号、气味信号、光照信号以及影像信号,具体括步骤:
所述机器人根据横纵坐标的变动及上下的移动,构建立体空间中多方位的机器运动,以探测X,Y,Z三个方向位置。
3.根据权利要求1所述的方法,其特征在于,所述采用机器人实时获取冷藏保鲜库内的温度信号、湿度信号、气味信号、光照信号以及影像信号,具体括步骤:
所述机器人上配置温湿度传感器、气流传感器、光敏及嗅觉传感器以实时获取冷藏保鲜库内的温度信号、湿度信号、气味信号、光照信号。
4.一种冷藏保鲜库内机器人立体巡检系统,其特征在于,包括机器人,所述机器人包括机器人本体,所述机器人本体上设有嵌入式运动控制模块、主控芯片、图像采集摄像机、气体成分测量仪、定位陀螺,其中,所述主控芯片与所述嵌入式运动控制模块、图像采集摄像机、气体成分测量仪、定位陀螺均线路连接,所述主控芯片通过外接温湿度传感器、光照传感器来采集温度信号、湿度信号以及光照信号,通过窄带物联网板块将多组信号传回NB-IoT服务器,结合消息队列遥测传输协议与QS100核心块,EMQ服务器上接收采集的温湿度数据及图像信息,并发送APP显示;
所述主控芯片进一步配置为:
采用机器人实时获取冷藏保鲜库内的温度信号、湿度信号、气味信号、光照信号以及影像信号;
根据所述影像信号,获取冷藏保鲜库内实时图像的像素分布和亮度、颜色,并对其进行运算来抽取目标物的特征,根据预设的判断来输出目标物的颜色饱和度、形状、位置摆放有或无;
根据温度信号、湿度信号、气味信号,判定目标物状态;
根据所述影像信号,对其中含有目标物图像进行特征选取,对特征提取方法进行分析,设计特征选择准则,进行分割与测量或得目标物的特征参数;
构建深度学习网络结构,所述深度学习网络结构能够自生长与参数学习,挖掘农产品堆放区域果蔬状态的本质特征;
基于所述目标物的特征参数,所述深度学习网络结构不断学习训练,再结合径向基网络实现农产品各类的识别与状态的监测,完成自主巡检、自主识别场景目标缺陷和自主学习;
获取冷藏保鲜库的坐标定位,通过融入温度信号、湿度信号、气味信号及冷藏保鲜库的坐标定位对环境进行综合评估,基于数据间关联与影响分析,并用可视化的方式展示分析结果;
根据所述影像信号,获得带有目标物的图像,基于带有目标物的图像的目标感知、特征提取和特征选择,同时结合温度信号、湿度信号及空气成分信号,利用深度学习和模糊推理脉冲神经膜系统分割不同类型农产品图像中的颜色、状态、气味,并对分类模型及算法、分类结果、环境变化进行评价,以反馈信息给特征挖掘部分作进一步修正。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111261316.2A CN114047751A (zh) | 2021-10-28 | 2021-10-28 | 一种冷藏保鲜库内机器人立体巡检系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111261316.2A CN114047751A (zh) | 2021-10-28 | 2021-10-28 | 一种冷藏保鲜库内机器人立体巡检系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114047751A true CN114047751A (zh) | 2022-02-15 |
Family
ID=80206273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111261316.2A Pending CN114047751A (zh) | 2021-10-28 | 2021-10-28 | 一种冷藏保鲜库内机器人立体巡检系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114047751A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114193425A (zh) * | 2022-02-18 | 2022-03-18 | 浙江博城机器人科技有限公司 | 一种基于视觉检测的巡检装置及方法 |
CN116448708A (zh) * | 2023-06-16 | 2023-07-18 | 潍坊食品科学与加工技术研究院 | 类圆形果蔬在线无损检测设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1556412A (zh) * | 2004-01-08 | 2004-12-22 | 江苏大学 | 基于电子视觉和嗅觉融合技术的农畜产品无损检测方法及其装置 |
US20190174207A1 (en) * | 2016-05-09 | 2019-06-06 | StrongForce IoT Portfolio 2016, LLC | Methods and systems for the industrial internet of things |
CN110113431A (zh) * | 2019-05-23 | 2019-08-09 | 榆林学院 | 一种智能农业物联网系统 |
CN111553918A (zh) * | 2020-05-11 | 2020-08-18 | 苏州求臻智能科技有限公司 | 一种基于变电站巡检机器人变压器热故障监测装置及方法 |
CN111861349A (zh) * | 2020-08-04 | 2020-10-30 | 陈汉元 | 一种基于大数据的食品冷藏冷冻仓储智能监测管理系统 |
-
2021
- 2021-10-28 CN CN202111261316.2A patent/CN114047751A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1556412A (zh) * | 2004-01-08 | 2004-12-22 | 江苏大学 | 基于电子视觉和嗅觉融合技术的农畜产品无损检测方法及其装置 |
US20190174207A1 (en) * | 2016-05-09 | 2019-06-06 | StrongForce IoT Portfolio 2016, LLC | Methods and systems for the industrial internet of things |
CN110113431A (zh) * | 2019-05-23 | 2019-08-09 | 榆林学院 | 一种智能农业物联网系统 |
CN111553918A (zh) * | 2020-05-11 | 2020-08-18 | 苏州求臻智能科技有限公司 | 一种基于变电站巡检机器人变压器热故障监测装置及方法 |
CN111861349A (zh) * | 2020-08-04 | 2020-10-30 | 陈汉元 | 一种基于大数据的食品冷藏冷冻仓储智能监测管理系统 |
Non-Patent Citations (1)
Title |
---|
吴德余;孙孝龙;徐森;施建军;: "基于棚室小环境农业生产的智能管理系统设计", 现代化农业 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114193425A (zh) * | 2022-02-18 | 2022-03-18 | 浙江博城机器人科技有限公司 | 一种基于视觉检测的巡检装置及方法 |
CN114193425B (zh) * | 2022-02-18 | 2022-05-17 | 浙江博城机器人科技有限公司 | 一种基于视觉检测的巡检装置及方法 |
CN116448708A (zh) * | 2023-06-16 | 2023-07-18 | 潍坊食品科学与加工技术研究院 | 类圆形果蔬在线无损检测设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114047751A (zh) | 一种冷藏保鲜库内机器人立体巡检系统及方法 | |
CN105513052A (zh) | 一种冰箱内食物存量及变质信息探知系统及方法 | |
CN110910151A (zh) | 一种质量追溯系统及追溯方法 | |
CN109997730A (zh) | 笼养鸡智能巡检系统及其巡检机器人的巡航控制方法 | |
CN102012419A (zh) | 基于视觉感知鱼类行为的生物水质监测系统 | |
KR20150025333A (ko) | 이동형 지능로봇을 이용한 영상기반 식물 생장관리 제어시스템 | |
CN206209744U (zh) | 一种基于移动机器人控制的仓库货物识别系统 | |
Kabilan et al. | Surveillance and steering of irrigation system in cloud using Wireless Sensor Network and Wi-Fi module | |
WO2022099401A1 (en) | Stereo-spatio-temporal crop condition measurements for plant growth and health optimization | |
CN207020511U (zh) | 一种农业智能装备与大数据服务系统 | |
US20240188507A1 (en) | Autonomous greenhouse control system | |
Zhou et al. | Applications of Internet of Things in the facility agriculture | |
WO2022099402A1 (en) | Data processing platform for analyzing stereo-spatio-temporal crop condition measurements to support plant growth and health optimization | |
CN110825058A (zh) | 一种农作物实时监控系统 | |
CN112465109A (zh) | 一种基于云边协同的农业大棚控制装置 | |
CN113985879A (zh) | 基于历史数据动态优化的智能移动巡检系统及方法 | |
WO2022099403A1 (en) | Generation of stereo-spatio-temporal crop condition measurements based on human observations and height measurements | |
CN109612520A (zh) | 一种基于bim模型的冷藏集装箱监控系统及其监控方法 | |
Zhang et al. | Greenhouse tomato detection and pose classification algorithm based on improved YOLOv5 | |
Vakilian et al. | Design, development and performance evaluation of a robot to early detection of nitrogen deficiency in greenhouse cucumber (Cucumis sativus) with machine vision. | |
CN113344152A (zh) | 一种奶品全链条生产信息智能检测上传系统及方法 | |
CN117546681A (zh) | 引导机器人采摘和运送水果的协同作业方法、系统及平台 | |
CN116627193A (zh) | 一种温室大棚智能管控平台及方法 | |
CN114543869A (zh) | 一种基于物联网技术的农业支撑系统 | |
KR20190084154A (ko) | 3D Depth 카메라 기반 과수 작물 수확량 예측 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220215 |