CN117584979A - 一种工程车辆工作状态感知系统及确定方法 - Google Patents
一种工程车辆工作状态感知系统及确定方法 Download PDFInfo
- Publication number
- CN117584979A CN117584979A CN202410078446.XA CN202410078446A CN117584979A CN 117584979 A CN117584979 A CN 117584979A CN 202410078446 A CN202410078446 A CN 202410078446A CN 117584979 A CN117584979 A CN 117584979A
- Authority
- CN
- China
- Prior art keywords
- engineering vehicle
- state
- cargo
- module
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000033001 locomotion Effects 0.000 claims abstract description 76
- 230000001133 acceleration Effects 0.000 claims abstract description 37
- 230000000007 visual effect Effects 0.000 claims abstract description 33
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/12—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
- B60W2520/105—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Forklifts And Lifting Vehicles (AREA)
Abstract
本发明公开一种工程车辆工作状态感知系统及确定方法,涉及车辆状态感知技术领域。所述工程车辆工作状态感知系统,包括:设置在工程车辆上的计算模块以及设置在工程车辆上且均与计算模块连接的运动传感器、测距模块、定位模块和视觉识别模块;运动传感器用于采集工程车辆的加速度;测距模块用于测量工程车辆距离地面的高度;定位模块用于确定工程车辆的位置;视觉识别模块用于获取工程车辆前方的环境图像和状态码的图像;计算模块用于根据工程车辆的加速度、工程车辆距离地面的高度、工程车辆的位置、工程车辆前方的环境图像和工程车辆状态码的图像确定工程车辆的工作状态。本发明可实时获取车辆的工作状态。
Description
技术领域
本发明涉及车辆状态感知技术领域,特别是涉及一种工程车辆工作状态感知系统及确定方法。
背景技术
传统的物流货储行业,工程车辆如叉车、火车或卡车等在仓库等场景中,由于缺乏智能化的感知系统,无法实时获取车辆的工作状况,限制了对车辆所处环境的感知能力,导致货物清点及安全生产等方面存在着一定的难题。
发明内容
本发明的目的是提供一种工程车辆工作状态感知系统及确定方法,可实时获取车辆的工作状态。
为实现上述目的,本发明提供了如下方案:
一种工程车辆工作状态感知系统,包括:
设置在工程车辆上的计算模块以及设置在所述工程车辆上且均与所述计算模块连接的运动传感器、测距模块、定位模块和视觉识别模块;所述运动传感器用于采集所述工程车辆的加速度;所述测距模块用于测量所述工程车辆距离地面的高度;所述定位模块用于确定所述工程车辆的位置;所述视觉识别模块用于获取所述工程车辆前方的环境图像和状态码的图像;所述计算模块用于根据所述工程车辆的加速度、所述工程车辆距离地面的高度、所述工程车辆的位置、所述工程车辆前方的环境图像和所述工程车辆状态码的图像确定工程车辆的工作状态;所述工作状态包括:叉臂状态、运动状态和货物状态;所述货物状态为向货车装货、从货车卸货、卸货区装货或卸货区卸货;所述运动状态为加速或者减速;
所述计算模块包括:
获取单元,用于获取所述运动传感器采集的工程车辆的加速度、所述测距模块测量的工程车辆距离地面的高度、所述定位模块测量的工程车辆的位置、所述视觉识别模块获取的工程车辆前方的环境图像和所述工程车辆状态码的图像;
运动状态确定单元,用于根据所述工程车辆的加速度确定所述工程车辆的运动状态;
叉臂状态确定单元,用于根据所述工程车辆状态码的图像确定所述工程车辆的叉臂状态;
工程车辆所处区域确定单元,用于根据所述工程车辆的位置和所述工程车辆前方的环境图像确定所述工程车辆所处区域;
货物状态确定单元,用于根据所述工程车辆的运动状态、所述工程车辆距离地面的高度、所述工程车辆所处区域和所述工程车辆的叉臂状态确定所述工程车辆的货物状态。
可选的,所述工程车辆工作状态感知系统,还包括:自充供电模块;所述自充供电模块分别与所述工程车辆的电源、所述计算模块、所述运动传感器、所述测距模块、所述定位模块和所述视觉识别模块连接。
可选的,所述工程车辆工作状态感知系统,还包括:与所述计算模块连接的物联网模块,所述物联网模块用于将所述工作状态发送到云端。
可选的,所述工程车辆工作状态感知系统,还包括:与所述计算模块连接的激光雷达模块,所述激光雷达模块设置在所述工程车辆上。
可选的,所述物联网模块为无线通信模块。
可选的,所述工程车辆工作状态感知系统,还包括:设置在所述工程车辆上的机盒,所述计算模块、所述运动传感器、所述测距模块、所述定位模块和所述视觉识别模块均设置在所述机盒内。
一种工程车辆工作状态确定方法,应用于上述所述的工程车辆工作状态感知系统,所述方法包括:
获取工程车辆的加速度、所述工程车辆距离地面的高度、所述工程车辆的位置、所述工程车辆前方的环境图像和所述工程车辆状态码的图像;
根据所述工程车辆的加速度确定所述工程车辆的运动状态;所述运动状态为加速或者减速;
根据所述工程车辆状态码的图像确定所述工程车辆的叉臂状态;
根据所述工程车辆的位置和所述工程车辆前方的环境图像确定所述工程车辆所处区域;
根据所述工程车辆的运动状态、所述工程车辆距离地面的高度、所述工程车辆所处区域和所述工程车辆的叉臂状态确定所述工程车辆的货物状态;所述货物状态为向货车装货、从货车卸货、卸货区装货或卸货区卸货。
可选的,根据所述工程车辆的运动状态、所述工程车辆距离地面的高度、所述工程车辆所处区域和所述工程车辆的叉臂状态确定所述工程车辆的货物状态,具体包括:
当所述工程车辆的运动状态为减速,则根据所述工程车辆距离地面的高度判断所述工程车辆是由载货状态变为空载状态还是由空载状态变为载货状态;
若由载货状态变为空载状态,且所述工程车辆的叉臂状态为上方,且所述工程车辆所处区域为货车设定范围内,则所述工程车辆的货物状态为从货车卸货;
若由载货状态变为空载状态,且所述工程车辆的叉臂状态为下方,且所述工程车辆所处区域为卸货区,则所述工程车辆的货物状态为卸货区卸货;
若由空载状态变为载货状态,且所述工程车辆的叉臂状态为上方,且所述工程车辆所处区域为货车设定范围内,则所述工程车辆的货物状态为从货车装货;
若由空载状态变为载货状态,且所述工程车辆的叉臂状态为下方,且所述工程车辆所处区域为卸货区,则所述工程车辆的货物状态为卸货区装货。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明提供的工程车辆工作状态感知系统设置计算模块、运动传感器、测距模块、定位模块和视觉识别模块;运动传感器用于采集工程车辆的加速度;测距模块用于测量工程车辆距离地面的高度;定位模块用于确定工程车辆的位置;视觉识别模块用于获取工程车辆前方的环境图像和状态码的图像;计算模块用于根据工程车辆的加速度、工程车辆距离地面的高度、工程车辆的位置、工程车辆前方的环境图像和工程车辆状态码的图像确定工程车辆的工作状态,可实时获取车辆的工作状态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的自充供电模块与其他模块的连接关系图;
图2为本发明实施例提供的工程车辆工作状态感知系统的工作流程图;
图3为本发明实施例提供的工程车辆工作状态感知系统分散安装的三维结构图;
图4为本发明实施例提供的工程车辆工作状态感知系统分散安装的正视图;
图5为安装工程车辆工作状态感知系统后的车辆的场景图;
图6为安装工程车辆工作状态感知系统的叉车进入仓库物理范围的示意图;
图7为安装工程车辆工作状态感知系统的叉车从运动状态变为静止状态,停在一堆货物前(点A)的示意图;
图8为安装工程车辆工作状态感知系统的叉车在货物前从没有叉货到叉起货的状态改变示意图;
图9为前进启动时经过处理后的数据图;
图10为刹车停止时经过处理后的数据图;
图11为安装工程车辆工作状态感知系统的叉车带着货物从点A运动到点B的示意图;
图12为安装工程车辆工作状态感知系统的叉车在点B放下货的示意图;
图13为本发明实施例提供的工程车辆工作状态感知系统结构框图;
图14为本发明实施例提供的测距模块、运动传感器、放大电路和A/D转换电路的连接关系框图;
图15为本发明实施例提供的工程车辆工作状态感知系统确定货物状态的流程图。
符号说明:
运动传感器—1,测距模块—2,定位模块—3,视觉识别模块—4,计算模块—5,状态码—6,激光雷达模块—7,自充供电模块—8,工程车辆的电源—9。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图13所示,本发明实施例提供了一种工程车辆工作状态感知系统,包括:
设置在工程车辆上的计算模块5(图13中示为MCU数据处理单元)以及设置在所述工程车辆上且均与所述计算模块5连接的运动传感器1、测距模块2、定位模块3和视觉识别模块4;所述运动传感器1用于采集所述工程车辆的加速度;所述测距模块2用于测量所述工程车辆距离地面的高度;所述定位模块3用于确定所述工程车辆的位置;所述视觉识别模块4用于获取所述工程车辆前方的环境图像和状态码6的图像,工程车辆的状态码是由个人设置的一个二维码,内部储存的是叉臂所在位置;所述计算模块5用于根据所述工程车辆的加速度、所述工程车辆距离地面的高度、所述工程车辆的位置、所述工程车辆前方的环境图像和所述工程车辆状态码6的图像确定工程车辆的工作状态;所述工作状态包括:叉臂状态、运动状态和货物状态;所述货物状态为向货车装货、从货车卸货、卸货区装货或卸货区卸货;所述运动状态为加速或者减速。测距模块2通过放大电路与计算模块5连接,运动传感器1通过A/D转换电路与计算模块5连接,视觉识别模块4通过数据传输模块与计算模块5连接,如图14所示,测距模块2和运动传感器1均与放大电路连接,放大电路通过A/D转换电路与计算模块5连接;所述计算模块包括:获取单元,用于获取所述运动传感器采集的工程车辆的加速度、所述测距模块测量的工程车辆距离地面的高度、所述定位模块测量的工程车辆的位置、所述视觉识别模块获取的工程车辆前方的环境图像和所述工程车辆状态码的图像;运动状态确定单元,用于根据所述工程车辆的加速度确定所述工程车辆的运动状态;叉臂状态确定单元,用于根据所述工程车辆状态码的图像确定所述工程车辆的叉臂状态;工程车辆所处区域确定单元,用于根据所述工程车辆的位置和所述工程车辆前方的环境图像确定所述工程车辆所处区域;货物状态确定单元,用于根据所述工程车辆的运动状态、所述工程车辆距离地面的高度、所述工程车辆所处区域和所述工程车辆的叉臂状态确定所述工程车辆的货物状态。
作为一种可选的实施方式,工程车辆工作状态感知系统,还包括:与所述计算模块5连接的数据存储单元。
作为一种可选的实施方式,工程车辆工作状态感知系统,还包括:与所述计算模块5连接的电源模块。
作为一种可选的实施方式,工程车辆工作状态感知系统,还包括:自充供电模块8;所述自充供电模块8分别与所述工程车辆的电源9、所述计算模块5、所述运动传感器1、所述测距模块2、所述定位模块3和所述视觉识别模块4连接。
作为一种可选的实施方式,工程车辆工作状态感知系统,还包括:与所述计算模块5连接的物联网模块,所述物联网模块用于将所述工作状态发送到云端。
作为一种可选的实施方式,工程车辆工作状态感知系统,还包括:与所述计算模块5连接的激光雷达模块7,所述激光雷达模块7设置在所述工程车辆上,用于获取工程车辆周围的点云数据。
作为一种可选的实施方式,所述物联网模块为无线通信模块,无线通信模块为WiFi、Zigbee、蓝牙、Lora、NB-lot或4G等。
作为一种可选的实施方式,工程车辆工作状态感知系统,还包括:设置在所述工程车辆上的机盒,所述计算模块5、所述运动传感器1、所述测距模块2、所述定位模块3和所述视觉识别模块4均设置在所述机盒内。
如图2所示,本发明实施例提供的工程车辆工作状态感知系统的工作流程如下:
首先,叉车位置固定,根据测距模块的测量结果判断状态是否改变,并根据测距模块的测量结果确定是由空载状态变为载货状态还是由载货状态变成空载状态,根据视觉识别模块拍摄的状态码确定叉臂位置,若为由载货状态变成空载状态下,叉臂位置为上方,则货物状态为从货车卸货,若为下方则货物状态为卸货区卸货,若是由空载状态变为载货状态,叉臂位置为上方,则货物状态为从货车装货,若为下方,则货物状态为卸货区装货。
本发明还提供了一个将上述工程车辆工作状态感知系统应用到叉车的实施例,对上述工程车辆工作状态感知系统进行详细介绍,整个叉车的状态感知系统实际是由很多个传感信息同时组成判断,其状态监控是由一个或者多个传感器同时进行实时数据收取,经过一定的逻辑判断,判定整体的叉车工作状态,以达到对叉车的工作状态的监控,实现的功能是准确判断叉车的工作状态以及对叉车的管理。
本实施例提供的工程车辆工作状态感知系统中运动传感器1为重力传感器、MPU6050姿态传感器或者陀螺仪等用于采集叉车的加速减速信息的传感器。如图1所示,自充供电模块8包括内置电池和DC-DC/充/供电集成电路,DC-DC/充/供电集成电路与叉车电源、内置电池、主控板和其他模块连接,用于叉车上电后能够对内置电池进行充电,叉车断电后在设备数据未全部发送完毕时由自供电的模块进行短时间的供电,保证数据的完整性。测距模块2为距离传感器,具体为:激光雷达或超声波传感器等,用于采集叉车车体离地面的高度,能够直接接受到传感器传输过来的数字量数据,并处理为具体的距离信息。定位模块3为GPS或其他定位传感器,接受大致的位置信息,与仓库位置进行比较,得到入库状态。视觉识别模块4为摄像头或图像传感器用于采集状态码图像、货物图像以及环境图像。计算模块5为MCU,内部存储人工智能识别算法(状态码的识别,人工智能视觉识别算法等)结合视觉识别模块4采集的状态码图像和环境图像进行图像识别,判断叉车的工作状态,同时使用ROS/SLAM定位等算法,架设激光雷达模块7(2维激光雷达或者3维激光雷达)进行周边环境的具体感知等,收集周围环境点云数据,对点云数据进行处理,进行三维建模,由此可以得到周围的环境情况,判断周围环境。状态码6放置在叉臂前方,由OpenCV进行状态码识别,得到叉臂状态(上方或者下方),还通过人工智能视觉识别算法(可使用基于图像分割的图像识别,基于深度学习的图像识别,红外线,RFID等各种方法)对车辆前方环境特定物体的识别,确定叉车所处区域。
运动传感器1将采集的叉车的加速减速信息传递给MCU,MCU通过与预设参考模型(加、减速的测试收到的各种XYZ轴加速度、速度或角度等数据模型)对比,判断叉车的运动状态,当加速度为正时,处于加速状态,当加速度为负时,为减速状态;测距模块2将采集的叉车车体离地面的高度传递给MCU,从而判断叉车的装货下货信息,MCU根据加速度和速度判断车辆停止时的时刻,此时进行测距数据的判断,在停止时判断距离数据的改变,当距离减少说明车身被大货物压向地面,距离增加说明货物从车辆卸下,得到上下货物状态;叉车有停车区域和工作区域,通过定位模块3确定叉车位置,结合根据视觉识别模块4拍摄的图像得到的叉车所处区域,实时判断叉车是否在工作范围内,并通过监控位置信息判断叉车是否正常进行生产活动,如果在停车区域确给出了类似装货的状态,就是不正常的,需要重新校正传感器。物联网模块用于与叉车进行无线通信,把数据(比如运动传感器1、测距模块2、定位模块3、激光雷达模块7等模块测量的信息、视觉识别模块采集的货物图像以及经MCU逻辑判断后的工作状态)传入网络云端,每个叉车都有一个。
如图3到图4所示,该系统中上述装置可以设置在一个机盒内,也可以直接分散的设置在车上,集中安装时,安装在叉车的前轮胎上方的挡泥铁板上。分散安装时,状态码6在叉臂上,测距模块2安装在叉车的前轮胎上方的挡泥铁板上,MCU设置在座位旁,视觉识别模块4放在防风玻璃下,激光雷达模块7和定位模块3在车顶,运动传感器1在车身后部。机盒中包含主控电路板,内部集成了部分可以放置在电路板上的模块,如运动传感器1,视觉识别模块4,定位模块3、物联网模块和MCU等。MCU为树莓派或ARM架构的计算模块5。
在实际应用中,还可以设置一些用于测量温度,湿度,震动和噪音等参数的的传感器。
在实际应用中,上文提到定位分为针对室外和室内两种场景的方案:
室外方案由GPS,GPS RTK,BLE,基于视觉的SLAM,基于激光雷达的SLAM和基于视觉的二维码定位中的一种或多种现有技术融合构建而成。具体的定位方式会通过外部的摄像头识别模块进行视觉反馈,以及GPS作为辅助大致定位。
室内方案由基于反射的动态捕捉系统,基于单向传播的动态捕捉系统,BLE,基于电磁信号强度的三角定位,基于视觉的SLAM,基于激光雷达的SLAM和基于视觉的二维码定位中的一种或多种现有技术融合构建而成。
在实际应用中,物联网模块,还用于配置相关代理比如TCP,FRPS等进行该装置上线状态的反馈。
在实际应用中,运动传感器1由三轴加速度计进行叉车整体的运动状态采集,其中数据收集采用了滤波算法滤除了叉车发动机震动以及地面不平给传感器带来的数据噪声,滤波算法使用了滑动均值和绝对值的噪声滤除,还同时包括均方差窗口滤波。
在实际应用中,还包括:传感数据接受模块,连接于传感器和计算模块5之间,放置于机盒内部,是将传感器所采集的数据进行进一步处理,信号放大,数模转换,让传输给计算模块5的数据更好识别处理。
本发明采用自充供电模块8,内部给电池充电以及断电时电池给整个系统供电,保证回传数据的完整性以及满足应急供电需求。通过采用运动传感器、距离传感器、定位传感器、图像传感器,激光雷达模块等多种传感器,以特定的设计,集成和控制方式,实现对叉车的运动状态、工作位置、使用频率和装货下货信息,安全生产信息等多个变量进行测量,从而实现对工程车辆实用状况的实时监控和有效管理。
上述系统的工作过程为:
一、上电之后系统各个模块进行初始化,初始化检查完好后,各个模块开始工作。在叉车启动之后,整个系统启动,通过叉车电瓶给整个系统供电,分为2部分,一部分给自充供电系统充电,一部分给系统供电。
二、摄像头工作,将画面传回计算模块。通过人工智能识别算法识别叉车前方环境。同时测距模块收集初始数据,获取叉车的初始状态,确认叉车初始状态无误,运动传感器实时收集三轴加速度数据,作为后续叉车状态判断的前提,当识别到叉车停止时,测距模块检测叉车对地距离状态,当车辆载货下沉,判定其载货,当车辆上升时,判定其卸货,车辆上升至其初始状态左右,初始状态同样作为辅助判断。
三、在车辆停止时同时进行叉车叉臂状态的判断,以此来判定此次货物状态改变是入库还是出库,当叉臂在上方工作区发生状态改变,说明是对于货车的高度进行作业,反之是在卸货区的地面进行作业。以此判断货物的状态改变。
四、其他传感器辅助判定叉车的工作运动状态,GPS定位叉车的物理大致经纬位置,判定其是否在仓库作业,雷达建图,视觉识别判定叉车的工作状态,通过SLAM算法判定叉车在仓库内的运动轨迹。物联网模块对所有的状态数据和原始数据进行打包发送,上传到云端,自充供电模块8在叉车停止工作之后保持系统工作一段时间,保证将所有数据发送完毕。
如图5、图6、图7、图8、图11和图12所示,工程车辆有两辆:叉车和卡车,本发明实施例提供了一个更加具体的步骤,对上述系统的工作过程进行详细介绍:
4.1叉车进入仓库物理范围。
叉车首先通过GPS模块对叉车是否在仓库进行定位,GPS模块有着较好的精度去判定叉车是否在仓库作业,而后进入仓库内部后有着两种定位方式,一种是通过仓库内部的摄像头进行视觉识别,在通过雷达建模的情况下确认叉车在仓库内的具体位置;二是使用叉车上的激光雷达模块进行三角定位,确认叉车在仓库内部距离四周墙壁的距离来判定叉车在仓库内部的位置。
4.2叉车从运动状态变为静止状态,停在一堆货物前(点A)。
其中使用SLAM算法处理,也可以对于叉车在仓库内的运动进行有效的识别,能够识别对象在特地给空间内的运动轨迹及其坐标位置,用来判断叉车在仓库内的运动状态。
叉车上的运动传感器所传递的数据在进行处理之后能够很好的对于叉车的运动状态进行判断,当叉车从运动状态改变为静止状态时能够从运动传感器接收到相关的数据,如图9和图10所示。
4.3叉车在货物前从没有叉货到叉起货的状态改变(对视觉识别模块如何检测到货物被叉起,配合真实的传感器数据和对数据的标注)。
当叉车叉起货物时,由于叉车所叉货物较重,能够引起叉车的整体下沉,而整体下沉的距离与叉车所叉货物质量相关,经过测试,能够检测到大部分常用场景下的叉车载货后的下沉状态,大概下沉距离在10mm左右,通过测距模块能够很好的测量到其距离状态发生的改变。
整体判断逻辑如下:传感器在判断车身是否下沉时,在运动传感器传回的数据划定的区间内去进行判断,是否在这段时间有着相应的车身离地面距离的显著改变,同时传感器所放置的位置以及角度都有着很多的可选择方案去适应相应的应用场景,根据不同的应用场景可以使用不同的传感器的结构方式以及策略。
4.4叉车带着货物从点A运动到点B。
4.5叉车在点B放下货。
当叉车放下货物时,能够检测到叉车的整体上升状态,与上一个下沉状态的判定类似。
整体判断逻辑如下:传感器在判断车身是否上升时,在运动传感器传回的数据划定的区间内去进行判断,是否在这段时间有着相应的车身离地面距离的显著改变。
测距模块能够准确的对相应的载货状态进行准确的识别,从载货的状态卸下货物之后,叉车下沉状态回升至正常状态,能够准确识别货物的状态改变。
叉车状态感知需要解决叉车载货状态,启停状态,仓库内位置信息的获取,传统方案能够更加精确的对叉车的货物状态进行反馈,但是对于叉车本身会进行大量的改装,加装体积重量很大的装置,或者在叉车的铰链上进行拆装改装,安装成本高,安装步骤复杂,维护成本高,维护难,硬件安装和配置成本高,且叉车的状态监控需要实时获取叉车的载货状态,传统方案大多是靠着压力传感器对叉车的叉臂或者传动链条进行较大的改装才能对叉车载货状态进行直接的测量,对于传统方案来说,直接检测的方案能够比较精细的计算货物属性状态,但是对于判断叉车状态来说,信息就有点冗余,同时对于各种叉车的适配需要不同的改装,可重复性不强,适配性差,人工安装以及装置硬件的成本也较高,本发明能够在满足叉车状态感知监控的前提下,减少安装的繁琐步骤和改装成本,有效降低硬件数量,以及安装部署成本。本发明同时可以提高针对不同叉车系统的兼容性,降低软硬件定制化的时间和成本。
本发明实施例还提供了一种工程车辆工作状态确定方法,应用于上述所述的工程车辆工作状态感知系统,如图15所示,所述方法包括:
获取工程车辆的加速度、所述工程车辆距离地面的高度、所述工程车辆的位置、所述工程车辆前方的环境图像和所述工程车辆状态码的图像。
根据所述工程车辆的加速度确定所述工程车辆的运动状态;所述运动状态为加速或者减速。
根据所述工程车辆状态码的图像确定所述工程车辆的叉臂状态。
根据所述工程车辆的位置和所述工程车辆前方的环境图像确定所述工程车辆所处区域。
根据所述工程车辆的运动状态、所述工程车辆距离地面的高度、所述工程车辆所处区域和所述工程车辆的叉臂状态确定所述工程车辆的货物状态;所述货物状态为向货车装货、从货车卸货、卸货区装货或卸货区卸货。
在实际应用中,根据所述工程车辆的运动状态、所述工程车辆距离地面的高度、所述工程车辆所处区域和所述工程车辆的叉臂状态确定所述工程车辆的货物状态,具体包括:
当所述工程车辆的运动状态为减速,则根据所述工程车辆距离地面的高度判断所述工程车辆是由载货状态变为空载状态还是由空载状态变为载货状态。
若由载货状态变为空载状态,且所述工程车辆的叉臂状态为上方,且所述工程车辆所处区域为货车设定范围内,则所述工程车辆的货物状态为从货车卸货。
若由载货状态变为空载状态,且所述工程车辆的叉臂状态为下方,且所述工程车辆所处区域为卸货区,则所述工程车辆的货物状态为卸货区卸货。
若由空载状态变为载货状态,且所述工程车辆的叉臂状态为上方,且所述工程车辆所处区域为货车设定范围内,则所述工程车辆的货物状态为从货车装货。
若由空载状态变为载货状态,且所述工程车辆的叉臂状态为下方,且所述工程车辆所处区域为卸货区,则所述工程车辆的货物状态为卸货区装货。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种工程车辆工作状态感知系统,其特征在于,包括:
设置在工程车辆上的计算模块以及设置在所述工程车辆上且均与所述计算模块连接的运动传感器、测距模块、定位模块和视觉识别模块;所述运动传感器用于采集所述工程车辆的加速度;所述测距模块用于测量所述工程车辆距离地面的高度;所述定位模块用于确定所述工程车辆的位置;所述视觉识别模块用于获取所述工程车辆前方的环境图像和状态码的图像;所述计算模块用于根据所述工程车辆的加速度、所述工程车辆距离地面的高度、所述工程车辆的位置、所述工程车辆前方的环境图像和所述工程车辆状态码的图像确定工程车辆的工作状态;所述工作状态包括:叉臂状态、运动状态和货物状态;所述货物状态为向货车装货、从货车卸货、卸货区装货或卸货区卸货;所述运动状态为加速或者减速;
所述计算模块包括:
获取单元,用于获取所述运动传感器采集的工程车辆的加速度、所述测距模块测量的工程车辆距离地面的高度、所述定位模块测量的工程车辆的位置、所述视觉识别模块获取的工程车辆前方的环境图像和所述工程车辆状态码的图像;
运动状态确定单元,用于根据所述工程车辆的加速度确定所述工程车辆的运动状态;
叉臂状态确定单元,用于根据所述工程车辆状态码的图像确定所述工程车辆的叉臂状态;
工程车辆所处区域确定单元,用于根据所述工程车辆的位置和所述工程车辆前方的环境图像确定所述工程车辆所处区域;
货物状态确定单元,用于根据所述工程车辆的运动状态、所述工程车辆距离地面的高度、所述工程车辆所处区域和所述工程车辆的叉臂状态确定所述工程车辆的货物状态;
货物状态确定单元具体为:
当所述工程车辆的运动状态为减速,则根据所述工程车辆距离地面的高度判断所述工程车辆是由载货状态变为空载状态还是由空载状态变为载货状态;
若由载货状态变为空载状态,且所述工程车辆的叉臂状态为上方,且所述工程车辆所处区域为货车设定范围内,则所述工程车辆的货物状态为从货车卸货;
若由载货状态变为空载状态,且所述工程车辆的叉臂状态为下方,且所述工程车辆所处区域为卸货区,则所述工程车辆的货物状态为卸货区卸货;
若由空载状态变为载货状态,且所述工程车辆的叉臂状态为上方,且所述工程车辆所处区域为货车设定范围内,则所述工程车辆的货物状态为从货车装货;
若由空载状态变为载货状态,且所述工程车辆的叉臂状态为下方,且所述工程车辆所处区域为卸货区,则所述工程车辆的货物状态为卸货区装货。
2.根据权利要求1所述的工程车辆工作状态感知系统,其特征在于,还包括:自充供电模块;所述自充供电模块分别与所述工程车辆的电源、所述计算模块、所述运动传感器、所述测距模块、所述定位模块和所述视觉识别模块连接。
3.根据权利要求1所述的工程车辆工作状态感知系统,其特征在于,还包括:与所述计算模块连接的物联网模块,所述物联网模块用于将所述工作状态发送到云端。
4.根据权利要求1所述的工程车辆工作状态感知系统,其特征在于,还包括:与所述计算模块连接的激光雷达模块,所述激光雷达模块设置在所述工程车辆上。
5.根据权利要求3所述的工程车辆工作状态感知系统,其特征在于,所述物联网模块为无线通信模块。
6.根据权利要求1所述的工程车辆工作状态感知系统,其特征在于,还包括:设置在所述工程车辆上的机盒,所述计算模块、所述运动传感器、所述测距模块、所述定位模块和所述视觉识别模块均设置在所述机盒内。
7.一种工程车辆工作状态确定方法,其特征在于,应用于上述权利要求1-6中任一项所述的工程车辆工作状态感知系统,所述方法包括:
获取工程车辆的加速度、所述工程车辆距离地面的高度、所述工程车辆的位置、所述工程车辆前方的环境图像和所述工程车辆状态码的图像;
根据所述工程车辆的加速度确定所述工程车辆的运动状态;所述运动状态为加速或者减速;
根据所述工程车辆状态码的图像确定所述工程车辆的叉臂状态;
根据所述工程车辆的位置和所述工程车辆前方的环境图像确定所述工程车辆所处区域;
根据所述工程车辆的运动状态、所述工程车辆距离地面的高度、所述工程车辆所处区域和所述工程车辆的叉臂状态确定所述工程车辆的货物状态;所述货物状态为向货车装货、从货车卸货、卸货区装货或卸货区卸货。
8.根据权利要求7所述的工程车辆工作状态确定方法,其特征在于,根据所述工程车辆的运动状态、所述工程车辆距离地面的高度、所述工程车辆所处区域和所述工程车辆的叉臂状态确定所述工程车辆的货物状态,具体包括:
当所述工程车辆的运动状态为减速,则根据所述工程车辆距离地面的高度判断所述工程车辆是由载货状态变为空载状态还是由空载状态变为载货状态;
若由载货状态变为空载状态,且所述工程车辆的叉臂状态为上方,且所述工程车辆所处区域为货车设定范围内,则所述工程车辆的货物状态为从货车卸货;
若由载货状态变为空载状态,且所述工程车辆的叉臂状态为下方,且所述工程车辆所处区域为卸货区,则所述工程车辆的货物状态为卸货区卸货;
若由空载状态变为载货状态,且所述工程车辆的叉臂状态为上方,且所述工程车辆所处区域为货车设定范围内,则所述工程车辆的货物状态为从货车装货;
若由空载状态变为载货状态,且所述工程车辆的叉臂状态为下方,且所述工程车辆所处区域为卸货区,则所述工程车辆的货物状态为卸货区装货。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410078446.XA CN117584979B (zh) | 2024-01-19 | 2024-01-19 | 一种工程车辆工作状态感知系统及确定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410078446.XA CN117584979B (zh) | 2024-01-19 | 2024-01-19 | 一种工程车辆工作状态感知系统及确定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117584979A true CN117584979A (zh) | 2024-02-23 |
CN117584979B CN117584979B (zh) | 2024-04-02 |
Family
ID=89920571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410078446.XA Active CN117584979B (zh) | 2024-01-19 | 2024-01-19 | 一种工程车辆工作状态感知系统及确定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117584979B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN206162709U (zh) * | 2016-08-23 | 2017-05-10 | 吴晓栋 | 叉车监控系统 |
CN107122943A (zh) * | 2017-04-28 | 2017-09-01 | 南京云计趟信息技术有限公司 | 一种通过测量载重计算运输趟数的系统及方法 |
JP2020042537A (ja) * | 2018-09-11 | 2020-03-19 | 矢崎エナジーシステム株式会社 | 作業車両の稼働管理システム |
CN111115516A (zh) * | 2020-01-21 | 2020-05-08 | 爱动超越人工智能科技(北京)有限责任公司 | 一种通过液压装置测量叉车载货状态的方法 |
CN212807269U (zh) * | 2020-08-10 | 2021-03-26 | 叶位彬 | 货箱自称重装置及其载货车辆 |
CN114609584A (zh) * | 2022-01-27 | 2022-06-10 | 长沙施玛特迈科技有限公司 | 一种井下矿用铲运机定位与计量方法和系统 |
WO2023226676A2 (zh) * | 2022-05-25 | 2023-11-30 | 劢微机器人科技(深圳)有限公司 | 无人叉车高位货架放货方法、装置、设备及存储介质 |
-
2024
- 2024-01-19 CN CN202410078446.XA patent/CN117584979B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN206162709U (zh) * | 2016-08-23 | 2017-05-10 | 吴晓栋 | 叉车监控系统 |
CN107122943A (zh) * | 2017-04-28 | 2017-09-01 | 南京云计趟信息技术有限公司 | 一种通过测量载重计算运输趟数的系统及方法 |
JP2020042537A (ja) * | 2018-09-11 | 2020-03-19 | 矢崎エナジーシステム株式会社 | 作業車両の稼働管理システム |
CN111115516A (zh) * | 2020-01-21 | 2020-05-08 | 爱动超越人工智能科技(北京)有限责任公司 | 一种通过液压装置测量叉车载货状态的方法 |
CN212807269U (zh) * | 2020-08-10 | 2021-03-26 | 叶位彬 | 货箱自称重装置及其载货车辆 |
CN114609584A (zh) * | 2022-01-27 | 2022-06-10 | 长沙施玛特迈科技有限公司 | 一种井下矿用铲运机定位与计量方法和系统 |
WO2023226676A2 (zh) * | 2022-05-25 | 2023-11-30 | 劢微机器人科技(深圳)有限公司 | 无人叉车高位货架放货方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117584979B (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105675101B (zh) | 基于obd的车辆质量动态测量装置及测量方法 | |
CN107031629B (zh) | 一种3d机器视觉叉车行驶辅助安全系统及方法 | |
CN107807633A (zh) | 一种路侧设备、车载设备以及自动驾驶感知方法及系统 | |
US20130253753A1 (en) | Detecting lane markings | |
US20130197736A1 (en) | Vehicle control based on perception uncertainty | |
CN112767540A (zh) | 一种agv自动装车方法 | |
CN207828776U (zh) | 悬挂式单轨交通轨道梁外部智能检查维修车 | |
CN112896879B (zh) | 一种用于智能环卫车的环境感知系统 | |
CN100383776C (zh) | 车辆运输装卸情况的记录方法及装置 | |
CN101914889A (zh) | 基于加速度补偿的激光平整度测量系统和方法 | |
CN101885310A (zh) | 一种露天矿用自卸车车载称重系统 | |
CN108805508A (zh) | 盘点机器人及盘点系统 | |
CN110092256A (zh) | 电动车乘电梯上楼监测的方法、系统以及监测装置 | |
CN107031487A (zh) | 一种基于加速度传感器与陀螺仪的举升识别系统 | |
CN113378741A (zh) | 一种基于多源传感器的飞机牵引车辅助感知方法及其系统 | |
CN114184265A (zh) | 工程车辆称重方法、装置及工程车辆 | |
CN111610191B (zh) | 一种道路检测与修复系统 | |
CN117584979B (zh) | 一种工程车辆工作状态感知系统及确定方法 | |
CN115129050A (zh) | 一种港口牵引车无人运输短倒系统及方法 | |
CN211628411U (zh) | 一种全自动交通监测系统 | |
CN114148836A (zh) | 一种机器人自主乘梯方法及装置 | |
CN108705977A (zh) | 一种互联网无人驾驶汽车 | |
CN201765041U (zh) | 一种露天矿用自卸车车载称重系统 | |
CN114219782A (zh) | 铁路自动化无人装车系统、控制方法及设备 | |
CN104769637A (zh) | 运送车辆事故识别系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |