CN107031629B - 一种3d机器视觉叉车行驶辅助安全系统及方法 - Google Patents

一种3d机器视觉叉车行驶辅助安全系统及方法 Download PDF

Info

Publication number
CN107031629B
CN107031629B CN201710139914.XA CN201710139914A CN107031629B CN 107031629 B CN107031629 B CN 107031629B CN 201710139914 A CN201710139914 A CN 201710139914A CN 107031629 B CN107031629 B CN 107031629B
Authority
CN
China
Prior art keywords
fork truck
vehicle
subsystem
information
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710139914.XA
Other languages
English (en)
Other versions
CN107031629A (zh
Inventor
王海宽
费敏锐
戚谢鑫
冯银冉
黄群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201710139914.XA priority Critical patent/CN107031629B/zh
Publication of CN107031629A publication Critical patent/CN107031629A/zh
Application granted granted Critical
Publication of CN107031629B publication Critical patent/CN107031629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Structural Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Civil Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

本发明公开了一种3D机器视觉叉车行驶辅助安全系统及方法，能够实时监测叉车的行驶状态与周边作业环境，保障叉车作业过程中的人员与资产安全。系统包括：（1）采用多个智能深度相机为主构成的作业环境感知子系统、（2）采集车辆速度、姿态、转弯等行车状态的车辆状态监测子系统、（3）连接车辆动力控制与控制制动控制的输出子系统、（4）进行逻辑控制和智能判定与辨识的信息处理子系统。本发明由智能深度相机与多传感器对叉车的作业环境和车辆状况进行全面监测，不仅能提供障碍物检测与报警，还能够通过精确的人员与物体辨识，实现主动人员安全预警及控制功能。

Description

一种3D机器视觉叉车行驶辅助安全系统及方法
技术领域
本发明涉及3D机器视觉及智能安全辅助驾驶技术领域，具体涉及一种基于智能深度相机与多传感器融合的3D机器视觉叉车行驶辅助安全系统及方法。
背景技术
在现代大型工业生产与装配工厂及物流仓储中，叉车是必不可少的工具。叉车在搬运货物的过程中，叉车驾驶员的视线容易被货物遮挡，从而造成安全隐患，因此需要一套叉车行驶辅助安全系统，以减少甚至避免安全事故的发生。传统的安全驾驶辅助系统大多是基于超声、雷达、红外、激光等点距离测量来判断叉车周边状况，检测精度、分辨率及识别可靠性较差；基于机器视觉的安全驾驶辅助系统主要采用灰度相机或彩色相机的二维图像进行视觉处理与分析，然后做出判断，存在检测复杂度高，易受背景干扰，识别准确度较差的问题；基于多摄像头二维图像合成的多目立体视觉存在计算难度大，复杂环境下检测稳定性较差的问题。
由于叉车运行的工厂环境比较复杂，叉车作业状态多变，传统的行驶辅助安全系统都存在一定的局限性，大多仅用作预警提示，无法可靠地保障叉车作业安全性。因此需要一种新的安全驾驶监测辅助系统，融合多种传感器对叉车的行驶状态进行全方位的监测与控制，以提高作业安全，尤其是作业现场人员安全。
发明内容
为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种3D机器视觉叉车行驶辅助安全系统及方法，基于深度相机与多传感器融合，能够实时监测叉车的行驶状态与周边作业环境，保障叉车作业过程中的人员与资产安全。
为达到上述目的，本发明采用如下技术方案：
一种3D机器视觉叉车行驶辅助安全系统，包括作业环境感知子系统、车辆状态监测子系统、控制输出子系统和信息处理子系统，所述作业环境感知子系统、车辆状态监测子系统、控制输出子系统通过通信网络或输入输出模块连接到信息处理子系统；所述作业环境感知子系统包括前方智能深度相机、侧方智能深度相机、后方智能深度相机、侧方碰撞开关和后方碰撞开关，用来采集叉车作业时周边各种信息，确保叉车安全行驶与作业安全；所述车辆状态监测子系统包括车辆测速传感器、车载加速度传感器、车载陀螺仪、驾驶员状态传感器，用来采集车辆的运行方向、转弯、加减速、俯仰倾斜、驾驶员位置信息，为智能判别提供车辆状态类别和处理依据；所述控制输出子系统包括多色报警指示灯、蜂鸣报警器、车辆制动器控制接口、车辆动力控制接口，用来在检测到异常或危险状况时，对车辆进行主动干预，对驾驶人员和周边人员进行警示提醒；所述信息处理子系统包括主控制器单元以及输入输出模块、通信模块、电源模块，对叉车作业环境信息、车辆状态信息进行处理，从而生成报警与控制信息，实现叉车行驶与作业的安全运行。
一种3D机器视觉叉车行驶辅助安全方法，使用上述的3D机器视觉叉车行驶辅助安全系统，具体步骤如下：
步骤2.1：根据叉车行驶和作业环境的要求以及工厂安全行驶的规范，确定每个智能深度相机的测量距离、视场角度的工作参数、预定义的警示区域、车辆速度和加速度限值，叉车作业俯仰或倾斜角度限值，初始化报警事件和参数阈值；
步骤2.2：信息处理子系统从车辆状态监测子系统获得叉车运行状态，并进行分类，根据车速分为低速、中速、高速，根据方向分为前进、后退、转弯；根据叉车状态由车载加速度传感器和车载陀螺仪确定叉车姿态是否允许作业；根据驾驶员状态传感器确定驾驶员是否处于正确驾驶位置；
步骤2.3：根据加速度、速度、转弯角度、俯仰角度信息，判断叉车驾驶和作业是否符合规范，如不符合，则进入步骤2.7c，如符合，则进入步骤2.4；
步骤2.4：如叉车方向为前进或转弯，使用前方智能深度相机采集叉车行驶前方完全覆盖叉齿前面预定义的警示区域的3D深度影像数据，前方智能深度相机根据由主控制器单元发送过来的叉车状态和姿态信息进行智能机器视觉处理，处理内容包括：
2.4a：根据预设的速度等级，当叉车在高速行驶时，将3D深度影像中叉齿前面预定义的警示区域部分前移，扩大检测深度范围，以加长叉车制动的安全距离；当叉车在低速行驶或未启动装卸作业时，将3D深度影像中的叉齿前面预定义的警示区域部分后移，以便叉车在狭窄区域作业；
2.4b：根据叉车转弯状态和速度信息，计算出叉车的转弯半径，将3D深度影像中叉齿前面预定义的警示区部分向转弯方向偏移，实现前方智能深度相机对叉车转弯的随动跟踪功能，同时避免叉车在狭小空间大角度转弯时的误报；
2.4c：根据叉车行驶的俯仰姿态，对3D深度影像的信息进行空间校正与补偿；
2.4d：前方智能深度相机对校正偏移后的3D深度影像中叉齿前面预定义的警示区域部分进行视觉辨识，对路面、人员、墙壁、栏杆、设备进行分割辨识，将警示区域内物体属性、距离、位置、大小信息上传主控制器单元用于判断决策；
步骤2.5：如叉车方向为后退或转弯，使用后方智能深度相机采集叉车后方预定义的警示区域的3D深度影像数据，由后方智能深度相机对3D深度影像数据中预定义的警示区域部分进行视觉辨识，确定是否有障碍物，并将障碍物属性、距离、位置、大小上传主控制器单元用于判断决策；
步骤2.6：在叉车处于直行状态时，侧方智能深度相机的下视3D深度影像中预定义的警示区域部分限定在车体两侧较窄的区域，以便叉车在狭窄空间作业；在叉车处于转弯状态时，侧方智能深度相机的下视3D深度影像中预定义的警示区域部分向转弯方向扩展，以扩大安全监测范围；侧方智能深度相机对采集的3D深度影像中预定义的警示区域部分进行视觉辨识，并将处理结果上传主控制器单元用于判断决策；
步骤2.7：主控制器单元获得所有智能深度相机的视觉辨识结果后，根据叉车状态和姿态做出判断决策，内容包括：
2.7a：当检测到可能的障碍物碰撞信息时，通过多色报警指示灯和蜂鸣报警器发出警示信号，并通过车辆动力控制接口输出降速或关闭信号，以限定叉车在安全范围内工作；
2.7b：当检测到严重人员安全状况或障碍物碰撞状况时，在发出警示信号的同时，通过车辆动力控制接口关闭车辆动力，并通过车辆制动器控制接口进行紧急制动，防止事故发生或降低事故损害；
2.7c：当检测到驾驶员违规驾驶时，除发出警示信号外，通过车辆制动器控制接口输出紧急制动信号，停止叉车运行；
步骤2.8：主控制器单元对叉车异常状况、发出警示信号时的3D深度影像数据进行记录形成行车日志，以便对叉车行驶与作业状况进行记录与追溯；
步骤2.9：如叉车处于上电状态，则转到步骤2.2，机器视觉叉车行驶辅助安全系统进行循环不断的在线检测。
与现有技术相比，本发明具有如下优点：
本发明机器视觉叉车行驶辅助安全系统机系统及方法采用智能深度相机与多传感器对叉车的作业环境和车辆状况进行全面监测；采用智能3D深度影像进行智能辨识，克服了现有技术报警范围模糊，无法进行障碍物辨识，只能提供简单的警示信息而无法进行主动人员安全预警及控制功能；智能深度相机的3D机器视觉处理融合了车辆状态和姿态信息，能够对深度影像进行有针对性的修正与补偿，使整个系统运行更加稳定，鲁棒性更强，从而提高车辆作业的安全性。
附图说明
图1是3D机器视觉叉车行驶辅助安全系统结构图。
图2是3D机器视觉叉车行驶辅助安全系统工作流程图。
具体实施方式
下面结合附图对本发明的具体实施例作进一步的详细说明。
如图1所示，一种3D机器视觉叉车行驶辅助安全系统，包括作业环境感知子系统1.1、车辆状态监测子系统1.2、控制输出子系统1.3和信息处理子系统1.4，所述作业环境感知子系统1.1、车辆状态监测子系统1.2、控制输出子系统1.3通过通信网络或输入输出模块连接到信息处理子系统1.4；所述作业环境感知子系统1.1包括前方智能深度相机1.5、侧方智能深度相机1.6、后方智能深度相机1.7、侧方碰撞开关1.8和后方碰撞开关1.9，用来采集叉车作业时周边各种信息，确保叉车安全行驶与作业安全；所述车辆状态监测子系统1.2包括车辆测速传感器1.10、车载加速度传感器1.11、车载陀螺仪1.12、驾驶员状态传感器1.13，用来采集车辆的运行方向、转弯、加减速、俯仰倾斜、驾驶员位置信息，为智能判别提供车辆状态类别和处理依据；所述控制输出子系统1.3包括多色报警指示灯1.14、蜂鸣报警器1.15、车辆制动器控制接口1.16、车辆动力控制接口1.17，用来在检测到异常或危险状况时，对车辆进行主动干预，对驾驶人员和周边人员进行警示提醒；所述信息处理子系统1.4包括主控制器单元1.18以及输入输出模块、通信模块、电源模块，对叉车作业环境信息、车辆状态信息进行处理，从而生成报警与控制信息，实现叉车行驶与作业的安全运行。
如图2所示，一种3D机器视觉叉车行驶辅助安全方法，使用上述的3D机器视觉叉车行驶辅助安全系统，具体步骤如下：
步骤2.1：根据叉车行驶和作业环境的要求以及工厂安全行驶的规范，确定每个智能深度相机的测量距离、视场角度的工作参数、预定义的警示区域、车辆速度和加速度限值，叉车作业俯仰或倾斜角度限值，初始化报警事件和参数阈值；
步骤2.2：信息处理子系统1.4从车辆状态监测子系统1.2获得叉车运行状态，并进行分类，根据车速分为低速、中速、高速，根据方向分为前进、后退、转弯；根据叉车状态由车载加速度传感器1.11和车载陀螺仪1.12确定叉车姿态是否允许作业；根据驾驶员状态传感器1.13确定驾驶员是否处于正确驾驶位置；
步骤2.3：根据加速度、速度、转弯角度、俯仰角度信息，判断叉车驾驶和作业是否符合规范，如不符合，则进入步骤2.7c，如符合，则进入步骤2.4；
步骤2.4：如叉车方向为前进或转弯，使用前方智能深度相机1.5采集叉车行驶前方完全覆盖叉齿前面预定义的警示区域的3D深度影像数据，前方智能深度相机1.5根据由主控制器单元1.18发送过来的叉车状态和姿态信息进行智能机器视觉处理，处理内容包括：
2.4a：根据预设的速度等级，当叉车在高速行驶时，将3D深度影像中叉齿前面预定义的警示区域部分前移，扩大检测深度范围，以加长叉车制动的安全距离；当叉车在低速行驶或未启动装卸作业时，将3D深度影像中的叉齿前面预定义的警示区域部分后移，以便叉车在狭窄区域作业；
2.4b：根据叉车转弯状态和速度信息，计算出叉车的转弯半径，将3D深度影像中叉齿前面预定义的警示区部分向转弯方向偏移，实现前方智能深度相机1.5对叉车转弯的随动跟踪功能，同时避免叉车在狭小空间大角度转弯时的误报；
2.4c：根据叉车行驶的俯仰姿态，对3D深度影像的信息进行空间校正与补偿；
2.4d：前方智能深度相机1.5对校正偏移后的3D深度影像中叉齿前面预定义的警示区域部分进行视觉辨识，对路面、人员、墙壁、栏杆、设备进行分割辨识，将警示区域内物体属性、距离、位置、大小信息上传主控制器单元1.18用于判断决策；
步骤2.5：如叉车方向为后退或转弯，使用后方智能深度相机1.7采集叉车后方预定义的警示区域的3D深度影像数据，由后方智能深度相机1.7对3D深度影像数据中预定义的警示区域部分进行视觉辨识，确定是否有障碍物，并将障碍物属性、距离、位置、大小上传主控制器单元1.18用于判断决策；
步骤2.6：在叉车处于直行状态时，侧方智能深度相机1.6的下视3D深度影像中预定义的警示区域部分限定在车体两侧较窄的区域，以便叉车在狭窄空间作业；在叉车处于转弯状态时，侧方智能深度相机1.6的下视3D深度影像中预定义的警示区域部分向转弯方向扩展，以扩大安全监测范围；侧方智能深度相机1.6对采集的3D深度影像中预定义的警示区域部分进行视觉辨识，并将处理结果上传主控制器单元1.18用于判断决策；
步骤2.7：主控制器单元1.18获得所有智能深度相机的视觉辨识结果后，根据叉车状态和姿态做出判断决策，内容包括：
2.7a：当检测到可能的障碍物碰撞信息时，通过多色报警指示灯1.14和蜂鸣报警器1.15发出警示信号，并通过车辆动力控制接口1.17输出降速或关闭信号，以限定叉车在安全范围内工作；
2.7b：当检测到严重人员安全状况或障碍物碰撞状况时，在发出警示信号的同时，通过车辆动力控制接口1.17关闭车辆动力，并通过车辆制动器控制接口1.16进行紧急制动，防止事故发生或降低事故损害；
2.7c：当检测到驾驶员违规驾驶时，除发出警示信号外，通过车辆制动器控制接口1.16输出紧急制动信号，停止叉车运行；
步骤2.8：主控制器单元1.18对叉车异常状况、发出警示信号时的3D深度影像数据进行记录形成行车日志，以便对叉车行驶与作业状况进行记录与追溯；
步骤2.9：如叉车处于上电状态，则转到步骤2.2，机器视觉叉车行驶辅助安全系统进行循环不断的在线检测。

Claims (1)

1.一种3D机器视觉叉车行驶辅助安全方法，其特征在于，包括作业环境感知子系统（1.1）、车辆状态监测子系统（1.2）、控制输出子系统（1.3）和信息处理子系统（1.4），所述作业环境感知子系统（1.1）、车辆状态监测子系统（1.2）、控制输出子系统（1.3）通过通信网络或输入输出模块连接到信息处理子系统（1.4）；所述作业环境感知子系统（1.1）包括前方智能深度相机（1.5）、侧方智能深度相机（1.6）、后方智能深度相机（1.7）、侧方碰撞开关（1.8）和后方碰撞开关（1.9），用来采集叉车作业时周边各种信息，确保叉车安全行驶与作业安全；所述车辆状态监测子系统（1.2）包括车辆测速传感器（1.10）、车载加速度传感器（1.11）、车载陀螺仪（1.12）、驾驶员状态传感器（1.13），用来采集车辆的运行方向、转弯、加减速、俯仰倾斜、驾驶员位置信息，为智能判别提供车辆状态类别和处理依据；所述控制输出子系统（1.3）包括多色报警指示灯（1.14）、蜂鸣报警器（1.15）、车辆制动器控制接口（1.16）、车辆动力控制接口（1.17），用来在检测到异常或危险状况时，对车辆进行主动干预，对驾驶人员和周边人员进行警示提醒；所述信息处理子系统（1.4）包括主控制器单元（1.18）以及输入输出模块、通信模块、电源模块，对叉车作业环境信息、车辆状态信息进行处理，从而生成报警与控制信息，实现叉车行驶与作业的安全运行,其使用3D机器视觉叉车行驶辅助安全系统的方法步骤如下：
步骤1.1：根据叉车行驶和作业环境的要求以及工厂安全行驶的规范，确定每个智能深度相机的测量距离、视场角度的工作参数、预定义的警示区域、车辆速度和加速度限值，叉车作业俯仰或倾斜角度限值，初始化报警事件和参数阈值；
步骤1.2：信息处理子系统（1.4）从车辆状态监测子系统（1.2）获得叉车运行状态，并进行分类，根据车速分为低速、中速、高速，根据方向分为前进、后退、转弯；根据叉车状态由车载加速度传感器（1.11）和车载陀螺仪（1.12）确定叉车姿态是否允许作业；根据驾驶员状态传感器（1.13）确定驾驶员是否处于正确驾驶位置；
步骤1.3：根据加速度、速度、转弯角度、俯仰角度信息，判断叉车驾驶和作业是否符合规范，如不符合，则进入步骤1.7c，如符合，则进入步骤1.4；
步骤1.4：如叉车方向为前进或转弯，使用前方智能深度相机（1.5）采集叉车行驶前方完全覆盖叉齿前面预定义的警示区域的3D深度影像数据，前方智能深度相机（1.5）根据由主控制器单元（1.18）发送过来的叉车状态和姿态信息进行智能机器视觉处理，处理内容包括：
1.4a：根据预设的速度等级，当叉车在高速行驶时，将3D深度影像中叉齿前面预定义的警示区域部分前移，扩大检测深度范围，以加长叉车制动的安全距离；当叉车在低速行驶或未启动装卸作业时，将3D深度影像中的叉齿前面预定义的警示区域部分后移，以便叉车在狭窄区域作业；
1.4b：根据叉车转弯状态和速度信息，计算出叉车的转弯半径，将3D深度影像中叉齿前面预定义的警示区部分向转弯方向偏移，实现前方智能深度相机（1.5）对叉车转弯的随动跟踪功能，同时避免叉车在狭小空间大角度转弯时的误报；
1.4c：根据叉车行驶的俯仰姿态，对3D深度影像的信息进行空间校正与补偿；
1.4d：前方智能深度相机（1.5）对校正偏移后的3D深度影像中叉齿前面预定义的警示区域部分进行视觉辨识，对路面、人员、墙壁、栏杆、设备进行分割辨识，将警示区域内物体属性、距离、位置、大小信息上传主控制器单元（1.18）用于判断决策；
步骤1.5：如叉车方向为后退或转弯，使用后方智能深度相机（1.7）采集叉车后方预定义的警示区域的3D深度影像数据，由后方智能深度相机（1.7）对3D深度影像数据中预定义的警示区域部分进行视觉辨识，确定是否有障碍物，并将障碍物属性、距离、位置、大小上传主控制器单元（1.18）用于判断决策；
步骤1.6：在叉车处于直行状态时，侧方智能深度相机（1.6）的下视3D深度影像中预定义的警示区域部分限定在车体两侧较窄的区域，以便叉车在狭窄空间作业；在叉车处于转弯状态时，侧方智能深度相机（1.6）的下视3D深度影像中预定义的警示区域部分向转弯方向扩展，以扩大安全监测范围；侧方智能深度相机（1.6）对采集的3D深度影像中预定义的警示区域部分进行视觉辨识，并将处理结果上传主控制器单元（1.18）用于判断决策；
步骤1.7：主控制器单元（1.18）获得所有智能深度相机的视觉辨识结果后，根据叉车状态和姿态做出判断决策，内容包括：
1.7a：当检测到可能的障碍物碰撞信息时，通过多色报警指示灯（1.14）和蜂鸣报警器（1.15）发出警示信号，并通过车辆动力控制接口（1.17）输出降速或关闭信号，以限定叉车在安全范围内工作；
1.7b：当检测到严重人员安全状况或障碍物碰撞状况时，在发出警示信号的同时，通过车辆动力控制接口（1.17）关闭车辆动力，并通过车辆制动器控制接口（1.16）进行紧急制动，防止事故发生或降低事故损害；
1.7c：当检测到驾驶员违规驾驶时，除发出警示信号外，通过车辆制动器控制接口（1.16）输出紧急制动信号，停止叉车运行；
步骤1.8：主控制器单元（1.18）对叉车异常状况、发出警示信号时的3D深度影像数据进行记录形成行车日志，以便对叉车行驶与作业状况进行记录与追溯；
步骤1.9：如叉车处于上电状态，则转到步骤1.2，机器视觉叉车行驶辅助安全系统进行循环不断的在线检测。
CN201710139914.XA 2017-03-10 2017-03-10 一种3d机器视觉叉车行驶辅助安全系统及方法 Active CN107031629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710139914.XA CN107031629B (zh) 2017-03-10 2017-03-10 一种3d机器视觉叉车行驶辅助安全系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710139914.XA CN107031629B (zh) 2017-03-10 2017-03-10 一种3d机器视觉叉车行驶辅助安全系统及方法

Publications (2)

Publication Number Publication Date
CN107031629A CN107031629A (zh) 2017-08-11
CN107031629B true CN107031629B (zh) 2019-11-19

Family

ID=59533662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710139914.XA Active CN107031629B (zh) 2017-03-10 2017-03-10 一种3d机器视觉叉车行驶辅助安全系统及方法

Country Status (1)

Country Link
CN (1) CN107031629B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107914686B (zh) * 2017-11-17 2019-06-25 吉林大学 一种车辆紧急制动装置及方法
CN110895412B (zh) * 2018-09-11 2023-05-30 郑州宇通重工有限公司 一种环卫车及其作业机构的安全控制方法和系统
CN110054121B (zh) * 2019-04-25 2021-04-20 北京极智嘉科技有限公司 一种智能叉车以及容器位姿偏移检测方法
CN110428583B (zh) * 2019-07-18 2023-08-18 华东师范大学 一种基于嵌入式开发和深度学习的叉车实时监控预警系统及方法
CN110805080B (zh) * 2019-10-16 2022-08-19 广西弘德茂机械有限公司 一种装载机作业场地的人员安全防护系统
CN110817764A (zh) * 2019-10-16 2020-02-21 金华深联网络科技有限公司 一种堆高机人员安全防护系统
CN110817765B (zh) * 2019-10-16 2021-10-15 金华深联网络科技有限公司 一种叉车工作现场人员安全防护系统
CN111017804B (zh) * 2019-11-08 2021-06-11 华中科技大学 一种智能移动转运系统及其转运方法
KR102306942B1 (ko) * 2019-12-12 2021-09-30 주식회사 이편한자동화기술 인공지능을 이용하는 중장비용 충돌 예방 장치
CN113321160B (zh) * 2020-02-28 2023-07-07 林德（中国）叉车有限公司 一种月台区域叉车防跌落系统及方法
CN111634859B (zh) * 2020-06-10 2022-02-08 江苏省特种设备安全监督检验研究院 一种智能叉车控制系统
WO2022080584A1 (ko) * 2020-10-16 2022-04-21 주식회사 오케이오 다단 하중조절형 이동대차
CN112277961B (zh) * 2020-10-30 2021-09-28 合肥工业大学 一种基于stm32的燃料电池叉车安全检测与控制系统
CN113859116A (zh) * 2021-09-01 2021-12-31 郑州嘉晨电器有限公司 一种工业车辆的危险识别方法、装置及系统
KR102666772B1 (ko) * 2021-12-29 2024-05-17 오토아이티(주) 영상 기반의 주변 모니터링 장치
CN114873521A (zh) * 2022-03-25 2022-08-09 华能新疆能源开发有限公司新能源东疆分公司 一种叉车智能紧急避险辅助系统
CN115941909B (zh) * 2023-02-14 2023-05-09 徐工汉云技术股份有限公司 行车的安全监控系统、方法与装置
CN116090932B (zh) * 2023-04-10 2023-06-23 安徽江天大数据科技股份有限公司 智慧叉车管理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013132621A1 (ja) * 2012-03-07 2013-09-12 トヨタ自動車株式会社 運転支援装置及び運転支援方法
CN104057944A (zh) * 2014-06-26 2014-09-24 云南昆船智能装备有限公司 一种叉车的半自动行驶控制系统及方法
JP5645103B2 (ja) * 2010-05-17 2014-12-24 いすゞ自動車株式会社 先行車検知装置
CN104812647A (zh) * 2012-11-29 2015-07-29 丰田自动车株式会社 驾驶辅助装置以及驾驶辅助方法
CN104884380A (zh) * 2013-12-27 2015-09-02 株式会社小松制作所 叉车及叉车的控制方法
CN105015548A (zh) * 2015-07-23 2015-11-04 江苏大学 一种纵向避撞提醒和自动跟随集成系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4858574B2 (ja) * 2009-05-19 2012-01-18 トヨタ自動車株式会社 物体検出装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5645103B2 (ja) * 2010-05-17 2014-12-24 いすゞ自動車株式会社 先行車検知装置
WO2013132621A1 (ja) * 2012-03-07 2013-09-12 トヨタ自動車株式会社 運転支援装置及び運転支援方法
CN104812647A (zh) * 2012-11-29 2015-07-29 丰田自动车株式会社 驾驶辅助装置以及驾驶辅助方法
CN104884380A (zh) * 2013-12-27 2015-09-02 株式会社小松制作所 叉车及叉车的控制方法
CN104057944A (zh) * 2014-06-26 2014-09-24 云南昆船智能装备有限公司 一种叉车的半自动行驶控制系统及方法
CN105015548A (zh) * 2015-07-23 2015-11-04 江苏大学 一种纵向避撞提醒和自动跟随集成系统及方法

Also Published As

Publication number Publication date
CN107031629A (zh) 2017-08-11

Similar Documents

Publication Publication Date Title
CN107031629B (zh) 一种3d机器视觉叉车行驶辅助安全系统及方法
KR101996419B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
CN106485950B (zh) 用于后方交叉车流规避的方法和设备
US8952799B2 (en) Method and system for warning a driver of a vehicle about potential obstacles behind the vehicle
CN202624201U (zh) 一种车用行人检测智能控制装置
CN106448190B (zh) 高速公路自车周围车流量实时监测预警装置及方法
CN105216727A (zh) 一种车辆距离探测主动安全系统和控制方法
CN106828388A (zh) 针对行人的车辆主动报警系统及方法和车辆
CN107399290A (zh) 安全驾驶辅助系统及其控制方法
CN105564307A (zh) 车辆侧转弯安全提醒装置及方法
KR101478068B1 (ko) 차량 충돌 방지 장치 및 그 방법
CN102785660A (zh) 车辆防碰撞预警装置
CN207867669U (zh) 驾驶员疲劳预警系统以及车辆
CN112373467A (zh) 无人驾驶汽车的智能避障系统
CN112477854A (zh) 一种基于车辆盲区的监控预警装置及方法
CN110667536A (zh) 一种列车aeb系统弯道控制决策方法
CN113470433A (zh) 基于v2i的车辆内轮差区域危险预警方法、系统、车辆及路侧设备
CN112793507A (zh) 基于惯性器件感知车辆右转运动特性的盲区预警制动系统
CN107472127A (zh) 基于双目测距的汽车侧面图像检测方法及系统
CN109747537A (zh) 一种汽车无人驾驶预警系统
CN207106492U (zh) 动态监测全方位汽车防撞预警系统
JP4982353B2 (ja) 外界認識装置
CN204367999U (zh) 盾构施工电瓶车安全驾驶警示控制系统
US11608070B2 (en) System and method for monitoring driver
CN113470432A (zh) 基于v2v的车辆内轮差区域危险预警方法、系统及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant