CN112784746A - 一种卡车散装物料自动装车辅助系统及其操作方法 - Google Patents

一种卡车散装物料自动装车辅助系统及其操作方法 Download PDF

Info

Publication number
CN112784746A
CN112784746A CN202110086160.2A CN202110086160A CN112784746A CN 112784746 A CN112784746 A CN 112784746A CN 202110086160 A CN202110086160 A CN 202110086160A CN 112784746 A CN112784746 A CN 112784746A
Authority
CN
China
Prior art keywords
layer
driver
image
automatic loading
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110086160.2A
Other languages
English (en)
Other versions
CN112784746B (zh
Inventor
张成伟
郭晓斌
张焱
刘林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sinoma Intelligent Technology Chengdu Co ltd
Original Assignee
Nanjing Kisen International Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Kisen International Engineering Co Ltd filed Critical Nanjing Kisen International Engineering Co Ltd
Priority to CN202110086160.2A priority Critical patent/CN112784746B/zh
Publication of CN112784746A publication Critical patent/CN112784746A/zh
Application granted granted Critical
Publication of CN112784746B publication Critical patent/CN112784746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G67/00—Loading or unloading vehicles
    • B65G67/02—Loading or unloading land vehicles
    • B65G67/04—Loading land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G67/00—Loading or unloading vehicles
    • B65G67/02—Loading or unloading land vehicles
    • B65G67/24—Unloading land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Toxicology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种卡车散装物料自动装车辅助系统及其操作方法，包括：图像识别层、控制系统层、图像标注层和司机操作层；图像识别层用于检测货车车厢大小及深度；控制系统层用于接收图像识别层检测到的相关信息并对下料器做出相应的控制；图像标注层用于将图像识别层识别的物料装车位置信息与现场监控视频叠加推送至司机手机端；司机操作层通过刷预约卡与控制系统层沟通，核对本次散装物料种类、数量、对应库位等信息；本发明能够引导散装车司机进行正确有序的驾驶操作以简化司机操作流程并降低人为误操作的几率；同时控制下料装置实现自动下料以提高装料速度、提升装料均匀性、减少水泥粉尘漂浮。

Description

一种卡车散装物料自动装车辅助系统及其操作方法
技术领域
本发明涉及一种卡车散装物料自动装车辅助系统及其操作方法。
背景技术
散装物料是水泥工厂产品输出的一种重要形式，其通过下料器，将物料装满货车车厢；其中，物料类型包括骨料、水泥两大类；散装物料在装运过程中，司机需要根据当前位置的料层状态，判断是否需要向前挪车，以便物料不会溢出并且更均匀的装满整个车厢；而在小颗粒物料装车过程中，下料器控制室内的工作人员还需要根据车厢深度，控制下料器高度，以防止粉尘漂浮。
现有的散装物料装车过程，由于司机无法便捷、准确地观察下料位置，为了能准确判断下料状态，司机需要不断确认下料器的位置，进而导致装料速度较慢，一不小心就会发生误操作而致使物料溢出或产生装料不均匀的现象，造成经济损失；此外，由于车厢内部物料与下料器存在观察盲区，无法准确控制下料器与车厢底部的距离，物料不可避免的存在泄漏，进而加剧了粉尘漂浮程度，亟需等待解决。
发明内容
针对上述现有技术的现状，本发明所要解决的技术问题在于提供一种能够引导散装车司机进行正确有序的驾驶操作以简化司机操作流程并降低人为误操作的几率，同时控制下料装置实现自动下料以提高装料速度、提升装料均匀性、减少水泥粉尘漂浮的卡车散装物料自动装车辅助系统及其操作方法。
本发明解决上述技术问题所采用的技术方案为：一种卡车散装物料自动装车辅助系统，其特征在于，包括：
图像识别层，用于检测货车车厢大小及深度；根据单位时间车厢料层涨幅预测下一时间料层位置；判断料层高度与下料器距离是否达到警戒值；判断料层高度是否达到挪车警戒线；判断料层高度是否达到溢出边缘警戒线；判断车厢挡板和下料器是否会碰撞；判断下料器是否到达车辆尾部挡板；
控制系统层，用于接收图像识别层检测到的相关信息，对下料器做出相应的控制；接收司机操作层的刷卡预约信息，判断本次下料类型，实现精准控制下料器；在全自动装车辅助系统中，还可控制货车底部移动平台在导轨上的移动；
图像标注层，用于将图像识别层识别的物料装车位置信息与现场监控视频叠加推送至司机手机端；
司机操作层，通过刷预约卡与控制系统层沟通，核对本次散装物料种类、数量、对应库位等信息；通过手机扫描现场的视频二维码链接以进入系统；并在下料过程中，根据图像标注层反馈的提示信息，控制货车前进、停止，完成装货过程。
进一步地，所述图像识别层硬件上包括多台视频监控相机和图像分析服务器，所述视频监控相机根据现场位置情况固定在下料器四周；所述视频监控相机安装角度选择以能够观察到物料和货车挡板相对位置为准；所述视频监控相机通过以太网口与图像分析服务器建立双向通讯。
进一步地，所述图像标注层包括电子屏或二维码标识、司机的手机端、支持高清视频传输的网络、视频发布服务器；所述电子屏上显示该库位的自动装车辅助系统登陆二维码和司机引导操作说明，待用户进入系统后，所述电子屏和司机的手机端均可同步显示车辆周边的视频监控图像识别实时画面。
进一步地，还包括控制系统层，所述控制系统层包括下料器控制系统、ERP、MES、DCS通讯系统、图像识别规则库；所述ERP和MES用于司机刷预约卡后相关信息查询；所述DCS通讯系统用于根据图像识别情况，自动控制下料流量、下料器位置等控制方法；所述图像识别规则库用于定义、修改、保存图像识别后的控制规则及具体参数。
一种卡车散装物料自动装车辅助系统的操作方法，其特征在于，包括以下步骤：
S1：司机到达对应的车道，手机扫描二维码；
S2：手机打开二维码对应链接，进入到该车道的装车辅助系统，系统显示本次装料信息供司机核对；
S3：系统根据预先设定好的车道类型，决定进入全自动装车辅助模块，还是半自动装车辅助模块；
S4：若步骤S3中进入的是半自动装车辅助模块，则司机根据系统提示进行车辆移动控制；否则由系统和移动平台控制车辆移动；
进一步地，所述步骤S1中的手机扫描二维码，系统在后台运行还包括以下步骤：
S11：根据车道及视频监控分配IP地址；
S12：将视频监控通过流媒体协议接入系统；
S13：系统通过网络发布，生成对应车道的实时视频链路；
S14：根据实时视频链路生成二维码；
S15：将生成的二维码放置于对应的车道上；
进一步地，所述步骤S4的运行借助于图像识别层和控制系统层，若所述步骤S3进入的是半自动装车辅助模块，则步骤S4的运行还借助于司机操作层，所述步骤S3和步骤S4在各层之间相互配合以完成下料操作，包括以下步骤：
S31：图像识别层检测货车车厢大小及深度；
S32：控制系统层落下料器到车厢计算距离，并开始下料；
S33：图像识别层计算单位时间料层涨幅，并预测下一时刻料层位置；
S34：图像标注层标注料层边缘当前位置，和步骤S33得到的下一时刻位置；
S35：图像识别层判断料层与下料器距离是否达到警戒值，若达到警戒值，则转到步骤S36，否则转到步骤S37；
S36：控制系统层控制下料器向上提升一段距离；
S37：图像识别层判断料层在当前位置车厢中的高度是否达到警戒线，若达到则转到步骤S38，否则转到步骤S39；
S38：若步骤S3进入的是半自动装车辅助模块，图像标注层在司机手机终端报警并提示司机向前挪车，同时现场电子屏同步司机手机终端信息；若步骤S3进入的是全自动装车辅助模块，控制系统层控制车辆下方移动平台向前移动。
S39：图像识别层判断料层是否达到溢出边缘警戒线，若达到溢出边缘警戒线则减缓下料速度，否则转到步骤S40；
S40：图像识别层判断车厢挡板和下料器是否会碰撞，若会产生碰撞则转到步骤S41，否则转到步骤S43；
S41：控制系统抬升下料器到合适位置；
S42：若步骤S3进入的是半自动装车辅助模块，图像标注层在司机手机终端报警并提示司机向前挪车，同时现场电子屏同步司机手机终端信息；若步骤S3进入的是全自动装车辅助模块，控制系统层控制车辆下方移动平台向前移动。
S43：图像识别层判断下料器是否到达车辆尾部挡板，若到达车辆尾部挡板，则转到步骤S44，否则转到步骤S33；
S44：控制系统停止下料；
S45：图像标注层提示司机完成取货，可以驶离下料库；
S46：司机完成装货，离场。
与现有技术相比，本发明具有以下有益效果：
本发明能够引导散装车司机进行正确有序的驾驶操作以简化司机操作流程并降低人为误操作的几率；同时控制下料装置实现自动下料以提高装料速度、提升装料均匀性、减少水泥粉尘漂浮。
附图说明
图1为本发明的结构原理
图2为本发明的半自动装车辅助模块的运行逻辑原理图；
图3为本发明的全自动装车辅助模块的运行逻辑原理图。
具体实施方式
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
为了保持本发明实施例的以下说明清楚且简明，本发明省略了已知功能和已知部件的详细说明。
如图1～2所示，一种卡车散装物料自动装车辅助系统，包括：图像识别层、控制系统层、图像标注层、司机操作层。
图像识别层用于检测货车车厢大小及深度，根据单位时间车厢料层涨幅预测下一时间料层位置；判断料层高度与下料器距离是否达到警戒值；判断料层高度是否达到挪车警戒线；判断料层高度是否达到溢出边缘警戒线；判断车厢挡板和下料器是否会碰撞；判断下料器是否到达车辆尾部挡板。
控制系统层用于接收图像识别层检测到的相关信息，对下料器做出相应的控制，例如启停下料、升降下料器、控制下料速度；此外，接收司机操作层的刷卡预约信息，判断本次下料类型，实现精准控制下料器；在全自动装车辅助系统中，控制系统层还控制货车底部移动平台在导轨上的移动，例如前进、倒退、停止。
图像标注层用于将图像识别层识别的物料装车位置信息(例如料层位置预测、料层溢出预警、下料器碰撞报警、装料完成提示等)与现场监控视频叠加推送至司机手机端；司机手机端接收到实时监控视频和对应的信息和提示包括：料层边缘实时位置及下一时刻位置刻度线、料层到达边缘位置预警、向前挪车提示、下料完成提示。
司机操作层，通过刷预约卡与控制系统层沟通，核对本次散装物料种类、数量、对应库位等信息；手机扫描现场的视频的二维码链接进入该系统；下料过程中，根据图像标注层反馈的提示信息，控制货车前进、停止，完成装货过程。
图像识别层包括多台视频监控相机和图像分析服务器，视频监控相机根据现场位置情况固定在下料器四周；视频监控相机安装角度选择以能够观察到物料和货车挡板相对位置为准；视频监控相机通过以太网口与图像分析服务器建立双向通讯；针对现场光线不足的问题，在下料器上方安装补光灯。
图像标注层包括电子屏或二维码标识、司机的手机端、支持高清视频传输的网络、视频发布服务器；电子屏上显示该库位的自动装车辅助系统登陆二维码和司机引导操作说明，待用户进入系统后，电子屏和司机的手机端上均会同步显示车辆周边的视频监控图像识别实时画面。
一种卡车散装物料自动装车辅助系统，还包括控制系统层，控制系统层包括下料器控制系统、ERP、MES、DCS通讯系统、图像识别规则库。其中ERP、MES通讯系统用于司机刷预约卡后相关信息查询；DCS通讯系统用于根据图像识别情况，自动控制下料流量、下料器位置等控制方法；图像识别规则库用于定义、修改、保存图像识别后的控制规则及具体参数。
一种卡车散装物料自动装车辅助系统的操作方法，包括以下步骤：
S1：司机到达对应的车道，手机扫描二维码；
S2：手机打开二维码对应链接，进入到该车道的装车辅助系统，系统显示本次装料信息供司机核对；
S3：系统根据预先设定好的车道类型，决定进入全自动装车辅助模块，还是半自动装车辅助模块；
S4：若步骤S3中进入的是半自动装车辅助模块，则司机根据系统提示进行车辆移动控制；否则由系统和移动平台控制车辆移动；
步骤S1中的手机在扫描二维码后，系统在后台运行还包括以下步骤：
S11：根据车道及视频监控分配IP地址；
S12：将视频监控通过流媒体协议接入系统；
S13：系统通过网络发布，生成对应车道的实时视频链路；
S14：根据实时视频链路生成二维码；
S15：将生成的二维码放置于对应的车道上。
步骤S4的运行借助于图像识别层和控制系统层，若通过步骤S3进入的是半自动装车辅助模块，则步骤S4的运行还借助于司机操作层，S3和S4在以上各层之间相互配合完成下料操作，包括以下步骤：
S31：图像识别层检测货车车厢大小及深度；
S32：控制系统层落下料器到车厢计算距离，并开始下料；
S33：图像识别层计算单位时间料层涨幅，并预测下一时刻料层位置；
S34：图像标注层标注料层边缘当前位置，和步骤S33得到的下一时刻位置；
S35：图像识别层判断料层与下料器距离是否达到警戒值，若达到警戒值，则转到步骤S36，否则转到步骤S37；
S36：控制系统层控制下料器向上提升一段距离；
S37：图像识别层判断料层在当前位置车厢中的高度是否达到警戒线，若达到则转到步骤S38，否则转到步骤S39；
S38：若步骤S3进入的是半自动装车辅助模块，图像标注层在司机手机终端报警并提示司机向前挪车，同时现场电子屏同步司机手机终端信息；若步骤S3进入的是全自动装车辅助模块，控制系统层控制车辆下方移动平台向前移动。
S39：图像识别层判断料层是否达到溢出边缘警戒线，若达到溢出边缘警戒线则减缓下料速度，否则转到步骤S40；
S40：图像识别层判断车厢挡板和下料器是否会碰撞，若会产生碰撞则转到步骤S41，否则转到步骤S43；
S41：控制系统抬升下料器到合适位置；
S42：若步骤S3进入的是半自动装车辅助模块，图像标注层在司机手机终端报警并提示司机向前挪车，同时现场电子屏同步司机手机终端信息；若步骤S3进入的是全自动装车辅助模块，控制系统层控制车辆下方移动平台向前移动。
S43：图像识别层判断下料器是否到达车辆尾部挡板，若到达车辆尾部挡板，则转到步骤S44，否则转到步骤S33；
S44：控制系统停止下料；
S45：图像标注层提示司机完成取货，可以驶离下料库；
S46：司机完成装货，离场。
实施例1：
以半自动装车辅助系统为例，如图3所示：司机扫码库位入口处电子屏上的自动装车辅助系统的二维码，进入该系统；系统实时显示车辆在下料库中的位置视频；司机下车刷预约卡，控制系统层读取卡片上本次装车库位、物料种类、数量。控制系统核实本次装车物料类型和系统是否相符；若本处装车物料和系统不符合，则预警司机开到对应的下料点，若相符则提示司机将车辆行驶到本库位中指定位置；司机对照该视频停靠货车到指定位置。当货车停靠到指定位置后，图像识别层检测货车车厢深度，并开始下料；当下料开始2分钟后，图像识别层计算每分钟料层涨幅，并预测下一分钟料层位置；图像标注层标注料层边缘当前位置及预测到的下一分钟料层位置；若本次装车物料表面需要与下料器保持固定距离，则图像识别层还需要判断料层表面与下料器距离是否达到警戒值，若达到警戒值，控制系统层控制下料器向上提升一段距离；随着料层不断的上升，图像识别层判断料层厚度在车厢高度占比；控制系统层按照设定报警范围等级阈值(本实施例中[80％，85％，90％])进行分级报警；若达到挪车警戒线，则图像标注层在司机手机终端报警并提示司机向前挪车，同时现场电子屏同步司机手机终端报警信息；此时，司机向前挪车一段距离。为防止料层不断上升且司机未及时挪车，图像识别层需要判断料层是否达到溢出边缘警戒线，若达到溢出边缘警戒线，则减缓下料速度，同时图像标注层在司机手机终端报警并提示司机向前挪车，此时，现场电子屏同步司机手机终端信息；司机接收到报警提示，向前挪车一段距离；在新的位置继续下料。随着货车不断前移，图像识别层判断下料器是否到达车辆尾部挡板，若到达车辆尾部挡板，则控制系统停止下料，同时图像标注层提示司机完成取货，可以驶离下料库，司机完成装货，离场。
实施例2：
以全自动装车辅助系统为例，本发明具体的工作流程如下：首先，司机扫码库位入口处电子屏上的自动装车辅助系统的二维码，进入该系统。系统实时显示车辆在下料库中的位置视频；司机下车刷预约卡，控制系统层读取卡片上本次装车库位、物料种类、数量；控制系统核实本次装车物料类型和系统是否相符；若本处装车物料和系统不符合，则预警司机开到对应的下料点，若相符则提示司机将车辆行驶到本库位中指定位置；司机对照该视频停靠货车到指定位置；当货车停靠到指定位置后，图像识别层检测货车车厢深度，并开始下料。当下料开始2分钟后，图像识别层计算每分钟料层涨幅，并预测下一分钟料层位置。图像标注层标注料层边缘当前位置及预测到的下一分钟料层位置；若本次装车物料表面需要与下料器保持固定距离，则图像识别层还需要判断料层表面与下料器距离是否达到警戒值，若达到警戒值，控制系统层控制下料器向上提升一段距离；随着料层不断的上升，图像识别层判断料层厚度在车厢高度占比；控制系统层按照设定报警范围等级阈值(本实施例中[80％，85％，90％])进行分级报警；若达到挪车警戒线，控制系统控制移动平台向前移动；为防止料层不断上升且司机未及时挪车，图像识别层需要判断料层是否达到溢出边缘警戒线，若达到溢出边缘警戒线，则减缓下料速度，发送移动平台向前移动的指令到控制系统层；此时，控制系统控制移动平台向前移动，并在新的位置继续下料；随着货车不断前移，图像识别层判断下料器是否到达车辆尾部挡板，若到达车辆尾部挡板，则控制系统停止下料，同时图像标注层提示司机完成取货，可以驶离下料库，司机完成装货，离场。
下面针对图像识别层的深度检测算法做详细说明：
首先需要对下料器上固定的相机进行内外参数标定，标定方法如下：
相机内参的标定，在下料器正下方100cm处放置棋10*10的棋盘格图，每个相机拍摄多张图片，在OpenCV(机器视觉开源库)安装目录中找到camera_calibration/in_VID5.xml文件，输入1.棋盘格的宽度和高度10*10，2.每格的宽度10cm*10cm，传入配置文件到OpenCV API中，运行得到摄像机的内参包括，fx,fy,cx,cy,以及畸变系数[k1,k2,p1,p2,k3]。
相机外参的标定：利用标定好的内参对两台相机拍摄的棋盘格图进行畸变校正，使用OpenCV中的光流法提取匹配特征点对，pts1和pts2，利用特征点对pts1和pts2，以及内参矩阵camK，解算出本质矩阵E。最后，利用本质矩阵E解算出两个摄像机之间的Rotation和Translation，也就是两个摄像机之间的外参。
接着使用双目图像进行校正，1.畸变校正：输入上面得到的畸变系数进行畸变校正；2.立体校正：输入上一步骤两台相机内参数矩阵、畸变系数Rotation和Translation，使用OpenCv立体校正函数stereoRectify()对两幅图像进行立体对极线校正，输出两个相机的立体校正需要的结果R和T，用R1,T1,R2,T2表示，以及透视投影矩阵P1，P2。得到上述参数后，使用initUndistortRectifyMap()函数进行立体校正。
接着进行立体匹配，使用SGBM算法获取视察图，SGBM采用水平Sobel算子，把图像做处理，公式为
Sobel(x,y)＝2[P(x+1,y)-P(x-1,y)]+P(x+1,y-1)-P(x-1,y-1)+P(x+1,y+1)-P(x-1,y+1)
用以下映射函数将经过水平Sobel算子处理后的图像上每个像素点(P表示其像素值)映射成一个新的图像：PNEW表示新图像上的像素值。
映射函数：
Figure BDA0002910914470000111
preFilterCap为一个常数参数，缺省情况下取15，案例中取63。本例中使用OpenCV中的cv::StereoSGBM::create进行计算，得到左右视差图。
最后，将视差图转换为深度图，视差的单位是像素(pixel)，深度的单位往往是毫米(mm)表示。而根据平行双目视觉的几何关系，可以得到下面的视差与深度的转换公式：
depth＝(f*baseline)/disp
上式中，depth表示深度图；f表示归一化的焦距，也就是内参中的fx；baseline是两个相机光心之间的距离，称作基线距离；disp是视差值。等式后面的均已知，深度值即可算出。同样，使用OpenCV中disp2Depth函数将视差图转换为深度图。
下面针对所述图像识别层的边缘检测算法做详细说明：
首先，在OpenCV中使用边缘检测算子Canny算子，颜色变化选择从白色到黑色，阈值取10，按照峰值点选点，识别出的边缘线使用7个单位的绿波长度，得到图像分割两个边缘。然后，使用distance函数计算两条边缘线之间的像素距离。
综上，本发明能够引导散装车司机进行正确有序的驾驶操作以简化司机操作流程并降低人为误操作的几率；同时控制下料装置实现自动下料以提高装料速度、提升装料均匀性、减少水泥粉尘漂浮。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行同等替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神与范围。

Claims (7)

1.一种卡车散装物料自动装车辅助系统，其特征在于，包括：
图像识别层，用于检测货车车厢大小及深度；根据单位时间车厢料层涨幅预测下一时间料层位置；判断料层高度与下料器距离是否达到警戒值；判断料层高度是否达到挪车警戒线；判断料层高度是否达到溢出边缘警戒线；判断车厢挡板和下料器是否会碰撞；判断下料器是否到达车辆尾部挡板；
控制系统层，用于接收图像识别层检测到的相关信息，对下料器做出相应的控制；接收司机操作层的刷卡预约信息，判断本次下料类型，实现精准控制下料器；在全自动装车辅助系统中，还可控制货车底部移动平台在导轨上的移动；
图像标注层，用于将图像识别层识别的物料装车位置信息与现场监控视频叠加推送至司机手机端；
司机操作层，通过刷预约卡与控制系统层沟通，核对本次散装物料种类、数量、对应库位等信息；通过手机扫描现场的视频二维码链接以进入系统；并在下料过程中，根据图像标注层反馈的提示信息，控制货车前进、停止，完成装货过程。
2.根据权利要求1所述的一种卡车散装物料自动装车辅助系统，其特征在于：所述图像识别层硬件上包括多台视频监控相机和图像分析服务器，所述视频监控相机根据现场位置情况固定在下料器四周；所述视频监控相机安装角度选择以能够观察到物料和货车挡板相对位置为准；所述视频监控相机通过以太网口与图像分析服务器建立双向通讯。
3.根据权利要求1所述的一种卡车散装物料自动装车辅助系统，其特征在于：所述图像标注层包括电子屏或二维码标识、司机的手机端、支持高清视频传输的网络、视频发布服务器；所述电子屏上显示该库位的自动装车辅助系统登陆二维码和司机引导操作说明，待用户进入系统后，所述电子屏和司机的手机端均可同步显示车辆周边的视频监控图像识别实时画面。
4.根据权利要求1所述的一种卡车散装物料自动装车辅助系统，其特征在于：还包括控制系统层，所述控制系统层包括下料器控制系统、ERP、MES、DCS通讯系统、图像识别规则库；所述ERP和MES用于司机刷预约卡后相关信息查询；所述DCS通讯系统用于根据图像识别情况，自动控制下料流量、下料器位置等控制方法；所述图像识别规则库用于定义、修改、保存图像识别后的控制规则及具体参数。
5.一种卡车散装物料自动装车辅助系统的操作方法，其特征在于，包括以下步骤：
S1：司机到达对应的车道，手机扫描二维码；
S2：手机打开二维码对应链接，进入到该车道的装车辅助系统，系统显示本次装料信息供司机核对；
S3：系统根据预先设定好的车道类型，决定进入全自动装车辅助模块，还是半自动装车辅助模块；
S4：若步骤S3中进入的是半自动装车辅助模块，则司机根据系统提示进行车辆移动控制；否则由系统和移动平台控制车辆移动。
6.根据权利要求5所述的一种卡车散装物料自动装车辅助系统的操作方法，其特征在于：所述步骤S1中的手机扫描二维码，系统在后台运行还包括以下步骤：
S11：根据车道及视频监控分配IP地址；
S12：将视频监控通过流媒体协议接入系统；
S13：系统通过网络发布，生成对应车道的实时视频链路；
S14：根据实时视频链路生成二维码；
S15：将生成的二维码放置于对应的车道上。
7.根据权利要求5所述的一种卡车散装物料自动装车辅助系统的操作方法，其特征在于：所述步骤S4的运行借助于图像识别层和控制系统层，若所述步骤S3进入的是半自动装车辅助模块，则步骤S4的运行还借助于司机操作层，所述步骤S3和步骤S4在各层之间相互配合以完成下料操作，包括以下步骤：
S31：图像识别层检测货车车厢大小及深度；
S32：控制系统层落下料器到车厢计算距离，并开始下料；
S33：图像识别层计算单位时间料层涨幅，并预测下一时刻料层位置；
S34：图像标注层标注料层边缘当前位置，和步骤S33得到的下一时刻位置；
S35：图像识别层判断料层与下料器距离是否达到警戒值，若达到警戒值，则转到步骤S36，否则转到步骤S37；
S36：控制系统层控制下料器向上提升一段距离；
S37：图像识别层判断料层在当前位置车厢中的高度是否达到警戒线，若达到则转到步骤S38，否则转到步骤S39；
S38：若步骤S3进入的是半自动装车辅助模块，图像标注层在司机手机终端报警并提示司机向前挪车，同时现场电子屏同步司机手机终端信息；若步骤S3进入的是全自动装车辅助模块，控制系统层控制车辆下方移动平台向前移动。
S39：图像识别层判断料层是否达到溢出边缘警戒线，若达到溢出边缘警戒线则减缓下料速度，否则转到步骤S40；
S40：图像识别层判断车厢挡板和下料器是否会碰撞，若会产生碰撞则转到步骤S41，否则转到步骤S43；
S41：控制系统抬升下料器到合适位置；
S42：若步骤S3进入的是半自动装车辅助模块，图像标注层在司机手机终端报警并提示司机向前挪车，同时现场电子屏同步司机手机终端信息；若步骤S3进入的是全自动装车辅助模块，控制系统层控制车辆下方移动平台向前移动。
S43：图像识别层判断下料器是否到达车辆尾部挡板，若到达车辆尾部挡板，则转到步骤S44，否则转到步骤S33；
S44：控制系统停止下料；
S45：图像标注层提示司机完成取货，可以驶离下料库；
S46：司机完成装货，离场。
CN202110086160.2A 2021-01-22 2021-01-22 一种卡车散装物料自动装车辅助系统及其操作方法 Active CN112784746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110086160.2A CN112784746B (zh) 2021-01-22 2021-01-22 一种卡车散装物料自动装车辅助系统及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110086160.2A CN112784746B (zh) 2021-01-22 2021-01-22 一种卡车散装物料自动装车辅助系统及其操作方法

Publications (2)

Publication Number Publication Date
CN112784746A true CN112784746A (zh) 2021-05-11
CN112784746B CN112784746B (zh) 2023-09-05

Family

ID=75758557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110086160.2A Active CN112784746B (zh) 2021-01-22 2021-01-22 一种卡车散装物料自动装车辅助系统及其操作方法

Country Status (1)

Country Link
CN (1) CN112784746B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113184571A (zh) * 2021-05-24 2021-07-30 中建材（合肥）粉体科技装备有限公司 一种水泥熟料散装下料控制装置的控制方法
CN113307053A (zh) * 2021-06-03 2021-08-27 中材天山(云浮)水泥有限公司 一种散装熟料自动装车控制系统
CN113562478A (zh) * 2021-07-16 2021-10-29 安徽海螺信息技术工程有限责任公司 散装物料定量装车防作弊一体化系统
CN114084693A (zh) * 2021-11-12 2022-02-25 中车长江运输设备集团有限公司 一种用于集装箱多式联运的集卡操作站控制系统
CN115092705A (zh) * 2022-07-04 2022-09-23 中国电建集团西北勘测设计研究院有限公司 一种散装物资装车方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111487918A (zh) * 2020-04-26 2020-08-04 天地科技股份有限公司 基于多线激光雷达的散料无人装车控制方法、系统和装置
CN111942918A (zh) * 2020-08-17 2020-11-17 天地科技股份有限公司 一种汽车全自动装车站卸料的方法
CN112193850A (zh) * 2020-10-15 2021-01-08 大连宇通科技有限公司 一种分步式无人装车系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111487918A (zh) * 2020-04-26 2020-08-04 天地科技股份有限公司 基于多线激光雷达的散料无人装车控制方法、系统和装置
CN111942918A (zh) * 2020-08-17 2020-11-17 天地科技股份有限公司 一种汽车全自动装车站卸料的方法
CN112193850A (zh) * 2020-10-15 2021-01-08 大连宇通科技有限公司 一种分步式无人装车系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113184571A (zh) * 2021-05-24 2021-07-30 中建材（合肥）粉体科技装备有限公司 一种水泥熟料散装下料控制装置的控制方法
CN113307053A (zh) * 2021-06-03 2021-08-27 中材天山(云浮)水泥有限公司 一种散装熟料自动装车控制系统
CN113562478A (zh) * 2021-07-16 2021-10-29 安徽海螺信息技术工程有限责任公司 散装物料定量装车防作弊一体化系统
CN113562478B (zh) * 2021-07-16 2023-08-29 安徽海螺信息技术工程有限责任公司 散装物料定量装车防作弊一体化系统
CN114084693A (zh) * 2021-11-12 2022-02-25 中车长江运输设备集团有限公司 一种用于集装箱多式联运的集卡操作站控制系统
CN115092705A (zh) * 2022-07-04 2022-09-23 中国电建集团西北勘测设计研究院有限公司 一种散装物资装车方法及系统

Also Published As

Publication number Publication date
CN112784746B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN112784746A (zh) 一种卡车散装物料自动装车辅助系统及其操作方法
US20230350416A1 (en) Method, system and related device of implementing vehicle automatic loading and unloading
CN100537402C (zh) 集装箱起重机的集卡车对位系统和方法
KR101058594B1 (ko) 컨테이너 하역 시스템 및 그 방법
CN102450005A (zh) 校正目标检测装置、检测校正目标的校正目标检测方法以及用于校正目标检测装置的程序
US11964833B2 (en) Camera-enabled loader system and method
US20230196767A1 (en) Method for the physical, in particular optical, detection of at least one usage object
CN114708209A (zh) 一种基于3d建模和视觉检测的生产交互方法及系统
KR20230091906A (ko) 양안시와 대칭성을 기반으로 한 오프셋 검출 방법
CN111301911A (zh) 一种用于堆垛机的视觉逻辑控制方法
CN117237616B (zh) 一种钢板堆场的物料调运扫描识别系统及方法
CN115953726B (zh) 机器视觉的集装箱箱面破损检测方法和系统
JP2020109030A (ja) 判定装置、判定方法及びプログラム
CN115180312B (zh) 集装箱拆装锁引导方法、装置、系统和自动拆装锁站
CN105335779B (zh) 数卡器及使用数卡器进行数卡的方法
KR102623674B1 (ko) 코팅 갭 자동 조절 기능을 갖는 슬롯 다이 코터
US20220228341A1 (en) System and method therein for remote operation of a working machine comprising a tool
CN105159300B (zh) 一种集卷站控制系统及方法
CN113673435A (zh) 一种钢卷标签的识别方法以及钢卷标签的识别系统
CN110598491A (zh) 物料标签识别装置
CN114602744B (zh) 一种太阳能板灌胶机
CN116513830B (zh) 一种智能仓储装卸系统及其控制方法
KR100882944B1 (ko) 무인운송장치의 정차제어방법
KR100882945B1 (ko) 무인운송장치의 정차제어방법
JP7037155B2 (ja) コンテナ損傷検査装置およびコンテナ損傷検査方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230810

Address after: No. 320 and 436 Pingtang East Road, Puxing Street, Xinjin District, Chengdu City, Sichuan Province, 611400

Applicant after: Sinoma Intelligent Technology (Chengdu) Co.,Ltd.

Address before: No.303, Hanzhongmen street, Gulou District, Nanjing City, Jiangsu Province, 210000

Applicant before: NANJING KISEN INTERNATIONAL ENGINEERING Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant