CN116167534A - 基于机器学习和计算机视觉的自动化码头安全控制方法 - Google Patents

基于机器学习和计算机视觉的自动化码头安全控制方法 Download PDF

Info

Publication number
CN116167534A
CN116167534A CN202211330909.4A CN202211330909A CN116167534A CN 116167534 A CN116167534 A CN 116167534A CN 202211330909 A CN202211330909 A CN 202211330909A CN 116167534 A CN116167534 A CN 116167534A
Authority
CN
China
Prior art keywords
attribute
grid
stereoscopic
convergence
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211330909.4A
Other languages
English (en)
Other versions
CN116167534B (zh
Inventor
崔迪
魏宏大
孙国庆
占小跳
李筠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Waterborne Transport Research Institute
Original Assignee
China Waterborne Transport Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Waterborne Transport Research Institute filed Critical China Waterborne Transport Research Institute
Priority to CN202211330909.4A priority Critical patent/CN116167534B/zh
Publication of CN116167534A publication Critical patent/CN116167534A/zh
Application granted granted Critical
Publication of CN116167534B publication Critical patent/CN116167534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G63/00—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations
    • B65G63/02—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations with essentially horizontal transit otherwise than by bridge
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于机器学习和计算机视觉的自动化码头安全控制方法，其包括：获取自动化码头的码头布局数据，并基于码头布局数据和目标物品的包装尺寸将自动化码头分为若干个立体网格，然后基于环境感测数据和环境图像数据设置每个立体网格的网格属性。基于目标物品的物品属性和立体网格的网格属性获取目标物品的起始立体网格和终止立体网格，并根据目标物品的物品存放属性、物品积极属性和物品消极属性构建目标物品的属性收敛域。根据立体网格的网格属性获取所有的第二立体网格，将起始立体网格、终止立体网格和所有第二立体网格输入预先训练好的安全装卸模型以输出目标物品的安全装卸轨迹。

Description

基于机器学习和计算机视觉的自动化码头安全控制方法
技术领域
本发明涉及机器学习和码头运输轨迹规划，具体为一种基于机器学习和计算机视觉的自动化码头安全控制方法。
背景技术
自动化危险货物集装箱装卸码头利用自动化控制科学技术，通过自动化控制系统控制自动化岸边作业机械、水平运输机械及堆场作业机械，实现码头自动装卸船、集装箱卡车进提箱等工作任务。
自动化码头在智能化、稳定性、环保性、减少人机混合作业方面均有明显优势。自动化码头无人区域内所有设备全自动化作业，自动化集装箱码头的安全合规工作面向的是整个自动化码头而非单一或部分范围，因此，全局装卸调度对自动化码头来说非常重要。
自动化码头的装卸调度涉及多方面的数据信息。专利公开号（CN113486293A）“全自动化边装卸集装箱码头的智能水平运输系统及方法”公开了，利用高精地图技术构建码头道路拓扑结构，结合实时道路信息和水平运输设备的大角度转弯、蟹行通行的运动学特征，运用动态路径规划算法，实时规划作业车辆的行驶路径，通过全局路径规划和局部精细化引导相结合的模式实现车车协同，确保水平运输交通稳定有序。
然而，有些危险物品或者易碎物品会由于物品本身固有的属性容易在码头装卸过程中带来安全隐患或者破坏物品。
因此，随着自动化码头越来越广泛，如何设计一种根据装卸物品的物品属性和自动码头的环境属性来设置装卸轨迹，避免物品属性与装卸过程中的环境属性不兼容带来的安全隐患或者物品被损坏是本领域技术人员亟待解决的问题。
发明内容
针对现有技术的不足，本发明提供了基于机器学习和计算机视觉的自动化码头安全控制方法，其包括：
在目标物品进行装卸之前，管理终端将目标物品的物品属性和包装尺寸发送到自动码头云服务器；所述物品属性包括物品存放属性、物品积极属性和物品消极属性；
图像传感器和感测传感器将实时采集的自动化码头的环境感测数据和环境图像数据发送到自动码头云服务器；
自动码头云服务器从数据库获取自动化码头的码头布局数据，并基于码头布局数据和目标物品的包装尺寸将自动化码头分为若干个立体网格，然后基于环境感测数据和环境图像数据设置每个立体网格的网格属性；所述网格属性包括网格感测属性和网格视觉属性；
自动码头云服务器基于目标物品的物品属性和立体网格的网格属性获取目标物品的起始立体网格和终止立体网格，并根据目标物品的物品存放属性、物品积极属性和物品消极属性构建目标物品的属性收敛域；
自动码头云服务器根据每个立体网格的网格感测属性获取每个立体网格的物品态势点，并计算每个立体网格的物品态势点与属性收敛域的收敛距离；将收敛距离小于收敛阈值的物品态势点对应的立体网格作为第一立体网格，并根据第一立体网格的网格视觉属性获取所有的第二立体网格；
自动码头云服务器将起始立体网格、终止立体网格和所有第二立体网格输入预先训练好的安全装卸模型以输出目标物品的安全装卸轨迹。
根据一个优选地实施例，所述物品积极属性为物品在存放时的积极属性，其包括：防水、耐高温、耐低温和防潮；所述物品消极属性为物品在存放时的消极属性，其包括：怕压、易燃、易爆、易碎、有毒、有腐蚀性、禁水、禁高温、禁低温和有放射性；所述物品存放属性为物品保存时所需的环境属性，其包括：向上、冷藏、常温和干燥。
根据一个优选地实施例，所述网格感测属性包括：温度、湿度、位置和液位；所述网格视觉属性用于标识对应立体网格是否被其他物品占用。
根据一个优选地实施例，自动码头云服务器根据目标物品的物品存放属性、物品积极属性和物品消极属性构建目标物品的属性收敛域包括：
自动码头云服务器分别对目标物品的物品存放属性、物品积极属性和物品消极属性进行边界收敛以获取目标物品的第一属性收敛边界、第二属性收敛边界和第三属性收敛边界；
自动码头云服务器通过共轭梯度法对第一属性收敛边界、第二属性收敛边界和第三属性收敛边界进行多自由度拟合以得到目标物品的属性收敛域。
根据一个优选地实施例，自动码头云服务器分别对目标物品的物品存放属性、物品积极属性和物品消极属性进行边界收敛以获取目标物品的第一属性收敛边界、第二属性收敛边界和第三属性收敛边界包括：
自动码头云服务器分别提取目标物品的每个物品存放属性的属性特征向量，并根据每个物品存放属性的属性特征向量获取每个物品存放属性的属性收敛点，然后通过三次样条曲线拟合法将所有物品存放属性的属性收敛点进行曲线拟合以获取目标物品的第一属性收敛边界；
自动码头云服务器分别提取目标物品的每个物品积极属性的属性特征向量，并根据每个物品积极属性的属性特征向量获取每个物品积极属性的属性收敛点，然后通过三次样条曲线拟合法将所有物品积极属性的属性收敛点进行曲线拟合以获取目标物品的第二属性收敛边界；
自动码头云服务器分别提取目标物品的每个物品消极属性的属性特征向量，并根据每个物品消极属性的属性特征向量获取每个物品消极属性的属性收敛点，然后通过三次样条曲线拟合法将所有物品消极属性的属性收敛点进行曲线拟合以获取目标物品的第三属性收敛边界。
根据一个优选地实施例，自动码头云服务器根据立体网格的网格感测属性获取立体网格的物品态势点包括：
自动码头云服务器提取目标物品的状态特征向量，并对状态特征向量进行状态特征分解得到目标物品的若干个状态分量，然后对每个状态分量进行键值特征分解以得到目标物品的每个状态分量的状态键向量和状态值向量；
自动码头云服务器获取立体网格的网格感测属性，并提取每个网格感测属性的属性特征得到立体网格的若干个属性分量，然后对每个属性分量进行键值特征分解得到立体网格的每个属性分量的属性键向量和属性值向量；
自动码头云服务器对目标物品的每个状态分量的状态键向量和状态值向量以及立体网格的每个属性分量的属性键向量和属性值向量进行分析得到立体网格的物品态势点。
根据一个优选地实施例，自动码头云服务器根据立体网格的网格感测属性获取立体网格的物品态势点包括：
自动码头云服务器根据每个状态分量的状态键向量和每个属性分量的属性键向量获取每个属性分量对每个状态分量的状态扰动方向；
自动码头云服务器根据每个状态分量的状态值向量和每个属性分量的属性值向量获取每个属性分量对每个状态分量的状态扰动距离；
自动码头云服务器根据每个属性分量对每个状态分量的状态扰动方向和每个属性分量对每个状态分量的状态扰动距离获取每个属性分量对每个状态分量的扰动特征向量，并根据每个属性分量对每个状态分量的扰动特征向量进行特征融合以得到目标物品在立体网格中的态势特征向量；
自动码头云服务器将目标物品在立体网格中的态势特征向量映射到多维特征空间以得到立体网格的物品态势点；所述立体网格的物品态势点用于表征目标物品在相应立体网格时的物品状态和物品状态的变化形势。
根据一个优选地实施例，自动码头云服务器根据第一立体网格的网格视觉属性获取所有的第二立体网格包括：
获取所有第一立体网格的网格视觉属性，并将网格视觉属性的属性值为0的第一立体网格作为第二立体网格；所述网格视觉属性的属性值包括0和1；在立体网格的网格视觉属性的属性值为0是表示相应立体网格处于空闲状态；在立体网格的网格视觉属性的属性值为1是表示相应立体网格处于占用状态。
根据一个优选地实施例，所述起始立体网格为目标物品当前所在的立体网格；所述终止立体网格为目标物品在装卸完成后所在的立体网格。
根据一个优选地实施例，将起始立体网格、终止立体网格和所有第二立体网格输入预先训练好的安全装卸模型输出目标物品的安全装卸轨迹包括：
安全装卸模型的输入层获取起始立体网格、终止立体网格和所有第二立体网格的位置点，并将起始立体网格的位置点和终止立体网格的位置点连接以得到装卸连接线，然后根据所有第二立体网格的位置点生成候选结构图；
安全装卸模型的关联层获取候选结构图的空间结构特征和时间结构特征，并对候选结构图的空间结构特征和时间结构特征进行特征融合以得到候选结构图的时序结构特征，然后获取装卸连接线的连接线特征；
安全装卸模型的输出层利用双线性函数对装卸连接线的连接线特征和候选结构图的时序结构特征进行特征交互以输出目标物品的安全装卸轨迹。
与现有技术相比，本发明提供的基于机器学习和计算机视觉的自动化码头安全控制方法，具备以下有益效果：
1、本申请通过考虑物品属性与环境属性来规划最适合目标物品的装卸轨迹从而避免了由于在装卸过程中目标物品的物品属性与装卸环境的环境属性不兼容导致物品受到损伤或者产生安全隐患的情况。
2、本申请在考虑物品属性时综合考虑了目标物品的物品积极属性、物品消极属性和物品存放属性来构建目标物品的属性收敛域，使得物品在存放和装卸时都能极大程度的保证物品安全从而提高了安全装卸轨迹的安全程度。
附图说明
图1为一示例性实施例提供的基于机器学习和计算机视觉的自动化码头安全控制方法。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
参见图1，在一个实施例中，基于机器学习和计算机视觉的自动化码头安全控制方法可以包括：
S1、在目标物品进行装卸之前，管理终端将目标物品的物品属性和包装尺寸发送到自动码头云服务器；图像传感器和感测传感器将实时采集的自动化码头的环境感测数据和环境图像数据发送到自动码头云服务器。
可选地，所述图像传感器为设置在码头各处用于采集码头环境图像的设备，其包括：枪型摄像机、一体化摄像机、半球形摄像机、鱼眼摄像机和针孔摄像机。
可选地，所述感测传感器为设置在码头各处用于采集码头感测数据的设备，其包括：温度感测器、湿度感测器、位置传感器和液位传感器。
可选地，所述管理终端为管理人员使用的具有通信功能和数据传输功能的设备，其包括：智能手机、平板电脑、台式电脑和笔记本电脑。
优选地，所述物品属性包括目标物品的物品存放属性、物品积极属性和物品消极属性；所述物品积极属性为物品在存放时的积极属性，其包括：防水、耐高温、耐低温和防潮；所述物品消极属性为物品在存放时的消极属性，其包括：怕压、易燃、易爆、易碎、有毒、有腐蚀性、禁水、禁高温、禁低温和有放射性；所述物品存放属性为物品保存时所需的环境属性，其包括：向上、冷藏、常温和干燥。
可选地，环境感测数据为表征自动化码头的感测，其包括自动化码头的温度、湿度和液位等。环境图像数据为用于描述自动化码头的环境的图像。
可选地，所述包装尺寸用于表征目标物品在装卸时的物品尺寸，例如在装卸木材时，将木材用集装箱进行包装，此时集装箱的尺寸就是木材的包装尺寸，此时目标物品就是用集装箱装好的木材。
S2、自动码头云服务器从数据库获取自动化码头的码头布局数据，并基于所述码头布局数据和目标物品的包装尺寸将自动化码头分为若干个立体网格，然后基于环境感测数据和环境图像数据设置每个立体网格的网格属性。
在一个实施例中，在将自动化码头分为若干个立体网格后，为每个立体网格标注网格编号，网格编号用于对立体网格进唯一标识。
可选地，所述目标物品为正在自动化码头进行装卸的物品，例如在码头装卸汽车的时候，目标物品就是汽车。
优选地，所述网格属性包括网格感测属性和网格视觉属性；所述网格感测属性包括：温度、湿度、位置和液位；所述网格视觉属性用于标识对应立体网格是否被其他物品占用。网格视觉属性的属性值包括0和1；在立体网格的网格视觉属性的属性值为0是表示相应立体网格处于空闲状态，即，该立体网格可以被用于存储目标物品或者目标物品可以途径该立体网格；在立体网格的网格视觉属性的属性值为1是表示相应立体网格处于占用状态，即，该立体网格被其他物品占据。
可选地，码头布局数据用于描述码头的地形情况。
可选地，立体网格为一个具有特定空间尺寸的三维立体空间；立体网格的空间尺寸与目标物品的包装尺寸相同。
S3、自动码头云服务器基于目标物品的物品属性和所有立体网格的网格属性获取目标物品的起始立体网格和终止立体网格。
可选地，所述起始立体网格为目标物品当前所在的立体网格；所述终止立体网格为目标物品在装卸完成后所在的立体网格。
S4、自动码头云服务器根据目标物品的物品存放属性、物品积极属性和物品消极属性构建目标物品的属性收敛域。
在一个实施例中，自动码头云服务器根据目标物品的物品存放属性、物品积极属性和物品消极属性构建目标物品的属性收敛域包括：
自动码头云服务器分别对目标物品的物品存放属性、物品积极属性和物品消极属性进行边界收敛以获取目标物品的第一属性收敛边界、第二属性收敛边界和第三属性收敛边界，并通过共轭梯度法对第一属性收敛边界、第二属性收敛边界和第三属性收敛边界进行多自由度拟合以得到目标物品的属性收敛域。
在一个实施例中，自动码头云服务器分别对目标物品的物品存放属性、物品积极属性和物品消极属性进行边界收敛以获取目标物品的第一属性收敛边界、第二属性收敛边界和第三属性收敛边界包括：
自动码头云服务器分别提取目标物品的每个物品存放属性的属性特征向量，并根据每个物品存放属性的属性特征向量获取每个物品存放属性的属性收敛点，然后通过三次样条曲线拟合法将所有物品存放属性的属性收敛点进行曲线拟合以获取目标物品的第一属性收敛边界；
自动码头云服务器分别提取目标物品的每个物品积极属性的属性特征向量，并根据每个物品积极属性的属性特征向量获取每个物品积极属性的属性收敛点，然后通过三次样条曲线拟合法将所有物品积极属性的属性收敛点进行曲线拟合以获取目标物品的第二属性收敛边界；
自动码头云服务器分别提取目标物品的每个物品消极属性的属性特征向量，并根据每个物品消极属性的属性特征向量获取每个物品消极属性的属性收敛点，然后通过三次样条曲线拟合法将所有物品消极属性的属性收敛点进行曲线拟合以获取目标物品的第三属性收敛边界。
在一个实施例中，根据每个物品存放属性的属性特征向量获取每个物品存放属性的属性收敛点包括：
遍历目标物品的所有物品存放属性，并将正在遍历的物品存放属性作为中心存放属性，然后将除了中心存放属性外的其他物品存放属性作为边缘存放属性；
根据中心存放属性和每个边缘存放属性的属性特征向量计算中心存放属性与每个边缘存放属性的关联方向，并将中心存放属性与所有边缘存放属性的关联方向进行方向合成得到中心存放属性的属性关联方向，然后构建中心存放属性在属性关联方向的状态攻击特征；
构建目标物品的状态约束条件，并获取目标物品的物品状态特征，然后根据中心存放属性在属性关联方向的状态攻击特征不断破坏目标物品的物品状态特征，直到目标物品的物品状态特征不满足状态约束条件从而得到中心存放属性的属性收敛点；
重复以上步骤以获取每个物品存放属性的属性收敛点。
在一个实施例中，根据每个物品积极属性的属性特征向量获取每个物品积极属性的属性收敛点包括：
遍历目标物品的所有物品积极属性，并将正在遍历的物品积极属性作为中心积极属性，然后将除了中心积极属性外的其他物品积极属性作为边缘积极属性；
根据中心积极属性和每个边缘积极属性的属性特征向量计算中心积极属性与每个边缘积极属性的关联方向，并将中心积极属性与所有边缘积极属性的关联方向进行方向合成得到中心积极属性的属性关联方向，然后构建中心积极属性在属性关联方向的状态攻击特征；
构建目标物品的状态约束条件，并获取目标物品的物品状态特征，然后根据中心积极属性在属性关联方向的状态攻击特征不断破坏目标物品的物品状态特征，直到目标物品的物品状态特征不满足状态约束条件从而得到中心积极属性的属性收敛点；
重复以上步骤以获取每个物品积极属性的属性收敛点。
在一个实施例中，根据每个物品消极属性的属性特征向量获取每个物品消极属性的属性收敛点包括：
遍历目标物品的所有物品消极属性，并将正在遍历的物品消极属性作为中心消极属性，然后将除了中心消极属性外的其他物品消极属性作为边缘消极属性；
根据中心消极属性和每个边缘消极属性的属性特征向量计算中心消极属性与每个边缘消极属性的关联方向，并将中心消极属性与所有边缘消极属性的关联方向进行方向合成得到中心消极属性的属性关联方向，然后构建中心消极属性在属性关联方向的状态攻击特征；
构建目标物品的状态约束条件，并获取目标物品的物品状态特征，然后根据中心消极属性在属性关联方向的状态攻击特征不断破坏目标物品的物品状态特征，直到目标物品的物品状态特征不满足状态约束条件从而得到中心消极属性的属性收敛点；
重复以上步骤以获取每个物品消极属性的属性收敛点。
S5、自动码头云服务器分别根据每个立体网格的网格感测属性获取每个立体网格的物品态势点，并计算每个立体网格的物品态势点与属性收敛域的收敛距离；将收敛距离小于收敛阈值的物品态势点对应的立体网格作为第一立体网格，然后根据第一立体网格的网格视觉属性获取所有的第二立体网格。
优选地，收敛距离为物品收敛点与属性收敛域的边界的距离。
在一个实施例中，自动码头云服务器根据立体网格的网格感测属性获取立体网格的物品态势点包括：
自动码头云服务器提取目标物品的状态特征向量，并对状态特征向量进行状态特征分解得到目标物品的若干个状态分量，然后对每个状态分量进行键值特征分解以得到目标物品的每个状态分量的状态键向量和状态值向量；
自动码头云服务器获取立体网格的网格感测属性，并提取每个网格感测属性的属性特征得到立体网格的若干个属性分量，然后对每个属性分量进行键值特征分解得到立体网格的每个属性分量的属性键向量和属性值向量；
自动码头云服务器对目标物品的每个状态分量的状态键向量和状态值向量以及立体网格的每个属性分量的属性键向量和属性值向量进行分析得到立体网格的物品态势点。
在一个实施例中，自动码头云服务器根据立体网格的网格感测属性获取立体网格的物品态势点包括：
自动码头云服务器根据每个状态分量的状态键向量和每个属性分量的属性键向量获取每个属性分量对每个状态分量的状态扰动方向；
自动码头云服务器根据每个状态分量的状态值向量和每个属性分量的属性值向量获取每个属性分量对每个状态分量的状态扰动距离；
自动码头云服务器根据每个属性分量对每个状态分量的状态扰动方向和每个属性分量对每个状态分量的状态扰动距离获取每个属性分量对每个状态分量的扰动特征向量，并根据每个属性分量对每个状态分量的扰动特征向量进行特征融合以得到目标物品在立体网格中的态势特征向量；
自动码头云服务器将目标物品在立体网格中的态势特征向量映射到多维特征空间以得到立体网格的物品态势点；所述立体网格的物品态势点用于表征目标物品在相应立体网格时的物品状态和物品状态的变化形势。
在一个实施例中，自动码头云服务器根据第一立体网格的网格视觉属性获取所有的第二立体网格包括：
获取所有第一立体网格的网格视觉属性，并将网格视觉属性的属性值为0的第一立体网格作为第二立体网格；所述网格视觉属性的属性值包括0和1；在立体网格的网格视觉属性的属性值为0是表示相应立体网格处于空闲状态；在立体网格的网格视觉属性的属性值为1是表示相应立体网格处于占用状态。
可选地，第一立体网格为网格感测属性与目标物品的物品属性匹配的立体网格；所述第二立体网格为没有被其他物品占用的第一立体网格。
可选地，收敛阈值为根据实际情况预先进行设置。
可选地，根据网格感测属性和目标物品的物品存放属性选取一个属性最匹配的立体网格作为终止立体网格。
在一个实施例中，例如需要装卸的目标物品的存放条件是冷藏、干燥，因此需要找到温度为2-10度，湿度为45%-65%的空间进行存放，此时就需要选择网格感测属性中温度为2-10度，湿度为45%-65%的立体网格作为终止立体网格。避免由于目标物品的存放属性与终止立体网格的网格感测属性不兼容导致目标物品被损坏。
在一个实施例中，例如目标物品的是易燃易爆物品，因此在规划安全装卸轨迹的时候就要避免目标物品在装卸过程中经过环境温度高于40度的地方，避免因为温度太高导致物品出现安全隐患，因此，目标物品的第二立体网格的网格感测属性中温度为低于40度。第二立体网格为目标物品在装卸过程中能经过的三维立体空间。
在该实施例中，通过立体网格的网格属性与目标物品的物品属性获取与目标物品的属性匹配的立体网格作为第二立体网格，并根据第二立体网格规划安全装卸轨迹，避免了目标物品在装卸过程中经过与目标物品属性不匹配的环境导致出现安全隐患或者目标物品被损坏的情况。
S6、自动码头云服务器将起始立体网格、终止立体网格和所有第二立体网格输入预先训练好的安全装卸模型以输出目标物品的安全装卸轨迹并将其发送到自动装卸车；自动装卸车基于接收到的安全装卸轨迹对目标物品进行装卸。
可选地，自动装卸车为具有通信功能、数据传输功能和物品装卸功能的装卸车。
在一个实施例中，将起始立体网格、终止立体网格和所有第二立体网格输入预先训练好的安全装卸模型以输出目标物品的安全装卸轨迹包括：
安全装卸模型的输入层获取起始立体网格、终止立体网格和所有第二立体网格的位置点，并将起始立体网格的位置点和终止立体网格的位置点连接以得到装卸连接线，然后根据所有第二立体网格的位置点生成候选结构图；
安全装卸模型的关联层获取候选结构图的空间结构特征和时间结构特征，并对候选结构图的空间结构特征和时间结构特征进行特征融合以得到候选结构图的时序结构特征，然后获取装卸连接线的连接线特征；
安全装卸模型的输出层利用双线性函数对装卸连接线的连接线特征和候选结构图的时序结构特征进行特征交互以输出目标物品的安全装卸轨迹。
在该实施例中，通过安全装卸模型的输出目标物品的安全装卸轨迹提高了轨迹规划的精度和效率。
本申请通过考虑物品属性与环境属性来规划最适合目标物品的装卸轨迹从而避免了由于在装卸过程中目标物品的物品属性与装卸环境的环境属性不兼容导致物品受到损伤或者产生安全隐患的情况。此外，本申请在考虑物品属性时综合考虑了目标物品的物品积极属性、物品消极属性和物品存放属性来构建目标物品的属性收敛域，使得物品在存放和装卸时都能极大程度的保证物品安全从而提高了安全装卸轨迹的安全程度。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种基于机器学习和计算机视觉的自动化码头安全控制方法，其特征在于，包括以下步骤：在目标物品进行装卸之前，管理终端将目标物品的物品属性和包装尺寸发送到自动码头云服务器；所述物品属性包括物品存放属性、物品积极属性和物品消极属性；
图像传感器和感测传感器将实时采集的自动化码头的环境感测数据和环境图像数据发送到自动码头云服务器；
自动码头云服务器从数据库获取自动化码头的码头布局数据，并基于码头布局数据和目标物品的包装尺寸将自动化码头分为若干个立体网格，然后基于环境感测数据和环境图像数据设置每个立体网格的网格属性；所述网格属性包括网格感测属性和网格视觉属性；
自动码头云服务器基于目标物品的物品属性和立体网格的网格属性获取目标物品的起始立体网格和终止立体网格，并根据目标物品的物品存放属性、物品积极属性和物品消极属性构建目标物品的属性收敛域；
自动码头云服务器根据每个立体网格的网格感测属性获取每个立体网格的物品态势点，并计算每个立体网格的物品态势点与属性收敛域的收敛距离；将收敛距离小于收敛阈值的物品态势点对应的立体网格作为第一立体网格，并根据第一立体网格的网格视觉属性获取所有的第二立体网格；
自动码头云服务器将起始立体网格、终止立体网格和所有第二立体网格输入预先训练好的安全装卸模型以输出目标物品的安全装卸轨迹。
2.根据权利要求1所述的安全控制方法，其特征在于，所述物品积极属性为物品在存放时的积极属性，其包括：防水、耐高温、耐低温和防潮；所述物品消极属性为物品在存放时的消极属性，其包括：怕压、易燃、易爆、易碎、有毒、有腐蚀性、禁水、禁高温、禁低温和有放射性；所述物品存放属性为物品保存时所需的环境属性，其包括：向上、冷藏、常温和干燥。
3.根据权利要求2所述的安全控制方法，其特征在于，所述网格感测属性包括：温度、湿度、位置和液位；所述网格视觉属性用于标识对应立体网格是否被其他物品占用。
4.根据权利要求3所述的安全控制方法，其特征在于，自动码头云服务器根据目标物品的物品存放属性、物品积极属性和物品消极属性构建目标物品的属性收敛域包括：
自动码头云服务器分别对目标物品的物品存放属性、物品积极属性和物品消极属性进行边界收敛以获取目标物品的第一属性收敛边界、第二属性收敛边界和第三属性收敛边界；
自动码头云服务器通过共轭梯度法对第一属性收敛边界、第二属性收敛边界和第三属性收敛边界进行多自由度拟合以得到目标物品的属性收敛域。
5.根据权利要求4所述的安全控制方法，其特征在于，自动码头云服务器分别对目标物品的物品存放属性、物品积极属性和物品消极属性进行边界收敛以获取目标物品的第一属性收敛边界、第二属性收敛边界和第三属性收敛边界包括：
自动码头云服务器分别提取目标物品的每个物品存放属性的属性特征向量，并根据每个物品存放属性的属性特征向量获取每个物品存放属性的属性收敛点，然后通过三次样条曲线拟合法将所有物品存放属性的属性收敛点进行曲线拟合以获取目标物品的第一属性收敛边界；
自动码头云服务器分别提取目标物品的每个物品积极属性的属性特征向量，并根据每个物品积极属性的属性特征向量获取每个物品积极属性的属性收敛点，然后通过三次样条曲线拟合法将所有物品积极属性的属性收敛点进行曲线拟合以获取目标物品的第二属性收敛边界；
自动码头云服务器分别提取目标物品的每个物品消极属性的属性特征向量，并根据每个物品消极属性的属性特征向量获取每个物品消极属性的属性收敛点，然后通过三次样条曲线拟合法将所有物品消极属性的属性收敛点进行曲线拟合以获取目标物品的第三属性收敛边界。
6.根据权利要求5所述的安全控制方法，其特征在于，自动码头云服务器根据立体网格的网格感测属性获取立体网格的物品态势点包括：
自动码头云服务器提取目标物品的状态特征向量，并对状态特征向量进行状态特征分解得到目标物品的若干个状态分量，然后对每个状态分量进行键值特征分解以得到目标物品的每个状态分量的状态键向量和状态值向量；
自动码头云服务器获取立体网格的网格感测属性，并提取每个网格感测属性的属性特征得到立体网格的若干个属性分量，然后对每个属性分量进行键值特征分解得到立体网格的每个属性分量的属性键向量和属性值向量；
自动码头云服务器对目标物品的每个状态分量的状态键向量和状态值向量以及立体网格的每个属性分量的属性键向量和属性值向量进行分析得到立体网格的物品态势点。
7.根据权利要求6所述的安全控制方法，其特征在于，自动码头云服务器根据立体网格的网格感测属性获取立体网格的物品态势点包括：
自动码头云服务器根据每个状态分量的状态键向量和每个属性分量的属性键向量获取每个属性分量对每个状态分量的状态扰动方向；
自动码头云服务器根据每个状态分量的状态值向量和每个属性分量的属性值向量获取每个属性分量对每个状态分量的状态扰动距离；
自动码头云服务器根据每个属性分量对每个状态分量的状态扰动方向和每个属性分量对每个状态分量的状态扰动距离获取每个属性分量对每个状态分量的扰动特征向量，并根据每个属性分量对每个状态分量的扰动特征向量进行特征融合以得到目标物品在立体网格中的态势特征向量；
自动码头云服务器将目标物品在立体网格中的态势特征向量映射到多维特征空间以得到立体网格的物品态势点；所述立体网格的物品态势点用于表征目标物品在相应立体网格时的物品状态和物品状态的变化形势。
8.根据权利要求7所述的安全控制方法，其特征在于，自动码头云服务器根据第一立体网格的网格视觉属性获取所有的第二立体网格包括：
获取所有第一立体网格的网格视觉属性，并将网格视觉属性的属性值为0的第一立体网格作为第二立体网格；所述网格视觉属性的属性值包括0和1；在立体网格的网格视觉属性的属性值为0是表示相应立体网格处于空闲状态；在立体网格的网格视觉属性的属性值为1是表示相应立体网格处于占用状态。
9.根据权利要求8所述的安全控制方法，其特征在于，所述起始立体网格为目标物品当前所在的立体网格；所述终止立体网格为目标物品在装卸完成后所在的立体网格。
10.根据权利要求9所述的安全控制方法，其特征在于，将起始立体网格、终止立体网格和所有第二立体网格输入预先训练好的安全装卸模型以输出目标物品的安全装卸轨迹包括：
安全装卸模型的输入层获取起始立体网格、终止立体网格和所有第二立体网格的位置点，并将起始立体网格的位置点和终止立体网格的位置点连接以得到装卸连接线，然后根据所有第二立体网格的位置点生成候选结构图；
安全装卸模型的关联层获取候选结构图的空间结构特征和时间结构特征，并对候选结构图的空间结构特征和时间结构特征进行特征融合以得到候选结构图的时序结构特征，然后获取装卸连接线的连接线特征；
安全装卸模型的输出层利用双线性函数对装卸连接线的连接线特征和候选结构图的时序结构特征进行特征交互以输出目标物品的安全装卸轨迹。
CN202211330909.4A 2022-10-28 2022-10-28 基于机器学习和计算机视觉的自动化码头安全控制方法 Active CN116167534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211330909.4A CN116167534B (zh) 2022-10-28 2022-10-28 基于机器学习和计算机视觉的自动化码头安全控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211330909.4A CN116167534B (zh) 2022-10-28 2022-10-28 基于机器学习和计算机视觉的自动化码头安全控制方法

Publications (2)

Publication Number Publication Date
CN116167534A true CN116167534A (zh) 2023-05-26
CN116167534B CN116167534B (zh) 2023-08-01

Family

ID=86417062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211330909.4A Active CN116167534B (zh) 2022-10-28 2022-10-28 基于机器学习和计算机视觉的自动化码头安全控制方法

Country Status (1)

Country Link
CN (1) CN116167534B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973219A (en) * 1986-04-30 1990-11-27 Sea-Land Corporation Grid rail container transport and storage system
WO2017105069A1 (ko) * 2015-12-17 2017-06-22 (주)토탈소프트뱅크 클라우드 서비스를 이용한 하역계획 및 적하계획 통합 제공 시스템 및 방법
CN107055116A (zh) * 2017-06-07 2017-08-18 大连大学 集装箱自动化码头协同作业系统及卸载最短路径搜索方法
CN107122859A (zh) * 2017-04-27 2017-09-01 青岛港国际股份有限公司 自动化集装箱码头堆场堆码方法及系统
US20190152057A1 (en) * 2016-04-26 2019-05-23 Ocado Innovation Limited Robotic load handler coordination system, cell grid system and method of coordinating a robotic load handler
CN109858687A (zh) * 2019-01-14 2019-06-07 河海大学 一种基于物流需求的大尺度条件下物流通道规划方法
CN110533370A (zh) * 2019-08-26 2019-12-03 交通运输部水运科学研究所 一种货箱堆存方法、系统、介质和计算设备
CN110659850A (zh) * 2018-06-29 2020-01-07 微软技术许可有限责任公司 用于货物调配的规划
CN111217067A (zh) * 2018-11-26 2020-06-02 株式会社日立产业机器 运送系统、运送管理装置和物流布局
US20200349511A1 (en) * 2019-05-04 2020-11-05 United States Postal Service Systems and methods of local area optimization for routing and delivery of items
CN111915244A (zh) * 2020-06-08 2020-11-10 宁波大学 一种集装箱移动智能搬运方法
CN113486293A (zh) * 2021-09-08 2021-10-08 天津港第二集装箱码头有限公司 全自动化边装卸集装箱码头的智能水平运输系统及方法
WO2022043404A1 (en) * 2020-08-26 2022-03-03 Autostore Technology AS Routing of container handling vehicles operating an automated storage system
CN114286062A (zh) * 2022-03-03 2022-04-05 天津港第二集装箱码头有限公司 基于全景拼接和视频ai的自动化码头数字舱系统
WO2022079309A1 (en) * 2020-10-16 2022-04-21 The Fluxxworks Limited Intermodal container handling system
CN114386652A (zh) * 2021-11-24 2022-04-22 张家港华达码头有限公司 一种自动化码头agv智能调度方法及系统
CN114981827A (zh) * 2020-02-10 2022-08-30 A.P.穆勒-马士基有限公司 将物品分配到一个或多个集装箱中的方法及相关电子装置
KR20220128142A (ko) * 2021-03-12 2022-09-20 서울대학교산학협력단 강화학습을 이용한 입고물품의 적치순서 최적화 방법
CN115081753A (zh) * 2022-08-16 2022-09-20 交通运输部水运科学研究所 一种自动化危险货物集装箱堆场的优化配置安全诱导方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973219A (en) * 1986-04-30 1990-11-27 Sea-Land Corporation Grid rail container transport and storage system
WO2017105069A1 (ko) * 2015-12-17 2017-06-22 (주)토탈소프트뱅크 클라우드 서비스를 이용한 하역계획 및 적하계획 통합 제공 시스템 및 방법
US20190152057A1 (en) * 2016-04-26 2019-05-23 Ocado Innovation Limited Robotic load handler coordination system, cell grid system and method of coordinating a robotic load handler
CN107122859A (zh) * 2017-04-27 2017-09-01 青岛港国际股份有限公司 自动化集装箱码头堆场堆码方法及系统
CN107055116A (zh) * 2017-06-07 2017-08-18 大连大学 集装箱自动化码头协同作业系统及卸载最短路径搜索方法
CN110659850A (zh) * 2018-06-29 2020-01-07 微软技术许可有限责任公司 用于货物调配的规划
CN111217067A (zh) * 2018-11-26 2020-06-02 株式会社日立产业机器 运送系统、运送管理装置和物流布局
CN109858687A (zh) * 2019-01-14 2019-06-07 河海大学 一种基于物流需求的大尺度条件下物流通道规划方法
US20200349511A1 (en) * 2019-05-04 2020-11-05 United States Postal Service Systems and methods of local area optimization for routing and delivery of items
CN110533370A (zh) * 2019-08-26 2019-12-03 交通运输部水运科学研究所 一种货箱堆存方法、系统、介质和计算设备
CN114981827A (zh) * 2020-02-10 2022-08-30 A.P.穆勒-马士基有限公司 将物品分配到一个或多个集装箱中的方法及相关电子装置
CN111915244A (zh) * 2020-06-08 2020-11-10 宁波大学 一种集装箱移动智能搬运方法
WO2022043404A1 (en) * 2020-08-26 2022-03-03 Autostore Technology AS Routing of container handling vehicles operating an automated storage system
WO2022079309A1 (en) * 2020-10-16 2022-04-21 The Fluxxworks Limited Intermodal container handling system
KR20220128142A (ko) * 2021-03-12 2022-09-20 서울대학교산학협력단 강화학습을 이용한 입고물품의 적치순서 최적화 방법
CN113486293A (zh) * 2021-09-08 2021-10-08 天津港第二集装箱码头有限公司 全自动化边装卸集装箱码头的智能水平运输系统及方法
CN114386652A (zh) * 2021-11-24 2022-04-22 张家港华达码头有限公司 一种自动化码头agv智能调度方法及系统
CN114286062A (zh) * 2022-03-03 2022-04-05 天津港第二集装箱码头有限公司 基于全景拼接和视频ai的自动化码头数字舱系统
CN115081753A (zh) * 2022-08-16 2022-09-20 交通运输部水运科学研究所 一种自动化危险货物集装箱堆场的优化配置安全诱导方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MIN-HO HA ET AL.: "Port performance in container transport logistics: A multi-stakeholder perspective", 《TRANSPORT POLICY》, vol. 73, pages 25 - 40 *
许素瑕: "考虑翻箱过程的铁路集装箱装卸—转运调度优化研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 10, pages 1 - 95 *

Also Published As

Publication number Publication date
CN116167534B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN109074082B (zh) 用于机器人设备的传感器轨迹规划系统及方法
US20230169457A1 (en) System and method for augmented reality loading
US11907889B2 (en) System, method, and computer-readable medium for displaying layout-based instructions using augmented reality
CN108712946B (zh) 货物摆放方法、装置、系统以及电子设备和可读存储介质
CN113537096A (zh) 基于ros的agv叉车库位托盘识别及辅助定位方法及系统
CN112633590B (zh) 一种用于四向穿梭车的智能入库方法及系统
CN111652558A (zh) 物体装载实现方法、装置、系统及计算机设备
Li et al. Automated container terminal production operation and optimization via an AdaBoost-based digital twin framework
CN114399123B (zh) 一种智慧供应链物流智能优化管理方法和系统
CN116167534B (zh) 基于机器学习和计算机视觉的自动化码头安全控制方法
US20130338858A1 (en) Method for three dimensional perception processing and classification
Zhou et al. Intelligent cargo tracking system based on the internet of things
CN109003329A (zh) 一种目标货物堆监控设备及存储介质
Xi Obstacle avoidance trajectory planning of redundant robots based on improved Bi-RRT
Fedorko et al. Application of the Tecnomatix Plant Simulation Program to modelling the handling of ocean containers using the AGV system
CN109118580A (zh) 目标货物堆监控方法及相关装置
Viswanathan et al. First-look enabled autonomous aerial visual inspection of geometrically fractured objects in constrained environments
Hamdi et al. A heuristic for the container stacking problem in automated maritime ports
Peyas et al. Autonomous warehouse robot using deep q-learning
CN109669462A (zh) 智能规划方法及系统
CN115909204A (zh) 一种基于集装箱吊具检测的车辆运动策略确定方法及装置
Wang et al. Digital twin modeling method for container terminal in port
Rinkács et al. Adaptive simulation of automated guided vehicle systems using multi agent based approach for supplying materials
CN114943366A (zh) 考虑取送协同的飞机设备转运调度方法和装置
Yuhas et al. Demo abstract: Real-time out-of-distribution detection on a mobile robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant