CN115600823B - 一种搬运货物异常检测方法、电子设备和存储介质 - Google Patents

一种搬运货物异常检测方法、电子设备和存储介质 Download PDF

Info

Publication number
CN115600823B
CN115600823B CN202211569488.0A CN202211569488A CN115600823B CN 115600823 B CN115600823 B CN 115600823B CN 202211569488 A CN202211569488 A CN 202211569488A CN 115600823 B CN115600823 B CN 115600823B
Authority
CN
China
Prior art keywords
goods
cargo
score
determining
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211569488.0A
Other languages
English (en)
Other versions
CN115600823A (zh
Inventor
梁帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Prophet Big Data Co ltd
Original Assignee
Dongguan Prophet Big Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Prophet Big Data Co ltd filed Critical Dongguan Prophet Big Data Co ltd
Priority to CN202211569488.0A priority Critical patent/CN115600823B/zh
Publication of CN115600823A publication Critical patent/CN115600823A/zh
Application granted granted Critical
Publication of CN115600823B publication Critical patent/CN115600823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/917—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers control arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及一种搬运货物异常检测方法、电子设备和存储介质，该方法包括：在基于混合现实的测试环境中使用搬运机器人进行搬运操作时，确定吸盘货物接触得分；在基于混合现实的测试环境中完成货物抓取时，确定货物抓取异常得分和货物移动得分；在基于混合现实的测试环境中完成货物移动操作时，确定货物放置得分；根据货物抓取异常得分、货物移动得分和货物放置得分确定在所述基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分；根据操作异常得分确定搬运货物是否异常。本申请将货物搬运过程分为不同的阶段，在不同的阶段确定不同的得分，通过不同的得分确定操作异常得分，通过操作异常得分确定搬运货物是否异常，使得检测过程简单、快捷。

Description

一种搬运货物异常检测方法、电子设备和存储介质
技术领域
本申请涉及搬运货物技术领域，特别是涉及一种搬运货物异常检测方法、电子设备和存储介质。
背景技术
在新基建政策下，通过混合现实技术、智能培训技术、智能场景识别技术、智能语音控制技术、智慧远程专家等技术，加速数字经济发展，使我国企业优先迈入工业4.0时代，达到智能制造。
当前，搬运货物异常检测是通过摄像头检测，或者管理人员进行人为检测，检测效率低下，用户体验差。
发明内容
基于上述问题，本申请提供一种搬运货物异常检测方法、电子设备和存储介质。
第一方面，本申请实施例提供一种搬运货物异常检测方法，包括：
当测试人员在基于混合现实的测试环境中使用搬运机器人进行搬运操作时，确定吸盘货物接触得分；
当测试人员在基于混合现实的测试环境中完成货物抓取时，确定货物抓取异常得分和货物移动得分；
当测试人员在基于混合现实的测试环境中完成货物移动操作时，确定货物放置得分；
根据货物抓取异常得分、货物移动得分和货物放置得分确定测试人员在所述基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分；
根据操作异常得分确定搬运货物是否异常。
进一步地，上述搬运货物异常检测方法中，确定吸盘货物接触得分，包括：
获取基于混合现实的测试环境中吸盘底部中央的坐标及长方体货物的坐标，其中为长方体货物上表面的左顶点坐标，为长方体货物上表面的宽，为长方体货物上表面的高，为长方体的竖直高度；
当测试人员开始抓取货物时开始计时，每隔时间确定一次吸盘货物接触得分，根据吸盘底部中央的坐标以及长方体货物的坐标确定第i次的吸盘货物接触得分通过如下公式确定：
其中，表示吸盘底部中央的z轴的坐标，表示长方体货物上表面的左顶点的z轴坐标，为设定的第一判断阈值，为设定的第二判断阈值。
进一步地，上述搬运货物异常检测方法中，确定货物抓取异常得分，包括：
当测试人员在基于混合现实的测试环境中完成货物抓取时，获取当前时间到测试人员开始抓取货物之间的时间间隔、吸盘货物接触得分的个数、吸盘底部中央的坐标及长方体货物的坐标；根据当前时间到测试人员开始抓取货物之间的时间间隔、吸盘货物接触得分的个数、吸盘底部中央的坐标及长方体货物的坐标确定货物抓取异常得分通过如下公式确定：
其中，[]为取整函数，为历史数据训练得到的第一修正常数，为设定的第三判断阈值，
 为设定的第四判断阈值，为设定的第五判断阈值，
;
表示第i次的吸盘货物接触得分，表示长方体货物上表面的左顶点x轴坐标，表示长方体货物上表面的宽，表示长方体货物上表面的左顶点y轴坐标，表示异常碰撞得分。
进一步地，上述搬运货物异常检测方法中，确定货物移动得分，包括：
当测试人员在所述基于混合现实的测试环境中完成货物抓取时，开始记录吸盘底部中央坐标，每隔时间记录一个坐标，直至测试人员确认已完成货物移动操作，对于任意相邻的两个坐标：
，
根据任意相邻的两个坐标计算动态速度通过如下公式计算：
，
从而得到移动过程中的动态速度集合，其中，动态速度集合元素数为，获取测试人员完成货物抓取到测试人员确认已完成货物移动操作之间的时间，
根据动态速度集合、动态速度集合元素数为以及任意相邻的两个坐标计算机械臂移动过程中的异常位移指数通过如下公式计算：
 根据动态速度集合、动态速度集合元素数为以及任意相邻的两个坐标计算机械臂移动过程中的稳定指数通过如下公式计算：
 根据测试人员完成货物抓取到测试人员确认已完成货物移动操作之间的时间、异常位移指数和机械臂移动过程中的稳定指数通过如下公式计算货物移动得分：
其中，为设定的第六判断阈值，为设定的第七判断阈值，为设定的第八判断阈值，为历史数据训练得到的第二修正常数。
进一步地，上述搬运货物异常检测方法中，确定货物放置得分，包括：
获取货物放置的货物槽放置平面的坐标，其中，为货物槽放置平面的左顶点坐标，为货物槽放置平面的宽，为货物槽放置平面的高，每隔时间记录吸盘底部中央坐标得到吸盘的位置轨迹，所述吸盘的位置轨迹元素个数为，获取测试人员从完成货物移动操作到完成货物放置的时间；
根据货物放置的货物槽放置平面的坐标、吸盘底部中央坐标、吸盘的位置轨迹、吸盘的位置轨迹元素个数为以及长方体货物的坐标通过如下公式计算货物的放置误差指数，
其中,
表示吸盘底部中央的x轴的坐标，表示货物槽放置平面的x轴的坐标，表示吸盘底部中央的y轴的坐标，表示货物槽放置平面的y轴的坐标，表示长方体货物上表面的左顶点x轴坐标，表示长方体货物上表面的左顶点y轴坐标，为长方体货物上表面的宽，为长方体货物上表面的高，为设定的第九判断阈值，为设定的第十判断阈值,
根据吸盘的位置轨迹和吸盘的位置轨迹元素个数为，计算货物的放置过程指数
 根据货物的放置误差指数、货物的放置过程指数和测试人员从完成货物移动操作到完成货物放置的时间确定货物放置得分，确定货物放置得分通过如下公式确定：
其中，为设定的第十一判断阈值，为设定的第十二判断阈值，为设定的第十三判断阈值，为历史数据训练得到的第三修正常数。
进一步地，上述搬运货物异常检测方法中，根据货物抓取异常得分、所述货物移动得分和货物放置得分确定测试人员在基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分，包括：
根据货物抓取异常得分、货物移动得分和货物放置得分确定测试人员在基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分，通过如下公式确定：
其中，为历史数据训练得到的第四修正常数，为历史数据训练得到的第五修正常数，为历史数据训练得到的第六修正常数，为设定的第十四判断阈值。
进一步地，上述搬运货物异常检测方法中，根据操作异常得分确定搬运货物是否异常，包括：
判断操作异常得分和数字1的关系；
当操作异常得分等于1时，确定搬运货物异常，当操作异常得分不等于1时，确定搬运货物合格。
进一步地，上述搬运货物异常检测方法中，确定吸盘货物接触得分之前，还包括：
确定基于混合现实的测试环境中的标准搬运行为数据；
根据基于混合现实的测试环境中的标准搬运行为数据确定多个判断阈值。
第二方面，本发明实施例还提供了一种电子设备，包括：处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如上所述任一项所述的所述一种搬运货物异常检测方法。
第三方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上所述任一项所述的所述一种搬运货物异常检测方法。
本申请实施例的优点在于：在基于混合现实的测试环境中使用搬运机器人进行搬运操作时，确定吸盘货物接触得分；在基于混合现实的测试环境中完成货物抓取时，确定货物抓取异常得分和货物移动得分；在基于混合现实的测试环境中完成货物移动操作时，确定货物放置得分；根据货物抓取异常得分、货物移动得分和货物放置得分确定在所述基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分；根据操作异常得分确定搬运货物是否异常。本申请将货物搬运过程分为不同的阶段，在不同的阶段确定不同的得分，通过不同的得分确定操作异常得分，通过操作异常得分确定搬运货物是否异常，使得检测过程简单、快捷，与摄像头检测和人为检测相比，检测效率更高，提升了用户体验。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种搬运货物异常检测方法示意图；
图2是本公开实施例提供的一种电子设备的示意性框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵时做类似改进，因此本申请不受下面公开的具体实施的限制。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
图1为本申请实施例提供的一种搬运货物异常检测方法示意图。
第一方面，本申请实施例提供一种搬运货物异常检测方法，结合图1，包括S101至S105五个步骤：
S101：当测试人员在基于混合现实的测试环境中使用搬运机器人进行搬运操作时，确定吸盘货物接触得分。
具体的，本申请实施例中，当测试人员佩戴好设备在基于MR建立的测试环境中使用搬运机器人进行搬运操作时，通过吸盘底部中央的坐标及长方体货物的坐标确定吸盘货物接触得分，确定吸盘货物接触得分的方法下文详细介绍。
S102：当测试人员在基于混合现实的测试环境中完成货物抓取时，确定货物抓取异常得分和货物移动得分。
具体的，本申请实施例中，测试人员在基于混合现实的测试环境中完成货物抓取，可以是接收到测试人员完成货物抓取时通过控制器按钮发送的信号，也可以是通过摄像头获取；确定货物抓取异常得分和货物移动得分的方法下文详细介绍。
S103：当测试人员在基于混合现实的测试环境中完成货物移动操作时，确定货物放置得分。
具体的，本申请实施例中，当测试人员在基于混合现实的测试环境中完成货物移动操作，可以是接收到测试人员完成货物抓取时通过控制器按钮发送的信号，也可以是通过摄像头获取；确定货物放置得分是通过获取测试人员从完成货物移动操作完成货物放置的时间、货物的放置误差指数和货物的放置过程指数确定的，下文详细介绍货物的放置误差指数和货物的放置过程指数的确定方法以及通过获取测试人员从完成货物移动操作完成货物放置的时间、货物的放置误差指数和货物的放置过程指数确定方法。
S104：根据货物抓取异常得分、货物移动得分和货物放置得分确定测试人员在所述基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分。
具体的，本申请实施例中，根据货物抓取异常得分、货物移动得分和货物放置得分确定测试人员在所述基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分的方法下文详细介绍。
S105：根据操作异常得分确定搬运货物是否异常。
具体的，本申请实施例中，根据操作异常得分和1的关系确定搬运货物是否异常的方法，下文详细介绍。
进一步地，上述搬运货物异常检测方法中，确定吸盘货物接触得分，包括：
获取基于混合现实的测试环境中吸盘底部中央的坐标及长方体货物的坐标，其中为长方体货物上表面的左顶点坐标，为长方体货物上表面的宽，为长方体货物上表面的高，为长方体的竖直高度；
当测试人员开始抓取货物时开始计时，每隔时间确定一次吸盘货物接触得分，根据吸盘底部中央的坐标以及长方体货物的坐标确定第i次的吸盘货物接触得分通过如下公式确定：
其中，表示吸盘底部中央的z轴的坐标，表示长方体货物上表面的左顶点的z轴坐标，为设定的第一判断阈值，为设定的第二判断阈值。
具体的，本申请实施例中，第一判断阈值和第二判断阈值是根据标准搬运行为数据设定的。
进一步地，上述搬运货物异常检测方法中，确定货物抓取异常得分，包括：
当测试人员在基于混合现实的测试环境中完成货物抓取时，获取当前时间到测试人员开始抓取货物之间的时间间隔、吸盘货物接触得分的个数、吸盘底部中央的坐标及长方体货物的坐标；根据当前时间到测试人员开始抓取货物之间的时间间隔、吸盘货物接触得分的个数、吸盘底部中央的坐标及长方体货物的坐标确定货物抓取异常得分通过如下公式确定：
其中，[]为取整函数，为历史数据训练得到的第一修正常数，为设定的第三判断阈值，
 为设定的第四判断阈值，为设定的第五判断阈值，
;
表示第i次的吸盘货物接触得分，表示长方体货物上表面的左顶点x轴坐标， 表示长方体货物上表面的宽，表示长方体货物上表面的左顶点y轴坐标，表示异常碰撞得分。
具体的，本申请实施例中，第三判断阈值、第四判断阈值和第五判断阈值是根据标准搬运行为数据设定的。
进一步地，上述搬运货物异常检测方法中，确定货物移动得分，包括：
当测试人员在所述基于混合现实的测试环境中完成货物抓取时，开始记录吸盘底部中央坐标，每隔时间记录一个坐标，直至测试人员确认已完成货物移动操作，对于任意相邻的两个坐标：
，
根据任意相邻的两个坐标计算动态速度通过如下公式计算：
，
从而得到移动过程中的动态速度集合，其中，动态速度集合元素数为，获取测试人员完成货物抓取到测试人员确认已完成货物移动操作之间的时间，
根据动态速度集合、动态速度集合元素数为以及任意相邻的两个坐标计算机械臂移动过程中的异常位移指数通过如下公式计算：
 根据动态速度集合、动态速度集合元素数为以及任意相邻的两个坐标计算机械臂移动过程中的稳定指数通过如下公式计算：
 根据测试人员完成货物抓取到测试人员确认已完成货物移动操作之间的时间、异常位移指数和机械臂移动过程中的稳定指数通过如下公式计算货物移动得分：
其中，为设定的第六判断阈值，为设定的第七判断阈值，为设定的第八判断阈值，为历史数据训练得到的第二修正常数。
具体的，本申请实施例中，第六判断阈值、第七判断阈值和第八判断阈值是根据标准搬运行为数据设定的。
进一步地，上述搬运货物异常检测方法中，确定货物放置得分，包括：
获取货物放置的货物槽放置平面的坐标，其中，为货物槽放置平面的左顶点坐标，为货物槽放置平面的宽，为货物槽放置平面的高，每隔时间记录吸盘底部中央坐标得到吸盘的位置轨迹，所述吸盘的位置轨迹元素个数为，获取测试人员从完成货物移动操作到完成货物放置的时间；
根据货物放置的货物槽放置平面的坐标、吸盘底部中央坐标、吸盘的位置轨迹、吸盘的位置轨迹元素个数为以及长方体货物的坐标通过如下公式计算货物的放置误差指数，
其中,
 表示吸盘底部中央的x轴的坐标，表示货物槽放置平面的x轴的坐标，表示吸盘底部中央的y轴的坐标，表示货物槽放置平面的y轴的坐标，表示长方体货物上表面的左顶点x轴坐标，表示长方体货物上表面的左顶点y轴坐标，为长方体货物上表面的宽，为长方体货物上表面的高，为设定的第九判断阈值，为设定的第十判断阈值,
根据吸盘的位置轨迹和吸盘的位置轨迹元素个数为，计算货物的放置过程指数
 根据货物的放置误差指数、货物的放置过程指数和测试人员从完成货物移动操作到完成货物放置的时间确定货物放置得分，确定货物放置得分通过如下公式确定：
其中，为设定的第十一判断阈值，为设定的第十二判断阈值，为设定的第十三判断阈值，为历史数据训练得到的第三修正常数。
具体的，本申请实施例中，第九判断阈值、第十判断阈值、第十一判断阈值、第十二判断阈值和第十三判断阈值是根据标准搬运行为数据设定的。
进一步地，上述搬运货物异常检测方法中，根据货物抓取异常得分、所述货物移动得分和货物放置得分确定测试人员在基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分，包括：
根据货物抓取异常得分、货物移动得分和货物放置得分确定测试人员在基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分，通过如下公式确定：
其中，为历史数据训练得到的第四修正常数，为历史数据训练得到的第五修正常数，为历史数据训练得到的第六修正常数，为设定的第十四判断阈值。
具体的，本申请实施例中，第十四判断阈值是根据标准搬运行为数据设定的。
进一步地，上述搬运货物异常检测方法中，根据操作异常得分确定搬运货物是否异常，包括：
判断操作异常得分和数字1的关系；
当操作异常得分等于1时，确定搬运货物异常，当操作异常得分不等于1时，确定搬运货物合格。
进一步地，上述搬运货物异常检测方法中，确定吸盘货物接触得分之前，还包括：
确定基于混合现实的测试环境中的标准搬运行为数据；
根据基于混合现实的测试环境中的标准搬运行为数据确定多个判断阈值。
具体的，本申请实施例中，记录工人操作工业机器人使用吸盘搬运检测货物的完成动作流程作为标准搬运行为，对标准搬运行为的数据进行结构化储存并将结构化数据转化为基于混合现实建立的测试环境中的数据格式作为基于混合现实的测试环境中的标准搬运行为数据，根据标准搬运行为数据得到检测所需要的多个判断阈值，多个判断阈值包括上文提到的第一判断阈值、第二判断阈值……第十四判断阈值。
第二方面，本发明实施例还提供了一种电子设备，包括：处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如上所述任一项所述的所述一种搬运货物异常检测方法。
第三方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上所述任一项所述的所述一种搬运货物异常检测方法。
图2是本公开实施例提供的一种电子设备的示意性框图。
如图2所示，电子设备包括：至少一个处理器201、至少一个存储器202和至少一个通信接口203。电子设备中的各个组件通过总线系统204耦合在一起。通信接口203，用于与外部设备之间的信息传输。可理解，总线系统204用于实现这些组件之间的连接通信。总线系统204除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图2中将各种总线都标为总线系统204。
可以理解，本实施例中的存储器202可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
在一些实施方式中，存储器202存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器（Media Player）、浏览器（Browser）等，用于实现各种应用业务。实现本申请实施例提供的一种搬运货物异常检测方法中任一方法的程序可以包含在应用程序中。
在本申请实施例中，处理器201通过调用存储器202存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器201用于执行本申请实施例提供的一种搬运货物异常检测方法各实施例的步骤。
当测试人员在基于混合现实的测试环境中使用搬运机器人进行搬运操作时，确定吸盘货物接触得分；
当测试人员在基于混合现实的测试环境中完成货物抓取时，确定货物抓取异常得分和货物移动得分；
当测试人员在基于混合现实的测试环境中完成货物移动操作时，确定货物放置得分；
根据货物抓取异常得分、货物移动得分和货物放置得分确定测试人员在所述基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分；
根据操作异常得分确定搬运货物是否异常。
本申请实施例提供的一种搬运货物异常检测方法中任一方法可以应用于处理器201中，或者由处理器201实现。处理器201可以是一种集成电路芯片，具有信号能力。在实现过程中，上述方法的各步骤可以通过处理器201中的硬件的集成逻辑电路或者软件形式的指令完成。上述器201可以是通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规器等。
本申请实施例提供的一种搬运货物异常检测方法中任一方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器202，处理器201读取存储器202中的信息，结合其硬件完成一种搬运货物异常检测方法的步骤。
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。
本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种搬运货物异常检测方法，其特征在于，包括：
当测试人员在基于混合现实的测试环境中使用搬运机器人进行搬运操作时，确定吸盘货物接触得分；
当所述测试人员在所述基于混合现实的测试环境中完成货物抓取时，确定货物抓取异常得分和货物移动得分；
当所述测试人员在所述基于混合现实的测试环境中完成货物移动操作时，确定货物放置得分；
根据所述货物抓取异常得分、所述货物移动得分和所述货物放置得分确定测试人员在所述基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分；
根据所述操作异常得分确定搬运货物是否异常；
其中，确定货物移动得分，包括：
当所述测试人员在所述基于混合现实的测试环境中完成货物抓取时，开始记录吸盘底部中央坐标(xb,yb,zb)，每隔时间t1记录一个坐标，直至测试人员确认已完成货物移动操作，对于任意相邻的两个坐标：
(xb，j，yb，j，zb，j)，(xb，j+1，yb，j+1，zb，j+1)，
根据所述任意相邻的两个坐标(xb,j,yb,j,zb,j),(xb,j+1,yb,j+1,zb,j+1)计算动态速度vj通过如下公式计算：
从而得到移动过程中的动态速度集合{vj}，其中，动态速度集合{vj}元素数为n2，获取测试人员完成货物抓取到测试人员确认已完成货物移动操作之间的时间tq，
根据所述动态速度集合{vj}、动态速度集合{vj}元素数为n2以及所述任意相邻的两个坐标(xb,j,yb,j,zb,j),(xb,j+1,yb,j+1,zb,j+1)计算机械臂移动过程中的异常位移指数pw通过如下公式计算：
根据所述动态速度集合{vj}、动态速度集合{vj}元素数为n2以及所述任意相邻的两个坐标(xb,j,yb,j,zb,j),(xb,j+1,yb,j+1,zb,j+1)计算机械臂移动过程中的稳定指数bw通过如下公式计算：
根据所述测试人员完成货物抓取到测试人员确认已完成货物移动操作之间的时间tq、所述异常位移指数pw和所述机械臂移动过程中的稳定指数bw通过如下公式计算货物移动得分gm：
其中，ts6为设定的第六判断阈值，ts7为设定的第七判断阈值，ts8为设定的第八判断阈值，c2为历史数据训练得到的第二修正常数。
2.根据权利要求1所述的一种搬运货物异常检测方法，其特征在于，所述确定吸盘货物接触得分，包括：
获取所述基于混合现实的测试环境中吸盘底部中央的坐标(xb,yb,zb)及长方体货物的坐标(xh,yh,zh,wh,hh,lh)，其中(xh,yh,zh)为长方体货物上表面的左顶点坐标，wh为长方体货物上表面的宽，hh为长方体货物上表面的高，lh为长方体的竖直高度；
当测试人员开始抓取货物时开始计时，每隔时间t0确定一次吸盘货物接触得分，根据所述吸盘底部中央的坐标(xb,yb,zb)以及长方体货物的坐标(xh,yh,zh,wh,hh,lh)确定第i次的吸盘货物接触得分gxi通过如下公式确定：
其中，zb表示吸盘底部中央的z轴的坐标，zh表示长方体货物上表面的左顶点的z轴坐标，ts1为设定的第一判断阈值，ts2为设定的第二判断阈值。
3.根据权利要求2所述的一种搬运货物异常检测方法，其特征在于，所述确定货物抓取异常得分，包括：
当测试人员在所述基于混合现实的测试环境中完成货物抓取时，获取当前时间到测试人员开始抓取货物之间的时间间隔tz、吸盘货物接触得分的个数n1、吸盘底部中央的坐标(xb,yb,zb)及长方体货物的坐标(xh,yh,zh,wh,hh,lh)；根据所述当前时间到测试人员开始抓取货物之间的时间间隔tz、所述吸盘货物接触得分的个数n1、所述吸盘底部中央的坐标(xb,yb,zb)及所述长方体货物的坐标(xh,yh,zh,wh,hh,lh)确定货物抓取异常得分gz通过如下公式确定：
其中，[]为取整函数，c1为历史数据训练得到的第一修正常数，ts3为设定的第三判断阈值，
ts4为设定的第四判断阈值，ts5为设定的第五判断阈值，
gxi表示第i次的吸盘货物接触得分，xh表示长方体货物上表面的左顶点x轴坐标，wh表示长方体货物上表面的宽，yh表示长方体货物上表面的左顶点y轴坐标，gp表示异常碰撞得分，gxn1表示第n1次的吸盘货物接触得分。
4.根据权利要求3所述的一种搬运货物异常检测方法，其特征在于，所述确定货物放置得分，包括：
获取货物放置的货物槽放置平面的坐标(xc,yc,zc,wc,hc)，其中，(xc,yc,zc)为货物槽放置平面的左顶点坐标，wc为货物槽放置平面的宽，hc为货物槽放置平面的高，每隔时间t2记录吸盘底部中央坐标(xb,yb,zb)得到吸盘的位置轨迹{(xbk,ybk,zbk)}，所述吸盘的位置轨迹元素个数为n3，获取测试人员从完成货物移动操作到完成货物放置的时间tr；
根据所述货物放置的货物槽放置平面的坐标(xc,yc,zc,wc,hc)、所述吸盘底部中央坐标(xb,yb,zb)、所述吸盘的位置轨迹{(xbk,ybk,zbk)}、所述吸盘的位置轨迹元素个数为n3以及长方体货物的坐标(xh,yh,zh,wh,hh,lh)通过如下公式计算货物的放置误差指数eh，
eh＝f(exh)+f(eyh)
其中,
xb表示吸盘底部中央的x轴的坐标，xc表示货物槽放置平面的x轴的坐标，yb表示吸盘底部中央的y轴的坐标，yc表示货物槽放置平面的y轴的坐标，xh表示长方体货物上表面的左顶点x轴坐标，yh表示长方体货物上表面的左顶点y轴坐标，wh为长方体货物上表面的宽，hh为长方体货物上表面的高，ts9为设定的第九判断阈值，ts10为设定的第十判断阈值,
根据所述吸盘的位置轨迹{(xbk,ybk,zbk)}和所述吸盘的位置轨迹元素个数为n3，计算货物的放置过程指数sg
根据货物的放置误差指数eh、货物的放置过程指数sg和测试人员从完成货物移动操作到完成货物放置的时间tr确定货物放置得分gf，确定货物放置得分gf通过如下公式确定：
其中，ts11为设定的第十一判断阈值，分别表示吸盘轨迹的x轴，y轴坐标，ts12为设定的第十二判断阈值，ts13为设定的第十三判断阈值，c3为历史数据训练得到的第三修正常数。
5.根据权利要求4所述的一种搬运货物异常检测方法，其特征在于，所述根据所述货物抓取异常得分、所述货物移动得分和所述货物放置得分确定测试人员在所述基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分，包括：
根据所述货物抓取异常得分gz、所述货物移动得分gm和所述货物放置得分gf确定测试人员在所述基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分ger，通过如下公式确定：
其中，c4为历史数据训练得到的第四修正常数，c5为历史数据训练得到的第五修正常数，c6为历史数据训练得到的第六修正常数，ts14为设定的第十四判断阈值。
6.根据权利要求1所述的一种搬运货物异常检测方法，其特征在于，根据所述操作异常得分确定搬运货物是否异常，包括：
判断所述操作异常得分和数字1的关系；
当所述操作异常得分等于1时，确定搬运货物异常，当所述操作异常得分不等于1时，确定搬运货物合格。
7.根据权利要求1所述的一种搬运货物异常检测方法，其特征在于，确定吸盘货物接触得分之前，还包括：
确定基于混合现实的测试环境中的标准搬运行为数据；
根据所述基于混合现实的测试环境中的标准搬运行为数据确定多个判断阈值。
8.一种电子设备，其特征在于，包括：处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至7任一项所述一种搬运货物异常检测方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至7任一项所述一种搬运货物异常检测方法。
CN202211569488.0A 2022-12-08 2022-12-08 一种搬运货物异常检测方法、电子设备和存储介质 Active CN115600823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211569488.0A CN115600823B (zh) 2022-12-08 2022-12-08 一种搬运货物异常检测方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211569488.0A CN115600823B (zh) 2022-12-08 2022-12-08 一种搬运货物异常检测方法、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN115600823A CN115600823A (zh) 2023-01-13
CN115600823B true CN115600823B (zh) 2023-04-14

Family

ID=84853494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211569488.0A Active CN115600823B (zh) 2022-12-08 2022-12-08 一种搬运货物异常检测方法、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115600823B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114919918A (zh) * 2022-06-27 2022-08-19 中国工商银行股份有限公司 搬运机器人的调度方法、装置、处理器及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3225725B2 (ja) * 1994-02-25 2001-11-05 三菱電機株式会社 産業ロボットによる荷扱い装置
JP6455681B2 (ja) * 2016-01-12 2019-01-23 株式会社ダイフク 段積みコンテナの異常検出装置
JP7444687B2 (ja) * 2020-04-15 2024-03-06 矢崎エナジーシステム株式会社 車載器、稼働管理装置、運転支援システム、及び運転支援プログラム
CN111708047B (zh) * 2020-06-16 2023-02-28 浙江华睿科技股份有限公司 机器人定位评估方法、机器人及计算机存储介质
US20220113384A1 (en) * 2020-10-08 2022-04-14 Intelligrated Headquarters, Llc LiDAR BASED MONITORING IN MATERIAL HANDLING ENVIRONMENT
CN114919910A (zh) * 2020-11-20 2022-08-19 深圳市海柔创新科技有限公司 货物存放方法、装置、机器人、仓储系统及存储介质
CN112429456B (zh) * 2020-11-20 2022-12-30 深圳市海柔创新科技有限公司 取出货物异常处理方法、装置、设备、系统及存储介质
CN113762862A (zh) * 2020-12-28 2021-12-07 京东城市(北京)数字科技有限公司 货物异常监测的方法、装置、电子设备和存储介质
CN114186935A (zh) * 2021-12-13 2022-03-15 深圳依时货拉拉科技有限公司 一种基于货物出行分段式行程异常监测方法和计算机设备
CN114202700B (zh) * 2021-12-16 2022-07-22 东莞先知大数据有限公司 一种货物体积异常检测方法、装置及存储介质
CN114194873B (zh) * 2021-12-24 2024-05-10 大连海事大学 一种基于视觉系统的冷藏船智能卸货系统及方法
CN114494985B (zh) * 2022-04-18 2022-07-19 山东西曼克技术有限公司 基于图像处理的物流转运机器人工作异常检测方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114919918A (zh) * 2022-06-27 2022-08-19 中国工商银行股份有限公司 搬运机器人的调度方法、装置、处理器及电子设备

Also Published As

Publication number Publication date
CN115600823A (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
US10679379B1 (en) Robotic system with dynamic packing mechanism
US10953549B2 (en) Robotic system with error detection and dynamic packing mechanism
US20240042608A1 (en) Robotic system with piece-loss management mechanism
US9957120B2 (en) Stowage pattern calculation device and stowage device for stowing plurality types of objects
CN107597600A (zh) 分拣系统和分拣方法
TWI415785B (zh) 天車輸送系統與其操作方法
WO2019080678A1 (zh) 包裹的供件方法、装置、电子设备及存储介质
CN115600823B (zh) 一种搬运货物异常检测方法、电子设备和存储介质
US20230041343A1 (en) Robotic system with image-based sizing mechanism and methods for operating the same
CN117711994A (zh) 一种基于链路逻辑图的晶圆单片运输控制方法及系统
CN114310892A (zh) 基于点云数据碰撞检测的物体抓取方法、装置和设备
CN116631908B (zh) 一种晶圆自动加工方法、装置及电子设备
CN109081035A (zh) 一种取货方法和货柜
JP2000263480A (ja) ビンピッキング装置
CN110294316A (zh) 一种抓取传送带上物品的方法、系统以及设备
CN111498213B (zh) 具有动态打包机制的机器人系统
CN115674151A (zh) 具有基于深度的处理机制的机器人系统及其操作方法
US10822181B2 (en) Systems and methods for die transfer
WO2020049774A1 (ja) マニピュレータおよび移動ロボット
Kreuzer Method for the evaluation of an autonomous handling system for improving the process efficiency of container unloading
CN108861543A (zh) 一种上下料系统及方法
CN111410045A (zh) 货箱搬运方法和装置
CN115599092A (zh) 一种工件搬运控制方法、装置、设备及存储介质
CN113955472B (zh) 基于协作的自动拣取系统及电子设备
CN111559544B (zh) 具有错误检测和动态打包机制的机器人系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Building 7, No. 124 Dongbao Road, Dongcheng Street, Dongguan City, Guangdong Province, 523015

Patentee after: Guangdong Prophet Big Data Co.,Ltd.

Country or region after: China

Address before: Room 102, Building 7, No. 124, Dongbao Road, Dongcheng Street, Dongguan City, Guangdong Province, 523015

Patentee before: Dongguan prophet big data Co.,Ltd.

Country or region before: China