CN113821042B - 一种基于机器视觉的货物运送障碍识别系统及方法 - Google Patents

一种基于机器视觉的货物运送障碍识别系统及方法 Download PDF

Info

Publication number
CN113821042B
CN113821042B CN202111388825.1A CN202111388825A CN113821042B CN 113821042 B CN113821042 B CN 113821042B CN 202111388825 A CN202111388825 A CN 202111388825A CN 113821042 B CN113821042 B CN 113821042B
Authority
CN
China
Prior art keywords
obstacle
goods
image
cargo
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111388825.1A
Other languages
English (en)
Other versions
CN113821042A (zh
Inventor
何鹏飞
宋飞刚
陶苑
李刘文
邹温林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Witsoft Technology Co Ltd
Original Assignee
Nanjing Ganger Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Ganger Information Technology Co ltd filed Critical Nanjing Ganger Information Technology Co ltd
Priority to CN202111388825.1A priority Critical patent/CN113821042B/zh
Publication of CN113821042A publication Critical patent/CN113821042A/zh
Application granted granted Critical
Publication of CN113821042B publication Critical patent/CN113821042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的货物运送障碍识别系统及方法，包括：运送数据采集模块、数据库、障碍检测模块、机器视觉识别模块、货物遗漏寻回模块和通行分析模块，通过运送数据采集模块采集货物图像及设备运送货物数据，通过障碍检测模块实时检测运送过程中是否出现障碍物，若检测到障碍物出现，通过机器视觉识别模块拍摄障碍物图像，与货物图像进行对比识别，判断障碍物是否是其它运送设备掉落的货物，通过货物遗漏寻回模块查找货物运送设备，并提醒有货物掉落，比对空间容量，控制携带运送掉落货物，通过通行分析模块分析当前运送设备是否需要变换运送路线，在提高运送效率的同时帮助快速找回了遗漏货物，降低了货物损失成本。

Description

一种基于机器视觉的货物运送障碍识别系统及方法
技术领域
本发明涉及货物运送障碍识别技术领域，具体为一种基于机器视觉的货物运送障碍识别系统及方法。
背景技术
随着市场经济的发展，物质生活水平逐渐提高，满足市场需求的产品日益增多，对于消费群体庞大的畅销型产品，通常会在仓库中存储一定数量的货物，货物根据市场需要提出，并打包发货，但是由于货物提取、运送量大，需要大量人员操作，降低了工作效率，严重影响了货物运送成本，现有技术中，出现了大量自动物流运送设备，运用运送设备运送货物大幅提高了货物的运送效率；
机器视觉指的是用机器代替人眼来做测量和判断，能够很好地应用到障碍识别上，帮助实现货物运送的全自动化；
然而，现有技术中的运送设备运送货物过程中存在诸多问题：首先，运送设备一般都具有自动避障功能，识别并躲避障碍物，但是，运送设备一般都只是识别运送路线上是否有出现障碍物，并不会识别具体是什么障碍物，运送设备不只一个，会存在运送设备掉落货物的可能性，传统识别方式无法考虑到障碍物是否为掉落货物的状况，不能在避障的同时帮助及时地寻回掉落货物；其次，识别到出现障碍物后设备一般会自动变换路线，而并没有考虑到能否通行的情况，延长了运送的路程和时间，降低了运送效率。
所以，人们需要一种基于机器视觉的货物运送障碍识别系统及方法来解决上述问题。
发明内容
本发明的目的在于提供一种基于机器视觉的货物运送障碍识别系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于机器视觉的货物运送障碍识别系统，其特征在于：所述系统包括：运送数据采集模块、数据库、障碍检测模块、机器视觉识别模块、货物遗漏寻回模块和通行分析模块；
通过视觉传感器拍摄货物图像，通过所述运送数据采集模块采集提取货物轮廓图像数据和当前运送设备的运送容量数据，将采集到的数据传输到所述数据库中；
通过所述障碍检测模块实时检测运送过程中是否出现障碍物，若检测到障碍物出现，通过所述机器视觉识别模块拍摄障碍物图像，调取所述数据库中的货物轮廓图像，与障碍物图像进行比对，若障碍物出现破损，检测障碍物损坏情况，得到损坏因子参数，在比对结果中加入损坏因子参数，得到最终识别结果：判断障碍物是否是其它运送设备掉落的货物；
若障碍物是掉落的货物，通过所述货物遗漏寻回模块查找货物运送设备，并提醒掉落货物的运送设备有货物掉落，依据运送容量数据分析当前运送设备是否能够携带运送掉落货物：若能够携带，控制当前运送设备携带运送掉落货物；
通过所述通行分析模块预测当前运送路线可通行的范围，分析当前运送设备是否可通行，依据分析结果判断是否需要变换运送路线。
进一步的，所述运送数据采集模块包括货物图像采集单元和运送容量采集单元，通过所述货物图像采集单元采集需运送货物的轮廓图像特征数据；通过所述运送容量采集单元采集当前运送设备剩余的空间容量数据，将采集到的所有数据存储到所述数据库中。
进一步的，所述机器视觉识别模块包括障碍图像拍摄单元、图像比对单元、障碍损坏检测单元和障碍识别单元，所述障碍检测模块检测到障碍物出现时，通过所述障碍图像拍摄单元拍摄障碍物图像；通过所述图像比对单元调取采集到的需运送货物的轮廓图像，比对障碍物图像和货物图像，分析相似程度，分析障碍物图像，判断障碍物是否破损，若障碍物有破损；通过所述障碍损坏检测单元检测障碍物损坏程度，获取损坏因子；通过所述障碍识别单元结合比对结果和损坏因子参数识别障碍物是否是其它运送设备掉落的货物。
进一步的，所述货物遗漏寻回模块包括货物障碍溯源单元、货物掉落提醒单元和携带运送控制单元，若识别出障碍物是掉落货物，通过所述货物障碍溯源单元查询货物来源及其运送设备；通过所述货物掉落提醒单元发送信息提醒对应运送设备有货物掉落；通过所述携带运送控制单元分析当前运送设备的剩余空间是否能够容纳掉落货物：若能够容纳，控制当前运送设备携带运送掉落货物；若不能容纳，通知原运送设备寻回掉落货物；所述通行分析模块包括通行范围预测单元、可通行分析单元和运送路线变换单元，通过所述通行范围预测单元对拍摄到的图像进行分析，预测分析当前运送设备的可通行范围；通过所述可通行分析单元结合当前运送设备体积和可通行范围分析设备是否可通行，若判断不可通行，通过所述运送路线变换单元调整变换运送路线。
一种基于机器视觉的货物运送障碍识别方法，其特征在于：包括以下步骤：
S11：采集需运送货物的轮廓图像数据和当前运送设备的空间容量数据；
S12：实时检测运送过程中是否出现障碍物，拍摄障碍物图像，进行图像分析比对，加入障碍物损坏因素，判断障碍物是否是其它设备掉落的货物；
S13：若障碍物是其它设备掉落的货物，查询原运送障碍物的设备，提醒原运送设备有货物掉落；若不是，执行步骤S15；
S14：判断当前运送设备是否能够携带运送掉落货物，若能够携带，控制当前运送设备携带掉落货物后，执行步骤S15；若不能，通知原运送设备寻回掉落货物；
S15：预测分析当前设备是否可通行，调整变换运送路线。
进一步的，在步骤S11-S12中：利用视觉传感器拍摄需运送的货物图像，将货物图 像传输到货物图像采集单元中，利用货物图像采集单元采集提取到货物轮廓图像的均值集 合为
Figure 876651DEST_PATH_IMAGE001
，图像方差集合为s={s1，s2，...，sn}，其中，n表示需运送 的货物图像数量，利用运送容量采集单元采集到当前运送设备剩余空间体积为V，利用障碍 检测模块实时检测是否出现障碍物，在障碍物出现时，利用障碍图像拍摄单元拍摄障碍物 图像J，利用图像比对单元提取到障碍物图像的均值为
Figure 333040DEST_PATH_IMAGE002
，图像方差为sJ，根据下列公式计 算障碍物图像和随机一个货物轮廓图像的初始相似系数Qi：
Figure 386709DEST_PATH_IMAGE003
；
其中，w1和w2指的是预设的两个常数，
Figure 244944DEST_PATH_IMAGE004
和si分别表示随机一个货物轮廓图像的 均值和方差，siJ表示障碍物图像和随机一个轮廓图像的协方差，分析障碍物图像，利用障碍 损坏检测单元检测障碍物的损坏程度，根据下列公式计算损坏因子P：
Figure 60453DEST_PATH_IMAGE005
；
其中，S损表示图像中货物损坏的面积，W和H分别表示障碍物图像的长度和宽度， 得到随机一个货物图像与障碍物图像的综合相似系数Q总i：Q总i=Qi*P，得到所有货物图像与 障碍物图像的综合相似系数集合为Q总={Q总1，Q总2，...，Q总n}，利用障碍识别单元判断障碍物 是否为其它运送设备掉落的货物：设置相似系数阈值为Q阈，比较Q总i和Q阈：若
Figure 4138DEST_PATH_IMAGE006
，判 断障碍物不是掉落货物；若
Figure 297716DEST_PATH_IMAGE007
，判断障碍物是掉落货物，由于运送的货物轮廓结构 明确，将图像均值作为亮度估计标准，将方差作为对比度估计标准，将协方差作为相似程度 度量标准来计算图像相似度的结果最为合适，计算货物图像和障碍物图像的相似系数的目 的在于判断障碍物是否是其它设备掉落的货物，有利于及时通知有货物遗漏，帮助快速找 回遗漏货物，考虑到货物掉落可能造成外表损坏，在相似度结果中添加损坏因子参数，提高 了比对结果的准确度。
进一步的，在步骤S13-S14中：当判断结果为障碍物是掉落货物时，利用货物障碍溯源单元查询货物来源及其运送设备，利用货物掉落提醒单元发送信息提醒对应运送设备有货物掉落，利用携带运送控制单元判断当前运送设备是否能够携带运送掉落货物：对障碍物图像作二值化处理，得到货物边缘轮廓，得到货物边缘轮廓包含的像素点个数，即图像面积为S’，获取轮廓形心坐标，过形心做垂线平分轮廓，根据下列公式计算货物体积v：
Figure 10457DEST_PATH_IMAGE008
；
其中，p表示形心到垂线的距离，比较v和V：若
Figure 996868DEST_PATH_IMAGE009
，说明当前运送设备剩余空间 体积大于或等于货物体积，判断当前运送设备能够携带运送掉落货物，控制当前运送设备 携带掉落货物；若v>V，判断当前运送设备不能携带运送掉落货物，通知原运送设备寻回掉 落货物，V表示当前运送设备剩余空间体积，由于图像中货物形状不规则，对图像进行分析， 结合古鲁金定理计算得到的货物体积与实际体积更近似，精度更高，计算货物体积的目的 在于与当前设备的运送剩余空间进行对比，判断是否能顺带运送掉落货物，减少了寻回掉 落货物的时间。
进一步的，在步骤S15中：利用通行范围预测单元对障碍物图像进行分析，得到障碍物阻挡后当前运送设备的可通行宽度为a，可通行高度为h，得到垂直可通行范围为a×h，利用可通行分析单元分别获取到当前运送设备未携带掉落货物时的截面积为S截，若a×h≥S截，说明当前运送设备能够通行，无需变换路线；若a×h<S截，说明当前运送设备避开障碍物通行的概率低，利用运送路线变换单元调整变换路线，可通行范围的比较帮助判断了当前运送设备能否按原路线运送并避开障碍物，依旧在原路线上运送、无需改变路线，提高了货物运送的效率。
与现有技术相比，本发明所达到的有益效果是：
本发明通过机器视觉技术拍摄障碍物图像，对图像进行处理，对比分析障碍物图像特征与所有需要运送的货物图像特征，分析图像中物体的轮廓相似程度，帮助判断了障碍物是否是其它设备掉落的货物，有利于及时通知有货物遗漏，帮助快速找回遗漏货物，考虑到货物掉落可能造成外表损坏，在相似度结果中添加损坏因子参数，提高了比对结果的准确度；在确认障碍物是掉落货物后，通过图像分析估算货物体积，判断当前设备是否能顺带运送掉落货物，减少了寻回掉落货物的时间；通过预先判断当前运送设备能否按原路线运送并避开障碍物，依旧在原路线上运送、无需改变路线，提高了货物运送的效率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于机器视觉的货物运送障碍识别系统及方法的结构图；
图2是本发明一种基于机器视觉的货物运送障碍识别系统及方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
请参阅图1-2，本发明提供技术方案：一种基于机器视觉的货物运送障碍识别系统，其特征在于：系统包括：运送数据采集模块S1、数据库S2、障碍检测模块S3、机器视觉识别模块S4、货物遗漏寻回模块S5和通行分析模块S6；
通过视觉传感器拍摄货物图像，通过运送数据采集模块S1采集提取货物轮廓图像数据和当前运送设备的运送容量数据，将采集到的数据传输到数据库S2中；
通过障碍检测模块S3实时检测运送过程中是否出现障碍物，若检测到障碍物出现，通过机器视觉识别模块S4拍摄障碍物图像，调取数据库S2中的货物轮廓图像，与障碍物图像进行比对，若障碍物出现破损，检测障碍物损坏情况，得到损坏因子参数，在比对结果中加入损坏因子参数，得到最终识别结果：判断障碍物是否是其它运送设备掉落的货物；
若障碍物是掉落的货物，通过货物遗漏寻回模块S5查找货物运送设备，并提醒掉落货物的运送设备有货物掉落，依据运送容量数据分析当前运送设备是否能够携带运送掉落货物：若能够携带，控制当前运送设备携带运送掉落货物；
通过通行分析模块S6预测当前运送路线可通行的范围，分析当前运送设备是否可通行，依据分析结果判断是否需要变换运送路线。
运送数据采集模块S1包括货物图像采集单元和运送容量采集单元，通过货物图像采集单元采集需运送货物的轮廓图像特征数据；通过运送容量采集单元采集当前运送设备剩余的空间容量数据，将采集到的所有数据存储到数据库S2中。
机器视觉识别模块S4包括障碍图像拍摄单元、图像比对单元、障碍损坏检测单元和障碍识别单元，障碍检测模块S3检测到障碍物出现时，通过障碍图像拍摄单元拍摄障碍物图像；通过图像比对单元调取采集到的需运送货物的轮廓图像，比对障碍物图像和货物图像，分析相似程度，分析障碍物图像，判断障碍物是否破损，若障碍物有破损；通过障碍损坏检测单元检测障碍物损坏程度，获取损坏因子；通过障碍识别单元结合比对结果和损坏因子参数识别障碍物是否是其它运送设备掉落的货物。
货物遗漏寻回模块S5包括货物障碍溯源单元、货物掉落提醒单元和携带运送控制单元，若识别出障碍物是掉落货物，通过货物障碍溯源单元查询货物来源及其运送设备；通过货物掉落提醒单元发送信息提醒对应运送设备有货物掉落；通过携带运送控制单元分析当前运送设备的剩余空间是否能够容纳掉落货物：若能够容纳，控制当前运送设备携带运送掉落货物；若不能容纳，通知原运送设备寻回掉落货物；通行分析模块S6包括通行范围预测单元、可通行分析单元和运送路线变换单元，通过通行范围预测单元对拍摄到的图像进行分析，预测分析当前运送设备的可通行范围；通过可通行分析单元结合当前运送设备体积和可通行范围分析设备是否可通行，若判断不可通行，通过运送路线变换单元调整变换运送路线。
一种基于机器视觉的货物运送障碍识别方法，其特征在于：包括以下步骤：
S11：采集需运送货物的轮廓图像数据和当前运送设备的空间容量数据；
S12：实时检测运送过程中是否出现障碍物，拍摄障碍物图像，进行图像分析比对，加入障碍物损坏因素，判断障碍物是否是其它设备掉落的货物；
S13：若障碍物是其它设备掉落的货物，查询原运送障碍物的设备，提醒原运送设备有货物掉落；若不是，执行步骤S15；
S14：判断当前运送设备是否能够携带运送掉落货物，若能够携带，控制当前运送设备携带掉落货物后，执行步骤S15；若不能，通知原运送设备寻回掉落货物；
S15：预测分析当前设备是否可通行，调整变换运送路线。
在步骤S11-S12中：利用视觉传感器拍摄需运送的货物图像，将货物图像传输到货 物图像采集单元中，利用货物图像采集单元采集提取到货物轮廓图像的均值集合为
Figure 427849DEST_PATH_IMAGE001
，图像方差集合为s={s1，s2，...，sn}，其中，n表示需运送的货 物图像数量，利用运送容量采集单元采集到当前运送设备剩余空间体积为V，利用障碍检测 模块S3实时检测是否出现障碍物，在障碍物出现时，利用障碍图像拍摄单元拍摄障碍物图 像J，利用图像比对单元提取到障碍物图像的均值为
Figure 23654DEST_PATH_IMAGE002
，图像方差为sJ，根据下列公式计算 障碍物图像和随机一个货物轮廓图像的初始相似系数Qi：
Figure 590901DEST_PATH_IMAGE003
；
其中，w1和w2指的是预设的两个常数，
Figure 13792DEST_PATH_IMAGE004
和si分别表示随机一个货物轮廓图像的 均值和方差，siJ表示障碍物图像和随机一个轮廓图像的协方差，分析障碍物图像，利用障碍 损坏检测单元检测障碍物的损坏程度，根据下列公式计算损坏因子P：
Figure 932070DEST_PATH_IMAGE005
；
其中，S损表示图像中货物损坏的面积，W和H分别表示障碍物图像的长度和宽度， 得到随机一个货物图像与障碍物图像的综合相似系数Q总i：Q总i=Qi*P，得到所有货物图像与 障碍物图像的综合相似系数集合为Q总={Q总1，Q总2，...，Q总n}，利用障碍识别单元判断障碍物 是否为其它运送设备掉落的货物：设置相似系数阈值为Q阈，比较Q总i和Q阈：若
Figure 567450DEST_PATH_IMAGE006
，判 断障碍物不是掉落货物；若
Figure 254784DEST_PATH_IMAGE007
，判断障碍物是掉落货物，由于运送的货物轮廓结构 明确，将图像均值作为亮度估计标准，将方差作为对比度估计标准，将协方差作为相似程度 度量标准来计算图像相似度的结果最为合适，计算货物图像和障碍物图像的相似系数的目 的在于判断障碍物是否是其它设备掉落的货物，便于及时通知有货物遗漏，帮助快速找回 遗漏货物，考虑到货物掉落可能造成外表损坏，在相似度结果中添加损坏因子参数，提高了 比对结果的准确度。
在步骤S13-S14中：当判断结果为障碍物是掉落货物时，利用货物障碍溯源单元查询货物来源及其运送设备，利用货物掉落提醒单元发送信息提醒对应运送设备有货物掉落，利用携带运送控制单元判断当前运送设备是否能够携带运送掉落货物：对障碍物图像作二值化处理，得到货物边缘轮廓，得到货物边缘轮廓包含的像素点个数，即图像面积为S’，获取轮廓形心坐标，过形心做垂线平分轮廓，根据下列公式计算货物体积v：
Figure 582997DEST_PATH_IMAGE008
；
其中，p表示形心到垂线的距离，比较v和V：若
Figure 224456DEST_PATH_IMAGE009
，说明当前运送设备剩余空间 体积大于或等于货物体积，判断当前运送设备能够携带运送掉落货物，控制当前运送设备 携带掉落货物；若v>V，判断当前运送设备不能携带运送掉落货物，通知原运送设备寻回掉 落货物，V表示当前运送设备剩余空间体积，由于图像中货物形状不规则，对图像进行分析， 结合古鲁金定理计算得到的货物体积与实际体积更近似，精度更高，计算货物体积的目的 在于与当前设备的运送剩余空间进行对比，判断是否能顺带运送掉落货物，能够有效减少 寻回掉落货物的时间。
在步骤S15中：利用通行范围预测单元对障碍物图像进行分析，得到障碍物阻挡后当前运送设备的可通行宽度为a，可通行高度为h，得到垂直可通行范围为a×h，利用可通行分析单元分别获取到当前运送设备未携带掉落货物时的截面积为S截，若a×h≥S截，说明当前运送设备能够通行，无需变换路线；若a×h<S截，说明当前运送设备避开障碍物通行的概率低，利用运送路线变换单元调整变换路线，可通行范围的比较帮助判断了当前运送设备能否按原路线运送并避开障碍物，依旧在原路线上运送、无需改变路线，能够提高货物运送的效率。
实施例一：利用视觉传感器拍摄需运送的货物图像，将货物图像传输到货物图像 采集单元中，利用货物图像采集单元采集提取到货物轮廓图像的均值集合为
Figure 929107DEST_PATH_IMAGE010
={8，16，12}，图像方差集合为s={s1，s2，s3}={2，6，5}，利用障碍检测模 块S3实时检测是否出现障碍物，在障碍物出现时，利用障碍图像拍摄单元拍摄障碍物图像 J，利用图像比对单元提取到障碍物图像的均值为
Figure 470946DEST_PATH_IMAGE002
=10，图像方差为sJ=6，预设常数w1=1， w2=2，根据公式
Figure 970061DEST_PATH_IMAGE003
计算障碍物图 像和随机一个货物轮廓图像的初始相似系数Q1≈0.4，Q2≈0.5，Q3≈0.8，分析障碍物图像， 利用障碍损坏检测单元检测障碍物的损坏程度，根据公式
Figure 597351DEST_PATH_IMAGE005
计算损坏因子P=0.8， 得到随机一个货物图像与障碍物图像的综合相似系数Q总i：Q总i=Qi*P，得到所有货物图像与 障碍物图像的综合相似系数集合为Q总={Q总1，Q总2，Q总3}={0.32，0.4，0.64}，利用障碍识别单 元判断障碍物是否为其它运送设备掉落的货物：设置相似系数阈值为Q阈=0.5，比较Q总i和 Q阈：
Figure 574535DEST_PATH_IMAGE011
，
Figure 236460DEST_PATH_IMAGE012
，
Figure 906476DEST_PATH_IMAGE013
，判断障碍物是掉落货物3，利用货物障碍溯源单 元查询货物来源及其运送设备，利用货物掉落提醒单元发送信息提醒对应运送设备有货物 掉落。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于机器视觉的货物运送障碍识别系统，其特征在于：所述系统包括：运送数据采集模块（S1）、数据库（S2）、障碍检测模块（S3）、机器视觉识别模块（S4）、货物遗漏寻回模块（S5）和通行分析模块（S6）；
通过视觉传感器拍摄货物图像，通过所述运送数据采集模块（S1）采集提取货物轮廓图像数据和当前运送设备的运送容量数据，将采集到的数据传输到所述数据库（S2）中；
通过所述障碍检测模块（S3）实时检测运送过程中是否出现障碍物，若检测到障碍物出现，通过所述机器视觉识别模块（S4）拍摄障碍物图像，调取所述数据库（S2）中的货物轮廓图像，与障碍物图像进行比对，若障碍物出现破损，检测障碍物损坏情况，得到损坏因子参数，在比对结果中加入损坏因子参数，得到最终识别结果：判断障碍物是否是其它运送设备掉落的货物；
若障碍物是掉落的货物，通过所述货物遗漏寻回模块（S5）查找货物运送设备，并提醒掉落货物的运送设备有货物掉落，依据运送容量数据分析当前运送设备是否能够携带运送掉落货物：若能够携带，控制当前运送设备携带运送掉落货物；
通过所述通行分析模块（S6）预测当前运送路线可通行的范围，分析当前运送设备是否可通行，依据分析结果判断是否需要变换运送路线。
2.根据权利要求1所述的一种基于机器视觉的货物运送障碍识别系统，其特征在于：所述运送数据采集模块（S1）包括货物图像采集单元和运送容量采集单元，通过所述货物图像采集单元采集需运送货物的轮廓图像特征数据；通过所述运送容量采集单元采集当前运送设备剩余的空间容量数据，将采集到的所有数据存储到所述数据库（S2）中。
3.根据权利要求1所述的一种基于机器视觉的货物运送障碍识别系统，其特征在于：所述机器视觉识别模块（S4）包括障碍图像拍摄单元、图像比对单元、障碍损坏检测单元和障碍识别单元，所述障碍检测模块（S3）检测到障碍物出现时，通过所述障碍图像拍摄单元拍摄障碍物图像；通过所述图像比对单元调取采集到的需运送货物的轮廓图像，比对障碍物图像和货物图像，分析相似程度，分析障碍物图像，判断障碍物是否破损，若障碍物有破损，通过所述障碍损坏检测单元检测障碍物损坏程度，获取损坏因子；通过所述障碍识别单元结合比对结果和损坏因子参数识别障碍物是否是其它运送设备掉落的货物。
4.根据权利要求1所述的一种基于机器视觉的货物运送障碍识别系统，其特征在于：所述货物遗漏寻回模块（S5）包括货物障碍溯源单元、货物掉落提醒单元和携带运送控制单元，若识别出障碍物是掉落货物，通过所述货物障碍溯源单元查询货物来源及其运送设备；通过所述货物掉落提醒单元发送信息提醒对应运送设备有货物掉落；通过所述携带运送控制单元分析当前运送设备的剩余空间是否能够容纳掉落货物：若能够容纳，控制当前运送设备携带运送掉落货物；若不能容纳，通知原运送设备寻回掉落货物；所述通行分析模块（S6）包括通行范围预测单元、可通行分析单元和运送路线变换单元，通过所述通行范围预测单元对拍摄到的图像进行分析，预测分析当前运送设备的可通行范围；通过所述可通行分析单元结合当前运送设备体积和可通行范围分析设备是否可通行，若判断不可通行，通过所述运送路线变换单元调整变换运送路线。
5.一种基于机器视觉的货物运送障碍识别方法，其特征在于：包括以下步骤：
S11：采集需运送货物的轮廓图像数据和当前运送设备的空间容量数据；
S12：实时检测运送过程中是否出现障碍物，拍摄障碍物图像，进行图像分析比对，加入障碍物损坏因素，判断障碍物是否是其它设备掉落的货物；
S13：若障碍物是其它设备掉落的货物，查询原运送障碍物的设备，提醒原运送设备有货物掉落；若不是，执行步骤S15；
S14：判断当前运送设备是否能够携带运送掉落货物，若能够携带，控制当前运送设备携带掉落货物后，执行步骤S15；若不能，通知原运送设备寻回掉落货物；
S15：预测分析当前设备是否可通行，调整变换运送路线；
在步骤S11-S12中：利用视觉传感器拍摄需运送的货物图像，将货物图像传输到货物图像采集单元中，利用货物图像采集单元采集提取到货物轮廓图像的均值集合为
Figure DEST_PATH_IMAGE001
，图像方差集合为s={s1，s2，...，sn}，其中，n表示需运送的货物图像数量，利用运送容量采集单元采集到当前运送设备剩余空间体积为V，利用障碍检测模块（S3）实时检测是否出现障碍物，在障碍物出现时，利用障碍图像拍摄单元拍摄障碍物图像J，利用图像比对单元提取到障碍物图像的均值为
Figure 323544DEST_PATH_IMAGE002
，图像方差为sJ，根据下列公式计算障碍物图像和随机一个货物轮廓图像的初始相似系数Qi：
Figure DEST_PATH_IMAGE003
；
其中，w1和w2指的是预设的两个常数，
Figure 973442DEST_PATH_IMAGE004
和si分别表示随机一个货物轮廓图像的均值和方差，siJ表示障碍物图像和随机一个轮廓图像的协方差，分析障碍物图像，利用障碍损坏检测单元检测障碍物的损坏程度，根据下列公式计算损坏因子P：
Figure DEST_PATH_IMAGE005
；
其中，S损表示图像中货物损坏的面积，W和H分别表示障碍物图像的长度和宽度，得到随机一个货物图像与障碍物图像的综合相似系数Q总i：Q总i=Qi*P，得到所有货物图像与障碍物图像的综合相似系数集合为Q总={Q总1，Q总2，...，Q总n}，利用障碍识别单元判断障碍物是否为其它运送设备掉落的货物：设置相似系数阈值为Q阈，比较Q总i和Q阈：若
Figure 690862DEST_PATH_IMAGE006
，判断障碍物不是掉落货物；若
Figure DEST_PATH_IMAGE007
，判断障碍物是掉落货物。
6.根据权利要求5所述的一种基于机器视觉的货物运送障碍识别方法，其特征在于：在步骤S13-S14中：当判断结果为障碍物是掉落货物时，利用货物障碍溯源单元查询货物来源及其运送设备，利用货物掉落提醒单元发送信息提醒对应运送设备有货物掉落，利用携带运送控制单元判断当前运送设备是否能够携带运送掉落货物：对障碍物图像作二值化处理，得到货物边缘轮廓，得到货物边缘轮廓包含的像素点个数，即图像面积为S’，获取轮廓形心坐标，过形心做垂线平分轮廓，根据下列公式计算货物体积v：
Figure 273022DEST_PATH_IMAGE008
；
其中，p表示形心到垂线的距离，比较v和V：若
Figure DEST_PATH_IMAGE009
，说明当前运送设备剩余空间体积大于或等于货物体积，判断当前运送设备能够携带运送掉落货物，控制当前运送设备携带掉落货物；若v>V，判断当前运送设备不能携带运送掉落货物，通知原运送设备寻回掉落货物，V表示当前运送设备剩余空间体积。
7.根据权利要求5所述的一种基于机器视觉的货物运送障碍识别方法，其特征在于：在步骤S15中：利用通行范围预测单元对障碍物图像进行分析，得到障碍物阻挡后当前运送设备的可通行宽度为a，可通行高度为h，得到垂直可通行范围为a×h，利用可通行分析单元分别获取到当前运送设备未携带掉落货物时的截面积为S截，若a×h≥S截，说明当前运送设备能够通行，无需变换路线；若a×h<S截，说明当前运送设备避开障碍物通行的概率低，利用运送路线变换单元调整变换路线。
CN202111388825.1A 2021-11-23 2021-11-23 一种基于机器视觉的货物运送障碍识别系统及方法 Active CN113821042B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111388825.1A CN113821042B (zh) 2021-11-23 2021-11-23 一种基于机器视觉的货物运送障碍识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111388825.1A CN113821042B (zh) 2021-11-23 2021-11-23 一种基于机器视觉的货物运送障碍识别系统及方法

Publications (2)

Publication Number Publication Date
CN113821042A CN113821042A (zh) 2021-12-21
CN113821042B true CN113821042B (zh) 2022-02-22

Family

ID=78919649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111388825.1A Active CN113821042B (zh) 2021-11-23 2021-11-23 一种基于机器视觉的货物运送障碍识别系统及方法

Country Status (1)

Country Link
CN (1) CN113821042B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824524A (zh) * 2023-07-17 2023-09-29 黑龙江省卓美工程建设有限公司 一种基于机器视觉的大数据流程监管系统及方法
CN117690122B (zh) * 2024-02-02 2024-04-26 中科数创(临沂)数字科技有限公司 一种档案库房用通道障碍检测系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6834522B2 (ja) * 2017-01-23 2021-02-24 スズキ株式会社 運転支援装置
CN111461152B (zh) * 2019-01-21 2024-04-05 同方威视技术股份有限公司 货物检测方法及装置、电子设备和计算机可读介质
CN111832349A (zh) * 2019-04-18 2020-10-27 富士通株式会社 遗留物错误检测的识别方法、装置及图像处理设备
CN110275538A (zh) * 2019-06-27 2019-09-24 广东利元亨智能装备股份有限公司 智能巡航车导航方法及系统
CN110765922B (zh) * 2019-10-18 2023-05-02 华南理工大学 一种agv用双目视觉物体检测障碍物系统
CN110716560B (zh) * 2019-11-22 2021-02-19 广西科技师范学院 一种移动机器人路径分析规划方法
CN113106907B (zh) * 2021-04-30 2022-07-15 广东美房智高机器人有限公司 机器人对障碍物识别与处理方法、系统、设备及介质
CN113382203A (zh) * 2021-05-20 2021-09-10 河南农道智能科技有限公司 基于人工智能的agv货物掉落检测方法与系统
CN113566823A (zh) * 2021-06-30 2021-10-29 南京轩世琪源软件科技有限公司 运输机器人在未知环境中的路径规划方法及系统
CN113283401B (zh) * 2021-07-20 2021-10-08 山东华力机电有限公司 基于云计算和图像处理的agv小车避障方法

Also Published As

Publication number Publication date
CN113821042A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN113821042B (zh) 一种基于机器视觉的货物运送障碍识别系统及方法
CN109230351B (zh) 一种皮带输送机运行异常的识别方法
CN111674817B (zh) 仓储机器人的控制方法、装置、设备及可读存储介质
CN111242108B (zh) 基于目标检测的皮带转载点堵煤识别方法
CN109948582B (zh) 一种基于跟踪轨迹分析的车辆逆行智能检测方法
US11367219B2 (en) Video analysis apparatus, person retrieval system, and person retrieval method
KR101564383B1 (ko) 트래킹, 인덱싱 및 서치를 위한 물체 매칭 방법 및 장치
US8655078B2 (en) Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
CN110245663B (zh) 一种用于钢卷信息识别的方法
CN101976350B (zh) 基于视频分析的储粮害虫检测识别方法及其系统
US20220391796A1 (en) System and Method for Mapping Risks in a Warehouse Environment
CN113375566B (zh) 物体尺寸的精确测量方法及系统
CN106934817A (zh) 基于多属性的多目标跟踪方法及装置
CN112330607A (zh) 基于图像识别技术的煤矸识别方法、装置及系统
CN115346256A (zh) 机器人寻人方法及系统
EP4071684A1 (en) Warehouse monitoring system
EP4078154A1 (en) Apparatus for analyzing a payload being transported in a load carrying container of a vehicle
CN116309277A (zh) 基于深度学习的钢材检测方法及系统
CN114332622A (zh) 一种基于机器视觉的标签检测方法
Se et al. Stereo vision-based obstacle detection for partially sighted people
CN113947754A (zh) 一种基于视觉的船舶机械运行状态监测方法、系统及存储介质
CN115099752B (zh) 一种基于视觉识别的商品盘点方法及装置
CN115223105B (zh) 基于大数据的风险信息监控分析方法及系统
Agnihotram et al. Combination of advanced robotics and computer vision for shelf analytics in a retail store
CN112069841B (zh) X光违禁品包裹跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220505

Address after: 210012 Room 302, 3 / F, Huashen building, No.11 software Avenue, Yuhuatai District, Nanjing City, Jiangsu Province

Patentee after: NANJING WITSOFT TECHNOLOGY Co.,Ltd.

Address before: 210000 303, floor 3, Huashen building, No. 11, software Avenue, Yuhuatai District, Nanjing, Jiangsu Province

Patentee before: Nanjing ganger Information Technology Co.,Ltd.