CN116246094A - 货物尺寸识别方法、识别装置及计算机可读存储介质 - Google Patents

货物尺寸识别方法、识别装置及计算机可读存储介质 Download PDF

Info

Publication number
CN116246094A
CN116246094A CN202211595737.3A CN202211595737A CN116246094A CN 116246094 A CN116246094 A CN 116246094A CN 202211595737 A CN202211595737 A CN 202211595737A CN 116246094 A CN116246094 A CN 116246094A
Authority
CN
China
Prior art keywords
cargo
image
goods
outline
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211595737.3A
Other languages
English (en)
Inventor
洪志阳
欧阳一村
罗富章
王和平
沈周龙
贺慧雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN SHENGSHI TECHNOLOGY CO LTD
Original Assignee
SHENZHEN SHENGSHI TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN SHENGSHI TECHNOLOGY CO LTD filed Critical SHENZHEN SHENGSHI TECHNOLOGY CO LTD
Priority to CN202211595737.3A priority Critical patent/CN116246094A/zh
Publication of CN116246094A publication Critical patent/CN116246094A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种货物尺寸识别方法，该方法包括在固定区域划定货物停放的矩形边界框并获取摄像机采集的包含该矩形边界框的边界框图像；获取在实际中边界框的一物理量的值W1和边界框图像中边界框的同一所述物理量的值W2，获取比例系数b＝W1/W1；获取固定区域内包含货物的货物图像，判断货物图像中的货物是否存在遮挡；识别未遮挡的货物在货物图像中的长度、宽度和高度，根据比例系数b计算货物的实际的长度、宽度和高度；以及对存在遮挡的货物进行补全操作，识别补全后的货物在货物图像中的长度、宽度和高度，并根据比例系数b计算货物的实际的长度、宽度和高度。本申请还提供一种货物尺寸识别装置及计算机可读存储介质。

Description

货物尺寸识别方法、识别装置及计算机可读存储介质
技术领域
本申请涉及图像处理领域，更具体地说，涉及一种货物尺寸识别方法、识别装置及计算机可读存储介质。
背景技术
近年来，随着国家经济实力的不断增强，商品货物进出口量逐年增加。货物进出口量的快速增长，给海关快速核验货物、检查货物、放行货物带来巨大的压力。其中，包括对货物的尺寸进行检测核验，依靠海关工作人员的人工核验，导致海关工作人员工作量大大增加、耗时过长，容易造成货物通关不及时、货物检查不完全等情况，因此为提高工作效率，进行自动化和智能化的货物尺寸识别尤为重要。
发明内容
针对现有技术，本申请解决的技术问题是提供一种能自动化识别货物尺寸的货物尺寸识别方法、识别装置及计算机可读存储介质。
为解决上述技术问题，本申请提供一种货物尺寸识别方法，其用于对固定设置的矩形边界框内的货物进行尺寸识别，该货物尺寸识别方法包括：
获取包含矩形边界框的边界框图像；
获取在实际中矩形边界框的一物理量的值W1和边界框图像中边界框的同一所述物理量的值W2，获取比例系数b＝W1/W2；
获取矩形边界框内放置有货物的货物图像，判断货物图像中的货物是否存在遮挡；
识别未被遮挡的货物在货物图像中的长度、宽度和高度，根据比例系数b计算未被遮挡的货物的实际的长度、宽度和高度；以及
对被遮挡的货物进行补全操作，识别补全后的货物在货物图像中的长度、宽度和高度，并根据比例系数b计算补全后的货物的实际的长度、宽度和高度。
在一种可能的实现方式中，当所述物理量设定为长度值，获取比例系数b具体为：
获取实际中边界框的一边长的长度值L1且统计该边长在边界框图像中的所占总的像素点的数目L2，则比例系数b＝W1/W1＝L1/L2。
在一种可能的实现方式中，当所述物理量设定为周长值，获取比例系数b具体为：
获取实际中边界框的周长值C1；
获取边界框图像中的边界框的轮廓，计算在边框图像中边界框的轮廓的周长值C2；
比例系数b＝W1/W1＝C1/C2。
在一种可能的实现方式中，对存在遮挡的货物进行补全操作的步骤包括：
获取备案数据库中备案的货物备案图像Smax；
分割出货物图像中被遮挡货物的区域，提取每一货物备案图像中的完整的货物区域，将被遮挡获取的区域和每一完整的货物区域进行相似度计算，选取相似度最高对应的货物备案图像Smax；
获取货物备案图像Smax的货物轮廓的形状，提取被遮挡的货物的轮廓，根据货物备案图像Smax的货物轮廓的形状对被遮挡的货物的轮廓进行形状补全以获得第一轮廓补全图像Q1；
基于GAN模型训练货物补全模型，利用货物补全模型对被遮挡的货物的轮廓进行补全获得第二轮廓补全图像Q2；
计算遮挡货物的补全结果Q：Q＝α×Q1+(1-α)Q2；
其中，α加权系数且0＜α＜1。
在一种可能的实现方式中，所述相似度为余弦相似度。
在一种可能的实现方式中，基于GAN模型训练货物补全模型的步骤包括：
通过生成模型和判别模构成生成对抗网络模型，其中训练图像数据包括多组货物相同的货物被遮挡的货物图像FO和货物未被遮挡的货物图像FO,；
提取训练图像数据中每一图像中关于货物的轮廓；
以训练图像数据中的每一货物图像FO的轮廓为作为生成模型的输入；
以训练图像数据中的货物图像FO,的轮廓作和生成模型生成的货物未被遮挡的货物图像的轮廓作为对抗网络的输入。
在一种可能的实现方式中，识别货物图像T中的货物在货物图像中高度，并根据比例系数b计算货物的实际的高度的步骤包括：
提取所述货物图像T的货物区域的轮廓；
计算所述货物图像T的货物区域的轮廓的最小外接矩形；
获取最小外接矩形的左上角的坐标点(x1,y1)和右下角的坐标点(x2,y2)；
计算最小外接矩形的高度H为：|y2-y1|；
根据比例系数b计算货物的实际的高度为：H×b。
其中，所述货物图像T为货物未存在被遮挡的货物图像，或者为存在货物被遮挡时进行补全后的货物图像。
在一种可能的实现方式中，识别货物图像T中的货物在货物图像中的长度和宽度，并根据比例系数b计算货物的实际的长度和宽度的步骤包括：
提取所述货物图像T的货物区域的轮廓；
对所述货物图像T的货物区域的轮廓和矩形边界框形成区域进行交集操作；
对交集结果进行多边形拟合处理；
选取矩形边界框的一边E1以及与所述边L1垂直的另一边E2；
将拟合后的多边形的所有边与边E1进行比对，选取多边形的所有的边中与边E1最平行的边Ew，并计算边Ew在货物图像T中的边长值W；
将将拟合后的多边形的所有边与边E2进行比对，选取多边形的所有的边中与边E2最平行的边EL,并计算边EL在货物图像T中的边长值L；
根据比例系数b计算货物图像T中货物的实际的宽度为：W×b；
根据比例系数b计算货物图像T中货物的实际的长度为：L×b。
其中，所述货物图像T为货物未存在被遮挡的货物图像，或者为存在货物被遮挡时进行补全后的货物图像。
本申请还提供一种货物尺寸识别装置，其包括：摄像机、处理器和存储器，所述处理器连接所述摄像机和所述存储器；所述摄像机设置于用于放置待进行尺寸识别的货物的矩形边界框所在区域的上方，且用于采集的包含该矩形边界框的边界框图像和用于采集矩形边界框内设置有货物的货物图像；所述存储器用于存储可执行代码，所述处理器用于执行所述存储器中存储的可执行代码；所述处理器用于执行所述存储器中存储的可执行代码，以执行所述货物尺寸识别方法。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述货物尺寸识别方法。
本申请提供的货物尺寸识别方法的有益效果在于：利用现实中规划固定的边界框作为参考标准，即利用边界框可以获得现实环境下和摄像机采集图像中的同一尺寸的对应的比例关系，从而通过该比例关系计算货物图像中货物的长度、宽度和高度。并且，可能会存在矩形边界框内的货物被其他相邻货物遮挡现象，故而需要先对被遮挡的货物进行补全之后，再进行关于长度、宽度和高度的尺寸识别，如此可以进一步保证进行尺寸识别的准确度。故而，该货物尺寸识别方法能够实现自动化尺寸识别，有利于提供工作效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的货物尺寸方法流程图；
图2为本申请实施例的根据比例系数b计算货物图像T中的货物的实际的高度的步骤流程图；
图3为本申请实施例的并根据比例系数b计算货物图像T中的货物的实际的长度和宽度的步骤流程图。
具体实施方式
为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
现结合附图对本申请的货物尺寸识别方法、装置及计算机可读存储介质进行具体说明。
请参照图1，本申请实施例提供货物尺寸识别方法，该货物尺寸识别方法用于对固定区域内的放置的货物进行尺寸识别，为了方便进行货物尺寸识别，通常将货物放置在固定区域内，所述固定区域为划定的用于放置货物的区域，该固定区域可以矩形区域以及其他形状区域，该货物尺寸识别方法包括如下步骤：
步骤S100：获取包含矩形边界框的边界框图像；
步骤S200：获取在实际中矩形边界框的一物理量的值W1和边界框图像中边界框的同一所述物理量的值W2，获取比例系数b＝W1/W1；
步骤S300：获取矩形边界框内放置有货物的货物图像，判断货物图像中的货物是否存在遮挡；
若货物图像中的货物未存在遮挡现象，步骤S400：识别未被遮挡的货物在货物图像中的长度、宽度和高度，根据比例系数b计算未被遮挡的货物的实际的长度、宽度和高度；
若货物图像中的货物存在遮挡现象，步骤S500：对被遮挡的货物进行补全操作，识别补全后的货物在货物图像中的长度、宽度和高度，并根据比例系数b计算补全后的货物的实际的长度、宽度和高度。
值得说明的是，上述步骤中的涉及的实际中边界框的物理量值、货物的长度、高度或者高度是指现实环境下测量出数值，图像中边界框的物理量值、货物的长度、高度或者高度是指在摄像机生成的图像中的求得数值。由于进行货物尺寸识别应当识别出现实环境下的尺寸，故而利用现实中规划固定的边界框作为参考标准，即利用边界框可以获得现实环境下和摄像机采集图像中的同一尺寸的对应的比例关系，从而通过该比例关系计算货物图像中货物的长度、宽度和高度。为了进一步保证尺寸测量侧准确性，在连续放置货物的过程中，可能会存在矩形边界框内的货物被其他相邻货物遮挡现象，故而需要先对被遮挡的货物进行补全之后，再进行关于长度、宽度和高度的尺寸识别。
在所述步骤S200中，所述物理量可为长度值或者周长值。
在一实施例中，当所述物理量设定为长度值，获取比例系数b的步骤具体为：获取实际中边界框的一边长的长度值L1且统计该边长在边界框图像中的所占总的像素点的数目L2，则比例系数b＝W1/W1＝L1/L2。
在另一实施例中，当所述物理量设定为周长值，获取比例系数b具体为：获取实际中边界框的周长值C1；获取边界框图像中的边界框的轮廓，计算在边框图像中边界框的轮廓的周长值C2；比例系数b＝W1/W1＝C1/C2。
在上述实施例中，所述矩形边界框的相邻边的边长可以相等或者不同等，当邻边相等是，矩形边界框为正方形。
在一实施例中，在所述步骤S300中，判断货物图像中货物是否存在遮挡的步骤包括：步骤S310：收集一批包含货物区域图像数据，包括遮挡数据和未遮挡数据；步骤S320：对收集的图像进行人工标注，得到遮挡数据类别与未遮挡数据类别；步骤S330：将人工标注后的数据输入到二分类网络(ResNet50)中进行训练，得到一个二分类模型(即货物有无遮挡判别器)；步骤S340：将裁剪提取包含货物区域图片输入到二分类网络中进行预测，输出货物有无遮挡结果。
在一实施例中，在所述步骤S500中，对存在遮挡的货物进行补全操作的步骤包括：
步骤S510：获取备案数据库中备案的货物备案图像Smax；
步骤S520：分割出货物图像中被遮挡货物的区域，提取每一货物备案图像中的完整的货物区域，将被遮挡获取的区域和每一完整的货物区域进行相似度计算，选取相似度最高对应的货物备案图像Smax；
步骤S530：获取货物备案图像Smax的货物轮廓的形状，提取被遮挡的货物的轮廓，根据货物备案图像Smax的货物轮廓的形状对被遮挡的货物的轮廓进行形状补全以获得第一轮廓补全图像Q1；
步骤S540：基于GAN模型训练货物补全模型，利用货物补全模型对被遮挡的货物的轮廓进行补全获得第二轮廓补全图像Q2；
步骤S550：综合第一轮廓补全图像和第二轮廓补全图像计算遮挡货物的补全结果Q：Q＝α×Q1+(1-α)Q2；其中，α加权系数且0＜α＜1。
值得说明的是，通常海关后台备案数据库中存放着不同类型的货物的备案图像，通过获取备案数据库中的货物备案图像的先验知识来对被遮挡的货物进行补全以获得第一轮廓补全图像，并且结合GAN模型训练的货物补全模型对被遮挡货物进行自动补全以获得第二轮廓补全图像，最终综合先验知识的第一轮廓补全图像和深度学习训练的第二轮廓补全图像以提高补全准确度。
在一实施例中，在所述步骤S540中，基于GAN模型训练货物补全模型的步骤包括：
通过生成模型和判别模构成生成对抗网络模型，其中训练图像数据包括多组货物相同的货物被遮挡的货物图像FO和货物未被遮挡的货物图像FO,；
提取训练图像数据中每一图像中关于货物的轮廓；
以训练图像数据中的每一货物图像FO的轮廓为作为生成模型的输入；
以训练图像数据中的货物图像FO,的轮廓作和生成模型生成的货物未被遮挡的货物图像的轮廓作为对抗网络的输入。
在一实施例中，在所述步骤S400和步骤S500中，设定一货物图像T为货物未存在被遮挡的货物图像，即在进行步骤S400判断后为存在货物被遮挡现象的货物图像；或者所述货物图像T为存在货物被遮挡时进行补全后的货物图像，及在经过步骤S400判断后存在货物被遮挡现象后对被遮挡货物进行步骤S500中的补全操作后的货物图像。在此实施例中，参照图2，识别货物图像T中的货物在货物图像中高度，并根据比例系数b计算货物的实际的高度的步骤包括：
提取所述货物图像T的货物区域的轮廓；
计算所述货物图像T的货物区域的轮廓的最小外接矩形；
获取最小外接矩形的左上角的坐标点(x1,y1)和右下角的坐标点(x2,y2)；
计算最小外接矩形的高度H为：|y2-y1|；以及，
根据比例系数b计算货物的实际的高度为：H×b。
值得说明的，为了进行自动尺寸识别，货物是放置在货物传送台上的台面上，在台面上利用固定设置的矩形边界框围成一个固定区域，对固定区域内的货物进行尺寸识别，当货物被传送台传送至矩形边界框内时，摄像机采集边界框内的货物，摄像机生成图像的图像坐标系的X轴货物的传送方向且Y轴垂直于货物传送方向，以货物区域的轮廓的最小外接矩形的Y轴方向上的高度值看作为实际环境下货物的高度在图像中形成大小，故而最小外接矩形的Y轴方向上的高度值乘以比例系数b就为实际的物理高度。
在一实施例中，在所述步骤S400和步骤S500中，设定一货物图像T为货物未存在被遮挡的货物图像，即在进行步骤S400判断后为未存在货物被遮挡现象的货物图像；或者所述货物图像T为存在货物被遮挡时进行补全后的货物图像，即在经过步骤S400判断出存在货物被遮挡现象后对被遮挡货物进行步骤S500中的补全操作后的货物图像。在此实施例中，参照图3，识别货物图像T中的货物在货物图像中的长度和宽度，并根据比例系数b计算货物的实际的长度和宽度的步骤包括：
提取所述货物图像T的货物区域的轮廓；
对所述货物图像T的货物区域的轮廓和矩形边界框形成区域进行交集操作；
对交集结果进行多边形拟合处理；
选取矩形边界框的一边E1以及与所述边L1垂直的另一边E2；
将拟合后的多边形的所有边与边E1进行比对，选取多边形的所有的边中与边E1最平行的边Ew，并计算边Ew在货物图像T中的边长值W；
将将拟合后的多边形的所有边与边E2进行比对，选取多边形的所有的边中与边E2最平行的边EL,并计算边EL在货物图像T中的边长值L；
根据比例系数b计算货物图像T中货物的实际的宽度为：W×b；以及，
根据比例系数b计算货物图像T中货物的实际的长度为：L×b。
值得说明的是，从前述内容可知，待尺寸识别的货物是位于边界框内的，在本实施例中，在货物直接接触矩形边界框形成固定区域的那一侧面上获取到货物的长度和宽度，即生成的图像中货物轮廓超出矩形边界框围成区域的不为获取长度和宽度的区域，故而对所述货物图像T的货物区域的轮廓和矩形边界框形成区域进行交集操作以排除矩形边界框之外的轮廓。
本申请实施例还提供一种货物尺寸识别装置，该货物尺寸识别装置包括摄像机、处理器和存储器，所述处理器连接所述摄像机和所述存储器。所述摄像机设置于用于放置待进行尺寸识别的货物的矩形边界框所在区域的上方，且用于采集的包含该矩形边界框的边界框图像和用于采集矩形边界框内设置有货物的货物图像。所述存储器用于存储可执行代码。所述处理器用于执行所述存储器中存储的可执行代码，所述处理器用于执行所述存储器中存储的可执行代码，以执行上述货物尺寸识别方法。
在本实施例中，矩形边界框设置一放置货物的台面上，当放置行李时货物会尽量摆正放置于矩形边界框内，例如货物的外形是一个长方体，货物放置在矩形边界框内时，货物与台面接触的侧面的四个边与矩形边界框的四个边一一平行或者接近平行。
在本实施例中，处理器可能是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现上述货物尺寸识别方法。
所述计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种货物尺寸识别方法，其用于对固定设置的矩形边界框内的货物进行尺寸识别，其特征在于，包括：
获取包含矩形边界框的边界框图像；
获取在实际中矩形边界框的一物理量的值W1和边界框图像中边界框的同一所述物理量的值W2，获取比例系数b＝W1/W2；
获取矩形边界框内放置有货物的货物图像，判断货物图像中的货物是否存在遮挡；
识别未被遮挡的货物在货物图像中的长度、宽度和高度，根据比例系数b计算未被遮挡的货物的实际的长度、宽度和高度；以及
对被遮挡的货物进行补全操作，识别补全后的货物在货物图像中的长度、宽度和高度，并根据比例系数b计算补全后的货物的实际的长度、宽度和高度。
2.如权利要求1所述的货物尺寸识别方法，其特征在于，当所述物理量设定为长度值，获取比例系数b具体为：
获取实际中边界框的一边长的长度值L1且统计该边长在边界框图像中的所占总的像素点的数目L2，则比例系数b＝W1/W1＝L1/L2。
3.如权利要求1所述的货物尺寸识别方法，其特征在于，当所述物理量设定为周长值，获取比例系数b具体为：
获取实际中边界框的周长值C1；
获取边界框图像中的边界框的轮廓，计算在边框图像中边界框的轮廓的周长值C2；
比例系数b＝W1/W1＝C1/C2。
4.如权利要求1所述的货物尺寸识别方法，其特征在于，对存在遮挡的货物进行补全操作的步骤包括：
获取备案数据库中备案的货物备案图像Smax；
分割出货物图像中被遮挡货物的区域，提取每一货物备案图像中的完整的货物区域，将被遮挡获取的区域和每一完整的货物区域进行相似度计算，选取相似度最高对应的货物备案图像Smax；
获取货物备案图像Smax的货物轮廓的形状，提取被遮挡的货物的轮廓，根据货物备案图像Smax的货物轮廓的形状对被遮挡的货物的轮廓进行形状补全以获得第一轮廓补全图像Q1；
基于GAN模型训练货物补全模型，利用货物补全模型对被遮挡的货物的轮廓进行补全获得第二轮廓补全图像Q2；
计算遮挡货物的补全结果Q：Q＝α×Q1+(1-α)Q2；
其中，α加权系数且0＜α＜1。
5.如权利要求4所述的货物尺寸识别方法，其特征在于，所述相似度为余弦相似度。
6.如权利要求4所述的货物尺寸识别方法，其特征在于，基于GAN模型训练货物补全模型的步骤包括：
通过生成模型和判别模构成生成对抗网络模型，其中训练图像数据包括多组货物相同的货物被遮挡的货物图像FO和货物未被遮挡的货物图像FO ,；
提取训练图像数据中每一图像中关于货物的轮廓；
以训练图像数据中的每一货物图像FO的轮廓为作为生成模型的输入；
以训练图像数据中的货物图像FO ,的轮廓作和生成模型生成的货物未被遮挡的货物图像的轮廓作为对抗网络的输入。
7.如权利要求1所述的货物尺寸识别方法，其特征在于，识别货物图像T中的货物在货物图像中高度，并根据比例系数b计算货物的实际的高度的步骤包括：
提取所述货物图像T的货物区域的轮廓；
计算所述货物图像T的货物区域的轮廓的最小外接矩形；
获取最小外接矩形的左上角的坐标点(x1,y1)和右下角的坐标点(x2,y2)；
计算最小外接矩形的高度H为：|y2-y1|；
根据比例系数b计算货物的实际的高度为：H×b。
其中，所述货物图像T为货物未存在被遮挡的货物图像，或者为存在货物被遮挡时进行补全后的货物图像。
8.如权利要求1所述的货物尺寸识别方法，其特征在于，识别货物图像T中的货物在货物图像中的长度和宽度，并根据比例系数b计算货物的实际的长度和宽度的步骤包括：
提取所述货物图像T的货物区域的轮廓；
对所述货物图像T的货物区域的轮廓和矩形边界框形成区域进行交集操作；
对交集结果进行多边形拟合处理；
选取矩形边界框的一边E1以及与所述边L1垂直的另一边E2；
将拟合后的多边形的所有边与边E1进行比对，选取多边形的所有的边中与边E1最平行的边Ew，并计算边Ew在货物图像T中的边长值W；
将将拟合后的多边形的所有边与边E2进行比对，选取多边形的所有的边中与边E2最平行的边EL,并计算边EL在货物图像T中的边长值L；
根据比例系数b计算货物图像T中货物的实际的宽度为：W×b；
根据比例系数b计算货物图像T中货物的实际的长度为：L×b。
其中，所述货物图像T为货物未存在被遮挡的货物图像，或者为存在货物被遮挡时进行补全后的货物图像。
9.一种货物尺寸识别装置，其特征在于，包括：摄像机、处理器和存储器，所述处理器连接所述摄像机和所述存储器；所述摄像机设置于用于放置待进行尺寸识别的货物的矩形边界框所在区域的上方，且用于采集的包含该矩形边界框的边界框图像和用于采集矩形边界框内设置有货物的货物图像；所述存储器用于存储可执行代码，所述处理器用于执行所述存储器中存储的可执行代码；所述处理器用于执行所述存储器中存储的可执行代码，以执行如权利要求1至8任一项所述的货物尺寸识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至8任一项所述的货物尺寸识别方法。
CN202211595737.3A 2022-12-12 2022-12-12 货物尺寸识别方法、识别装置及计算机可读存储介质 Pending CN116246094A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211595737.3A CN116246094A (zh) 2022-12-12 2022-12-12 货物尺寸识别方法、识别装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211595737.3A CN116246094A (zh) 2022-12-12 2022-12-12 货物尺寸识别方法、识别装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116246094A true CN116246094A (zh) 2023-06-09

Family

ID=86632070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211595737.3A Pending CN116246094A (zh) 2022-12-12 2022-12-12 货物尺寸识别方法、识别装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116246094A (zh)

Similar Documents

Publication Publication Date Title
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN111797829A (zh) 一种车牌检测方法、装置、电子设备和存储介质
CN113592886B (zh) 建筑图纸的审图方法、装置、电子设备及介质
CN116403132B (zh) 一种基于图像和机器算法生成征地拆迁表的地物识别方法
CN110276759B (zh) 一种基于机器视觉的手机屏坏线缺陷诊断方法
CN113962306A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110210297A (zh) 报关单图像中文字定位与提取的方法
CN111222507A (zh) 数字式仪表读数的自动识别方法、计算机可读存储介质
CN110991201B (zh) 条码检测方法及相关装置
CN114092468A (zh) 一种基于机器视觉的标准目标计数方法
CN111325084A (zh) 一种基于yolo神经网络的菜品信息识别方法、终端
CN113034497A (zh) 一种基于视觉的保温杯焊缝定位检测方法及系统
CN116342525A (zh) 基于Lenet-5模型的SOP芯片引脚缺陷检测方法及系统
CN114841974B (zh) 一种水果内部结构无损检测方法、系统、电子设备及介质
CN107403179B (zh) 一种物品包装信息的注册方法及装置
CN115619791A (zh) 一种物品陈列检测方法、装置、设备及可读存储介质
CN112801165B (zh) 一种卡片审核方法及装置
JP2022167756A (ja) 計数方法、計数システム、及び計数のためのコンピュータプログラム
CN111968104B (zh) 一种基于机器视觉的钢卷异常识别方法、系统、设备及介质
JP7449505B2 (ja) 情報処理システム
CN116188802B (zh) 数据标注方法、装置、设备及存储介质
CN116246094A (zh) 货物尺寸识别方法、识别装置及计算机可读存储介质
CN117522860A (zh) 工件孔洞检测方法、装置及电子设备
CN109726722B (zh) 一种字符分割方法及装置
Xu et al. Tolerance Information Extraction for Mechanical Engineering Drawings–A Digital Image Processing and Deep Learning-based Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination