CN113640177A - 货物密度测量方法、系统以及电子设备 - Google Patents

货物密度测量方法、系统以及电子设备 Download PDF

Info

Publication number
CN113640177A
CN113640177A CN202110731301.1A CN202110731301A CN113640177A CN 113640177 A CN113640177 A CN 113640177A CN 202110731301 A CN202110731301 A CN 202110731301A CN 113640177 A CN113640177 A CN 113640177A
Authority
CN
China
Prior art keywords
weight
image
imaging device
coordinate
cargo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110731301.1A
Other languages
English (en)
Other versions
CN113640177B (zh
Inventor
肖喜中
魏溪含
陈伟璇
李珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Innovation Co
Original Assignee
Alibaba Singapore Holdings Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Singapore Holdings Pte Ltd filed Critical Alibaba Singapore Holdings Pte Ltd
Priority to CN202110731301.1A priority Critical patent/CN113640177B/zh
Publication of CN113640177A publication Critical patent/CN113640177A/zh
Application granted granted Critical
Publication of CN113640177B publication Critical patent/CN113640177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N9/00—Investigating density or specific gravity of materials; Analysing materials by determining density or specific gravity
    • G01N9/02—Investigating density or specific gravity of materials; Analysing materials by determining density or specific gravity by measuring weight of a known volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N9/00—Investigating density or specific gravity of materials; Analysing materials by determining density or specific gravity
    • G01N9/02—Investigating density or specific gravity of materials; Analysing materials by determining density or specific gravity by measuring weight of a known volume
    • G01N2009/022—Investigating density or specific gravity of materials; Analysing materials by determining density or specific gravity by measuring weight of a known volume of solids
    • G01N2009/024—Investigating density or specific gravity of materials; Analysing materials by determining density or specific gravity by measuring weight of a known volume of solids the volume being determined directly, e.g. by size of container

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种货物密度测量方法、系统以及电子设备。其中，该系统包括：控制器、称重平台和至少一个成像装置；称重平台，用于获取第一重量和第二重量，其中，第一重量为目标车辆装载目标货物的重量，第二重量为目标车辆卸载目标货物的重量；至少一个成像装置，用于获取目标车辆装载目标货物的第一图像和第二图像；控制器，用于基于第一重量、第二重量、第一图像和第二图像对目标货物进行密度测量。本发明解决了现有技术中的废钢料型密度测量方法存在取样不均匀，对废钢破碎料型进行密度测量的效率低下的技术问题。

Description

货物密度测量方法、系统以及电子设备
技术领域
本发明涉及密度测量技术领域，具体而言，涉及一种货物密度测量方法、系统以及电子设备。
背景技术
现有技术中，根据废钢料型，废钢切面的厚度，可以将废钢划分为多个等级，如15mm废钢、10mm废钢、8mm废钢、6mm废钢、4mm废钢，甚至是更薄更细的料型，例如，废钢破碎料型。
对于采用卡车运输的废钢，一般情况下是依据废钢料型的密度对其进行分级/分类的，由于对卡车运输货物的密度测量的问题涉及到质量和体积两个变量，现有技术方案几无例外，都是集中采用过磅系统对废钢破碎料的质量和体积进行测量，存在取样不均匀，对破碎料型进行密度测量的效率低下的技术问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种货物密度测量方法、系统以及电子设备，以至少解决现有技术中的废钢料型密度测量方法存在取样不均匀，对废钢破碎料型进行密度测量的效率低下的技术问题。
根据本发明实施例的一个方面，提供了一种货物密度测量系统，包括：控制器、称重平台和至少一个成像装置；上述称重平台，用于获取第一重量和第二重量，其中，上述第一重量为目标车辆装载目标货物的重量，上述第二重量为上述目标车辆卸载上述目标货物的重量；上述至少一个成像装置，用于获取上述目标车辆装载上述目标货物的第一图像和第二图像；上述控制器，用于基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量。
根据本发明实施例的另一方面，还提供了一种货物密度测量方法，包括：利用称重平台获取第一重量和第二重量，其中，上述第一重量为目标车辆装载目标货物的重量，上述第二重量为上述目标车辆卸载上述目标货物的重量；利用至少一个成像装置获取上述目标车辆装载上述目标货物的第一图像和第二图像；基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量。
根据本发明实施例的另一方面，还提供了一种货物密度测量装置，包括：称重模块，用于利用称重平台获取第一重量和第二重量，其中，上述第一重量为目标车辆装载目标货物的重量，上述第二重量为上述目标车辆卸载上述目标货物的重量；获取模块，用于利用至少一个成像装置获取上述目标车辆装载上述目标货物的第一图像和第二图像；测量模块，用于基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量。
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，上述非易失性存储介质包括存储的程序，其中，在上述程序运行时控制上述非易失性存储介质所在设备任意一项上述的货物密度测量的方法。
根据本发明实施例的另一方面，还提供了一种货物密度测量系统，包括：处理器；以及存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：控制称重平台获取第一重量和第二重量，其中，上述第一重量为目标车辆装载目标货物的重量，上述第二重量为上述目标车辆卸载上述目标货物的重量；利用至少一个成像装置获取上述目标车辆装载上述目标货物的第一图像和第二图像；利用控制器基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量。
在本发明实施例中，提供一种货物密度测量方案，以该货物密度测量系统为例，该货物密度测量系统，包括：控制器、称重平台和至少一个成像装置；上述称重平台，用于获取第一重量和第二重量，其中，上述第一重量为目标车辆装载目标货物的重量，上述第二重量为上述目标车辆卸载上述目标货物的重量；上述至少一个成像装置，用于获取上述目标车辆装载上述目标货物的第一图像和第二图像；上述控制器，用于基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量。
容易注意到的是，本申请实施例中，通过将至少一个成像装置分布在上述称重平台的上方且上述至少一个成像装置的视线方向垂直于上述称重平台；采用称重平台获取目标车辆装载目标货物的重量和目标车辆卸载上述目标货物的重量；并采用至少一个成像装置获取上述目标车辆装载上述目标货物的第一图像和第二图像；进而基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量，得到目标货物的密度测量结果。
由此，本发明实施例达到了低成本、高效地对废钢料型进行非侵入式的密度测量，避免人工取样的有限性和局部性的目的，从而基于废钢料型的密度测量结果实现了准确判定废钢的分类等级的技术效果，进而解决了现有技术中的废钢料型密度测量方法存在取样不均匀，对废钢破碎料型进行密度测量的效率低下的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种货物密度测量系统的结构示意图；
图2是根据本发明实施例的一种可选的基于双摄像头的破碎料密度测量装置的示意图；
图3是根据本发明实施例的一种可选的货车的车斗顶俯视示意图；
图4是根据本发明实施例的一种可选的语义分割网络的结构示意图；
图5是根据本发明实施例的一种可选的车斗载货区域蒙版的示意图；
图6是根据本发明实施例的一种用于实现货物密度测量方法的计算机终端(或移动设备)的硬件结构框图；
图7是根据本发明实施例的一种可选的货物密度测量方法的流程图；
图8是根据本发明实施例的一种可选的货物密度测量装置的示意图；
图9是根据本发明实施例的一种可选的电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
深度：是指被成像物体离相机像面的垂直距离；
立体匹配：是指给定左右两幅图像，找出同一个物体在两个图像上对应坐标位置的差异的过程。
实施例1
根据本发明实施例，提供了一种货物密度测量系统的实施例，图1是根据本发明实施例的一种货物密度测量系统的结构示意图，如图1所示，上述货物密度测量系统包括：称重平台20、至少一个成像装置22和控制器24，其中：
上述至少一个成像装置22分布在上述称重平台的上方且上述至少一个成像装置22的视线方向垂直于上述称重平台20；上述称重平台20，用于获取第一重量和第二重量，其中，上述第一重量为目标车辆装载目标货物的重量，上述第二重量为上述目标车辆卸载上述目标货物的重量；上述至少一个成像装置22，用于获取上述目标车辆装载上述目标货物的第一图像和第二图像；上述控制器24，用于基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量。
容易注意到的是，本申请实施例中，通过将至少一个成像装置分布在上述称重平台的上方且上述至少一个成像装置的视线方向垂直于上述称重平台；采用称重平台获取目标车辆装载目标货物的重量和目标车辆卸载上述目标货物的重量；并采用至少一个成像装置获取上述目标车辆装载上述目标货物的第一图像和第二图像；进而基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量，得到目标货物的密度测量结果。
由此，本发明实施例达到了低成本、高效地对废钢料型进行非侵入式的密度测量，避免人工取样的有限性和局部性的目的，从而基于废钢料型的密度测量结果实现了准确判定废钢的分类等级的技术效果，进而解决了现有技术中的废钢料型密度测量方法存在取样不均匀，对废钢破碎料型进行密度测量的效率低下的技术问题。
需要说明的是，本申请实施例可以但不限于应用在任意一种类型的货物的密度测量场景中，例如，判定废钢的分类等级的场景、集中运输货物的物流或快递场景、采买建筑用料场景、大宗商品采购场景、大宗农作物采购场景，等等。
可选的，如图2所示一种可选的货物密度测量系统，上述目标车辆可以为货车，还可以为其他可以装载货物的运输车辆，例如，混凝土搅拌车，拖车等。如图2所示，称重平台上方设置一个立杆，该立杆顶部固定一个横杆，上述至少一个成像装置22可以设置在横杆上，例如，该成像装置22可以为普通摄像头、ToF深度摄像头或者激光扫描仪。
作为一种可选的实施例，可以在装载载有废钢破碎料的货车出入口处，安装如图2所示的货物密度测量系统，在图2中，上述至少一个成像装置22分布在上述称重平台的上方且上述至少一个成像装置22的视线方向垂直于上述称重平台20；上述至少一个成像装置22安装在高度为H的横杆23上，使得上述至少一个成像装置22的视线方向垂直于上述称重平台20；称重平台20上提供有一过磅平面21，用来测量货车装载或者卸载目标货物的重量，当货车驶入上述称重平台之后，且摄像头接近货车的中央位置时，上述至少一个成像装置22抓拍得到第一图像IL和第二图像IR。上述控制器24可以在过磅终端中实现，例如，智能手机、PC终端等其他手持类终端，用于基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量。
可选的，在本申请实施例中，上述称重平台获取的第一重量和第二重量分别为货车驶入称重平台时获取的第一重量M1和货车卸货后驶出称重平台获取的第二重量M2；当称重平台获取第一重量和第二重量后，上述控制器记录上述称重平台获取的第一重量与第二重量；在此过程中控制器还可以记录下货车的车斗底面距离地面的高度h；可选的，上述至少一个成像装置垂直于上述称重平台，且两个摄像头之间经过了校正，视线方向相同，相互之间的距离(基线)为b，当至少一个成像装置接近货车车斗中央位置时，对货车的车斗进行抓拍得到上述第一图像和第二图像。
可选的，在本申请实施例中，例如，可以记录货车装载废钢破碎料驶入和驶出称重平台的过磅结果，即第一重量和第二重量，以及获取上述目标车辆装载上述目标货物的第一图像和第二图像，上述控制器还可以用于利用上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量，得到密度测量结果。
在一种可选的实施例中，如图2所示，上述至少一个成像装置22包括：第一成像装置22a和第二成像装置22b，其中，上述第一成像装置22a与上述第二成像装置22b的视线方向相同，上述第一成像装置22a与上述第二成像装置22b的焦距相同。
作为一种可选的实施例，仍如图2所示，上述至少一个成像装置22分布在称重平台20的上方，至少一个成像装置22的视线方向垂直于称重平台20。
可选的，上述至少一个成像装置的视线方向垂直于上述称重平台上的过磅平面，由于至少一个成像装置之间经过了统一校正，焦距均为f，视线方向相同，相互之间的距离(基线)为b；需要说明的是，上述高度、焦距、基线等数值可以根据实际情况进行设置和更改。在本申请实施例中，通过采用第一成像装置和第二成像装置对目标货物进行单次抓图，不仅采样均匀、效率高，无运动部件，而且实现方式更加可靠。
在一种可选的实施例中，上述控制器，用于利用语义分割网络模型从上述第一图像或上述第二图像获取目标货物蒙版，其中，上述目标货物蒙版用于区分包含上述目标货物的第一图像区域与未包含上述目标货物的第二图像区域。
如图3所示，图3为破碎料载货车的车斗顶视图，在该车斗顶视图中，可以看到货车车斗30和破碎料货物30。可选的，如图4所示，利用语义分割网络模型FCN(fullyconvolutional network,全卷积网络模型)获得破碎料蒙版Mask，该破碎料蒙版Mask中，含破碎料区域值为1，不含破碎料区域值为0，即包含上述目标货物的第一图像区域值为1，未包含上述目标货物的第二图像区域值为0。
在一种可选的实施例中，上述控制器，用于利用立体匹配方式获取上述第一图像区域中的像素在上述第一图像与上述第二图像之间的视差。
可选的，在本申请实施例中，根据上述至少一个成像装置在同一时刻获取的上述第一图像IL和上述第二图像IR，利用立体匹配中的SGM(semi-global matching)算法，可以获得第一图像中任意一点，与该点在第二图像中所对应位置的视线差异(即视差)。根据得到的上述Mask蒙版，即得到该蒙版区域内值为1的任意像素的视差d。
在一种可选的实施例中，上述控制器，用于将上述第一图像区域划分为多个网格；利用上述多个网格中单位网格的深度、第一坐标、第二坐标获取上述单位网格的横截面积，其中，上述第一坐标和上述第二坐标为上述单位网格的顶点图像坐标；利用第一高度、第二高度、上述深度和上述横截面积计算上述单位网格对应的单位体积，其中，上述第一高度为上述至少一个成像装置的安装高度，上述第二高度为上述目标车辆的车斗底面的离地高度；通过上述单位体积确定上述多个网格对应的总体积；以及，利用上述第一重量、上述第二重量和上述总体积计算得到上述目标货物的密度测量结果。
在本申请的实施例中，上述控制器将第一图像区域划分为细小方形网格，如图7所示，两个顶点(xi,yi)和(xj,yj)对应的真实相机坐标为(Xi,Yi)和(Xj,Yj)，其中(xi,yi)和(xj,yj)为其中一个网格的两个顶点图像坐标。
在一种可选的实施例中，上述控制器，用于利用上述至少一个成像装置的焦距、上述第一成像装置与上述第二成像装置之间的距离和上述视差计算得到上述深度。
在本申请的实施例中，当网格划分足够小时，可认为该网格区域对应的货物是一个平面，即距摄像头平面深度相等，则令真实深度为Z。
在一种可选的实施例中，上述控制器，用于利用上述深度和上述至少一个成像装置的内参确定上述第一坐标与第三坐标之间的第一对应关系，其中，上述第三坐标为上述第一坐标对应的成像装置坐标；利用上述深度和上述至少一个成像装置的内参确定上述第二坐标与第四坐标之间的第二对应关系，其中，上述第四坐标为上述第二坐标对应的成像装置坐标；以及，利用上述深度、上述第一对应关系和上述第二对应关系计算得到上述横截面积。
可选的，上述控制器还可以利用上述第一重量、上述第二重量计算得到上述目标车辆的整车重累差；利用上述整车重累差和上述总体积计算得到上述密度测量结果。
在本申请的实施例中，上述深度为Z，上述至少一个成像装置的内参为K；上述第三坐标为上述第一坐标对应的成像装置坐标，上述第四坐标为上述第二坐标对应的成像装置坐标；则可以得到：
Z＝b·f/d (1)
[Xi,Yi,Z]T＝Z·K-1·[xi,yi,1]T (2)
[Xj,Yj,Z]T＝Z·K-1·[xj,yj,1]T (3)
从上述公式(1)，(2)和(3)推出：
[△X,△Y,0]T＝Z·K-1·[△x,△y,0]T (4)
S＝|△X·△Y| (5)；
上述公式(5)中的S即为图5中细小网格所对应的真实横截面积，则根据对应车型的车斗底面距离地面的高度h可知，该细小网格对应的破碎料体积Vi为：
Vi＝S·(H-h-Z) (6)；
通过遍历蒙版Mask区域内所有细小网格，依据同方式计算过程获取所有的细小网格对应的体积，进而得到总体积V:
V＝ΣVi (7)；
根据进出两次的利用上述第一重量M1、上述第二重量M2计算得到上述目标车辆的整车重累差△M＝|M1-M2|，再利用上述整车重累差和上述总体积计算得到上述密度测量结果为：
ρ＝△M/V (8)。
在本申请实施例中，基于双摄像头成像，配合深度学习/背景减除的图像分割算法，可以实现在单次抓图的情况下，自动确定获取目标货物所在区域，以及目标货物在两个摄像头图像平面上的视线差异，即得到获取图像区域的深度，再利用网格化后的小网格中的深度与像素数的乘积进行累计，即可得到无量纲但具有表征体积属性的货物质量，进而可根据相机内参和获取到的货物质量计算得到密度测量结果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的系统可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例上述的方法。
实施例2
根据本发明实施例，还提供了一种货物密度测量的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例2所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图6示出了一种用于实现货物密度测量方法的计算机终端(或移动设备)的硬件结构框图。如图6所示，计算机终端60(或移动设备60)可以包括一个或多个(图中采用602a、602b，……，602n来示出)处理器602(处理器602可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器604、以及用于通信功能的传输模块606。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图6所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端60还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。
应当注意到的是上述一个或多个处理器602和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端60(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器604可用于存储应用软件的软件程序以及模块，如本发明实施例中的一种货物密度测量方法对应的程序指令/数据存储装置，处理器602通过运行存储在存储器604内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的货物密度测量方法。存储器604可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器604可进一步包括相对于处理器602远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端60。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置606用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端60的通信供应商提供的无线网络。在一个实例中，传输装置606包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置606可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端60(或移动设备)的用户界面进行交互。
根据本发明实施例，还提供了一种可以在上述实施例1中所提供的货物密度测量系统中实施的货物密度测量方法，图7是根据本发明的一种货物密度测量方法的流程图，如图7所示，该方法包括如下步骤：
步骤S802，利用称重平台获取第一重量和第二重量，其中，上述第一重量为目标车辆装载目标货物的重量，上述第二重量为上述目标车辆卸载上述目标货物的重量；
步骤S804，利用至少一个成像装置获取上述目标车辆装载上述目标货物的第一图像和第二图像；
步骤S806，基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量。
需要说明的是，本申请实施例可以但不限于应用在任意一种类型的货物的密度测量场景中，例如，判定废钢的分类等级的场景、集中运输货物的物流或快递场景、采买建筑用料场景、大宗商品采购场景、大宗农作物采购场景，等等。
可选的，如图2所示一种可选的货物密度测量系统，上述目标车辆可以为货车，还可以为其他可以装载货物的运输车辆，例如，混凝土搅拌车，拖车等。如图2所示，称重平台上方设置一个立杆，该立杆顶部固定一个横杆，上述至少一个成像装置22可以设置在横杆上，例如，该成像装置22可以为普通摄像头、ToF深度摄像头或者激光扫描仪。
作为一种可选的实施例，可以在装载载有废钢破碎料的货车出入口处，安装如图2所示的货物密度测量系统，在图2中，上述至少一个成像装置22分布在上述称重平台的上方且上述至少一个成像装置22的视线方向垂直于上述称重平台20；上述至少一个成像装置22安装在高度为H的横杆23上，使得上述至少一个成像装置22的视线方向垂直于上述称重平台20；称重平台20上提供有一过磅平面21，用来测量货车装载或者卸载目标货物的重量，当货车驶入上述称重平台之后，且摄像头接近货车的中央位置时，上述至少一个成像装置22抓拍得到第一图像IL和第二图像IR。上述控制器24可以在过磅终端中实现，例如，智能手机、PC终端等其他手持类终端，用于基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量。
可选的，在本申请实施例中，上述称重平台获取的第一重量和第二重量分别为货车驶入称重平台时获取的第一重量M1和货车卸货后驶出称重平台获取的第二重量M2；当称重平台获取第一重量和第二重量后，上述控制器记录上述称重平台获取的第一重量与第二重量；在此过程中控制器还可以记录下货车的车斗底面距离地面的高度h；可选的，上述至少一个成像装置垂直于上述称重平台，且两个摄像头之间经过了校正，视线方向相同，相互之间的距离(基线)为b，当至少一个成像装置接近货车车斗中央位置时，对货车的车斗进行抓拍得到上述第一图像和第二图像。
可选的，在本申请实施例中，例如，可以记录货车装载废钢破碎料驶入和驶出称重平台的过磅结果，即第一重量和第二重量，以及获取上述目标车辆装载上述目标货物的第一图像和第二图像，上述控制器还可以用于利用上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量，得到密度测量结果。
在一种可选的实施例中，如图2所示，上述至少一个成像装置22包括：第一成像装置22a和第二成像装置22b，其中，上述第一成像装置22a与上述第二成像装置22b的视线方向相同，上述第一成像装置22a与上述第二成像装置22b的焦距相同。
作为一种可选的实施例，仍如图2所示，上述至少一个成像装置22分布在称重平台20的上方，至少一个成像装置22的视线方向垂直于称重平台20。
可选的，上述至少一个成像装置的视线方向垂直于上述称重平台上的过磅平面，由于至少一个成像装置之间经过了统一校正，焦距均为f，视线方向相同，相互之间的距离(基线)为b；需要说明的是，上述高度、焦距、基线等数值可以根据实际情况进行设置和更改。在本申请实施例中，通过采用第一成像装置和第二成像装置对目标货物进行单次抓图，不仅采样均匀、效率高，无运动部件，而且实现方式更加可靠。
在一种可选的实施例中，基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量包括：
步骤S902，利用语义分割网络模型从上述第一图像或上述第二图像获取目标货物蒙版；
步骤S904，利用立体匹配方式获取上述第一图像区域中的像素在上述第一图像与上述第二图像之间的视差；
步骤S906，基于上述第一重量、上述第二重量、上述第一图像区域和上述视差对上述目标货物进行密度测量。
可选的，上述目标货物蒙版用于区分包含上述目标货物的第一图像区域与未包含上述目标货物的第二图像区域。
如图3所示，图3为破碎料载货车的车斗顶视图，在该车斗顶视图中，可以看到货车车斗30和破碎料货物30。可选的，如图4所示，利用语义分割网络模型FCN(fullyconvolutional network,全卷积网络模型)获得破碎料蒙版Mask，该破碎料蒙版Mask中，含破碎料区域值为1，不含破碎料区域值为0，即包含上述目标货物的第一图像区域值为1，未包含上述目标货物的第二图像区域值为0。
可选的，在本申请实施例中，根据上述至少一个成像装置在同一时刻获取的上述第一图像IL和上述第二图像IR，利用立体匹配中的SGM(semi-global matching)算法，可以获得第一图像中任意一点，与该点在第二图像中所对应位置的视线差异(即视差)。根据得到的上述Mask蒙版，即得到该蒙版区域内值为1的任意像素的视差d。
在一种可选的实施例中，基于上述第一重量、上述第二重量、上述第一图像区域和上述视差对上述目标货物进行密度测量包括：
步骤S1002，将上述第一图像区域划分为多个网格；
步骤S1004，利用上述视差确定上述多个网格中单位网格的深度；
步骤S1006，利用上述深度、第一坐标、第二坐标获取上述单位网格的横截面积，其中，上述第一坐标和上述第二坐标为上述单位网格的顶点图像坐标；
步骤S1008，利用第一高度、第二高度、上述深度和上述横截面积计算上述单位网格对应的单位体积；
步骤S1010，通过上述单位体积确定上述多个网格对应的总体积；
步骤S1012，利用上述第一重量、上述第二重量和上述总体积计算得到上述目标货物的密度测量结果。
在本申请的实施例中，采用控制器将第一图像区域划分为细小方形网格，如图7所示，两个顶点(xi,yi)和(xj,yj)对应的真实相机坐标为(Xi,Yi)和(Xj,Yj)，其中(xi,yi)和(xj,yj)为其中一个网格的两个顶点图像坐标。
可选的，上述第一坐标和上述第二坐标为上述单位网格的顶点图像坐标；利用上述深度、第一坐标、第二坐标获取上述单位网格的横截面积；上述第一高度为上述至少一个成像装置的安装高度，上述第二高度为上述目标车辆的车斗底面的离地高度，即可以在称重平台称重过程中，记录下货车车斗底面离地高度，作为第二高度，利用第一高度、第二高度、上述深度和上述横截面积计算上述单位网格对应的单位体积。在本申请实施例中，利用细小网格的真实横截面和对应车型的车斗底面离地高度，可以得到所有的细小网格对应的体积，进而得到总体积，并可以利用上述第一重量、上述第二重量和上述总体积计算得到上述目标货物的密度测量结果。
在一种可选的实施例中，利用上述视差确定上述多个网格中单位网格的上述深度包括：
步骤S1102，利用上述至少一个成像装置的焦距、上述第一成像装置与上述第二成像装置之间的距离和上述视差计算得到上述深度。
在一种可选的实施例中，还可以采用控制器利用上述至少一个成像装置的焦距、上述第一成像装置与上述第二成像装置之间的距离和上述视差计算得到上述深度。在本申请的实施例中，当网格划分足够小时，可认为该网格区域对应的货物是一个平面，即距摄像头平面深度相等，令真实深度为Z。
在一种可选的实施例中，利用上述深度、第一坐标、第二坐标获取上述单位网格的上述横截面积包括：
步骤S1202，利用上述深度和上述至少一个成像装置的内参确定上述第一坐标与第三坐标之间的第一对应关系；
步骤S1204，利用上述深度和上述至少一个成像装置的内参确定上述第二坐标与第四坐标之间的第二对应关系；
步骤S1206，利用上述深度、上述第一对应关系和上述第二对应关系计算得到上述横截面积。
可选的，上述第三坐标为上述第一坐标对应的成像装置坐标；上述第四坐标为上述第二坐标对应的成像装置坐标。
在一种可选的实施例中，可以采用控制器利用上述深度和上述至少一个成像装置的内参确定上述第一坐标与第三坐标之间的第一对应关系，利用上述深度和上述至少一个成像装置的内参确定上述第二坐标与第四坐标之间的第二对应关系，并利用上述深度、上述第一对应关系和上述第二对应关系计算得到上述横截面积。
在本申请的实施例中，上述深度为Z，上述至少一个成像装置的内参为K；上述第三坐标为上述第一坐标对应的成像装置坐标，上述第四坐标为上述第二坐标对应的成像装置坐标；则可以得到：
Z＝b·f/d (1)
[Xi,Yi,Z]T＝Z·K-1·[xi,yi,1]T (2)
[Xj,Yj,Z]T＝Z·K-1·[xj,yj,1]T (3)
从上述公式(1)，(2)和(3)推出：
[△X,△Y,0]T＝Z·K-1·[△x,△y,0]T (4)
S＝|△X·△Y| (5)
上述公式(5)中的S即为图5中细小网格所对应的真实横截面积。
在一种可选的实施例中，利用上述第一重量、上述第二重量和上述总体积计算得到上述密度测量结果包括：
步骤S1302，利用上述第一重量、上述第二重量计算得到上述目标车辆的整车重累差；
步骤S1304，利用上述整车重累差和上述总体积计算得到上述密度测量结果。
在本申请的实施例中，根据进出两次的利用上述第一重量M1、上述第二重量M2计算得到上述目标车辆的整车重累差△M＝|M1-M2|，再利用上述整车重累差和上述总体积计算得到上述密度测量结果。
根据对应车型的车斗底面距离地面的高度h和细小网格所对应的真实横截面积S可知，该细小网格对应的破碎料体积为：
Vi＝S·(H-h-Z) (6)；
通过遍历蒙版Mask区域内所有细小网格，依据同方式计算过程获取所有的细小网格对应的体积，进而得到总体积:
V＝ΣVi (7)；
根据进出两次的利用上述第一重量M1、上述第二重量M2计算得到上述目标车辆的整车重累差△M＝|M1-M2|，再利用上述整车重累差和上述总体积计算得到上述密度测量结果为：
ρ＝△M/V (8)。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例上述的方法。
实施例3
根据本发明实施例，还提供了一种用于实施上述货物密度测量方法的装置实施例，图8是根据本发明实施例的一种货物密度测量装置的结构示意图，如图8所示，该装置包括：称重模块80、获取模块82和测量模块84，其中：
称重模块80，用于利用称重平台获取第一重量和第二重量，其中，上述第一重量为目标车辆装载目标货物的重量，上述第二重量为上述目标车辆卸载上述目标货物的重量；获取模块82，用于利用至少一个成像装置获取上述目标车辆装载上述目标货物的第一图像和第二图像；测量模块84，用于基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量。
容易注意到的是，本申请实施例中，通过将至少一个成像装置分布在上述称重平台的上方且上述至少一个成像装置的视线方向垂直于上述称重平台；采用称重平台获取目标车辆装载目标货物的重量和目标车辆卸载上述目标货物的重量；并采用至少一个成像装置获取上述目标车辆装载上述目标货物的第一图像和第二图像；进而基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量，得到目标货物的密度测量结果。
由此，本发明实施例达到了低成本、高效地对废钢料型进行非侵入式的密度测量，避免人工取样的有限性和局部性的目的，从而基于废钢料型的密度测量结果实现了准确判定废钢的分类等级的技术效果，进而解决了现有技术中的废钢料型密度测量方法存在取样不均匀，对废钢破碎料型进行密度测量的效率低下的技术问题。
此处需要说明的是，上述称重模块80、获取模块82和测量模块84对应于实施例2中的步骤S802至步骤S806，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例2提供的计算机终端70中。
需要说明的是，本实施例的优选实施方式可以参见方法实施例1中的相关描述，此处不再赘述。
实施例4
根据本申请的实施例，还提供了一种计算机终端的实施例，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本发明实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本发明实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本发明实施例中，上述计算机终端可以执行货物密度测量方法中以下步骤的程序代码：利用称重平台获取第一重量和第二重量，其中，上述第一重量为目标车辆装载目标货物的重量，上述第二重量为上述目标车辆卸载上述目标货物的重量；利用至少一个成像装置获取上述目标车辆装载上述目标货物的第一图像和第二图像；基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量。
可选地，图9是根据本申请实施例的一种电子设备的结构框图，如图9所示，该电子设备可以包括：一个或多个(图中仅示出一个)处理器902、存储器904及存储在存储器上并可在处理器上运行的程序，还可以包括外设接口906，上述存储器904与上述处理器902连接，用于为上述处理器提供处理以下处理步骤的指令：利用称重平台获取第一重量和第二重量，其中，上述第一重量为目标车辆装载目标货物的重量，上述第二重量为上述目标车辆卸载上述目标货物的重量；利用至少一个成像装置获取上述目标车辆装载上述目标货物的第一图像和第二图像；基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量。
其中，存储器可用于存储软件程序以及模块，如本发明实施例中的货物密度测量方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的货物密度测量方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：利用称重平台获取第一重量和第二重量，其中，上述第一重量为目标车辆装载目标货物的重量，上述第二重量为上述目标车辆卸载上述目标货物的重量；利用至少一个成像装置获取上述目标车辆装载上述目标货物的第一图像和第二图像；基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量。
可选的，上述处理器还可以执行如下步骤的程序代码：利用语义分割网络模型从上述第一图像或上述第二图像获取目标货物蒙版，其中，上述目标货物蒙版用于区分包含上述目标货物的第一图像区域与未包含上述目标货物的第二图像区域；利用立体匹配方式获取上述第一图像区域中的像素在上述第一图像与上述第二图像之间的视差；基于上述第一重量、上述第二重量、上述第一图像区域和上述视差对上述目标货物进行密度测量。
可选的，上述处理器还可以执行如下步骤的程序代码：将上述第一图像区域划分为多个网格；利用上述视差确定上述多个网格中单位网格的深度；利用上述深度、第一坐标、第二坐标获取上述单位网格的横截面积，其中，上述第一坐标和上述第二坐标为上述单位网格的顶点图像坐标；利用第一高度、第二高度、上述深度和上述横截面积计算上述单位网格对应的单位体积，其中，上述第一高度为上述至少一个成像装置的安装高度，上述第二高度为上述目标车辆的车斗底面的离地高度；通过上述单位体积确定上述多个网格对应的总体积；利用上述第一重量、上述第二重量和上述总体积计算得到上述目标货物的密度测量结果。
可选的，上述处理器还可以执行如下步骤的程序代码：利用上述至少一个成像装置的焦距、上述第一成像装置与上述第二成像装置之间的距离和上述视差计算得到上述深度。
可选的，上述处理器还可以执行如下步骤的程序代码：利用上述深度和上述至少一个成像装置的内参确定上述第一坐标与第三坐标之间的第一对应关系，其中，上述第三坐标为上述第一坐标对应的成像装置坐标；利用上述深度和上述至少一个成像装置的内参确定上述第二坐标与第四坐标之间的第二对应关系，其中，上述第四坐标为上述第二坐标对应的成像装置坐标；利用上述深度、上述第一对应关系和上述第二对应关系计算得到上述横截面积。
可选的，上述处理器还可以执行如下步骤的程序代码：利用上述深度和上述至少一个成像装置的内参确定上述第一坐标与第三坐标之间的第一对应关系，其中，上述第三坐标为上述第一坐标对应的成像装置坐标；利用上述深度和上述至少一个成像装置的内参确定上述第二坐标与第四坐标之间的第二对应关系，其中，上述第四坐标为上述第二坐标对应的成像装置坐标；利用上述深度、上述第一对应关系和上述第二对应关系计算得到上述横截面积。
采用本发明实施例，提供了一种货物密度测量的方案。通过利用称重平台获取第一重量和第二重量，其中，上述第一重量为目标车辆装载目标货物的重量，上述第二重量为上述目标车辆卸载上述目标货物的重量；利用至少一个成像装置获取上述目标车辆装载上述目标货物的第一图像和第二图像；基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量。
容易注意到的是，本申请实施例中，通过将至少一个成像装置分布在上述称重平台的上方且上述至少一个成像装置的视线方向垂直于上述称重平台；采用称重平台获取目标车辆装载目标货物的重量和目标车辆卸载上述目标货物的重量；并采用至少一个成像装置获取上述目标车辆装载上述目标货物的第一图像和第二图像；进而基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量，得到目标货物的密度测量结果。
由此，本发明实施例达到了低成本、高效地对废钢料型进行非侵入式的密度测量，避免人工取样的有限性和局部性的目的，从而基于废钢料型的密度测量结果实现了准确判定废钢的分类等级的技术效果，进而解决了现有技术中的废钢料型密度测量方法存在取样不均匀，对废钢破碎料型进行密度测量的效率低下的技术问题。
本领域普通技术人员可以理解，图9所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图9其并不对上述电子装置的结构造成限定。例如，计算机终端9还可包括比图9中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图9所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例5
根据本申请的实施例，还提供了一种非易失性存储介质的实施例。可选地，在本发明实施例中，上述非易失性存储介质可以用于保存上述实施例2所提供的货物密度测量方法所执行的程序代码。
可选地，在本发明实施例中，上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本发明实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：利用称重平台获取第一重量和第二重量，其中，上述第一重量为目标车辆装载目标货物的重量，上述第二重量为上述目标车辆卸载上述目标货物的重量；利用至少一个成像装置获取上述目标车辆装载上述目标货物的第一图像和第二图像；基于上述第一重量、上述第二重量、上述第一图像和上述第二图像对上述目标货物进行密度测量。
可选地，在本发明实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：利用语义分割网络模型从上述第一图像或上述第二图像获取目标货物蒙版，其中，上述目标货物蒙版用于区分包含上述目标货物的第一图像区域与未包含上述目标货物的第二图像区域；利用立体匹配方式获取上述第一图像区域中的像素在上述第一图像与上述第二图像之间的视差；基于上述第一重量、上述第二重量、上述第一图像区域和上述视差对上述目标货物进行密度测量。
可选地，在本发明实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：将上述第一图像区域划分为多个网格；利用上述视差确定上述多个网格中单位网格的深度；利用上述深度、第一坐标、第二坐标获取上述单位网格的横截面积，其中，上述第一坐标和上述第二坐标为上述单位网格的顶点图像坐标；利用第一高度、第二高度、上述深度和上述横截面积计算上述单位网格对应的单位体积，其中，上述第一高度为上述至少一个成像装置的安装高度，上述第二高度为上述目标车辆的车斗底面的离地高度；通过上述单位体积确定上述多个网格对应的总体积；利用上述第一重量、上述第二重量和上述总体积计算得到上述目标货物的密度测量结果。
可选地，在本发明实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：利用上述至少一个成像装置的焦距、上述第一成像装置与上述第二成像装置之间的距离和上述视差计算得到上述深度。
可选地，在本发明实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：利用上述深度和上述至少一个成像装置的内参确定上述第一坐标与第三坐标之间的第一对应关系，其中，上述第三坐标为上述第一坐标对应的成像装置坐标；利用上述深度和上述至少一个成像装置的内参确定上述第二坐标与第四坐标之间的第二对应关系，其中，上述第四坐标为上述第二坐标对应的成像装置坐标；利用上述深度、上述第一对应关系和上述第二对应关系计算得到上述横截面积。
可选地，在本发明实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：利用上述第一重量、上述第二重量计算得到上述目标车辆的整车重累差；利用上述整车重累差和上述总体积计算得到上述密度测量结果。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种货物密度测量系统，其特征在于，包括：控制器、称重平台和至少一个成像装置；
所述称重平台，用于获取第一重量和第二重量，其中，所述第一重量为目标车辆装载目标货物的重量，所述第二重量为所述目标车辆的重量；
所述至少一个成像装置，用于获取所述目标车辆装载所述目标货物的第一图像和第二图像；
所述控制器，用于基于所述第一重量、所述第二重量、所述第一图像和所述第二图像对所述目标货物进行密度测量。
2.根据权利要求1所述的货物密度测量系统，其特征在于，所述至少一个成像装置包括：第一成像装置和第二成像装置，其中，所述第一成像装置与所述第二成像装置的视线方向相同，所述第一成像装置与所述第二成像装置的焦距相同。
3.根据权利要求2所述的货物密度测量系统，其特征在于，所述控制器，用于利用语义分割网络模型从所述第一图像或所述第二图像获取目标货物蒙版，其中，所述目标货物蒙版用于区分包含所述目标货物的第一图像区域与未包含所述目标货物的第二图像区域。
4.根据权利要求3所述的货物密度测量系统，其特征在于，所述控制器，用于利用立体匹配方式获取所述第一图像区域中的像素在所述第一图像与所述第二图像之间的视差。
5.根据权利要求4所述的货物密度测量系统，其特征在于，所述控制器，用于将所述第一图像区域划分为多个网格；利用所述多个网格中单位网格的深度、第一坐标、第二坐标获取所述单位网格的横截面积，其中，所述第一坐标和所述第二坐标为所述单位网格的顶点图像坐标；利用第一高度、第二高度、所述深度和所述横截面积计算所述单位网格对应的单位体积，其中，所述第一高度为所述至少一个成像装置的安装高度，所述第二高度为所述目标车辆的车斗底面的离地高度；通过所述单位体积确定所述多个网格对应的总体积；以及，利用所述第一重量、所述第二重量和所述总体积计算得到所述目标货物的密度测量结果。
6.根据权利要求5所述的货物密度测量系统，其特征在于，所述控制器，用于利用所述至少一个成像装置的焦距、所述第一成像装置与所述第二成像装置之间的距离和所述视差计算得到所述深度。
7.根据权利要求5所述的货物密度测量系统，其特征在于，所述控制器，用于利用所述深度和所述至少一个成像装置的内参确定所述第一坐标与第三坐标之间的第一对应关系，其中，所述第三坐标为所述第一坐标对应的成像装置坐标；利用所述深度和所述至少一个成像装置的内参确定所述第二坐标与第四坐标之间的第二对应关系，其中，所述第四坐标为所述第二坐标对应的成像装置坐标；以及，利用所述深度、所述第一对应关系和所述第二对应关系计算得到所述横截面积。
8.根据权利要求1所述的货物密度测量系统，其特征在于，所述至少一个成像装置分布在所述称重平台的上方，所述至少一个成像装置的视线方向垂直于所述称重平台。
9.一种货物密度测量方法，其特征在于，包括：
利用称重平台获取第一重量和第二重量，其中，所述第一重量为目标车辆装载目标货物的重量，所述第二重量为所述目标车辆卸载所述目标货物的重量；
利用至少一个成像装置获取所述目标车辆装载所述目标货物的第一图像和第二图像；
基于所述第一重量、所述第二重量、所述第一图像和所述第二图像对所述目标货物进行密度测量。
10.根据权利要求9所述的货物密度测量方法，其特征在于，所述至少一个成像装置包括：第一成像装置和第二成像装置，其中，所述第一成像装置与所述第二成像装置的视线方向相同，所述第一成像装置与所述第二成像装置的焦距相同。
11.根据权利要求10所述的货物密度测量方法，其特征在于，基于所述第一重量、所述第二重量、所述第一图像和所述第二图像对所述目标货物进行密度测量包括：
利用语义分割网络模型从所述第一图像或所述第二图像获取目标货物蒙版，其中，所述目标货物蒙版用于区分包含所述目标货物的第一图像区域与未包含所述目标货物的第二图像区域；
利用立体匹配方式获取所述第一图像区域中的像素在所述第一图像与所述第二图像之间的视差；
基于所述第一重量、所述第二重量、所述第一图像区域和所述视差对所述目标货物进行密度测量。
12.根据权利要求11所述的货物密度测量方法，其特征在于，基于所述第一重量、所述第二重量、所述第一图像区域和所述视差对所述目标货物进行密度测量包括：
将所述第一图像区域划分为多个网格；
利用所述视差确定所述多个网格中单位网格的深度；
利用所述深度、第一坐标、第二坐标获取所述单位网格的横截面积，其中，所述第一坐标和所述第二坐标为所述单位网格的顶点图像坐标；
利用第一高度、第二高度、所述深度和所述横截面积计算所述单位网格对应的单位体积，其中，所述第一高度为所述至少一个成像装置的安装高度，所述第二高度为所述目标车辆的车斗底面的离地高度；
通过所述单位体积确定所述多个网格对应的总体积；
利用所述第一重量、所述第二重量和所述总体积计算得到所述目标货物的密度测量结果。
13.根据权利要求12所述的货物密度测量方法，其特征在于，利用所述深度、第一坐标、第二坐标获取所述单位网格的所述横截面积包括：
利用所述深度和所述至少一个成像装置的内参确定所述第一坐标与第三坐标之间的第一对应关系，其中，所述第三坐标为所述第一坐标对应的成像装置坐标；
利用所述深度和所述至少一个成像装置的内参确定所述第二坐标与第四坐标之间的第二对应关系，其中，所述第四坐标为所述第二坐标对应的成像装置坐标；
利用所述深度、所述第一对应关系和所述第二对应关系计算得到所述横截面积。
14.一种电子设备，其特征在于，包括：
处理器；以及
存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：
控制称重平台获取第一重量和第二重量，其中，所述第一重量为目标车辆装载目标货物的重量，所述第二重量为所述目标车辆卸载所述目标货物的重量；
利用至少一个成像装置获取所述目标车辆装载所述目标货物的第一图像和第二图像；
利用控制器基于所述第一重量、所述第二重量、所述第一图像和所述第二图像对所述目标货物进行密度测量。
CN202110731301.1A 2021-06-29 2021-06-29 货物密度测量方法、系统以及电子设备 Active CN113640177B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110731301.1A CN113640177B (zh) 2021-06-29 2021-06-29 货物密度测量方法、系统以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110731301.1A CN113640177B (zh) 2021-06-29 2021-06-29 货物密度测量方法、系统以及电子设备

Publications (2)

Publication Number Publication Date
CN113640177A true CN113640177A (zh) 2021-11-12
CN113640177B CN113640177B (zh) 2024-06-14

Family

ID=78416382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110731301.1A Active CN113640177B (zh) 2021-06-29 2021-06-29 货物密度测量方法、系统以及电子设备

Country Status (1)

Country Link
CN (1) CN113640177B (zh)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040023612A1 (en) * 2002-08-02 2004-02-05 Kriesel Marshall S. Apparatus and methods for the volumetric and dimensional measurement of livestock
US20050199111A1 (en) * 1999-04-20 2005-09-15 Formax, Inc. Automated product profiling apparatus and product slicing system using same
CN101718576A (zh) * 2009-12-18 2010-06-02 北京市煤炭矿用机电设备技术开发公司 基于图像处理的矿车计量监控系统
KR101530631B1 (ko) * 2014-12-18 2015-06-23 한국건설기술연구원 ３차원 스캐너를 이용한 밀도 측정 장치 및 방법
US20170030766A1 (en) * 2015-07-28 2017-02-02 Wal-Mart Stores, Inc. Systems and methods for determining measurement data of an item
US20170336195A1 (en) * 2015-06-11 2017-11-23 Panasonic Intellectual Property Management Co., Lt d. Dimension measurement device and dimension measurement method
CN107938745A (zh) * 2016-10-13 2018-04-20 迪尔公司 用于负载评估的系统和方法
CN207717572U (zh) * 2018-01-03 2018-08-10 内蒙古达智能源科技有限公司 一种火车运煤品质检测装置
CN108416804A (zh) * 2018-02-11 2018-08-17 深圳市优博讯科技股份有限公司 获取目标物体体积的方法、装置、终端设备及存储介质
CN108535138A (zh) * 2018-05-04 2018-09-14 鹤壁昊海电气有限公司 用于绿色通道车辆的比重检测装置及方法
CN108898044A (zh) * 2018-04-13 2018-11-27 顺丰科技有限公司 装载率获取方法、装置、系统及存储介质
CN108931458A (zh) * 2018-03-12 2018-12-04 四川广安发电有限责任公司 一种来煤质量检测系统及方法
CN109141234A (zh) * 2018-08-09 2019-01-04 郑州云海信息技术有限公司 一种智能物品识别方法和装置
CN109916302A (zh) * 2019-03-27 2019-06-21 青岛小鸟看看科技有限公司 一种载货箱体的体积测量方法和系统
CN109961468A (zh) * 2019-03-15 2019-07-02 北京清瞳时代科技有限公司 基于双目视觉的体积测量方法、装置及存储介质
CN110349195A (zh) * 2019-06-25 2019-10-18 杭州汇萃智能科技有限公司 一种基于深度图像的目标物体3d测量参数获取方法、系统和存储介质
CN110738618A (zh) * 2019-10-14 2020-01-31 河海大学常州校区 一种基于双目相机的不规则堆料体积测量方法
CN111307659A (zh) * 2020-03-11 2020-06-19 河南理工大学 一种不规则刚性物体密度快速测量系统
CN111583324A (zh) * 2019-02-19 2020-08-25 顺丰科技有限公司 单目图像深度估测装载率识别方法和装置
AU2019222803A1 (en) * 2019-02-22 2020-09-10 Binhai Industrial Technology Research Institute Of Zhejiang University Volume measurement apparatus and method
CN111982743A (zh) * 2020-08-31 2020-11-24 长春工程学院 一种基于物联网的火山岩鉴定方法、系统、终端及介质
CN112916416A (zh) * 2021-03-18 2021-06-08 武汉科技大学 一种建筑垃圾分拣系统

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050199111A1 (en) * 1999-04-20 2005-09-15 Formax, Inc. Automated product profiling apparatus and product slicing system using same
US20040023612A1 (en) * 2002-08-02 2004-02-05 Kriesel Marshall S. Apparatus and methods for the volumetric and dimensional measurement of livestock
CN101718576A (zh) * 2009-12-18 2010-06-02 北京市煤炭矿用机电设备技术开发公司 基于图像处理的矿车计量监控系统
KR101530631B1 (ko) * 2014-12-18 2015-06-23 한국건설기술연구원 ３차원 스캐너를 이용한 밀도 측정 장치 및 방법
US20170336195A1 (en) * 2015-06-11 2017-11-23 Panasonic Intellectual Property Management Co., Lt d. Dimension measurement device and dimension measurement method
US20170030766A1 (en) * 2015-07-28 2017-02-02 Wal-Mart Stores, Inc. Systems and methods for determining measurement data of an item
CN107938745A (zh) * 2016-10-13 2018-04-20 迪尔公司 用于负载评估的系统和方法
CN207717572U (zh) * 2018-01-03 2018-08-10 内蒙古达智能源科技有限公司 一种火车运煤品质检测装置
CN108416804A (zh) * 2018-02-11 2018-08-17 深圳市优博讯科技股份有限公司 获取目标物体体积的方法、装置、终端设备及存储介质
CN108931458A (zh) * 2018-03-12 2018-12-04 四川广安发电有限责任公司 一种来煤质量检测系统及方法
CN108898044A (zh) * 2018-04-13 2018-11-27 顺丰科技有限公司 装载率获取方法、装置、系统及存储介质
CN108535138A (zh) * 2018-05-04 2018-09-14 鹤壁昊海电气有限公司 用于绿色通道车辆的比重检测装置及方法
CN109141234A (zh) * 2018-08-09 2019-01-04 郑州云海信息技术有限公司 一种智能物品识别方法和装置
CN111583324A (zh) * 2019-02-19 2020-08-25 顺丰科技有限公司 单目图像深度估测装载率识别方法和装置
AU2019222803A1 (en) * 2019-02-22 2020-09-10 Binhai Industrial Technology Research Institute Of Zhejiang University Volume measurement apparatus and method
CN109961468A (zh) * 2019-03-15 2019-07-02 北京清瞳时代科技有限公司 基于双目视觉的体积测量方法、装置及存储介质
CN109916302A (zh) * 2019-03-27 2019-06-21 青岛小鸟看看科技有限公司 一种载货箱体的体积测量方法和系统
CN110349195A (zh) * 2019-06-25 2019-10-18 杭州汇萃智能科技有限公司 一种基于深度图像的目标物体3d测量参数获取方法、系统和存储介质
CN110738618A (zh) * 2019-10-14 2020-01-31 河海大学常州校区 一种基于双目相机的不规则堆料体积测量方法
CN111307659A (zh) * 2020-03-11 2020-06-19 河南理工大学 一种不规则刚性物体密度快速测量系统
CN111982743A (zh) * 2020-08-31 2020-11-24 长春工程学院 一种基于物联网的火山岩鉴定方法、系统、终端及介质
CN112916416A (zh) * 2021-03-18 2021-06-08 武汉科技大学 一种建筑垃圾分拣系统

Also Published As

Publication number Publication date
CN113640177B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
US10733752B2 (en) Estimating a volume of contents in a container of a work vehicle
CN110057292B (zh) 车厢装载率的确定方法和装置
CN113515985B (zh) 自助过磅系统、过磅检测方法、设备及存储介质
CN114693696A (zh) 一种点云数据处理方法及装置
US10769579B1 (en) Tote association
CN110363463A (zh) 货运数据处理方法、设备、系统及存储介质
CN112767496B (zh) 标定方法、设备及系统
CN115035181A (zh) 容积使用率的监控方法、装置和计算机可读存储介质
CN116415862A (zh) 货运信息处理方法及系统
CN106331040B (zh) 向用户进行推荐的方法及系统
CN114373005A (zh) 一种货物体积测量方法、装置、电子设备及可读存储介质
CN109166257B (zh) 一种购物车商品核验方法及其装置
CN113640177B (zh) 货物密度测量方法、系统以及电子设备
CN110909633B (zh) 堆积程度的确定方法及装置、存储介质、电子装置
CN111336959B (zh) 货车载货体积处理方法及装置、设备和计算机可读介质
CN110673114B (zh) 校准三维相机深度的方法、装置、计算机装置及存储介质
CN115376356B (zh) 车位管理方法、系统、电子设备及非易失性存储介质
CN115407355B (zh) 库位地图的验证方法、装置及终端设备
CN109801400A (zh) 行车数据处理方法、设备及存储介质
CN110933362A (zh) 一种图片处理方法、设备及计算机可读存储介质
US20190199999A1 (en) Systems and methods for detecting if package walls are beyond 3d depth camera range in commercial trailer loading
CN114445599A (zh) 一种试衣方法、装置、终端设备、存储介质和系统
CN109978986B (zh) 一种三维模型的重建方法、装置、存储介质及终端设备
CN116128954B (zh) 一种基于生成网络的商品布局识别方法、装置及存储介质
CN111815552A (zh) 一种工件检测方法、装置、可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240311

Address after: # 03-06, Lai Zan Da Building 1, 51 Belarusian Road, Singapore

Applicant after: Alibaba Innovation Co.

Country or region after: Singapore

Address before: Room 01, 45th Floor, AXA Building, 8 Shanton Road, Singapore

Applicant before: Alibaba Singapore Holdings Ltd.

Country or region before: Singapore

GR01 Patent grant