CN113988740A - 车厢装卸率计算方法及装置 - Google Patents

车厢装卸率计算方法及装置 Download PDF

Info

Publication number
CN113988740A
CN113988740A CN202111158690.XA CN202111158690A CN113988740A CN 113988740 A CN113988740 A CN 113988740A CN 202111158690 A CN202111158690 A CN 202111158690A CN 113988740 A CN113988740 A CN 113988740A
Authority
CN
China
Prior art keywords
voxels
voxel
cargo
point cloud
carriage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111158690.XA
Other languages
English (en)
Inventor
罗凤鸣
李勇基
杜晨光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lorentech Beijing Technology Co ltd
Original Assignee
Lorentech Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lorentech Beijing Technology Co ltd filed Critical Lorentech Beijing Technology Co ltd
Priority to CN202111158690.XA priority Critical patent/CN113988740A/zh
Publication of CN113988740A publication Critical patent/CN113988740A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Computational Mathematics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Algebra (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Geometry (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种车厢装卸率计算方法及装置,该方法包括:获取车厢内的点云数据及车厢的尺寸信息;根据预设体素尺寸信息将点云数据分割为多个体素;根据体素内是否包括有效点云及体素在深度方向的位置,确定各体素的类型;根据体素的类型对应的预设体积计算方式,计算多个体素的总体积;根据总体积及车厢的尺寸信息,计算车厢的装卸率。本发明可以将车厢的点云数据分割为多个体素,并根据货物堆放方式不同对各体素进行分类,以及针对不同类型的体素预设了不同的体积计算方式,在得到总体积后即可计算车厢的装载率,可以提高运算效率和装卸率准确性。

Description

车厢装卸率计算方法及装置
技术领域
本发明涉及深度相机技术领域,具体而言,涉及一种车厢装卸率计算方法及装置。
背景技术
在电子商务的持续驱动下,快递物流行业的竞争愈演愈烈,准确实时地跟踪快递运输车的装卸率变化已经成为提高运营效益的必要手段之一。目前,企业普遍采取车厢内搭载传感器的方式测量装卸率变化。其中,深度相机因其不受环境光照变化、具备三维测距信息以及搭载方便等优势脱颖而出。基于深度相机的车厢装卸率测量方案普遍直接采用栅格投影法和点云三角化法,未考虑到车厢内货物摆放差异会对测量方法干扰,导致装卸率结果存在较大误差。
发明内容
本发明解决的问题是现有基于深度相机的车厢装卸率测量方案,装卸率测量结果误差较大。
为解决上述问题,本发明提供一种车厢装卸率计算方法,包括:获取车厢内的点云数据及所述车厢的尺寸信息;根据预设体素尺寸信息将所述点云数据分割为多个体素;所述预设体素尺寸信息包括体素的高度、宽度及深度;根据体素内是否包括有效点云及体素在深度方向的位置,确定各所述体素的类型;所述类型包括紧凑货物体素、遮挡货物体素、离群货物体素、占满货物体素、空闲体素;根据所述体素的类型对应的预设体积计算方式,计算所述多个体素的总体积;根据所述总体积及所述车厢的尺寸信息,计算所述车厢的装卸率。
可选地,所述根据体素内是否包括有效点云及体素在深度方向的位置,确定各所述体素的类型,包括:按照高度方向、宽度方向遍历各个体素通道;所述体素通道为沿深度方向的体素队列;将每个体素通道上包含最远有效点云的体素确定为紧凑货物体素;将每个体素通道上通道数大于所述紧凑货物体素的体素确定为被遮挡货物体素;将每个体素通道上通道数小于所述紧凑货物体素,且包含有效点云的体素确定为离群货物体素;其中,若属于所述离群货物体素同列且列数大于所述离群货物体素的体素都为空闲体素,则此离群货物体素被确定为第一类离群货物体素,反之,则确定为第二类离群货物体素;若某个体素通道上都不存在包含有效点云的体素,则将该通道上第一个体素确定为占满货物体素,其余体素的类型确定为被遮挡货物体素;将不属于上述四种类型的体素,确定为空闲体素。
可选地,所述紧凑货物体素的体积V1计算公式如下:
Figure BDA0003289297640000021
其中,ci表示第i个紧凑货物体素的通道数,w表示单个体素的宽度,h表示单个体素的高度,di表示所述体素内的点云数据深度均值,m表示属于紧凑货物体素的总数;
所述离群货物体素的体积V2计算公式如下:
Figure BDA0003289297640000022
其中,k1、k2分别表示属于第一类离散货物体素、第二类离散货物体素的总数;wi、wj分别表示属于第一类离散货物体素、第二类离散货物体素的第i、j个体素内点云集合的宽度差值绝对值,hi表示属于第一类离散货物体素的第i个体素内点云集合的高度差值绝对值,ΔHj表示第二类离散货物体素的第j个体素到车厢地面的实际高度值,rowj表示第j个第二类离散货物体素所处的行数;Δdi、Δdi分别表示属于第一类离散货物体素、第二类离散货物体素的第i、j个体素内点云集合的深度差值绝对值;
所述占满货物状态的体素的体积V3计算公式如下:
Figure BDA0003289297640000031
其中,n表示属于占满货物体素的总数,w表示单个体素的宽度,h表示单个体素的高度,Ddevice表示点云数据采集设备到车厢前端面的距离。
可选地,所述车厢的装卸率r的计算公式如下:
Figure BDA0003289297640000032
其中,V1表示属于紧凑货物体素的体积,V2表示属于离散货物体素的体积,V3表示属于占满货物体素的体积,Ddevice表示点云数据采集设备到车厢前端面的距离,H表示基于所述点云数据标定的车厢高度,W表示基于所述点云数据标定的车厢宽度。
可选地,所述根据体素内是否包括有效点云及体素在深度方向的位置,确定各所述体素的类型,还包括:若与所述占满货物体素同列且列数较大的体素都为占满货物体素状态,则确定所述占满货物体素为占满货物导致,否则为货物遮挡导致;若为货物遮挡导致,则根据所述体素通道的宽度方向两侧相邻体素通道上属于紧凑货物体素填充所述体素通道上各体素;确定填充后的所述体素通道上各体素的类型。
可选地,所述根据所述体素通道的宽度方向两侧的体素通道上属于紧凑货物体素填充所述体素通道上各体素,包括:若宽度方向一侧存在属于紧凑货物体素,则将所述紧凑货物体素的第一点云均值填补所述体素通道上与所述紧凑货物体素深度相同的体素;若宽度方向两侧均存在属于紧凑货物体素,则计算两个所述紧凑货物体素的第二点云均值,以及将所述第二点云均值填补所述体素通道上与所述紧凑货物体素深度相同的体素;若两侧均不存在包含有效点云的体素,则在下一次迭代时填充。
可选地,所述获取车厢的尺寸信息,包括:将所述点云数据沿深度方向投影,得到对应的投影数据;截取所述投影数据的图像中心点附近部分区域的投影数据;根据所述图像中心点附近部分区域的投影数据,确定点云数据采集设备到车厢前端面的距离。
可选地,所述获取车厢的尺寸信息,还包括:截取所述点云数据在深度方向上预设位置的点云数据;所述预设位置不包括车厢前端面;将所述预设位置处的点云数据沿深度方向投影,以及按高度方向及宽度方向统计车厢壁像素的数量;根据所述车厢壁像素的数量极大值对应的高度方向、宽度方向的差值,分别确定车厢的高度、宽度。
本发明提供一种车厢装卸率计算装置,包括:获取模块,用于获取车厢内的点云数据及所述车厢的尺寸信息;体素分割模块,用于根据预设体素尺寸信息将所述点云数据分割为多个体素;所述预设体素尺寸信息包括体素的高度、宽度及深度;体素类型确定模块,用于根据体素内是否包括有效点云及体素在深度方向的位置,确定各所述体素的类型;所述类型包括紧凑货物体素、遮挡货物体素、离群货物体素、占满货物体素、空闲体素;货物体积计算模块,用于根据所述体素的类型对应的预设体积计算方式,计算所述多个体素的总体积;装卸率计算模块,用于根据所述总体积及所述车厢的尺寸信息,计算所述车厢的装卸率。
可选地,所述体素类型确定模块具体用于:按照高度方向、宽度方向遍历各个体素通道;所述体素通道为沿深度方向的体素队列;将每个体素通道上包含最远有效点云的体素确定为紧凑货物体素;将每个体素通道上通道数大于所述紧凑货物体素的体素确定为被遮挡货物体素;将每个体素通道上通道数小于所述紧凑货物体素,且包含有效点云的体素确定为离群货物体素;其中,若属于所述离群货物体素同列且列数大于所述离群货物体素的体素都为空闲体素,则此离群货物体素被确定为第一类离群货物体素,反之,则确定为第二类离群货物体素;若某个体素通道上都不存在包含有效点云的体素,则将该通道上第一个体素确定为占满货物体素,其余体素的类型确定为被遮挡货物体素;将不属于上述四种类型的体素,确定为空闲体素。
本发明提供的车厢装卸率计算方法及装置,将车厢的点云数据分割为多个体素,并根据货物堆放方式不同对各体素进行分类,以及针对不同类型的体素预设了不同的体积计算方式,在得到总体积后即可计算车厢的装载率,可以提高运算效率和装卸率准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例中深度相机的安装效果示意图;
图2为本发明的一个实施例中一种车厢装卸率计算方法的示意性流程图;
图3为本发明实施例中点云数据体素化的结构示意图;
图4为本发明实施例中车厢前端面投影示意图;
图5为本发明实施例中车厢切片投影示意图;
图6为本发明的一个实施例中一种车厢装卸率计算装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1是深度相机的安装效果示意图,该深度相机用于采集车厢内的点云数据或者深度图。如图1所示,在车厢101内的顶角处安装有深度相机102。部分深度相机可以直接输出点云数据,部分深度相机可以输出深度图,则可以结合深度相机内参将深度值转换为点云数据。点云数据是指某个坐标系下的点的数据集,通常包括三维坐标X,Y,Z;深度图是指在三维计算机图形和计算机视觉中,包含与场景对象的表面到视点的距离有关的信息的图像。
在图1中,以X轴表示车厢的宽度方向,以Y轴表示车厢的高度方向,以Z轴表示车厢的深度方向,将Z轴的正方向定义为远端,将Z轴的负方向定义为近端。
图2是本发明的一个实施例中一种车厢装卸率计算方法的示意性流程图,该方法包括:
S202,获取车厢内的点云数据及车厢的尺寸信息。
由于点云数据采集设备(例如深度相机)安装于车厢内,此时设备到车厢前端面的距离并不等于车厢长度,因此可以基于车厢内的点云数据进行车厢三维尺寸标定,确定车厢的尺寸信息。
S204,根据预设体素尺寸信息将点云数据分割为多个体素。
其中,体素即体积元素,为采用预设大小的立方块。考虑到点云数据稀疏且数量较大,为此,将点云体素化形成稠密且规则的数据结构。为保证体素化后点云稠密,设置单个体素块的高度、宽度和深度值,需要根据设备到车厢前端面的距离、分辨率、视场角来估算。该预设体素尺寸信息包括体素的高度、宽度及深度。
在点云数据体素化后,得到数据结构为高度、宽度、深度(或称为通道)的三维数据。图3示出了点云数据体素化的结构示意图,其中,X轴为体素的宽度方向,Y轴为体素的高度方向,Z轴为体素的深度方向。在图3中沿Z轴体素组成多个通道。
例如,深度相机分辨率为320*240,视场角为60°*45°,拍摄9.6米的车厢时,通过推算最远处点云表征的物理尺寸约4cm,因此,可以采用4cm*4cm*10cm的体素块,每个体素内的点云归为同一目标。
S206,根据体素内是否包括有效点云及体素在深度方向的位置,确定各体素的类型。
在实际装卸货物过程中,车厢内的货物并非从内到外紧密相连,甚至货物与货物之间会存在较大间隔。随着货物不断堆放,点云可能存在空洞数据,此现象由于货物遮挡、目标内部空间不可见或者货物堆满进入探测盲区而导致。基于上述分析,需要对体素进行分类,本实施例中定义货物点云分类标准,具体定义了如下五种体素类型:紧凑货物体素、遮挡货物体素、离群货物体素、占满货物体素、空闲体素。
可选地,首先,按照上述高度方向、宽度方向遍历各个体素通道,该体素通道为沿深度方向的体素队列;然后,按照以下方式确定各体素的类型:
(1)将每个体素通道上包含最远有效点云的体素确定为紧凑货物体素。具体地,将任意体素通道上最远处包含有效点云数据的体素集合定义为紧凑货物体素。
(2)将每个体素通道上通道数大于紧凑货物体素的体素确定为被遮挡货物体素。将位于上述同一体素通道上且通道数大于第一类体素的集合定义为被遮挡货物体素。
(3)将每个体素通道上通道数小于紧凑货物体素,且包含有效点云的体素确定为离群货物体素;其中,若属于离群货物体素同列且列数大于离群货物体素的体素都为空闲体素,则此离群货物体素被确定为第一类离群货物体素,反之,则确定为第二类离群货物体素。将位于上述同一体素通道上且通道数小于紧凑货物体素通道数的包含有效点云的体素集合定义为离群货物体素,并具体分为第一类离群货物体素及第二类离群货物体素。
(4)若某个体素通道上都不存在包含有效点云的体素,则将该通道上第一个体素确定为占满货物体素,其余体素的类型确定为被遮挡货物体素。若遍历某体素通道上不存在包含有效点云的体素,将该体素通道上的第一个体素定义为占满货物体素,其余体素定义为被遮挡货物体素。
(5)将不属于上述四种类型的体素,确定为空闲体素。
S208,根据体素的类型对应的预设体积计算方式,计算上述多个体素的总体积。
基于上述体素类型,本实施例提供了不同的预设体积计算方式。具体地,针对紧凑货物体素及位于同一体素通道上的被遮挡货物体素,可以基于两者的数量及紧凑货物体素的体积计算得到该体素通道上货物的体积;针对离群货物体素,可以基于其数量及其每个体素中点云的占用体积计算得到该体素通道上货物的体积;针对占满货物体素及位于同一体素通道上的被遮挡货物状态的体素,可以基于体素通道的整体长度、体素的宽度及高度计算得到该体素通道上货物的体积。需要说明的是,不属于上述任何一种类型的空闲体素,其未被货物占据,即其对应的货物的体积为零。
基于上述方式可以计算得到各个体素通道上货物的体积,进而求和得到车厢内货物的总体积。
S210,根据上述总体积及车厢的尺寸信息,计算车厢的装卸率。
本发明实施例提供的车厢装卸率计算方法,将车厢的点云数据分割为多个体素,并根据货物堆放方式不同对各体素进行分类,以及针对不同类型的体素预设了不同的体积计算方式,在得到总体积后即可计算车厢的装载率,可以提高运算效率和装卸率准确性。
可选地,基于上述体素的分类结果,定义了以下四种计算方式。
(1)紧凑货物体素的体积V1计算公式如下:
Figure BDA0003289297640000081
其中,其中,ci表示第i个紧凑货物体素的通道数,w表示单个体素的宽度,h表示单个体素的高度,di表示所述体素内的点云数据深度均值,m表示属于紧凑货物体素的总数。w、h、di相乘则得到单个体素的体积,di即体素通道上属于紧凑货物体素的点云数据深度均值,ci、w、h、di相乘即得到一个通道中货物所占体积,对m个通道所占体积求和即得到该类型通道中货物所占总体积。
(2)离群货物体素的体积V2计算公式如下:
Figure BDA0003289297640000091
其中,k1、k2分别表示属于第一类离散货物体素、第二类离散货物体素的总数;wi、wj分别表示属于第一类离散货物体素、第二类离散货物体素的第i、j个体素内点云集合的宽度差值绝对值,hi表示属于第一类离散货物体素的第i个体素内点云集合的高度差值绝对值,ΔHj表示第二类离散货物体素的第j个体素到车厢地面的实际高度值,rowj表示第j个第二类离散货物体素所处的行数;Δdi、Δdi分别表示属于第一类离散货物体素、第二类离散货物体素的第i、j个体素内点云集合的深度差值绝对值。
(3)占满货物体素的体积V3计算公式如下:
Figure BDA0003289297640000092
其中,n表示属于占满货物体素的总数,w表示单个体素的宽度,h表示单个体素的高度,Ddevice表示点云数据采集设备到车厢前端面的距离。
(4)被遮挡货物体素的体积已经由紧凑货物体素或者占满货物体素的体积计算公式所包含,所以不需要再重复计算。
在上述计算公式的基础上,车厢的装卸率r的计算公式如下:
Figure BDA0003289297640000093
其中,V1表示属于紧凑货物体素的体积,V2表示属于离散货物体素的体积,V3表示属于占满货物体素的体积,Ddevice表示点云数据采集设备到车厢前端面的距离,H表示基于点云数据标定的车厢高度,W表示基于点云数据标定的车厢宽度。
考虑随着货物不断堆放,点云可能存在空洞数据,此现象由于货物遮挡、目标内部空间不可见或者货物堆满进入探测盲区而导致。例如,由于上述点云数据采集设备采用角落安装方式,识别为占满货物状态的空洞体素集合可能由左、右侧突出的货物遮挡或者货物超出设备的视场角而产生,因此需要识别空洞体素产生的原因。
可选地,分类规则如下:若占满货物体素沿列向下遍历体素,都为占满货物状态的体素,则该空洞体素为占满货物导致,反之该空洞体素由货物遮挡导致。基于此,上述S206包括以下步骤:若与占满货物体素同列且列数较大的体素都为占满货物体素状态,则确定该占满货物体素为占满货物导致,否则为货物遮挡导致;若为货物遮挡导致,则根据体素通道的宽度方向两侧相邻体素通道上属于紧凑货物体素填充体素通道上各体素;确定填充后的体素通道上各体素的类型。
货物遮挡导致的空洞体素通过左、右邻域属于紧凑货物体素进行填充,规则如下:若仅一侧存在紧凑货物体素,则直接将该体素内点云均值用于填补空洞体素,若两侧体素都存在紧凑货物体素,则求两个体素内点云均值来填补空洞体素。若两侧都不存在包含有效点云的体素,则进入下一轮迭代,通过不断迭代可以将遮挡状态下的空洞体素进行填补完毕。
基于此,上述填充步骤可以按照以下方式执行:若宽度方向一侧存在属于紧凑货物体素,则将紧凑货物体素的第一点云均值填补体素通道上与紧凑货物体素深度相同的体素;若宽度方向两侧均存在属于紧凑货物体素,则计算两个紧凑货物体素的第二点云均值,以及将第二点云均值填补体素通道上与紧凑货物体素深度相同的体素;若两侧均不存在包含有效点云的体素,则在下一次迭代时填充。
其中,宽度方向左右任意一侧的相邻通道如果有紧凑货物体素,则对于当前通道上与该属于紧凑货物体素的深度相同的体素,即与其相邻的体素进行填充。基于上述分类原则,填充后的体素的类型被确定为紧凑货物体素。
考虑到设备采集车厢点云数据,与理想车厢尺寸存在一定偏差,因此,根据设备采集的空车厢点云数据进行三维尺寸标定,代替使用理想车厢尺寸的容积计算装卸率,以提高装卸率的准确性。基于此,上述S202可以按照以下方式确定车厢的长度,即上述Ddevice:将点云数据沿深度方向投影,得到对应的投影数据;截取投影数据的图像中心点附近部分区域的投影数据;根据图像中心点附近部分区域的投影数据,确定点云数据采集设备到车厢前端面的距离。
在标定车厢长度时,需要将车厢点云数据沿Z轴投影,估算出设备到车厢前端面的真实距离。图4为车厢前端面投影示意图。为避免四周车厢壁数据对距离估算的干扰,可以采取图像中心点附近部分区域的投影数据计算,示例性地,仅取图4中以图像中心点分割出投影面内四分之一区域的投影数据,根据截取区域的投影数据求取均值或者中位数,用来表示设备到车厢前端面的近似距离。
上述S202可以按照以下方式确定车厢的高度及宽度,即上述H及W:截取点云数据在深度方向上预设位置的点云数据;该预设位置不包括车厢前端面;将预设位置处的点云数据沿深度方向投影,以及按高度方向及宽度方向统计车厢壁像素的数量;根据车厢壁像素的数量最大值对应的高度方向、宽度方向的差值,分别确定车厢的高度、宽度。
在标定车厢的高度和宽度时,可以采用车厢长度方向上中部的点云数据,以避免车厢前端面的影响,示例性地,可以截取车厢前n-1米的点云数据,n表示车厢长度,将点云投影到Z轴方向。图5为车厢切片投影示意图。
在图5中,白色像素表示空车厢壁点云,黑色像素表示无目标点云。可选地,按行和列统计白色像素数量,在图像处理时,行是指高度方向,列是指宽度方向,从而可以生成两幅直方图。两幅直方图的横轴分别表示宽度位置和高度位置,纵轴表示白色像素的数量,在行直方图中均存在两个极大值,分别对应于车厢的两个侧壁,在列直方图中均存在两个极大值,分别对应于车厢的顶壁和底板。通过搜索直方图中两侧最高值索引,便可以定位车厢壁的xmin,xmax,ymin,ymax,从而解算出车厢的高度值为ymin-ymax和宽度值为xmax-xmin
本发明实施例提供了一种识别车厢内货物不同摆放状态下的点云数据,并设计不同的装卸率计算方式,提高装卸率的自适应性;以及根据设备采集的空车厢点云数据进行三维尺寸标定,代替使用理想车厢的容积计算装卸率。根据货物堆放方式不同,定义了货物点云分类标准,设计自适应装卸率计算公式,在计算装卸率时,采用上述标定出的车厢容积代替理想车厢的容积,提高了运算效率和装卸率准确性。
图6是本发明的一个实施例中一种车厢装卸率计算装置的结构示意图,该装置包括:
获取模块601,用于获取车厢内的点云数据及所述车厢的尺寸信息;
体素分割模块602,用于根据预设体素尺寸信息将所述点云数据分割为多个体素;所述预设体素尺寸信息包括体素的高度、宽度及深度;
体素类型确定模块603,用于根据体素内是否包括有效点云及体素在深度方向的位置,确定各所述体素的类型;所述类型包括紧凑货物体素、遮挡货物体素、离群货物体素、占满货物体素、空闲体素;
货物体积计算模块604,用于根据所述体素的类型对应的预设体积计算方式,计算所述多个体素的总体积;
装卸率计算模块605,用于根据所述总体积及所述车厢的尺寸信息,计算所述车厢的装卸率。
可选地,作为一个实施例,所述体素类型确定模块具体用于:
将每个体素通道上包含最远有效点云的体素确定为紧凑货物体素;
将每个体素通道上通道数大于紧凑货物体素的体素确定为被遮挡货物体素;
将每个体素通道上通道数小于紧凑货物体素,且包含有效点云的体素确定为离群货物体素;其中,若属于离群货物体素同列且列数大于离群货物体素的体素都为空闲体素,则此离群货物体素被确定为第一类离群货物体素,反之,则确定为第二类离群货物体素;
若某个体素通道上都不存在包含有效点云的体素,则将该通道上第一个体素确定为占满货物体素,其余体素的类型确定为被遮挡货物体素;
将不属于上述四种类型的体素,确定为空闲体素。
可选地,作为一个实施例,紧凑货物体素的体积V1计算公式如下:
Figure BDA0003289297640000131
其中,其中,ci表示第i个紧凑货物体素的通道数,w表示单个体素的宽度,h表示单个体素的高度,di表示所述体素内的点云数据深度均值,m表示属于紧凑货物体素的总数;
离群货物体素的体积V2计算公式如下:
Figure BDA0003289297640000132
其中,k1、k2分别表示属于第一类离散货物体素、第二类离散货物体素的总数;wi、wj分别表示属于第一类离散货物体素、第二类离散货物体素的第i、j个体素内点云集合的宽度差值绝对值,hi表示属于第一类离散货物体素的第i个体素内点云集合的高度差值绝对值,ΔHj表示第二类离散货物体素的第j个体素到车厢地面的实际高度值,rowj表示第j个第二类离散货物体素所处的行数;Δdi、Δdi分别表示属于第一类离散货物体素、第二类离散货物体素的第i、j个体素内点云集合的深度差值绝对值;
占满货物状态的体素的体积V3计算公式如下:
Figure BDA0003289297640000133
其中,n表示属于占满货物体素的总数,w表示单个体素的宽度,h表示单个体素的高度,Ddevice表示点云数据采集设备到车厢前端面的距离。
可选地,作为一个实施例,车厢的装卸率r的计算公式如下:
Figure BDA0003289297640000141
其中,V1表示属于紧凑货物体素的体积,V2表示属于离散货物体素的体积,V3表示属于占满货物体素的体积,Ddevice表示点云数据采集设备到车厢前端面的距离,H表示基于点云数据标定的车厢高度,W表示基于点云数据标定的车厢宽度。
可选地,作为一个实施例,所述体素类型确定模块,还用于:若与占满货物体素同列且列数较大的体素都为占满货物体素状态,则确定占满货物体素为占满货物导致,否则为货物遮挡导致;若为货物遮挡导致,则根据体素通道的宽度方向两侧相邻体素通道上属于紧凑货物体素填充体素通道上各体素;确定填充后的体素通道上各体素的类型。
可选地,作为一个实施例,所述体素类型确定模块,还用于:若宽度方向一侧存在属于紧凑货物体素,则将紧凑货物体素的第一点云均值填补体素通道上与紧凑货物体素深度相同的体素;若宽度方向两侧均存在属于紧凑货物体素,则计算两个紧凑货物体素的第二点云均值,以及将第二点云均值填补体素通道上与紧凑货物体素深度相同的体素;若两侧均不存在包含有效点云的体素,则在下一次迭代时填充。
可选地,作为一个实施例,所述获取模块,具体用于:将所述点云数据沿深度方向投影,得到对应的投影数据;截取所述投影数据的图像中心点附近部分区域的投影数据;根据所述图像中心点附近部分区域的投影数据,确定点云数据采集设备到车厢前端面的距离。
可选地,作为一个实施例,所述获取模块,具体用于:截取所述点云数据在深度方向上预设位置的点云数据;所述预设位置不包括车厢前端面;将所述预设位置处的点云数据沿深度方向投影,以及按高度方向及宽度方向统计车厢壁像素的数量;根据所述车厢壁像素的数量极大值对应的高度方向、宽度方向的差值,分别确定车厢的高度、宽度。
本实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
当然,本领域技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程度来指令控制装置来完成,所述的程序可存储于一计算机可读取的存储介质中,所述程序在执行时可包括如上述车厢装卸率计算方法实施例的流程,其中所述的存储介质可为存储器、磁盘、光盘等。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同、相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种车厢装卸率计算方法,其特征在于,包括:
获取车厢内的点云数据及所述车厢的尺寸信息;
根据预设体素尺寸信息将所述点云数据分割为多个体素;所述预设体素尺寸信息包括体素的高度、宽度及深度;
根据体素内是否包括有效点云及体素在深度方向的位置,确定各所述体素的类型;所述类型包括紧凑货物体素、遮挡货物体素、离群货物体素、占满货物体素、空闲体素;
根据所述体素的类型对应的预设体积计算方式,计算所述多个体素的总体积;
根据所述总体积及所述车厢的尺寸信息,计算所述车厢的装卸率。
2.根据权利要求1所述的方法,其特征在于,所述根据体素内是否包括有效点云及体素在深度方向的位置,确定各所述体素的类型,包括:
按照高度方向、宽度方向遍历各个体素通道;所述体素通道为沿深度方向的体素队列;
将每个体素通道上包含最远有效点云的体素确定为紧凑货物体素;
将每个体素通道上通道数大于所述紧凑货物体素的体素确定为被遮挡货物体素;
将每个体素通道上通道数小于所述紧凑货物体素,且包含有效点云的体素确定为离群货物体素;其中,若属于所述离群货物体素同列且列数大于所述离群货物体素的体素都为空闲体素,则此离群货物体素被确定为第一类离群货物体素,反之,则确定为第二类离群货物体素;
若某个体素通道上都不存在包含有效点云的体素,则将该通道上第一个体素确定为占满货物体素,其余体素的类型确定为被遮挡货物体素;
将不属于上述四种类型的体素,确定为空闲体素。
3.根据权利要求1或2所述的方法,其特征在于,所述紧凑货物体素的体积V1计算公式如下:
Figure FDA0003289297630000021
其中,ci表示第i个紧凑货物体素的通道数,w表示单个体素的宽度,h表示单个体素的高度,di表示所述体素内的点云数据深度均值,m表示属于紧凑货物体素的总数;
所述离群货物体素的体积V2计算公式如下:
Figure FDA0003289297630000022
其中,k1、k2分别表示属于第一类离散货物体素、第二类离散货物体素的总数;wi、wj分别表示属于第一类离散货物体素、第二类离散货物体素的第i、j个体素内点云集合的宽度差值绝对值,hi表示属于第一类离散货物体素的第i个体素内点云集合的高度差值绝对值,ΔHj表示第二类离散货物体素的第j个体素到车厢地面的实际高度值,rowj表示第j个第二类离散货物体素所处的行数;Δdi、Δdi分别表示属于第一类离散货物体素、第二类离散货物体素的第i、j个体素内点云集合的深度差值绝对值;
所述占满货物状态的体素的体积V3计算公式如下:
Figure FDA0003289297630000023
其中,n表示属于占满货物体素的总数,w表示单个体素的宽度,h表示单个体素的高度,Ddevice表示点云数据采集设备到车厢前端面的距离。
4.根据权利要求3所述的方法,其特征在于,所述车厢的装卸率r的计算公式如下:
Figure FDA0003289297630000024
其中,V1表示属于紧凑货物体素的体积,V2表示属于离散货物体素的体积,V3表示属于占满货物体素的体积,Ddevice表示点云数据采集设备到车厢前端面的距离,H表示基于所述点云数据标定的车厢高度,W表示基于所述点云数据标定的车厢宽度。
5.根据权利要求2所述的方法,其特征在于,所述根据体素内是否包括有效点云及体素在深度方向的位置,确定各所述体素的类型,还包括:
若与所述占满货物体素同列且列数较大的体素都为占满货物体素状态,则确定所述占满货物体素为占满货物导致,否则为货物遮挡导致;
若为货物遮挡导致,则根据所述体素通道的宽度方向两侧相邻体素通道上属于紧凑货物体素填充所述体素通道上各体素;
确定填充后的所述体素通道上各体素的类型。
6.根据权利要求5所述的方法,其特征在于,所述根据所述体素通道的宽度方向两侧的体素通道上属于紧凑货物体素填充所述体素通道上各体素,包括:
若宽度方向一侧存在属于紧凑货物体素,则将所述紧凑货物体素的第一点云均值填补所述体素通道上与所述紧凑货物体素深度相同的体素;
若宽度方向两侧均存在属于紧凑货物体素,则计算两个所述紧凑货物体素的第二点云均值,以及将所述第二点云均值填补所述体素通道上与所述紧凑货物体素深度相同的体素;
若两侧均不存在包含有效点云的体素,则在下一次迭代时填充。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述获取车厢的尺寸信息,包括:
将所述点云数据沿深度方向投影,得到对应的投影数据;
截取所述投影数据的图像中心点附近部分区域的投影数据;
根据所述图像中心点附近部分区域的投影数据,确定点云数据采集设备到车厢前端面的距离。
8.根据权利要求7所述的方法,其特征在于,所述获取车厢的尺寸信息,还包括:
截取所述点云数据在深度方向上预设位置的点云数据;所述预设位置不包括车厢前端面;
将所述预设位置处的点云数据沿深度方向投影,以及按高度方向及宽度方向统计车厢壁像素的数量;
根据所述车厢壁像素的数量极大值对应的高度方向、宽度方向的差值,分别确定车厢的高度、宽度。
9.一种车厢装卸率计算装置,其特征在于,包括:
获取模块,用于获取车厢内的点云数据及所述车厢的尺寸信息;
体素分割模块,用于根据预设体素尺寸信息将所述点云数据分割为多个体素;所述预设体素尺寸信息包括体素的高度、宽度及深度;
体素类型确定模块,用于根据体素内是否包括有效点云及体素在深度方向的位置,确定各所述体素的类型;所述类型包括紧凑货物体素、遮挡货物体素、离群货物体素、占满货物体素、空闲体素;
货物体积计算模块,用于根据所述体素的类型对应的预设体积计算方式,计算所述多个体素的总体积;
装卸率计算模块,用于根据所述总体积及所述车厢的尺寸信息,计算所述车厢的装卸率。
10.根据权利要求9所述的装置,其特征在于,所述体素类型确定模块具体用于:
按照高度方向、宽度方向遍历各个体素通道;所述体素通道为沿深度方向的体素队列;
将每个体素通道上包含最远有效点云的体素确定为紧凑货物体素;
将每个体素通道上通道数大于所述紧凑货物体素的体素确定为被遮挡货物体素;
将每个体素通道上通道数小于所述紧凑货物体素,且包含有效点云的体素确定为离群货物体素;其中,若属于所述离群货物体素同列且列数大于所述离群货物体素的体素都为空闲体素,则此离群货物体素被确定为第一类离群货物体素,反之,则确定为第二类离群货物体素;
若某个体素通道上都不存在包含有效点云的体素,则将该通道上第一个体素确定为占满货物体素,其余体素的类型确定为被遮挡货物体素;
将不属于上述四种类型的体素,确定为空闲体素。
CN202111158690.XA 2021-09-30 2021-09-30 车厢装卸率计算方法及装置 Pending CN113988740A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111158690.XA CN113988740A (zh) 2021-09-30 2021-09-30 车厢装卸率计算方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111158690.XA CN113988740A (zh) 2021-09-30 2021-09-30 车厢装卸率计算方法及装置

Publications (1)

Publication Number Publication Date
CN113988740A true CN113988740A (zh) 2022-01-28

Family

ID=79737396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111158690.XA Pending CN113988740A (zh) 2021-09-30 2021-09-30 车厢装卸率计算方法及装置

Country Status (1)

Country Link
CN (1) CN113988740A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670979A (zh) * 2024-02-01 2024-03-08 四川港投云港科技有限公司 一种基于固定点位单目相机的大宗货物体积测量方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670979A (zh) * 2024-02-01 2024-03-08 四川港投云港科技有限公司 一种基于固定点位单目相机的大宗货物体积测量方法
CN117670979B (zh) * 2024-02-01 2024-04-30 四川港投云港科技有限公司 一种基于固定点位单目相机的大宗货物体积测量方法

Similar Documents

Publication Publication Date Title
WO2021197345A1 (zh) 一种基于激光雷达的封闭空间内剩余体积的检测方法和装置
CN110472553B (zh) 图像和激光点云融合的目标追踪方法、计算装置和介质
US10115035B2 (en) Vision system and analytical method for planar surface segmentation
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
CN112070838B (zh) 基于二维-三维融合特征的对象识别与定位方法及装置
US20130051658A1 (en) Method of separating object in three dimension point cloud
CN107038723A (zh) 棒状像素估计方法和系统
CN114396875B (zh) 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
US20210207943A1 (en) Measurement device and measurement method
EP4141380B1 (en) Volume measurement method and apparatus based on time-of-flight depth camera
CN115546202B (zh) 一种用于无人叉车的托盘检测与定位方法
CN112432596B (zh) 空间测量方法、装置、电子设备及计算机存储介质
CN113362385A (zh) 一种基于深度图像的货物体积测量方法及设备
CN111178193A (zh) 一种车道线的检测方法、检测装置及计算机可读存储介质
CN113963038A (zh) 车厢点云校准方法及装置
CN113988740A (zh) 车厢装卸率计算方法及装置
CN115035181A (zh) 容积使用率的监控方法、装置和计算机可读存储介质
CN116266363A (zh) 物品体积计算方法、装置、电子设备及可读存储介质
CN110766646A (zh) 展示架遮挡检测方法、装置以及存储介质
CN113538557B (zh) 基于三维视觉的箱体积测量装置
JP7491615B2 (ja) 積載容積率計測装置、システム、方法、及び、プログラム
CN116363192A (zh) 仓储货物的体积测量方法、装置、计算机设备及存储介质
CN114897964A (zh) 容积测量方法、装置、系统和计算机可读存储介质
CN114219871A (zh) 一种基于深度图像的障碍物检测方法、装置和移动机器人
CN116342858B (zh) 物体检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination