CN114295053A - 物料体积的确定方法及装置、设备、介质和产品 - Google Patents

物料体积的确定方法及装置、设备、介质和产品 Download PDF

Info

Publication number
CN114295053A
CN114295053A CN202111664148.1A CN202111664148A CN114295053A CN 114295053 A CN114295053 A CN 114295053A CN 202111664148 A CN202111664148 A CN 202111664148A CN 114295053 A CN114295053 A CN 114295053A
Authority
CN
China
Prior art keywords
point cloud
cloud data
height
carrier
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111664148.1A
Other languages
English (en)
Other versions
CN114295053B (zh
Inventor
丁皓东
宋希彬
张良俊
何振鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111664148.1A priority Critical patent/CN114295053B/zh
Publication of CN114295053A publication Critical patent/CN114295053A/zh
Application granted granted Critical
Publication of CN114295053B publication Critical patent/CN114295053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开提供了一种物料体积的确定方法及装置、设备、介质和产品,涉及人工智能领域,尤其涉及信息处理和测量技术领域。具体实现方案包括:基于获取的载荷状态下的载具的第一点云数据,确定与第一点云数据关联的第一高度特征;根据第一高度特征和与第二点云数据关联的第二高度特征,确定载荷状态下的载具中所装载物料的第三高度特征;以及根据第三高度特征,确定载具中所装载物料的物料体积,其中,第二点云数据包括基准状态下的载具的点云数据。

Description

物料体积的确定方法及装置、设备、介质和产品
技术领域
本公开涉及人工智能领域,尤其涉及信息处理和测量技术领域,可应用于确定物料体积的场景下。
背景技术
在载具运行过程中,确定载具所装载物料的物料体积能够为载具运行提供有效的正向反馈。但是,在一些场景下,存在物料体积确定成本消耗大、确定效率不佳的现象。
发明内容
本公开提供了一种物料体积的确定方法及装置、设备、介质和产品。
根据本公开的一方面,提供了一种物料体积的确定方法,包括:基于获取的载荷状态下的载具的第一点云数据,确定与所述第一点云数据关联的第一高度特征;根据所述第一高度特征和与第二点云数据关联的第二高度特征,确定载荷状态下的载具中所装载物料的第三高度特征;以及根据所述第三高度特征,确定载具中所装载物料的物料体积,所述第二点云数据包括基准状态下的载具的点云数据。
根据本公开的另一方面,提供了一种物料体积的确定装置,包括:第一处理模块,用于基于获取的载荷状态下的载具的第一点云数据,确定与所述第一点云数据关联的第一高度特征;第二处理模块,用于根据所述第一高度特征和与第二点云数据关联的第二高度特征,确定载荷状态下的载具中所装载物料的第三高度特征;以及第三处理模块,用于根据所述第三高度特征,确定载具中所装载物料的物料体积,所述第二点云数据包括基准状态下的载具的点云数据。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器和与所述至少一个处理器通信连接的存储器。其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行根据本公开实施例的物料体积的确定方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行根据本公开实施例的物料体积的确定方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据本公开实施例的物料体积的确定方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1示意性示出了根据本公开一实施例的物料体积的确定和装置的系统架构;
图2示意性示出了根据本公开一实施例的物料体积的确定方法的流程图;
图3示意性示出了根据本公开另一实施例的物料体积的确定方法的示意图;
图4A示意性示出了根据本公开一实施例的物料体积的确定过程的示意图;
图4B示意性示出了根据本公开一实施例的载具及载具点云的示意图;
图5示意性示出了根据本公开一实施例的物料体积的确定装置的框图;
图6示意性示出了根据本公开实施例的用于执行物料体积的确定的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的实施例提供了一种物料体积的确定方法。物料体积的确定方法包括:基于获取的载荷状态下的载具的第一点云数据,确定与第一点云数据关联的第一高度特征,根据第一高度特征和与第二点云数据关联的第二高度特征,确定载荷状态下的载具中所装载物料的第三高度特征,以及根据第三高度特征,确定载具中所装载物料的物料体积,第二点云数据包括基准状态下的载具的点云数据。
图1示意性示出了根据本公开一实施例的物料体积的确定和装置的系统架构。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
根据该实施例的系统架构100可以包括终端设备101、102、103、网络104和服务器105。网络104用于在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。服务器105可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或分布式系统,还可以是提供云服务、云计算、网络服务、中间件服务等基础云计算服务的云服务器。
终端设备101、102、103可以是用于采集载具运行数据的各种电子设备,包括但不限于激光雷达、双目摄像头、倾角传感器、位移传感器等。服务器105可以是对终端设备101、102、103所提供的载具运行数据进行处理的后台处理服务器(仅为示例)。后台处理服务器可以对接收到的载具运行数据进行分析处理,并将处理结果(例如物料体积、物料重量、载具满载率等)反馈给载具运维终端。
例如,服务器105基于从终端设备101、102、103中获取的载荷状态下的载具的第一点云数据,确定与第一点云数据关联的第一高度特征,根据第一高度特征和与第二点云数据关联的第二高度特征,确定载荷状态下的载具中所装载物料的第三高度特征,以及根据第三高度特征,确定载具中所装载物料的物料体积,第二点云数据包括基准状态下的载具的点云数据。
需要说明的是,本公开实施例所提供的物料体积的确定方法可以由服务器105执行。相应地,本公开实施例所提供的物料体积的确定装置可以设置于服务器105中。本公开实施例所提供的物料体积的确定方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的物料体积的确定装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
本公开实施例提供了一种物料体积的确定方法,下面结合图1的系统架构,参考图2~图3、图4A~图4B来描述根据本公开示例性实施方式的物料体积的确定方法。
图2示意性示出了根据本公开一实施例的物料体积的确定方法的流程图。
如图2所示,本公开实施例的物料体积的确定方法200例如可以包括操作S210~操作S230。
在操作S210,基于获取的载荷状态下的载具的第一点云数据,确定与第一点云数据关联的第一高度特征。
在操作S220,根据第一高度特征和与第二点云数据关联的第二高度特征,确定载荷状态下的载具中所装载物料的第三高度特征,第二点云数据包括基准状态下的载具的点云数据。
在操作S230,根据第三高度特征,确定载具中所装载物料的物料体积。
下面示例说明本实施例的物料体积的确定方法的各操作的示例流程。
示例性地,载具包括用于装载物料的各种工具,例如可以是挖掘机铲斗。基于获取的载荷状态下的载具的第一点云数据,确定与第一点云数据关联的第一高度特征,第一高度特征可以指示载具中所装载物料的上表面信息。
第一点云数据的生成方法,例如可以包括获取至少一帧场景点云图像,根据与至少一帧场景点云图像中的每帧场景点云图像关联的载具位姿,提取每帧场景点云图像中的载具点云区域,得到至少一帧载具点云图像。将至少一帧载具点云图像中的每帧载具点云图像变换至载具坐标系下,得到坐标变换后的至少一帧载具点云图像。对坐标变换后的至少一帧载具点云图像进行融合,以得到第一点云数据。
场景点云图像可以是由激光雷达采集得到的,激光雷达可以在载具运行的动态过程中采集场景点云图像。以载具为挖掘机铲斗为例进行说明,可以根据挖掘机结构尺寸和激光雷达参数,将激光雷达安装于挖掘机驾驶室顶部。激光雷达用于对装载有物料的铲斗进行三维点云动态扫描,激光雷达的扫描范围覆盖挖掘机的作业半径区间。激光雷达可以将扫描得到的可能包含动臂、斗杆、铲斗、物料信息的场景点云图像,通过数据链路发送给计算装置。
在采集得到至少一帧场景点云图像后,可以根据与每帧场景点云图像关联的载具位姿,确定每帧场景点云图像中的载具位置。可以通过半径搜索方法在每帧场景点云图像中分割载具点云区域,得到至少一帧载具点云图像。与每帧场景点云图像关联的载具位姿可以是由关节倾角传感器采集得到的。
在得到至少一帧载具点云图像之后,可以对至少一帧载具点云图像进行去离群点处理。在特征空间中,离群点与最近邻点之间的邻近性显著偏离其他点与对应最近邻点之间的邻近性。去离群点处理可以有效保证载具点云图像的准确性,有利于有效提升物料体积确定精度。
在进行去离群点处理之后,可以将至少一帧载具点云图像归一化至载具坐标系下,得到坐标变换后的至少一帧载具点云图像。由于激光雷达可能无法通过单次扫描获得完整场景的点云图像,并且至少一帧载具点云图像是基于载具运行的动态过程采集得到的,对至少一帧载具点云图像进行坐标系归一化处理,实现将载具点云图像由雷达坐标系转换至载具坐标系,能够有效减少因载具位姿不同或激光雷达扫描角度不同造成的点云图像差异。
对坐标变换后的至少一帧载具点云图像进行融合,以得到第一点云数据,第一点云数据可以是融合后的稠密的载具点云。融合后的稠密的载具点云B可以表示为
Figure BDA0003451187240000061
Ti表示第i帧载具点云图像中的载具位姿,Bi表示第i帧载具点云图像,N为融合的载具点云图像的帧数。通过对载具点云图像进行配准融合,可以有效解决点云数据采集因受物体遮挡等造成不完全的局限性,有利于提升物料体积确定的运算精度。
第二点云数据包括基准状态下的载具的点云数据,例如可以是空载状态下的载具的点云数据。第二点云数据可以由激光雷达对基准状态下的载具扫描得到,也可以是对基准状态下的载具进行三维建模处理得到。示例性地,将空铲斗的CAD模型导入Meshlab软件,利用Meshlab软件提供的算法生成空铲斗的三维点云数据,即生成空载状态下的铲斗的第二点云数据。
第二点云数据可以是基于基准坐标系的三维点云数据,基准坐标系的z轴垂直于水平面。第二点云数据中包括基准载具位姿,基准载具位姿可用于针对第一点云数据的配准处理。第二点云数据包括第二高度特征,第二高度特征可以指示载具的内表面信息,例如指示空铲斗的内表面信息。
根据第一高度特征和与第二点云数据关联的第二高度特征,确定载荷状态下的载具中所装载物料的第三高度特征。一种示例方式,根据第一高度特征和第二高度特征,确定第一点云数据和第二点云数据之间基于相同载具特征点的点云高度差,以得到第三高度特征。有利于实现基于三维视觉算法的物料体积确定方法,有利于降低物料体积确定的成本消耗和硬件条件要求。
示例性地,可以根据载具特征点在载具坐标系或基准坐标系中的坐标信息,确定第一点云数据和第二点云数据中的相同载具特征点。第一点云数据和第二点云数据之间基于相同载具特征点的点云高度差可以指示载具中所装载物料的高度信息。在根据第三高度特征确定物料体积时,可以确定存在点云高度差的载具特征点所构成的载具表面积,以及根据载具表面积和第三高度特征,计算得到物料体积。
根据本公开实施例,基于获取的载荷状态下的载具的第一点云数据,确定与第一点云数据关联的第一高度特征,根据第一高度特征和与第二点云数据关联的第二高度特征,确定载荷状态下的载具中所装载物料的第三高度特征,以及根据第三高度特征,确定载具中所装载物料的物料体积,第二点云数据包括基准状态下的载具的点云数据。
可以在载具作业过程中实现动态的物料体积计算,根据与点云数据关联的高度特征确定物料体积,可以有效降低物料体积确定的成本消耗和硬件条件要求,能够有效提高物料体积确定的运算效率,有利于为载具运行提供实时性强的高精度反馈。
图3示意性示出了根据本公开另一实施例的物料体积的确定方法的示意图。
如图3所示,操作S210例如可以包括操作S310~S330。
在操作S310,根据与第二点云数据关联的基准坐标系,将第一点云数据变换至基准坐标系,得到坐标变换后的第一点云数据。
在操作S320,根据第二点云数据中的基准载具位姿,对坐标变换后的第一点云数据进行配准,得到配准后的第一点云数据。
在操作S330,确定配准后的第一点云数据中的点云高度信息,以得到第一高度特征。
下面示例说明本实施例的物料体积的确定方法的各操作的示例流程。
示例性地,根据与第二点云数据关联的基准坐标系,将第一点云数据变换至基准坐标系,得到坐标变换后的第一点云数据,基准坐标系的z轴垂直于水平面。通过将第一点云数据变换至基准坐标系,可以实现对第一点云数据中的载具位姿进行归一化,以使第一点云数据中的载具位姿与基准坐标系的坐标轴平行。示例性地,可以对第一点云数据进行主成分分析(PCA Principal Component Analysis),基于主成分分析结果确定第一点云数据中的载具位姿。通过对第一点云数据中的载具位姿进行调整,实现将载具主方向归一化至与基准坐标系的坐标轴平行。
坐标变换后的第一点云数据中的载具位姿和第二点云数据中的载具位姿可能存在差异,可以将第二点云数据中的载具位姿作为基准载具位姿,根据基准载具位姿对坐标变换后的第一点云数据进行配准,得到配准后的第一点云数据。
示例性地,可以对坐标变换后的第一点云数据和第二点云数据进行匹配,利用迭代最近点算法(ICP,Iterative Closest Point),通过迭代计算目标函数的最小值,将坐标变换后的第一点云数据中的载具位姿和第二点云数据中的基准载具位姿进行配准,得到配准后的第一点云数据。基于第二点云数据,进行针对第一点云数据的坐标系归一化和配准处理,有利于提升物料体积确定的运算精度,能够为载具运行提供更具参考价值的正向反馈。
配准后的第一点云数据Tfinal可以表示为Tfinal=TicpTint,Ticp表示载具位姿配准过程中的变换矩阵,Tint表示第二点云数据中的基准载具位姿矩阵。Ticp可以表示为
Figure BDA0003451187240000081
R、
Figure BDA0003451187240000082
s分别表示载具位姿配准过程中的坐标变换的旋转矩阵、平移向量和尺度缩放因子。
确定配准后的第一点云数据中的点云高度信息,以得到第一高度特征。一种示例方式,对配准后的第一点云数据进行基于水平面的网格划分,得到网格化后的第一点云数据。确定网格化后的第一点云数据中的与至少一个网格关联的点云高度信息,以得到第一高度特征。
配准后的第一点云数据包括基于基准坐标系的三维点云数据,基准坐标系的z轴垂直于水平面。对配准后的第一点云数据进行基于水平面的网格划分,得到网格化后的第一点云数据。在确定网格化后的第一点云数据中与网格关联的点云高度信息时,可以确定与网格关联的点云的最大z轴坐标,以作为点云高度信息。
示例性地,根据配准后的第一点云数据在x轴和y轴上的分布进行网格划分,将配准后的第一点云数据在z轴上的最大分布值作为高度值。利用高度值对划分得到的网格进行填充,生成与配准后的第一点云数据关联的第一高度图。
由于激光雷达获取的点云数据可能存在点云分布不均匀的现象,配准后的第一点云数据可能存在孔洞的问题(即第一高度图中可能存在没有高度值的孔洞点)。可以对生成的第一高度图进行插值,示例性地,针对第一高度图中的没有高度值的孔洞点,将位于第一高度图的网格内并且领域网格中存在有效高度值的孔洞点,作为待进行高度插值的插值点。将插值点所处网格内的平均高度值,作为与插值点匹配的高度值。
第二高度特征可以是对第二点云数据进行基于水平面的相同尺度的网格划分得到的。示例性地,可以基于第二点云数据在x轴和y轴上的分布进行网格划分,将第二点云数据在z轴上的最大分布值作为高度值。利用高度值对划分得到的网格进行填充,生成与第二点云数据关联的第二高度图。针对第二点云数据和配准后的第一点云数据的网格划分尺度相同。
根据第一高度特征和第二高度特征,确定第一点云数据和第二点云数据之间基于相同网格的点云高度差,以得到第三高度特征,第三高度特征可以指示载具中所装载物料的高度信息。示例性地,确定第一高度图和第二高度图中基于相同像素的高度差,以得到载具中所装载物料的第三高度特征。
在基于第三高度特征计算物料体积时,确定存在点云高度差的至少一个目标网格,根据至少一个目标网格中的每个目标网格的网格面积和对应点云高度差,计算得到物料体积。示例性地,物料体积V可以表示为
Figure BDA0003451187240000091
其中,lgrid表示高度图中的网格边长,d表示与网格对应的点云高度差,也即与网格对应的高度值差值。
另一示例方式,可以对第二点云数据和配准后的第一点云数据进行基于相同尺度的三维网格划分。通过比较三维网格化的第二点云数据和三维网格化后的第一点云数据之间在z轴方向上的网格数量差值,确定载具中所装载物料的第三高度特征。根据在水平方向上的网格面积和在z轴方向上的网格数量差值,计算载具中所装载物料的物料体积。
通过将机器视觉技术应用于物料体积的运算过程,有利于实现基于三维视觉算法的物料体积确定方法,具有非接触式测量的优点。通过将三维视觉算法与点云数据进行融合,有利于提高确定物料体积的运算速度和可靠性。可以有效克服物料体积确定过程中要求将载具保持在固定位置的限制,有利于提高物料体积确定的实时性,有利于为载具运行提供实时性强的可靠反馈。具有较低的硬件布设要求,能够有效降低物料体积确定的成本消耗,具有很好的通用性和实用性。
图4A示意性示出了根据本公开一实施例的物料体积的确定过程的示意图。
如图4A所示,在物料体积的确定过程中,获取至少一帧场景点云图像4A1。根据与至少一帧场景点云图像4A1中的每帧场景点云图像关联的载具位姿,提取每帧场景点云图像中的载具点云区域,得到至少一帧载具点云图像4A2。
将至少一帧载具点云图像4A2中的每帧载具点云图像变换至载具坐标系下,得到坐标变换后的至少一帧载具点云图像4A3。对坐标变换后的至少一帧载具点云图像4A3进行融合,以得到第一点云数据4A4。
根据与第二点云数据关联的基准坐标系4A5,将第一点云数据4A4变换至基准坐标系,得到坐标变换后的第一点云数据4A6。第二点云数据包括基准状态下的载具的三维点云数据。
根据第二点云数据中的基准载具位姿4A7,对坐标变换后的第一点云数据4A6进行配准,得到配准后的第一点云数据4A8。
确定配准后的第一点云数据4A8中的点云高度信息,以得到第一高度特征4A9。根据第一高度特征4A9和与第二点云数据关联的第二高度特征4A10,确定载荷状态下的载具中所装载物料的第三高度特征4A11,以及根据第三高度特征4A11,确定载具中所装载物料的物料体积4A12。
能够有效实现在载具作业过程中动态确定物料体积,根据与点云数据关联的高度特征确定物料体积,可以有效降低物料体积确定的成本消耗和硬件条件要求,能够有效提高物料体积确定的运算效率,有利于为载具运行提供实时性强的高精度反馈,有利于有效改善载具作业效率和质量。
图4B示意性示出了根据本公开一实施例的载具及载具点云的示意图。
如图4B所示,以载具为挖掘机铲斗为例进行说明,第一点云数据4B2包括与载荷状态下的铲斗4B1关联的三维点云数据,第二点云数据4B4包括与空载状态下的铲斗4B3关联的三维点云数据。第一点云数据4B2为根据与第二点云数据4B4关联的基准坐标系和基准铲斗位姿进行配准后的点云数据。
通过确定与第一点云数据4B2关联的第一高度特征,根据第一高度特征和与第二点云数据4B4关联的第二高度特征,确定载荷状态下的铲斗4B1中所装载物料的物料体积。
通过将三维视觉算法与点云数据进行融合,能够有效提高物料体积确定的运算速度和准确度,有利于为挖掘机作业提供实时性强的可靠反馈,有利于保证挖掘机作业的效率和可靠性。
图5示意性示出了根据本公开一实施例的物料体积的确定装置的框图。
如图5所示,本公开实施例的物料体积的确定装置500例如包括第一处理模块510、第二处理模块520和第三处理模块530。
第一处理模块510,用于基于获取的载荷状态下的载具的第一点云数据,确定与第一点云数据关联的第一高度特征;第二处理模块520,用于根据第一高度特征和与第二点云数据关联的第二高度特征,确定载荷状态下的载具中所装载物料的第三高度特征;以及第三处理模块530,用于根据第三高度特征,确定载具中所装载物料的物料体积,第二点云数据包括基准状态下的载具的点云数据。
根据本公开实施例,基于获取的载荷状态下的载具的第一点云数据,确定与第一点云数据关联的第一高度特征,根据第一高度特征和与第二点云数据关联的第二高度特征,确定载荷状态下的载具中所装载物料的第三高度特征,以及根据第三高度特征,确定载具中所装载物料的物料体积,第二点云数据包括基准状态下的载具的点云数据。
能够在载具作业过程中有效实现动态的物料体积计算,根据与点云数据关联的高度特征确定物料体积,可以有效降低物料体积确定的成本消耗和硬件条件要求,能够有效提高物料体积确定的运算效率,有利于为载具运行提供实时性强的高精度反馈。
根据本公开的实施例,第一处理模块包括:第一处理子模块,用于根据与第二点云数据关联的基准坐标系,将第一点云数据变换至基准坐标系,得到坐标变换后的第一点云数据;第二处理子模块,用于根据第二点云数据中的基准载具位姿,对坐标变换后的第一点云数据进行配准,得到配准后的第一点云数据;以及第三处理子模块,用于确定配准后的第一点云数据中的点云高度信息,以得到第一高度特征。
根据本公开的实施例,第二处理模块包括:第四处理子模块,用于根据第一高度特征和第二高度特征,确定第一点云数据和第二点云数据之间基于相同的载具特征点的点云高度差,以得到第三高度特征。
根据本公开的实施例,第三处理模块包括:第五处理子模块,用于确定存在点云高度差的载具特征点所构成的载具表面积;以及第六处理子模块,用于根据载具表面积和第三高度特征,计算得到物料体积。
根据本公开的实施例,第三处理子模块包括:第一处理单元,用于对配准后的第一点云数据进行基于水平面的网格划分,得到网格化后的第一点云数据;以及第二处理单元,用于确定网格化后的第一点云数据中的与至少一个网格关联的点云高度信息,以得到第一高度特征。
根据本公开的实施例,第二处理模块还包括:第七处理子模块,用于根据第一高度特征和第二高度特征,确定第一点云数据和第二点云数据之间基于相同网格的点云高度差,以得到第三高度特征;以及第三处理模块还包括:第八处理子模块,用于确定存在点云高度差的至少一个目标网格;第九处理子模块,用于根据至少一个目标网格中的每个目标网格的网格面积和对应点云高度差,计算得到物料体积。
根据本公开的实施例,本装置还包括第四处理模块,用于:获取至少一帧场景点云图像;根据与至少一帧场景点云图像中的每帧场景点云图像关联的载具位姿,提取每帧场景点云图像中的载具点云区域,得到至少一帧载具点云图像;将至少一帧载具点云图像中的每帧载具点云图像变换至载具坐标系下,得到坐标变换后的至少一帧载具点云图像;以及对坐标变换后的至少一帧载具点云图像进行融合,以得到第一点云数据。
应该注意的是,本公开的技术方案中,所涉及的信息收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示意性示出了根据本公开实施例的用于执行物料体积的确定的电子设备的框图。
图6示出了可以用来实施本公开实施例的示例电子设备600的示意性框图。电子设备600旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如物料体积的确定方法。例如,在一些实施例中,物料体积的确定方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的物料体积的确定方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行物料体积的确定方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与对象的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向对象显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),对象可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与对象的交互;例如,提供给对象的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自对象的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形对象界面或者网络浏览器的对象计算机,对象可以通过该图形对象界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (17)

1.一种物料体积的确定方法,包括:
基于获取的载荷状态下的载具的第一点云数据,确定与所述第一点云数据关联的第一高度特征;
根据所述第一高度特征和与第二点云数据关联的第二高度特征,确定载荷状态下的载具中所装载物料的第三高度特征;以及
根据所述第三高度特征,确定载具中所装载物料的物料体积,
其中,所述第二点云数据包括基准状态下的载具的点云数据。
2.根据权利要求1所述的方法,其中,所述基于获取的载荷状态下的载具的第一点云数据,确定与所述第一点云数据关联的第一高度特征,包括:
根据与所述第二点云数据关联的基准坐标系,将所述第一点云数据变换至所述基准坐标系,得到坐标变换后的第一点云数据;
根据所述第二点云数据中的基准载具位姿,对所述坐标变换后的第一点云数据进行配准,得到配准后的第一点云数据;以及
确定所述配准后的第一点云数据中的点云高度信息,以得到所述第一高度特征。
3.根据权利要求1所述的方法,其中,所述根据所述第一高度特征和与第二点云数据关联的第二高度特征,确定载荷状态下的载具中所装载物料的第三高度特征,包括:
根据所述第一高度特征和所述第二高度特征,确定所述第一点云数据和所述第二点云数据之间基于相同的载具特征点的点云高度差,以得到所述第三高度特征。
4.根据权利要求3所述的方法,其中,所述根据所述第三高度特征,确定载具中所装载物料的物料体积,包括:
确定存在点云高度差的载具特征点所构成的载具表面积;以及
根据所述载具表面积和所述第三高度特征,计算得到所述物料体积。
5.根据权利要求2所述的方法,其中,所述确定所述配准后的第一点云数据中的点云高度信息,以得到所述第一高度特征,包括:
对所述配准后的第一点云数据进行基于水平面的网格划分,得到网格化后的第一点云数据;以及
确定所述网格化后的第一点云数据中的与至少一个网格关联的点云高度信息,以得到所述第一高度特征。
6.根据权利要求5所述的方法,其中,
所述根据所述第一高度特征和与第二点云数据关联的第二高度特征,确定载荷状态下的载具中所装载物料的第三高度特征,包括:
根据所述第一高度特征和所述第二高度特征,确定所述第一点云数据和所述第二点云数据之间基于相同网格的点云高度差,以得到所述第三高度特征;以及
所述根据所述第三高度特征,确定载具中所装载物料的物料体积,包括:
确定存在点云高度差的至少一个目标网格;
根据所述至少一个目标网格中的每个目标网格的网格面积和对应点云高度差,计算得到所述物料体积。
7.根据权利要求1至6中任一项所述的方法,还包括:
获取至少一帧场景点云图像;
根据与所述至少一帧场景点云图像中的每帧场景点云图像关联的载具位姿,提取所述每帧场景点云图像中的载具点云区域,得到至少一帧载具点云图像;
将所述至少一帧载具点云图像中的每帧载具点云图像变换至载具坐标系下,得到坐标变换后的至少一帧载具点云图像;以及
对所述坐标变换后的至少一帧载具点云图像进行融合,以得到所述第一点云数据。
8.一种物料体积的确定装置,包括:
第一处理模块,用于基于获取的载荷状态下的载具的第一点云数据,确定与所述第一点云数据关联的第一高度特征;
第二处理模块,用于根据所述第一高度特征和与第二点云数据关联的第二高度特征,确定载荷状态下的载具中所装载物料的第三高度特征;以及
第三处理模块,用于根据所述第三高度特征,确定载具中所装载物料的物料体积,
其中,所述第二点云数据包括基准状态下的载具的点云数据。
9.根据权利要求8所述的装置,其中,所述第一处理模块包括:
第一处理子模块,用于根据与所述第二点云数据关联的基准坐标系,将所述第一点云数据变换至所述基准坐标系,得到坐标变换后的第一点云数据;
第二处理子模块,用于根据所述第二点云数据中的基准载具位姿,对所述坐标变换后的第一点云数据进行配准,得到配准后的第一点云数据;以及
第三处理子模块,用于确定所述配准后的第一点云数据中的点云高度信息,以得到所述第一高度特征。
10.根据权利要求8所述的装置,其中,所述第二处理模块包括:
第四处理子模块,用于根据所述第一高度特征和所述第二高度特征,确定所述第一点云数据和所述第二点云数据之间基于相同的载具特征点的点云高度差,以得到所述第三高度特征。
11.根据权利要求10所述的装置,其中,所述第三处理模块包括:
第五处理子模块,用于确定存在点云高度差的载具特征点所构成的载具表面积;以及
第六处理子模块,用于根据所述载具表面积和所述第三高度特征,计算得到所述物料体积。
12.根据权利要求9所述的装置,其中,所述第三处理子模块包括:
第一处理单元,用于对所述配准后的第一点云数据进行基于水平面的网格划分,得到网格化后的第一点云数据;以及
第二处理单元,用于确定所述网格化后的第一点云数据中的与至少一个网格关联的点云高度信息,以得到所述第一高度特征。
13.根据权利要求12所述的装置,其中,所述第二处理模块还包括:
第七处理子模块,用于根据所述第一高度特征和所述第二高度特征,确定所述第一点云数据和所述第二点云数据之间基于相同网格的点云高度差,以得到所述第三高度特征;以及
所述第三处理模块还包括:
第八处理子模块,用于确定存在点云高度差的至少一个目标网格;
第九处理子模块,用于根据所述至少一个目标网格中的每个目标网格的网格面积和对应点云高度差,计算得到所述物料体积。
14.根据权利要求8至13中任一项所述的装置,还包括第四处理模块,用于:
获取至少一帧场景点云图像;
根据与所述至少一帧场景点云图像中的每帧场景点云图像关联的载具位姿,提取所述每帧场景点云图像中的载具点云区域,得到至少一帧载具点云图像;
将所述至少一帧载具点云图像中的每帧载具点云图像变换至载具坐标系下,得到坐标变换后的至少一帧载具点云图像;以及
对所述坐标变换后的至少一帧载具点云图像进行融合,以得到所述第一点云数据。
15.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1~7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1~7中任一项所述的方法。
17.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1~7中任一项所述的方法。
CN202111664148.1A 2021-12-31 2021-12-31 物料体积的确定方法及装置、设备、介质和产品 Active CN114295053B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111664148.1A CN114295053B (zh) 2021-12-31 2021-12-31 物料体积的确定方法及装置、设备、介质和产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111664148.1A CN114295053B (zh) 2021-12-31 2021-12-31 物料体积的确定方法及装置、设备、介质和产品

Publications (2)

Publication Number Publication Date
CN114295053A true CN114295053A (zh) 2022-04-08
CN114295053B CN114295053B (zh) 2023-11-28

Family

ID=80973991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111664148.1A Active CN114295053B (zh) 2021-12-31 2021-12-31 物料体积的确定方法及装置、设备、介质和产品

Country Status (1)

Country Link
CN (1) CN114295053B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862001A (zh) * 2023-03-02 2023-03-28 青岛慧拓智能机器有限公司 一种基于体积计量的露天矿山车厢残留物检测方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4944593A (en) * 1986-05-27 1990-07-31 Dr. Ing. Rudolf Hell Gmbh Volume-measuring method for surface depressions
DE10254942B3 (de) * 2002-11-25 2004-08-12 Siemens Ag Verfahren zur automatischen Ermittlung der Koordinaten von Abbildern von Marken in einem Volumendatensatz und medizinische Vorrichtung
CN102980531A (zh) * 2012-12-07 2013-03-20 中国铁道科学研究院 一种基于三维激光扫描的容积测量方法及装置
CN102980512A (zh) * 2012-08-29 2013-03-20 武汉武大卓越科技有限责任公司 一种固定式自动体积测量系统及其测量方法
US20160029648A1 (en) * 2013-03-15 2016-02-04 Csb-System Ag Device for volumetrically measuring a slaughter animal body object
CN107941167A (zh) * 2017-11-17 2018-04-20 西南民族大学 一种基于无人机载具和结构光扫描技术的空间扫描系统及其工作方法
CN110118526A (zh) * 2019-03-08 2019-08-13 浙江中海达空间信息技术有限公司 一种支持实时监测的船载砂石体积自动计算方法
US20190272671A1 (en) * 2016-10-17 2019-09-05 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for constructing 3d scene model
CN111009002A (zh) * 2019-10-16 2020-04-14 贝壳技术有限公司 点云配准检测方法、装置以及电子设备、存储介质
CN111336917A (zh) * 2020-02-24 2020-06-26 成俊 体积测量方法、装置、系统及计算机可读存储介质
CN111915677A (zh) * 2020-07-08 2020-11-10 哈尔滨工程大学 一种基于三维点云特征的船舶位姿估计方法
CN112150388A (zh) * 2020-09-30 2020-12-29 大连华锐重工集团股份有限公司 一种连续卸船机船舶及物料的识别感知方法
JP2021025912A (ja) * 2019-08-06 2021-02-22 株式会社キーエンス 三次元形状測定装置及び三次元形状測定方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4944593A (en) * 1986-05-27 1990-07-31 Dr. Ing. Rudolf Hell Gmbh Volume-measuring method for surface depressions
DE10254942B3 (de) * 2002-11-25 2004-08-12 Siemens Ag Verfahren zur automatischen Ermittlung der Koordinaten von Abbildern von Marken in einem Volumendatensatz und medizinische Vorrichtung
CN102980512A (zh) * 2012-08-29 2013-03-20 武汉武大卓越科技有限责任公司 一种固定式自动体积测量系统及其测量方法
CN102980531A (zh) * 2012-12-07 2013-03-20 中国铁道科学研究院 一种基于三维激光扫描的容积测量方法及装置
US20160029648A1 (en) * 2013-03-15 2016-02-04 Csb-System Ag Device for volumetrically measuring a slaughter animal body object
US20190272671A1 (en) * 2016-10-17 2019-09-05 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for constructing 3d scene model
CN107941167A (zh) * 2017-11-17 2018-04-20 西南民族大学 一种基于无人机载具和结构光扫描技术的空间扫描系统及其工作方法
CN110118526A (zh) * 2019-03-08 2019-08-13 浙江中海达空间信息技术有限公司 一种支持实时监测的船载砂石体积自动计算方法
JP2021025912A (ja) * 2019-08-06 2021-02-22 株式会社キーエンス 三次元形状測定装置及び三次元形状測定方法
CN111009002A (zh) * 2019-10-16 2020-04-14 贝壳技术有限公司 点云配准检测方法、装置以及电子设备、存储介质
CN111336917A (zh) * 2020-02-24 2020-06-26 成俊 体积测量方法、装置、系统及计算机可读存储介质
CN111915677A (zh) * 2020-07-08 2020-11-10 哈尔滨工程大学 一种基于三维点云特征的船舶位姿估计方法
CN112150388A (zh) * 2020-09-30 2020-12-29 大连华锐重工集团股份有限公司 一种连续卸船机船舶及物料的识别感知方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862001A (zh) * 2023-03-02 2023-03-28 青岛慧拓智能机器有限公司 一种基于体积计量的露天矿山车厢残留物检测方法及系统

Also Published As

Publication number Publication date
CN114295053B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN112771573A (zh) 基于散斑图像的深度估计方法及装置、人脸识别系统
CN111612753B (zh) 三维物体检测方法、装置、电子设备和可读存储介质
JP7228623B2 (ja) 障害物検出方法、装置、設備、記憶媒体、及びプログラム
CN113255664B (zh) 图像处理方法、相关装置及计算机程序产品
CN116152306B (zh) 确定砌筑质量的方法、装置、设备和介质
CN113077548A (zh) 针对物体的碰撞检测方法、装置、设备和存储介质
CN114926549B (zh) 三维点云处理方法、装置、设备以及存储介质
CN113393468A (zh) 图像处理方法、模型训练方法、装置和电子设备
CN114295053B (zh) 物料体积的确定方法及装置、设备、介质和产品
CN113421217A (zh) 可行驶区域检测方法和装置
CN114299242A (zh) 高精地图中图像处理方法、装置、设备以及存储介质
CN116030103B (zh) 确定砌筑质量的方法、装置、设备和介质
CN116596750A (zh) 一种点云处理方法、装置、电子设备及存储介质
CN114266876B (zh) 定位方法、视觉地图的生成方法及其装置
CN114565721A (zh) 对象确定方法、装置、设备、存储介质以及程序产品
CN115861403A (zh) 一种非接触式物体体积测量方法、装置、电子设备及介质
CN113379884B (zh) 地图渲染方法、装置、电子设备、存储介质以及车辆
CN114581523A (zh) 一种用于单目3d目标检测的标注数据确定方法和装置
CN114581586A (zh) 一种模型基底的生成方法、装置、电子设备及存储介质
CN110399892B (zh) 环境特征提取方法和装置
CN116559927B (zh) 激光雷达的航向角确定方法、装置、设备及介质
CN115797585B (zh) 一种停车场地图生成方法及装置
CN117475399B (zh) 车道线拟合方法、电子设备及可读介质
CN114495042B (zh) 目标检测方法和装置
CN118061205B (zh) 一种移动机器人控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant